开发者

基于Docker快速搭建ELK的方法

开发者 https://www.devze.com 2020-01-11 19:24 出处:网络 作者: 华为云
这篇文章主要介绍了基于Docker快速搭建ELK的方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧

本人后端开发,因为业务需求需要使用分表方式进行数据存储。结合网上的资料最后使用的以下方式:

CREATE OR REPLACE FUNCTION auto_insert_into_tbl_partition()
 RETURNS trigger AS
$BODY$
DECLARE
  time_column_name   text ;      -- 父表中用于分区的时间字段的名称[必须首先初始化!!]
  curMM     varchar(16);    -- 'YYYYMM'字串,用做分区子表的后缀
  isExist     boolean;    -- 分区子表,是否已存在
  strSQL     text;
  
BEGIN
  -- 调用前,必须首先初始化(时间字段名):time_column_name [直接从调用参数中获取!!]
  time_column_name := TG_ARGV[0];
  
  -- 判断对应分区表 是否已经存在?
  EXECUTE 'SELECT $1.'||time_column_name INTO strSQL USING NEW;
  curMM := to_char( strSQL::timestamp , 'YYYYMMDDHH' );
  select count(1) INTO isExist from pg_class where relname = ('t_audit_'||curMM);
 
  -- 若不存在, 则插入前需 先创建子分区
  IF ( isExist = false ) THEN 
    -- 创建子分区表
    strSQL := 'CREATE TABLE IF NOT EXISTS t_audit_'||curMM||'() INHERITS (t_audit);' ; 
    EXECUTE strSQL;
    -- 创建索引
    strSQL := 'CREATE INDEX t_audit_'||curMM||'_INDEX_'||time_column_name||' ON t_audit_'||curMM||' ('||time_column_name||');' ;
    EXECUTE strSQL;
  END IF;
 
  -- 插入数据到子分区!
  strSQL := 'INSERT INTO t_audit_'||curMM||' SELECT $1.*' ;
  EXECUTE strSQL USING NEW;
  RETURN NULL; 
END
$BODY$
 LANGUAGE plpgsql;

我是按照小时对固定的一张表进行分表的,其实可以写活就是加个变量,拼sql的时候拼接进去。这个就是写个函数作为触发器的回调函数。就先判断一下这个表有没有,有就直接插,没有就建表再插。

CREATE TRIGGER insert_tbl_partition_trigger
 BEFORE INSERT
 ON t_audit
 FOR EACH ROW
 EXECUTE PROCEDURE auto_insert_into_tbl_partition('time');

建一个触发器,在父表的插入数据的时候执行前面的那个回调函数。

ps:下面看下postgresql 表触发器

1、先建一个函数,用来执行触发器启动后要执行的脚本

CREATE OR REPLACE FUNCTION "public"."trigger_day_aqi"()
 RETURNS "pg_catalog"."trigger" AS $BODY$
BEGIN
  --日均值表,没有o3,小时值表,没有o3_8h
   NEW.so2iaqi=DAY_SO2_AQI(NEW.so2);
     NEW.no2iaqi=DAY_NO2_AQI(NEW.no2);
     NEW.coiaqi=DAY_CO_AQI(NEW.co);
     NEW.o3_8hiaqi=O3_8_AQI(NEW.o3_8h);
     NEW.pm10iaqi=PM10_AQI(NEW.pm10);
     NEW.pm25iaqi=PM25_AQI(NEW.pm25);
     NEW.aqi=NEW.coiaqi;
     NEW.primarypol='CO';
    IF NEW.aqi<NEW.no2iaqi  then  NEW.aqi=NEW.no2iaqi;  NEW.primarypol='NO2';  end if;
    IF NEW.aqi<NEW.so2iaqi  then  NEW.aqi=NEW.so2iaqi;  NEW.primarypol='SO2';  end if;
    IF NEW.aqi<NEW.o3_8hiaqi then  NEW.aqi=NEW.o3_8hiaqi;  NEW.primarypol='O3_8H'; end if;
    IF NEW.aqi<NEW.pm10iaqi then  NEW.aqi=NEW.pm10iaqi;  NEW.primarypol='PM10';  end if;
    IF NEW.aqi<NEW.pm25iaqi then  NEW.aqi=NEW.pm25iaqi;  NEW.primarypol='PM2.5'; end if; 
    IF NEW.aqi<=50      then  NEW.primarypol='-';   end if;
     NEW.aqilevel=getRank(NEW.aqi);
  RETURN NEW;
END;
$BODY$
 LANGUAGE plpgsql VOLATILE
 COST 100

2、建表的触发器,

CREATE TRIGGER gk_site_day_insert BEFORE INSERT ON gk_site_day
  FOR EACH ROW EXECUTE PROCEDURE trigger_day_aqi();

总结

以上所述是小编给大家介绍的postgresql 按小时分表(含触发器)的实现方式,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对我们网站的支持!

如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

0

精彩评论

暂无评论...
验证码 换一张
取 消

关注公众号