当前同步节点以及通任务状态(2020-07-20)

同步节点 方案数量 任务数量 增量任务数量
sup_cust 292 575 281
sup_order 1432 1773 1408
sup_price 282 573 284
sup_other 552 1084 527
1_validate 3230 6575 3352
b2b_1 3135 6274 2880
b2b_2 1069 3008 1818
b2b_3 233 899 641
b2b_4 316 1002 680
b2b_5 823 1895 1064
b2b_51 1178 4237 2513
b2b_11_aws 1706 4351 2591
合计: 14248 32246 18039

同步方案节点分配规则

  1. 按照业务系统维度创建节点
  2. 按照分公司维度创建节点
  3. 按照同步数据量量级创建节点
  4. 根据同步任务稳定性创建节点

建议一个同步节点配置的方案数量在1000以内,任务数量在1500以内

同步方案上线流程

  1. 开发同步方案,简单测试保证能够正常运行,且不能有任何配置警告
  2. 提交同步方案上线申请
    • 增量同步任务
      1. 是否配置数据过滤规则: carepre_filteroperationignore_delete
      2. transform或者delete_transform对应的SQL有使用增量数据作为过滤条件,且需要说明查询结果数据量大小
      3. SQL是否有优化空间(字段是否需要加索引、是否可以加上主键过滤条件、查询字段是否过多,等等)
      4. 是否配置ignore_transform_limit=true配置项,若配置必须说明原因
      5. 预估一天增量数据的数量级
    • 全量同步任务
      1. ignore_retry配置是否合理
      2. 评估同步一次的数据数量级和时间
      3. SQL是否有优化空间(字段是否需要加索引、是否可以加上主键过滤条件、查询字段是否过多,等等)
      4. cronenable_cron配置项是否配置,且配置是否合理
  3. 同步方案放到临时节点运行,1-2周后根据其运行的状态(同步数据量、失败频次、停止次数等等)达到要求后,把其转移到对应的稳定节点上

同步方案下线流程

对于不满足要求的同步方案需要直接下线或者找到对应的开发人员修改后转移到临时节点上运行

  1. 同步任务存在任何配置警告
  2. SQL执行性能低,导致数据库压力大
  3. SQL不够健壮,偶尔执行报错
  4. 由一条增量数据导致查询过数据多的增量任务(增量变全量)
  5. 重试队列数据过多,且一直重试消费不掉的同步任务
  6. 同步数据源长期接连不上的同步任务

datax
    1.读库隔离
    2.kafka 监控
    3.节点分配
    4.同步方案的管理问题
文档更新时间: 2020-08-04 15:49   作者:lizw