datasource用于配置数据源(支持jdbc、rabbitmq、kafka、service)

数据源类型 类型 说明
jdbc datasource.jdbc配置项 Java JDBC数据源,如: mysql、oracle
rabbitmq datasource.rabbitmq配置项 RabbitMQ 消息队列
kafka datasource.kafka配置项 Kafka 消息队列
service datasource.service配置项 Http(Https) Api Service数据源(把Http接口看做一个数据源,通过Http接口读写数据)

jdbc数据源

datasource.jdbc配置项 类型 说明
driver String jdbc驱动程序class name
url String jdbc url
user String 数据库用户名
password String 数据库密码
max_active(max-active) Integer 最大活动连接数量
hermes String hermes url 用于读取rabbitmq配置 (http://host:prot)
hermes_mq(hermes-mq) Map<String, Object> TODO:待补充

关于hermeshermes_mq配置项的说明:这两个配置项是为了声明当前jdbc数据源对应的增量数据数据源信息,本质上jdbc的增量数据源就是一个消息队列(RabbitMQ),通过订阅消费消息队列数据做到数据增量同步的效果,实际上有一定的时间延迟。

  • hermes url接口响应数据demo

    {
    "success": true,
    "content": {
      "host": "10.4.9.30",
      "port": 5672,
      "username": "admin",
      "password": "admin",
      "exchange": "hermes-exchange",
      "vhost": "/"
    },
    "error": null
    }
  • hermes_mq的配置项:

    hermes_mq:
    host: xxx
    port: xxx
    username: xxx
    password: xxx
    exchange: xxx
    vhost: xxx

rabbitmq数据源

datasource.rabbitmq配置项 类型 说明
host String rabbitmq数据源host
port Integer rabbitmq数据源port
username String 用户名
password String 密码
vhost String rabbitmq vhost
thread-pool-size Integer rabbitmq获取连接ConnectionFactory.newConnection时使用的线程池大小

kafka数据源

datasource.kafka配置项 类型 说明
servers List<String> Kafka servers集合(host:port)
retries Integer 重试次数
batch_size(batch-size) Integer 批量发送的基本单位(需要小于bufferMemory)
linger_ms(linger-ms) Integer sender线程在检查batch是否ready时候,判断有没有过期的参数
buffer_memory(buffer-memory) Integer 可以用来缓存数据的内存大小
request_timeout(request-timeout) Integer broker尽力实现request.required.acks需求时的等待时间,否则会发送错误到客户端

service数据源

datasource.service配置项 类型 说明
url String 接口api url地址
read_timeout(read-timeout) Integer http read Timeout
connect_timeout(connect-timeout) Integer http connect Timeout
charset String http字符集
文档更新时间: 2020-03-16 10:45   作者:lizw