Toolkit

一个简单的小工具包, 现在支持以下功能:

• Mybatis: 通过侧栏箭头在 MyBatis XML文件和 Mapper文件之间相互跳转
• Json
  • JavaBean复制为Json字符串
  • Json字符串格式化
• Xml
  • Xml格式化

cat API

官方地址

GET /_cat/XXX?v
GET /_cat/XXX?v&format=json

v 是指带着列信息

支持指定返回内容的格式 默认为text

?format=text(json/smile/yaml/cbor)

elasticsearch集群

graph LR;
    A(Master Node) --- B(Data Node);
    A --- C(Data Node);
    B --- C;

Master: 在Elasticsearch中Master仅仅负责维护集群的状态

1. 创建或删除索引
2. 跟踪哪些节点是集群的一部分
3. 决定将哪些碎片分配给哪个节点
4. 等集群范围的操作

上面的一些集群信息, 是由Master节点进行维护, 但是 Master也会把节点信息, 同步给其他节点, 但是只有master节点可以修改.

简单流程

1. 客户端随机选择一个node发送数据, 此时该node为协调节点(coordinating node)
   1.1. coordinating node 通过 _id计算出该document在哪个shard上, 假设为shard0, 计算方式如下:

   hash(_id) % number_of_primary_shards

   1.2. node 根据 cluster state 获取到 shard0 在 node1 上

问题描述

graph LR;
    filebeat --> logstash;
    log4j --> logstash;
    logstash --> es;

filebeat 和 log4j appender 同时到 kafka, logstash在启动时报错, 错误如下:

javax.management.InstanceAlreadyExistsException: kafka.consumer:type=app-info,id=logstash-0

问题描述

1. 程序执行到某一处之后停顿, 不能继续执行, 不抛出异常, 无返回值
2. 本地测试正常
3. debug可以正常执行
4. 操作为入库之前, 创建对象, 是一个很简单的set操作

payInfoExtra.setToAccType(agPayReqDto.getToAccType().getValue());

其中get操作获取的为一个枚举, 主要操作为从枚举中获取value set到另一个对象中

准备环境

1. skywalking-5.0.0-GA
2. zookeeper-3.4.10
3. elasticsearch-5.6.14

下载地址如下:

skywalking: http://skywalking.apache.org/downloads/
zookeeper: http://mirrors.hust.edu.cn/apache/zookeeper/
elasticsearch: https://www.elastic.co/downloads/past-releases

问题说明

原始配置:

elasticsearch {
        # manage_template => false
        template_overwrite => true
        template => "/opt/export/app/logstash-6.4.2/bin/dynamic_templates.json"
        user => xxxxxxx
        password => xxxxxxx
        index => "%{sys_name}-%{+YYYY.MM.dd}"
        hosts => ["172.19.3.51:9200","172.19.3.52:9200"]
}

在使用logstash输出内容要es中时, 指定index为系统名称+时间(年月日), 时间会自动匹配‘@timestamp’字段并格式化, 但是在实际使用过程中, 发现在上午八点之前的消息会被创建到昨天的索引里面.查阅相关资料, 有介绍在时间戳上面增加8个小时的方式, 也可以使用. 这里结合自己业务使用的其他方式.