IDEA插件--Toolkit

发布时间 : 2019-05-11
发布 : 2019-05-11 分类 : IDEA 浏览 :

Toolkit

JetBrains Plugins Version Downloads License

一个简单的小工具包, 现在支持以下功能:

  • Mybatis: 通过侧栏箭头在 MyBatis XML文件和 Mapper文件之间相互跳转
  • Json
    • JavaBean复制为Json字符串
    • Json字符串格式化
  • Xml
    • Xml格式化

elasticsearch cat API

发布时间 : 2019-03-14
发布 : 2019-03-14 分类 : elk 浏览 :

cat API

官方地址

GET /_cat/XXX?v
GET /_cat/XXX?v&format=json

v 是指带着列信息

支持指定返回内容的格式 默认为text

?format=text(json/smile/yaml/cbor)

为什么es集群至少需要三个节点

发布时间 : 2019-03-13
发布 : 2019-03-13 分类 : elk 浏览 :

elasticsearch集群

graph LR;
    A(Master Node) --- B(Data Node);
    A --- C(Data Node);
    B --- C;

Master: 在Elasticsearch中Master仅仅负责维护集群的状态

  1. 创建或删除索引
  2. 跟踪哪些节点是集群的一部分
  3. 决定将哪些碎片分配给哪个节点
  4. 等集群范围的操作

上面的一些集群信息, 是由Master节点进行维护, 但是 Master也会把节点信息, 同步给其他节点, 但是只有master节点可以修改.

Elasticsearch 数据写入流程

发布时间 : 2019-03-12
发布 : 2019-03-12 分类 : elk 浏览 :

简单流程

elasticsearch写入过程

  1. 客户端随机选择一个node发送数据, 此时该node为协调节点(coordinating node)
    1.1. coordinating node 通过 _id计算出该document在哪个shard上, 假设为shard0, 计算方式如下:

    hash(_id) % number_of_primary_shards

    1.2. node 根据 cluster state 获取到 shard0 在 node1 上

logstash input多个kafka异常

发布时间 : 2019-03-04
发布 : 2019-03-04 分类 : issue 浏览 :
问题描述
graph LR;
    filebeat --> logstash;
    log4j --> logstash;
    logstash --> es;

filebeat 和 log4j appender 同时到 kafka, logstash在启动时报错, 错误如下:

javax.management.InstanceAlreadyExistsException: kafka.consumer:type=app-info,id=logstash-0

程序无异常中断

发布时间 : 2019-02-15
发布 : 2019-02-15 分类 : issue 浏览 :

问题描述

  1. 程序执行到某一处之后停顿, 不能继续执行, 不抛出异常, 无返回值
  2. 本地测试正常
  3. debug可以正常执行
  4. 操作为入库之前, 创建对象, 是一个很简单的set操作

payInfoExtra.setToAccType(agPayReqDto.getToAccType().getValue());

其中get操作获取的为一个枚举, 主要操作为从枚举中获取value set到另一个对象中

skywalking5集群部署

发布时间 : 2018-12-27
发布 : 2018-12-27 分类 : skywalking 浏览 :

准备环境

  1. skywalking-5.0.0-GA
  2. zookeeper-3.4.10
  3. elasticsearch-5.6.14

下载地址如下:

skywalking: http://skywalking.apache.org/downloads/
zookeeper: http://mirrors.hust.edu.cn/apache/zookeeper/
elasticsearch: https://www.elastic.co/downloads/past-releases

logstash时间戳差8个小时

发布时间 : 2018-12-20
发布 : 2018-12-20 分类 : issue 浏览 :

问题说明

原始配置:


elasticsearch {
# manage_template => false
template_overwrite => true
template => "/opt/export/app/logstash-6.4.2/bin/dynamic_templates.json"
user => xxxxxxx
password => xxxxxxx
index => "%{sys_name}-%{+YYYY.MM.dd}"
hosts => ["172.19.3.51:9200","172.19.3.52:9200"]
}

在使用logstash输出内容要es中时, 指定index为系统名称+时间(年月日), 时间会自动匹配‘@timestamp’字段并格式化, 但是在实际使用过程中, 发现在上午八点之前的消息会被创建到昨天的索引里面.查阅相关资料, 有介绍在时间戳上面增加8个小时的方式, 也可以使用. 这里结合自己业务使用的其他方式.