基于ELK的日志统计系统实践

总结下近期的日志系统目前的架构如图:部分说明Logstash主要用来做数据收集和传输, 至于为什么选择它, 很尴尬的说因为早期版本只有 elk, 所以也没怎么特别针对它优化。目前我们使用了三台 Logstash 节点, 一台用于收集数据(主要是UDP)传输到 Kafka 中, 这里要提醒一下, Logstash 的性能并不是很理想, 后面也会考虑其他替代方式, 如 hangout Flume...阅读全文...

python脚本实现Elasticsearch的冷热分离

起因出于成本考虑,es 集群内节点机器配置有好有差,为了实现当天和前一天数据写在 ssd 节点上,历史数据迁移到普通节点,使用 python 写了一个小脚本,凌晨定时迁移分片,供参考. es 官方有类似 tags 的实现方式,等我实践后再来记录下配置启动脚本前必须修改下面两项配置,否则分片刚迁移过去,就又被均衡回来了# 禁止集群自动分配,使主要分片或副本的分布失效 cluster.routi...阅读全文...

处理Elasticsearch集群yellow和red状态

RED原因red表示不是所有的主分片都可用，通常时由于某个索引的住分片为分片unassigned，只要找出这个索引的分片，手工分配即可处理官方文档的详细说明通过curl GET http://{ESIP}:9200/_cluster/health?level=indices查看所有索引信息，查看下是哪个索引的status是red导致了集群都red了(集群索引多的时候一眼看不出来，直接把结果拷...阅读全文...

用Go写PHP小扩展

问：为什么是小扩展答：因为我还没在生产环境上测试过～～囧～环境ubuntu 16.04go1.6.3 linux/amd64php-gophp7.0.9php-go安装参考说明文档示例示例模块php-go/example/hello.go中比较全的写出了大部分示例(虽然没多少注释～)# 编译示例模块hello.so cd cd $GOPATH/src/github.com/kitech/ph...阅读全文...

Elk使用笔记(坑)（2017-02-17更新）

主要记录使用过程终于到的一些坑和需要注意的地方，有些坑想不起来了，以后再完善补上elk版本elasticsearch: 2.4.1kibana: 4.6.3logstash: 2.4.1问题Elasticseasrch报错，Request Timeout after 30000ms,log中无日志一般重启elasticsearch即可，重启后节点状态状态Elasticsearch is st...阅读全文...

Elasticsearch集群优化笔记

设置集群和节点名称设置集群名称，es默认集群名称都是elasticsearchg,是防止同网段内其他es机器自动加入了该集群设置节点名称，是方便节点管理时识别，不设置的话es每次重启会重新自动生成一串字符cluster.name: elasticsearch-product node.name: es-node1集群使用单播方式通信es默认是多播方式，网段内有相同集群名称的节点自动加入集群，...阅读全文...

PHP+Hadoop实现数据统计分析

记一次完全独立完成的统计分析系统的搭建过程，主要用到了PHP+Hadoop+Hive+Thrift+Mysql实现安装Hadoop安装: http://www.powerxing.com/install-hadoop/Hadoop集群配置: http://www.powerxing.com/install-hadoop-cluster/Hive安装： https://chu888chu888...阅读全文...

Redis 内存优化案例

在Redis的配置文件中有这么两项配置：hash-max-ziplist-entries 512 hash-max-ziplist-value 64其中的ziplist代表数据结构，是一种数据压缩方式，作用是减少内存的使用空间在某个阀值范围内，hashtable会使用ziplist，对数据进行压缩，超出阀值后，会自动转为使用正常的hashmap结构上面这两项就是定义这个阀值hash-max-...阅读全文...

  1. 1
  2. 2
  3. 3
  4. 4
  5. 5
  6. 6