Logstash写入Elasticsearch并发问题
公司项目是通过Logstash采集日志存入Elasticsearch集群中,Logstash通过配置文件启动的时候报如下错误:
[2017-03-11T10:08:11,390][ERROR][Logstash.outputs.elasticsearch] Action [2017-03-11T10:08:11,391][ERROR][Logstash.outputs.elasticsearch] Action [2017-03-11T10:08:11,393][INFO][logstash.outputs.elasticsearch]retrying failed action with response code:429 ({"type" => "es_rejected_execution_exception", "reason" => "rejected" execute of org.elasticsearch.transport.TransportService$6@1046foc on EsThreadPoolExecutor [bulk.queue.capacity=50, org.elasticsearch.common.util.concurrent.EsThreadPoolExecutor@e2e35f2 [Runing, pool size = 32, active threads = 32 queue.capacity=50, completed tasks=1041050369"]}
以为是资源不够,通过停了所有Logstash进程再重新启动,同样报这个错误。确认不是集群资源问题。通过设置elasticsearch.yml设置纯种池也无法解决问题:
- threadpool.index.type: fixed
- threadpool.index.size: 100
- threadpool.index.queue_size: 500
线程处理不过来。queue加大到1000也无法解决这个问题。
通过RestAPIs:http://localhost:9002/_cat/thread_pool?pretty查看其拒绝服务的那台机器,正好是分片数量最多的节点。也就是分片没有打散,当前集中有3个分片,导致请求压力都在当前节点上。通过设置模版和索引的index.routing.allocation.total_shards_per_node属性解决这个问题。设置成功后分片会打散至其他节点上。
需要特别注意这个属性,如果设置值为1,也就是说每个节点最多保存一个分片,当你分片的总数(包括复本数)大于节点数,会一值报分片的异常。
相关推荐
logstash同步elasticsearch笔记 2018,包括配置文件,和demo
基于docker-compose构建filebeat + Logstash +Elasticsearch+ kibana日志系统 对nginx日志进行正则切割字段。 https://www.jianshu.com/p/f7927591d530
资源主要能用于使用logstash将oracle数据导入到es中,logstash的版本为5.6.1
Logstash, OSSEC + Logstash + Elasticsearch + Kibana OSSEC使用 LOGSTASH - ELASTICSEARCH - KIBANA 管理 OSSEC警报管理现在是Magento安装脚本的一部分。 https://github.com/magenx/Magento-Automat
php+logstash+elasticsearch,完美解决搜索引擎及快速切片问题
winlogbeat收集windows日志并通过logstash传到elasticsearch
使用logstash+elasticsearch+kibana搭建监控平台 ,也可以使用logstash+influxdb+grafana搭建监控平台
Filebeat+Kafka+Logstash+ElasticSearch 按照文档的配置即可跑通 ,简单快速入门
Logstash + Elasticsearch + Kibana不用于生产! 这是一个超级易于使用的 Logstash docker 映像,其中包括收集、解析、存储日志、搜索日志、可视化日志和从日志中提取不同类型信息所需的一切。 这个多合一的 ...
filebeat+logstash+ES集群+kibana实战.txt
Elasticsearch启动https访问,需要配置logstash,该配置logstash支持https的conf配置文件
ELK-guide-cn 高清,带书签
ELK学习笔记.docx elasticsearch logstash kibana 环境搭建开发
2019年elaticsearch6.6.0的安装教程,kibana6.6.0安装教程,logstash6.6.0安装教程,ik分词器,head插件,bigdesk等插件安装教程,x-pack使用等。
开源实时日志分析ELK平台能够完美的解决日志收集和日志检索、分析的问题,ELK就是指ElasticSearch、Logstash和Kiabana三个开源工具。 因为ELK是可以跨平台部署,因此非常适用于多平台部署的应用。 二 环境准备 1...
Heroku日志和ELK(Logstash + Elasticsearch + Kibana)演示 要求: 码头工人 Docker撰写 Docker Machine(如果您未使用Linux) Heroku工具带 观看实际的演示: 首先,启动3个容器(Logstash,Elasticsearch和...
ELK是ElasticSearch、Logstash、Kibana的简称。ELK在最近两年迅速崛起,成为机器数据分析,或者说实时日志处理领域,开源界的第一选择
第一步是设置数据源,根据我们之前推送给elasticsearch的日志数据,使用management标签创建索引模式; 第二步根据第一步创建的索引模式,使用Visualize 标签页用来设计可视化图形; 第三步根据第二步做好的可视化...
使用logstash,解耦sqlserver数据同步到elasticsearch,.net平台下,异步查询优化
包括elasticsearch-7.11.1-linux-x86_64.tar.gz kibana-7.11.1-linux-x86_64.tar.gz logstash-7.11.1-linux-x86_64.tar.gz 一次性下载完所需包