目录
Elk
流程:
Elastic stack特色
组件
Beats 新轻量级数据采集
传统数据库问题:
全文检索
倒排索引
lucene
Es集群:
可拓展性
Elk
Es 搜索使用
Logstash(数据转化抽取) -> es
Kibana 可视化界面
流程:
生产服务器集群 部署logstash 收集日志文件> 发送到es集群 > kibana 可视化展示
Elastic stack特色
Es搜索 elk配置简单 、json接口、高性能、灵活扩展、kibana图标展示
组件
Elasticsearch 搜索、logstash 数据转换抽取、kibana node.js页面展示
Beats 新轻量级数据采集
packetbeat网络请求包采集、filebeat(文件信息日志)、metricbeat 采集内存cpu、winlogbeat(wendows日志采集器)、hearbeat运行状态、auditbeat 审计日志采集器 、heartbeat 运行状态、functionbeat 云端数据服务采集、elasteccloud Saas采集的
- Elasticesearch
互联网搜索、企业站内搜索、电商网站搜索
传统数据库问题:
数据大、性能问题、不能分词
全文检索
全数据检索
倒排索引
增加词索引表
lucene
通过jar引入 api开发
Es集群:
Shard 平行节点、自动备份副本机制、高级搜索写sql
可拓展性
增加节点即可增大存储量