es Elasticsearch 一 ELK 基础

news/2024/7/7 5:58:23 标签: elasticsearch, elk, 大数据

目录

Elk

流程:

Elastic stack特色

组件

Beats 新轻量级数据采集

传统数据库问题:

全文检索

倒排索引

lucene

Es集群:

可拓展性


Elk

Es 搜索使用

Logstash(数据转化抽取) -> es

Kibana 可视化界面

流程:

生产服务器集群 部署logstash 收集日志文件> 发送到es集群 > kibana  可视化展示

Elastic stack特色

 Es搜索 elk配置简单 、json接口、高性能、灵活扩展、kibana图标展示

组件

Elasticsearch 搜索、logstash 数据转换抽取、kibana node.js页面展示

Beats 新轻量级数据采集

packetbeat网络请求包采集、filebeat(文件信息日志)、metricbeat 采集内存cpu、winlogbeat(wendows日志采集器)、hearbeat运行状态、auditbeat 审计日志采集器 、heartbeat 运行状态、functionbeat 云端数据服务采集、elasteccloud  Saas采集的

  1. Elasticesearch

       互联网搜索、企业站内搜索、电商网站搜索

传统数据库问题:

数据大、性能问题、不能分词

全文检索

       全数据检索

倒排索引

       增加词索引表

lucene

通过jar引入 api开发

Es集群:

Shard 平行节点、自动备份副本机制、高级搜索写sql

可拓展性

       增加节点即可增大存储量


http://www.niftyadmin.cn/n/355385.html

相关文章

如何做好app的测试工作?一文6个步骤到你秒变APP测试高手

先说结论: 想要做好 APP 的测试工作, 离不开相对完整的测试要点! 本篇文章不仅有完整的App测试介绍,还有相对完整的App测试视频分享。 闲话少叙, 咱们直奔主题, APP 应用测试应该主要包含以下几个方面的测试要点: 需要注意的是: APP 应用测试是个相对繁杂的测试类…

【多线程】常见面试题

1.你知道线程与进程的区别吗? 进程是系统进行资源分配和调度的一个独立单位,线程是程序执行的最小单位,一个进程必然有一条线程(主线程)。进程有自己的内存地址空间,线程只独享指令流执行的必要资源&#…

BFT 最前线 | 王小川:2033机器智慧将超人类;扎克伯格财富暴涨;哈工大:能跳跃的昆虫机器人;北京支持“1+4”机器人领域

原创 | 文 BFT机器人 名人动态 CELEBRITY NEWS 01 王小川:10年后机器智慧将超过人类 年底将推出对标GPT-3.5的模型 科技预言大师雷库兹韦尔说人工智能的奇点,机器智慧超过人类会发生在2045年,王小川的判断比这更激进,他认为这一…

tcp连接阿里云linux服务器失败

原因: 自己程序bind的是127.0.0.1 应该改成 bind 阿里云的私网地址 client连接的是阿里云公网地址 参考: 阿里云服务器,客户端socket无法连接的问题 - 爱码网 排查过程记录: 1,安全组设置:有正常设置…

【尚好房项目实战】:第一章项目架构介绍

编译软件:IntelliJ IDEA 2019.2.4 x64 操作系统:win10 x64 位 家庭版 Maven版本:apache-maven-3.6.3 Mybatis版本:3.5.6 spring版本:5.3.1 文章目录 前言尚好房项目实战系列文章目录一、项目介绍二、核心技术点三、项目…

在 Kubernetes 上实现高速应用交付

原文作者:NGINX 原文链接:在 Kubernetes 上实现高速应用交付 转载来源:NGINX 官方网站 NGINX 唯一中文官方社区 ,尽在 nginx.org.cn 运行于 Kubernetes 之上的应用需要一个经过验证的生产级应用交付解决方案。NGINX Ingress Cont…

极智AI | AIGC时代中AI巨头之间的博弈

欢迎关注我的公众号 [极智视界],获取我的更多经验分享 大家好,我是极智视界,本文来谈谈 AIGC时代AI巨头之间的博弈。 邀您加入我的知识星球「极智视界」,星球内有超多好玩的项目实战源码下载,链接:https://t.zsxq.com/0aiNxERDq 下图是开复老师在 《AI 未来》演讲中一页…

docker容器的时区更改

如果你希望Docker容器使用特定的时区,你有几种方法可以实现这个目标: 在运行Docker容器时设置环境变量:你可以在使用 docker run 命令启动容器时,通过 -e 参数设置一个环境变量 TZ。例如,如果你希望容器使用北京时间&a…