详解 ElasticSearch Kibana 配置部署

news/2024/7/7 5:57:53 标签: elasticsearch, 大数据, kibana, restful, linux, centos

默认安装部署所在机器允许外网 

SSH工具 

Putty

链接:https://pan.baidu.com/s/1b6gumtsjL_L64rEsOdhd4A 
提取码:lxs9

Winscp

链接:https://pan.baidu.com/s/1tD8_2knvv0EJ5OYvXP6VTg 
提取码:lxs9 

        WinSCP安装直接下一步到完成(可自己修改软件安装位置),Putty也是下一步到完成。 

         如果安装Putty时修改了安装地址,需要修改WinScp中putty.exe(图2)

安装环境 

系统内核
centos7

CPU - 2核 内存 - 4GB

ElasricSearch

下载 

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.17.12-linux-x86_64.tar.gz
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.17.12-linux-x86_64.tar.gz.sha512
shasum -a 512 -c elasticsearch-7.17.12-linux-x86_64.tar.gz.sha512 
tar -xzf elasticsearch-7.17.12-linux-x86_64.tar.gz
cd elasticsearch-7.17.12/ 

        包说明 

bin:可执行文件在里面,运行es的命令就在这个里面,包含了一些脚本文件等
config:配置文件目录
JDK:java环境
lib:依赖的jar,类库
logs:日志文件
modules:es相关的模块
plugins:可以自己开发的插件
data:这个目录没有,自己新建一下,后面要用 -> mkdir data,这个作为索引目录

 配置Elasticsearch

进入config目录 

cd  elasticsearch-7.17.12/config/

cluster.name: server-master
node.name: salve-1
network.host: 0.0.0.0   #绑定的ip:默认只允许本机访问,修改为0.0.0.0后则可以远程访问
http.port: 9200
path.data: /opt/elasticsearch-7.17.12/data
path.log: /opt/elasticsearch-7.17.12/data

 查看修改的参数

grep -v "#" elasticsearch.yml |  grep -v "^$"

创建数据存储、日志文件夹 

mkdir /opt/elasticsearch-7.17.12/data
mkdir /opt/elasticsearch-7.17.12/logs

更改权限

** ElasticSearch不允许root用户启动和操作,只能使用普通用户
adduser es
chown -R es:es/opt/elasticsearch-7.17.12/

修改JVM参数 

 修改系统配置

修改/etc/security/limits.conf 文件,新增一下参数

* soft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 4096

 修改 /etc/sysctl.conf 增加 vm.max_map_count=262145

vim /etc/sysctl.conf

vm.max_map_count=262145

 刷新

sysctl -p

启动ElasticSeasrch 

 切换用户

su es   (es:自己添加的用户)

 启动命令

 ./bin/elasticsearch

启动出现问题

[slave-1] node validation exception
[2] bootstrap checks failed. You must address the points described in the following [2] lines before starting Elasticsearch.
bootstrap check failure [1] of [2]: max number of threads [2048] for user [es] is too low, increase to at least [4096]
bootstrap check failure [2] of [2]: the default discovery settings are unsuitable for production use; at least one of [discovery.seed_hosts, discovery.seed_providers, cluster.initial_master_nodes] must be configured

问题1

[slave-1] node validation exception
elasticsearch.yml新增配置如下:

bootstrap.memory_lock: false
bootstrap.system_call_filter: false

 问题2

the default discovery settings are unsuitable for production use; at least one of [discovery.seed_hosts, discovery.seed_providers, cluster.initial_master_nodes] must be configured

修复如下: 

elasticsearch.yml新增配置如下:

# discovery.seed_hosts:  集群主机列表
# discovery.seed_providers: 基于配置文件配置集群主机列表
# cluster.initial_master_nodes: 启动时初始化的参与选主的node,生产环境必填

#添加配置
discovery.seed_hosts: ["127.0.0.1"]
 
cluster.initial_master_nodes: ["node-1"]

问题3

 max number of threads [2048] for user [es] is too low, increase to at least [4096]

修改/etc/security/limits.conf 文件,将上面我们新增的参数修改一下 

# * soft nproc 2048
* soft nproc 4096

日志文件中出现的错误(不影响启动): 

修改elasticsearch.yml

ingest.geoip.downloader.enabled: false

 再次启动Elasticsearch

Elasticsearch 修复配置文件

cluster.name: server-master
node.name: salve-1
network.host: 0.0.0.0   #绑定的ip:默认只允许本机访问,修改为0.0.0.0后则可以远程访问
http.port: 9200
path.data: /opt/elasticsearch-7.17.12/data
path.log: /opt/elasticsearch-7.17.12/data

bootstrap.memory_lock: false
bootstrap.system_call_filter: false
discovery.seed_hosts: ["127.0.0.1"]
cluster.initial_master_nodes: ["slave-1"]

 测试

        解决所有问题了 ,怀着无比激动的心 下💖  下去测试,我靠.......................

FUNK !!!!!!!!!!!

控制台添加防火墙规则

配置用户名密码

        关闭服务,在elasticsearch.yml增加以下配置

         启动服务时,提示如下错误,说明参数(cluster.initial_master_nodes、discovery.type)不能同时存在。

         移除discovery.type参数 启动成功

执行

./elasticsearch-setup-passwords interactive

成功后,刷新访问,输入自己的用户名(默认 elastic)密码即可         至此,ElasticSearch 安装完成,离胜利还差一步之遥 下💪!!!

Kibana

安装 

需切回root账户 

# 下载
wget https://artifacts.elastic.co/downloads/kibana/kibana-7.17.12-linux-x86_64.tar.gz

# 解压
tar -zxvf kibana-7.17.12-linux-x86_64.tar.gz

# 重命名文件夹
mv kibana-7.17.12-linux-x86_64 kibana-7.17.12

# 指定用户
chown -R es:es /opt/kibana-7.17.12/

# 赋权限
chmod 770 /opt/kibana-7.17.12

修改配置文件 

 启动Kibana

测试


至此完成,ElasticSearch 和Kibana的安装配置


🌹 以上分享 Redis 事务、管道、发布订阅,如有问题请指教写。

🌹🌹 如你对技术也感兴趣,欢迎交流。

🌹🌹🌹  如有需要,请👍点赞💖收藏🐱‍🏍分享 

http://www.niftyadmin.cn/n/4985619.html

相关文章

【已解决】激活虚拟环境报错:此时不应有Anaconda3\envs\[envs]\Library\ssl\cacert.pem。

新建虚拟环境后,进入虚拟环境的时候出现这样的报错: 此时不应有Anaconda3 envs yolov5 Library ssl cacert.pem。 但是之前装的虚拟环境也还能再次激活,base环境也无任何问题,仅新装的虚拟环境无法激活。 查遍了百度谷歌&#xff…

Kafka监控工具,LinkedIn详解

Kafka监控工具包括以下几种: Kafka Manager:这是一个开源的Kafka集群管理工具,可以监控Kafka集群的健康和性能,并提供可视化的用户界面。 Kafka Monitor:这是LinkedIn开发的一个监控工具,可以监控Kafka集群…

自动驾驶和辅助驾驶系统的概念性架构(一)

摘要: 本文主要介绍包括功能模块图,涵盖了底层计算单元、示例工作负载和行业标准。 前言 本文档参考自动驾驶计算联盟(Autonomous Vehicle Computing Consortium)关于自动驾驶和辅助驾驶计算系统的概念系统架构。 该架构旨在与SAE L1-L5级别的自动驾驶保…

8月28日上课内容 第四章 MySQL备份与恢复

本章结构 前言:日志⭐⭐ MySQL 的日志默认保存位置为 /usr/local/mysql/data ##配置文件 vim /etc/my.cnf [mysqld] ##错误日志,用来记录当MySQL启动、停止或运行时发生的错误信息,默认已开启 log-error/usr/local/mysql/data/mysql_error.l…

【运维】hadoop3.0.3集群安装(二) 横向新增节点和删除节点

文章目录 一. 新增节点1.配置、安装1.1. 所有节点配置新节点主机映射1.2. 上传安装包1.3. 配置环境变量1.4. 配置workers1.5. 清理之前集群的数据目录(如有) 2. 新增节点启动3. 平衡DataNode节点 二. 删除节点1. namenode节点操作1.1. 添加excludes文件1…

75 # koa 基本逻辑实现以及属性的扩展

准备工作 新建自己的 kaimo-koa 文件夹,结构如下: lib application.js:创建应用context.js:上下文request.js:koa 中自己实现的 request 的对象response.js:koa 中自己实现的 response 的对象 package.js…

菜鸟教程《Python 3 教程》笔记(5):字符串

菜鸟教程《Python 3 教程》笔记(5) 5 字符串5.1 Python 转义字符5.2 Python 字符串格式化5.3 f-string5.4 Unicode 字符串5.5 Python 的字符串方法5.5.1 capitalize()5.5.2 center()、ljust()、rjust()、zfill()5.5.3 count()5.5.4 endswith()、startswi…

《论文阅读21》Group Equivariant Convolutional Networks

一、论文 研究领域:机器学习论文:Group Equivariant Convolutional Networks PMLR Proceedings of Machine Learning Research 2016 论文链接 二、论文简述 三、论文详述 群等变卷积网络 Abstract 我们引入群等变卷积神经网络(G-CNN&…