ElasticSearch笔记03-ElasticSearch环境

news/2024/7/7 5:56:31 标签: elasticsearch

相关概念

单机&集群

单台Elasticsearch服务器提供服务，往往都有最大的负载能力，超过这个阈值，服务器性能就会大大降低甚至不可用，所以生产环境中，一般都是运行在指定服务器集群中。
除了负载能力，单点服务器也存在其他问题：

  • 单台服务器存储容量有限
  • 单服务器容易出现单点故障，无法实现高可用
  • 但服务的并发处理能力有限

配置服务器集群时，集群中结点数量没有限制，大于等于2个结点既可以看做是集群了，一般高性能及高可用方面来考虑结点数量都是3个以上。

集群Cluster

一个集群就是由一个或多个服务器结点组织在一起，共同持有整个的数据，并一起提供索引和搜索功能。一个Elasticsearch集群有一个唯一的名字标识，这个名字默认就是elasticsearch。这个名字是重要的，因为一个结点只能通过指定某个集群的名字，来加入这个集群。

结点Node

集群中包含很多服务器，一个结点就是其中的一个服务器。作为集群的一部分，它存储数据，参与集群的索引和搜索功能。
一个结点也是由一个名字来标识的，默认情况下，这个名字是一个随机的漫威漫画角色的名字，这个名字会在启动的时候赋予结点。这个名字对于管理工作来说挺重要的，因为在这个管理过程中，你会去确定网络中的哪些服务器对应于Elasticsearch集群中的哪些结点。
一个结点可以通过配置集群名称的方式来加入一个指定的集群。默认情况下，每个结点都会被安排加入到一个叫做elasticsearch的集群中，这意味着，如果你在你的网络中启动了若干个结点，并假定它们能够相互发现彼此，它们将会自动地形成并加入到一个叫做elasticsearch的集群中。
在一个集群里，只要你想，可以拥有任意多个结点。而且，如果当前你的网络中没有运行任何Elasticsearch结点，这时启动一个结点，会默认创建并加入一个叫做elasticsearch的集群。

Windows集群

部署集群

创建一个ElasticSearchCluster文件夹，将之前的ElasticSearch文件夹复制3份放进去，分别命名为：node-10001、node-10002、node-10003。
修改集群文件目录中每个结点的config/elasticsearch.yml配置文件。

# node-10001
#节点 1 的配置信息：
#集群名称，节点之间要保持一致
cluster.name: my-elasticsearch
#节点名称，集群内要唯一
node.name: node-10001
node.master: true
node.data: true
#ip 地址
network.host: localhost
#http 端口
http.port: 10001
#tcp 监听端口
transport.tcp.port: 9301
#候选主节点的地址，在开启服务后可以被选为主节点
#discovery.seed_hosts: ["localhost:9301", "localhost:9302","localhost:9303"]
#discovery.zen.fd.ping_timeout: 1m
#discovery.zen.fd.ping_retries: 5
#集群内的可以被选为主节点的节点列表
#cluster.initial_master_nodes: ["node-1", "node-2","node-3"]
#跨域配置
#action.destructive_requires_name: true
http.cors.enabled: true
http.cors.allow-origin: "*"

# node-10002
#节点 2 的配置信息：
#集群名称，节点之间要保持一致
cluster.name: my-elasticsearch
#节点名称，集群内要唯一
node.name: node-10002
node.master: true
node.data: true
#ip 地址
network.host: localhost
#http 端口
http.port: 10002
#tcp 监听端口
transport.tcp.port: 9302
#候选主节点的地址，在开启服务后可以被选为主节点
discovery.seed_hosts: ["localhost:9301"]
discovery.zen.fd.ping_timeout: 1m
discovery.zen.fd.ping_retries: 5
#集群内的可以被选为主节点的节点列表
#cluster.initial_master_nodes: ["node-1", "node-2","node-3"]
#跨域配置
#action.destructive_requires_name: true
http.cors.enabled: true
http.cors.allow-origin: "*"

# node-10003
#节点 3 的配置信息：
#集群名称，节点之间要保持一致
cluster.name: my-elasticsearch
#节点名称，集群内要唯一
node.name: node-10003
node.master: true
node.data: true
#ip 地址
network.host: localhost
#http 端口
http.port: 10003
#tcp 监听端口
transport.tcp.port: 9303
#候选主节点的地址，在开启服务后可以被选为主节点
discovery.seed_hosts: ["localhost:9301", "localhost:9302"]
discovery.zen.fd.ping_timeout: 1m
discovery.zen.fd.ping_retries: 5
#集群内的可以被选为主节点的节点列表
#cluster.initial_master_nodes: ["node-1", "node-2","node-3"]
#跨域配置
#action.destructive_requires_name: true
http.cors.enabled: true
http.cors.allow-origin: "*"

启动集群

启动集群之前，先删除每个结点的data目录中所有内容（如果存在的话）。分别执行bin/elasticsearch.bat启动服务器，此时这3个服务会自动加入指定名称的集群。

测试集群

启动的时候，可能会闪退，因为我最初使用的是1001端口，会提示端口已占用，通过logs目录可以看到详细日志，如果出现这个情况，修改端口即可。
在浏览器访问：http://localhost:10001/_cluster/health、http://localhost:10002/_cluster/health、http://localhost:10003/_cluster/health查看集群启动状态。
status字段用来表示当前集群在总体上是否正常工作，它的三种颜色表示：
green：所有主分片和副本分片都是正常运行的
yellow：所有主分片都正常运行，但不是所有副本分片都是正常运行
red：有主分片没有正常运行
测试一下集群功能是否正常：

# 向10001结点添加索引
PUT /user
# 通过10002结点查询索引
GET /user

Linux单机

软件下载

软件下载地址：https://www.elastic.co/cn/downloads/past-releases/elasticsearch-7-8-0。注意这次下载Linux版本的。

软件安装

前提：准备好一台虚拟机。

# 下载ElasticSearch
[root@localhost ~]# wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.8.0-linux-x86_64.tar.gz
[root@localhost ~]# tar -zxvf elasticsearch-7.8.0-linux-x86_64.tar.gz -C /opt/module
# 因为安全问题，es不允许root用户直接运行，所以要创建用户，在root用户中创建新用户
[root@localhost ~]# useradd es
# 给es用户设置密码
[root@localhost ~]# passwd es
# 如果设置错了，可以删除再添加
[root@localhost ~]# userdel -r es
# 修改文件所有者
[root@localhost ~]# chown -R es:es /opt/module/elasticsearch-7.8.0/
# 修改配置文件
[root@localhost ~]# vim /opt/module/elasticsearch-7.8.0/config/elasticsearch.yml
# 加入如下配置
cluster.name: elasticsearch
node.name: node-1
network.host: 0.0.0.0
http.port: 9200
cluster.initial_master_nodes: ["node-1"]
[root@localhost ~]# vim /etc/security/limits.conf
# 在文件末尾中增加下面内容
# 每个进程可以打开的文件数的限制
es soft nofile 65536
es hard nofile 65536
[root@localhost ~]# vim /etc/security/limits.d/20-nproc.conf
# 在文件末尾中增加下面内容
# # 每个进程可以打开的文件数的限制
es soft nofile 65536
es hard nofile 65536
# 操作系统级别对每个用户创建的进程数的限制
* hard nproc 4096
# 注：* 带表 Linux 所有用户名称
[root@localhost ~]# vim /etc/sysctl.conf
# 在文件中增加下面内容
# 一个进程可以拥有的 VMA(虚拟内存区域)的数量,默认值为 65536
vm.max_map_count=655360
# 重新加载
[root@localhost ~]# sysctl -p

启动软件

# 切换用户
[root@localhost ~]# su es
# 进入ElasticSearch目录
[es@localhost ~]# cd /opt/module/elasticsearch-7.8.0/bin
# 启动ElasticSearch
[es@localhost bin]# ./elasticsearch
# 后台启动ElasticSearch
[es@localhost bin]# ./elasticsearch -d

这里，在启动的时候，报了一个错，提示内存不够，调整虚拟机内存（4G）后，再次尝试，此时又会报一个错误，提示不能用root启动（因为重启机器后忘了切换用户了）。切换用户后，再次启动，依旧报错，提示文件权限问题，再切回root，给文件设置权限，再切回es用户，再次启动。

# 切回root用户，给文件夹设置权限
[root@localhost ~]# chown -R es:es /opt/module/elasticsearch-7.8.0/
# 切换es用户，启动es
[es@localhost ~] ./opt/module/elasticsearch-7.8.0/bin/elasticsearch

测试软件

此时就成功启动了Linux版本的ElasticSearch，通过浏览器访问验证一下，浏览器访问服务器IP:9200。

Linux集群

软件下载

参考单机版的软件下载，下载路径：https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.8.0-linux-x86_64.tar.gz。
并将压缩包发送到多台服务器上，因为是单机版，所以将elasticsearch-7.8.0改名为elasticsearch-cluster。
因为ElasticSearch不能用root用户直接运行，所以依旧需要创建新用户，参考单机版。

软件安装

修改每个结点的elasticsearch.yml配置文件，加入如下配置。
node1的配置，参考修改node2，node3的配置。

# 加入如下配置
# 集群名称
cluster.name: elasticsearch-cluster
#节点名称，每个节点的名称不能重复
node.name: node1
#ip 地址，每个节点的地址不能重复
network.host: 192.168.216.234
#是不是有资格主节点
node.master: true
node.data: true
http.port: 9201
# head 插件需要这打开这两个配置
http.cors.allow-origin: "*"
http.cors.enabled: true
http.max_content_length: 200mb
#es7.x 之后新增的配置，初始化一个新的集群时需要此配置来选举 master
cluster.initial_master_nodes: ["node1"]
#es7.x 之后新增的配置，节点发现
discovery.seed_hosts: ["192.168.216.234:9301","192.168.216.234:9302","192.168.216.234:9303"]
gateway.recover_after_nodes: 2
network.tcp.keep_alive: true
network.tcp.no_delay: true
transport.tcp.compress: true
#集群内同时启动的数据任务个数，默认是 2 个
cluster.routing.allocation.cluster_concurrent_rebalance: 16
#添加或删除节点及负载均衡时并发恢复的线程个数，默认 4 个
cluster.routing.allocation.node_concurrent_recoveries: 16
#单节点可以启动的ES实例个数
node.max_local_storage_nodes: 3

启动软件

我这是在一台机器上演示的集群构建，要想启动起来，需要扩大内存（4G内存启动3台机器，启动失败了，最后给虚拟机分配了6G内存，起来了，5G应该也可以）。

测试集群

此时就成功启动了Linux版本的ElasticSearch，通过浏览器访问验证一下，浏览器访问服务器IP:端口。


http://www.niftyadmin.cn/n/1009841.html

相关文章

【人工智能与机器学习】决策树ID3及其python实现

【人工智能与机器学习】决策树ID3及其python实现

文章目录 1 决策树算法1.1 特征选择1.2 熵（entropy）1.3 信息增益 2 ID3算法的python实现总结 1 决策树算法 决策树（Decision Tree)是一类常见的机器学习方法，是一种非常常用的分类方法，它是一种监督学习。常见的决策树…
阅读更多...
Spring 事务使用详解

Spring 事务使用详解

前言 什么是事务？根据 维基百科事务 介绍，数据库事务（简称：事务）是数据库管理系统执行过程中的一个逻辑单位，由一个有限的数据库操作序列构成。简单来说，事务就是将一系列操作当成一个不可拆分…
阅读更多...
wpf 3d立方体上的按钮

wpf 3d立方体上的按钮

新建一个WPF工程&#xff1b; 引入3D Tools&#xff1b;前面已经说了&#xff0c;引入之后&#xff0c;不用写代码即可实现3D物体的鼠标操作&#xff1b; xaml代码如下&#xff1b; <Window x:Class"thrbtn.MainWindow"xmlns"http://schemas.microsoft.com…
阅读更多...
如何在VUE项目中使用svg图标

如何在VUE项目中使用svg图标

一文带你搞定svg图标的使用&#xff01; 文章目录 前言一、SVG相较于字体图标的优点二、使用步骤1.新建一个vue2项目2.安装项目依赖3 .在src目录下新建文件夹4.创建svg-icon组件5.在main.js中引入icons下的index.js6.配置 vue.config.js7.步骤完毕&#xff0c;检验成果 总结 前…
阅读更多...
【Android从零单排系列十五】《Android视图控件——AlertDialog》

【Android从零单排系列十五】《Android视图控件——AlertDialog》

目录 前言 一 AlertDialog基本介绍 二 AlertDialog使用方法 三 AlertDialog常用属性和方法 四 总结 前言 小伙伴们&#xff0c;在上文中我们介绍了Android视图组件RatingBar&#xff0c;本文我们继续盘点&#xff0c;介绍一下视图控件的AlertDialog。 一 AlertDialog基本…
阅读更多...
SQL 查询表中某列字段相同的重复数据的方法

SQL 查询表中某列字段相同的重复数据的方法

系列文章目录 文章目录 系列文章目录前言一、使用 COUNT() 函数&#xff1a;二、使用子查询&#xff1a;三、使用窗口函数&#xff1a;总结 前言 在数据库查询中&#xff0c;我们经常需要查找表中某列中重复的数据。本文将介绍如何使用 SQL 查询语句来查找表中某列字段相同的重…
阅读更多...
基于Java+Swing+Mysql图书信息管理系统

基于Java+Swing+Mysql图书信息管理系统

基于JavaSwingMysql图书信息管理系统 一、系统介绍二、功能展示1.主页2.新增图书信息3.删除图书信息 三、数据库四、其他系统实现五、获取源码 一、系统介绍 该系统实现了查看图书列表、新增图书信息、删除图书信息 运行环境&#xff1a;eclipse、idea、jdk1.8 二、功能展示…
阅读更多...
Python_类对象、实例对象、类属性、实例属性、类方法、实例方法

Python_类对象、实例对象、类属性、实例属性、类方法、实例方法

目录 认识类对象、实例对象、类属性、实例属性、类方法、实例方法 类对象实例化过程中的内存分配说明 认识类对象、实例对象、类属性、实例属性、类方法、实例方法 类对象&#xff1a;定义的类就是类对象实例对象&#xff1a;类对象实例化后就是实例对象类属性&#xff1a;定…
阅读更多...
最新文章

Copyright @ 2022~2023