3分钟快速了解es中分片的概念

news/2024/7/7 6:36:39 标签: elasticsearch

在 Elasticsearch 中,分片(shard)是将索引划分为多个较小的部分的过程。分片可以提高搜索性能和容错能力。下面是如何为书籍示例创建一个带有分片和中文分词器的索引。

我们将为 “books” 索引创建 3 个主分片(primary shards)和 1 个副本分片(replica shard)。

  1. 创建带有分片和映射的索引:

使用以下命令创建一个带有分片和映射的 “books” 索引:

curl -X PUT "localhost:9200/books?pretty" -H 'Content-Type: application/json' -d'
{
  "settings": {
    "index": {
      "number_of_shards": 3,
      "number_of_replicas": 1
    },
    "analysis": {
      "analyzer": {
        "ik_analyzer": {
          "type": "custom",
          "tokenizer": "ik_max_word"
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "title": {
        "type": "text",
        "analyzer": "ik_analyzer"
      },
      "author": {
        "type": "keyword"
      },
      "publish_date": {
        "type": "date"
      },
      "description": {
        "type": "text",
        "analyzer": "ik_analyzer"
      }
    }
  }
}'

在这个示例中,我们创建了一个名为 “books” 的索引,并指定了 3 个主分片和 1 个副本分片。同时,我们定义了一个使用 ik_max_word 中文分词器的映射。

  1. 向带有分片和映射的索引中添加文档:

接下来,我们可以将书籍文档添加到 “books” 索引中。例如:

curl -X POST "localhost:9200/books/_doc?pretty" -H 'Content-Type: application/json' -d'
{
  "title": "活着",
  "author": "余华",
  "publish_date": "1992-01-01",
  "description": "《活着》讲述了农村人福贵悲惨的一生,通过福贵的人生遭遇,展示了一个在命运压迫下挣扎求生的弱者形象。"
}'
  1. 使用分片和映射进行搜索:

现在我们可以使用 Elasticsearch 的搜索功能来查询包含特定关键词的书籍。例如,我们可以搜索书籍简介中包含 “命运” 的书籍:

curl -X GET "localhost:9200/books/_search?pretty" -H 'Content-Type: application/json' -d'
{
  "query": {
    "match": {
      "description": "命运"
    }
  }
}'

这将返回一个包含搜索结果的 JSON 对象。如果一切正常,您将在结果中看到 “活着” 这本书。

这个示例展示了如何在 Elasticsearch 中为书籍索引创建分片和使用中文分词器。使用分片可以提高搜索性能和容错能力。通过合理设置主分片和副本分片的数量,您可以根据实际需求和硬件资源调整索引的性能和可用性。

当您向索引中添加更多书籍文档时,Elasticsearch 会根据分片配置将这些文档均匀地分布在各个分片中。这样,在执行搜索请求时,Elasticsearch 可以并行地在各个分片上执行查询,从而加快搜索速度。同时,副本分片可以提高系统的容错能力,因为在某个分片出现故障时,副本分片可以顶替主分片继续提供服务。

在这个书籍示例中,我们使用了分片和中文分词器来创建索引、添加文档以及执行搜索。这些功能使得 Elasticsearch 成为一个强大的搜索和分析引擎,适用于处理大量的结构化和非结构化数据。

单节点的 Elasticsearch 集群支持分片。实际上,分片是 Elasticsearch 的一个内置功能,用于在各个节点上分配和管理数据。即使在单节点集群中,您也可以创建多个分片以便在需要时扩展集群。

在单节点集群中,您可以创建多个主分片,这些分片将存储在该节点上。不过,对于副本分片,您需要注意单节点集群的限制。在单节点集群中,您可以将副本分片的数量设置为 1 或更高,但实际上这些副本分片不会被分配,因为 Elasticsearch 不会在同一个节点上分配主分片和副本分片。

当您将单节点集群扩展为多节点集群时,Elasticsearch 会自动将副本分片分配到其他可用节点,从而提高数据的可用性和容错能力。

总之,单节点的 Elasticsearch 集群支持分片,您可以创建多个主分片来准备将来的扩展。然而,请注意在单节点集群中副本分片的限制。在扩展为多节点集群时,Elasticsearch 将自动处理副本分片的分配。


http://www.niftyadmin.cn/n/279316.html

相关文章

SAP UI5 之Bootstrap(引导)笔记二

文章目录 Setting up Visual Studio Code for UI5 development1.0 官网 Walkthrough学习-Bootstrap 引导加载1.0.1 在 index.html中新增script标签1.0.2 在webapp 下面新增index.js文件1.0.3启动UI5的服务 Setting up Visual Studio Code for UI5 development 学习链接 Setti…

万万没想到在生产环境翻车了,之前以为很熟悉 CountDownLatch

前言 需求背景 具体实现 解决方案 总结 前言 之前我们分享了CountDownLatch的使用。这是一个用来控制并发流程的同步工具,主要作用是为了等待多个线程同时完成任务后,在进行主线程任务。然而,在生产环境中,我们万万没想到会…

java学习需要掌握的几个细节点,分享一下我找工作的技巧

现在想跟大家聊聊最近的一些想法和状态。最近学习的时间比较少,几乎没怎么学。没有像以前学的那么卷了,可以说。主要是心态受到了一些影响,比如网上看到说招个岗位几百比1这种。 另一个是自己的感受,现在投简历的回应包括能不能投…

Python List pop()方法

在Python中,列表(list)是一种有序的可变集合,可以包含任何数据类型的元素。列表对象提供了许多方法来处理列表中的元素,其中之一是pop()方法。 pop()方法用于从列表中移除并返回指定位置的元素。如果不指定位置&#…

SAP UI5 之Controls (控件) 笔记三

文章目录 官网 Walkthrough学习-Controls控件1.0.1 在index.html中使用class id 属性控制页面展示的属性1.0.2 我们在index.js文件中引入 text文本控制1.0.3打开浏览器查看结果 官网 Walkthrough学习-Controls控件 Controls控件 在前面展示在浏览器中的Hello World 是在Html …

为生信写的Python简明教程 | 视频2

开源生信 Python教程 生信专用简明 Python 文字和视频教程 源码在:https://github.com/Tong-Chen/Bioinfo_course_python 目录 背景介绍 编程开篇为什么学习Python如何安装Python如何运行Python命令和脚本使用什么编辑器写Python脚本Python程序事例Python基本语法 数…

【JUC】ThreadLocal

【JUC】ThreadLocal 文章目录 【JUC】ThreadLocal1. 概述2. Thread、ThreadLocal、ThreadLocalMap 关系2.1 Thread 和 ThreadLocal2.2 ThreadLocal 和 ThreadLocalMap2.3 三者之间的关系 1. 概述 ThreadLocal 提供线程局部变量。这些变量与正常的变量不同,因为每一…

《QDebug 2023年4月》

一、Qt Widgets 问题交流 二、Qt Quick 问题交流 1.对 qml 基本类型 list 的编辑 在 Qt5 中,QML 的 list 类型只提供了 push 添加数据,或者重新赋值,没法 pop。到了 Qt6,实测可以对 list 调用 pop/shift 等操作。 Qt5 中可以先…