ES-7.12-官网阅读-ILM-自定义内置ILM策略

news/2024/7/7 5:58:43 标签: elasticsearch, 大数据, 搜索引擎

官网地址:Tutorial: Customize built-in ILM policies | Elasticsearch Guide [7.12] | Elastic

教程:自定义内置ILM策略(Customize built-in ILM policies)

Elasticsearch包含如下内建ILM 策略:

  • logs(日志)
  • metrics(指标)
  • syntheticc(合成材料?)

Elasctic Agent 用这些策略管理其数据流的支持索引(backing indices),这个教程告诉你如何使用kibana的Index Lifecycle Policies 来基于你应用的性能和弹性,以及保存需求来自定义这些策略;

场景(Scenario)

你想要发送日志文件到Elasticsearch集群目的是能够可视化和分析数据,这些数据有如下保留需求:

  • 当你的写入index 达到50GB或者保留了30天,滚动创建(rollover)一个新的索引
  • rollover 以后,将索引在热数据层(hot data tier)保留30天;
  • rollover 30天后
    • 移动index到热数据层(warm data tier)
    • 设置副本为1;
    • Force merge 多个索引段(segment)以释放已删除文档所使用的空间。
  • 滚动90天后删除索引;

先决条件(Prerequisites)

为完成这个教程,你将需要

  • 一个有hot和warm数据层的Elasticsearch 集群
    • Elasticsearch Service:Elasticsearch Service 上的 Elastic Stack 部署(deployment)默认包含热层,要添加warm层,请编辑您的部署(deployment)并单击添加warm层的容量
    • 自建集群(Self-managed cluster):将data_hot 和data_warm 角色分配给节点,如数据层中(Data tiers | Elasticsearch Guide [7.12] | Elastic)所述;

举例,在warm tier(warm 层)中每个节点的elasticsearch.yml文件中 包含 data_warm节点 角色

node.roles: [ data_warm ]

  • 安装了 Elastic Agent 并配置为将日志发送到 Elasticsearch 集群的主机

查看策略(View the policy)

Elastic Agent使用索引模式为logs-*-*的数据流来存储日志监控数据。内置logs  ILM 策略自动管理这些数据流的支持索引。

在kibana中访问 logs policy:

  1. 打开菜单,并去到Stack Management > Index Lifecycle Policies.;
  2. 选择logs policy;

log policy 使用建议的滚动默认值:当当前写入索引达到 50GB 或变为 30 天时开始写入新索引。

查看或更改rollover设置,点击Hot 阶段的Advanced settings,然后禁用使用推荐的默认值(Use recommended defaults);

修改策略(Modify the policy)

默认logs policy 旨在防止创建许多微小的每日索引。您可以修改策略以满足您的性能要求并管理资源使用情况。

  1. 激活热阶段并单击Advanced settings.
    1. 设置Move data into phase when  30 days old。这会将index完成rollover以后保留30天后移入到warm 层
    2. 启用Set replicas 并且改变Number of replicas 为1
    3. 启用Force merge data 并设置Number of segments为1
  2. 在warm 阶段,单击垃圾桶图标以启用删除阶段。

在delete 阶段,设置Move data into phase when to 90 days old. 这会在rollover 90天后删除index;

3.  单击 Save Policy.


http://www.niftyadmin.cn/n/5464830.html

相关文章

学习vue3第十三节(组件之间传参通讯:props/$emit/$on/provide/inject/$attrs/$parent/pinia)

常用的通讯方式有如下方式 props自定义事件 $emits $onprovide/inject$refs | $parent | $children | defineExpose()$attrs 祖孙传值vuex | pinia 1、父子组件之间使用 props 传参 父组件向子组件传递参数,参数可以是Object、Object[]、Array、String、Number、…

基于Springboot租房网站

采用技术 基于Springboot租房网站的设计与实现~ 开发语言:Java 数据库:MySQL 技术:SpringBootMyBatis 工具:IDEA/Ecilpse、Navicat、Maven 页面展示效果 前台首页 用户登录注册 管理员登录 用户管理 房屋类型管理 房屋…

行人重识别项目 | 基于Pytorch实现ReID行人重识别算法

项目应用场景 面向行人重识别场景,项目具有轻量化 (训练的时候也只需要 2GB 的显存占用)、性能好 (只使用 softmax 损失就能够达到 Rank188.24%, mAP70.68%),另外提供友好的上手项目流程教程 项目效果: 项目流程 > 具体参见项目内README.…

LabVIEW动车组谐波分析与检测系统

LabVIEW动车组谐波分析与检测系统 随着中国高速铁路网络的快速发展,动车组数量和运行速度的不断提升,其产生的谐波问题对电网产生了不小的影响。基于图形化编程语言LabVIEW,开发了一套动车组谐波分析与检测系统,旨在实时监控与分…

安卓Activity上滑关闭效果实现

最近在做一个屏保功能,需要支持如图的上滑关闭功能。 因为屏保是可以左右滑动切换的,内部是一个viewpager 做这个效果的时候,关键就是要注意外层拦截触摸事件时,需要有条件的拦截,不能影响到内部viewpager的滑动处理…

MATLAB /Simulink 快速开发STM32 --学习收获

MATLAB的Simulink 的确可以下载代码,运行。目前我的硬件不知道哪里除了问题,不能监控。 win11st cubemxkeilmatlab2023b,stm32的固件包是F4的。使用了某石电子的f4电机开发板。 cube配置了led灯,gpio使用LL驱动,不是…

每天五分钟深度学习:神经网络和深度学习有什么样的关系?

本文重点 神经网络是一种模拟人脑神经元连接方式的计算模型,通过大量神经元之间的连接和权重调整,实现对输入数据的处理和分析。而深度学习则是神经网络的一种特殊形式,它通过构建深层次的神经网络结构,实现对复杂数据的深度学习…

如何利用Geoserver将矢量数据发布成伪3D服务

目录 1.1、前言1.2、伪3D服务效果图1.3、数据准备1.4、基本原理1.5、完整的样式文件1.6、Geoserver中的操作 1.1、前言 本篇文章需要的Geoserver环境,Geoserver的情况请参考博文Geoserver简介、Geoserver安装部署操作请参考博文Geoserver安装部署、Geoserver基本操作…