Java ES 滚动查询

滚动查询(Scroll Query)是 Elasticsearch 提供的一种机制,用于处理大量数据的查询。它允许你在多个请求之间保持“游标”,以便在后续请求中获取更多的结果。

以下是滚动查询的基本工作原理:

1 初始查询:
客户端发送一个查询请求给 Elasticsearch,并指定一个滚动时间(scroll time)。

2 首次返回结果:
Elasticsearch会处理这个查询请求,并将结果返回给客户端。
除了返回查询结果之外,还会返回一个特殊的“滚动ID”(scroll ID)。

3 保持连接:
客户端将这个滚动ID保存下来,以便在后续请求中使用。

4 后续查询:
在滚动时间内,客户端可以使用保存的滚动ID来获取更多的结果,而不需要重新发送完整的查询请求。
客户端发送一个滚动请求,并提供之前收到的滚动ID。

5 返回后续结果:
Elasticsearch会使用之前的滚动ID来获取接下来的结果,并将其返回给客户端。
如果有更多的结果可用,它也会返回一个新的滚动ID,以便在下一次请求中使用。

6 重复步骤4和步骤5:
客户端可以在滚动时间内多次使用滚动ID来获取更多的结果,直到没有更多的结果可用为止。

7 滚动ID的失效:
一旦滚动时间过期(在初始查询时指定的时间),或者客户端主动关闭滚动查询,相应的滚动ID将失效,不再能用于获取结果。
滚动查询的优点在于,它允许你在多个请求之间保持连接状态,从而能够处理大量数据而不会因为单次请求的数据量过大而出现问题。

需要注意的是,滚动查询并不适用于实时查询,因为它会保持资源开销,直到滚动时间过期或者显式关闭滚动查询为止。因此,滚动查询通常用于离线批量处理或需要处理大量数据的情况。

java">@Test
public void searchScroll() {
	long gte = 0;
	long lt = 100000000;

	BoolQueryBuilder query = new BoolQueryBuilder();
	query.must(QueryBuilders.rangeQuery("createTime").gte(gte).lt(lt));

	NativeSearchQueryBuilder builder = new NativeSearchQueryBuilder();
	builder.withPageable(PageRequest.of(0, 500)); // 每次只处理500条数据
	builder.withQuery(query);

	// 查询
	IndexCoordinates index = "student";
	SearchScrollHits<Student> hits = template.searchScrollStart(
			60000L,
			builder.build(),
			Student.class,
			index);

	String scrollId = hits.getScrollId();
	List<String> scrollIdList = new LinkedList<>();
	scrollIdList.add(scrollId);

	List<CheckItemCount> list = new LinkedList<>();
	while (hits.hasSearchHits()) {

		// 处理数据
		List<SearchHit<Student>> hitList = hits.getSearchHits();
		for (SearchHit<Student> hit : hitList) {
			// 处理数据
		}
		
		// 滚动查询下一页
		hits = template.searchScrollContinue(scrollId, 60000L, Student.class, index);
		scrollId = hits.getScrollId();
		scrollIdList.add(scrollId);
		
	}
	// 清空滚动查询
	template.searchScrollClear(scrollIdList);
}

http://www.niftyadmin.cn/n/5072511.html

相关文章

18416-2017 家用卫生杀虫用品 蚊香

声明 本文是学习GB-T 18416-2017 家用卫生杀虫用品 蚊香.pdf而整理的学习笔记,分享出来希望更多人受益,如果存在侵权请及时联系我们 1 范围 本标准规定了家用卫生杀虫用品蚊香的术语和定义、要求、试验方法、检验规则及标志、包装、运输、 贮存、使用说明。 本标准适用于由…

Kafka在企业级应用中的实践

前言 前面说了很多Kafka的性能优点&#xff0c;有些童鞋要说了&#xff0c;这Kafka在企业开发或者企业级应用中要怎么用呢&#xff1f;今天咱们就来简单探究一下。 1、 使用 Kafka 进行消息的异步处理 Kafka 提供了一个可靠的消息传递机制&#xff0c;使得企业能够将不同组件…

lua 中文字符的判断简介

一般在工作中会遇到中文字符的判断、截断、打码等需求&#xff0c;之前一直没有总结&#xff0c;虽然网上资料也多&#xff0c;今天在这里简单的总结一下。 1 .UTF-8简单描述 UTF-8 是 Unicode 的实现方式之一&#xff0c;其对应关系&#xff08;编码规则&#xff09;如下表所…

Cesium 展示——移除已加载的geojson文件效果

文章目录 需求分析需求 Cesium 中,当加载完GeoJSON文件后,怎么移除已加载的geojson文件 分析 源码如下: var viewer = new Cesium.Viewer(cesiumContainer);var dataSourcePromise = Cesium.GeoJsonDataSource.load

DRM全解析 —— encoder详解(2)

接前一篇文章&#xff1a;DRM全解析 —— encoder详解&#xff08;1&#xff09; 本文继续对DRM中encoder的核心结构struct drm_encoder的成员进行释义。 3. drm_encoder结构释义 &#xff08;5&#xff09;int encoder_type /*** encoder_type:** One of the DRM_MODE_ENCOD…

10.7 校招 实习 内推 面经

绿泡*泡&#xff1a; neituijunsir 交流裙 &#xff0c;内推/实习/校招汇总表格 1、校招 | 中航无人机2024届校园招聘正式启动&#xff01; 校招 | 中航无人机2024届校园招聘正式启动&#xff01; 2、校招 | 中兵无人机研究院有限公司2024校园招聘 校招 | 中兵无人机研究…

基于SSM+Vue的订餐系统设计与实现

末尾获取源码 开发语言&#xff1a;Java Java开发工具&#xff1a;JDK1.8 后端框架&#xff1a;SSM 前端&#xff1a;采用Vue技术开发 数据库&#xff1a;MySQL5.7和Navicat管理工具结合 服务器&#xff1a;Tomcat8.5 开发软件&#xff1a;IDEA / Eclipse 是否Maven项目&#x…

AT2659S——L1频段卫星导航射频前端低噪声放大器芯片

AT2659S芯片采用2.9 mm 2.8mm 1.1 mm的6 pin SOT23-6封装。 应用领域&#xff1a; 导航天线 集成导航功能的手机 自动导航 定位功能移动设备 个人导航仪 笔记本/PAD AT2659S 是一款具有低功耗、高增益、低噪声系数的低噪声放大器&#xff08;LNA&#xff09;芯片&#x…