ES索引存储原理

xenron · 发表于 2019-9-15 19:35

ES索引存储原理

https://blog.csdn.net/guoyuguang0/article/details/76769184

扬帆起航 · 发表于 2019-9-15 21:53

在学习ES时了解索引的存储原理很重要，能极大地帮忙学习ES技术。

caihua · 发表于 2019-9-16 00:20

挺不错的文档抽时间仔细看一下

xenron · 发表于 2019-9-16 15:18

不变性
写到磁盘的倒序索引是不变的：自从写到磁盘就再也不变。这会有很多好处：

不需要添加锁。不存在写操作，因此不存在多线程更改数据。
提高读性能。一旦索引被内核的文件系统做了Cache，绝大多数的读操作会直接从内存而不需要经过磁盘。
提升其他缓存（例如fiter cache）的性能。其他的缓存在该索引的生命周期内保持有效，减少磁盘I/O和计算消耗。

xenron · 发表于 2019-9-16 15:18

segment工作流程

1.新的文档在内存中组织。
2.每隔一段时间，buffer将会被提交：生成一个新的segment(一个额外的新的倒序索引)并被写到磁盘，同时一个
新的提交点(commit point)被写入磁盘，包含新的segment的名称。磁盘fsync，所有在内核文件系统中的数据等待被写入到磁盘，来保障它们被物理写入。
3.新的segment被打开，使它包含的文档可以被索引。
4.内存中的buffer将被清理，准备接收新的文档。

xenron · 发表于 2019-9-16 15:19

Segment合并
通过每隔一秒的自动刷新机制会创建一个新的segment，用不了多久就会有很多的segment。segment会消耗系统的文件句柄，内存，CPU时钟。最重要的是，每一次请求都会依次检查所有的segment。segment越多，检索就会越慢。

ES通过在后台merge这些segment的方式解决这个问题。小的segment merge到大的，大的merge到更大的。。。

这个过程也是那些被”删除”的文档真正被清除出文件系统的过程，因为被标记为删除的文档不会被拷贝到大的segment中。