百万数据量 MySQL 模糊搜索提速：如何在 512M 内存限制下优化查询速度？

百万数据量 mysql 模糊搜索提速

在 mysql 中，当数据量达到百万级时，执行模糊查询可能会变得非常缓慢。本文提供的解决方案无需借助第三方中间件，即可在 512m 的 java 堆内存限制下显着提升模糊搜索的速度。

基于索引表的方案

创建一个索引表，包含三列："当前词"、"下一词"和"原记录主键 id"。其中，"当前词"和"下一词"表示搜索关键词中的连续单词，"原记录主键 id"指向满足条件的原始记录。

索引表结构

当前词	下一词	原记录主键 id
mysql	一	1
一	千	1
千	万	1
万	的	1
...	...	...
模	糊	1
糊	搜	1
搜	索	1
索	null	1

搜索算法

搜索关键词时，按顺序查询索引表，获得满足每个单词条件的原记录id。然后使用这些 id 在原始表中查找匹配记录。

例：搜索“模糊搜索”

SELECT 原记录主键ID
  FROM (SELECT 原记录主键ID FROM 索引表 WHERE 当前词 = '模' AND 下一词 = '糊')
  JOIN (SELECT 原记录主键ID FROM 索引表 WHERE 当前词 = '糊' AND 下一词 = '搜') USING(原记录主键ID)
  JOIN (SELECT 原记录主键ID FROM 索引表 WHERE 当前词 = '搜' AND 下一词 = '索') USING(原记录主键ID)
  JOIN (SELECT 原记录主键ID FROM 索引表 WHERE 当前词 = '索' AND 下一词 IS NULL) USING(原记录主键ID)

jvm 优化

为了充分利用有限的内存，建议使用如下的jvm 优化技术：

• 缩小永久代尺寸
• 设置metaspace 垃圾回收参数（-xx:metaspacesize、-xx:maxmetaspacesize）
• 使用压缩引用和指针
• 启用分代垃圾回收

以上就是百万数据量 MySQL 模糊搜索提速：如何在 512M 内存限制下优化查询速度？的详细内容，更多请关注其它相关文章！