开发者

MySQL使用索引合并(Index Merge)提高查询效率

开发者 https://www.devze.com 2024-08-12 12:40 出处：网络 作者： 华为云开发者联盟
目录什么是索引合并(Index Merge)？索引合并(Index Merge)原理1.  Index Merge Intersection2. Index Merge Union3. Index Merge Sort-Union应用场景约束1. 总体约束2. Index Merge Intersection3. Index
相关专题：IndexMerge索引合并
目录
  • 什么是索引合并(Index Merge)？
  • 索引合并(Index Merge)原理
    • 1.  Index Merge Intersection
    • 2. Index Merge Union
    • 3. Index Merge Sort-Union
  • 应用场景约束
    • 1. 总体约束
    • 2. Index Merge Intersection
    • 3. Index Merge Union
  • Index Merge的优缺点
    • 1. 场景构造
    • 2. 执行结果及分析
  • 总结

    在生产环境中，mysql语句的where查询通常会包含多个条件判断，以AND或OR操作进行连接。然而，对一个表进行查询最多只能利用该表上的一个索引，其他条件需要在回表查询时进行判断（不考虑覆盖索引的情况）。当回表的记录数很多时，需要进行大量的随机IO，这可能导致查询性能下降。因此，MySQL 5.x 版本推出索引合并(Index Merge)来解决该问题。

    本文将基于MySQL 8.0.22版本对MySQL的索引合并功能、实现原理及场景约束进行详细介绍，同时也会结合原理对其优缺点进行浅析，并通过例子进行验证。

    什么是索引合并(Index Merge)？

    索引合并是通过对一个表同时使用多个索引进行条件扫描，并将满足条件的多个主键集合取交集或并集后再进行回表，可以提升查询效率。

    索引合并主要包含交集(intersection)，并集(union)和排序并集(sort-union)三种类型：

    • intersection：将基于多个索引扫描的结果集取交集后返回给用户；
    • union：将基于多个索引扫描的结果集取并集后返回给用户；
    • sort-union：与union类似，不同的是sort-union会对结果集进行排序，随后再返回给用户；

    MySQL中有四个开关（index_merge、indandroidex_merge_intersection、index_merge_union以及index_merge_sort_union）对上述三种索引合并类型提供支持，可以通过修改optimizer_switch系统参数中的四个开关标识来控制索引合并特性的使用。

    假设创建表T，并插入如下数据：

    CREATE TABLE T(  `id` int NOT NULL AUTO_INCREMENT,
`a` int NOT NULL,
`b` char(1) DEFAULT NULL,
PRIMARY KEY (`id`),
KEY `idx_a` (`a`) USING BTREE,
KEY `idx_b` (`b`) USING BTREE
)ENGINE=InnoDB AUTO_INCREMENT=1;

INSERT INTO T (a, b) VALUES (1, 'A'), (2, 'B'),(3, 'C'),(4, 'B'),(1, 'C');

    默认情况下，四个开关均为开启状态。如果需要单独使用某个合并类型，需设置index_merge=off，并将相应待启用的合并类型标识（例如，index_merge_sort_union）设置为on。

    开关开启后，可通过EXPLAIN执行计划查看当前查询语句是否使用了索引合并。

    mysql> explain SELECT * FROM T WHERE a=1 OR b='B';
+----+-------------+-------+------------+-------------+---------------+-------------+---------+------+------+----------+---------------------------------------+
| id | select_type | table | partitions | type        | possible_keys | key         | key_len | ref  | rows | filtered | Extra                                 
|+----+-------------+-------+------------+-------------+---------------+-------------+---------+------+------+----------+---------------------------------------+
|  1 | SIMPLE      | T     | NULL       | index_merge | idx_a,idx_b   | idx_a,idx_b | 4,5     | NULL |    4 |   100.00 | Using union(idx_a,idx_b); Using where |
+----+-------------+-------+------------+-------------+---------------+-------------+---------+------+------+----------+---------------------------------------+
1 row in set, 1 warning (0.0编程1 sec)

    上面代码显示type类型为index_merge，表示使用了索引合并。key列显示使用到的所有索引名称，该语句中同时使用了idx_a和idx_b两个索引完成查询。Extra列显示具体使用了哪种类型的索引合并，该语句显示Using union(...)，表示索引合并类型为union。

    此外，可以使用index_merge/no_index_merge给查询语句添加hint，强制SQL语句使用/不使用索引合并。

    • 如果查询默认未使用索引合并，可以通过添加index_merge强制指定：

    mysql> EXPLAIN SELECT * FROM T WHERE a=2 AND b='A';
+----+-------------+-------+------------+------+---------------+-------+---------+-------+------+----------+-------------+
| id | select_type | table | partitions | type | possible_keys | key   | key_len | ref   | rows | filtered | Extra       |
+----+-------------+-------+------------+------+---------------+-------+---------+-------+------+----------+-------------+
|  1 | SIMPLE      | T     | NULL       | ref  | idx_a,idx_b   | idx_a | 4       | const |    1 |    20.00 | Using where |
+----+-------------+-------+------------+------+---------------+-------+---------+-------+------+----------+-------------+
1 row in set, 1 warning (0.00 sec)
    mysql> EXPLAIN SELECT /*+ INDEX_MERGE(T idx_a,idx_b) */ * FROM T WHERE a=2 AND b='A';
+----+-------------+-------+------------+-------------+---------------+-------------+---------+------+------+----------+--------------------------------------------------------+
| id | select_type | table | partitions | type        | possible_keys | key         | key_len | ref  | rows | filtered | Extra                                                  |
+----+-------------+-------+------------+-------------+---------------+-------------+---------+------+------+----------+--------------------------------------------------------+
|  1 | SIMPLE      | T     | NULL       | index_merge | idx_a,idx_b   | idx_a,idx_b | 4,5     | NULL |    1 |   100.00 | Using intersect(idx_a,idx_b); Using where; Using index |
+----+-------------+-------+------------+-------------+---------------+-------------+---------+------+------+----------+---------------------------------------------------js-----+
1 row in set, 1 warning (0.00 sec)

    • 使用no_index_merge给查询语句添加hint，可以忽略索引合并优化：

    mysql> EXPLAIN SELECT * FROM T WHERE a=1 OR b='A';
+----+-------------+-------+------------+-------------+---------------+-------------+---------+------+-----http://www.devze.com-+----------+---------------------------------------+
| id | select_type | table | partitions | type        | possible_keys | key         | key_len | ref  | rows | filtered | Extra                                 |
+----+-------------+-------+------------+-------------+---------------+-------------+---------+------+------+----------+---------------------------------------+
|  1 | SIMPLE      | T     | NULL       | index_merge | idx_a,idx_b   | idx_a,idx_b | 4,5     | NULL |    3 |   100.00 | Using union(idx_a,idx_b); Using where |
+----+-------------+-------+------------+-------------+---------------+-------------+---------+------+------+----------+---------------------------------------+
1 row in set, 1 warning (0.00 sec)
    mysql> EXPLAIN SELECT /*+ NO_INDEX_MERGE(T idx_a,idx_b) */ * FROM T WHERE a=1 OR b='A';
+----+-------------+-------+------------+------+---------------+------+---------+------+------+----------+-------------+
| id | select_type | table | partitions | type | possible_keys | key  | key_len | ref  | rows | filtered | Extra       |
+----+-------------+-------+------------+------+---------------+------+---------+------+------+----------+-------------+
|  1 | SIMPLE      | T     | NULL       | ALL  | idx_a,idx_b   | NULL | NULL    | NULL |    5 |    36.00 | Using where |
+----+-------------+-------+------------+------+---------------+------+---------+------+------+----------+-------------+
1 row in set, 1 warning (0.00 sec)

    索引合并(Index Merge)原理

    1.  Index Merge Intersection

    Index Merge Intersection会在使用到的多个索引上同时进行扫描，并取这些扫描结果的交集作为最终结果集。

    以“SELECT * FROM T WHERE a=1 AND b='C'; ”语句为例：

    • 未使用索引合并时，MySQL利用索引idx_a获取到满足条件a=1的所有主键id，根据主键id进行回表查询到相关记录，随后再使用条件b='C'对这些记录进行判断，获取最终查询结果。

    mysql> explain SELECT /*+ NO_INDEX_MERGE(T idx_a,idx_b) */ * FROM T WHERE a=1 AND b='C';
+----+-------------+-------+------------+------+---------------+-------+---------+-------+------+----------+-------------+
| id | select_type | table | partitions | type | possible_keys | key   | key_len | ref   | rows | filtered | Extra       |
+----+-------------+-------+------------+------+---------------+-------+---------+-------+------+----------+-------------+
|  1 | SIMPLE      | T     | NULL       | ref  | idx_a,idx_b   | idx_a | 4       | const |    2 |    40.00 | Using where |
+----+-------------+-------+------------+------+---------------+-------+---------+-------+------+----------+-------------+
1 row in set, 1 warning (0.00 sec)

    • 使用索引合并时，MySQL分别利用索引idx_a和idx_b获取满足条件a=1和b='C'的主键id集合setA和setB。随后取setA和setB中主键id的交集setC，并使用setC中主键id进行回表，获取最终查询结果。

    mysql> explain SELECT * FROM T WHERE a=1 AND b='C';
+----+-------------+-------+------------+-------------+---------------+-------------+---------+------+------+----------+--------------------------------------------------------+
| id | select_type | table | partitions | type        | possible_keys | key         | key_len | ref  | rows | filtered | Extra                                                  |
+----+-------------+-------+------------+-------------+---------------+-------------+---------+------+------+----------+--------------------------------------------------------+
|  1 | SIMPLE      | T     | NULL       | index_merge | idx_a,idx_b   | idx_a,idx_b | 4,5     | NULL |    1 |   100.00 | Using intersect(idx_a,idx_b); Using where; Using index |
+----+-------------+-------+------------+-------------+---------------+-------------+---------+------+------+----------+--------------------------------------------------------+
1 row in set, 1 warning (0.00 sec)

    执行流程如下：

    MySQL使用索引合并(Index Merge)提高查询效率

    图1  SELECT * FROM T WHERE a=1 AND b='C';执行流程

    2. Index Merge Union

    Index Merge Union会在使用到的多个索引上同时进行扫描，并取这些扫描结果的并集作为最终结果集。

    以“SELECT * FROM T WHERE a=1 OR b='B'; ”语句为例：

    • 未使用索引合并时，MySQL通过全表扫描获取所有记录信息，随后再使用条件a=1和b='B'对这些记录进行判断，获取最终查询结果。

    mysql> EXPLAIN SELECT /*+ NO_INDEX_MERGE(T idx_a,idx_b) */ * FROM T WHERE a=1 OR b='B';
+----+-------------+-------+------------+------+---------------+------+---------+------+------+----------+-------------
| id | select_type | table | partitions | type | possible_keys | key  | key_len | ref  | rows | filtered | Extra       |
+----+-------------+-------+------------+------+---------------+------+---------+------+------+----------+-------------+
|  1 | SIMPLE      | T     | NULL       | ALL  | idx_a,idx_b   | NULL | NULL    | NULL |    5 |    50.00 | Using where |
+----+-------------+-------+------------+------+---------------+------+---------+------+------+----------+-------------+
1 row in set, 1 warning (0.00 sec)

    • 使用索引合并算法时，MySQL分别利用索引idx_a和idx_b获取满足条件a=1和b='B'的主键id集合setA和setB。随后，取setA和setB中主键id的并集setC，并使用setC中主键id进行回表，获取最终查询结果。

    mysql> EXPLAIN SELECT * FROM T WHERE a=1 OR b='B';
+----+-------------+-------+------------+-------------+---------------+-------------+---------+------+------+----------+---------------------------------------+
| id | select_type | table | partitions | type        | possible_keys | key         | key_len | ref  | rows | filtered | Extra                                 |
+----+-------------+-------+------------+-------------+---------------+-------------+---------+------+------+----------+---------------------------------------+
|  1 | SIMPLE      | T     | NULL       | index_merge | idx_a,idx_b   | idx_a,idx_b | 4,5     | NULL |    4 |   100.00 | Using union(idx_a,idx_b); Using where |
+----+-------------+-------+------------+-------------+---------------+-------------+---------+------+------+----------+---------------------------------------+
1 row in set, 1 warning (0.01 sec)

    执行流程如下：

    MySQL使用索引合并(Index Merge)提高查询效率

    图2  SELECT * FROM T WHERE a=1 OR b='B';执行流程

    3. Index Merge Sort-Union

    Sort-Union索引合并与Union索引合并原理相似，只是比单纯的Union索引合并多了一步对二级索引记录的主键id排序的过程。由OR连接的多个范围查询条件组成的WHERE子句不满足Union算法时，优化器会考虑使用Sort-Union算法。例如：

    mysql> EXPLAIN SELECT * FROM T WHERE a<3 OR b<'B';
+----+-------------+-------+------------+-------------+---------------+-------------+---------+------+------+----------+--------------------------------------------+
| id | select_type | table | partitions | type        | possible_keys | key         | key_len | ref  | rows | filtered | Extra                                      |
+----+-------------+-------+------------+-------------+---------------+-------------+---------+------+------+----------+--------------------------------------------+
|  1 | SIMPLE      | T     | NULL       | index_merge | idx_a,idx_b   | idx_a,idx_b | 4,5     | NULL |    4 |   100.00 | Using sort_union(idx_a,idx_b); Using where |
+----+-------------+-------+------------+-------------+---------------+-------------+---------+------+------+----------+--------------------------------------------+
1 row in set, 1 warning (0.00 sec)

    应用场景约束

    1. 总体约束

    • Index Merge不能应用于全文索引（Fulltext Index）。

    • Index Merge只能合并同一个表的索引扫描结果，不能跨表合并。

    以上约束适用于Intersection，Union和Sort-Union三种合并类型。此外，Intersection和Union存在特殊的场景约束。

    2. Index Merge Intersection

    使用Intersection要求AND连接的每个条件必须是如下形式之一：

    (1) 当索引包含多个列时，每个列都必须被如下等值条件覆盖，不允许出现范围查询。若使用索引为联合索引时，每个列都必须等值匹配，不能出现只匹配部分列的情况。

    key_par1 = const1 AND key_par2 = const2 ... AND key_partN = constN

    (2) 若过滤条件中存在主键列，主键列可以进行范围匹配。

    mysql> EXPLAIN SELECT * FROM T WHERE id<3 AND b='A';
+----+-------------+-------+------------+-------------+---------------+---------------+---------+------+------+----------+---------------------------------------------+
| id | select_type | table | partitions | type        | possible_keys | key           | key_len | ref  | rows | filtered | Extra                                       |
+----+-------------+-------+------------+-------------+---------------+---------------+---------+------+------+----------+---------------------------------------------+
|  1 | SIMPLE      | T     | NULL       | index_merge | PRIMARY,idx_b | idx_b,PRIMARY | 9,4     | NULL |    1 |   100.00 | Using intersect(idx_b,PRIMARY); Using where |
+----+-------------+-------+------------+-------------+---------------+---------------+---------+------+------+----------+---------------------------------------------+
1 row in set, 1 warning (0.00 sec)

    上述的要求，本质上是为了确保索引取出的记录是按照主键id有序排列的，因为Index Merge Intersection对两个有序集合取交集更简单。同时，主键有序的情况下，回表将不再是单纯的随机IO，回表的效率也会更高。

    3. Index Merge Union

    使用Union要求OR连接的每个条件，必须是如下形式之一：

    (1) 当索引包含多个列时，则每个列都必须被如下等值条件覆盖，不允许出现范围查询。若使用索引为联合索引时，在联合索引中的每个列都必须等值匹配，不能出现只匹配部分列的情况。

    key_par1 = const1 OR key_par2 = const2 ... OR key_partN = constN

    (2) 若过滤条件中存在主键列，主键列可以进行范围匹配。

    mysql> EXPLAIN SELECT * FROM T WHERE id>3 OR b='A';
+----+-------------+-------+------------+--------编程客栈-----+---------------+---------------+---------+------+------+----------+-----------------------------------------+
| id | select_type | table | partitions | type        | possible_keys | key           | key_len | ref  | rows | filtered | Extra                                   |
+----+-------------+-------+------------+-------------+---------------+---------------+---------+------+------+----------+-----------------------------------------+
|  1 | SIMPLE      | T     | NULL       | index_merge | PRIMARY,idx_b | PRIMARY,idx_b | 4,5     | NULL |    3 |   100.00 | Using union(PRIMARY,idx_b); Using where |
+----+-------------+-------+------------+-------------+---------------+---------------+---------+------+------+----------+-----------------------------------------+
1 row in set, 1 warning (0.00 sec)

    Index Merge的优缺点

    • Index Merge Intersection在使用到的多个索引上同时进行扫描，并取这些扫描结果的并集作为最终结果集。

    当优化器根据搜索条件从某个索引中获取的记录数极多时，适合使用Intersection对取交集后的主键id以顺序I/O进行回表，其开销远小于使用随机IO进行回表。反之，当根据搜索条件扫描出的记录极少时，因为需要多一步合并操作，Intersection反而不占优势。在8.0.22版本，对于AND连接的点查场景，通过建立联合索引可以更好的减少回表。

    • Index Merge Union在使用到的多个索引上同时进行扫描，并取这些扫描结果的并集作为最终结果集。

    当优化器根据搜索条件从某个索引中获取的记录数比较少，通过Union索引合并后进行访问的代价比全表扫描更小时，使用Union的效果才会更优。

    • Index Merge Sort-Union比单纯的Union索引合并多了一步对索引记录的主键id排序的过程。

    当优化器根据搜索条件从某个索引中获取的记录数比较少的时，对这些索引记录的主键id进行排序的成本不高，此时可以加速查询。反之，当需要排序的记录过多时，该算法的查询效率不一定更优。

    我们以Index Merge Union为例，对上述分析进行验证。

    1. 场景构造

    # 创建表CREATE TABLE T(  `id` int NOT NULL AUTO_INCREMENT,
`a` int NOT NULL,`
b` char(1) DEFAULT NULL,
PRIMARY KEY (`id`),
KEY `idx_a` (`a`) USING BTREE,
KEY `idx_b` (`b`) USING BTREE
)ENGINE=InnoDB AUTO_INCREMENT=1;

# 插入数据
DELIMITER $$
CREATE PROCEDURE insertT()
BEGIN
DECLARE i INT DEFAULT 0;
START TRANSACTION;
WHILE i<=100000 do
if (i%100 = 0) then
INSERT INTO T (a, b) VALUES (10,CHAR(rand()*(90-65)+65));
else
INSERT INTO T (a, b) VALUES (i,CHAR(rand()*(90-65)+65));
end if;
SET i=i+1;
END WHILE;
COMMIT;
END$$
DELIMITER ;
call insertT();

# 执行测试语句
SQL1: SELECT * FROM T WHERE a=101 OR b='A';
SQL2: SELECT /*+ NO_INDEX_MERGE(T idx_a,idx_b) */ * FROM T WHERE a=101 OR b='A';
SQL3: SELECT * FROM T WHERE a=10 OR b='A';
SQL4: SELECT /*+ NO_INDEX_MERGE(T idx_a,idx_b) */ * FROM T WHERE a=10 OR b='A';

    2. 执行结果及分析

    每条语句查询5次，去掉最大值和最小值，取剩余三次结果平均值。4条语句查询结果如下：

    测试语句

    第一次查询/ms

    第二次查询/ms

    第三次查询/ms

    第四次查询/ms

    第五次查询/ms

    平均值/ms

    SQL1

    5.481

    5.422

    5.117

    4.892

    5.426

    5.322

    SQL2

    31.129

    32.645

    30.943

    31.142

    32.625

    31.632

    SQL3

    7.872

    7.200

    7.824

    7.955

    7.949

    7.882

    SQL4

    31.139

    33.318

    31.476

    31.645

    31.27

    31.464

    对比使用索引合并的SQL1和未使用索引合并的SQL2的查询结果可知，使用索引合并的SQL1具有更高的查询效率，这点从语句的explain analyze分析中也可以看出：

    使用索引合并的SQL1代码示例：

    EXPLAIN ANALYZE SELECT * FROM T WHERE a=101 OR b='A';
-> Filter: ((t.a = 101) or (t.b = 'A'))  (cost=717.14 rows=2056) (actual time=0.064..5.481 rows=2056 loops=1)
-> Index range scan on T using union(idx_a,idx_b)  (cost=717.14 rows=2056) (actual time=0.062..5.120 rows=2056 loops=1)

    未使用索引合并的SQL2代码示例：

    EXPLAIN ANALYZE SELECT /*+ NO_INDEX_MERGE(T idx_a,idx_b) */ * FROM T WHERE a=101 OR b='A';
-> Filter: ((t.a = 101) or (t.b = 'A'))  (cost=10098.75 rows=10043) (actual time=0.038..31.129 rows=2056 loops=1)
-> Table scan on T  (cost=10098.75 rows=100425) (actual time=0.031..22.967 rows=100001 loops=1)

    未使用索引合并时，SQL2语句需要花费约23ms来扫描全表100001行数据，随后再进行条件判断。而使用索引合并时，通过合并两个索引筛选出的主键id集合，筛选出2056个符合条件的主键id, 随后回表获取最终的数据。这个环节中，索引合并大大减少了需要访问的记录数量。

    此外，从SQL1和SQL3的查询结果也可以看出，数据分布也会影响索引合并的效果。相同的SQL模板类型，根据匹配数值的不同，查询时间存在差异。如需要合并的主键id集合越小，需要回表的主键id越少，查询时间越短。

    EXPLAIN ANALYZE SELECT * FROM T WHERE a=101 OR b='A';
-> Filter: ((t.a = 101) or (t.b = 'A'))  (cost=717.14 rows=2056) (actual time=0.064..5.481 rows=2056 loops=1)
   -> Index range scan on T using union(idx_a,idx_b)  (cost=717.14 rows=2056) (actual time=0.062..5.120 rows=2056 loops=1)

    EXPLAIN ANALYZE SELECT * FROM T WHERE a=10 OR b='A';
-> Filter: ((t.a = 10) or (t.b = 'A'))  (cost=983.00 rows=3057) (actual time=0.070..7.872 rows=3035 loops=1)
   -> Index range scan on T using union(idx_a,idx_b)  (cost=983.00 rows=3057) (actual time=0.068..7.496 rows=3035 loops=1)

    总结

    本文介绍了索引合并（Index Merge）包含的三种类型，即交集(intersection)、并集(union)和排序并集(sort-union)，以及索引合并的实现原理、场景约束与通过案例验证的优缺点。在实际使用中，当查询条件列较多且无法使用联合索引时，就可以考虑使用索引合并，利用多个索引加速查询。但要注意，索引合并并非在任何场景下均具有较好的效果，需要结合具体的数据分布进行算法的选择。

    到此这篇关于MySQL使用索引合并(Index Merge)提高查询效率的文章就介绍到这了,更多相关MySQL索引合并优化及底层原理内容请搜索编程客栈(www.devze.com)以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程客栈(www.devze.com)！

    0

    上一篇:

    :下一篇

    更多 数据库 相关资讯：

    精彩评论

    暂无评论...
    登录 注册
    Qedev.com
    验证码 换一张
    取 消

    关注公众号

    热门标签

    图文推荐

    Redis数据一致性详解

    Redis数据一致性详解
    基于Redis实现API接口访问次数限制

    基于Redis实现API接口访问次数限制
    RedisTemplate序列化设置的流程和具体步骤

    RedisTemplate序列化设置的流程和具体步骤
    Redis高并发缓存设计问题与性能优化

    Redis高并发缓存设计问题与性能优化
    Navicat最新版安装详细教程(超简单)

    Navicat最新版安装详细教程(超简单)
    数据库rank()分组排序函数的具体使用

    数据库rank()分组排序函数的具体使用
    数据库中row_number() 分组排序函数的具体使用

    数据库中row_number() 分组排序函数的具体使用
    单机离线部署OceanBase3.1.5详解

    单机离线部署OceanBase3.1.5详解

    开发者开发者网给大家分享系统运维,大数据运维,云计算,编程开发技巧,路由交换,运维和开发相关的资讯及技术文章，同时StackOverflow中文社区，知识经验交流分享。

    法律声明：本站内容均为网友上传，网站举办方负责审核和监督，如存在版权或非法内容，欢迎举报，我们将尽快予以删除。邮箱：devze@qq.com

    Copyright © 2018-2020 开发者. All rights reserved. Powered by 开发者ICP备案号: 京ICP备10032868号-9