Redis如何解决BigKey_数据库_开发者_运维开发者技术经验分享

一面试题引入

阿里广告平台，海量数据里查询某一固定前缀的key。
小红书，你如编程客栈何在生产上限制keys * / flushdb / flushall等危险命令以防止误删误用？
美团：MEMORY USAGE 命令你用过吗？
BigKey 问题，多大算big，如何发现，如何删除，如何处理？
BigKey 你做过调优吗？惰性释放lazyfree了解过吗？
Morekey问题，生产上redis数据库有1000W记录，该如何遍历？key*可以吗？

二 MoreKey案例

2.1 大批量往redis里面插入2000W测试数据key

2.1.1 linux Bash下执行，插入100W

for((i=1;i<=100*10000;i++)); do echo "set K$i V$i" &javascriptgt;> /tmp/redisTest.txt ; done;

2.1.2 通过redis提供的管道 --pipe命令插入100W大批量数据

cat /tmp/redisTest.txt | /opt/redis-7.0.0/src/redis-cli -h 127.0.0.1 -p 6379 -a 1php11111 --pipe

2.2 key *

key * 这个指令有致命的弊端，在实际环境中最好不要使用

这个指令没有offset、limit参数，是要一次性吐出所有满足条件的key，由于redis是单线程的，其所有操作都是原子的，而keys算法是遍历算法，复杂度是O(n)，如果实例中有千万级以上的key，这个指令就会导致Redis服务卡顿，所有读写Redis的其它的指令都会被延后甚至会超时报错，可能会引起缓存雪崩甚至数据库宕机。

2.3 生产上如何限制keys*/flushdb/flushall等危险命令以防止误删误用？

通过配置设置禁用这些命令，redis.conf在SECURITY这一项中：

Redis如何解决BigKey

2.4 不用keys * 不满卡顿，那该用什么？

2.4.1 scan命令

类似mysql limit ，但不完全相同。

Redis SCAN命令及其相关命令 SSCAN，HSCAN，ZSCAN命令都是用于增量遍历集合中的元素。

SCAN：用于迭代当前数据库中的数据库键
SSCAN：用于迭代集合键中的元素
HSCAN：用于迭代哈希键中的键值对
ZSCAN：用于迭代有序集合中的元素（包括元素成员和元素分值）

2.4.2 scan命令用于迭代数据库中的数据库键

redis SCAN 命令基本语法如下：

SCAN cousor [MATCH pattern] [COUNT count]

cursor：游标
pattern：匹配的模式
count：指定从数据集里返回多少元素，默认值是10

Redis如何解决BigKey

基于游标的迭代器，需要基于上一次的游标延续之前的迭代过程以0作为游标开始一次新的迭代，直到命令返回游标0完成一次遍历，不保证每次执行都返回某个给定数量的元素，支持模糊查询。一次返回的数量不可控，只能是大概率符合count参数。

SCAN命令是一个基于游标的迭代器，每次被调用之后，都会想用户返回一个新的游标，用户在下次迭代时需要使用这个新游标作为SCAN命令的游标参数，以此来延续之前的迭代过程。
SCAN返回一个包含两个元素的数组
- 第一个元素：用于进行下一次迭代的新游标
- 第二个元素：是一个数组，这个数组中包含了所有被迭代的元素。如果新游标返回零表示迭代已结束。

SCAN的遍历顺序：非常特别，它不是从第一维数组的第零位一直遍历到末尾，http://www.devze.com而是采用了高位进位加法来遍历，之所以使用这样特殊的方式进行遍历，是考虑到字典的扩容和缩容时避免槽位的遍历重复和遗漏。