跳到主要内容
锦木信息 JINMU INFO
Redis 博客
Redis · 延迟诊断

谁偷走了这几毫秒

SLOWLOG、LATENCY 监控,与延迟毛刺的根因

Redis 平时亚毫秒响应,可监控上时不时冒出一根尖刺:某个请求卡了几十毫秒。单线程模型下,一次卡顿会连累后面所有人。学会用 SLOWLOG 和 LATENCY 把元凶揪出来,是运维 Redis 的硬功夫。

▲ 平稳的低延迟里,偶发一根尖刺——是谁造成的?latency spike
ms 0 一根毛刺 45ms 平稳 ~0.1ms 嫌疑人: · 慢命令 KEYS * · fork(BGSAVE/重写) · swap / 内存压力 · AOF fsync 抖动
01 · 为什么一根刺很致命

单线程下,一次卡顿连累全场

Redis 命令单线程串行执行——这让它简单、原子,也意味着同一时刻只有一条命令在跑。只要某条命令卡住 45ms,它执行期间,排在后面的所有请求都在干等。

所以看 Redis 性能,光看平均延迟不够——平均值会被海量的快请求拉平,把尖刺藏起来。真正要盯的是 P99 / P999 尾延迟:那些偶发的慢请求,才是用户体感卡顿的来源。而把尖刺定位到具体原因,就得靠 Redis 自带的两件诊断工具。

打个比方

像一条单人收银通道:99 个顾客每人 2 秒,体验很好;可只要有 1 个人掏出一张要核对 1 分钟的支票,后面所有人都得陪着等。平均下来"还行",但那 1 分钟的队伍里,每个人都很恼火。

02 · 第一件工具

SLOWLOG:谁跑得慢

慢查询日志(SLOWLOG)记录执行时间超过阈值的命令。注意:它只计命令本身的执行耗时,不含网络往返和排队等待——所以它精准指向"这条命令自己就慢"。

# 配置(阈值单位是微秒 µs) CONFIG SET slowlog-log-slower-than 10000 # 超过 10ms(10000µs) 记一条;0=记全部,-1=关闭 CONFIG SET slowlog-max-len 1024 # 最多保留多少条 # 查看 SLOWLOG GET 10 # 最近10条:ID、时间戳、耗时µs、命令+参数、客户端地址/名 SLOWLOG LEN SLOWLOG RESET

看到 SLOWLOG 里反复出现 KEYS *、超大 HGETALL、无 LIMIT 的 SORT,基本就锁定了元凶:这些是 O(N) 命令,数据一大就拖垮事件循环。对策是换成游标式、分页式的安全替代:

危险(O(N))安全替代
KEYS *SCAN(游标遍历)
SMEMBERS hugeSSCAN
HGETALL hugeHSCAN
LRANGE list 0 -1分页 LRANGE(限定范围)
SORT 无 LIMIT加 LIMIT / 预先排好
03 · 第二件工具

LATENCY:卡在哪个环节

SLOWLOG 只盯"命令慢",但很多尖刺不来自命令本身——而是 fork、AOF 刷盘、过期批量删除等后台事件。这时要用延迟监控(LATENCY),它按"事件类型"记录卡顿。先设阈值开启:

CONFIG SET latency-monitor-threshold 100 # 单位 ms;超过此值的事件被记录(0=关闭) LATENCY LATEST # 每类事件最近/最大的尖刺 LATENCY HISTORY command # 某类事件(如 command/fork/aof-fsync)的历史 LATENCY HISTOGRAM # 各命令的调用次数与延迟分桶 LATENCY DOCTOR # 人话诊断报告 + 建议 LATENCY RESET

最省事的入口是 LATENCY DOCTOR——它会直接给出"你的实例有没有延迟问题、可能是什么原因、建议怎么办"的自然语言报告。常见的事件类型有 command(命令执行)、fork、aof-fsync-always、expire-cycle 等。

04 · 根因清单

尖刺从哪来

定位延迟毛刺,先把常见根因过一遍——它们大多在别的篇章里出现过,这里汇成一张"查案清单":

根因怎么确认怎么办
慢 O(N) 命令SLOWLOG 里反复出现换 SCAN 家族 / 分页 / 加 LIMIT
fork(BGSAVE/AOF 重写)INFO persistence 的 latest_fork_usec 很大关闭透明大页 THP、留足内存、避开高峰存盘
内存压力 / 驱逐used_memory 逼近 maxmemory、evicted_keys 上涨扩容 / 调驱逐策略;碎片 >1.5 开 activedefrag
swap(最凶)mem_fragmentation_ratio < 1.0立刻查!内存被换到磁盘,延迟会暴涨
AOF fsync 抖动LATENCY 里 aof-fsync 事件用 everysec 而非 always;检查磁盘 IO
大 key--bigkeys / MEMORY USAGE拆分大 key;删大 key 用 UNLINK(异步)
!

一个高频却隐蔽的坑:直接 DEL 一个超大 key(百万成员的集合)会在主线程里同步释放内存,造成明显卡顿。改用 UNLINK——它把释放工作交给后台线程,主线程立刻返回。

05 · 排查路径

一条顺手的查案流程

遇到延迟告警,按这个顺序走,通常几分钟就能定位:

# ① 先问"医生" LATENCY DOCTOR # 有没有问题、往哪儿查 MEMORY DOCTOR # 顺带看内存/碎片 # ② 看是不是命令慢 SLOWLOG GET 20 # 反复出现的慢命令就是嫌疑人 # ③ 看后台事件与关键指标 INFO persistence # latest_fork_usec、aof 状态 INFO memory # used_memory / rss / 碎片率 INFO stats # evicted_keys、instantaneous_ops_per_sec # ④ 实时体感延迟 redis-cli --latency # 持续采样当前延迟 redis-cli --latency-history # 分段看延迟随时间的变化

口诀:先 DOCTOR 定方向,再 SLOWLOG 抓慢命令,最后 INFO 核指标。 大多数尖刺,都逃不过这三步。

收尾 · 一句话

把尖刺,变成线索

单线程让 Redis 的每一次卡顿都会连累全场,所以要盯尾延迟而非平均值。SLOWLOG 抓"命令自己慢"的元凶,LATENCY 盯 fork、刷盘等后台事件,LATENCY DOCTOR 直接给诊断。记住查案三步:医生定方向、慢日志抓命令、INFO 核指标。

单线程→盯 P99/P999 尾延迟 · SLOWLOG(slowlog-log-slower-than µs)抓慢命令→换 SCAN/分页 · LATENCY LATEST/HISTORY/DOCTOR 盯 fork/aof-fsync/expire · 根因:慢命令·fork·swap(<1.0)·大key(用 UNLINK)

聊聊您的数据难题

告诉我们业务现状,资深技术顾问一对一给出选型与实施建议,咨询免费。