跳到主要内容
锦木信息 JINMU INFO
Redis 博客
Redis · 内存管理

内存都去哪了

jemalloc、碎片,与在线整理 active defrag

监控上明明只存了 1GB 数据,进程却吃掉 1.6GB 物理内存——那 0.6GB 去哪了?答案多半是内存碎片。理解 used_memory 与 RSS 的差距、碎片怎么来、怎么在线整理,是把 Redis 内存用好的关键。

▲ 碎片:数据间留下空洞,RSS 降不下来 → active defrag 在线压实fragmentation → defrag
物理内存(RSS)· 碎片化 ■ 数据 □ 空洞(已释放但没还给 OS) used_memory 1.0GB RSS 1.6GB · ratio 1.6 ✗ ▼ active defrag:在线把数据块挪到一起,空页还给 OS 压实后 · 数据连续 已还给 OS RSS 1.1GB · ratio 1.1 ✓
01 · 两个数字

used_memory 与 RSS

看 Redis 内存,先分清两个数:

指标含义
used_memoryRedis(经分配器)认为自己分配了多少字节 —— 逻辑数据量。
used_memory_rss操作系统看到这个进程实际占用的物理内存(RSS)。
mem_fragmentation_ratio= RSS ÷ used_memory。碎片率。

怎么读这个比率:

!

≈ 1.0 ~ 1.5:正常(分配器总有少量开销)。持续 > 1.5:碎片浪费,物理内存被"空洞"占着。< 1.0:危险信号——内存被换到了磁盘(swap),延迟会暴涨,必须立刻处理。

02 · 碎片从哪来

jemalloc 的大小类

Redis 默认用 jemalloc 分配器(按大小类(size class)分桶、按 arena 分配、带线程本地缓存,整体能压低碎片)。但碎片仍不可避免,来自两头:

内部碎片:jemalloc 会把每次申请向上取整到最近的大小类。申请 50 字节可能实际占用 64 字节,那 14 字节就浪费了。

外部碎片:大量不同大小的对象反复申请、释放后,内存里留下一个个空洞。这些空洞被释放回了分配器,但没还给操作系统,于是 RSS 降不下来。

打个比方

像一面停了很多车、又开走一些的停车场:空位零散分布在各处,总面积不小,却停不进一辆大巴。碎片就是这些"用不上的零散空位"。典型场景:先批量灌入大量 key、再删掉一批——used_memory 掉了,RSS 却仍停在峰值。

03 · 不只是数据

内存里还装着这些"隐形开销"

even used_memory 本身,也不全是你的 value。每个键值背后都有一层管理开销:

对象头(robj)、哈希表的桶与指针、记录过期时间的 expires 字典、客户端输出缓冲、复制积压缓冲、AOF 缓冲、Lua 脚本缓存……在海量小 key 的场景,这些开销甚至能超过数据本身。想看单个 key 占多少,用:

MEMORY USAGE user:1 # 该 key 占用的总字节(含开销) MEMORY USAGE bighash SAMPLES 10 # 大集合可采样估算 redis-cli --bigkeys # 扫出各类型里最大的 key

降低开销的办法之一,是让小集合待在紧凑编码(listpack/intset)里——这是"对象编码"那篇的主题。

04 · 诊断工具

MEMORY 命令族

Redis 4.0+ 提供一套 MEMORY 子命令,专门用来"看清内存都花在哪":

命令用途
MEMORY DOCTOR一句话人话诊断:有没有高 RSS、碎片、是否建议开 defrag 等。
MEMORY STATS详细分类明细:数据、开销、各缓冲、allocator_frag_ratio 等。
MEMORY USAGE key单个 key 的内存占用(含开销),可 SAMPLES 采样。
MEMORY MALLOC-STATSjemalloc 原始报告:arena、bin、分配计数。
MEMORY PURGE请求 jemalloc 把"脏页"还给操作系统(仅 jemalloc)。

配合 INFO memory 里的 used_memory / used_memory_rss / mem_fragmentation_ratio / allocator_frag_ratio 一起看,能把"进程开销"和"分配器碎片"分开定位。

05 · 在线整理

MEMORY PURGE 与 active defrag

碎片高了怎么办?轻的先试 MEMORY PURGE(把脏页还给 OS);持续碎片则开主动碎片整理(active defrag)——它用 jemalloc 的接口在线、增量地把分散的分配挪到一起、把空页还给系统,无需重启。

CONFIG SET activedefrag yes CONFIG SET active-defrag-ignore-bytes 100mb # 碎片低于此量不启动 CONFIG SET active-defrag-threshold-lower 10 # 碎片 ≥10% 开始 CONFIG SET active-defrag-threshold-upper 100 # 碎片 100% 时全力整理 CONFIG SET active-defrag-cycle-min 1 # 占用 CPU 的下/上限 CONFIG SET active-defrag-cycle-max 25 # 效果观察:INFO stats | grep defrag (active_defrag_hits/misses/running)
!

两点注意:① active defrag 要 CPU,最好在低峰期更卖力地整理。② 需要 jemalloc 构建(INFO memory 的 mem_allocator 要是 jemalloc);个别版本曾有过"开了 defrag 反而 RSS 涨"的已知问题,上线前确认版本。实在整不动,低峰期重启也能强制紧凑重建。

06 · 实践要点

把内存用在刀刃上

✓
给 fork 留余量BGSAVE/重写会因写时复制抬高 RSS;峰值超过 used_memory 50% 就有 fork OOM 风险,留 30–50% 余量。
✓
盯住碎片率>1.5 持续 → 开 defrag / 扩容;<1.0 → 立刻查 swap,这比碎片严重得多。
✓
揪出大 key用 --bigkeys / MEMORY USAGE 找垄断内存的单个 key,往往是元凶。
✓
让小集合保持紧凑编码控制条目数与单值大小,别无谓地升级成 hashtable/skiplist,省下大量开销。
✓
设好 maxmemory + 策略给内存划上限并配驱逐策略,别等 OOM;used_memory 逼近上限要告警。
✓
低峰期做整理PURGE 与 active defrag 都有开销,安排在流量低谷,减少对延迟的影响。
收尾 · 一句话

看懂那 0.6GB 的去向

used_memory 是数据,RSS 是进程真实占用,两者之差主要是碎片与分配器开销。碎片率 >1.5 就该出手——MEMORY PURGE 还页、activedefrag 在线压实;碎片率 <1.0 则是 swap 警报。再加上给 fork 留余量、揪大 key、保持紧凑编码,Redis 的内存就能用在刀刃上。

used_memory(逻辑) vs RSS(物理)· ratio>1.5 碎片浪费 / <1.0 swap 危险 · jemalloc 大小类→内部碎片,反复增删→外部碎片 · MEMORY DOCTOR/STATS/USAGE/PURGE · activedefrag 在线整理

聊聊您的数据难题

告诉我们业务现状,资深技术顾问一对一给出选型与实施建议,咨询免费。