跳到主要内容
锦木信息 JINMU INFO
Redis 博客
Redis · 内核内部

自己造的字符串

SDS:为什么 Redis 不用 C 原生字符串

C 语言自带字符串,Redis 却偏偏自己造了一个 SDS(Simple Dynamic String)。不是重复造轮子——C 字符串有三个要命的毛病:取长度慢、容易溢出、存不了二进制。SDS 用一个小小的头部,把这三个问题一次解决。

▲ C 字符串靠 \0 结尾、数一遍才知长度;SDS 把 len 记在头里,O(1) 取用C string vs SDS
C 字符串 char* —— 靠结尾的 \0 标记结束 R e d i s \0 strlen:从头数到 \0 → O(N) ✗ 中间若有 \0 → 被当成结尾,存不了二进制 SDS —— 头部记录 len / alloc,buf 存真正内容 len=5alloc=10 flags R e d i s 空 空 \0 ↑ 返回给上层的指针指向 buf ✓ strlen 读 len → O(1) 橙色=预留空间,减少扩容
01 · 动机

C 字符串的三宗罪

C 语言的字符串就是一个以 \0 结尾的字符数组(char*)。简单,但对 Redis 这种"字符串当家"的数据库,有三个致命缺陷:

缺陷后果
取长度 O(N)strlen 要从头数到 \0。而 Redis 频繁要知道长度(STRLEN、追加、扩容判断),每次都数一遍太慢。
缓冲区溢出风险拼接(strcat)前若忘了确保目标够大,就会越界写、踩坏相邻内存。
不能存二进制靠 \0 判结尾,意味着内容里不能含 \0——存不了图片、序列化数据这类二进制。
打个比方

C 字符串像一列火车,没有车厢数牌子,想知道多长只能从头走到挂着"末尾"牌子(\0)的那节;而且一旦中途有节车厢也挂了"末尾"牌,你就以为到站了。SDS 则在车头挂了块电子屏,直接写着"共 5 节、可容 10 节"。

02 · 结构

一个头部,解决所有问题

SDS 在真正的字符内容(buf)前面,加了一个小小的头部,记录三样东西:

struct sdshdr { len; // 已用长度 → STRLEN 直接读,O(1) alloc; // 已分配容量(不含头和结尾\0)→ 判断还能装多少 flags; // 低3位标记用的是哪种头部类型 buf[]; // 真正的内容,仍以 \0 结尾(兼容部分C函数) };

关键设计:返回给上层的指针,指向 buf 而不是头部。所以 SDS 对很多只读的 C 字符串函数依然兼容(buf 末尾保留了 \0);而要取长度、改内容时,Redis 用自己的 SDS 函数,往指针前面一挪就读到头部。

i

为什么有 5 种头部(sdshdr5/8/16/32/64)?因为 len/alloc 的位宽不同:存一个几字节的短串,用 8 位的头就够了,没必要为长度字段花 64 位。短串用小头、长串用大头——连头部开销都要省。这正是上一篇"对象编码"里 embstr/raw 的底层。

03 · 收益

SDS 换来了什么

C 字符串
  • 取长度 O(N),数到 \0
  • 拼接可能溢出,要手动保证空间
  • 存不了二进制(遇 \0 截断)
  • 每次增减都可能 realloc
SDS
  • 取长度 O(1),直接读 len
  • 追加前先查 alloc,不够才扩,杜绝溢出
  • 二进制安全:按 len 读写,内容随便含 \0
  • 空间预分配 + 惰性释放,减少 realloc 次数

二进制安全是重中之重:SDS 判断内容边界只看 len,不看 \0。所以你可以把一张图片、一段 protobuf 直接 SET 进去,中间有多少个 \0 都没关系——这也是 Redis 字符串能当通用字节容器的根本。

04 · 增长策略

预分配:少折腾内存

字符串频繁追加(如 APPEND、拼日志)时,若每加一点就 realloc 一次,开销巨大。SDS 用空间预分配摊薄成本:当需要扩容,它会多要一些,把未来几次追加的空间一次备好。

策略规则
预分配(扩容时)修改后若新长度 < 1MB,则额外多分配等量空间(容量翻倍);≥ 1MB,则每次多分配 1MB。alloc 记录这块总容量。
惰性释放(缩短时)字符串变短时,不立刻归还多出来的空间,而是留在 alloc 里备用,下次增长可直接用,避免反复 realloc。

效果:连续 N 次追加,最多触发 O(N) 次 realloc 降到最多 N 次以内、通常远少于 N 次。代价是可能留有一点未用空间——用空间换时间,对高频写入很划算。(需要时也能用命令把多余空间抠掉。)

SET log "line1" # len=5, alloc 可能预留到 10 APPEND log "line2" # 容量够,直接写进预留空间,不 realloc STRLEN log # O(1),直接读 len
05 · 无处不在

不只是 String 类型

容易误会 SDS 只用于 String 数据类型。其实它是 Redis 里字符串的通用底座,到处都在用:

String 的值当然,SET 进去的值就是 SDS
所有的键名键空间里每个 key 本身也是 SDS
其它类型里的字符串成员List 的元素、Hash 的字段与值、Set 的成员……凡是字符串,底层多是 SDS
缓冲区客户端查询缓冲、AOF 缓冲等,也用 SDS 来动态增长
i

回扣"对象编码"那篇:短字符串(≤44 字节)用 embstr 编码——把 redisObject 头和 SDS 挤在同一块内存一次分配,缓存友好;长字符串用 raw,两块分开。而纯整数值则用 int 编码直接存 long,连 SDS 都省了。SDS 是这套编码的基础材料。

收尾 · 一句话

一个头部的巧思

SDS 只是在内容前面加了个记着 len/alloc 的小头部,就把 C 字符串的三宗罪一次治好:O(1) 取长度、不会溢出、二进制安全,外加预分配省下大量 realloc。它是 Redis 里字符串的通用底座——键、值、成员、缓冲,全都站在它之上。朴素的改动,撑起了整个数据库。

SDS = 头部(len/alloc/flags) + buf(仍以 \0 结尾兼容C) · O(1) 取长度 · 按 len 读写→二进制安全 · 追加先查 alloc→杜绝溢出 · 预分配(<1MB翻倍/≥1MB加1MB)+惰性释放→少 realloc · 5 种头(sdshdr5/8/16/32/64)省开销 · 键/值/成员/缓冲的通用底座

内容依据 Redis 源码实现(sds.c / sds.h)与官方资料整理 · redis.io/docs · Strings

结构字段为示意性简化;预分配阈值等细节以对应 Redis 版本的源码为准。

聊聊您的数据难题

告诉我们业务现状,资深技术顾问一对一给出选型与实施建议,咨询免费。