自己造的字符串
C 语言自带字符串,Redis 却偏偏自己造了一个 SDS(Simple Dynamic String)。不是重复造轮子——C 字符串有三个要命的毛病:取长度慢、容易溢出、存不了二进制。SDS 用一个小小的头部,把这三个问题一次解决。
C 字符串的三宗罪
C 语言的字符串就是一个以 \0 结尾的字符数组(char*)。简单,但对 Redis 这种"字符串当家"的数据库,有三个致命缺陷:
| 缺陷 | 后果 |
|---|---|
| 取长度 O(N) | strlen 要从头数到 \0。而 Redis 频繁要知道长度(STRLEN、追加、扩容判断),每次都数一遍太慢。 |
| 缓冲区溢出风险 | 拼接(strcat)前若忘了确保目标够大,就会越界写、踩坏相邻内存。 |
| 不能存二进制 | 靠 \0 判结尾,意味着内容里不能含 \0——存不了图片、序列化数据这类二进制。 |
C 字符串像一列火车,没有车厢数牌子,想知道多长只能从头走到挂着"末尾"牌子(\0)的那节;而且一旦中途有节车厢也挂了"末尾"牌,你就以为到站了。SDS 则在车头挂了块电子屏,直接写着"共 5 节、可容 10 节"。
一个头部,解决所有问题
SDS 在真正的字符内容(buf)前面,加了一个小小的头部,记录三样东西:
关键设计:返回给上层的指针,指向 buf 而不是头部。所以 SDS 对很多只读的 C 字符串函数依然兼容(buf 末尾保留了 \0);而要取长度、改内容时,Redis 用自己的 SDS 函数,往指针前面一挪就读到头部。
为什么有 5 种头部(sdshdr5/8/16/32/64)?因为 len/alloc 的位宽不同:存一个几字节的短串,用 8 位的头就够了,没必要为长度字段花 64 位。短串用小头、长串用大头——连头部开销都要省。这正是上一篇"对象编码"里 embstr/raw 的底层。
SDS 换来了什么
- 取长度 O(N),数到 \0
- 拼接可能溢出,要手动保证空间
- 存不了二进制(遇 \0 截断)
- 每次增减都可能 realloc
- 取长度 O(1),直接读 len
- 追加前先查 alloc,不够才扩,杜绝溢出
- 二进制安全:按 len 读写,内容随便含 \0
- 空间预分配 + 惰性释放,减少 realloc 次数
二进制安全是重中之重:SDS 判断内容边界只看 len,不看 \0。所以你可以把一张图片、一段 protobuf 直接 SET 进去,中间有多少个 \0 都没关系——这也是 Redis 字符串能当通用字节容器的根本。
预分配:少折腾内存
字符串频繁追加(如 APPEND、拼日志)时,若每加一点就 realloc 一次,开销巨大。SDS 用空间预分配摊薄成本:当需要扩容,它会多要一些,把未来几次追加的空间一次备好。
| 策略 | 规则 |
|---|---|
| 预分配(扩容时) | 修改后若新长度 < 1MB,则额外多分配等量空间(容量翻倍);≥ 1MB,则每次多分配 1MB。alloc 记录这块总容量。 |
| 惰性释放(缩短时) | 字符串变短时,不立刻归还多出来的空间,而是留在 alloc 里备用,下次增长可直接用,避免反复 realloc。 |
效果:连续 N 次追加,最多触发 O(N) 次 realloc 降到最多 N 次以内、通常远少于 N 次。代价是可能留有一点未用空间——用空间换时间,对高频写入很划算。(需要时也能用命令把多余空间抠掉。)
不只是 String 类型
容易误会 SDS 只用于 String 数据类型。其实它是 Redis 里字符串的通用底座,到处都在用:
| String 的值 | 当然,SET 进去的值就是 SDS |
| 所有的键名 | 键空间里每个 key 本身也是 SDS |
| 其它类型里的字符串成员 | List 的元素、Hash 的字段与值、Set 的成员……凡是字符串,底层多是 SDS |
| 缓冲区 | 客户端查询缓冲、AOF 缓冲等,也用 SDS 来动态增长 |
回扣"对象编码"那篇:短字符串(≤44 字节)用 embstr 编码——把 redisObject 头和 SDS 挤在同一块内存一次分配,缓存友好;长字符串用 raw,两块分开。而纯整数值则用 int 编码直接存 long,连 SDS 都省了。SDS 是这套编码的基础材料。
一个头部的巧思
SDS 只是在内容前面加了个记着 len/alloc 的小头部,就把 C 字符串的三宗罪一次治好:O(1) 取长度、不会溢出、二进制安全,外加预分配省下大量 realloc。它是 Redis 里字符串的通用底座——键、值、成员、缓冲,全都站在它之上。朴素的改动,撑起了整个数据库。
