sonic是一个由字节跳动开发并开源的 JSON 解析库,由 JIT (即时编译)和 SIMD (单指令流多数据流)来加速序列化/反序列化。
特色
- 运行时对象绑定,无需代码生成
- 完备的JSON操作API
- 快、更快,还要快
设计实现
- 针对编解码动态汇编的函数调用开销,使用 JIT 技术在运行时组装与模式对应的字节码(汇编指令),最终将其以 Golang 函数的形式缓存在堆外内存上。
- 针对大数据和小数据共存的实际场景,使用预处理判断(字符串大小、浮点数精度等)将 SIMD 与标量指令相结合,从而实现对实际情况的最佳适应。
- 对于 Golang 语言编译优化的不足,决定使用 C/Clang 编写和编译核心计算函数,并且开发了一套 asm2asm 工具,将经过充分优化的 x86 汇编代码转换为 Plan9 格式,最终加载到 Golang 运行时中。
- 考虑到解析和跳过解析之间的速度差异很大, 惰性加载机制当然也在 AST 解析器中使用了,但以一种更具适应性和高效性的方式来降低多键查询的开销。
在细节上,进行了一些进一步的优化:
- 由于 Golang 中的原生汇编函数不能被内联,其成本甚至超过了 C 编译器的优化所带来的改善。所以在 JIT 中重新实现了一组轻量级的函数调用:
- 全局函数表+静态偏移量,用于调用指令
- 使用寄存器传递参数
Sync.Map
一开始被用来缓存编解码器,但是对于准静态(读远多于写),元素较少(通常不足几十个)的场景,它的性能并不理想,所以使用开放寻址哈希和 RCU 技术重新实现了一个高性能且并发安全的缓存。
Benchmarks
sonic Benchmark结果在这里。
对于所有大小的json和所有使用场景, Sonic表现均为最佳。
使用
以下是一个使用 Sonic 进行 JSON 解析的简单示例:
package main
import (
"fmt"
"github.com/bytedance/sonic"
)
func main() {
data := []byte(`{"name":"John", "age":30, "city":"New York"}`)
var result map[string]interface{}
err := sonic.Unmarshal(data, &result)
if err != nil {
fmt.Println(err)
return
}
fmt.Println(result)
}
在这个示例中,我们首先定义了一个 JSON 字符串,然后使用sonic.Unmarshal
函数将其解析为一个map[string]interface{}
类型的变量。
声明:本作品采用署名-非商业性使用-相同方式共享 4.0 国际 (CC BY-NC-SA 4.0)进行许可,使用时请注明出处。
author: mengbin
blog: mengbin
github: mengbin92
cnblogs: 恋水无意