前缀缓存命中 50%，预填充为什么没有快 2 倍？
从因果注意力的三角计算量出发，逐层推导前缀缓存命中后的剩余注意力计算量、完整预填充的理想加速上限，以及它与真实 TTFT 之间的差距。
Code walkthroughsLLM serving internalsLLM serving
Blog
Engineering notes on SGLang, KV cache management, Mooncake Store, Transfer Engine, and related performance work. Articles are currently written in Chinese.
Browse by series
Choose a topic to follow, or open a runbook when you need a command reference.
SGLang RuntimeScheduling, request handling, caching, and inference flow.Mooncake and HiCache internalsRead and write paths through Store, Transfer Engine, and tiered caching.KV cache systemsCache reuse, memory residency, and cross-node state.Performance engineeringProfiling, benchmarks, tail latency, and validation.Distributed and storage systemsConsensus, WAL, compaction, leases, and recovery.RunbooksCommand references and practical operating notes.
Recommended reading
A selection of in-depth code walkthroughs and systems notes.
Kimi Linear 的 KDA 缓存：SGLang、vLLM 与 Mooncake Store 全链路
从 Kimi Linear 的 KDA 状态出发，追踪 SGLang、vLLM 与 Mooncake Store 的混合缓存流程，并解释细粒度检查点、写时复制、部分分组命中与远端复用。
Code walkthroughsMooncake and HiCache internalsLLM serving
SGLang v0.5.14 接入 Mooncake Store：缓存页标识、零拷贝与共享 Transfer Engine
沿着一次 KV Cache 的写入与读回，说明 SGLang 如何根据缓存页标识生成 Mooncake Store 对象，以及主机端 KV 缓冲区为何是两套系统的数据交接点。
Code walkthroughsMooncake and HiCache internalsLLM serving
SGLang HiCache 读路径：预取、回载和调度流程
沿着前缀匹配、存储预取和主机内存到 GPU 的回载过程，梳理 HiCache 如何确认并提交一次缓存命中。
Code walkthroughsSGLang runtimeLLM serving
All articles
Every article, newest first.
Rethinking the SGLang HiCache Boundary: From L2 Offload to a Cache Runtime
Starting from an out-of-process HiCache L2 split, this design note follows TreeCore, ReqToTokenPool, the KV allocator, CUDA Graph, and the transfer path to refine the ownership boundary between logical cache control and GPU execution.
Code walkthroughsSGLang runtimeLLM serving
Read article前缀缓存命中 50%，预填充为什么没有快 2 倍？
从因果注意力的三角计算量出发，逐层推导前缀缓存命中后的剩余注意力计算量、完整预填充的理想加速上限，以及它与真实 TTFT 之间的差距。
Code walkthroughsLLM serving internalsLLM serving
Read articleKimi Linear 的 KDA 缓存：SGLang、vLLM 与 Mooncake Store 全链路
从 Kimi Linear 的 KDA 状态出发，追踪 SGLang、vLLM 与 Mooncake Store 的混合缓存流程，并解释细粒度检查点、写时复制、部分分组命中与远端复用。
Code walkthroughsMooncake and HiCache internalsLLM serving
Read articleSGLang v0.5.14 接入 Mooncake Store：缓存页标识、零拷贝与共享 Transfer Engine
沿着一次 KV Cache 的写入与读回，说明 SGLang 如何根据缓存页标识生成 Mooncake Store 对象，以及主机端 KV 缓冲区为何是两套系统的数据交接点。
Code walkthroughsMooncake and HiCache internalsLLM serving
Read articleSGLang HiCache 读路径：预取、回载和调度流程
沿着前缀匹配、存储预取和主机内存到 GPU 的回载过程，梳理 HiCache 如何确认并提交一次缓存命中。
Code walkthroughsSGLang runtimeLLM serving
Read articleSGLang HiCache 写路径：GPU KV 如何写入主机内存和外部存储
沿着 GPU 到主机内存的备份和主机内存到外部存储的写入，说明 write_backup、PoolTransfer 与 batch_set 如何协作。
Code walkthroughsSGLang runtimeLLM serving
Read articleSGLang HiCache 总览：把 GPU KV 缓存扩成三级缓存
从 GPU KV 池、主机内存池、存储后端和基数树节点的状态变化出发，理解 HiCache L1/L2/L3 的整体结构。
Code walkthroughsSGLang runtimeLLM serving
Read article如何根据 config.json 估算大模型的注意力缓存
从 config.json 中的 hidden_size、head_dim、KV 头数、sliding_window、kv_lora_rank、Indexer 和 KDA 状态出发，估算常见模型的注意力缓存大小。
Code walkthroughsLLM serving internalsAttention
Read articleMooncake Transfer Engine 传输层：MultiTransport 如何选择 TCP、RDMA 和设备路径
梳理 MultiTransport 的安装与后端选择流程，说明 TCP、RDMA 和设备传输如何接入统一接口。
Code walkthroughsMooncake and HiCache internalsLLM serving
Read articleMooncake 集成方式：Python 绑定、SGLang、vLLM 和 LMCache
梳理 pybind11、张量与对象 API，以及 SGLang、vLLM 和 LMCache 接入 Mooncake 时各自负责的部分。
Code walkthroughsMooncake and HiCache internalsLLM serving
Read articleMooncake Transfer Engine：内存段、注册内存和批量传输
从内存段、内存注册、传输请求和批次编号出发，建立 Mooncake Transfer Engine 的数据搬运模型。
Code walkthroughsMooncake and HiCache internalsLLM serving
Read articleMooncake Store 状态管理：副本生命周期、租约和本地热缓存
沿着副本状态机、元数据租约和本地热缓存的校验令牌，说明 Mooncake Store 如何维护读写可见性并防止旧写覆盖。
Code walkthroughsMooncake and HiCache internalsLLM serving
Read articleMooncake Store 读取路径：GetReplicaList、租约和本地热缓存
沿着 GetReplicaList、副本选择和本地热缓存，梳理一次 Store 读取如何从元数据查询进入数据传输。
Code walkthroughsMooncake and HiCache internalsLLM serving
Read articleMooncake Store 写入路径：PutStart、TransferSubmitter 和 PutEnd
沿着 PutStart、TransferSubmitter 和 PutEnd，梳理一次 Store 写入如何完成副本分配、数据搬运与可见性提交。
Code walkthroughsMooncake and HiCache internalsLLM serving
Read articleMooncake Store 对象模型：对象、切片、副本和 Segment
梳理对象、切片、副本、Segment，以及 Master 与 Client 的职责，作为理解 Mooncake Store 读写流程的入口。
Code walkthroughsMooncake and HiCache internalsLLM serving
Read articleMooncake 和 HiCache 总览：KV 缓存如何变成系统资源
从 SGLang HiCache、Mooncake Store 和 Transfer Engine 的职责边界出发，说明一段 KV 缓存如何成为可跨节点复用的系统资源。
Code walkthroughsMooncake and HiCache internalsLLM serving
Read articlePagedAttention 笔记：为什么要像管理内存一样管理 KV 缓存
梳理块表、物理块、写时复制和调度流程，说明 PagedAttention、HiCache 与 Mooncake 分别负责什么。
Engineering notesSGLang runtimeAttention
Read articleCPU 性能分析笔记：如何用 perf 定位一次延迟抖动
沿着一次服务 p99 抖动的排查过程，串起 CPU 执行与等待分析、perf、火焰图、假设验证和基准测试。
Engineering notesOpen source engineeringPerformance
Read articleTransformer 笔记：注意力机制为什么会变成系统问题
从 QKV、掩码和 KV 缓存出发，理解 Transformer 的模型结构为什么会影响推理服务的内存与调度设计。
Engineering notesSGLang runtimeAttention
Read articlekubectl 命令速查：上下文、资源查看和故障排查
kubectl 日常使用速查，涵盖 kubeconfig、常用查询与执行命令、资源发布、服务排查和输出格式。
RunbooksCloud tooling
Read article文本处理命令：rg、find、xargs、sed、awk、jq 和 yq
命令行文本处理速查，涵盖搜索、批量执行、替换、列处理、JSON/YAML 查询和管道组合。
RunbooksCloud tooling
Read articleDocker 使用：镜像、容器、日志、exec 和数据卷
Docker 日常使用手册，涵盖镜像、容器、运行与日志命令、数据卷、网络、Compose 和常见故障排查。
RunbooksCloud tooling
Read article存储基准测试笔记：不要只看平均延迟
借助 redis-benchmark、memtier_benchmark 和 sysbench，说明测试负载、预热、数据规模、p99、性能拐点和资源隔离为什么比平均值更重要。
Engineering notesStorage systemsPerformance
Read articleGit 使用：分支、提交、rebase 和常见救场
Git 日常使用手册，涵盖 clone、branch、commit、diff、stash、rebase、cherry-pick、reflog 和团队协作。
RunbooksCloud tooling
Read articlepyenv 使用：Python 多版本管理和虚拟环境
pyenv 日常使用手册，涵盖安装配置、Python 版本切换，以及配合 venv 管理项目环境。
RunbooksCloud tooling
Read articleWAL、版本清单和压缩：崩溃后哪些写入算数
沿着 WAL 追加、内存表刷盘、版本清单更新、压缩结果安装和恢复流程，说明存储系统如何确认崩溃前的写入历史。
Engineering notesStorage systems
Read articleLSM 树笔记：一个键从写入到压缩的生命周期
沿着一个键的写入与压缩过程，梳理 WAL、MemTable、SSTable、墓碑标记和写入停顿如何共同影响后台开销。
Engineering notesStorage systems
Read articleZooKeeper / etcd 笔记：监听、租约和隔离机制
沿着监听中断、修订记录压缩、租约过期和选主隔离，说明协调服务为什么不能当作普通 KV 存储使用。
Engineering notesDistributed systems
Read articlePaxos / Raft 笔记：旧主节点为什么不能继续写
沿着旧主节点、网络分区、提案编号、任期、日志匹配和隔离令牌，说明一致性协议如何阻止过期节点继续写入。
Engineering notesDistributed systems
Read article