标签: "sglang"

源码精读 004 — mini-SGLang，缩小 140 倍的双生子如何教会我们读 SGLang

5000 行的教学实现，与 72.9 万行的生产引擎并行维护。 5 小时读穿。关于"如何从最小实现学到东西"的反思至少和代码本身一样重要。

源码精读 002 — SGLang，推理引擎也是个四进程分布式系统

72.9 万行代码、 27 个 attention backend、 4006 行 scheduler、把对话 prefix 变成 KV cache 命中的 radix 树。一份对我 AMD 工作每天都在用的推理引擎的深度阅读。