标签: "MLSys"

从 Python 到硅片 · 给 ML 工程师的编译器与体系结构小科普

你可以把生产级 ML 系统写好几年，都不知道 IR、 MLIR、 LLVM、 ISA、 FFI 这些词指什么。这一篇是补丁 —— 写给本科 CS 念过、但是 Compiler 和 Computer Arch 没好好上过的 ML 工程师。配一份带 6 张 SVG 图、中英双语的 HTML 深读。

注意力机制详解 — Full, Sparse, Linear, NSA & GLA

从 Full Attention 出发，拆解 Sparse 和 Linear 两条路线，直到 DeepSeek NSA 和 Gated Linear Attention

TritonForge：面向多轮 Agent 任务的 Server-based RL 训练与评测闭环

基于 slime + Megatron 的端到端 Server-based RL 框架，聚焦 Triton 内核生成，支持 NVIDIA 与 AMD 双生态

Transformer 详解 (数学 + 代码)

从数学原理、代码实现、逻辑结构三个维度拆解 Transformer 的 Self-Attention、LayerNorm 和 MLP