标签: "MoE"

长序列 MoE RL 训练：从第一性原理到 MI300X

从第一性原理重新推导 Yan Bai 的长序列 MoE RL 优化（Path B 重计算、 linear cross-entropy、 FSDP2、 chunked expert-parallel overlap），以及它们在 AMD MI300X / MI355X 上各自意味着什么。