Blog
所有文章按时间倒序排列。All notes are listed from newest to oldest.
-
通算融合算子（一）：为什么要把通信写进 GEMM kernel 里
从 MoE 层的串行瓶颈讲起：什么是通信计算重叠、收益天花板怎么算、四种融合模式的地图，以及为什么我们不用多 stream 方案。
-
通算融合算子（二）：先认识你的平台，再写一行代码
PCIe 拓扑怎么读、push 为什么比 pull 快一倍、跨卡原子为什么不能用——用 microbench 把平台事实钉死，方案选型就不会靠猜。
-
通算融合算子（三）：ThunderKittens 多卡编程与可融合的 GEMM 模板
tile 抽象、TMA 异步拷贝、跨卡 pgl 视图，以及一个 130 行的 persistent grouped GEMM——它留了两个钩子，通信就从这两个钩子里长进去。
-
通算融合算子（四）：PCIe 上的跨卡同步协议——单写者、选举与水位
跨卡原子不可用之后怎么办：slot+单调序号的信号原语、本地选举+单写者发布的两阶段协议、chunk 水位，以及内存序链和死锁审计清单。
-
通算融合算子（五）：实战——两个 kernel 写完一个 TP MoE 融合层
调度表怎么设计（一张表干两层的活）、AllGather⊕GEMM 与 GEMM⊕combine 的完整代码走读、全员收尾的 dispenser，以及三道正确性锚点。
-
通算融合算子（六）：从慢 38% 到快 20%——归因方法、调优史与踩坑大全
不开 profiler 的三条账归因法、分阶段计时工具、七轮迭代的完整复盘（每一轮改了什么为什么），以及一张能救你几天时间的踩坑速查表。