Hi, 这里是 Astro Bear
一个像 BearBlog 一样克制、快速、以文字为中心的 Astro 博客主题。适合写中文、English notes，也适合把两种语言自然放在同一个页面里。
Use this space for ideas, technical notes, project logs, and reflections without fighting the interface.
Latest Posts
-
通算融合算子（一）：为什么要把通信写进 GEMM kernel 里
从 MoE 层的串行瓶颈讲起：什么是通信计算重叠、收益天花板怎么算、四种融合模式的地图，以及为什么我们不用多 stream 方案。
-
通算融合算子（二）：先认识你的平台，再写一行代码
PCIe 拓扑怎么读、push 为什么比 pull 快一倍、跨卡原子为什么不能用——用 microbench 把平台事实钉死，方案选型就不会靠猜。
-
通算融合算子（三）：ThunderKittens 多卡编程与可融合的 GEMM 模板
tile 抽象、TMA 异步拷贝、跨卡 pgl 视图，以及一个 130 行的 persistent grouped GEMM——它留了两个钩子，通信就从这两个钩子里长进去。
-
通算融合算子（四）：PCIe 上的跨卡同步协议——单写者、选举与水位
跨卡原子不可用之后怎么办：slot+单调序号的信号原语、本地选举+单写者发布的两阶段协议、chunk 水位，以及内存序链和死锁审计清单。
-
通算融合算子（五）：实战——两个 kernel 写完一个 TP MoE 融合层
调度表怎么设计（一张表干两层的活）、AllGather⊕GEMM 与 GEMM⊕combine 的完整代码走读、全员收尾的 dispenser，以及三道正确性锚点。