归档

GPU 架构与 CUDA

从 Attention 的实现，读到 Blackwell 的计算与低精度支持。

• GPU 的内存访问与数据搬运
• 顺着 FlashAttention 看 SM120 的实现
• Blackwell TMEM 与 tcgen05 MMA 深度解析
• FP8：大模型低精度训练
• MXFP8 与 SM120：硬件支持之后，软件还缺什么

大模型训练与推理

从编译执行，读到分片训练与推理时的 KV Cache 搬运。

• 从一行 print 看 torch.compile 的 Graph Break
• Inductor 与 CUDA Graph 的执行机制
• 张量并行：把模型计算拆到多张 GPU
• 流水线并行：跨阶段安排训练计算
• Megatron-FSDP：从 ZeRO 到完全分片的工程实践
• DualPath：用双路径 KV-Cache 加载打破 Agentic 推理的存储瓶颈

强化学习与 Coding Agent

从 RLHF 与 GRPO，读到代码任务怎样成为可训练的环境。

• RLHF 到 GRPO：大模型强化学习训练方法梳理
• CodeMidas：从源代码构造 Coding Agent 的 RL 训练环境
• MiMo-V2.6-RL-oss：一条任务怎样成为 Agentic RL 环境