AI Infra、GPU 与大模型工程笔记

从一行 print 引起的切图出发，说明 torch.compile 中 Dynamo 的捕获与恢复过程，区分 Graph Break、数据依赖分支、动态 shape 和重编译，并介绍 fullgraph、日志与 trace 的排查方法。

从 FlashAttention 的 SM120 子类源码出发，解释它为何复用 SM80 的 warp-level MMA 主循环，以及 arch、共享内存容量和缓冲复用如何影响输出路径、tile 与 stage 配置，并区分显存容量与片上资源限制。

1. Inductor 后端注册与调用链 1.1 注册点 torch/_dynamo/backends/inductor.py — 只有 32 行，是字符串 "inductor" 的绑定入口： from torch._dynamo import register_backend @register_backend # 把 "inductor" 注册到 _COMPILER_FNS 字典 def inductor(*args, **kwargs): from torch._inductor.compile_fx import compile_fx # 懒加载 return compile_fx(*args, **kwargs) 1.2 查找机制 torc...

围绕 Blackwell SM100/SM103 的矩阵乘加路径，解析 TMEM 如何存放累加器、tcgen05.mma 如何发射计算，以及结果读回寄存器后的处理流程，结合分块算例说明寄存器压力、访问约束与同步要求。

排查一个 SSH 问题，现象看起来像服务端有问题，实际上是本机代理软件的 TUN 模式把 SSH 流量接管了 现象 ssh -vvv -i ~/Downloads/ssh-key-2026-05-17.key ubuntu@<公网ip> 关键报错： kex_exchange_identification: Connection closed by remote host Connection closed by <公网ip> port 22 连接在 SSH 握手早期就被关掉了，还没走到公钥认证阶段。 排除常见原因 私钥和端口 chmod 600 ~/Downloads/ssh-key-2026-05-17.key ssh-keygen -lf...

核心投资理念 1. 拥抱指数基金，放弃主动选股 唯一推荐的股市产品：大盘指数基金（如标普 500、纳斯达克 100） 个股风险极高：美国 6000 家上市公司每年有 180 家被摘牌（3%），40 年超半数公司破产 主动基金不堪一击：超过 90% 的主动基金在 30 年内关门，只有不到 3% 能超过最简单的指数基金 指数基金自动实现优胜劣汰：成分股公司衰落会被自动替换，从无大盘指数基金破产的先例 2. 基金定投：有钱就买，需钱即卖 核心策略：固定时间频率买入基金，完全忽视当下价格 优势：无脑简单、降低风险（平均成本法）、强制储蓄积累财富 把基金账户等同于存款账户 只在需要用钱时才卖出，不做择时 3. 长线投资，拒绝频繁交易 散户...

NVL72 是 NVIDIA GB200 系列中一个 72 GPU 的单机级 NVLink 交换网络。它不是简单的 72 张卡互联，而是一个精心设计的 全互连 (full crossbar) + 单级交换 (single switch stage) 拓扑。 硬件构成 整个系统由两个主要部分组成： 计算节点层 18 个计算托盘 (compute tray)，每个托盘包含 4 个 Blackwell GPU，总计： 18 × 4 = 72 个 GPU 交换层 9 个 NVLink 交换托盘 (switch tray)，每个托盘包含 2 个 NVSwitch 芯片，总计： 9 × 2 = 18 个 NVSwitch 芯片 连接拓扑 每个 GPU 的出线...

基于 Megatron Core v0.16.1 源码，梳理 Megatron-FSDP 的 ZeRO 分片策略、参数与梯度缓冲区、通信流水线和钩子生命周期，重点分析 per-module 分片、通信计算重叠及 TP、HSDP 的集成。