AI Infra、GPU 与大模型工程笔记

前置阅读：LLM 推理（Inference）性能推导 · DeepSeek V4.1：拆分 Transformer，压缩 KV Cache DeepInfer 的部署 Q&A 里有一组挺有意思的数据：每个 rank 60 个并发请求时，把固定长度验证换成 DSpark 的变长验证，平均验证的 draft token 从 5 个降到 3.58 个，表中的平均接受长度只从 3.30 掉到 3.21，官方估计的吞吐却从 13,730 涨到 14,466 tok/s/rank，提高了 5.4%。[3] drafter 还是同一个，每轮照样生成 5 个候选，调度器只是少送了几个给大模型验证。为什么这样反而更快？ 原因在于，一个候选会占掉一个验证位置，但它最后不一定能贡献一个输出 ...

前置阅读：LLM 推理（Inference）性能推导 · 注意力头设计 Agent 每调一次工具，返回的网页、代码或执行结果都会接回上下文，下一轮请求既要处理这些新内容，又要重新用上之前的历史。任务跑得越久，成本就远不止生成几个 token：长输入要做 prefill，历史 KV 占着显存，想跨请求复用，还得把缓存存到主机内存或 SSD，用的时候再搬回 GPU。 DeepSeek V4.1-Flash 把这几笔成本放在一起优化：用 Causal Encoder-Decoder（CED）改变上半网络建立历史记忆的方式，用 Compressed Sparse Attention 2（CSA2）让多层共享缓存和检索结果，再用 SWA Bounded Replay 重建短期的局部状态。[...

一个大型数据库，工作数据全放在 DRAM 里，访问快，但容量太贵；放到 SSD 上，容量好扩，处理器却得绕一趟存储 I/O 才能拿到数据。Intel 傲腾（Optane）想在这两者之间再加一层：比 NAND 更适合低延迟访问，容量成本又比 DRAM 低，能装下更大的数据集。 傲腾后来既做成了 SSD，也做成了插在服务器内存通道上的持久内存。底层是同一种介质，接法不同，软件能拿到的能力就差得很远。所以下面顺着材料、接口、软件访问方式一层层往下看。 本文基于 Asianometry 的《Intel’s Optane Memory: A Promise Unfulfilled》整理，并结合 Intel、Micron 的原始资料补充技术细节。[1]

前置阅读：FlashAttention：IO 感知的精确 Attention 计算 · LLM 推理（Inference）性能推导 给 Attention 加一个 sliding window，看起来只需要改一行代码： scores = scores.masked_fill(~window_mask, float("-inf")) 但如果执行到这里时 Q @ K.T 已经算完了，窗口外的 dot product 其实一个都没省。要是想把这段逻辑塞进 fused Attention，又会碰到新问题：现有 kernel 支不支持这种窗口？能不能再叠加 document mask、相对位置 bias 或 soft-capping？ FlexAttention 想同时解决这两件事：...

前置阅读：GPU 内存访问优化与稀疏矩阵 · LLM 推理（Inference）性能推导 翻 Cerebras 的规格表，最扎眼的数字是 44 GB 片上 SRAM。平时聊 GPU，片上缓存都是按 MB 算的，几十 GB 那是 HBM 的量级。Cerebras 是怎么把这么多 SRAM 塞进计算芯片里的？ 首先靠面积：WSE-3 做到了约 215 × 215 mm，相当于约 57 颗 H100 的计算裸片。其次是组织方式：内存分散在几十万个小核心旁边，核心之间用片上网络连起来。最后，制造上的冗余和容错让这么大一块硅片能真正做成产品。[1][2][3] 顺着这条线看下去，还能顺带回答两个问题：它的 PB/s 级带宽是怎么来的，以及为什么有了 44 GB，跑一个 70B 模型还是得...

前置阅读：MoE 实践梳理：并行策略、随机性与 DeepSeek · TP 并行的通讯计算 讲 MoE 执行流程的材料里，常能看到这样一条链：token 先发到专家所在的 GPU，做两次矩阵乘加一次激活，结果再传回原来的 GPU。EP（Expert Parallelism，专家并行）解释了为什么要跨卡，可光看这条链，看不出通信是怎么被计算盖住的。 DeepGEMM 的 MegaMoE 把 EP Dispatch、Linear 1、SwiGLU、Linear 2 和 EP Combine 放进同一个 mega-kernel，让 NVLink 通信和 Tensor Core 计算重叠起来。[1] 问题也就来了：同一个 token 明明必须先收到、再计算、再回传，重叠究竟发生在哪里？ ...

前置阅读：DualPath：用双路径 KV-Cache 加载打破 Agentic 推理的存储瓶颈 · NVL72 架构解析：72 GPU 全互连拓扑 为什么一边是数据中心不断扩建，另一边却还是“没有足够的算力”？如果今天真的这么缺，2027 年又怎么可能出现过剩？ Asianometry 在 《Silicon Valley’s Starving for Compute》 里记录了他参加 Hot Chips 2026、走访湾区和 SEMICON Taiwan 的见闻：推理芯片冒出了新机会，封装越做越大，模型团队到处在找 GPU。 与此同时，供应链已经在全力扩产，未来的收入撑不撑得住这么多新增容量，也成了绕不开的问题。[1] 用户调用模型的方式变了，硬件供给却要走完设计、制造、封...

前置阅读：LLM 推理（Inference）性能推导 · DualPath：用双路径 KV-Cache 加载打破 Agentic 推理的存储瓶颈 · 昇腾 950 的两种显存方案：白鹭、朱雀与 PD 分离 推理时，显存里有两类数据值得单独拿出来看：模型权重加载后基本只读；KV cache 随上下文增长，读多写少。两者都要占很大的空间，也都要求很高的读取速度。 HBF（High Bandwidth Flash，高带宽闪存）用 NAND 换来大容量，再靠宽接口和内部并行把读取带宽拉上去，正好能和这两类数据对上：只读权重可以试着放进 HBF，尤其是总参数量大、每个 token 只激活部分专家的 MoE；有复用价值的 KV，则可以考虑放进 HBM 之外的二级缓存。 本文以 Asiano...