AI Infra、GPU 与大模型工程笔记

一个大型数据库，把工作数据全部放在 DRAM 中，可以快速访问，但容量成本很高；放在 SSD 上，容量容易扩大，处理器却要经过存储 I/O 路径才能取到数据。Intel 傲腾（Optane）试图在这两者之间增加一层：比 NAND 更适合低延迟访问，又能以低于 DRAM 的容量成本保存更大的数据集。 傲腾后来既做成了 SSD，也做成了插在服务器内存通道上的持久内存。同一种底层介质，接入方式不同，软件得到的能力就很不一样。理解它的关键，是顺着材料、接口和软件访问方式往下看。 本文基于 Asianometry 的《Intel’s Optane Memory: A Promise Unfulfilled》整理，并结合 Intel、Micron 的原始资料补充技术细节。[1]

前置阅读：FlashAttention：IO 感知的精确 Attention 计算 · LLM 推理（Inference）性能推导 给 Attention 加一个 sliding window，看起来只需要改一行代码： scores = scores.masked_fill(~window_mask, float("-inf")) 但如果执行到这里时，Q @ K.T 已经算完，那么窗口外的 dot product 一个也没省。再把这段逻辑放进 fused Attention，问题又变成：现有 kernel 是否支持这个窗口，能不能再叠加 document mask、相对位置 bias 或 soft-capping？ FlexAttention 试图让这两件事一起成立：用户用...

前置阅读：DualPath：用双路径 KV-Cache 加载打破 Agentic 推理的存储瓶颈 · NVL72 架构解析：72 GPU 全互连拓扑 为什么一边是数据中心不断扩建，另一边却还是“没有足够的算力”？如果今天真的这么缺，2027 年又怎么可能出现过剩？ Asianometry 在 《Silicon Valley’s Starving for Compute》 中，记录了参加 Hot Chips 2026、走访美国湾区和 SEMICON Taiwan 后的观察。他看到推理芯片的新机会、越来越大的封装，也听到模型团队四处找 GPU 的故事。 与此同时，供应链已经全力扩张，未来的收入能否撑住这么多新增容量，也成了必须回答的问题。[1] 用户调用模型的方式变了，硬件供给却...

前置阅读：LLM 推理（Inference）性能推导 · DualPath：用双路径 KV-Cache 加载打破 Agentic 推理的存储瓶颈 · 昇腾 950 的两种显存方案：白鹭、朱雀与 PD 分离 推理时，显存里有两类数据值得单独拿出来看：模型权重在加载后基本只读；KV cache 会随上下文增长，读多写少；它们都需要很大的存储空间，并且需要很高的读取速度 HBF（High Bandwidth Flash，高带宽闪存）用 NAND 提供大容量，再通过宽接口和内部并行提高读取带宽。这让它与推理中的两类数据产生了联系：只读权重可以尝试放到 HBF，尤其是总参数量大、每个 token 只激活部分专家的 MoE；具有复用价值的 KV，则可以探索放入 HBM 之外的二级缓存。 本...

前置阅读：NVL72 架构解析：72 GPU 全互连拓扑 · DualPath：用双路径 KV-Cache 加载打破 Agentic 推理的存储瓶颈 一个搜索公司出售了占原集团收入 95% 以上的业务，留下部分工程团队和海外资产，随后把主要精力投入 AI 云。这就是 Nebius 的起点。[1] 从 Yandex 分出来以后，Nebius 具体做了哪些东西？它为什么认为自己相比其他云厂商，拥有更强的技术能力和更低的成本？这些能力又怎样转化成一门能持续扩张的生意？ 本文资料截至 2026 年 10 月 2 日，经营数字主要采用已披露的 2026 年第二季度财报。 1 拆分 Nebius 原来的 Yandex N.V. 是荷兰上市母公司，旗下主要经营业务位于俄罗斯。2022 年...

从 MiMo-V2.6-RL-oss 的具体任务出发，说明需求、容器环境与 verifier 如何组成 Agentic RL 任务，比较 Code、Cyber、Webdev、Music 和 General 的评分方式，并区分 Explorer 在线评分与训练奖励。

读 Anthropic 在 2026 年 9 月 29 日发布的 GLM-5.3 网络安全报告， 报告标题可以直译为《GLM-5.3 与高级网络攻击能力的扩散》。它围绕 GLM-5.3 的网络安全能力、安全防护和能力扩散风险展开，评测是支撑这些讨论的一部分。 Anthropic 关注的更多是glm能力开放以后如何被滥用；从模型研究的角度，它也提供了一组观察复杂工程任务的材料 Anthropic 的报告说了什么 Anthropic 的核心判断是：GLM-5.3 已具备较强的端到端漏洞利用能力，其开放权重又使这些能力更容易被获取和修改。 报告同时指出，这类能力也能帮助防守方。主要结果如下。 Anthropic 的评测 GLM-5.3 ...

看到 Fast-WAM 的结构图，很容易把它理解成“Wan 负责视频，旁边接一个随机初始化的 action encoder”。但沿着官方代码往下看，事情更有意思：默认训练配置不仅加载 Wan 的 video DiT，还把 Wan 的权重缩到较小的 hidden dimension，用来初始化 action DiT 的主干。真正保留随机初始化的，是动作输入投影、动作输出投影，以及把机器人自身状态接入模型的 proprio encoder。初始化代码把这件事写得很明确。 另一个容易混淆的地方是名字里的 Fast。它主要省掉了推理阶段的未来视频生成，训练时仍然同时做视频建模和动作学习；推理时 action 也仍然需要去噪。论文所谓 single forward pass，指的是 video...