AI Infra、GPU 与大模型工程笔记

前置阅读：硅谷为何渴求算力：从 Agent 需求到 2027 年供给周期 · 从 Yandex 到 Nebius：AI 云的生意 Anthropic 的招股书里，有两组看起来很矛盾的数字： 2026 年上半年净亏损 807.48 亿美元， 但第二季度已经实现 9.74 亿美元营业利润。[1][2] 那它到底是还在巨额烧钱，还是已经开始赚钱了？如果模型服务的毛利率已经做到 85% 左右，训练下一代模型的钱又记在了哪里？

一个大型数据库，工作数据全放在 DRAM 里，访问快，但容量太贵；放到 SSD 上，容量好扩，处理器却得绕一趟存储 I/O 才能拿到数据。Intel 傲腾（Optane）想在这两者之间再加一层：比 NAND 更适合低延迟访问，容量成本又比 DRAM 低，能装下更大的数据集。 傲腾后来既做成了 SSD，也做成了插在服务器内存通道上的持久内存。底层是同一种介质，接法不同，软件能拿到的能力就差得很远。所以下面顺着材料、接口、软件访问方式一层层往下看。 本文基于 Asianometry 的《Intel’s Optane Memory: A Promise Unfulfilled》整理，并结合 Intel、Micron 的原始资料补充技术细节。[1]

前置阅读：FlashAttention：IO 感知的精确 Attention 计算 · LLM 推理（Inference）性能推导 给 Attention 加一个 sliding window，看起来只需要改一行代码： scores = scores.masked_fill(~window_mask, float("-inf")) 但如果执行到这里时 Q @ K.T 已经算完了，窗口外的 dot product 其实一个都没省。要是想把这段逻辑塞进 fused Attention，又会碰到新问题：现有 kernel 支不支持这种窗口？能不能再叠加 document mask、相对位置 bias 或 soft-capping？ FlexAttention 想同时解决这两件事：...

前置阅读：DualPath：用双路径 KV-Cache 加载打破 Agentic 推理的存储瓶颈 · NVL72 架构解析：72 GPU 全互连拓扑 为什么一边是数据中心不断扩建，另一边却还是“没有足够的算力”？如果今天真的这么缺，2027 年又怎么可能出现过剩？ Asianometry 在 《Silicon Valley’s Starving for Compute》 里记录了他参加 Hot Chips 2026、走访湾区和 SEMICON Taiwan 的见闻：推理芯片冒出了新机会，封装越做越大，模型团队到处在找 GPU。 与此同时，供应链已经在全力扩产，未来的收入撑不撑得住这么多新增容量，也成了绕不开的问题。[1] 用户调用模型的方式变了，硬件供给却要走完设计、制造、封...

前置阅读：LLM 推理（Inference）性能推导 · DualPath：用双路径 KV-Cache 加载打破 Agentic 推理的存储瓶颈 · 昇腾 950 的两种显存方案：白鹭、朱雀与 PD 分离 推理时，显存里有两类数据值得单独拿出来看：模型权重加载后基本只读；KV cache 随上下文增长，读多写少。两者都要占很大的空间，也都要求很高的读取速度。 HBF（High Bandwidth Flash，高带宽闪存）用 NAND 换来大容量，再靠宽接口和内部并行把读取带宽拉上去，正好能和这两类数据对上：只读权重可以试着放进 HBF，尤其是总参数量大、每个 token 只激活部分专家的 MoE；有复用价值的 KV，则可以考虑放进 HBM 之外的二级缓存。 本文以 Asiano...

前置阅读：NVL72 架构解析：72 GPU 全互连拓扑 · DualPath：用双路径 KV-Cache 加载打破 Agentic 推理的存储瓶颈 一家搜索公司卖掉了占原集团收入 95% 以上的业务，只留下一部分工程团队和海外资产，然后把主要精力押在 AI 云上。这就是 Nebius 的起点。[1] 从 Yandex 分出来以后，Nebius 做了哪些东西？它凭什么认为自己比其他云厂商技术更强、成本更低？这些能力又怎么变成一门能持续扩张的生意？ 本文资料截至 2026 年 10 月 2 日，经营数字主要用已披露的 2026 年第二季度财报。 1 拆分 Nebius 原来的 Yandex N.V. 是荷兰上市母公司，主要业务在俄罗斯。2022 年俄罗斯全面入侵乌克兰后，它的...

从 MiMo-V2.6-RL-oss 的具体任务出发，说明需求、容器环境与 verifier 如何组成 Agentic RL 任务，比较 Code、Cyber、Webdev、Music 和 General 的评分方式，并区分 Explorer 在线评分与训练奖励。

读 Anthropic 在 2026 年 9 月 29 日发布的 GLM-5.3 网络安全报告， 报告标题可以直译为《GLM-5.3 与高级网络攻击能力的扩散》。它围绕 GLM-5.3 的网络安全能力、安全防护和能力扩散风险展开，评测是支撑这些讨论的一部分。 Anthropic 关注的更多是glm能力开放以后如何被滥用；从模型研究的角度，它也提供了一组观察复杂工程任务的材料 Anthropic 的报告说了什么 Anthropic 的核心判断是：GLM-5.3 已具备较强的端到端漏洞利用能力，其开放权重又使这些能力更容易被获取和修改。 报告同时指出，这类能力也能帮助防守方。主要结果如下。 Anthropic 的评测 GLM-5.3 ...