AI Infra、GPU 与大模型工程笔记
这里记录我对 AI Infra 与大模型工程的学习和梳理，重点关注 GPU、训练与推理系统，以及强化学习中的工程问题。从论文和源码出发，用公式、代码与图解解释实现细节。
从主题开始阅读
GPU 架构与 CUDA
从 Attention 的实现，读到 Blackwell 的计算与低精度支持。
大模型训练与推理
从编译执行，读到分片训练与推理时的 KV Cache 搬运。
强化学习与 Coding Agent
从 RLHF 与 GRPO，读到代码任务怎样成为可训练的环境。
最新文章
2011 年泰国洪灾：一个滑块工厂怎样卡住全球硬盘供应
前置阅读：硅谷为何渴求算力：从 Agent 需求到 2027 年供给周期 · SK 海力士与 HBM 革命：从濒临破产的 DRAM 厂到 AI 存储的关键供应商
本文基于 Asianometry 的视频《The Flood that Wrecked the Hard Disk Drive Industry》整理（2026-09-06 发布，19 分 36 秒），并按西数、希捷、Intel 的当年公告，世界银行灾后评估，以及水文和经济学论文核对了数字。文中截图均来自该视频，图注末尾标出对应画面在视频中的时间区间。
2011 年 10 月，泰国中部的洪水淹了七个工业园区。三个月后，美国电脑店里一块 1 TB 硬盘的价格翻了一倍，Intel 把第四季度营收预测砍掉了 10 亿美元。...
SK 海力士与 HBM 革命：从濒临破产的 DRAM 厂到 AI 存储的关键供应商
前置阅读：高带宽闪存 HBF：会给推理带来什么样的变化 · 硅谷为何渴求算力：从 Agent 需求到 2027 年供给周期 · Intel 傲腾：从 3D XPoint 到持久内存
本文基于 Asianometry 的视频《SK hynix and the HBM Revolution》整理（2026-08-13 发布，38 分 16 秒），技术规格、交易条款和投资数字按 SK 海力士、JEDEC、AMD、NVIDIA、SEC 的一手资料核对过。文中截图均来自该视频，图注末尾标出对应画面在视频中的时间区间。
2026 年 7 月，SK 海力士在纳斯达克挂牌 ADR，发行总额约 265 亿美元，是美国资本市场史上规模最大的 ADR 上市。二十五年前，这家公司还在债权人手里，董事...
十分钟看懂大模型推理引擎：llama.cpp、vLLM、SGLang、TensorRT-LLM 各自在解决什么
前置阅读：LLM 推理（Inference）性能推导 · DualPath：用双路径 KV-Cache 加载打破 Agentic 推理的存储瓶颈
本文基于 Caleb Writes Code 的视频《Inference Engines explained in 10min..》整理（2026-09-30 发布，10 分 18 秒），按各项目的原始论文和官方文档补充了公式、数字边界和命令行参数（文档核对于 2026-10）。文中截图均来自该视频，图注末尾标出对应画面在视频中的时间区间；04:12–05:05 的赞助段未收录。
同一个 Llama 模型，可以用 PyTorch 跑，可以用 llama.cpp 跑，也可以用 vLLM、SGLang、TensorRT-LLM 跑。为什...
韩国半导体的迅猛崛起：三星、现代、LG 怎样十年追上 DRAM 前沿，又怎样被债务拖进危机
前置阅读：SK 海力士与 HBM 革命：从濒临破产的 DRAM 厂到 AI 存储的关键供应商
本文基于 Asianometry 的视频《The Fast and Furious Rise of Korean Semiconductors》整理（2023-08-02 发布，33 分 48 秒），赞助段已跳过。年代、技术路线、交易条款和贸易裁决按 SK 海力士官方公告、IMF、WTO、美国商务部的文件以及学术研究核对过。文中截图均来自该视频，图注末尾标出对应画面在视频中的时间区间。
1982 年，韩国只有一家财阀自己生产半导体。1983 年，三星宣布进入 DRAM，当时它的技术落后前沿约五年。三年后，差距缩到一年；到 1995–1996 年，韩国厂商合计拿下全球约 30% 的存储...
EUV 光罩为什么要变大：High NA 的半场问题与 6×12 英寸光罩生态
前置阅读：硅谷为何渴求算力：从 Agent 需求到 2027 年供给周期 · SK 海力士与 HBM 革命：从濒临破产的 DRAM 厂到 AI 存储的关键供应商
本文基于 Asianometry 的视频《EUV Photomasks Are Getting Bigger》整理（2026-10-01 发布，17 分 14 秒），路线图和技术细节按 ASML、TSMC、Intel、AGC、家登的公告和研究文献核对过。文中截图均来自该视频，图注末尾标出对应画面在视频中的时间区间。
2026 年 9 月，TSMC 和 ASML 联合宣布：半导体行业将转向 6×12 英寸的大尺寸光罩，目标是 2031 年建立试产线，2033 年进入 High NA EUV 的先进节点量产 [2]。
...
Lintel 征服 UNIX：Intel、微软与 Linux 如何拆掉垂直整合的服务器王国
前置阅读：Intel 傲腾：从 3D XPoint 到持久内存
本文基于 Asianometry 的视频《The Lintel Conquest of UNIX》整理（2026-10-25 发布，42 分 35 秒），并按视频引用的原始报道、新闻稿和公开文献补充了细节。文中截图均来自该视频，图注末尾标注了对应画面在视频中的时间区间。
1990 年代初，要买一台能干重活的服务器，答案几乎只有一个：一台装着 UNIX、跑在 RISC 芯片上的专有整机。Sun 的 SPARC 配 Solaris、IBM 的 POWER 配 AIX、惠普的 PA-RISC 配 HP-UX，每一套都是软硬件打包出售的封闭体系，动辄数十万美元，买进去就很难再换出来。
到了 2000 年代中期，同类负载...
从 CMP 170HX 到 GeForce：GPU 算力解锁是怎样发生的
前置阅读：顺着 FlashAttention 看 SM120 的实现 · MXFP8 与 SM120：硬件支持之后，软件还缺什么
项目状态核对于 2026-10-27。性能数据来自论文和项目报告，本文未在硬件上复测。
NVIDIA CMP 170HX 是一张矿卡，用的是和 A100 同款的 GA100 芯片，但出厂时 FP32 只有几百 GFLOPS，显存只开放 10 GB，PCIe 锁在 Gen1。有研究者纯靠软件把它恢复到约 12.2 TFLOPS，打开了板上实际存在的 80 GB 显存，PCIe 也提到了 Gen2。[1]
有意思的是限制到底卡在哪一层。eFuse 在出厂时已经烧好，厂商固件有加密和签名，主机拿到 root 也改不了 GPU 的受保护寄存器。研究者的做...
Anthropic S-1 解读 收入增长背后的训练成本与算力承诺
前置阅读：硅谷为何渴求算力：从 Agent 需求到 2027 年供给周期 · 从 Yandex 到 Nebius：AI 云的生意
Anthropic 的招股书里，有两组看起来很矛盾的数字：
2026 年上半年净亏损 807.48 亿美元，
但第二季度已经实现 9.74 亿美元营业利润。[1][2]
那它到底是还在巨额烧钱，还是已经开始赚钱了？如果模型服务的毛利率已经做到 85% 左右，训练下一代模型的钱又记在了哪里？
共计 214 篇文章，27 页。