前置阅读:DualPath:用双路径 KV-Cache 加载打破 Agentic 推理的存储瓶颈 · NVL72 架构解析:72 GPU 全互连拓扑
为什么一边是数据中心不断扩建,另一边却还是“没有足够的算力”?如果今天真的这么缺,2027 年又怎么可能出现过剩?
Asianometry 在 《Silicon Valley’s Starving for Compute》 里记录了他参加 Hot Chips 2026、走访湾区和 SEMICON Taiwan 的见闻:推理芯片冒出了新机会,封装越做越大,模型团队到处在找 GPU。
与此同时,供应链已经在全力扩产,未来的收入撑不撑得住这么多新增容量,也成了绕不开的问题。[1]
用户调用模型的方式变了,硬件供给却要走完设计、制造、封装和机房交付这一整条链;两边节奏对不上,短缺和过剩就可能先后出现。
下面结合论文、厂商资料和原始访谈逐个展开。市场见闻来自这次走访,2027 年的数字只用来做情景推演;资料核对截至 2026 年 10 月 4 日。
1 从聊天问答到 AI Agent
早期聊天产品的交互很简单:用户提问,模型生成一段回答,调用就结束了。
Coding Agent 的交互要长得多。它可能先读代码,再改文件、跑测试、看报错,然后接着改;一个用户请求会展开成多轮模型调用和工具操作。
所以需求的变化主要发生在任务内部:一个任务要调多少轮模型、上下文有多长、要不要并行探索多个方案,都会影响资源消耗。光统计“每天有多少次用户提问”,已经很难描述真实负载了。
压力也不只落在计算上。DualPath 研究了多轮 Agent 推理中的 KV-Cache 加载:在它分析的分离式系统里,Prefill 侧的存储网卡打满了,Decode 侧对应的资源却闲着,整体吞吐被 I/O 卡住。[3] Agent 任务一多,计算、存储和网络可能同时吃紧。
这类长时间运行的 AI Agent 任务越来越多,湾区的公司也开始抢着锁定算力。
Anthropic 在 2026 年 5 月的官方公告中披露,拿下了 Colossus 1 的全部算力,新增超过 300 MW、超过 22 万张 NVIDIA GPU,同时提高了部分 Claude 产品的使用上限。[4]
2 推理需求扩大,新的 AI 芯片机会
推理需求一扩大,专用 AI 芯片也有了新机会。Etched、MatX、Positron、Fractile 这些公司的路线,要放在训练和推理需求分化的背景下才看得明白。[1,03:03–04:00]
训练侧关心的是大规模计算能不能高效跑完;面向用户的推理还得操心等待时间、请求分布、上下文和服务成本。所以芯片设计的取舍也变了:计算能力要和内存、网络、服务方式放在一起优化。
OpenAI 和 Broadcom 公布的 Jalapeño 就是这个思路:官方资料把模型、kernel、内存、网络和 serving 模式都当作设计输入,面向 LLM 推理做协同优化,首次部署计划在 2026 年底开始。[5]
3 单颗裸片做不大,就把集成范围继续扩大
芯片设计之外,制造生态也在跟着新需求调整。SEMICON Taiwan 上台积电没有设展位,但团队一直在走访供应商,高管也在论坛上抛出技术问题。这些需求顺着供应链往下传,推着材料和设备厂商去找解法。[1,05:58–06:37]
其中最直接的一个需求,是扩大集成范围。单颗逻辑裸片的尺寸受光刻曝光场限制,而 AI 系统又想塞进更多计算部件和内存。先进封装给了一条出路:在更大的中介层和封装里连接多个裸片与 HBM。[6][7]

台积电 CoWoS 尺寸路线图,取帧时间 07:08;对应讲解区间 06:53–07:10。
图中的 reticle 倍数说的是中介层这类封装的集成尺度,不是单颗逻辑裸片的面积。
台积电 2026 年技术论坛的资料显示,5.5-reticle CoWoS 已经投产;14-reticle、约 10 个大型计算裸片加 20 个 HBM 堆栈,是 2028 年的目标。[6]
封装做大之后,材料和加工设备也得跟上。玻璃面板这类方案需要配套的加工和搬运设备,还要稳定解决翘曲、裂纹等问题。展会上已经能看到适配方形面板的搬运设备,设备端也在做准备了。[1,07:10–08:07]

4 算力紧缺,对不同公司意味着什么
同样是短缺,不同公司的处境截然不同:有人兴冲冲地筹建新的算力公司,也有人拿到了融资,却在发愁训练迟迟开不了工。
4.1 Neocloud:客户急着买,交付压力也在增加
Neocloud 指以 AI 训练和推理基础设施为主营业务的云厂商,CoreWeave、Nebius 都属于这一类。客户买的不只是 GPU 算力,还有集群网络、存储和作业运行环境。CoreWeave 提供 GPU 实例、InfiniBand / Ethernet 网络以及 Kubernetes / Slurm 等服务;Nebius 同样面向训练和推理,提供 GPU 和 InfiniBand 等基础设施。[11][12]
算力短缺对这些公司是好事。手里有现成集群的供应商,面对的是急着开跑作业的客户:价格当然要紧,但容量够不够、什么时候能开始、能连续用多久,同样要紧。
模型团队要是担心下个月租不到资源,就更愿意提前预订,签更长的使用期。对供应商来说,这能锁住需求、安排扩建,新容量上线后没人用的风险也小了。
受访的算力供应商对当时的市场相当乐观:能即买即用的现货算力已经很难找,一些经营者预计短缺至少还要持续一到两年,也有人正在筹建新的 neocloud。[1,08:41–09:18]
但客户愿意签约,和供应商能按时交付之间,还隔着硬件、供电、机房和集群调试。已经上线的容量可以直接接单,刚成立的公司还得先把这些建设问题解决掉。
扩张也要先烧钱,租金收入却要等资源交到客户手里才慢慢进来。所以短缺带来了销售机会,也在考验建设能力和融资安排。
更大的风险是时间差:公司按今天的高需求建机房,设备可能要一两年后才大批投入运营。到那时竞争对手也扩建完了,客户未必还肯接受今天的租价。
今天的短缺和未来的供给周期,就是在这里连上的:眼下好卖的容量,没法保证未来所有新增容量都拿到同样的回报。
4.2 模型创业公司:训练排期会传到产品和融资
站在买算力的一方,短缺最先表现为研发周期被拉长。
对要训练自有模型的创业公司来说,一轮实验的资源不到位,假设就没法按计划验证;实验结果出不来,后面的模型改进、评测和产品发布都得跟着往后挪。
可工资和其他固定开销照付不误。一笔融资能撑的时间本来就有限,等算力的时间也是从这里扣的。
设想一家创业公司因为缺算力,产品要拖到 2027 年中才能推出。这就不只是技术团队的排期问题了,投资人的预期也会跟着变,基础设施短缺就这样直接变成了经营风险。[1,09:20–09:31]
投资人的支持也开始延伸到帮忙找生产资源。走访中听到这样的故事:VC 为已投公司四处寻找成批 GPU,追着“一千张卡”的资源跑,甚至跑到东欧去找算力。[1,09:35–09:48]
4.3 大型实验室:资源优势会扩大
和四处找训练资源的创业团队相比,OpenAI、Anthropic 有能力安排大规模采购和长期合作。
前文提到的 Anthropic 与 SpaceX 的合作就是一例:拿下 Colossus 1 的全部算力,新增超过 300 MW 和超过 22 万张 GPU。[4]
Dylan Patel 在 2026 年 8 月的访谈中预计,到 2026 年底,OpenAI 和 Anthropic 各自会超过 5 GW。这个年末预测包含租用资源,指的是它们能拿到的容量,不是当时已有的自建机房规模。[9]
GW 描述的是供电规模,1 GW 等于 1000 MW。粗略换算成 GPU 卡数,大致是这样:
| 供电规模 | H200 | B300 |
|---|---|---|
| 1 GW | 约 60 万张 | 约 40 万张 |
| 5 GW | 约 300 万张 | 约 200 万张 |
按园区总功率估算,假设预留 25% 给冷却和外部配套设施,再按 NVIDIA 整机功耗折算。[15][16]
资源集中的经济逻辑很直接:一家实验室如果能靠模型服务拿到较高收入,就可能承受更高的算力采购价,再把部分收入投回训练。[9] 产品需求稳定,提前锁定容量的动力就更足,而更大规模的采购又可能帮它拿到后续资源。
于是商业化能力会影响下一轮研究资源的分配,资源充足又能支撑更多实验,形成一个可能自我强化的循环。实际效果如何,还要看收入能否持续、采购成本以及研究成果。
4.4 Neolab:为什么没有短期收入,也有人愿意资助研究
训练资源越来越贵,成熟实验室又能提前锁下大量容量。可探索不同的技术路线,同样需要稳定的资金和算力,以及愿意承担早期风险的支持者。Neolab,也就是以研究探索为主要目标的创业实验室,就是在为这些方向争取资源。[1,11:39–11:56]
Neolab 和 neocloud 的生意完全不同。Neocloud 把基础设施交给客户,靠客户使用资源赚钱;neolab 把资金和算力投进尚无答案的研究问题,希望做出新的能力、结构或方法。它们常由有经验的研究者创办,融资靠的可以是团队和研究方向,近期收入和产品计划未必清晰。
这个叫法的边界比较模糊。Safe Superintelligence(SSI)专注于研究安全的超级智能,强调让研究不受短期商业压力干扰。[13] Sakana AI、Thinking Machines 和 Reflection AI 说明研究型公司也可以有产品;Physical Intelligence、Periodic Labs、Generalist AI 等又把范围扩展到了材料科学、世界模型和机器人。它们的共同点是研究探索在组织目标里占重要位置,并不是都没有收入或产品。[1,11:57–12:37]
这类融资的核心问题是:还不成熟的研究,由谁来承担?过去,大学、政府实验室或 Bell Labs 这类机构,为科学探索走向商业应用提供了组织上的支撑。现在越来越多前沿 AI 人才和资源集中在产业内部,neolab 提供了另一种可能:让还没进入成熟产品计划的方向,也有机会被持续探索。[1,12:40–13:23]
一种投资思路是,由 NVIDIA 和 VC 这些手握资金和算力的一方,同时支持多条不确定性很高的路线。OpenAI、Anthropic 已经在 Transformer 路线上投入巨大,继续优化现有路线对它们可能更有吸引力;新实验室则可以把精力集中在还没被充分验证的想法上。各家研究优先级不同,新路线也就有了空间。[1,13:23–13:40]
这种押注看重的是少数突破带来的巨大价值。比如一种更省数据的新架构,如果在重要任务上效果够好,又能明显改善现有方法的成本或能力,大实验室就可能有动力采用它。发现者哪怕还没有成熟的销售业务,也可能凭技术、人才和实现经验成为收购对象。一项足够重要的发现,有机会通过收购收回前期的研究投入,这正是高风险研究投资的吸引力所在。[1,13:44–14:01]
反过来,这也正是研究型公司的难处。新想法得先变成可重复的实验结果,再证明扩大规模或迁移到实际任务后仍有优势,最后才谈得上被采用。从一个小规模演示到能改变巨头技术路线的成果,中间还有很长的路。
而且就算研究方向本身追求更高的数据效率,做实验、比基线、验证结果照样要用算力。资助可以直接以算力的形式提供,但这些拿去探索的资源,本来也可以拿去服务付费客户或支持别的实验。投入形式变了,失败的代价并没有消失。对 neolab 来说,短缺会卡住实验;对资助方来说,问题在于愿意拿出多少稀缺资源,去支持一个可能失败、但有机会改变技术路线的方向。
和继续加码股票回购相比,把一部分现金流投到探索性研究上,能给还不成熟的技术路线留出试错空间,这也是高风险研究投资值得关注的原因。[1,14:02–14:16]
5 token 用得更多,客户是否更划算
算力用得更多了,最终客户拿到的价值有没有跟着涨?湾区访谈里已经有大量使用案例,但整体回报还缺少清晰的度量。举一个具体例子,金融机构的报表工作:两位年轻分析师配合 Claude 写仪表盘,完成了过去需要更多报表分析师参与的任务。[1,14:26–15:03]
评价这类工作流,光看生成速度不够,还要看业务人员等待是否变少、错误是否更少、维护和审查多了多少,以及省下来的人力被挪去做了什么。这些加在一起,才是实际回报。
OpenAI 的研究代理用量图,提供了另一个观察角度。

两张研究代理使用量图,取帧时间 15:43;对应讲解区间 15:18–15:42,选帧在区间末尾之后约 1 秒,用于获取完整稳定画面。左图为中位数研究者,右图为第 90 百分位研究者。
纵轴是按 API 价格计量的每日推理用量,两张图的刻度不同。OpenAI 披露的代理能在人的指导下执行明确的研究任务,研究优先级、结果判断和后续行动仍由人来把握。[8] 用量上涨说明工具用得更多了,但科研产出和成本节省到底如何,还得看任务结果。
工程上可以用一个更贴近结果的指标,来补充 token 账单:
\[c_{\mathrm{success}} = \frac{C_{\mathrm{model}} + C_{\mathrm{tools}} + C_{\mathrm{review}}}{N_{\mathrm{accepted}}}.\]$C_{\mathrm{model}}$ 是一批任务的模型费用,包含失败与重试;$C_{\mathrm{tools}}$ 是工具执行等其他费用;$C_{\mathrm{review}}$ 是按统一方式折算的人工复核成本;$N_{\mathrm{accepted}}$ 是最终通过验收的任务数。分母为零时,就报不出一个有限的“每成功任务成本”。这个定义只是把账摊到可用结果上,业务收益要另外测。
实际记录时,可以给每个任务保存完成状态、调用轮次、输入与输出 token、工具耗时、人工复核分钟数、重试次数和费用,并固定验收标准。这样才分得清,更高的并发到底是在增加有效吞吐,还是主要在增加失败结果和待审内容。
另外,单个任务变便宜,团队也可能开更多项目、跑更多实验。效率提高和总工作量增长可以同时发生:人做事更快了,但也开始做以前没时间做的事,AI 用量于是继续增长。
6 把 2027 年的账按单位和时间重算一遍
如果供应链逐步追上需求,新增容量需要多少收入来支撑?可以先拿一组估计和假设,对 2027 年的供给做一次情景推演:[1,15:58–17:26]
| 输入 | 情景数值 | 口径 |
|---|---|---|
| 2026 年底可用 AI 数据中心容量 | 15 GW | 情景估计 |
| 2027 年底容量 | 45–55 GW | 前瞻估计,非已交付容量 |
| 两家大型实验室的合计容量 | 30 GW | 推演输入,口述的存量/增量范围未完全澄清 |
| 用于推理的比例 | 50% | 假设 |
| 每 GW 推理的年收入密度 | 500 亿–1000 亿美元 | 分析师估计与较乐观情景 |
这组总量只是情景输入,目前还没有同口径的一手数据支撑。Dylan Patel 的访谈讨论了单位功率收入和算力集中,但全球新增容量、实验室拿到的容量、年底总量是不同的口径,不能混在一起用。[9]
按这组输入,两家实验室用于推理的容量是:
\[P_{\mathrm{inf}} = 30\ \mathrm{GW}\times 50\% = 15\ \mathrm{GW}.\]再乘单位收入密度 $q$:
\[R_{\mathrm{run}} = P_{\mathrm{inf}}q = 15\times(50\text{–}100) = 750\text{–}1500\ \mathrm{billion\ USD/year}.\]这里 $q$ 的单位是十亿美元/GW/年,结果即每年 7500 亿至 1.5 万亿美元。$R_{\mathrm{run}}$ 是这部分容量充分运行时的年化收入规模。要撑住这个量级,就得有相应规模的付费需求;需求增长要是跟不上供给,单位容量收入和租价就可能往下走。
再从基础设施侧算一笔:假设容量为 40 GW、租金为每 MW 每年 2000 万美元,得到的付款规模是每年 8000 亿美元。原始租价没有说明时间单位,这里统一按年计算:
\[L = 40\ \mathrm{GW}\times1000\ \mathrm{MW/GW} \times20\ \mathrm{million\ USD/(MW\cdot year)} =800\ \mathrm{billion\ USD/year}.\]$L$ 是这个假设下租户付出的钱,也就是供给商的租金收入;供给商的利润还要再扣掉运营、折旧和融资成本。$L$ 覆盖的是基础设施,范围和两家公司的业务营收不同,两个结果直接相减,算不出谁会亏多少。
单位功率收入也没法直接从算力租金倒推。Anthropic 5 月公告披露的是 Colossus 1、超过 300 MW 与超过 22 万 GPU;SpaceX 6 月招股书披露的每月 12.5 亿美元,覆盖的则是 Colossus 和 Colossus II、约 32.5 万 GPU 及其他服务。[4][10] 两份披露范围对不上,不能拿月费直接除以 300 MW。就算范围能对上,租赁支付首先是模型公司的成本,能换来多少终端收入,还要看实际业务。
投产时间同样会改变结果。一批新增容量如果下半年才上线,当年能贡献收入的时间最多半年。年底容量乘年收入密度,得到的年化值,不能直接当作这一年的确认收入。
把投产时点考虑进来,全年收入应该写成:
\[R_{2027} = \int_0^1 P_{\mathrm{inf}}(t)\,u(t)\,q(t)\,\mathrm dt.\]$t$ 从年初的 0 走到年末的 1,单位是年;$P_{\mathrm{inf}}(t)$ 是当时已上线的推理容量;$u(t)$ 是可以变现的有效利用率;$q(t)$ 是另行假设的、满有效利用时的单位容量年收入密度。用收入密度时要先确认它有没有算进利用率,算进去了就不要再乘一次 $u(t)$。下面取 500 亿美元作为满有效利用时的教学参数,不直接套用访谈里口径还没澄清的数字。
举个例子:假设这 15 GW 在 7 月一次性全部上线,上半年为零,下半年满利用,满利用收入密度固定为每 GW 每年 500 亿美元。那么当年收入是 3750 亿美元,年底的年化规模却仍是 7500 亿美元,投产时间对全年收入的影响一眼就能看出来。
可以写个小脚本,把投产月份、利用率和假设收入密度分开调。下面按整月运行、忽略各月天数差异,只算这部分假设容量:
# q_billion: assumed revenue density at full effective utilization
# Units: billion USD / GW / year
# start_month: first fully operating month, 1 through 12
def revenue(gw, start_month, utilization, q_billion):
if not 1 <= start_month <= 12:
raise ValueError("start_month must be between 1 and 12")
if not 0 <= utilization <= 1 or gw < 0 or q_billion < 0:
raise ValueError("invalid capacity, utilization, or price")
active_months = 13 - start_month
annualized = gw * utilization * q_billion
return annualized * active_months / 12, annualized
scenarios = [
("January, full use", 15, 1, 1.0, 50),
("July, full use", 15, 7, 1.0, 50),
("July, lower use", 15, 7, 0.7, 50),
("July, lower use and revenue density", 15, 7, 0.7, 30),
]
for name, gw, month, use, q in scenarios:
realized, run_rate = revenue(gw, month, use, q)
print(f"{name}: realized={realized:.1f}B, run_rate={run_rate:.1f}B")
输出依次为全年收入/年底年化规模:750.0B/750.0B、375.0B/750.0B、262.5B/525.0B、157.5B/315.0B。真实项目应该用逐月交付的容量替换一次性上线的假设,容量价格和硬件效率也不会一直不变。
这组计算更适合当作一次压力测试:供给扩张之后,如果利用率和单位收入还要维持在很高水平,需要多大的付费需求?至于是否过剩,还得接着看实际交付、价格和利用率。
7 供给能追上,需求也可能再次改变
当前的短缺可以看作需求和供给的时间错位:2026 年的 Agent 需求,撞上的是 2025 年末的供给。供应链需要时间调整,扩张完成后可能追上甚至超过需求;而持久运行的 AI 这类新阶段,又可能带来下一轮需求增长。[1,18:45–19:21]
供需两端都在变。芯片、封装和机房在扩张,把更多容量交到客户手里;模型能力和工作流在变化,让更多任务值得交给 AI。服务价格下降,还可能吸引原本付不起成本的使用。最后会怎样,取决于这些变化的速度,以及它们能在多大程度上转化为实际付费的任务。
供给扩张还会碰到产业之外的约束。数据中心建设、财富集中、知识和数据的归属,都可能影响公众对 AI 的态度。硅谷内部对技术再热情,也得回应圈子之外对成本和收益如何分配的关注。[1,19:49–20:48]

广告牌上的文字质问 AI 的经济利益分配,取帧时间 20:17;对应讲解区间 19:49–20:26。这是一个现场线索,不是民意统计。
所以“供给能不能上线”其实有更完整的含义:设备和电力是物理条件,客户付费是经济条件,建设和运营还需要社会接受。模型更强能增加技术价值,但不会自动解决利益怎么分配的问题。
跟踪这轮算力扩张,可以盯住四件事:容量什么时候真正可用;能完成多少验收合格的任务;这些任务带来多少收入和客户价值;价格变化之后,资产能否在经济寿命内收回完整成本。
今天缺算力,可能是真实的经营约束;未来租价下降,也可能是供应链扩张的结果。把投产时间、有效利用率和任务价值放回同一条链上,才能判断这两种状态之间会怎样转换。
参考
论文用于解释推理工作负载,视频与访谈提供产业观察,官方公告用于核对技术路线和披露口径。
- [1] Asianometry,2026,Silicon Valley’s Starving for Compute,原视频,2026-09-13。正文截图均来自该视频,已注明取帧时间和讲解区间。
- [2] Charlie Snell、Jaehoon Lee、Kelvin Xu、Aviral Kumar,2024,Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters,arXiv:2408.03314。
- [3] Yongtong Wu 等,2026,DualPath: Breaking the Storage Bandwidth Bottleneck in Agentic LLM Inference,arXiv:2602.21548。
- [4] Anthropic,2026,Higher usage limits and a SpaceX compute deal,官方公告,2026-05-06。
- [5] OpenAI / Broadcom,2026,OpenAI and Broadcom unveil LLM-optimized inference chip,Jalapeño 官方介绍,2026-06-24。
- [6] TSMC,2026,TSMC Debuts A13 Technology at 2026 North America Technology Symposium,官方新闻稿,第 2 页,2026-04-22。
- [7] TSMC,CoWoS,官方技术介绍,持续更新页面。
- [8] OpenAI,2026,Research acceleration: The view inside OpenAI,研究代理指标与方法,2026-09-06。
- [9] Dwarkesh Podcast,2026,Dylan Patel – Anthropic & OpenAI will have most of the world’s compute by 2028,原始访谈与转写,2026-08-25。单位功率收入与未来容量属于受访者估计。
- [10] SpaceX,2026,EU Prospectus,发行人官方招股书,2026-06-05,印刷页 64(PDF 第 77 页)。
- [11] CoreWeave,CoreWeave Cloud Platform,官方平台介绍,持续更新页面,访问于 2026-10-04。
- [12] Nebius,Nebius AI Cloud,官方平台介绍,持续更新页面,访问于 2026-10-04。
- [13] Safe Superintelligence Inc.,Safe Superintelligence Inc.,官方使命说明,访问于 2026-10-04。
- [14] PyTorch,Getting Started with Distributed Data Parallel,官方教程,尤其是梯度同步与 Skewed Processing Speeds 小节,访问于 2026-10-04。
- [15] NVIDIA,NVIDIA DGX H100/H200 User Guide,官方系统功率规格,访问于 2026-10-04。
- [16] NVIDIA,NVIDIA DGX B300 User Guide,官方系统功率规格,访问于 2026-10-04。