GB300跑出6万并发智能体后，AI基础设施竞争开始按电力算账

英伟达 GB300 NVL72 在智能体推理基准上的成绩，把“AI 算力”这件事从每秒跑多少 token，进一步推到了每兆瓦能同时养活多少个智能体。AA-AgentPerf 给出的数据很直接：一兆瓦电力下，GB300 NVL72 可支撑约 6.14 万个并发智能体，是上一代 H200 的 20 倍；单块 GPU 可承载 57.5 个智能体，也远高于 H200 的 1.4 个。这个指标之所以刺眼，是因为它不再只衡量模型单次回答有多快，而是把真实 Agent 系统最痛的成本、并发和电力效率摆到了台面上。

与此同时，vLLM 推出 Semantic Router，Pinecone 强调让智能体直连企业数据，Together AI 获得大额融资并拿到算力承诺，博通也继续围绕定制 AI 芯片讲企业端故事。几条资讯拼在一起，行业正在形成一条更清晰的主线：前沿模型仍然重要，但下一阶段真正决定商业化速度的，是芯片、路由、数据访问、云基础设施和企业工作流能不能一起降本增效。

并发成了新指标

过去讨论大模型基础设施，行业更习惯看训练卡数量、峰值算力、显存容量和推理吞吐。它们当然重要，但对于 Agent 产品来说，用户真正感受到的往往不是一个模型跑分，而是成千上万个任务能不能同时稳定执行：写代码、查资料、调用工具、读取文档、提交审批、生成报告，每一个智能体都可能持续占用上下文、工具链和推理资源。

AA-AgentPerf 把指标换成“每兆瓦并发智能体数”，本质上是在提醒厂商：Agent 时代的瓶颈不是单点性能，而是系统级承载能力。一个企业如果把客服、研发、数据分析、办公自动化都接入智能体，成本压力会被放大到电力、机架、网络、缓存和调度层。GB300 NVL72 的意义，不只是新 GPU 更强，而是把算力采购从“买更快的卡”推向“买更高密度的智能体承载能力”。

机架级系统进入前台

GB300 NVL72 的亮点并不只在单块芯片。72 块 GPU 通过 NVLink 组成机架级整体，意味着厂商正在把推理平台做成更紧密的系统，而不是简单堆卡。Agent 任务通常包含较长上下文、多轮推理和工具调用，单个请求可能横跨多个步骤，系统如果在通信、调度和内存访问上有明显损耗，最终都会变成更高延迟和更高电费。

这也是为什么“每兆瓦并发智能体数”比单纯的芯片峰值更接近商业现实。推理基础设施已经像数据中心里的生产线：芯片负责算，互联负责搬，路由负责分配，软件栈负责把不同任务放到合适的位置。对于云服务商和 AI 应用公司来说，能不能用同样电力跑更多任务，直接关系到订阅价格、API 毛利和大客户交付能力。

路由层开始接管模型协作

硬件效率提升之外，vLLM Semantic Router 的出现说明软件层也在重写推理成本。传统 API 调用更像“把问题交给一个模型”，而 Semantic Router 试图把背后的模型选择、置信度判断、多模型协作和工作流编排交给路由层处理。用户表面上调用的是一个入口，实际系统可以根据任务难度、成本预算和质量要求，选择不同模型或组合策略。

这对企业尤其关键。很多场景并不需要每一步都调用最贵、最强的模型：简单分类可以用小模型，代码审阅可以交给专业模型，复杂推理再升级到前沿模型。路由层如果足够成熟，就能把“模型能力”拆成可调度资源。它和 GB300 这类硬件进展配合起来，构成了 Agent 成本优化的两条线：一条提高底层承载密度，一条减少不必要的高价推理。

企业数据成为第二战场

Pinecone 推出的 Nexus 知识引擎与 OneLake 集成，则把 Agent 落地的另一个核心问题拉了出来：智能体不能只会聊天，还要能安全、低成本地理解企业数据。传统 RAG 流程常常需要切分、嵌入、同步和维护索引，工程链路一长，成本和错误率都会上升。让智能体更直接地查询企业数据，目标就是减少中间环节，让业务系统里的真实信息更快进入决策流程。

这和 Agent Ontology、企业业务建模等讨论其实指向同一件事：企业 AI 的难点不是把模型接进系统，而是让模型理解对象、权限、关系、规则和动作边界。没有数据访问和业务规则，智能体只是一个回答器；有了可靠的数据层和工具层，它才可能成为执行者。也因此，基础设施竞争不只发生在 GPU 机房里，也发生在数据库、知识引擎、权限系统和业务流程里。

资本继续押注云和芯片

Together AI 完成大额融资并获得算力承诺，说明市场仍然愿意为推理基础设施下注。开源模型云租赁的逻辑很清楚：越来越多开发者和企业不想自己建设复杂 GPU 集群，却希望获得可控成本、灵活部署和多模型选择。只要 Agent 应用继续增长，底层云平台就会承接大量长尾需求，尤其是开发工具、内容生成、语音视频和企业自动化场景。

博通围绕定制 AI 芯片的布局也值得关注。通用 GPU 仍是主力，但当大客户的模型和流量足够稳定，定制芯片就有机会在成本、能耗和供应链上给出更优解。未来 AI 基础设施可能不会只有一种答案：前沿训练依赖最强集群，大规模推理依赖高密度机架，垂直场景可能走向定制芯片与专用加速器。谁能把这些资源打包成稳定服务，谁就更接近企业预算。

应用层会倒逼基础设施

AI 创作工具、科研工作台、代码智能体和办公自动化都在把基础设施往同一个方向推：更低延迟、更高并发、更细粒度调度、更可控成本。MVLAND 把多个视频模型放进创意画布，Claude Science 被用于服务器上的 RNA-seq 定量，Kimi 接入 Codex 的教程受到关注，这些案例看起来分散，却都说明用户正在把 AI 放进更长、更复杂的任务链。

任务链越长，基础设施越不能只靠“模型更强”解决问题。一次视频创作可能涉及素材管理、脚本、生成、剪辑和版本回退；一次科研分析可能涉及远程环境、依赖安装、队列任务和结果校验；一次代码任务可能涉及仓库理解、测试、修复和提交。每多一步，成本、错误和等待时间都会叠加。GB300、Semantic Router、企业数据集成和 AI 云融资的共同背景，就是这些真实工作流开始倒逼底座升级。

真正的竞争是单位任务成本

如果把这些资讯放在一张图里，最核心的变量不是谁发布了更大的模型，而是谁能把单位任务成本压下来。对用户来说，重要的是一个智能体能不能稳定完成任务；对企业来说，重要的是每完成一次任务到底花多少钱、耗多久、能否审计；对基础设施厂商来说，重要的是每兆瓦电力、每个机架、每块芯片能承载多少有效工作。

这也是 AI 行业从炫技走向产业化的必经阶段。模型发布会仍然会吸引注意力，但真正决定下一轮商业格局的，可能是那些不太性感却极其关键的指标：并发密度、路由效率、数据访问成本、工具调用稳定性、能源利用率和运维复杂度。GB300 的成绩只是一个信号，背后更大的变化是，Agent 时代的竞争正在从“谁更聪明”转向“谁能以更低成本持续干活”。

对于开发者和企业用户，这个变化意味着选型标准也要调整。评估 AI 服务时，不能只看模型榜单和单次回答质量，还要看并发策略、上下文成本、工具链生态、数据权限、安全审计和长期运维。AI 基础设施会越来越像云计算早期：先拼性能，再拼价格，最后拼稳定的系统能力。能把芯片、云、路由和业务数据连接起来的公司，才更可能在 Agent 普及后拿到真实订单。