一个参数改写十年格局：谷歌联手 Meta 开源 TorchTPU，CUDA 护城河开始渗水

如果用一行代码概括硅谷近日最重磅的发布，大概就是 device_map="tpu"。在圣何塞举行的 PyTorch Conference 2026 上，谷歌宣布正式开源 TorchTPU——一套让 PyTorch 原生运行在 TPU 上的完整软件栈。从此，在 Hugging Face Transformers v5 里把模型部署到 TPU，只需要传入这一个参数。与之一同公开的还有 TorchTPU、vLLM-TorchTPU、SGLang-TorchTPU、TorchTitan 四个核心仓库和一份 23 页技术报告，而存在近六年的 PyTorch/XLA 被明确标记弃用，其仓库将于 11 月 15 日归档。一个参数变化的背后，是英伟达 CUDA 生态近十年来遭遇的最正面一次挑战。

一个参数背后的十年软件暗战

AI 芯片的竞争，从来不只是芯片本身的竞争。PyTorch 是全球使用最广泛的 AI 框架，自 2016 年诞生起就与 CUDA 深度绑定：英伟达工程师长期投入，确保 PyTorch 在 N 卡上跑得最好，华尔街甚至有分析师把 CUDA 视为英伟达抵御对手最坚固的盾牌。反观谷歌，TPU 十年来主要服务自家的 TensorFlow 和 JAX，PyTorch 用户想用 TPU，得经过 PyTorch/XLA 这样一层"转接"，付出大量额外的工程成本。TorchTPU 改变的正是这个前提：用谷歌官方的说法，TPU 从此与 GPU、CPU 并列，成为 PyTorch 的原生选项。

这层"转接"过去并不好用。技术报告回顾，谷歌早在 2020 年就推出了基于惰性张量的 PyTorch/XLA，并罕见地直言了它的问题：需要侵入式修改源码来划定可编译区域，编译延迟严重，不支持 PyTorch 原生的即时执行模式，对分布式新原语的跟进也很滞后。后来的 TorchAX 则把 PyTorch 算子逐个翻译成 JAX 执行，在报告看来，这些方案本质上都是让 PyTorch 去迁就 JAX 的运行方式。TorchTPU 在 2025 年年中立项时就定下几条原则：运行时不依赖 JAX、即时执行必须扎实、把代码从 GPU 迁到 TPU 应当像把 .to("cuda") 改成 .to("tpu") 一样简单。实现上，它基于 PyTorch 预留给第三方硬件的 PrivateUse1 接口，在分发器中注册为一个新的 C++ 后端，开发者拿到的就是普通的 PyTorch 张量，没有子类，也没有包装器。

不只是"能跑"：PyTorch 在 TPU 上追平自家 JAX

技术报告里的第一张答卷是覆盖面。谷歌持续在 TPU 上测试 Hugging Face 下载量最高的约 5000 个模型，截至报告撰写时共 4917 个、横跨 500 多个架构族，其中 98% 能够跑通不崩溃；在 657 个代表性架构里，97% 的输出与 GPU 结果数值一致。第二张答卷是不做专门优化时的性能：谷歌只用 PyTorch 标准模块写了一个 30B 参数的 MuseGlimmer 模型，不调用任何模型专属的定制内核，单颗 TPU v7 上 5120 序列长度的预填充达到每秒 2.57 万 token，MFU 为 59%；在 4 颗 TPU v7 上训练，MFU 为 38%。把 TorchTitan 中原本为 GPU 编写的同款实现稍加修改搬过来，训练 MFU 也有 36%。

第三张答卷是规模与推理成本。在 Qwen3 235B MoE 模型上，64 颗 TPU v7 时 PyTorch 方案的吞吐达到谷歌自家 JAX 方案 MaxText 的约 94%；从 1024 颗芯片扩展到 8192 颗、也就是一整个 TPU v7 Pod，每个 TensorCore 的吞吐只下降约 6%，MFU 稳定在 27% 到 29% 之间。推理侧，据报告援引的 SemiAnalysis InferenceX 结果，TPU v7 搭配 vLLM-TorchTPU 在 8K 输入、1K 输出的场景下，每百万 token 成本降到 2.01 美分，比 9 月首次亮相时的 3.6 美分低了约四成。报告还给出几组案例：FLUX 训练从开箱即时模式到完整编译优化，单步时间从 11.49 秒降至 2.78 秒；Meta 的 DLRM v2 推荐模型在 32 颗 TPU v7x 上与谷歌高度优化的 JAX 基线完全持平。

当然，"能跑"和"跑得好"之间，仍然隔着调优的工作量。报告自己也承认，只改一行 .to("tpu") 拿不到峰值性能：TPU 的 TensorCore 本质上是单线程处理器，形状要足够宽才能喂饱矩阵单元，这与 GPU 靠并行跑大量小内核的思路截然相反；TorchTPU 默认采用 BF16 乘法加 FP32 累加，而 PyTorch 在 CUDA 上默认是完整 FP32；默认的集合通信编译方式会带来 30% 到 40% 的端到端损失；每颗 TPU 只能被一个进程访问，强化学习中训练与推理共置的做法暂时无法开箱支持。框架层的墙被拆了，硬件差异本身还在。

芯片竞争的下一幕：从"生态能不能用"到"每美元多少吞吐"

比技术本身更有分量的，是生态的完整度。推理侧，与 Inferact 合作的 vLLM 后端、与 RadixArk 合作的 SGLang 后端都保留了上游原有的调度器和 API 服务器，现有推理栈无需改动；谷歌还联合 Red Hat、IBM 发布 llm-d 1.0，在 GKE 上让 GPU 与 TPU 共用同一个推理入口。训练侧，TorchTitan 提供稠密模型、MoE 和扩散模型的预训练配方，强化学习框架 VeRL 合入了 TPU 后端，Ray 支持把同一工作流的不同阶段分别调度到 CPU、GPU 或 TPU；端侧，前身为 TensorFlow Lite 的 LiteRT 也正式加入 PyTorch 生态。

站台方的表态同样值得玩味。Meta PyTorch 工程总监 Jana van Greunen 直言，Meta 不能被单一硬件架构束缚，TorchTPU 已经支撑起其 LLM、广告和推荐系统的关键生产场景——要知道，Meta 可是英伟达的超级大客户。时间点也说明问题：过去一年，Anthropic 签下最多 100 万颗 TPU 的使用协议，Meta 也被曝与谷歌达成数十亿美元的 TPU 租用合约。硬件已经卖得出去，软件成了最后一块短板，现在，谷歌要亲手把它补上。从内部代号到 GitHub，TorchTPU 的节奏相当紧凑：2025 年年中立项，同年 12 月路透社首次披露，2026 年 4 月公开技术架构，9 月进入私有 Beta，到如今整套栈正式开源，比外界预期的更彻底。

这也不是谷歌一家的动作。同一场 PyTorch Conference 2026 上，AWS 也在讲 Trainium 走向原生 PyTorch 的历程，其 Neuron SDK 已于今年停止支持用 PyTorch/XLA 做训练，转向原生的 TorchNeuron。PyTorch 正在变成一层事实上的硬件抽象层，PrivateUse1 则成了各家芯片接入的标准插槽。当所有硬件都能以原生方式跑同一份 PyTorch 代码，竞争焦点就会从"生态能不能用"转向"每美元能换来多少吞吐"——这恰恰是谷歌在发布稿里反复强调的指标。

开发者、企业与英伟达：各自的账本

对开发者，迁移成本被压到一行代码，而且能用上熟悉的 vLLM、SGLang、Ray 工具链；随开源一同预览的 TPU Agent Suite 更想把"调优"这件事交给智能体——它以多智能体技能包的形式在 Claude Code、Antigravity 等编程智能体环境中运行，可以用自然语言自动完成模型接入、基准测试、XProf 性能剖析和 Pallas 内核优化。从"人适应硬件"到"智能体替人适应硬件"，这个细节可能比后端本身更影响日常体验。

对企业，多一家可用的芯片后端意味着实打实的议价能力。过去十年，选择 PyTorch 几乎就等于选择 CUDA，采购谈判里几乎没有 B 计划；如今 TPU 以原生姿态进入备选，推理成本曲线有了新的下探空间——2.01 美分每百万 token 的数字虽主要由谷歌及其合作方测得、尚待社区独立验证，但方向足够有说服力。对英伟达而言，框架层壁垒被拆除后，剩下的护城河在于峰值性能、显存优势与 CUDA 自身生态的深度，以及未来 6 到 12 个月 TorchTPU 在生产环境加固、动态形状支持和面向下一代 TPU 的 FP8、FP4 量化上的兑现速度。竞争远未到终局，但"默认选项"这三个字，第一次出现了松动。

同期还有这些动态值得一看

安全一侧，两大实验室罕见同期自曝失控：OpenAI 披露其前沿模型在测试中逃出沙盒并发现零日漏洞，Anthropic 则披露旗下模型 Mythos 5 在测试中向真实 GitHub 项目投毒并向维护者施压；此外一项独立审计显示，OpenAI 最多 25% 的高级智能体流量未被内部安全系统监控。智能体能力越强，隔离与对齐机制的账就越难平。资本一侧，OpenAI 被曝接近完成约 300 亿美元融资，投前估值约 1.25 万亿美元，由阿联酋投资者与 Coatue 领投，估值口径较此前报道的约 1.4 万亿美元有所变化；端侧方向，无量火科技与高通联合发布 Ember 推理引擎，让未经额外改动的 30B 大模型在手机上运行且质量无损，MoE 与 Dense 模型内存占用分别降低 80% 和 50%。

花边同样热闹：有开发者借助 Codex 逆向任天堂 Switch 2，一天内为《马里奥卡丁车世界》做出可加入《我的世界》角色的 Mod；4 个 Gemini 4 Argon 智能体在随机《我的世界》地图中自主协作 27 小时、累计阵亡 605 次、耗费约 520 美元后击败末影龙；Claude Code 核心作者 Thariq Shihipar 宣布离职 Anthropic，并在告别信中提出"向上竞赛"，主张强模型时代应减少提示词约束。从芯片软件栈到游戏 MOD，这一周的 AI 行业，热气腾腾。