每token只激活14B：百度开源文心5.5 Flash Base，开源基模竞争回到效率主线

每 token 只激活 14B：百度把开源基模的胜负手换成“效率”

11 月 5 日，百度文心系列新一代基座模型文心 5.5 Flash Base（ERNIE 5.5 Flash Base）正式开放权重。这是一个稀疏 MoE 语言模型，总参数量 280B，每 token 只激活 14B，在 33.5T tokens 上从零完成预训练，训练阶段最长上下文 128K，微调与推理阶段再外扩到 1M tokens。在旗舰模型拼命堆参数的当下，这个数字组合本身就是一种表态：百度这次把竞争主线押在了“效率”上。

官方给出的同级别对比里，文心 5.5 Flash Base 在知识、推理、数学、代码、多语言和长上下文等基准上整体领先，对手包括 DeepSeek-V4-Flash-Base、Hy3-preview-Base 和 MiMo-V2.5-Base。以 DeepSeek-V4-Flash-Base（284B 参数、13B 激活）为参照，文心新模型在代码能力上优势最大：HumanEval+ 为 82.3 对 69.5，LiveCodeBench 为 40.1 对 31.9，FullStackBench 为 54.6 对 43.3；不过在 ChineseSimpleQA 等少量评测上略有差距，长上下文六项基准则整体稳健。更值得注意的是，这次开放的是 Base 模型——预训练终点的权重相当于把能力成色直接交给社区检验，开发者可以在此基础上做领域适配、指令微调、强化学习乃至面向 Agent 的行为塑造，后续方向由自己决定。

长上下文的账怎么算：37 层压缩、6 层精读

Agent 开始连续执行任务之后，模型每一步的计算开销和长文本能力都会直接影响最终体验与成本。真正的瓶颈有两个：长上下文的 Pre-fill 开销，以及随上下文长度线性增长的 KV Cache 内存占用。文心 5.5 Flash Base 的架构设计基本是围绕这本账展开的。

百度的解法是混合稀疏注意力：43 层里有 37 层采用重度压缩注意力（HCA），每 128 个 token 压缩成一条缓存条目，只在压缩条目加最近一小段未压缩窗口上计算；另外 6 层保留对全上下文的 token 级访问，采用多头潜在注意力（MLA），负责逐页精读。为了让这 6 层不在长文本下吞掉大部分计算，百度又在 MLA 层引入稀疏注意力（DSA），用轻量 indexer 为每个 query 对历史位置打分，核心注意力只在 top-k 位置计算，单 query 开销不再随上下文增长，而预训练 loss 与稠密注意力持平。同等 KV cache 预算的对比显示，HCA 搭配 MLA 优于搭配压缩稀疏注意力（CSA）的做法。注意力层内还有两项改进：低秩门控注意力把门投影参数量减少了 75%，消融效果反而提升；虚拟头注意力（VHA）以带恒等跳连的轻量跨头低秩混合增强信息融合，相关论文已被 NeurIPS 2026 接收。

ECHO 与 Multi-Router：让主干自己学会规划未来

第三项核心创新换了个方向，指向模型该用什么目标学习。多 token 预测（MTP）通常是在主干 Transformer 之外挂一套专职模块预测更远的 token，多步损失主要监督外挂部分，主干各层仍然只为下一个 token 服务，长远规划能力并没有被直接训练。文心 5.5 Flash Base 的 ECHO 设计没有增加额外的 MTP 层，而是让主干自身的最后一层同时承担未来 token 预测，多步损失因此直接作用于生成当前 token 的参数，迫使主干提前规划序列的后续展开，在数学、推理与代码任务上取得明显收益。

这个设计还带来一个推理阶段的意外之喜：承担未来预测的主干最后一层可以直接充当投机解码的内置 draft 模型，几乎不增加额外参数；而且它表现出涌现的外推能力——预训练时只学了多预测 1 个 token，作为 draft 模型时却能连续向后起草多个 token，接受率高于用同样方式训练的外挂 MTP 模块。MoE 层则用 Multi-Router 解决“选择武断”问题：多个独立初始化的 sigmoid 路由器同时打分，专家只要被某一个强烈看好或被几个同时看好即可入选，单次误判不再决定结果，而激活专家数、FLOPs 与通信量和单路由器完全相同。配置上每个 MoE 块含 512 个路由专家、每次选 10 个，外加 1 个共享专家，负载均衡采用无辅助损失的 bias 修正。

模型之外：Harness 上云与图像生成进入“动图时代”

同一天，月之暗面的 Kimi Hosted Agents 正式发布，把支撑 Agent 运行的 Harness 作为云端服务提供：企业和开发者无需自行搭建代码执行环境、上下文与会话管理、工具调用、权限控制、任务中断恢复这套底座，即可获得 7×24 小时托管环境，支持长程任务执行与多智能体协作。服务提供独立沙箱、网络访问权限控制、执行留痕与审计导出，企业可随时中止会话；配套 140+ Skills 与 30+ 插件，首批还给出 8 个金融 Agent 模板，覆盖投研建模、深度研究、晨报生成、IPO 跟踪、持仓监控等任务。其独立安全组件 Kimi Inference Hook 还能在每次模型推理前检查任务输入与工具返回内容，把隐私和敏感数据拦截在推理之前。

多模态生产管线同样在提速。OpenAI 发布 Images 2.6，在 ChatGPT 里生成 GIF 后可以直接调整播放速度、编辑单独帧，参考图功能让连续创作沿用同一人物或角色；API 侧推出 GPT-Image-2.6 Flare 与 Sunburst 双模型，新增 complexity 参数与标记式编辑，并支持 SVG 矢量导出。OpenAI 披露，目前用户每周通过 ChatGPT、Codex 和 API 生成约 40 亿张图像，平均每天超过 5 亿张，较此前每周 30 亿张又增加约 10 亿张。从基座模型到运行框架再到创作工具，AI 竞争的战线正在同时拉长。

资本市场的另一面：同一天的纳指大跌与算力交付冷水

技术面的密集突破并没有阻挡资本市场的重新定价。11 月 5 日，纳斯达克大跌 5%，投资者在中期选举结果落地后从 AI 相关头寸撤退，机构正在根据新的政治与宏观环境重新评估 AI 敞口。这轮回调也让 Anthropic 的 IPO 前景承压——此前市场传闻其估值可能达到 1.5 万亿美元，但市场波动显然给这桩备受瞩目的上市增添了变数。

硬件交付端则是另一盆冷水。英伟达 RTX PRO 5500 的订单已经排起长队，但有报道称中国客户在 2026 年底前可能只有数千张到账，部分客户估计到 2027 年底累计拿到约 70 万张，也仅占订单量的 12%；英伟达还在优先把台积电产能留给利润更高的下一代 Rubin 芯片。算力、电力与交付节奏，正在成为比模型跑分更现实的约束条件。对从业者来说，这意味着选型时要把“能不能拿到卡”和“每 token 成本”放进同一张表里计算——像文心 5.5 Flash Base 这样把激活参数和 KV cache 预算压到极致的设计，恰好回应了这种现实压力。

花边与社区：从四十年生物学难题到员工的 AI 预算

硬新闻之外，本周还有不少值得玩味的消息。生物学领域，Anthropic 的 Claude 帮助研究人员确定了原核生物中“vault particle”的首个三维结构——这种奇特的蛋白质结构 1986 年就被发现，但功能始终成谜，新研究提示它的进化历史可能比此前认为的更古老。商业合作上，Anthropic 签下首个付费出版授权协议，让美联社的选举报道进入 Claude，在中期选举前为聊天机器人提供及时、可溯源的选举信息。

社区热议同样热闹：Together AI 发布 Together Compiler，用编码智能体随生产流量持续重写模型前向传播，吞吐最高提升至已有最佳配置的 2.6 倍；英伟达在 Hugging Face 开放 Cosmos 3 世界模拟模型权重，瞄准机器人、自动驾驶与游戏开发场景；AI 语音独角兽 ElevenLabs 被曝考虑 2028 年启动 IPO 筹备，估值已达 220 亿美元；国内方面，华为云盘古开源版本定档 11 月 15 日上线。还有一条打工人关心的消息：苹果被曝削减员工的 AI 使用预算，部分工程师的日均额度从 300 美元降到 200 美元，非工程团队甚至可能降到 25 美元，公司同时在鼓励更便宜的模型和端侧 AI。巨头都在给 AI 开支精打细算的今天，“效率”二字的分量，想必会比以往任何时候都更重。