1200万上下文与三倍推理提速同台:大模型开始拆掉成本墙

一个把上下文窗口直接推到一千二百万个词元的新模型,正在挑战大模型行业最根深蒂固的技术假设。Subquadratic公司推出的SubQ采用新的稀疏序列架构,在超长上下文场景中把速度和成本同时拉开差距;几乎与此同时,谷歌又为Gemma 4引入多词元预测推测解码,在不更换模型、不牺牲质量的前提下,将推理速度最高提升三倍。两条消息指向同一个变化:模型竞赛不再只是比谁参数更多、榜单分数更高,而是开始解决“能否装下真实工作、能否便宜地跑起来”这两个决定商业化成败的问题。

当企业把代码仓库、合同档案、客户记录、研究论文和视频资料交给模型时,传统上下文窗口很快就会成为瓶颈;而当模型被嵌入搜索、办公、客服和自动化流程后,每一次等待、每一笔推理费用都会被放大。超长上下文与高效解码并非孤立的技术展示,它们正在共同拆除大模型从演示走向基础设施的成本墙。

一千二百万词元,长上下文第一次逼近“整套知识库”

SubQ最醒目的数字是一千二百万词元上下文。按照公开信息,它采用不同于传统Transformer全量注意力的SSA架构,在一百万词元场景中速度可提升五十二点二倍,成本约为Claude Opus的百分之五。虽然这些指标仍需更多独立评测验证,但它代表的方向很明确:长上下文不能继续依赖粗暴扩张计算量,必须从架构层面降低序列长度带来的复杂度。

这类能力对企业应用的价值并不只是“能读更长的文章”。真正重要的是,模型可以一次性看到跨年度档案、完整项目历史、大型代码仓库以及多个业务系统导出的资料,从而减少切片、检索和摘要过程中丢失关系的风险。过去,检索增强生成需要把知识拆成大量碎片,再由系统猜测哪些碎片与问题有关;更长的上下文则让模型有机会在更完整的材料中建立联系。不过,窗口扩大并不等于理解能力等比例增长,信息定位、记忆衰减和错误引用仍是后续评估重点。

谷歌让Gemma 4快三倍,推理优化从“压缩模型”转向“改变出词方式”

谷歌为Gemma 4推出的多词元预测方案,则从另一端降低使用成本。传统自回归模型通常每一步只预测下一个词元,生成越长,串行等待越明显。多词元预测允许模型提出一段候选结果,再通过验证机制批量接受,从而减少逐字生成造成的延迟。公开信息称,该方案在不修改原模型权重、不降低输出质量的情况下,最高可实现三倍提速,并按Apache 2.0协议开放。

对本地部署者和中小团队来说,这种工程进展可能比再增加几个榜单百分点更实用。相同硬件可以服务更多请求,个人设备能以更流畅的速度运行模型,企业也可以在既有服务器上提升并发。更关键的是,它说明开源模型竞争正在形成新的评价体系:除了能力,还要比较首字延迟、持续输出速度、显存占用、能耗以及单位任务成本。一个略小但反应更快、部署更稳的模型,往往更容易进入真实产品。

用于大模型训练与推理的GPU服务器机房和云计算基础设施
超长上下文与推理提速最终都要落到GPU服务器、数据中心和云基础设施的成本账本上。

字节多模态模型提速,生成式AI开始争夺统一工作流

效率竞争还延伸到了多模态生成。字节跳动开源的Mamoda 2.5采用混合专家与扩散模型结合的架构,总参数规模约二百五十亿,但推理时只激活其中一部分参数,可同时覆盖文生图、文生视频和视频编辑等任务。公开材料给出的速度增幅最高达到九十五点九倍,能力目标则瞄准Sora、可灵等闭源产品。

统一模型的意义,在于减少创作流程里不断切换工具和格式的摩擦。广告团队可能从一句需求出发,先生成视觉概念,再延展为视频镜头,并在同一语义空间内完成修改;开发者也能用一套接口组织更多任务。但“全能”仍需接受一致性、可控性与稳定性的检验。速度数字很亮眼,真正决定采用率的却是人物和物体能否跨镜头保持一致、文字能否准确呈现,以及编辑指令能否被可靠执行。

Agent走向主动执行,入口从聊天框扩展到邮箱与代码仓库

模型底层提速的同时,应用层正在改变交互方式。Anthropic客户端中被发现的未发布主动助手Orbit,据称能够从Gmail、Slack、GitHub等工具提取信息,生成个性化工作简报。如果正式推出,它代表AI助手从“等人提问”走向“主动整理工作状态”:会议、代码变更、邮件和团队讨论不再需要用户逐个打开,模型会先完成汇总与优先级判断。

这种产品形态最难的部分并不是写摘要,而是权限治理与持续可信。助手需要访问多个高敏感系统,又必须知道哪些信息可以合并、哪些内容不能跨团队传播,还要让用户追溯每条结论来自哪里。主动性越强,误判的影响范围越大。企业因此需要精细授权、操作日志、来源引用和可撤销机制,否则节省下来的查阅时间,可能被一次错误执行造成的损失抵消。

开源协作层升温,多个智能体开始像团队一样分工

中国四人团队推出的Multica把关注点放在多个AI智能体的协作管理上。项目开源后获得大量开发者关注,目标是让人和多个智能体在同一环境中分工、共享状态并完成复杂任务。与单一聊天机器人相比,多智能体系统可以让不同角色分别负责检索、编码、测试、审阅和交付,但也会带来上下文重复、任务冲突和成本失控。

上海交通大学发布的SkVM则试图解决技能在不同模型、框架和环境之间运行不稳定的问题。通过提前编译、环境绑定和运行时优化,它希望把智能体的“技能”从脆弱提示词变成可迁移、可复用的执行单元。两项进展合在一起看,Agent生态正在补齐类似软件工程中的操作系统和中间件:模型负责理解与决策,协作层负责调度,技能运行层负责稳定执行。谁能建立通用接口和可观测标准,谁就可能掌握下一代应用的关键入口。

算力合同继续扩大,技术效率却比堆卡更重要

Anthropic与亚马逊签署长期云计算协议、锁定五吉瓦算力的消息,显示头部实验室仍在用巨额基础设施投入追逐更强模型。五吉瓦已经接近大型工业体系的用电量级,背后不仅是GPU采购,还包括电力接入、冷却、网络、土地和供应链的长期协调。算力由此从技术资源变成资本承诺,也把模型公司和云厂商更深地绑定在一起。

然而,SubQ和Gemma 4的案例提醒市场,堆叠硬件并不是唯一答案。能够把同一块GPU利用得更充分、把长序列复杂度降下来、把一次任务所需词元减少,可能创造比单纯扩建机房更可持续的优势。未来模型公司会同时沿两条路线竞争:一条追求训练规模和前沿能力,另一条追求推理效率与交付成本。真正强势的平台,需要让这两条路线在产品端汇合。

有趣应用与资本继续涌入,AI创作正在降低参与门槛

技术主线之外,一批更接近普通用户的产品也在快速生长。李飞飞联合创办的Astrocade获得五千六百万美元融资,平台允许用户用自然语言在几分钟内生成可玩的游戏,上线后已积累大量用户与游玩次数。Luma开放Uni 1.1图像模型接口,则把更低延迟、更低价格和文字渲染能力作为卖点。两者共同说明,生成式AI正在把过去需要专业团队完成的内容生产拆成大众可参与的交互过程。

社区里也出现了更轻松、甚至带点黑色幽默的用法:有人用AI创作四十二首“不读博”主题歌曲,在视频平台获得巨大播放量;开发者则给Claude Code制作一键中断和“施压”插件,用戏谑方式处理智能体卡住、敷衍或反复绕圈的问题。这些花边并非毫无意义,它们反映用户正在建立与AI相处的新语言。模型是否强大固然重要,但能否融入真实情绪、工作习惯和社区文化,同样决定一项技术会不会留下来。

下一阶段的胜负,不只看模型上限

从一千二百万词元上下文、三倍推理提速,到多模态统一生成、主动办公助手和多智能体协作,最新进展已经勾勒出一条清晰路线:AI系统正在从单次回答走向大规模读取、持续执行和跨工具协作。模型能力仍是地基,但成本、速度、权限、稳定性与可验证性正在成为新的决胜指标。

值得继续观察的,是这些亮眼数据能否在公开评测和真实负载下复现,以及企业是否愿意把核心资料与执行权限交给更主动的系统。对用户而言,最有价值的升级未必是模型“更像天才”,而是它能在更少等待、更低成本和更明确边界内,把复杂任务可靠地做完。大模型的下一场竞争,将发生在每一个不起眼的延迟、账单和工作流节点上。

© 版权声明
THE END
喜欢就支持一下吧
点赞10 分享
评论 抢沙发

请登录后发表评论

    暂无评论内容