1.09亿参数反超720亿:LeCun新论文给Scaling Law上强度,训练方式比堆参数更本质

10月29日,一份挂在 arXiv 上的 37 页论文在周末的 AI 圈里完成了刷屏:图灵奖得主 Yann LeCun 与布朗大学助理教授 Randall Balestriero 合作的《Proving and Improving the Platonic Representation Hypothesis with JEPAs》,用一个仅 1.09 亿参数的文本 JEPA 模型,在跨模态表征对齐测试中压过了 Qwen2.5-72B、Llama-3-70B 这些 720 亿参数级别的模型,参数差距约 660 倍;同一套训练方法下,达到同样的对齐效果只需要 2160 万个训练样本,而"下一个词预测"路线要用 9 亿个。在巨头们连夜发布超大参数新模型的当口,这篇论文像一份迟到的反问:让 AI 理解世界,除了把模型做得更大、把数据喂得更多,还有没有更本质的杠杆?

两个数字刷屏:小模型赢的不是智商,是"对齐"

先看论文本身。这篇 37 页的论文要做的事情,是把两年前一个颇具哲学味的假说变成数学定理。2024 年,MIT 团队在 ICML 上提出"柏拉图表征假说"(Platonic Representation Hypothesis):随着规模和训练数据增长,在图像、文字等不同模态上分别训练的模型,内部表征会越来越像,仿佛都在逼近同一个"理念世界"的统计模型。假说只有经验曲线,没有证明,也没有给出可操作的路径,行业能做的似乎只有继续堆规模。

LeCun 和 Balestriero 把假说推进成了"柏拉图表征定理":在特定条件下,不同模态的 JEPA 模型即使各自独立训练,学到的表征之间也只相差一个旋转变换——视觉模型和语言模型可能只是用两套不同的坐标系描述同一个世界。真正让社区炸开的是实验数字:在 WIT-1024 基准与 DINOv2 视觉编码器的对齐测试中,1.09 亿参数的文本 JEPA 拿到 0.184,高于 Qwen2.5-72B 的 0.154 和 Llama-3-70B 的 0.151。研究者还把独立训练的视觉编码器和文本模型用一个线性变换连接起来,直接在 COCO 图像描述任务上拿到 0.838 的 CIDEr 分数,在不使用图文配对数据的零样本测试中也跑出了 64% 的 ImageNet-100 Top-5 准确率。

"下一个词预测"为什么被划进 Bad Views

论文最富争议的一步,是把当前大模型最主流的"下一个词预测"(Next-Token Prediction)归入了 JEPA 框架下的 Bad Views。研究团队的逻辑很直白:预测下一个词,本质上是让模型从同一篇文档的前缀和后继内容中学习,模型不得不花大量表征容量去处理措辞、语法这些单一模态特有的细节;而 Good Views 的做法,是让模型学习同一场景的不同观察——两张照片、两段描述同一场景的文字,从而直接抓住不同观察背后共享的世界信息。

两种训练方式的差距在实验中非常扎眼:在相同的 1.09 亿参数编码器和训练语料下,Good Views 训练只用 2160 万个样本,就达到了"下一个词预测"用 9 亿个样本才达到的跨模态对齐水平,样本效率相差约 42 倍,即便按实际读取的文本 Token 计算也降到约 1/14。实验规模从 14.5 万条图文描述一直扩展到约 9.4 亿张网页图片对应的文本。LeCun 本人在 X 上补充解释:大语言模型积累了大量陈述性知识,这正是它们能回答海量问题、也需要如此多参数和内存的原因,而"理解"有机会替代一部分"知识积累"——这正是 JEPA 世界模型想走的路。

赢在对齐,不是全能:这份研究该怎么读

刷屏式标题容易夸大其词,论文的边界必须说清楚。其一,"1.09 亿超过 720 亿"比的是跨模态表征对齐这一特定指标,分数高低只表示两个模型的内部表征结构是否接近,并不意味着 JEPA 在数学推理、代码生成、知识问答等通用能力上超越了 72B 级大模型。其二,论文的数学证明依赖有限世界、可逆观测等理想化假设,现实实验尚未完全满足全部条件,"变成定理"是在特定框架下成立的。其三,对齐能力距离可商用的模型能力还有工程距离,一次旋转变换能做出 0.838 CIDEr 的演示,不等于端到端产品就此成立。

但业内的反响说明它戳到了真问题。论文发布后进入 Hugging Face 当日热门论文榜,共同作者 Balestriero 亲自在评论区讲解结论;前 Google DeepMind 研究员 Shruti Mishra 直言"Yann LeCun 是对的,只是这个行业一直不愿承认"。66 岁的 LeCun 去年 11 月离开 Meta 创办 AMI Labs,今年 3 月完成约 10 亿美元融资,把世界模型作为核心方向——在拿到图灵奖、经历大厂十余年研究生涯之后,他选择从学习机制本身寻找下一次突破,而不是在规模赛道上加码。

世界模型路线升温:从"像牛顿一样思考"到产业押注

LeCun 的论文并非孤例。同一时间窗口里,清华姚期智团队提出"代数世界模型",尝试让 AI"像牛顿一样思考"——不再满足于从数据中拟合统计规律,而是迈向可推导的物理规律建模,从数据驱动走向结构驱动。西湖大学则成立了世界模型研究中心,把这条路线作为建制化的学术方向。再加上此前谷歌 DeepMind 的 Genie 4 用自然语言实时生成可探索的 3D 世界、英伟达为机器人视频数据标注开源引擎,"世界模型"正在从论文关键词变成一条有产业配套的赛道。

这背后的行业情绪很明确:当"堆参数、堆数据"的边际收益开始被公开讨论,当算力成本和电力约束越来越具体,研究界和产业界都需要回答"下一步靠什么"。有人选择继续加码规模,有人选择换训练目标,LeCun 这篇论文的价值在于给了后一条路线一个难得的理论支点——至少证明了一件事:模型学得不够好,可能不是模型不够大,而是一开始就没教对。

芯片电路板特写:训练范式成为模型效率新变量
电路板特写:当参数竞赛遭遇效率追问,训练范式正成为模型能力的新变量

落地侧同日加速:轩辕4.5进金融,MOSS-Live做实时交互

就在刷屏论文的同一天,垂直模型的落地也在提速。11月2日,度小满与香港科技大学、香港生成式人工智能研发中心(HKGAI)在 2026 香港金融科技周上联合发布轩辕4.5金融增强大模型。这是金融领域首个将自进化 RSI 技术用于模型训练及智能体场景目标适配的大模型,包含大语言模型和多模态模型两部分;官方披露的数据显示,其在获客、风控、客户经营等核心金融场景中效果提升约 30%,推理成本约为通用顶级模型的十分之一,并基于超过 1000 亿 Token 的场景增强数据训练。国产大模型的竞争,正在从"参数对标"进入"场景深水区"。

另一侧,实时交互成为新的落地热点。复旦 OpenMOSS 团队发布全双工实时交互系统 MOSS-Live,多项指标排名第一,把"像人一样随时打断、随时接话"的对话体验往前推了一步。相比旗舰模型的参数竞赛,这类系统的比拼点在延迟、节奏与工程稳定性——它们不追热搜,但可能最先决定普通用户对"AI 好不好用"的真实评价。

具身智能融资潮未退:数据基础设施成新焦点

资本市场对具身智能的热情仍在高位。11月2日,RoboScience 机器科学宣布完成 A2 轮数亿元融资,琥珀资本、鸿瑞达投资、上海半导体产投联合领投,360 战投等跟投。这家成立不足两年的公司由前苹果 AI 平台技术负责人田野与新加坡国立大学助理教授邵林联合创立,一年内完成了从 RoboMirage 仿真引擎、Visics 具身大模型到 REX G1 轮式仿人形机器人的全栈布局,并把单条数据获取成本压到 0.05 元。同一天官宣的还有简智机器人 1 亿美元的 A+ 轮融资,上汽、百度等产业资本在列——它做的不是机器人本体,而是具身智能的数据与评测基础设施,数据交付量已从单季度十万小时跃升至百万小时。

更早期的玩家也在拿到钱:四川具身科技完成超 1 亿元 Pre-A 轮,押注情感交互机器人"爱湫";法国初创 Bleu Robotics 拿到 500 万欧元 Pre-种子轮,做跨平台工业人形机器人 AI 软件。一个清晰的信号是:当本体厂商数量渐多,资本开始向"数据—评测—训练"的基础设施层集中,具身智能的竞争正在复刻大模型时代"卷应用之前先卷底座"的路径。

花边与信号:开源小玩意、2.3 万星和一次行业共识

社区热度同样不缺素材。小米开源了一款定价 150 元左右的 AI 小玩意,一块小屏幕配三个按键和一个摇杆,屏幕里的西高地小狗会忙、会愁、会庆祝,火到配件都涨了价;两位清北 00 后创始人做的 Hypit 上线 20 多天斩获 2.3 万 Star,目标直指 Adobe 和 CapCut 的腹地;卡帕西则用 Claude Code 加 Claude Opus 5.5,两小时搓出了基于 YouTube 与 Hacker News 推荐数据的 HackerTube,再次演示了"个人互联网入口"的可行性。这些项目单个看是趣闻,连起来看是开发者生态的活跃度仪表盘。

行业层面则出现一次难得的共识:OpenAI、谷歌、微软与 Anthropic 宣布共同支持一项写在 robots.txt 里的统一 AI 训练偏好信号"__usage_ai-training",网站发布方无需逐家配置,即可一次性向多家 AI 企业表达内容是否可用于模型训练。该机制源自 Anthropic 标准技术负责人 Kevin Kelley 向 IETF AIPREF 工作组提交的草案,Anthropic 已率先支持,OpenAI 计划未来数月内实现,谷歌与微软预计 2027 年落地。它不约束爬虫访问、不影响搜索收录,却可能成为内容方与模型方之间第一份"通用语言"——在训练数据越来越金贵的当下,这份默契比任何单点新闻都更值得长期观察。

© 版权声明
THE END
喜欢就支持一下吧
点赞11 分享
评论 抢沙发

请登录后发表评论

    暂无评论内容