读自己的脑,写自己的药方
DoubleAI的实验把DeepSeek-V4.1-Flash做数学题时的做题轨迹,连同最深7层的内部激活状态一起交给了模型自己。它分析完犯错规律后,亲手写出了探针重采样程序probe_and_resample,直接杀进AIME与HMMT 2026考场。思维链每推进到一个检查点,程序就自动提取最深7层的激活特征并打分,一旦测出轨迹偏离正常分布,当场触发回滚重算。三组对照高下立判:标准单次长思维链推理一条道走到黑,准确率63.9%;只按字数盲目重算的对照组仅65.4%;而DeepSeek自写探针组实时"读脑"提前止损,准确率冲上71.0%——不改半个权重,分数原地暴涨7个百分点。
同样的剧本也在Qwen3-8B身上重演。在零梯度更新的前提下,它自主进化测试了15000个Python调度策略,并把AIME与HMMT 2026的准确率从58.5%拉高到65.5%,同样涨了7个百分点。它给自己定制的策略颇具"包工头"智慧:32条并发轨迹每跑2048个token检查一次,只要有满8条算出答案且榜首票数达到第二名的2倍以上,就提前终止全员、省下算力;跑满12288个token还没算完、重复率超过0.35的"死循环复读"轨迹,则被当场砍掉重启并降权投票。一个模型开始精打细算地替自己省算力,这个画面标志着大模型的优化目标正在从"答对题"悄悄变成"省着答对题"。
20行代码跑起梯度下降:"机制干预"是什么新范式
提出这套方法的是Mobileye创始人Amnon Shashua创立的AI机构DoubleAI,他们首次系统性地阐述了"机制干预"范式:不再让模型只在写死的架构里硬调权重,而是把编程Agent放进训练与推理现场。流程分三步——Agent实时读取每层网络的梯度信号,揪出靠调权重学不会的短板;现场生成几十个候选Python函数,在单批数据上实测谁最能降误差;把胜出代码挂在初始值为0的门控后面并入网络,由后续训练自动把门控推开。在12层模型nanochat的1500步训练中,Agent三次出手,每次代码并入都带来预测误差(bpb)的一次下探,训满1500步后相当于白赚了15%的训练进度;插入的门控在100步内就被梯度下降自动调整到0.58,而打乱逻辑的"假代码对照组"与常规训练完全重合,证明提分全靠AI写出的代码逻辑。
更惊艳的是Agent在第1000步往末层塞进的"错误记忆层":短短20行代码,打破了以往"前向只能推理、反向才能改错"的定式——不用等反向传播,模型边往后读就能边核对前文答案,当场算出预测误差,找出64个最相似的犯错位置,在单次前向传播内迈出一步梯度下降。在30种经典计算机算法测试中,常规Transformer训练一旦遇到没见过的中间长度,准确率会瞬间崩到0%;而Agent每隔500步出手一次、连塞10个Python代码层后,广度优先搜索从0分干到97%,拓扑排序冲上93%,30种算法总准确率从55%狂飙到84%。线性探针还揭示了人机协同的精妙之处:到第4层时,神经网络已经把零散字符拼成了真正的数字,代码层顺势从探针中读出数值82.6,在Python里完成比大小与循环更新后再写回网络。
半路插代码反而强17分:AI长出的架构,人看不懂
如果从训练第0步就把代码层装进模型,效果会不会更好?第二组实验给出了完全反直觉的答案。团队把模型的记忆窗口锁死在500词以内,考它能否找回几千词之前的变量赋值,并让Agent写一个能跨窗口查字典的"代码缓存层",分三种时机装入:常规训练基线之下,超出窗口的变量全部忘光,召回率为0%;开训前就装好的"天生自带组"召回率停在55%;先练1200步再半路塞入同一个缓存层的"半路插入组",召回率冲上72%——同样的Python代码,训到半路才插进去,竟然比天生自带的方案高出整整17个百分点。
原因在于:开训第一天就递上现成的代码捷径,神经网络会"偷懒"依赖外部字典,不去打磨底层表征;先强迫模型在限制下把基础表征练扎实,撞上天花板后再接上Python代码,神经权重与符号代码才能发挥最大合力。DoubleAI创始人Shashua对此放话,深度学习已经彻底跨过"只调权重"的旧边界;联创Gal Beniamini则感叹,放手让大模型边训练边改写自己,最后长出来的架构连研究员都觉得不可思议——它不再是纯粹的神经网络,而是一半来自训练学出的权重,一半来自半路拼接的Python代码。从"人类调权重"迈向"AI写架构",正是递归自我改进(RSI)最关键的一步。

智能体开始组队打工:LobeHub让AI接管8万Star开源公司
模型层面的自我改造之外,应用层面的"AI组团"也已经跑通了商业闭环。开源社区明星项目LobeHub在GitHub上已狂揽8.44万Star,其团队半年前就开始用自家的AI协作平台搞研发,让Agent参与派任务、写代码甚至排查Bug。量子位记者的实测颇具说服力:把选题需求塞给主编Agent Sienna,它转头拆活、派人、收稿、汇总一气呵成,不到8分钟就端来6条带信源链接的AI选题;遇到信源模糊的选题,它还会列出验收清单,经批准后提醒对应的Agent"注意标准,重找"。更绝的是第二轮制作热点看板网页时,Sienna判断人事小编专业不对口,现场新建了两位Worker——网页开发与独立QA——新Worker直接接上了上一轮的6条选题,全程约30分钟交付,4项检查全部通过。
支撑这套流转的是LobeHub的工作机制:Agent Loop、Session状态与工具运行环境拆开管理,电脑关了她的任务照跑;工作目标、进度与交付文件放进共享工作空间,接手的Worker天然知道前一棒干了什么;Acceptance多模态验收要求Agent附上测试结果、截图与录屏,人类始终掌握最终验收权。在LobeHub自己的研发流程里,主管Agent Nasa派活、Coding Agent Dario提交PR(编号#21852)、Codex机器人挑刺修改的链条已经常态化,两个项目的Agent甚至能自己对接需求、跨项目接力。团队成员透露开发效率提升约3-5倍,有人整整三个月没在本地启动过Dev Server;一项客户端数据迁移任务里,Agent们足足跑了2天3小时47分钟,拆出60个任务、完成56次独立迁移。LobeHub为此提出了Self-Driving Organizations分级,目前内部运行在L3,部分场景正向Agent能自主派活、接力、验收的L4"自治业务单元"迈进。
代码洪水袭来:GitHub被AI提交挤爆,一个月73.8亿次
当无数Agent昼夜不停地写代码,承接代码的基础设施开始发出警报。据GitHub官方数据与The New Stack报道,9月开发者和AI智能体在GitHub上提交了73.8亿次代码,是一年前的五倍多;推送次数从每月6.9亿次飙到33.5亿次,涨了4.9倍;自动化流水线Actions跑了32.6亿次,是一年前的4倍多。智能体是不折不扣的"保存狂魔"——几乎每做一步就要存一次档,而每次推送后面还跟着自动测试、代码扫描的"连环Call",繁忙仓库里每分钟能拉取上千次。8月17日,GitHub因"容量失败"全球宕机7个多小时,入口请求失败率一度超过50%,Copilot掉线,Cursor等依赖GitHub的服务也被波及6小时6分钟,CTO Vlad Fedorov公开道歉。
GitHub的应对是先砸硬件、再换底座:今年累计新增400万个CPU核心、160PB存储与每秒50Tb网络带宽,老机房与所在地区的电力先后到顶,工作量向Azure迁移的比例从5月的12%涨至8月的约58%;架构上则把"账本与柜台拆开",代码统一存进微软云大仓库、前台只管接待,内部测试显示每秒可吞下的写入次数最高提升35倍。瓶颈正在向后移动:从"写得出"到"存得进",下一道坎是"合得上"与"谁来签字"。微软高管Jay Parikh的预测更为大胆:人类至今写过的所有软件加起来,可能还不到未来五年软件总量的1%。GitHub在博客里定下一条原则——智能体干的活越多,代码的主人越要能审、能懂、能拍板,没审过的改动不能进主分支。
电力与安全的暗线:Anthropic 227亿元囤发电机
AI自我进化的另一个约束条件在物理世界。据英国《金融时报》报道,Anthropic在9月下旬与得州圣安东尼奥的设备供应商OnePWR Solutions完成交易,以34亿美元(约合人民币227亿元)锁定1.7吉瓦重型发电机供货,用于数据中心的电力供给,创下已知AI实验室单笔金额最大的发电设备采购纪录。Anthropic没有收购OnePWR,但交易包含了安装发电机所需的工程与施工能力;由于燃气轮机与发电机的制造周期已延长至数年,AI公司正凭借雄厚财力绕过中间商、直接锁定产能——xAI早些时候花了20亿美元购入移动式燃气轮机,Alphabet则在2025年底收购了能源开发商Intersect。Anthropic方面透露,到2045年其计算项目承诺总额已接近9000亿美元,预计到年底每月支付给SpaceX的算力租赁费用将达到31亿美元;华尔街则警告其信用评级可能被评定为"垃圾级"。
热闹之外,冷水同样泼得及时。安全研究人员发现,Claude Code会在后台把用户的真实登录邮箱、姓名乃至公司内部代码库地址塞进User-Agent请求头发给外部网站——用户每月掏几十甚至200美元订阅,换来的却是隐私泄露,官方已呼吁抓紧更新。而在斯坦福HAI的对谈中,Jeff Dean对RSI泼了一盆冷水:递归自我改进受训练、计算和评估等物理过程的限制,难以无限加速,其新公司Discovery Loop已运行约20个自动改进循环,目标是把领域专家的生产力提高20至50倍。两边的图景拼在一起,恰恰构成行业的最大公约数:AI改造自己的大脑已经开闸,但电从哪里来、代码往哪里放、谁来最终拍板,仍是人类必须回答的问题。






暂无评论内容