AI可直接改写模型权重
摘要
研究显示,前沿大模型能直接读写神经网络权重,无需训练循环即可精准修改权重,使Qwen3.5-0.8B在MATH-500上的表现从7.9%提升至48.1%,IFEval提升3倍。
原文片段
先进AI模型已具备直接读写神经网络权重的能力,能精准修改权重来提升模型能力 研究表明,前沿大模型能够直接读取和写入神经网络权重,其能力已显著超出人类与传统算法的预期,这对模型优化与可解释性具有重要意义。 仅通过检查原始权重,GPT-6 Astra 即可判断出神经网络原本的训练任务。在没有任何环境反馈的前提下,它能从零编写出小型游戏对弈网络,其实际表现优于使用 PPO 算法训练 1 亿步的模型。在要求不借助梯度来提升 Qwen3.5-0.8B 的数学能力时,Astra 在权重中定位到了引发推理死循环的问题(该问题在 Qwen 的模型说明中亦有提示),并通过直接修改其中 0.016% 的权重完…
事件进展 共 3 条 ,最新在上
-
AI可直接改写模型权重
-
打砖块得分约为强化学习模型的20倍
MIT团队让GPT-6直接填写神经网络权重而无需训练,打砖块得分517.4,约为5亿步强化学习模型的20倍;修改Qwen3.5-0.8B权重后,数学正确率从7.9%升至48.1%,仅改动0.016%参数。
-
GPT-6直改模型权重提升数学
GPT-6 Astra仅修改Qwen3.5-0.8B约0.016%的参数,修复推理循环,MATH-500从7.9%升至48.1%,IFEval提升3倍,全程无需梯度或训练,研究者称为"权重空间编程"。