不用训练!Opus 5.5直接手写Transformer权重,13类任务全拿100%
将文章核心主题、阅读路径与关联内容进行更清晰的组织,帮助用户以更流畅的节奏进入正文。
当前位置
当前正在查看文章详情,可沿路径返回栏目页或继续切换其他内容。
不用训练!Opus 5.5直接手写Transformer权重,13类任务全拿100%
今日体育资讯,由易胜博官网整理:
新智元报道 在13类复杂的算法任务、26次独立运行中,一个全新的神经网络在隐藏测试集上全部达到了100%的准确率。
更不可思议的是,整个过程没有喂给它海量数据,甚至完全没有使用「反向传播」和「梯度下降」。
这个晶莹剔透、小巧至极的满分神经网络,是Claude Opus 5.
5,用代码一行一行直接「手写」出来的。
近日,微软研究院联合约翰斯·霍普金斯大学、哥伦比亚大学和纽约大学的团队,发表了新研究 「可解释权重空间编程(iWSP)」 。
这项研究证明:前沿大语言模型已经可以直接越过传统的优化器,依据固定的评测反馈,像外科医生一样精准构思计算逻辑,并用代码将算法直接写进Transformer的权重里。
不用反向传播,AI直接当起「钟表匠」 深度学习常被戏称为「炼丹」。
整个过程,就像一群盲人围着一台布满几亿个旋钮的巨大控制台,谁也看不见里面长什么样,只能凭机器偶尔发出的「报错声」,摸索着拧这个、转那个。
几万步迭代下来,机器居然真就正常运转了,某些任务甚至比人类自己还高,堪称「原地飞升」。
可你要是追问一句:哪个旋钮管逻辑?
哪个旋钮管记忆?
没人答得上来。
总之,效果拔群,原理不详——旋钮拧对了是玄学,拧错了是事故,中间隔着一整片无人能解释的黑箱。
在工程应用上,只要预测得准,这勉强可以接受。
但在脑科学、物理学等极其严肃的科学探索中,这个缺陷太致命。
正如研究团队所指出的核心痛点: 神经网络预测得很好,但很难被理解。
在以『解释』为终极目标的科学领域,这是一个严重的问题。
以神经科学为例,深度编码模型能够非常准确地预测大脑对自然刺激的反应,但它们却根本说不出,究竟是刺激中的「哪些特征」驱动了这些反应。
为了打破这个死局,微软团队提出了iWSP。
他们决定:不许用反向传播,直接让AI去设定那些旋钮。
在iWSP的框架中,Opus 5.
5化身为创世者。
它完全颠覆了传统的工作流: 纯粹的推理: 面对任务,系统不允许Opus进行任何基于梯度的训练。
每次迭代,智能体只能看到一个单一的验证分数(Validation score)。
手写权重: Opus必须调用它已有的先验知识,构思一套计算逻辑。
然后,它直接编写Python代码,显式地写出特征,将这套逻辑转化为具体的权重数字。
闭环迭代: Opus评估这些特征,重复利用已知的正确模块,并根据那个单一的分数反馈,不断修改代码。
平均每次跑39轮左右。
最终诞生的,是一个人类可以像阅读普通书籍一样,从头读到尾的「透明」Transformer。
它的每一个部分、每一行权重,都是AI「有意写就」。
反常识的真相 这项实验最让人拍案叫绝的,不仅是它成功让AI造出了AI,更在于它揭示了一个违背直觉的真相。
在传统的AI语境里,我们笃信「大力出奇迹」。
千亿参数只是起步,万亿参数才是未来。
大家都以为,神经网络越大越能干。
但这篇论文的数据,直接把这个常识反了过来。
在13类算法实验中,所有由AI「手搓」出来的模型,最终都在隐藏测试集上拿到了 100%的准确率 。
但当我们对比Anthropic家族不同级别的模型时,神奇的现象出现了: 同样把算法题写到全对,越强的AI,写出的网络越小。
相对基础的Haiku 5.
5 手写的网络,参数量中位数高达 100,000个 。
中等Sonnet 5.
5 需要的参数量中位数是 41,600个 。
当前最强的Claude 模型Opus 5.
5 ,它手写的网络参数中位数,只有极其夸张的 166个 !
建议大家把「166个参数」打在公屏上。
在这个动辄千亿、万亿参数的大模型时代,166个参数简直就像一颗微尘。
为什么会有这么离谱的差距?
日志记录了Opus的「心路历程」: Opus的策略是,先想办法写对,再一轮一轮地往小里删。
一开始,Opus为了保证逻辑能跑通,也会先写一个大概有3400个参数的网络。
在可见集拿到100%满分后,它开始疯狂精简代码。
它把冗余的计算剔除,把复杂的矩阵压缩,硬生生把平均3400个参数,删到了200个上下。
这就像是学霸和学渣的区别。
学渣(Haiku)不懂公式背后的原理,遇到不会的题就靠死记硬背,把所有可能的情况都塞进脑子,所以需要10万个参数的「大笔记本」。
而学霸(Opus)彻底看透了算法的本质,直接提炼出了最核心的计算规则,所以只需要166个参数的「一张小纸条」。
这个发现极其震撼。
它证明了:如果能找到真正正确的逻辑,解决复杂问题根本不需要堆砌。
从数学题到人类大脑,让科学免于「被糊弄」 你可能会问:费这么大劲,让AI手搓几个做数学题的极小模型,到底有什么用?
答案是: 为了真正的科学发现。
科学界目前正面临一个尴尬的困境。
拿神经科学来说,科学家为了搞懂人类大脑,会使用现成的深度学习黑盒模型来预测大脑的反应。
确实,模型预测得很准,但科学家傻眼
本文内容由易胜博官网整理。
推荐阅读
Search
热点新闻
高市拒不道歉,还想受到中方礼遇?日官员祈求:峰会上别降级对待
美媒报道称,日官员已经向中方寻求了保证,希望首相高市早苗在APEC会议期间,能够受到与其他参会领导人同等的待遇,如果高市被区别对待,那日本将会提出抗议。 高市早苗 APEC峰会在即,日本却忧心忡忡 说实话,日方的担忧不是没有道理额度。算起来,高市的涉台错误言论已经满了一年,却依旧没有做出道歉或者是撤回言论。对此,中方就明确指出,中日关系遇冷的责任在日方,时至今日依旧在原地打转。 再加上高市政府一直
女子借120万网贷不还,7家催债公司查到信息后面色大变:这地没法去
“你们七家公司联手,还怕一个人?” 面对金主的怒吼,身经百战的催债大哥却艰难回答:“不是怕一个‘人’。” 随后他在电话里说出的一句话,让金主陷入死寂,只换来最后惊骇的颤音:“那个人…现在就在那屋里?” 01 刘建华在这行干了快十五年,早就练就了一副铁石心肠和一双毒辣的眼睛。 从最早的跟着大哥满世界“要账”,到后来穿上西装、成立自己的“资产管理公司”,说白了,他就是个职业催债人。 他见过各种各样的“
同是主席女儿,李敏李讷晚年待遇为何不同?真相令人动容
李敏,是毛泽东与贺子珍的女儿,李讷是毛泽东与江青的女儿,两人名字取自《论语》,敏于行、讷于言。她们从小在父亲的教育下长大,核心要求就是做普通人,不能凭借身份谋求特殊照顾,只是两人人生道路不一样,工作履历分属不同系统,到晚年,在外人眼里,保障出现了差别。 很多人看到两人晚年保障标准不一样,就会简单理解成待遇高低之分。实际根源在于两人分属两套干部体系。李敏属于军队离休干部,李讷属于中央机关行政退休干部
罗伯特・帕丁森中选007之前,谁没在选角里疯过一回……
选新一任007的扮演者,大概是好莱坞最烫手的差事。 罗伯特・帕丁森正式成为新任詹姆斯・邦德这个消息落定的时候,很多人翻出他2012年的采访,才发现这段缘分早有伏笔。 那是《暮光之城:破晓(下)》还没上映、《007:大破天幕杀机》距离和观众见面还有几个月的夏天,他接受采访,被问到想不想演下一任邦德。 他当时说:当然想,但可能还要等20年。 在他眼里,克雷格之后的邦德,绝对不能找一脸青涩的新人。 这个
美国商务与司法部发声明 披露英伟达Megaspeed芯片转运调查时间线
11月16日深夜,美国商务部和司法部打破了执法机构不对进行中案件发表评论的常规,在社交平台上联合发布了一份声明。 声明的主角是总部位于新加坡的云计算企业Megaspeed,核心议题是这家英伟达的云端合作伙伴, 是否充当了受管制先进AI芯片流向中国企业的算力跳板。 两大部门之所以在这个时间点罕见发声,不仅是为了平息近期外界关于该案的各种不准确传闻,更是向全球半导体供应链下达了一份公开警告:利用海外数