评测变难开源模型被拉开 12 分:Intelligence Index v5 读什么

导语|洛杉矶时间 10 月 28 日凌晨,评测机构 Artificial Analysis 发布了 Intelligence Index v5。综合分上,Anthropic 的 Claude Opus 5.5(max)以 58 分勉强压过 OpenAI 的 GPT-6 Astra(57)和 GPT-6.1 Sol(55)。更刺眼的是另一组数字:开源权重阵营第一名与榜首的分差,从上一版的约 3 分拉到约 12 分。榜单变难了,选型逻辑也要跟着变。

一、先看分数,再看「花多少钱」

v5 不再只是一张虚荣榜。官方线程给出了头部模型的每题成本(按 Index 任务加权):

  • Claude Opus 5.5(max):约 $10.04 / 题,综合 58
  • GPT-6 Astra(max):约 $6.24,综合 57
  • GPT-6.1 Sol(max):约 $1.27,综合 55

也就是说,Sol 用大约 八分之一 的成本,换到距离 Opus 不到 4 分 的位置。对真正要跑 Agent、写代码、做科研工作流的团队,这比「谁多 1 分」更有用。

A2

自制,数据来源:Artificial Analysis Intelligence Index v5 官方线程

开源侧,Artificial Analysis 写明:权重尚未公开的 Kimi K3.1 Pro 以 46 分排在开源相关名单前列;已经公开权重的模型里,DeepSeek V4.1 Flash 1017(max) 与 GLM-5.3(max) 最高约 32。和闭源第一名的 12 分落差,是本轮讨论里传播最广的一句。

A4

原图 · 出处:Artificial Analysis《Intelligence Index v5》公告内 Index 综合分图表 https://artificialanalysis.ai/articles/artificial-analysis-intelligence-index-v5

二、v5 到底改了什么

官方把变化讲得很直白:

  • 1. 私有化:约 60% 的综合分来自带私有测试集或保留答案的评测,目的是降低「刷公开题」的污染。
  • 2. 新增两项重磅基准:FrontierCode 2.0(真实开源仓库、能否合并式改动)和 Terminal-Bench-Science(终端里的科研工作流)。
  • 3. effort 差距被放大:同一 Claude Opus 5.5,低 effort 只有 35,max 到 58,成本大约从 $0.98 跳到 $10.04。对比模型时,不对齐 effort,等于没比。
  • 4. 同步上线 Progress Index v1:试图把 2022 年 11 月以来的模型放在同一能力刻度上,方便看「代际」而不是单次刷分。

权重结构上,知识工作、编程、科学大约各占四分之一量级(其余含 HLE-Diamond、AA-Omniscience 等)。没有哪个模型通吃全部子项:Opus 在若干项领先,科学类终端任务上 Astra 等也有单项第一。

A3

自制,数据来源:Artificial Analysis《Intelligence Index v5》公告

三、这对中文读者意味着什么

第一,公开榜的营销话术会更难写。 「我们在某某公开集追平 Opus」这类句子,含金量下降;采购和自建团队应更看私有业务集与成本。

第二,闭源内部在打性价比战。 Sol 的位置说明:不是只有「最贵最强」一条路。结合 OpenAI 正在推的更便宜电脑使用模型(如社区热议的 GPT-6.1 Terra),产品线在按场景分层。

第三,开源「全面追平」叙事需要降温。 12 分不是永恒真理,但是对「本地一小模型 = 云端旗舰」的宣传是一盆冷水。端侧、专向微调仍有空间(今天小红书写的 Liquid LFM3 就是另一条赛道),但不要和 Index 榜首混为一谈。

第四,读榜必看 effort 与美元。 以后转载任何「第一名」截图,先问:max 还是 low?每题多少钱?

A5

自制,数据来源:Artificial Analysis《Intelligence Index v5》公告

四、还需要警惕什么

  • 私有集不可复现,第三方难以逐题复核。
  • Index 是加权综合,不代表你的客服、法务或嵌入式场景。
  • 模型名与版本迭代极快,引用时请落到具体日期与 effort。

一手材料都在:Artificial Analysis 公告、官网 Index 页、@ArtificialAnlys。

💬 互动话题

你现在选型更看「绝对分」还是「每分成本」?评论区留一句你的场景(写作 / 编程 Agent / 本地部署),我们按场景拆下一篇。

📎 一手来源链接

1. AA 公告
https://artificialanalysis.ai/articles/artificial-analysis-intelligence-index-v5

2. 官网 Index
https://artificialanalysis.ai/

3. @ArtificialAnlys
https://x.com/ArtificialAnlys/status/2115265171233120627

4. @kimmonismus 解读
https://x.com/kimmonismus/status/2115276413997850742

© 版权声明
THE END
喜欢就支持一下吧
点赞8 分享
评论 抢沙发

请登录后发表评论

    暂无评论内容