
先记住这三点
- 2000 次扰动里,榜首只在两款之间互换:Qwen3.8-Max 拿到 91.1%,豆包 Seed 2.0 Pro 拿到 8.9%,其余 24 款一次都没上过第一。
- 26 款里只有 1 款排名完全不动:Qwen3.5-397B 从头到尾没有移动过一格。新增两款模型把中后段的波动全部放大——Keye-VL-2.0 从“从未移动”变成 14–15 名游走,InternVL 4.0 的区间是 14–19。
- “权重宠儿”可以精确定位:把生成维度权重从 6% 提到 30%,Emu3.5 上升 10 名;把生态权重提到 30%,Qwen3.8-Flash 上升 6 名。八种极端加权下前三名始终内部换位,没有一款外部模型挤进去。
- 证据等级不进综合分,但进你的决策:本站 32 款里 14 款 A 级、16 款 B 级、2 款 C 级,而榜首恰好是 B 级——这不是矛盾,是需要你知道的事实。
一份天梯榜如果只公布排名,它就是在要求你相信它的权重。这份 2026 中国国产原生多模态大模型对比排名天梯榜 选择把权重当成待检验的假设:我们把 8 个维度权重各扰动 ±30%、重新归一化、重跑 2000 次,统计每款模型的排名分布。
这篇文章给出完整结果,包括那些对我们自己不利的部分。
先立一个规矩:没有误差棒的排名是在伪造精度
物理学家公布测量值必须带误差棒,因为离开误差棒的“9.81”不知道是 9.81±0.01 还是 9.81±3。天梯榜的处境完全一样:一个 95.4 分的第一名,如果换一组合理权重就掉到第五,那这个“第一”的信息量约等于零。
问题是榜单圈没有公布误差棒的习惯。绝大多数榜单只给名次,因为名次适合传播,误差棒不适合。传播价值和信息量在这里是冲突的,本站选择信息量。
所以这篇文章真正要讲的是:任何一份天梯榜,你都可以用同样的方法算出它的误差棒。方法不依赖本站数据,只依赖一件东西——原始维度分。这也是我们把 256 个评分点全部公开的原因。
权重的本质是场景假设
先说清楚一件事:权重不存在“正确值”。感知 20、文档 18、图表 14、视频 14、Agent 14、生成 6、中文 6、生态 8——这套权重对应的是“一个典型的中国企业多模态落地项目”的场景假设,其中文档与图表合计 32 分,反映的是当前绝大多数付费调用发生在文档处理上。
如果你的业务是短视频内容理解,视频应该是 30 而不是 14;如果是创意设计,生成应该是 30 而不是 6。权重换一套,排名就会换一批人。
所以判断一份天梯榜是否可信,不该问“它的权重对不对”,而该问“它的排名对权重有多敏感”。 这就是扰动实验要回答的问题。
扰动实验怎么做(可复现)
- 对 8 个权重各自乘以 [0.7, 1.3] 区间内的均匀随机数
- 重新归一化,使权重之和仍为 1
- 用新权重重算 32 款模型的综合分并重新排名
- 重复 2000 次,统计每款模型的名次分布
±30% 这个幅度不是随便定的:它大致对应一个认真的选型者会做出的权重调整范围。扰动到 ±60% 时所有模型的名次都在乱跳,测出来的是噪声而不是稳健性。
完整的可复算脚本随站点数据一起发布(scripts/analyze.mjs),输入是 32 款模型的 256 个维度分,输出是下面所有表格。
结果一:榜首只在两款之间互换
2000 次扰动里,拿过第一名的只有两款模型:
| 模型 | 拿到第一的比例 | 名次区间 |
|---|---|---|
| Qwen3.8-Max | 91.1% | 1–2 |
| 豆包 Seed 2.0 Pro | 8.9% | 1–2 |
| 其余 24 款 | 0% | 3 及以下 |
这个数字值得展开。Qwen3.8-Max 综合分 95.4,豆包 95.2,差 0.2 分——在本站方法里 0.5 分以内视为同一档,也就是说这两者本来就是并列第一。扰动实验只是把“并列”翻译成了概率:91.1% 的合理权重组合下 Qwen 在前,8.9% 的情况下豆包在前。
哪 8.9%?主要是视频与中文语境权重被调高的那些组合。豆包的视频 96、中文 97 是全场最高,这两项权重一上浮它就反超。反过来说,如果你的业务以中文短视频为主,豆包就是你的第一名——这不是妥协,是权重本来就该这么设。
结果二:32 款里只有 1 款完全不动
这是三期扩样下来最稳定的一个结论。24 款时有三款模型在 2000 次扰动里从未移动;扩到 26 款时只剩一款;扩到 32 款之后,仍然只有 Qwen3.5-397B 一款从头到尾没有动过一格。它经历了 24 → 26 → 32 三次扩样,每一次都把中后段的波动放大一圈,它一次都没动。
| 模型 | 基准名次 | 扰动区间 | 前 5 名命中率 |
|---|---|---|---|
| Qwen3.8-Max | 1 | 1–2 | 100% |
| 豆包 Seed 2.0 Pro | 2 | 1–2 | 100% |
| Qwen3.5-397B | 3 | 3–3(从未移动) | 100% |
| GLM-5.3 | 4 | 4–5 | 100% |
| Kimi K3 | 5 | 4–6 | 93.4% |
| GLM-5 | 6 | 5–6 | 6.6% |
| MiMo-V2.5 | 7 | 7–9 | 0% |
| SenseNova 6.5 Pro | 8 | 7–8 | 0% |
| LongCat-Next | 9 | 8–10 | 0% |
| Qwen3-Omni-30B | 10 | 9–11 | 0% |
| ERNIE 5.1 | 11 | 11–13 | 0% |
| DeepSeek-V4.1-Flash | 12 | 10–13 | 0% |
| Qwen3.8-Flash | 13 | 11–13 | 0% |
| Keye-VL-2.0 | 14 | 14–15 | 0% |
| 混元 Hunyuan-Vision | 15 | 15–16 | 0% |
| 书生 InternVL 4.0 | 16 | 14–19 | 0% |
| Step-3 | 17 | 15–18 | 0% |
| 讯飞星火 X2 | 18 | 16–18 | 0% |
| MiniMax M2.5 | 19 | 18–20 | 0% |
| DeepSeek-OCR 2 | 20 | 19–24 | 0% |
| 华为盘古 5.5 | 21 | 20–22 | 0% |
| 蚂蚁百灵 Ling 2 | 22 | 20–27 | 0% |
| WITA-Omni Preview | 23 | 20–26 | 0% |
| Emu3.5 | 24 | 21–26 | 0% |
| 紫东太初 2.0 | 25 | 23–26 | 0% |
| MiniCPM-V 4.5 | 26 | 23–27 | 0% |
| 海康观澜 3 | 27 | 25–31 | 0% |
| 京东言犀 2 | 28 | 27–31 | 0% |
| 网易伏羲 2 | 29 | 27–32 | 0% |
| 脑虎 NeuroXess-N1 | 30 | 28–31 | 0% |
| BAGEL-2 | 31 | 28–32 | 0% |
| 云从从容 2 | 32 | 31–32 | 0% |
四条读法:
- 前三名是全榜最稳的部分。 Qwen3.5-397B 在 2000 次扰动里一格都没动过——它的 8 个维度分全部在 90 以上且分布均匀,没有任何一项突出到能被权重放大,也没有任何一项弱到会被权重惩罚。这种“没有特征”恰恰是最强的稳健性。
- 扩样本身放大了波动。 Keye-VL-2.0 从 24 款时的“从未移动”变成 14–15 名游走;新入榜的 InternVL 4.0 区间是 14–19,蚂蚁百灵 20–27。原因很直接:这些模型的维度分高度不对称(感知 96 对视频 66、中文 92 对视频 60),任何权重重衡都会被某一端放大。名次越靠后、越专精的模型,总榜名次越没有意义。
- 倒数六名在互相洗牌。 第 27 到第 32 名(观澜、言犀、伏羲、脑虎、BAGEL-2、从容)六款模型的扰动区间完全重叠在 25–32 之间——它们之间的名次差基本由权重噪声决定。这个区间的名次不应该出现在任何选型会的 PPT 里。
- “从未移动”本身是稀缺品。 三次扩样、6000 次扰动,只有一款模型一次都没动。一份榜单如果能公布这种数字,它的误差棒就是诚实的;如果只公布名次,你无法区分“稳健”和“运气”。
结果三:权重宠儿的精确定位
“权重宠儿”指只在特定权重下才靠前的模型。定位方法是把某一个维度的权重强行提到 30%、其余按比例压缩,看谁涨得最多:
| 被放大的维度 | 涨得最多的模型 | 名次变化 |
|---|---|---|
| 生成 6% → 30% | Emu3.5 | 24 → 13(+11) |
| 生成 6% → 30% | BAGEL-2 | 31 → 21(+10) |
| 生态 8% → 30% | Qwen3.8-Flash | 13 → 7(+6) |
| 生态 8% → 30% | DeepSeek-V4.1-Flash | 12 → 9(+3) |
| 视频 14% → 30% | Keye-VL-2.0 | 14 → 11(+3) |
| 视频 14% → 30% | WITA-Omni Preview | 23 → 19(+4) |
| 视频 14% → 30% | 海康观澜 3 | 27 → 23(+4) |
| 图表 14% → 30% | DeepSeek-V4.1-Flash | 12 → 10(+2) |
| 图表 14% → 30% | 书生 InternVL 4.0 | 16 → 14(+2) |
| 文档 18% → 30% | 书生 InternVL 4.0 | 16 → 14(+2) |
| 文档 18% → 30% | 紫东太初 2.0 | 25 → 23(+2) |
| Agent 14% → 30% | Qwen3.8-Flash | 13 → 11(+2) |
| Agent 14% → 30% | Step-3 | 17 → 15(+2) |
| 中文 6% → 30% | 讯飞星火 X2 | 18 → 16(+2) |
| 中文 6% → 30% | 紫东太初 2.0 | 25 → 23(+2) |
| 感知 20% → 30% | Kimi K3 | 5 → 4(+1) |
注意反面:八种极端加权下,前三名始终只有内部换位,没有一款外部模型挤进来。 这说明本站总榜的前三名不是权重造出来的——这一点比任何单项分数都重要。
而 Emu3.5 的 +11 是最典型的权重宠儿信号:它的生成 98 是全场第一,其余维度普遍偏弱。业务是图像生成与编辑,它值得进候选;按总榜选,它排第 24。两个结论都对,区别只在权重。
InternVL 4.0 则是新出现的权重宠儿样本:文档与图表权重提到 30% 时它各上升 2 名——一款总榜第 16 的模型,在“只读文档图表”的业务里能进前 14。这是专精模型的标准画像。
证据等级为什么不进综合分
32 款模型里 14 款 A 级证据、16 款 B 级、2 款 C 级。榜首 Qwen3.8-Max 恰好是 B 级——发布不足两周,第三方复现与 30 天以上稳定性观察都还没有。
C 级有两款:脑虎 NeuroXess-N1(全部数字来自厂商口径,没有任何第三方复现)与海康观澜 3(集成商口径)。收录一款 C 级模型是本站自己的选择——理由写在 冷门模型生存考 里,简单说是:它覆盖的模态没有第二个人在测。
这不是矛盾,是需要你知道的事实。把证据等级乘进综合分有两个坏处:一是新模型会被系统性压低,让榜单滞后于现实;二是“证据多”会被误读成“能力强”,而这两件事在快速迭代的国产模型上经常相反。
本站的处理是把证据等级作为独立标记公布,让排名反映能力、让标记反映确定性,由你自己决定风险偏好:
- 追能力上限、能接受版本波动 → 直接看综合分,选 Qwen3.8-Max
- 要三年期合同、不能接受能力回退 → 只在 A 级里选,那就是豆包 Seed 2.0 Pro(95.2)
- 预算敏感、能自己做回归测试 → B 级的两款 Flash 与 InternVL 4.0 是最高性价比区间
你该怎么用这份方差表
三条具体建议:
- 不要把总榜名次当精确序。 名次 11 到 13 的三款(ERNIE 5.1、DeepSeek-V4.1-Flash、Qwen3.8-Flash)扰动区间完全重叠,说“第 12 名比第 13 名强”没有依据。
- 候选名单取扰动区间的并集。 只要前 5 名,正确的候选是 6 款而不是 5 款——GLM-5 有 6.6% 的概率进前 5,把它排除等于用一次抽样代替整个分布。
- 专精模型直接跳过总榜。 区间跨度 ≥3 的模型(DeepSeek-OCR 2、WITA-Omni、Emu3.5、Kimi K3、InternVL 4.0 等)应按单项维度选,总榜名次对它们没有信息量。维度排序在 天梯榜页面 可以直接切换。
权重的完整定义、分数映射规则与证据等级判据写在 方法论页面。如果你要改权重,用 选型器——它做的是同一件事,只是把扰动方向交给你。
关于本文的常见问题
为什么是 ±30% 而不是更大的扰动?
±30% 大致对应“一个认真的选型者会做出的权重调整幅度”。扰动到 ±60% 时排名方差会失去区分度——几乎所有模型的排名都在乱跳,那样测出来的是噪声,不是稳健性。
排名方差大就说明模型不行吗?
恰恰相反,方差大通常说明它是场景专精型。方差回答的是“这个名次有多依赖权重假设”,不是“这个模型有多强”。选专精模型时,你应该直接用自己的权重,而不是看总榜。


