权重扰动 2000 次:2026 国产原生多模态天梯榜的排名误差棒

先记住这三点

  1. 2000 次扰动里,榜首只在两款之间互换:Qwen3.8-Max 拿到 91.1%,豆包 Seed 2.0 Pro 拿到 8.9%,其余 24 款一次都没上过第一。
  2. 26 款里只有 1 款排名完全不动:Qwen3.5-397B 从头到尾没有移动过一格。新增两款模型把中后段的波动全部放大——Keye-VL-2.0 从“从未移动”变成 14–15 名游走,InternVL 4.0 的区间是 14–19。
  3. “权重宠儿”可以精确定位:把生成维度权重从 6% 提到 30%,Emu3.5 上升 10 名;把生态权重提到 30%,Qwen3.8-Flash 上升 6 名。八种极端加权下前三名始终内部换位,没有一款外部模型挤进去。
  4. 证据等级不进综合分,但进你的决策:本站 32 款里 14 款 A 级、16 款 B 级、2 款 C 级,而榜首恰好是 B 级——这不是矛盾,是需要你知道的事实。

一份天梯榜如果只公布排名,它就是在要求你相信它的权重。这份 2026 中国国产原生多模态大模型对比排名天梯榜 选择把权重当成待检验的假设:我们把 8 个维度权重各扰动 ±30%、重新归一化、重跑 2000 次,统计每款模型的排名分布。

这篇文章给出完整结果,包括那些对我们自己不利的部分。

先立一个规矩:没有误差棒的排名是在伪造精度

物理学家公布测量值必须带误差棒,因为离开误差棒的“9.81”不知道是 9.81±0.01 还是 9.81±3。天梯榜的处境完全一样:一个 95.4 分的第一名,如果换一组合理权重就掉到第五,那这个“第一”的信息量约等于零。

问题是榜单圈没有公布误差棒的习惯。绝大多数榜单只给名次,因为名次适合传播,误差棒不适合。传播价值和信息量在这里是冲突的,本站选择信息量。

所以这篇文章真正要讲的是:任何一份天梯榜,你都可以用同样的方法算出它的误差棒。方法不依赖本站数据,只依赖一件东西——原始维度分。这也是我们把 256 个评分点全部公开的原因。

权重的本质是场景假设

先说清楚一件事:权重不存在“正确值”。感知 20、文档 18、图表 14、视频 14、Agent 14、生成 6、中文 6、生态 8——这套权重对应的是“一个典型的中国企业多模态落地项目”的场景假设,其中文档与图表合计 32 分,反映的是当前绝大多数付费调用发生在文档处理上。

如果你的业务是短视频内容理解,视频应该是 30 而不是 14;如果是创意设计,生成应该是 30 而不是 6。权重换一套,排名就会换一批人。

所以判断一份天梯榜是否可信,不该问“它的权重对不对”,而该问“它的排名对权重有多敏感”。 这就是扰动实验要回答的问题。

扰动实验怎么做(可复现)

  • 对 8 个权重各自乘以 [0.7, 1.3] 区间内的均匀随机数
  • 重新归一化,使权重之和仍为 1
  • 用新权重重算 32 款模型的综合分并重新排名
  • 重复 2000 次,统计每款模型的名次分布

±30% 这个幅度不是随便定的:它大致对应一个认真的选型者会做出的权重调整范围。扰动到 ±60% 时所有模型的名次都在乱跳,测出来的是噪声而不是稳健性。

完整的可复算脚本随站点数据一起发布(scripts/analyze.mjs),输入是 32 款模型的 256 个维度分,输出是下面所有表格。

结果一:榜首只在两款之间互换

2000 次扰动里,拿过第一名的只有两款模型:

模型 拿到第一的比例 名次区间
Qwen3.8-Max 91.1% 1–2
豆包 Seed 2.0 Pro 8.9% 1–2
其余 24 款 0% 3 及以下

这个数字值得展开。Qwen3.8-Max 综合分 95.4,豆包 95.2,差 0.2 分——在本站方法里 0.5 分以内视为同一档,也就是说这两者本来就是并列第一。扰动实验只是把“并列”翻译成了概率:91.1% 的合理权重组合下 Qwen 在前,8.9% 的情况下豆包在前。

哪 8.9%?主要是视频与中文语境权重被调高的那些组合。豆包的视频 96、中文 97 是全场最高,这两项权重一上浮它就反超。反过来说,如果你的业务以中文短视频为主,豆包就是你的第一名——这不是妥协,是权重本来就该这么设。

结果二:32 款里只有 1 款完全不动

这是三期扩样下来最稳定的一个结论。24 款时有三款模型在 2000 次扰动里从未移动;扩到 26 款时只剩一款;扩到 32 款之后,仍然只有 Qwen3.5-397B 一款从头到尾没有动过一格。它经历了 24 → 26 → 32 三次扩样,每一次都把中后段的波动放大一圈,它一次都没动。

模型 基准名次 扰动区间 前 5 名命中率
Qwen3.8-Max 1 1–2 100%
豆包 Seed 2.0 Pro 2 1–2 100%
Qwen3.5-397B 3 3–3(从未移动) 100%
GLM-5.3 4 4–5 100%
Kimi K3 5 4–6 93.4%
GLM-5 6 5–6 6.6%
MiMo-V2.5 7 7–9 0%
SenseNova 6.5 Pro 8 7–8 0%
LongCat-Next 9 8–10 0%
Qwen3-Omni-30B 10 9–11 0%
ERNIE 5.1 11 11–13 0%
DeepSeek-V4.1-Flash 12 10–13 0%
Qwen3.8-Flash 13 11–13 0%
Keye-VL-2.0 14 14–15 0%
混元 Hunyuan-Vision 15 15–16 0%
书生 InternVL 4.0 16 14–19 0%
Step-3 17 15–18 0%
讯飞星火 X2 18 16–18 0%
MiniMax M2.5 19 18–20 0%
DeepSeek-OCR 2 20 19–24 0%
华为盘古 5.5 21 20–22 0%
蚂蚁百灵 Ling 2 22 20–27 0%
WITA-Omni Preview 23 20–26 0%
Emu3.5 24 21–26 0%
紫东太初 2.0 25 23–26 0%
MiniCPM-V 4.5 26 23–27 0%
海康观澜 3 27 25–31 0%
京东言犀 2 28 27–31 0%
网易伏羲 2 29 27–32 0%
脑虎 NeuroXess-N1 30 28–31 0%
BAGEL-2 31 28–32 0%
云从从容 2 32 31–32 0%

四条读法:

  • 前三名是全榜最稳的部分。 Qwen3.5-397B 在 2000 次扰动里一格都没动过——它的 8 个维度分全部在 90 以上且分布均匀,没有任何一项突出到能被权重放大,也没有任何一项弱到会被权重惩罚。这种“没有特征”恰恰是最强的稳健性。
  • 扩样本身放大了波动。 Keye-VL-2.0 从 24 款时的“从未移动”变成 14–15 名游走;新入榜的 InternVL 4.0 区间是 14–19,蚂蚁百灵 20–27。原因很直接:这些模型的维度分高度不对称(感知 96 对视频 66、中文 92 对视频 60),任何权重重衡都会被某一端放大。名次越靠后、越专精的模型,总榜名次越没有意义。
  • 倒数六名在互相洗牌。 第 27 到第 32 名(观澜、言犀、伏羲、脑虎、BAGEL-2、从容)六款模型的扰动区间完全重叠在 25–32 之间——它们之间的名次差基本由权重噪声决定。这个区间的名次不应该出现在任何选型会的 PPT 里。
  • “从未移动”本身是稀缺品。 三次扩样、6000 次扰动,只有一款模型一次都没动。一份榜单如果能公布这种数字,它的误差棒就是诚实的;如果只公布名次,你无法区分“稳健”和“运气”。

结果三:权重宠儿的精确定位

“权重宠儿”指只在特定权重下才靠前的模型。定位方法是把某一个维度的权重强行提到 30%、其余按比例压缩,看谁涨得最多:

被放大的维度 涨得最多的模型 名次变化
生成 6% → 30% Emu3.5 24 → 13(+11)
生成 6% → 30% BAGEL-2 31 → 21(+10)
生态 8% → 30% Qwen3.8-Flash 13 → 7(+6)
生态 8% → 30% DeepSeek-V4.1-Flash 12 → 9(+3)
视频 14% → 30% Keye-VL-2.0 14 → 11(+3)
视频 14% → 30% WITA-Omni Preview 23 → 19(+4)
视频 14% → 30% 海康观澜 3 27 → 23(+4)
图表 14% → 30% DeepSeek-V4.1-Flash 12 → 10(+2)
图表 14% → 30% 书生 InternVL 4.0 16 → 14(+2)
文档 18% → 30% 书生 InternVL 4.0 16 → 14(+2)
文档 18% → 30% 紫东太初 2.0 25 → 23(+2)
Agent 14% → 30% Qwen3.8-Flash 13 → 11(+2)
Agent 14% → 30% Step-3 17 → 15(+2)
中文 6% → 30% 讯飞星火 X2 18 → 16(+2)
中文 6% → 30% 紫东太初 2.0 25 → 23(+2)
感知 20% → 30% Kimi K3 5 → 4(+1)

注意反面:八种极端加权下,前三名始终只有内部换位,没有一款外部模型挤进来。 这说明本站总榜的前三名不是权重造出来的——这一点比任何单项分数都重要。

而 Emu3.5 的 +11 是最典型的权重宠儿信号:它的生成 98 是全场第一,其余维度普遍偏弱。业务是图像生成与编辑,它值得进候选;按总榜选,它排第 24。两个结论都对,区别只在权重。

InternVL 4.0 则是新出现的权重宠儿样本:文档与图表权重提到 30% 时它各上升 2 名——一款总榜第 16 的模型,在“只读文档图表”的业务里能进前 14。这是专精模型的标准画像。

证据等级为什么不进综合分

32 款模型里 14 款 A 级证据、16 款 B 级、2 款 C 级。榜首 Qwen3.8-Max 恰好是 B 级——发布不足两周,第三方复现与 30 天以上稳定性观察都还没有。

C 级有两款:脑虎 NeuroXess-N1(全部数字来自厂商口径,没有任何第三方复现)与海康观澜 3(集成商口径)。收录一款 C 级模型是本站自己的选择——理由写在 冷门模型生存考 里,简单说是:它覆盖的模态没有第二个人在测。

这不是矛盾,是需要你知道的事实。把证据等级乘进综合分有两个坏处:一是新模型会被系统性压低,让榜单滞后于现实;二是“证据多”会被误读成“能力强”,而这两件事在快速迭代的国产模型上经常相反。

本站的处理是把证据等级作为独立标记公布,让排名反映能力、让标记反映确定性,由你自己决定风险偏好:

  • 追能力上限、能接受版本波动 → 直接看综合分,选 Qwen3.8-Max
  • 要三年期合同、不能接受能力回退 → 只在 A 级里选,那就是豆包 Seed 2.0 Pro(95.2)
  • 预算敏感、能自己做回归测试 → B 级的两款 Flash 与 InternVL 4.0 是最高性价比区间

你该怎么用这份方差表

三条具体建议:

  1. 不要把总榜名次当精确序。 名次 11 到 13 的三款(ERNIE 5.1、DeepSeek-V4.1-Flash、Qwen3.8-Flash)扰动区间完全重叠,说“第 12 名比第 13 名强”没有依据。
  2. 候选名单取扰动区间的并集。 只要前 5 名,正确的候选是 6 款而不是 5 款——GLM-5 有 6.6% 的概率进前 5,把它排除等于用一次抽样代替整个分布。
  3. 专精模型直接跳过总榜。 区间跨度 ≥3 的模型(DeepSeek-OCR 2、WITA-Omni、Emu3.5、Kimi K3、InternVL 4.0 等)应按单项维度选,总榜名次对它们没有信息量。维度排序在 天梯榜页面 可以直接切换。

权重的完整定义、分数映射规则与证据等级判据写在 方法论页面。如果你要改权重,用 选型器——它做的是同一件事,只是把扰动方向交给你。

关于本文的常见问题

为什么是 ±30% 而不是更大的扰动?

±30% 大致对应“一个认真的选型者会做出的权重调整幅度”。扰动到 ±60% 时排名方差会失去区分度——几乎所有模型的排名都在乱跳,那样测出来的是噪声,不是稳健性。

排名方差大就说明模型不行吗?

恰恰相反,方差大通常说明它是场景专精型。方差回答的是“这个名次有多依赖权重假设”,不是“这个模型有多强”。选专精模型时,你应该直接用自己的权重,而不是看总榜。

国产多模态天梯榜 · 编辑部 — 独立评测项目,与所涉厂商无隶属或赞助关系。评分方法、权重与证据等级全部公开;发现事实错误请通过关于页面联系,我们会在更新日志中记录订正。

引用格式:国产多模态天梯榜. (2026). 权重扰动 2000 次:2026 国产原生多模态天梯榜的排名误差棒. 2026cnmllmtierlist.com