
先记住这三点
- 文档 × 图表的相关是 0.94(共享方差 88%),Agent × 生态是 0.79;8 个维度里有 3 组在重复计分。
- 第一主成分解释 62.9%,前四个解释 90.5%,参与率折算的有效维度是 2.33;真正独立的只有视频与生成两条轴。
- 控制通用因子后,真正的专精只剩少数:Emu3.5 生成残差 +25.0、DeepSeek-OCR 2 文档 +17.7、海康观澜 3 视频 +19.6;总榜前三反而是形状最平的。
八个格子,可能只有两票半
这份 2026 中国国产原生多模态大模型对比排名天梯榜 用 8 个维度给 32 款模型打分:视觉感知、文档 OCR、图表推理、视频时序、GUI Agent、生成编辑、中文语境、生态成本。权重分别是 20、18、14、14、14、6、6、8。
一个从未被检验的问题是:这 8 个维度真的在测 8 件不同的事吗?
如果两个维度的分数在 32 款模型上高度同步,那么把它们分别加权,本质上是在给同一件事投两票。排名不会因此“更全面”,只会更精确地重复同一个偏好。
我们把 32 款模型的 8 维分数做了皮尔逊相关,再对相关矩阵做特征分解。结论先给:第一主成分解释了 62.9% 的方差,前四个主成分解释 90.5%;按参与率折算,这张评分表的有效维度只有 2.33 个。 你以为自己在按 8 个维度选型,实际上大部分权重都投给了同一条“通用能力”轴。
8×8 相关矩阵
方法:对 32 款模型的每个维度做标准化,计算两两皮尔逊相关系数。样本是本站全部在榜模型,分数公开在模型库,可复算。
| 感知 | 文档 | 图表 | 视频 | Agent | 生成 | 中文 | 生态 | |
|---|---|---|---|---|---|---|---|---|
| 感知 | 1.00 | 0.52 | 0.61 | 0.43 | 0.67 | 0.29 | 0.67 | 0.59 |
| 文档 | 0.52 | 1.00 | 0.94 | 0.19 | 0.68 | 0.25 | 0.72 | 0.72 |
| 图表 | 0.61 | 0.94 | 1.00 | 0.38 | 0.81 | 0.45 | 0.70 | 0.79 |
| 视频 | 0.43 | 0.19 | 0.38 | 1.00 | 0.53 | 0.52 | 0.29 | 0.36 |
| Agent | 0.67 | 0.68 | 0.81 | 0.53 | 1.00 | 0.53 | 0.73 | 0.79 |
| 生成 | 0.29 | 0.25 | 0.45 | 0.52 | 0.53 | 1.00 | 0.32 | 0.41 |
| 中文 | 0.67 | 0.72 | 0.70 | 0.29 | 0.73 | 0.32 | 1.00 | 0.69 |
| 生态 | 0.59 | 0.72 | 0.79 | 0.36 | 0.79 | 0.41 | 0.69 | 1.00 |
三对数字值得盯住:
文档 × 图表 = 0.94。 共享方差 88%。这意味着在这 32 款模型里,“文档强”几乎自动等于“图表强”。两个维度加起来占总权重的 32%,但它们更像是同一根轴上的两个刻度。
图表 × Agent = 0.81,Agent × 生态 = 0.79。 共享方差分别是 66% 和 62%。Agent 与生态的相关性尤其反直觉:一个模型能不能调工具,和它的价格、许可、上下文、社区支持高度同步。这不是因为“生态好所以 Agent 强”,而是因为这两项都被同一个底层能力——模型规模与工程成熟度——推着走。
最低的相关是文档 × 视频 = 0.19,文档 × 生成 = 0.25,视频 × 中文 = 0.29,感知 × 生成 = 0.29。 这四对才是真正接近独立的轴。视频、生成、感知(相对文档)各自携带了别处没有的信息。
第一主成分:一条全为正的“通用能力”
对相关矩阵做特征分解,得到 8 个特征值。按大小排列:
| 主成分 | 特征值 | 解释方差 | 累计 |
|---|---|---|---|
| PC1 | 5.03 | 62.9% | 62.9% |
| PC2 | 1.17 | 14.6% | 77.5% |
| PC3 | 0.63 | 7.9% | 85.4% |
| PC4 | 0.41 | 5.2% | 90.5% |
| PC5–PC8 | 0.76 | 9.5% | 100% |
PC1 的 8 个载荷全部为正,落在 0.24 到 0.41 之间:感知 0.34、文档 0.37、图表 0.41、视频 0.24、Agent 0.41、生成 0.25、中文 0.37、生态 0.39。翻译成人话:一款模型只要“整体更强”,它在八个维度上大概率都会更高。 这条轴不是某个具体能力,而是模型规模、训练数据、工程投入共同抬起来的综合水位。
PC2 解释 14.6%,载荷是视频 +0.65、生成 +0.59,对文档 −0.38。这是“时序/生成”对“静态文档”的第二条轴:擅长动的东西,往往不擅长把一张票据读干净;反之亦然。DeepSeek-OCR 2 与 Emu3.5 是这条轴的两端。
PC3 解释 7.9%,载荷是感知 −0.67、生成 +0.51。这是“看懂”对“画出”的第三条轴:感知强的模型未必会生成,生成强的模型未必会定位。InternVL 4.0 与 BAGEL-2 是这条轴的两端。
三条轴加起来 85.4%。剩下的 14.6% 才是各维度真正独立的部分,其中 PC4(5.2%)还主要是视频与生成的残差。
“2.33 个自由度”是怎么算的
特征值之和等于维度数 8。参与率(participation ratio)的定义是:
有效维度 = (Σλ)² / Σλ²
代入 8 个特征值:64 / (5.03² + 1.17² + 0.63² + 0.41² + 0.30² + 0.27² + 0.17² + 0.01²) ≈ 2.33。
这不是说世界上只有 2.33 种能力,而是说:在这 32 款模型的实际分数分布里,8 个维度只提供了约 2.3 个独立方向的区分度。 如果样本换成 320 款、或者维度定义换成更细的 20 项,这个数字会变。它描述的是这张表,不是多模态能力的本质。
但它足以回答一个实际问题:你的加权表在重复计分吗? 是。
权重表的三处重复
把权重和相关性放在一起看:
| 权重组合 | 合计权重 | 相关系数 | 实际效果 |
|---|---|---|---|
| 文档 + 图表 | 32% | 0.94 | 接近给同一根轴投两票 |
| Agent + 生态 | 22% | 0.79 | 工程成熟度的两种说法 |
| 感知 + 中文 + Agent | 40% | 0.67–0.73 | 通用因子的三个投影 |
| 视频 | 14% | 平均相关 0.39 | 真正独立的一票 |
| 生成 | 6% | 平均相关 0.40 | 真正独立的一票 |
视频和生成是整张表里平均相关性最低的两个维度(0.39 与 0.40),却只拿到 14% 和 6% 的权重。反过来,文档与图表平均相关 0.58/0.67,却拿到 32%。这不是说应该给视频加权重——而是说,当前的权重表把大部分决策权交给了“通用能力”,却以为自己在平衡 8 个方向。
如果你的业务是视频审核、长视频时序或创意生成,按这张表选型会系统性低估专精模型。正确做法不是改总分,而是看模型的形状和下面的残差。
残差:控制通用能力后,谁还是专精
原始分高,可能只是通用水位高。要看“真正的专精”,得把通用因子扣掉。
方法:对每个维度做 z 标准化,再减去该模型其余七个维度的平均 z 值。正残差表示“这项比它自己的整体水平更突出”,负残差表示“这项拖后腿”。这不是绝对能力,是相对形状。
| 维度 | 最强残差(模型 / 分数 / 总榜) | 最弱残差 |
|---|---|---|
| 感知 | 云从从容 2 +12.8(91 / #32);海康观澜 3 +12.1(92 / #27) | GLM-5.3 −5.0(93 / #4) |
| 文档 | DeepSeek-OCR 2 +17.7(99 / #20);InternVL 4.0 +7.0(93 / #16) | 网易伏羲 2 −13.5(70 / #29) |
| 图表 | DeepSeek-OCR 2 +8.9(88 / #20);InternVL 4.0 +7.3(90 / #16) | 网易伏羲 2 −11.9(68 / #29) |
| 视频 | 海康观澜 3 +19.6(91 / #27);WITA-Omni +17.6(92 / #23) | 京东言犀 2 −22.9(55 / #28) |
| Agent | Kimi K3 +7.5(95 / #5);GLM-5.3 +6.6(95 / #4) | 智源 Emu3.5 −9.3(70 / #24) |
| 生成 | 智源 Emu3.5 +25.0(98 / #24);BAGEL-2 +20.2(90 / #31) | DeepSeek-OCR 2 −17.0(60 / #20) |
| 中文 | 蚂蚁百灵 2 +8.8(92 / #22);脑虎 NeuroXess-N1 +8.6(88 / #30) | DeepSeek-V4.1-Flash −5.9(86 / #12) |
| 生态 | Qwen3.8-Flash +14.8(97 / #13);DeepSeek-V4.1-Flash +13.3(95 / #12) | WITA-Omni −17.9(60 / #23) |
这张表解释了为什么总榜和单项榜会打架:
- Emu3.5 的生成 98 是全场第一,但它的 Agent 只有 70,残差 −9.3。 它不是“偏科”,它是“只做生成这一件事”的世界模型;把它放进通用助手的位置,是采购错误,不是模型错误。
- DeepSeek-OCR 2 的文档 99、残差 +17.7,但生成 60、残差 −17.0。 它是一个纯粹的文档解析件;总榜第 20 名不说明它弱,只说明它窄。
- 云从从容 2 的感知残差 +12.8 是全站最高,但总榜第 32。 它的分数几乎全部来自人脸/证照/票据识别;这是场景独占的另一种写法(见行业场景独占地图)。
- 总榜前三的形状反而最平。 Qwen3.8-Max 的极差 7、豆包 10、Qwen3.5 8;它们的强不是某一项突出,而是没有短板。总榜奖励均衡,单项榜奖励极端——这是两种不同的商品。
三种修法,对应三种读者
修法一:合并冗余维度。 如果你只是做通用选型,把文档与图表合成一个“静态文档”维度、把 Agent 与生态合成一个“工程可用性”维度,剩下感知、视频、生成、中文四个独立轴。8 维变 5 维,排名几乎不变,但权重终于对应到独立信息。
修法二:看残差而不是原始分。 如果你在找“某个能力特别强”的模型,直接用上面的残差表。原始分会把通用水位混进来;残差把“它相对自己其他能力有多突出”单独拎出来。
修法三:用场景门,而不是加权和。 企业采购里,文档 99 不能补偿 Agent 72。与其调权重,不如先设门槛(见五道一票否决门),再在通过门槛的模型里比总分。门槛处理“必须有”,加权和处理“更好”。
边界
- 这是描述性统计,不是能力理论。 32 个样本、8 个粗粒度分数,相关矩阵会受样本构成影响;换一批模型,r 会变。
- 相关不等于因果。 文档与图表相关 0.94,不代表“做好文档就能做好图表”;更可能是两者共享同一套视觉编码与语言解码能力。
- PCA 不证明维度定义错误。 它只说明在这批分数里,维度之间线性重叠严重。真正的能力可能是 8 维的,只是我们的测量把其中几维混在了一起。
- 分数本身有误差。 B 级证据的 ±1.5 分、C 级更大;相关矩阵没有把误差折进去。把误差考虑进来,有效维度只会更低,不会更高。
复现
相关矩阵由 src/data/models.ts 的 8 维分数直接计算:标准化 → 皮尔逊相关 → 特征分解 → 参与率。没有旋转、没有插补、没有调参。脚本与中间表随站点数据发布;扩样后重跑,数字随更新日志更新。
如果这张表只能留下一句话:八个维度不是八张选票,而是两张半。 下一次看到一份“八维加权”的榜单,先问它的相关矩阵;如果作者没算过,那份“全面”大概率只是重复。
关于本文的常见问题
相关性高,是否说明这些维度应该删掉?
不。相关性高说明加权和会重复计分,不说明维度本身没有信息。正确做法是三种:合并冗余维度、看残差而不是原始分、用场景门槛替代加权和。
2.33 个自由度是统计显著的吗?
它是描述性统计,不是推断。32 个样本、8 个粗粒度分数,换一批模型数字会变;把评分误差折进去,有效维度只会更低,不会更高。


