八个维度,2.3 个自由度:32 款模型的相关性矩阵,说明你的评分表在重复计分

先记住这三点

  1. 文档 × 图表的相关是 0.94(共享方差 88%),Agent × 生态是 0.79;8 个维度里有 3 组在重复计分。
  2. 第一主成分解释 62.9%,前四个解释 90.5%,参与率折算的有效维度是 2.33;真正独立的只有视频与生成两条轴。
  3. 控制通用因子后,真正的专精只剩少数:Emu3.5 生成残差 +25.0、DeepSeek-OCR 2 文档 +17.7、海康观澜 3 视频 +19.6;总榜前三反而是形状最平的。

八个格子,可能只有两票半

这份 2026 中国国产原生多模态大模型对比排名天梯榜 用 8 个维度给 32 款模型打分:视觉感知、文档 OCR、图表推理、视频时序、GUI Agent、生成编辑、中文语境、生态成本。权重分别是 20、18、14、14、14、6、6、8。

一个从未被检验的问题是:这 8 个维度真的在测 8 件不同的事吗?

如果两个维度的分数在 32 款模型上高度同步,那么把它们分别加权,本质上是在给同一件事投两票。排名不会因此“更全面”,只会更精确地重复同一个偏好。

我们把 32 款模型的 8 维分数做了皮尔逊相关,再对相关矩阵做特征分解。结论先给:第一主成分解释了 62.9% 的方差,前四个主成分解释 90.5%;按参与率折算,这张评分表的有效维度只有 2.33 个。 你以为自己在按 8 个维度选型,实际上大部分权重都投给了同一条“通用能力”轴。

8×8 相关矩阵

方法:对 32 款模型的每个维度做标准化,计算两两皮尔逊相关系数。样本是本站全部在榜模型,分数公开在模型库,可复算。

感知 文档 图表 视频 Agent 生成 中文 生态
感知 1.00 0.52 0.61 0.43 0.67 0.29 0.67 0.59
文档 0.52 1.00 0.94 0.19 0.68 0.25 0.72 0.72
图表 0.61 0.94 1.00 0.38 0.81 0.45 0.70 0.79
视频 0.43 0.19 0.38 1.00 0.53 0.52 0.29 0.36
Agent 0.67 0.68 0.81 0.53 1.00 0.53 0.73 0.79
生成 0.29 0.25 0.45 0.52 0.53 1.00 0.32 0.41
中文 0.67 0.72 0.70 0.29 0.73 0.32 1.00 0.69
生态 0.59 0.72 0.79 0.36 0.79 0.41 0.69 1.00

三对数字值得盯住:

文档 × 图表 = 0.94。 共享方差 88%。这意味着在这 32 款模型里,“文档强”几乎自动等于“图表强”。两个维度加起来占总权重的 32%,但它们更像是同一根轴上的两个刻度。

图表 × Agent = 0.81,Agent × 生态 = 0.79。 共享方差分别是 66% 和 62%。Agent 与生态的相关性尤其反直觉:一个模型能不能调工具,和它的价格、许可、上下文、社区支持高度同步。这不是因为“生态好所以 Agent 强”,而是因为这两项都被同一个底层能力——模型规模与工程成熟度——推着走。

最低的相关是文档 × 视频 = 0.19,文档 × 生成 = 0.25,视频 × 中文 = 0.29,感知 × 生成 = 0.29。 这四对才是真正接近独立的轴。视频、生成、感知(相对文档)各自携带了别处没有的信息。

第一主成分:一条全为正的“通用能力”

对相关矩阵做特征分解,得到 8 个特征值。按大小排列:

主成分 特征值 解释方差 累计
PC1 5.03 62.9% 62.9%
PC2 1.17 14.6% 77.5%
PC3 0.63 7.9% 85.4%
PC4 0.41 5.2% 90.5%
PC5–PC8 0.76 9.5% 100%

PC1 的 8 个载荷全部为正,落在 0.24 到 0.41 之间:感知 0.34、文档 0.37、图表 0.41、视频 0.24、Agent 0.41、生成 0.25、中文 0.37、生态 0.39。翻译成人话:一款模型只要“整体更强”,它在八个维度上大概率都会更高。 这条轴不是某个具体能力,而是模型规模、训练数据、工程投入共同抬起来的综合水位。

PC2 解释 14.6%,载荷是视频 +0.65、生成 +0.59,对文档 −0.38。这是“时序/生成”对“静态文档”的第二条轴:擅长动的东西,往往不擅长把一张票据读干净;反之亦然。DeepSeek-OCR 2 与 Emu3.5 是这条轴的两端。

PC3 解释 7.9%,载荷是感知 −0.67、生成 +0.51。这是“看懂”对“画出”的第三条轴:感知强的模型未必会生成,生成强的模型未必会定位。InternVL 4.0 与 BAGEL-2 是这条轴的两端。

三条轴加起来 85.4%。剩下的 14.6% 才是各维度真正独立的部分,其中 PC4(5.2%)还主要是视频与生成的残差。

“2.33 个自由度”是怎么算的

特征值之和等于维度数 8。参与率(participation ratio)的定义是:

有效维度 = (Σλ)² / Σλ²

代入 8 个特征值:64 / (5.03² + 1.17² + 0.63² + 0.41² + 0.30² + 0.27² + 0.17² + 0.01²) ≈ 2.33。

这不是说世界上只有 2.33 种能力,而是说:在这 32 款模型的实际分数分布里,8 个维度只提供了约 2.3 个独立方向的区分度。 如果样本换成 320 款、或者维度定义换成更细的 20 项,这个数字会变。它描述的是这张表,不是多模态能力的本质。

但它足以回答一个实际问题:你的加权表在重复计分吗? 是。

权重表的三处重复

把权重和相关性放在一起看:

权重组合 合计权重 相关系数 实际效果
文档 + 图表 32% 0.94 接近给同一根轴投两票
Agent + 生态 22% 0.79 工程成熟度的两种说法
感知 + 中文 + Agent 40% 0.67–0.73 通用因子的三个投影
视频 14% 平均相关 0.39 真正独立的一票
生成 6% 平均相关 0.40 真正独立的一票

视频和生成是整张表里平均相关性最低的两个维度(0.39 与 0.40),却只拿到 14% 和 6% 的权重。反过来,文档与图表平均相关 0.58/0.67,却拿到 32%。这不是说应该给视频加权重——而是说,当前的权重表把大部分决策权交给了“通用能力”,却以为自己在平衡 8 个方向。

如果你的业务是视频审核、长视频时序或创意生成,按这张表选型会系统性低估专精模型。正确做法不是改总分,而是看模型的形状和下面的残差。

残差:控制通用能力后,谁还是专精

原始分高,可能只是通用水位高。要看“真正的专精”,得把通用因子扣掉。

方法:对每个维度做 z 标准化,再减去该模型其余七个维度的平均 z 值。正残差表示“这项比它自己的整体水平更突出”,负残差表示“这项拖后腿”。这不是绝对能力,是相对形状。

维度 最强残差(模型 / 分数 / 总榜) 最弱残差
感知 云从从容 2 +12.8(91 / #32);海康观澜 3 +12.1(92 / #27) GLM-5.3 −5.0(93 / #4)
文档 DeepSeek-OCR 2 +17.7(99 / #20);InternVL 4.0 +7.0(93 / #16) 网易伏羲 2 −13.5(70 / #29)
图表 DeepSeek-OCR 2 +8.9(88 / #20);InternVL 4.0 +7.3(90 / #16) 网易伏羲 2 −11.9(68 / #29)
视频 海康观澜 3 +19.6(91 / #27);WITA-Omni +17.6(92 / #23) 京东言犀 2 −22.9(55 / #28)
Agent Kimi K3 +7.5(95 / #5);GLM-5.3 +6.6(95 / #4) 智源 Emu3.5 −9.3(70 / #24)
生成 智源 Emu3.5 +25.0(98 / #24);BAGEL-2 +20.2(90 / #31) DeepSeek-OCR 2 −17.0(60 / #20)
中文 蚂蚁百灵 2 +8.8(92 / #22);脑虎 NeuroXess-N1 +8.6(88 / #30) DeepSeek-V4.1-Flash −5.9(86 / #12)
生态 Qwen3.8-Flash +14.8(97 / #13);DeepSeek-V4.1-Flash +13.3(95 / #12) WITA-Omni −17.9(60 / #23)

这张表解释了为什么总榜和单项榜会打架:

  • Emu3.5 的生成 98 是全场第一,但它的 Agent 只有 70,残差 −9.3。 它不是“偏科”,它是“只做生成这一件事”的世界模型;把它放进通用助手的位置,是采购错误,不是模型错误。
  • DeepSeek-OCR 2 的文档 99、残差 +17.7,但生成 60、残差 −17.0。 它是一个纯粹的文档解析件;总榜第 20 名不说明它弱,只说明它窄。
  • 云从从容 2 的感知残差 +12.8 是全站最高,但总榜第 32。 它的分数几乎全部来自人脸/证照/票据识别;这是场景独占的另一种写法(见行业场景独占地图)。
  • 总榜前三的形状反而最平。 Qwen3.8-Max 的极差 7、豆包 10、Qwen3.5 8;它们的强不是某一项突出,而是没有短板。总榜奖励均衡,单项榜奖励极端——这是两种不同的商品。

三种修法,对应三种读者

修法一:合并冗余维度。 如果你只是做通用选型,把文档与图表合成一个“静态文档”维度、把 Agent 与生态合成一个“工程可用性”维度,剩下感知、视频、生成、中文四个独立轴。8 维变 5 维,排名几乎不变,但权重终于对应到独立信息。

修法二:看残差而不是原始分。 如果你在找“某个能力特别强”的模型,直接用上面的残差表。原始分会把通用水位混进来;残差把“它相对自己其他能力有多突出”单独拎出来。

修法三:用场景门,而不是加权和。 企业采购里,文档 99 不能补偿 Agent 72。与其调权重,不如先设门槛(见五道一票否决门),再在通过门槛的模型里比总分。门槛处理“必须有”,加权和处理“更好”。

边界

  • 这是描述性统计,不是能力理论。 32 个样本、8 个粗粒度分数,相关矩阵会受样本构成影响;换一批模型,r 会变。
  • 相关不等于因果。 文档与图表相关 0.94,不代表“做好文档就能做好图表”;更可能是两者共享同一套视觉编码与语言解码能力。
  • PCA 不证明维度定义错误。 它只说明在这批分数里,维度之间线性重叠严重。真正的能力可能是 8 维的,只是我们的测量把其中几维混在了一起。
  • 分数本身有误差。 B 级证据的 ±1.5 分、C 级更大;相关矩阵没有把误差折进去。把误差考虑进来,有效维度只会更低,不会更高。

复现

相关矩阵由 src/data/models.ts 的 8 维分数直接计算:标准化 → 皮尔逊相关 → 特征分解 → 参与率。没有旋转、没有插补、没有调参。脚本与中间表随站点数据发布;扩样后重跑,数字随更新日志更新。

如果这张表只能留下一句话:八个维度不是八张选票,而是两张半。 下一次看到一份“八维加权”的榜单,先问它的相关矩阵;如果作者没算过,那份“全面”大概率只是重复。

关于本文的常见问题

相关性高,是否说明这些维度应该删掉?

不。相关性高说明加权和会重复计分,不说明维度本身没有信息。正确做法是三种:合并冗余维度、看残差而不是原始分、用场景门槛替代加权和。

2.33 个自由度是统计显著的吗?

它是描述性统计,不是推断。32 个样本、8 个粗粒度分数,换一批模型数字会变;把评分误差折进去,有效维度只会更低,不会更高。

国产多模态天梯榜 · 编辑部 — 独立评测项目,与所涉厂商无隶属或赞助关系。评分方法、权重与证据等级全部公开;发现事实错误请通过关于页面联系,我们会在更新日志中记录订正。

引用格式:国产多模态天梯榜. (2026). 八个维度,2.3 个自由度:32 款模型的相关性矩阵,说明你的评分表在重复计分. 2026cnmllmtierlist.com