先记住这三点
- 自偏好普遍存在但幅度有限：8 款评委给自家家族的平均加分是 +3.2 分，最大的一款 +5.1——不足以颠覆排名，但足以让并列变第一。
- 家族偏差比自偏好更危险：同厂商互抬让“家族分”与“盲评分”的最大落差达到 6.8 分，且集中在 Agent 与文档两个维度。
- 分数压缩有明确方向：能力越强的评委，打分区间越窄——最强评委的给分跨度只有 11 分，最弱评委的跨度是 34 分。用强模型当评委，会把中下游模型压成难以区分的一团。
如果让模型给模型打分，会发生什么
这份 2026 中国国产原生多模态大模型对比排名天梯榜 的评分是人工判定加公开证据。但市面上的“模型评测”正在快速转向另一种形态：让模型当评委——用 GPT 评 Claude，用 Qwen 评豆包，用一份模型输出的盲评集决定排名。
这种做法有一个从未被公开测量过的问题：评委自己有偏差。 模型会给自家家族打高分吗？同厂商会互抬吗？强评委和弱评委的打分尺度一样吗？
本站做了一次可复现的交叉评审：8 款模型当评委，对同一组 32 款模型的输出盲评打分，测量三种偏差。结论先说：偏差是结构性的，方向和幅度都能预测——而这决定了任何“模型互相打分”的榜单该怎么读。
实验设计
- 评委集（8 款）：Qwen3.8-Max、豆包 Seed 2.0 Pro、GLM-5.3、Kimi K3、DeepSeek-V4.1-Flash、书生 InternVL 4.0、蚂蚁百灵 Ling 2、网易伏羲 2。覆盖五个厂商、四种许可、从 77.5 到 95.4 的总分段。
- 被评集（32 款）：全部上榜模型，输出统一裁剪为 500 字以内、去掉模型名与厂商特征的匿名文本。
- 评分量表：0–100 的绝对分，附一句理由；同一评委对同一被评对象评三次取中位数。
- 盲评条件：评委只看到输出，看不到模型名、厂商与价格。自偏好只能通过“输出风格”泄露——这本身就是偏差测量的一部分。
- 聚合方式：每款被评模型得到 8 个评委分，去掉最高最低取均值，与本站人工分并列比较。
脚本、提示词与量表随站点数据发布，扩样后重跑。
偏差一：自偏好——普遍存在，但幅度有限
测量方法：对每款评委，比较它给“自家家族模型”（同厂商同系列）的平均分与给其他模型的平均分。
| 评委 | 给家族的平均加分 | 家族内最高加分 | 方向 |
|---|---|---|---|
| Qwen3.8-Max | +3.8 | +5.1（给 Qwen3.8-Flash） | 一致偏高 |
| 豆包 Seed 2.0 Pro | +3.4 | +4.6（给豆包同代） | 一致偏高 |
| GLM-5.3 | +2.9 | +4.1（给 GLM-5） | 一致偏高 |
| Kimi K3 | +3.6 | +4.8 | 一致偏高 |
| DeepSeek-V4.1-Flash | +2.2 | +3.5（给 DeepSeek-OCR 2） | 一致偏高 |
| 书生 InternVL 4.0 | +1.8 | +2.6 | 一致偏高 |
| 蚂蚁百灵 Ling 2 | +4.2 | +5.1 | 一致偏高，但样本小 |
| 网易伏羲 2 | +3.1 | +4.3 | 一致偏高 |
八个评委，八个方向一致——自偏好 100% 存在，平均 +3.2 分，最大 +5.1。
这个幅度不足以颠覆排名（本站方法里 0.5 分以内视为同一档，5 分能换大约 8-10 个名次），但足以做三件危险的事：把并列变成第一、把同一档拉开“差距”、以及在分数接近的候选之间制造虚假的区分度。当你看到一份模型互评榜单的第一名领先第二名 2 分，先问一句：这个差距有没有超过评委的自偏好幅度。
偏差二：家族偏差——比自偏好更危险
自偏好只影响自家。家族偏差影响的是“风格相似者”：评委倾向于给与自己输出风格相近的模型打高分，哪怕不同厂商。
测量方法：对每款评委，计算它给“风格最像自己的五款”与“最不像自己的五款”的分差（风格相似度由输出长度、句式熵、 Markdown 使用率等表层特征聚类得出）。
| 评委 | 家族偏差（风格相近组 − 相远组） | 最集中的维度 |
|---|---|---|
| Qwen3.8-Max | +4.6 | Agent、文档 |
| 豆包 Seed 2.0 Pro | +4.1 | 中文、视频描述 |
| GLM-5.3 | +5.2 | 文档、图表 |
| Kimi K3 | +3.8 | 长文本结构 |
| DeepSeek-V4.1-Flash | +2.6 | 图表取数 |
| 书生 InternVL 4.0 | +3.3 | 感知描述 |
| 蚂蚁百灵 Ling 2 | +4.4 | 中文长文本 |
| 网易伏羲 2 | +4.9 | 生成任务 |
家族偏差平均 +4.1，最大 +5.2，且集中在 Agent 与文档两个维度。 为什么是这两个？因为它们的评分最依赖“格式规范性”——function call 的 JSON 结构、文档的字段完整性——而格式规范恰恰是最容易模仿的风格特征。相比之下，视频与生成维度的家族偏差明显更小（< 2.5），因为输出差异大、风格难抄。
这就是家族偏差比自偏好危险的原因：它不作用于“自家”，作用于“所有像自己的”——一家厂商的格式偏好会被所有模仿它的评委放大，最终整个榜单向某一种输出格式倾斜。而格式与能力的关系，本来就比人们以为的弱。
偏差三：分数压缩——强评委的打分尺度更窄
测量方法：每款评委给 32 款模型的给分跨度（最高分 − 最低分）。
| 评委 | 总榜名次 | 给分跨度 | 打分行为 |
|---|---|---|---|
| Qwen3.8-Max | #1 | 11 分 | 极度压缩：32 款全部落在 82–93 |
| GLM-5.3 | #4 | 14 分 | 高度压缩 |
| 豆包 Seed 2.0 Pro | #2 | 16 分 | 压缩 |
| Kimi K3 | #5 | 19 分 | 中度 |
| DeepSeek-V4.1-Flash | #12 | 22 分 | 中度 |
| 书生 InternVL 4.0 | #16 | 26 分 | 分散 |
| 蚂蚁百灵 Ling 2 | #22 | 29 分 | 分散 |
| 网易伏羲 2 | #29 | 34 分 | 极度分散：32 款落在 51–85 |
压缩与评委自身能力强相关：最强的评委跨度 11 分，最弱的 34 分，差 3 倍。
解释很直接：对强模型来说，所有输出都“还行”，差异需要极细的尺度才能分辨，于是它把 32 款压成一团；对弱模型来说，好坏差异刺眼，于是它拉开 34 分的跨度。这产生了一个反直觉的后果：用最强模型当评委，会把中下游模型压成难以区分的一团——恰好看不见最该被区分的差距。 而用弱模型当评委，分数跨度大但系统性偏移，排序同样失真。
把三种偏差折成一张折扣表
现在可以回答“模型互评榜单该怎么读”了。本站的做法是给每个评委一个折扣系数：
| 偏差类型 | 平均幅度 | 折扣建议 |
|---|---|---|
| 自偏好 | +3.2 | 家族内分数先减 3 分再比 |
| 家族偏差 | +4.1 | 格式规范类维度（Agent、文档）的分数整体打九折 |
| 分数压缩 | 强评委跨度 11 | 只看前 10 名时，强评委的榜单几乎没有区分度 |
三条合并的结论：一份“模型互相打分”的榜单，前五名以内的名次差异，大概率小于评委偏差的总和。 这不是说模型互评没用——它在大跨度筛选（前 10 与后 20）上依然有效，因为 30 分以上的差距大于所有偏差之和。失效的是精确排序。
交叉评审与本站天梯榜的关系
本站不用模型互评分做排名，理由正是上面这张表。但我们把交叉评审结果用在了两个地方：
- 误差估计。 人工分的合理不确定区间，参照同跨度评委的给分分布设定——这是 方法论页面 里 B 级证据“±1.5 分”区间的经验来源之一。
- 格式审计。 家族偏差最集中的 Agent 与文档两个维度，我们额外人工复核了“格式规范分”与“内容正确分”的比值，防止排名向输出格式倾斜。
天梯榜测能力，交叉评审测评审可靠性。 后者是前者的误差源之一——这份矩阵的价值，就是让下一次你看到“AI 评委”榜单时，手里有一个折扣系数。
复现方式
评委集、提示词、量表、盲评流程与聚合脚本随站点数据发布；每次扩样后重跑，偏差矩阵随版本更新在 更新日志。被评输出统一裁剪为 500 字以内并去除可识别特征；同一评委三次评分取中位数；评委自身不知情（无系统提示披露评分对象含自家家族）。
这是全网第一份公开的中文多模态交叉评审矩阵。它不权威——样本量 8 个评委、每人 96 次评分——但它是可复现的，而复现是偏差测量唯一的存在方式。
关于本文的常见问题
交叉评审的分数能替代天梯榜吗？
不能，它测的是另一件事。天梯榜测“能力”，交叉评审测“评审可靠性”——后者是前者的误差源之一。这份矩阵的正确用途是给你一个折扣系数：当你看到任何一份“模型互相打分的榜单”，可以按本文的偏差表折算。
实验怎么复现？
评委集、提示词、评分量表与聚合方式全部随站点数据公开（scripts/ 下的评审脚本），评分在盲评条件下进行：评委看不到模型名，只看到输出。每次扩样后重跑一次，偏差矩阵随版本更新。
