方法 · 权重 · 证据
这份天梯榜是怎么算出来的
我们不宣称做过封闭实验室复现。这是一套基于公开证据的结构化评分:把第三方榜单、官方报告、社区复现与场景 checklist 映射到 8 个维度,并明确标注不确定性。
一句话版本
公式
一个简单的加权和,难的是每一分的依据
composite = 0.20·P + 0.18·D + 0.14·C + 0.14·V + 0.14·A + 0.06·G + 0.06·Z + 0.08·EP 视觉感知 · D 文档 OCR · C 图表推理 · V 视频时序 · A Agent · G 生成 · Z 中文 · E 生态。每项 0–100,保留一位小数。
| 维度 | 权重 | 定义与高分标准 |
|---|---|---|
| 视觉感知与定位 | 20% | 复杂场景识别、细粒度属性、空间关系、指代定位(bbox / point)与中文界面元素识别。 |
| 文档解析与中文 OCR | 18% | 票据、表格、手写、竖排、公式与低质扫描件;衡量字符准确率与版面结构还原。 |
| 图表与文档推理 | 14% | 读图取数、趋势归纳、跨页比对、单位换算与多步算术,而非单纯 OCR。 |
| 视频与长时序理解 | 14% | 长视频事件定位、时序因果、音画对齐、密集字幕与帧间一致性。 |
| GUI Agent 与工具调用 | 14% | 截图理解、坐标点击准确性、跨应用长任务规划、失败恢复与多模态工具编排。 |
| 生成与图像编辑 | 6% | 文生图、指令编辑、多轮编辑一致性、中文文字渲染与交错图文生成。 |
| 中文语境与文化 | 6% | 中文梗、古建/文物、政策文本、方言语音与本土生活场景的先验理解。 |
| 生态、成本与可用性 | 8% | API 稳定性、开源权重、私有化与国产芯片适配、文档质量、限流与真实单价。 |
证据等级
同样 92 分,可信度可能不同
交叉验证
至少一个独立第三方榜单或复现结果与官方口径一致;技术报告披露训练与评测细节。
14 models部分验证
以官方技术报告为主,辅以少量社区复现;版本迭代快或公开基准不完整。
16 models单一来源
仅厂商自测或单一媒体转述,缺少可复核材料。此类模型会被降权并标注“观察中”。
2 models梯队
分数线与梯队
梯队是沟通工具,不是质量判决。相差 0.5 分以内视为同一水平;跨梯队通常意味着至少一个维度存在结构性差距。
局限
这套方法做不到什么
- 没有封闭实验室复现:所有分数来自公开证据的映射,不是同一台机器上的同条件跑分。
- 存在信息滞后:厂商版本迭代快,公开基准往往落后一个版本。
- 价格是快照:未计入阶梯折扣、缓存与批量优惠。
- 缺少人类偏好:没有做成对盲测,风格、语气与可用性不在评分内。
- 中文权重仍可能偏低:面向出海业务时,应把中文权重降到 0–2%。
更新
更新、订正与引用
更新节奏
每月第一个周一常规复核;重大版本发布后 72 小时内补充观察,30 天后转正。
订正流程
收到可复核证据后 7 天内处理,更新日志保留旧分与新分,不静默修改。
引用方式
国产多模态天梯榜. (2026). 2026 中国国产原生多模态大模型对比排名天梯榜. 2026cnmllmtierlist.datacorp.top
关于评分方法
为什么权重是这 8 个,而不是 10 个或 5 个?
这 8 个维度覆盖了多模态选型中最常见的决策变量:看什么(感知/文档/图表/视频)、做什么(Agent/生成)、服务谁(中文)、怎么落地(生态)。增加维度会稀释权重,减少维度会掩盖关键差异。
分数是人工打的还是模型打的?
分数由编辑部按固定评分卡人工确定,参考公开基准、官方技术报告与社区复现;AI 仅用于资料整理与初稿,不参与最终定分。每个模型标注证据等级,A 级表示有第三方交叉验证。
为什么同样 90 分,两个模型的实际体验差很多?
综合分是维度加权,不包含延迟、稳定性、提示词敏感度与产品交互。两个模型可能总分相同,但一个偏文档、一个偏视频。请结合维度分与场景矩阵判断。
发现分数不合理,可以申诉吗?
可以。请提供可复核的证据(公开基准、复现脚本或失败样本),通过关于页面的邮箱提交。我们会在 7 天内复核,并在更新日志中公开处理结果。
本站与厂商有合作吗?
没有。本站不接厂商付费排名、不参与联盟推广。所有模型按同一套规则评分,商业合作仅限于不影响评分的展示位,并会明确标注。
个人榜单 · 非官方评分
本页所有排名、分数与对比均为个人评测榜单,不是官方评分,也不代表任何厂商、机构或监管口径。分数是公开证据在自定权重下的主观映射,换一组权重名次就会变。如有不同意见或发现事实错误,欢迎联系站长:jizhi2024@foxmail.com——我们会逐条核对并在更新日志中记录订正。