
先记住这三点
- 32 款只有 8 种模态捆绑;文本+图像 32 款、视频 24、音频 11、GUI 4、具身 2。
- 没有一款 6/6:Qwen3.8-Max 是 5/6 缺具身,WITA-Omni 是 5/6 缺 GUI;具身 × GUI 的交集是 0。
- 两个真空白(6/6、具身+GUI),两个伪空白(音频+GUI 不带视频、具身+视频不带音频);音频与具身都没有独立评分。
先看有什么,再看没有什么
多模态评测习惯列“支持哪些模态”:文本、图像、视频、音频、GUI、具身。勾选越多,看起来越强。
但勾选表有一个盲区:它只告诉你已经存在的组合,不告诉你哪些组合根本没人做。 32 款国产模型里,模态配置并不是 32 种不同的形态,而是 8 种捆绑方式重复了 32 次;把这 8 种捆绑放到 6 个模态的 64 种可能组合里,空白比比皆是。
这篇文章画的是负空间:先列出存在的 8 种模态捆绑,再指出 4 个没人做的组合,最后回答一个更实用的问题——哪些空白是真需求,哪些只是没必要。
32 款模型,8 种模态捆绑
按本站的六模态口径(文本、图像、视频、音频、GUI、具身),32 款的覆盖是:
| 模态 | 覆盖模型数 | 占比 |
|---|---|---|
| 文本 | 32 | 100% |
| 图像 | 32 | 100% |
| 视频 | 24 | 75% |
| 音频 | 11 | 34% |
| GUI | 4 | 12.5% |
| 具身 | 2 | 6.3% |
把每款模型的模态集合去重后,只剩 8 种:
| # | 模态捆绑 | 数量 | 代表模型 |
|---|---|---|---|
| 1 | 文本 + 图像 + 视频 | 11 | GLM-5、SenseNova 6.5 Pro、ERNIE 5.1、Keye-VL-2.0、Hunyuan-Vision、MiniCPM-V 4.5、Pangu 5.5、DeepSeek-V4.1-Flash、Guanlan 3、Fuxi 2、Emu3.5 |
| 2 | 文本 + 图像 | 6 | DeepSeek-OCR 2、BAGEL-2、InternVL 4.0、云从从容 2、蚂蚁百灵 2、京东言犀 2 |
| 3 | 文本 + 图像 + 视频 + 音频 | 8 | 豆包 Seed 2.0 Pro、Qwen3.5-397B、MiMo-V2.5、LongCat-Next、Qwen3-Omni-30B、Step-3、MiniMax M2.5、紫东太初 2.0 |
| 4 | 文本 + 图像 + 视频 + GUI | 3 | Kimi K3、Qwen3.8-Flash、GLM-5.3 |
| 5 | 文本 + 图像 + 音频 | 1 | Spark X2 |
| 6 | 文本 + 图像 + 视频 + 音频 + 具身 | 1 | WITA-Omni |
| 7 | 文本 + 图像 + 视频 + 音频 + GUI | 1 | Qwen3.8-Max |
| 8 | 文本 + 图像 + 具身 | 1 | NeuroXess-N1 |
三条结构性事实:
文本 + 图像是底座,没有例外。 32 款全部具备;没有一款只做音频、只做视频或只做具身。所谓“多模态”,在这个样本里是“文本+图像再加东西”,不是替代文本/图像。
视频是分水岭。 24 款有视频,8 款没有;所有带 GUI 的模型都有视频,所有带具身的模型都有图像。视频不是“再加一个模态”,它是通用模型与专用模型的分界。
音频与 GUI 几乎不碰面。 11 款有音频,4 款有 GUI,两者交集只有 1 款(Qwen3.8-Max)。这不是随机:音频来自语音/通话场景,GUI 来自屏幕操作场景,两条产品线的数据采集方式完全不同。
负空间一:没有一款 6/6
按六模态口径,没有任何一款模型集齐全部六种模态。
最接近的是两款 5/6:
- Qwen3.8-Max:文本 + 图像 + 视频 + 音频 + GUI,缺具身。它是“屏幕里的全模态”。
- WITA-Omni:文本 + 图像 + 视频 + 音频 + 具身,缺 GUI。它是“身体里的全模态”。
一个缺身体,一个缺屏幕——这是两条完全不同的产品路线。把它们都叫“全模态”,会掩盖一个事实:在当前的产品形态里,“全模态”最多是 5/6,而且缺的那一项决定了它只能服务哪一类场景。
被称为“全模态”的紫东太初 2.0 实际是 4/6(文本+图像+视频+音频,缺 GUI 与具身);它的“全”是学术口径的四模态,不是本文的六模态。口径不同,结论不同;这也是“全模态”这个词最容易被误读的地方。
负空间二:具身 + GUI = 0
这是整张表里最干净的零:没有一款模型同时具备具身与 GUI。
为什么值得注意?因为服务机器人、巡检机器人、零售终端的真实任务,往往同时需要两件事:
- 看懂物理世界:走到设备前,识别指示灯、屏幕、按钮、仪表盘;
- 操作数字界面:点屏幕、输密码、切换页面、处理弹窗。
前者是具身视觉,后者是 GUI Agent。当前市场把它们分成了两类模型:WITA 能看物理世界但不能点屏幕;Kimi、Qwen3.8-Flash、GLM-5.3 能点屏幕但没有身体。中间那一步——机器人走到屏幕前并完成一次触控操作——没有单一模型覆盖。
这不是说厂商应该马上做一个 6/6;它说明“具身 + GUI”是一个真实的集成缺口。采购方如果要做这类场景,至少需要两个模型加一层编排,预算里必须留出这部分。
负空间三:音频 + GUI,但不带视频 = 0
唯一同时有音频与 GUI 的 Qwen3.8-Max,也带视频。所以“音频 + GUI、不带视频”这个组合是零。
它对应一个具体形态:纯语音交互的屏幕代理——呼叫中心坐席一边听客户说话,一边在 CRM 里点按、填单、切页;不需要理解摄像头画面,只需要音频 + 屏幕。
这个空白是“伪空白”还是“真空白”?我们的判断是偏伪:Qwen3.8-Max 多带一个视频模态,并不妨碍它做音频 + GUI;多一个模态是能力冗余,不是缺陷。真正的问题不是“没有这个组合”,而是“这个组合没有被单独评测”——音频质量没有独立维度,GUI 成功率也只有自建测试。
负空间四:具身 + 视频,但不带音频 = 0
WITA-Omni 同时有视频、音频与具身;NeuroXess-N1 有具身但没有视频。于是“具身 + 视频、不带音频”也是零。
它对应的是无声工业机器人:只看画面、不需要麦克风,避免把车间噪声喂进模型。这个空白同样偏伪——WITA 多一个音频输入,可以在部署时关掉;真正缺的是“关掉音频后,视频时序与具身控制是否仍然成立”的独立验证。
负空间里,两个是真空白(6/6、具身+GUI),两个是伪空白(音频+GUI 不带视频、具身+视频 不带音频)。 区分真假的标准不是“有没有这个组合”,而是“多一个模态是否妨碍这个场景”。多一个模态通常不妨碍;少一个关键模态才妨碍。
模态共现矩阵
| 文本 | 图像 | 视频 | 音频 | GUI | 具身 | |
|---|---|---|---|---|---|---|
| 文本 | 32 | 32 | 24 | 11 | 4 | 2 |
| 图像 | 32 | 32 | 24 | 11 | 4 | 2 |
| 视频 | 24 | 24 | 24 | 10 | 4 | 1 |
| 音频 | 11 | 11 | 10 | 11 | 1 | 1 |
| GUI | 4 | 4 | 4 | 1 | 4 | 0 |
| 具身 | 2 | 2 | 1 | 1 | 0 | 2 |
矩阵里最刺眼的两个零:GUI × 具身 = 0,以及隐含的 6/6 = 0。其余组合都有至少一款。
另一个值得注意的数字:视频 × 音频 = 10,而音频总数是 11。 也就是说,除了 Spark X2,所有带音频的模型都带视频。音频在这个样本里几乎总是视频的附属品,而不是独立能力。这与评分表的结构一致——我们给视频 14% 权重,却没有给音频任何独立维度。
有模态 ≠ 能用
模态勾选是厂商声明,不是能力证明。三个反例:
视频:24 款有,但视频分从 55 到 96。 京东言犀 2 有视频,视频分 55;豆包有视频,96。同样一个勾,差距 41 分。“支持视频”只说明接口能收视频,不说明能理解时序。
GUI:4 款有,GUI 分从 68 到 95。 BAGEL-2 有 GUI 吗?没有——它的多模态是文本+图像。4 款 GUI 模型是 Kimi、Qwen3.8-Max、Qwen3.8-Flash、GLM-5.3,分从 95 到 87。GUI 是权重最高(并列 14%)且覆盖最低之一的模态:14% 的权重,只有 12.5% 的模型覆盖。
音频:11 款有,但没有独立评分。 本站的 8 个维度里没有“音频理解”。所以这份榜单无法回答“谁的语音最强”,只能回答“谁声称支持音频”。这是评测口径的盲区,也是下一版要补的维度。
具身:2 款有,没有独立评分。 WITA 与 NeuroXess 的具身能力只在场景描述里,没有进入综合分。它们的名次(#23、#30)主要反映其他七个维度,不反映具身能力本身。
模态覆盖是必要条件,不是能力证明。 采购时看到“支持音频/视频/GUI”的勾,应该追问三件事:有没有独立评测?在你场景里的准确率是多少?失败时的降级路径是什么?
采购:用负空间做集成预算
模态负空间的实用价值,不是“催厂商做 6/6”,而是帮你算集成成本。
步骤:
- 列出你的任务真正需要的模态集合。 不是“越多越好”,是“哪几个是必须”。
- 在 8 种捆绑里找覆盖。 如果没有完全覆盖,找最小超集。
- 如果最小超集也不存在,算两个模型 + 编排的成本。 具身 + GUI 是典型:一个具身模型 + 一个 GUI Agent + 一层任务编排。
- 把“多一个模态”与“少一个模态”分开计价。 多一个模态通常是冗余,成本是推理;少一个模态是缺口,成本是集成。
一个具体例子:服务机器人要在屏幕上完成签到。你的模态集合是文本 + 图像 + 视频 + GUI + 具身。当前没有 6/6,最小超集也不存在(WITA 缺 GUI,Qwen3.8-Max 缺具身)。两条路径:
- 路径 A:WITA 负责看人与环境,Qwen3.8-Flash(¥1.2,GUI 87)负责点屏幕,中间用任务编排衔接。成本是双模型 + 编排。
- 路径 B:等一款 6/6。成本是时间,且不确定。
负空间告诉你:路径 A 不是妥协,是当前唯一可行的工程解。 这就是为什么“全模态”在产品上很诱人,在采购上却常常是双模型。
边界
- 模态声明来自
src/data/models.ts的modalities字段,是厂商口径,不是本站实测。 某些模型可能通过适配器支持更多模态,但未在声明里。 - “GUI”与“具身”的定义有弹性。 我们把 GUI 定义为屏幕截图理解与坐标操作,把具身定义为物理身体/传感器输入;不同厂商的用法可能更宽。
- 32 款是中国样本,不是全球样本。 负空间只描述这个样本;全球市场可能有 6/6 或具身+GUI 的模型。
- 音频与具身没有独立评分。 这是本站的局限,不是厂商的。模态覆盖表不能替代能力评测。
复现
从 src/data/models.ts 解析每款模型的 modalities 数组,去重得到 8 种捆绑;共现矩阵按两两交集计数;负空间按 6 个模态的 64 种组合减去已存在集合得到。脚本随站点数据发布,扩样后重跑,空白图随更新日志更新。
如果这篇文章只留下一句话:多模态的竞争不在“谁勾得多”,在“谁覆盖了别人没有的那一格”。 而那一格,往往不在发布会的 PPT 里,在集成预算里。
关于本文的常见问题
没有这个组合,是否说明有未满足的需求?
不一定。多一个模态通常是冗余,不是缺陷;判断标准是“多出来的模态是否妨碍这个场景”。具身+GUI 是真缺口,音频+GUI 不带视频则多半是伪缺口。
为什么 32 款只有 8 种组合?
模态是按数据采集方式捆绑的:视频与音频常一起采,GUI 与截图/文本一起采,具身与深度/运动数据一起采。组合不是随机的,是数据成本的形状。


