
先记住这三点
- 32 款里只有 11 款具备音频模态,其余 21 款连声音都收不到;11 款里真正把方言当主训练目标的只有 3 款。
- 方言小天梯榜第 1 是总榜第 18 的讯飞星火 X2(86.5,+17),智元 WITA-Omni 从第 23 升到第 5(+18);总榜前三里只有豆包留在方言前三。
- L1 转写大多数音频模型可及格,L2 理解只剩 3 款,L3 方言生成全站一款都没有——“方言客服”今天必须靠 ASR + 语料库 + TTS 三段拼接。
所有公开的多模态基准都在测试标准普通话——标准的录音棚音质、标准的播音腔、标准的书面语词汇。没有一份主流基准在测粤语、吴语、闽南语、川渝官话,或者维吾尔语、藏语;更没有一份在测“中英夹杂的跨境客服口音”。 而这些恰恰是国产模型在真实业务里每天要处理的声音。
这篇文章建一份独立的小天梯榜:8 类没人测的中文方言与口音,32 款模型逐一评估。它与这份 2026 中国国产原生多模态大模型对比排名天梯榜 的总榜前三名只有 1 款重合。
第一道门:32 款里只有 11 款能“听到声音”
在讨论方言好坏之前,先要过一道结构性的门:32 款模型里只有 11 款具备音频模态。 另外 21 款在方言场景里直接不参评——不是分数低,是它们连声音都收不到。
| 有音频模态(11 款) | 无音频模态(21 款) |
|---|---|
| 豆包 Seed 2.0 Pro、Qwen3.5-397B、Qwen3.8-Max、Qwen3-Omni-30B、MiMo-V2.5、MiniMax M2.5、阶跃 Step-3、美团 LongCat-Next、讯飞星火 X2、智元 WITA-Omni、紫东太初 2.0 | Kimi K3、GLM-5、GLM-5.3、Qwen3.8-Flash、DeepSeek-V4.1-Flash、DeepSeek-OCR 2、SenseNova 6.5 Pro、文心 ERNIE 5.1、快手 Keye-VL-2.0、混元 Vision、盘古 5.5、书生 InternVL 4.0 等 |
这 11 款里还有一半是“收得到声音、听不出口音”:它们的音频通道主要为普通话和英文设计,方言只作为噪声被鲁棒性覆盖。真正把方言当卖点的,全站只有 3 款。
第二道门:三档能力,不是一档
“支持方言”是一个被严重压缩的说法。真实的语音链路有三档,能过第一档不代表能过第二档:
- L1 转写(ASR):把方言语音变成文字。这一档大部分有音频的模型都能及格。
- L2 理解:听懂方言里的俚语、语序与言外之意,而不是只做音素映射。例如粤语“你食咗饭未”要理解成“吃饭了吗”,而不是逐字转写。
- L3 生成:用方言语体生成回复文本,或合成方言语音。这一档几乎无人及格——没有一款模型在方言上同时做对 L1 与 L3。
本表的分数只评 L1 与 L2。 L3 单列在最后一节,因为它是另一个产品(语音合成),不是理解模型的能力。
八类场景与各自的难点
| 类别 | 核心难点 | 为什么公开基准不测 |
|---|---|---|
| 粤语(含港式口语) | 六声调、懒音、大量英文借词 | 粤拼标注成本高,且内地业务需求分布不均 |
| 闽南语 / 台语 | 声调系统与普通话差异极大,词汇对应弱 | 训练语料稀缺,且两岸语境敏感 |
| 吴语(上海话 / 苏州话) | 连读变调、浊音、内部方言差异大 | 使用者多为中老年,公开录音少 |
| 川渝官话 | 语速快、儿化重、与普通话互懂度高 | 太“接近普通话”,基准方认为无需单测 |
| 东北官话 | 词汇差异大于音系差异 | 被当成普通话的方言变体 |
| 中原官话(河南 / 陕西) | 尖团音、入声残留 | 同上,混淆在“普通话鲁棒性”里 |
| 民族语言(维 / 藏 / 蒙) | 非汉语语系,需要独立音素与词典 | 数据敏感性高,无公开评测集 |
| 中英夹杂(code-switching) | 句内语码切换、口音影响英文识别 | 基准按单语设计,语码切换不在评测范围 |
第四、五、六类的共同问题是**“太像普通话”:基准方默认把它们算进普通话鲁棒性,于是它们永远拿不到独立分数。第七、八类的共同问题是“数据不能公开”**——和安防监控视频小天梯是同一个结构性原因。
逐类前三名
每类给出前三名。评分为 0–100 的桌面评估,依据是厂商方言案例、公开论文同类指标与社区复现;证据等级在文中逐条标注。
粤语(含港式口语)
- 讯飞星火 X2 92 — 方言 ASR 是它的公开卖点,语音语义份额国内第一
- 豆包 Seed 2.0 Pro 90 — 中文生活场景先验强,粤语俚语理解好
- Qwen3.8-Max 88 — 通用音频通道扎实,懒音处偶有丢字
吴语(上海话 / 苏州话)
- 讯飞星火 X2 86 — 连读变调处理最好
- Qwen3.8-Max 80 — 通用能力强,内部方言差异处理一般
- 豆包 Seed 2.0 Pro 78 — 长三角语料有积累,苏州话弱于上海话
闽南语 / 台语
- 讯飞星火 X2 84 — 唯一进入 L2 的模型
- 豆包 Seed 2.0 Pro 76 — L1 可用,俚语开始丢失
- Qwen3.8-Max 74 — 同价位最强,但仍以音素转写为主
川渝官话
- 讯飞星火 X2 90
- 豆包 Seed 2.0 Pro 88
- Qwen3.8-Max 86
东北官话
- 讯飞星火 X2 91
- 豆包 Seed 2.0 Pro 88
- Qwen3.8-Max 85
中原官话(河南 / 陕西)
- 讯飞星火 X2 90
- 豆包 Seed 2.0 Pro 86
- Qwen3.8-Max 84
民族语言(维吾尔语 / 藏语 / 蒙古语)
中英夹杂(code-switching)
- 豆包 Seed 2.0 Pro 90 — 电商与跨境场景先验,切换点识别准
- Qwen3.8-Max 88 — 多语言底子好,口音重时英文段掉分
- Qwen3.5-397B-A17B 86 — 32 语言 OCR 同源的语料优势
失败模式的共同点:方言不是“听不清”的问题,是“听清了但理解错”的问题。 转写正确率与语义理解正确率之间有 10–20 个百分点的落差,而绝大多数评测只报前者。
方言小天梯榜:讯飞从前 20 升到第 1
把八类分数按业务常见度加权(粤语 18%、川渝 15%、中英夹杂 14%、东北 12%、吴语 12%、闽南 12%、中原 10%、民族语言 7%):
| 名次 | 模型 | 方言加权分 | 总榜名次 | 落差 |
|---|---|---|---|---|
| 1 | 讯飞星火 X2 | 86.5 | 18 | +17 |
| 2 | 豆包 Seed 2.0 Pro | 84.4 | 2 | 0 |
| 3 | Qwen3.8-Max | 83.2 | 1 | −2 |
| 4 | Qwen3.5-397B | 81.2 | 3 | −1 |
| 5 | 智元 WITA-Omni | 77.4 | 23 | +18 |
| 6 | MiMo-V2.5 | 76.5 | 7 | +1 |
| 7 | 阶跃 Step-3 | 74.2 | 17 | +10 |
| 8 | MiniMax M2.5 | 72.2 | 19 | +11 |
| 9 | Qwen3-Omni-30B | 70.0 | 10 | +1 |
| 10 | 美团 LongCat-Next | 66.4 | 9 | −1 |
| 11 | 紫东太初 2.0 | 65.5 | 25 | +14 |
三件事同时发生:
第一,总榜第 18 的讯飞星火在这里是第 1,领先第 2 名 2.1 分。 这再次复现了 排名背离指数 的现象:总榜名次对垂直语音场景的预测力接近于零。讯飞的综合分只有 84.5,因为它的视觉、视频、Agent 都不是第一梯队;但在“听得懂人话”这件事上,它是全站唯一把方言当主训练目标的模型。
第二,智元 WITA-Omni 从第 23 升到第 5。 它的输入是连续音视频流——服务机器人本来就要在人声嘈杂、口音各异的环境里判断“谁在说话、该不该回应”。这类“交互场景音频”和“内容场景音频”是两种能力,总榜把它们压在一起了。
第三,只有 1 款总榜前三留在方言榜前三(豆包)。 Qwen3.8-Max 从第 1 降到第 3——不是它弱,是“普通话够用”这件事在方言场景里失效了。
L3 生成:一档几乎无人及格的空白
如果把“用方言回复”也当成能力,局面完全不同:11 款有音频的模型里,只有 2 款能生成方言语体文本(讯飞、豆包),且都只在粤语上稳定;能合成方言语音的,全站一款都没有。
这意味着今天任何“方言客服”的产品形态,实际都是“L1/L2 理解 + 普通话语料库 + 第三方 TTS”的三段拼接,而不是端到端模型能力。采购时要问清楚:你要买的是“听懂方言”,还是“用方言说话”——后者目前需要单独采购语音合成,不在任何多模态模型的评分里。
验收清单:不要用普通话的样本验收方言
不要拿公开榜单截图做验收。挑 60 条自己的音频,按这个配比:
- 20 条典型方言(目标方言、正常口音、安静环境)
- 15 条口音漂移(本地人但长期在外、混入普通话词汇)
- 10 条中英夹杂(跨境/外贸客服的真实录音形态)
- 10 条噪声场景(店内、路边、车内)
- 5 条“应该拒答”的样本(模糊、多人重叠、听不出语言)
最后一组最关键。好模型会说“听不清,请重复”,差模型会按普通话的音近字猜一个。 验收指标至少记三项:转写准确率、语义理解正确率、拒答正确率;只报第一项的评测会系统性高估方言能力。
边界
- 11 款参评是一个结构限制,不是能力排名。 音频模态的缺席让 21 款模型无法进入本表,这本身是模态负空间的一个实例。
- 分数来自桌面评估,不是封闭实验室。 依据是厂商方言案例、公开论文同类指标与社区复现;没有第三方统一复现的方言评测集。
- 方言是连续谱,不是离散类。 吴语内部分歧极大,本表用一个分数代表一类会损失信息;粤语内部同样分广府、四邑、高阳。
- 权重会移动名次。 把粤语权重从 18% 提到 30%,讯飞与豆包的差距会缩小,WITA 会掉出前五。
复现
八类分数来自站内桌面评估口径;加权表与总榜落差用站内综合分(综合分 = Σ 维度分 × 权重)直接计算。你可以按自己的业务分布改权重重排。
如果这篇文章只留下一句话:方言场景不能用总榜选型;先确认你的模型收不收得到声音,再确认它听得懂还是只听得清。
关于本文的常见问题
为什么有 21 款模型不参评?
因为它们没有音频模态,收不到声音——这是模态覆盖的结构限制,不是分数高低。方言场景的第一道门不是“准不准”,是“听不听得到”,而这一道门会先淘汰掉三分之二的模型。
方言场景能直接照天梯榜选型吗?
不能。先确认模型是否支持音频,再区分“听得清”与“听得懂”——转写正确率与语义理解正确率之间普遍差 10–20 个百分点,而多数评测只报前者。


