SpeechGPT 2.0-preview：首个面向交互和情景智能的语音对话模型

文章来源：万象ai发布时间：2025-03-10 12:48:51

复旦大学OpenMOSS人工智能开放实验室推出首个面向实时交互和情景智能的开源语音对话模型：SpeechGPT 2.0-preview，SpeechGPT 2.0-preview基于百万小时级中文语音数据训练，以端到端架构实现语音与文本模态的高度融合，可根据指令生成多情感、多风格的语音，包括模仿特定角色的情绪。

SpeechGPT 2.0-preview：首个面向交互和情景智能的语音对话模型.webp

一、核心技术突破

1. 端到端语音建模

模型通过语义-声学联合建模，直接处理语音输入并生成语音或文本输出，无需传统级联式ASR（语音识别）和TTS（语音合成）模块。其自研的超低比特率流式语音Codec（750bps）将语音压缩至每秒75个token，结合Codec Patchify技术聚合相邻时间步的语音token为统一向量，有效缓解跨模态建模冲突，支持流式输入输出，实现200ms以内延迟的实时交互。

2. 语音-文本混合建模

模型采用多阶段训练流程：

模态适应预训练：利用未标注语音数据学习语音模态特征；

跨模态指令微调：通过大规模跨模态指令数据集（SpeechInstruct）提升指令理解能力；

链式模态微调：优化跨模态转换的精准度，例如接收语音指令后用文本思考再以语音回复。

3. 多模态能力对齐

通过语音文本对齐预训练，模型“涌现”出未显式训练的泛化能力，例如无需语速调整数据即可控制语速，或模仿未见过的角色语气风格。

二、功能特性与性能表现

1. 拟人化交互体验

情感与风格控制：支持多情感（如虚弱、欢快）、多音色（男女切换）及多风格（诗歌朗诵、方言模仿）的精准控制，角色扮演能力突出；

2. 实时打断交互：百毫秒级响应速度支持自然对话中的即时打断与续接。

智能与实用性