首页 > AI教程资讯

MoshiVis：一款能听还能看，并用流畅的语音跟你讨论图像内容的视觉语音模型

文章来源：万象ai发布时间：2025-04-10 13:24:04

MoshiVis是什么？

MoshiVis 是一个在Moshi基础上开发的一款视觉语音模型，并保持了Moshi的低延迟和自然对话能力，能够以自然对话风格讨论图像内容。支持多轮对话，可以描述图片的文字内容并回答有关于图片的问题。

它通过交叉注意力机制将视觉信息融入语音流，同时保持低延迟和低内存占用。MoshiVis 提供了多种后端支持（如 PyTorch、Rust、MLX），并发布了预训练模型和合成视觉对话数据集，适用于实时语音交互场景。

MoshiVis：一款能听还能看，并用流畅的语音跟你讨论图像内容的视觉语音模型.jpg

MoshiVis核心功能

视觉与语音结合：MoshiVis 在 Moshi 的基础上增加了视觉理解能力，能够将图像信息融入语音对话中。通过扩展核心 Transformer 架构，引入交叉注意力机制，将视觉信息注入语音流中。

低延迟与低内存占用：为了保持低延迟并减少内存使用，MoshiVis 的交叉注意力投影权重在各层之间共享，并通过门控机制调节视觉输入流。

自然对话风格：模型在融入视觉能力的同时，保留了 Moshi 原有的自然对话风格。

MoshiVis技术架构

基础模型：基于 Moshi，一个 7B 参数的语音-文本基础模型。

视觉编码器：使用 PaliGemma2 家族的预训练冻结 400M 视觉编码器。

适配器参数：在 Moshi 基础上增加了约 206M 的适配器参数，用于视觉信息的处理。

交叉注意力机制：通过交叉注意力模块将视觉信息注入语音流，同时通过门控机制调节视觉输入的影响。

MoshiVis技术架构.webp

MoshiVis模型发布

模型变体：发布了基于 Moshika（女声）的 MoshiVis 模型，包含完整的模型权重，包括语音编解码器、文本分词器、图像编码器和基础 Moshi 模型。

后端支持：提供了三种后端支持，包括 PyTorch、Rust 和 MLX，支持不同的量化格式（如 BF16、Q8_0 等）。

许可证：模型权重（不包括视觉编码器）在 CC-BY 4.0 许可下发布，视觉编码器在 Gemma 许可下发布。

MoshiVis使用方式

WebUI 前端：提供了 WebUI 前端，支持回声消除，提升模型表现。用户可以通过预构建的静态版本或自行编译源代码来使用。

后端运行：

PyTorch：需要约 24GB GPU 内存，不支持量化。

Rust：支持 GPU 加速，需要 Rust 工具链和 CUDA（或 macOS 上的 Metal）。

MLX：支持 bfloat16 和量化（q4、q8）格式。

运行命令：提供了详细的运行命令，用户可以根据需要选择不同的后端和量化格式。

相关链接：

GitHub项目：https://github.com/kyutai-labs/moshivis

HuggingFace模型：https://huggingface.co/collections/kyutai/moshivis-v01-67cef4acae6a5d75d6d6c883

演示：https://vis.moshi.chat/

论文：https://arxiv.org/abs/2503.15633

Qwen2.5-Omni：阿里巴巴发布的端到端全能多模态旗舰模型

上一篇: Qwen2.5-Omni：阿里巴巴发布的端到端全能多模态旗舰模型

Qwen2 5-Omni 是阿里巴巴发布的新一代端到端多模态旗舰模型，可以理解文本、音频、图像、视频，可以同时进行思考和说话，并通过实时流式响应同时生成文本与自然语音合成输出。

BrowserAgent：一款基于浏览器的AI自动化工具，无需编写代码即可创建AI工作流。

下一篇: BrowserAgent：一款基于浏览器的AI自动化工具，无需编写代码即可创建AI工作流。

Browseragent 是一款基于浏览器的AI自动化工具，无需编写代码即可创建自定义 AI 工作流。它利用浏览器 GPU 运行 AI 模型，完全本地处理数据，确保隐私且无需支付 API 费用。

相关攻略更多

热门AI工具更多

最新资讯更多

PhotoG - AI图片生成

PhotoG - AI图片生成

AI工具

更新时间：2025-01-08