简介
OpenVoice,一种多功能的即时语音克隆方法,只需要参考说话者的一小段音频剪辑即可复制他们的声音并生成多种语言的语音。OpenVoice 支持对语音风格进行精细控制,包括情感、口音、节奏、停顿和语调,以及复制参考扬声器的音调颜色。OpenVoice 还实现了零样本跨语言语音克隆,适用于未包含在大规模说话人训练集中的语言。OpenVoice 的计算效率也很高,其成本比性能较差的商用 API 低数十倍。
OpenVoice论文:https://arxiv.org/pdf/2312.01479.pdf
OpenVoice项目:https://github.com/myshell-ai/OpenVoice
OpenVoice特征:
准确的色调颜色克隆。OpenVoice可以准确克隆参考音色,生成多种语言和口音的语音。
灵活的语音风格控制。OpenVoice 支持对语音风格(如情感和口音)以及其他风格参数(包括节奏、停顿和语调)进行精细控制。
零样本跨语言语音克隆。生成的语音的语言和参考语音的语言都不需要在大规模说话人多语言训练数据集中呈现。
OpenVoice用法:
1.灵活的语音风格控制。请参阅 demo_part1.ipynb,了解 OpenVoice 如何对克隆的语音实现灵活的样式控制的示例用法。
2.跨语言语音克隆。请参阅 demo_part2.ipynb,了解 MSML 训练集中可见或未可见的语言示例。
3. 高级用法。基本扬声器型号可以替换为用户喜欢的任何型号(任何语言和风格)。请使用演示中演示的功能来提取新基座扬声器的音色嵌入。se_extractor.get_se
4. 生成自然语音的技巧。有许多单说话人或多说话人的 TTS 方法可以生成自然语音,并且很容易获得。只需将基本扬声器型号替换为您喜欢的型号,您就可以将语音自然度提升到您想要的水平。
语言
我们只支持此版本模型重量的英文和中文。OpenVoice 可以适应任何其他语言,只要提供基础扬声器即可。
自 2023 年 5 月以来,OpenVoice 一直在为 myshell.ai 的即时语音克隆功能提供支持。截止到2023年11月,语音克隆模式已被全球用户使用数千万次,见证了平台用户爆发式增长。
需要网络免费
AI教程资讯更多
AI教程资讯 更多
人工智能医学大模型“Med-Go”正式发布
更新时间:2025-02-17
MaxKB:基于LLM大语言模型的知识库问答系统
更新时间:2024-12-10
HivisionIDPhotos:一款轻量高效的AI证件照制作工具
更新时间:2024-12-13
2024 年8个最佳提词器工具推荐|短视频创作者必备
更新时间:2024-12-17
高考大模型测评_豆包文科成绩领先
更新时间:2024-12-26
实测通义大模型2.5:闭源赶超GPT-4 Turbo,开源击败Llama-3 70B,红遍全球的国产开源中文大模型
更新时间:2024-12-26
WPS AI全面测评_WPS AI使用教学_WPS AI实用指南
更新时间:2024-12-30
通义听悟有什么黑科技_通义听悟功能介绍
更新时间:2025-01-06
通义听悟有什么能力_通义听悟有什么功能
更新时间:2025-01-06
人工智能专家王资凯:媒体从业人员要保持开放心态和对新工具的敏感性
更新时间:2025-01-20