DeepL Voice 上线 Aure 模型,实时翻译可保留语调与语速
DeepL 为 DeepL Voice 推出新模型 Aure,实时翻译会把原说话人的语调、情绪、重音和语速带入目标语言。此前 DeepL Voice 基于对话开始时采集的固定音色样本生成语音,无法捕捉情绪变化或讽刺语气;Aure 则在对话过程中持续分析译文和原始音频,训练时把音色、语音旋律和内容分离以便分别迁移,并用强化学习避免输出带入口音。
DeepL 为 DeepL Voice 推出新模型 Aure,实时翻译会把原说话人的语调、情绪、重音和语速带入目标语言。此前 DeepL Voice 基于对话开始时采集的固定音色样本生成语音,无法捕捉情绪变化或讽刺语气;Aure 则在对话过程中持续分析译文和原始音频,训练时把音色、语音旋律和内容分离以便分别迁移,并用强化学习避免输出带入口音。
Phonon 团队回顾两周前开源的端侧 TTS 模型,介绍其能力、演示项目以及在 Hugging Face Open TTS Leaderboard 上的评测结果。
推荐理由:原文给出 Phonon 在 Open TTS Leaderboard 上的多语言排名与 CPU 首音延迟表现,可对照其小体积端侧定位。
Mistral 发布 Voxtral 3,包含语音转文字模型 Voxtral Small Transcribe 3、Voxtral Mini Transcribe 3 与实时版,以及文本转语音模型 Voxtral Mini TTS 3,并推出基于 LiveKit 的语音智能体 SDK,把听、推理、工具调用和说合成一条实时流式流水线。
推荐理由:Mistral 把语音识别、语音合成和智能体 SDK 打包成一条实时流水线,并给出各环节定价与自部署选项,可据此估算语音智能体的落地成本。
OpenAI 发布四个 2025-12-15 音频模型快照,覆盖语音转文字、文字转语音和实时语音到语音,价格与上一版相同。gpt-realtime-mini 在内部语音到语音评测中指令遵循准确率提升 18.6 个百分点、工具调用准确率提升 12.9 个百分点;gpt-4o-mini-transcribe 在噪声场景下的幻觉比 Whisper v2 减少约 90%。