AssemblyAI 如何用 Amazon EC2 Spot 优化语音转文字推理成本
AssemblyAI 在 AWS 上以 Amazon ECS 搭配 EC2 Spot 与 On-Demand 混合的 GPU 集群运行语音转文字推理,通过 SQS 队列重试机制在 Spot 中断时把任务重新入队。架构跨 g4dn、g5、g6 三类 NVIDIA GPU 实例族分散 Spot 容量,并在 us-west-2 与 eu-west-2 区域部署以满足数据驻留合规。
AssemblyAI 在 AWS 上以 Amazon ECS 搭配 EC2 Spot 与 On-Demand 混合的 GPU 集群运行语音转文字推理,通过 SQS 队列重试机制在 Spot 中断时把任务重新入队。架构跨 g4dn、g5、g6 三类 NVIDIA GPU 实例族分散 Spot 容量,并在 us-west-2 与 eu-west-2 区域部署以满足数据驻留合规。
Meta 的 AI 智能体 Muse 现已面向美国所有付费订阅用户开放代打电话功能,此前于 9 月进行测试。Meta AI 负责人 Alexandr Wang 称该智能体用户已超 1000 万,可代用户处理打给有线电视公司、DMV 和餐厅的电话,并将很快获得免费邮箱地址。不过许多商家一旦识别出 AI 就会挂断,Meta 曾在 9 月临时测试人工接线员来应对这一问题。
ElevenLabs 本周发布实验性应用 ElevenAI,面向团队整合会议记录、听写与智能体集成,目前为预览版。该应用支持 90 多种语言的语音转文本、跨会议查询和录音提醒,并可调用 ElevenAgent 起草邮件。ElevenLabs 同期推出 v3 系列 Scribe 转写模型,支持实时转写和自有数据微调。
ElevenLabs 发布两款语音转文字模型 Scribe v3 和 Scribe v3 Live,前者面向录音文件,后者面向低延迟实时场景,均已通过 ElevenAPI 和 ElevenAgents 平台开放。
AWS 总结 10 月面向 AI 开发者的更新:Claude Haiku 5.5 与 OpenAI GPT-6.1 Terra 等新模型上线 Amazon Bedrock,其中 Haiku 5.5 成本较 Haiku 4.5 低约 75%,GPT-6.1 Terra 支持最多 100 万输入 token。
DeepL 为 DeepL Voice 推出新模型 Aure,实时翻译会把原说话人的语调、情绪、重音和语速带入目标语言。此前 DeepL Voice 基于对话开始时采集的固定音色样本生成语音,无法捕捉情绪变化或讽刺语气;Aure 则在对话过程中持续分析译文和原始音频,训练时把音色、语音旋律和内容分离以便分别迁移,并用强化学习避免输出带入口音。
Spotify 为 AI DJ 新增可选声音与个性,并提供减少曲间解说的选项,11 月 10 日起向 Premium 用户推送。新增 7 种英语声音(含英国、美国、爱尔兰、澳大利亚、印度口音)和 2 种西班牙语声音,各带独特个性。该功能已被超 9400 万 Premium 用户使用,覆盖 95 个以上市场。
Otter.ai 宣布扩展多语言能力,新增可在同一场会议中跟随说话人语言切换的多语言转写功能,并新增 27 种语言支持,完成后共支持 31 种语言。该功能会自动检测语言变化并持续转写,无需用户调整设置;其中普通话、粤语、韩语、德语等 13 种语言已可用,其余 14 种即将上线。新语言基于 Otter 自研语音模型,使用公开数据集训练并由母语志愿者校对转写准确度。
Phonon 团队回顾两周前开源的端侧 TTS 模型,介绍其能力、演示项目以及在 Hugging Face Open TTS Leaderboard 上的评测结果。
推荐理由:原文给出 Phonon 在 Open TTS Leaderboard 上的多语言排名与 CPU 首音延迟表现,可对照其小体积端侧定位。
Mistral 发布 Voxtral 3,包含语音转文字模型 Voxtral Small Transcribe 3、Voxtral Mini Transcribe 3 与实时版,以及文本转语音模型 Voxtral Mini TTS 3,并推出基于 LiveKit 的语音智能体 SDK,把听、推理、工具调用和说合成一条实时流式流水线。
推荐理由:Mistral 把语音识别、语音合成和智能体 SDK 打包成一条实时流水线,并给出各环节定价与自部署选项,可据此估算语音智能体的落地成本。
OpenAI 发布四个 2025-12-15 音频模型快照,覆盖语音转文字、文字转语音和实时语音到语音,价格与上一版相同。gpt-realtime-mini 在内部语音到语音评测中指令遵循准确率提升 18.6 个百分点、工具调用准确率提升 12.9 个百分点;gpt-4o-mini-transcribe 在噪声场景下的幻觉比 Whisper v2 减少约 90%。
OpenAI 开发者博客介绍 Realtime API 与 gpt-realtime 语音模型转为正式可用后的接口变化,并给出迁移到 GA 接口的建议。文章列出 GA 与 beta 接口的功能差异,包括图像输入、长上下文、异步函数调用、MCP 和音频 token 转文本等,并说明 GA 接口已移除 temperature 参数。
推荐理由:OpenAI 官方梳理 Realtime API 从 beta 到 GA 的接口变化与迁移要点,可帮助语音应用开发者判断改造范围。