
OpenAI 发布三款全新音频模型:GPT-Realtime-2(具备 GPT-5 级推理能力)、GPT-Realtime-Translate(实时翻译 70+ 语言)和 GPT-Realtime-Whisper(流式语音转文本)。这些模型支持语音到行动、系统到语音和语音到语音三大模式,为开发者构建更智能的语音应用提供强大工具。
2026年5月7日,OpenAI 发布了三款全新的音频模型,旨在为开发者解锁新一代的语音应用。这些模型能够实现更自然、更智能的实时语音交互,包括推理、翻译和转录功能。随着语音成为人与软件交互最自然的方式之一,OpenAI 的这一举措标志着语音 AI 从简单的“问答”向真正的“智能助手”迈进了一大步。
GPT-5 级推理能力的实时语音模型 GPT-Realtime-2 是 OpenAI 首款具备 GPT-5 级别推理能力的语音模型。它不仅能够处理复杂的请求,还能自然地推进对话。该模型专为实时语音交互设计,能够在推理请求、调用工具、处理打断或错误时保持对话流畅。 核心特性: - 前导语(Preambles):开发者可以启用简短的前导语,如“让我查一下”或“请稍等”,让用户知道 AI 正在处理请求。
GPT-Realtime-Translate 是一款全新的实时翻译模型,支持将 70 多种输入语言翻译成 13 种输出语言,且能与说话者保持同步。该模型特别适合跨语言沟通场景,如国际会议、旅游服务或多语言客服。 应用场景: - 实时对话翻译,让不同语言的人能够自然交流。
GPT-Realtime-Whisper 是一款流式语音转文本模型,能够在说话者讲话的同时实时转录。相比之前的 Whisper 模型,它支持流式处理,延迟更低,适合需要即时文字输出的场景。 应用场景: - 实时字幕生成。
OpenAI 观察到,开发者正在围绕三种语音 AI 模式构建应用:
用户通过语音描述需求,系统能够推理请求、使用工具并完成任务。例如,Zillow 正在构建一个助手,可以听、推理并执行“帮我找符合预算的房子,避开繁忙街道,并安排周六看房”这样的请求。
软件将上下文信息转化为实时语音指导。例如,旅行应用可以主动告诉用户:“您的进港航班延误了,但您仍然可以赶上转机。我找到了新登机口,规划了最快的路线,您的行李预计仍能转运。”
AI 帮助实时对话跨越语言、任务或不断变化的上下文。例如,德国电信正在构建语音支持体验,客户可以用最熟悉的语言说话,而模型实时翻译对话。 这些模式还可以协同工作。Priceline 正在朝着用户可以通过语音管理整个旅程的未来迈进:通过对话搜索航班和酒店,处理航班延误后的酒店预订调整,实时获取 TSA 等待时间,并在到达目的地后翻译对话。
的推理与行动能力 GPT-Realtime-2 的核心优势在于其能够在实时语音交互中同时进行推理和行动。以下是其关键技术创新: 并行工具调用:模型可以同时调用多个工具,例如在用户询问“我今晚有时间去吃饭吗?”时,模型可以同时检查日历、搜索附近餐厅并查看交通状况。 工具透明性:通过语音提示“正在检查您的日历”或“正在查找餐厅”,让用户了解 AI 正在执行的操作,增强信任感。 上下文管理:128K 的上下文窗口允许模型记住更长的对话历史,支持多轮复杂任务。例如,用户可以先预订酒店,然后更改日期,再询问附近景点,模型都能保持连贯。 情感与语气控制:模型能够根据对话情境调整语气。当用户遇到问题需要解决时,模型保持冷静和专业;当用户表达喜悦时,模型可以热情回应。
的语音助手 Zillow 正在利用 GPT-Realtime-2 构建一个语音助手,能够理解并执行复杂的房产搜索请求。用户只需说出需求,助手就能调用搜索工具、筛选条件并安排看房。
的全语音旅程管理 Priceline 计划让用户通过语音完成整个旅行管理:从搜索航班和酒店,到处理航班延误后的酒店调整,再到实时获取机场信息,最后在目的地进行实时翻译。
德国电信正在构建语音支持系统,客户可以用母语与系统交流,模型实时翻译成客服语言,实现无缝沟通。
对于希望集成这些模型的开发者,OpenAI 提供了以下建议: 1. 选择合适的推理强度:根据应用场景平衡延迟与准确性。简单任务使用低推理强度,复杂任务使用高推理强度。
OpenAI 表示,这些模型只是语音 AI 发展的一个里程碑。随着技术的进步,我们可以期待:
更自然的对话体验:模型将更好地理解人类语言的细微差别,包括情感、语气和非语言线索。
更广泛的语言支持:翻译模型将支持更多语言,实现真正的全球无障碍沟通。
更深度的工具集成:语音助手将能够调用更复杂的工具和 API,完成更复杂的任务。
更个性化的交互:模型将能够学习用户的偏好和习惯,提供个性化的服务。
OpenAI 的新一代语音模型正在将实时音频从简单的“呼叫-响应”模式转变为能够真正工作的语音界面:在对话展开时进行倾听、推理、翻译、转录和行动。对于开发者来说,这意味着他们可以构建更智能、更自然、更实用的语音应用,为用户提供前所未有的体验。 语音作为人机交互的接口,正变得越来越强大。随着这些模型的推出,我们正在进入一个语音 AI 的新时代。
Bingdada 是一个专注 SEO、GEO(生成式引擎优化)与 AEO(答案引擎优化)的内容平台,由资深内容编辑、SEO 技术工程师与 AI 研究专家组成的团队持续运营。我们追踪搜索引擎与生成式 AI 的最新动态,为读者提供准确、实用、可落地的方法论与行业洞察。 编辑团队:内容策划 · 技术编辑 · AI 研究组 网站:bingdada.com © 2026 Bingdada. 保留所有权利。
SEO & GEO 技术探索者,专注于搜索引擎优化和生成式引擎优化。

英伟达内部实践显示,ChatGPT Work正帮助企业团队将信息整合工作自动化,每周节省16小时,并将原型开发周期从数周缩短至数天。这一案例揭示了AI工作流从工具到组织资产演进的趋势。

OpenAI 将 GPT-5.6 系列模型(Sol、Terra、Luna)集成至 Kiro 开发代理,通过规格驱动方法实现约 82% 的成本降低,标志着 AI 编程从能力竞赛转向成本效率竞争。

OpenAI因模型网络能力逼近关键门槛而调整开发策略,强调安全需贯穿训练全周期。文章解析其技术升级,并对比国内AI安全建设路径。
获取最新的 SEO 与 GEO 技术资讯。
我们尊重您的隐私,随时可以取消订阅。