前不久晚上OpenAI宣布推出 GPT-4o(免费)，这是我们的新旗舰模型，可以实时对音频、视觉和文本进行推理。直接对标的是GPT-4 Turbo($20/month)

image-1716611780917

GPT-4o（“o”代表“omni”）是迈向更自然的人机交互的一步——它接受文本、音频和图像的任意组合作为输入，并生成文本、音频和图像的任意组合输出。它可以在短至 232 毫秒的时间内响应音频输入，平均为 320 毫秒，与人类的响应时间相似（在新窗口中打开）在一次谈话中。它在英语文本和代码上的性能与 GPT-4 Turbo 相匹配，在非英语文本上的性能显着提高，同时 API 的速度也更快，成本降低了 50%。与现有模型相比，GPT-4o 在视觉和音频理解方面尤其出色。

【更强更快】

1、GPT-4o 在 0-shot COT MMLU（常识问题）上创下了 88.7% 的新高分。所有这些评估都是通过我们新的简单评估收集的（在新窗口中打开）图书馆。此外，在传统的5-shot no-CoT MMLU上，GPT-4o创下了87.2%的新高分。

image-1716611794934

2、音频 ASR 性能 - GPT-4o 比 Whisper-v3 显着提高了所有语言的语音识别性能，特别是对于资源匮乏的语言。

image-1716611804337

3、音频翻译性能 - GPT-4o 在语音翻译方面树立了新的最先进水平，并且在 MLS 基准测试中优于 Whisper-v3。

image-1716611810611

4、M3Exam - M3Exam 基准测试既是多语言评估也是视觉评估，由来自其他国家标准化测试的多项选择题组成，有时还包括图形和图表。在所有语言的基准测试中，GPT-4o 都比 GPT-4 更强。（我们省略了斯瓦希里语和爪哇语的视力结果，因为这些语言的视力问题只有 5 个或更少。

image-1716611817547

5、视觉理解评估 - GPT-4o 在视觉感知基准上实现了最先进的性能。所有视觉评估都是 0-shot，其中 MMMU、MathVista 和 ChartQA 作为 0-shot CoT。

image-1716611824439

6、语音交互：GPT-4o 在语音交互方面取得了重大进展。它采用了先进技术，显著提高了响应速度，使得对话更加流畅自然。在最近的发布会上，OpenAI 展示了 GPT-4o 在语音对话中的表现，它能够几乎实时地回答问题，并通过文本转语音技术进行朗读，提供了一种沉浸式的交流体验。此外，GPT-4o 还可以调整说话的语气，从夸张戏剧到冰冷机械，以适应不同的交流场景。令人兴奋的是，GPT-4o 还具备唱歌的功能，增添了更多的趣味性和娱乐性。

image-1716611832283

7、GPT-4 Turbo 与 GPT-4o：不仅在传统的文本能力上GPT-4 Turbo的性能相当，还在 API 方面更快速，价格还更便宜 50%。总结来说，与 GPT-4 Turbo 相比，GPT-4o 速度提高了 2 倍，价格减半，限制速率提高了 5 倍。截至 2024 年 5 月 13 日，Plus 用户将能够在 GPT-4o 上每 3 小时发送多达 80 条消息，在 GPT-4 上每 3 小时发送多达 40 条消息。我们可能会在高峰时段减少限制，以保持 GPT-4 和 GPT-4o 可供尽可能多的人访问。GPT-4o 具有相同的高智商，但比 GPT-4 Turbo 更快、更便宜，并且具有更高的速率限制。

具体说来：

  • 定价：GPT-4o 比 GPT-4 Turbo 便宜 50%，输入 5 美元/月，输出代币 15 美元/M）。

  • 速率限制：GPT-4o 的速率限制比 GPT-4 Turbo 高 5 倍——每分钟最多 1000 万个代币。

  • 速度：GPT-4o 的速度是 GPT-2 Turbo 的 4 倍。

  • 视觉：GPT-4o 的视觉能力在与视觉能力相关的评估中表现优于 GPT-4 Turbo。

  • 多语言：GPT-4o 改进了对非英语语言的支持，而不是 GPT-4 Turbo。

  • GPT-4o 目前的上下文窗口为 128k，知识截止日期为 2023 年 10 月。

快来使用GPT-4o吧

目前，GPT-4o的文本和图像功能已经开始在ChatGPT中逐步推出，用户可以在ChatGPT平台上免费体验到GPT-4o的相关功能，但免费版有使用次数限制，Plus用户可以享受到5倍的调用额度。

https://chatgpt.com/
https://openai.com/index/hello-gpt-4o

image-1716611845090

在接下来的几周内，OpenAI计划将在ChatGPT Plus中推出Voice Mode新版本，该版本带有GPT-4o。这将作为ChatGPT Plus的一个alpha版本提供给PIus用户。此外，GPT-4o也将通过API提供给开发者，作为文本和视觉模型。开发者可以利用AP来集成GPT-4o到他们自己的应用程序中，而且GPT-4o在API中相比GPT-4Tubo更快、更便宜，并且有更高的速率限制。至于GPT-4o的音频和视频功能，OpenAl将在未来的几周和几个月内继续开发技术基础设施、通过训练后提高可用性以及确保安全性，之后才会发布这些功能，并逐步向公众提供。

下篇：升级ChatGPT Plus会员。在校学生可后台向我free申请！