2023年4月17日，OpenAI宣布推出两款视觉推理模型：OpenAI o3和o4-mini。这是OpenAI o系列首次引入图像思维链推理能力的模型。此外，OpenAI还开源了轻量级编程代理——Codex CLI。
OpenAI o3是目前功能最强大的推理模型，特别适用于需要多维度分析的复杂查询。它在处理图像、图表和其他视觉任务方面表现尤为突出。在应对现实世界的复杂任务时，o3的错误率比OpenAI o1减少了20%，尤其在编程、商业咨询及创造性思维领域表现优异。
OpenAI o4-mini则是为实现快速且经济高效的推理而优化的小型模型。它在体积和成本上都实现了显著的性能提升，尤其在数学、编码和视觉任务中表现出色。此外，在非STEM任务和数据科学领域，其表现也超越了前身o3-mini。
值得一提的是，OpenAI强调，o3和o4-mini可以通过API中的函数调用完全访问ChatGPT中的工具，以及用户自定义的工具。这些模型经过专门训练，具备推理解决问题的能力，能够智能判断何时及如何使用工具，以生成详细且周到的答案。
OpenAI提供的例子显示，比如用户询问：“加利福尼亚州今年夏季的能源使用情况与去年相比如何？”模型可以在网络上搜索公用事业数据，编写Python代码进行预测，生成相关图表或图像，并解释预测背后的关键因素。模型可以灵活链接多个工具调用，根据需要调整和响应遇到的信息。例如，他们可以借助搜索引擎多次搜索网络，查看结果，并在需要时进行新的搜索。这种灵活的策略使得模型能够处理需要超越内置知识的最新信息，进行扩展推理、综合和跨模式输出生成的任务。
目前，ChatGPT的Plus、Pro和Team用户可以使用o3、o4-mini和o4-mini-high，这些模型将取代o1、o3-mini和o3-mini-high。o3和o4-mini通过Chat Completions API和Responses API向开发者开放。
OpenAI预计将在未来几周内发布OpenAI o3-pro，并提供完整的工具支持。
与此同时，OpenAI宣布开源编程代理Codex CLI，目前Codex CLI已在GitHub上完全开源。
Codex CLI是一个能够在用户计算机上运行的轻量级编码代理，旨在最大化提升o3和o4-mini等模型的推理能力，并将兼容支持GPT-4.1等其他API模型。（宜月）
文章总结
OpenAI的最新视觉推理模型o3和o4-mini开创了图像思维链推理的新纪元。o3专注于复杂任务的多面分析，而o4-mini则提供快速且经济的推理解决方案。两款模型的灵活性和开放性为开发者提供了更广阔的使用空间，并通过其API支持，推动了AI在多领域的应用创新。同时，Codex CLI的开源也为编程社区带来了新的工具和可能性，进一步释放了AI技术的潜力。