专为大模型推理而生：OpenAI Jalapeño芯片实测每瓦性能达英伟达GB300的1.5-1.9倍

OpenAI首款自研AI推理芯片Jalapeño首批实测结果出炉。数据显示，在GPT-OSS 120B等模型测试中，Jalapeño的峰值每瓦推理性能达英伟达GB200/GB300的1.5至1.9倍，端到端延迟降低1.7至3.6倍。

其中，700W功耗的Jalapeño在GPT-OSS 120B测试中的峰值吞吐量达85448 mixed tokens/s，较1200W的GB200高出约1.9倍；端到端延迟也从1.80秒缩短至1.03秒。

其中，在 GPT-OSS 120B 测试中，Jalapeño 峰值吞吐量达到每千瓦 85448 mixed tokens/s，英伟达 GB200 为 44960，相当于前者高出约 1.9 倍；端到端延迟分别为 1.03 秒和 1.80 秒。测试中 Jalapeño 的额定功耗为 700W，GB200 为 1200W。

在参数规模更大的 DeepSeek R1 670B 测试中，Jalapeño 对比的是英伟达 GB300。

其峰值每千瓦吞吐量为 19641 mixed tokens/s，GB300 为 11781，Jalapeño 约为后者的 1.7 倍；端到端延迟为 1.65 秒，而 GB300 为 5.99 秒，降低约 3.6 倍。

在 Kimi K2.5 1T 测试中，Jalapeño 峰值每千瓦吞吐量为 18195 mixed tokens/s，GB300 为 11862，前者约高出 1.5 倍；端到端延迟则从 GB300 的 5.31 秒降至 1.56 秒，约降低 3.4 倍。

OpenAI 表示，三组测试均基于 SemiAnalysis 的公开推理基准 InferenceX，主要衡量在相同用户体验和延迟要求下，不同系统能够以单位功耗完成多少 AI 推理工作。OpenAI 将各加速器按照公开额定功耗进行归一化计算，其中 Jalapeño 额定功耗为 700W，但在此次测试负载中的持续实测功耗不超过 550W。

Jalapeño 是针对大语言模型推理专门设计的 ASIC，此次测试主要比较推理吞吐量、功耗效率和延迟，并未覆盖前沿模型训练、通用 GPU 计算能力及软件生态等维度。因此，更准确的说法是，Jalapeño 在 OpenAI 公布的部分大模型推理测试中超过了英伟达 GB200 和 GB300。

随着 ChatGPT、Codex、API 和 AI Agent 使用量增长，推理已经成为 OpenAI 算力支出的重要组成部分。OpenAI 计划在 2026 年底前开始将 Jalapeño 部署至自身算力基础设施：对 OpenAI 而言，自研芯片的意义并不只是与英伟达争夺性能领先位置。其正在逐步将模型、推理软件、芯片、网络和数据中心纳入同一套技术体系，通过软硬件协同降低单位 AI 推理成本。

Jalapeño 于 2026 年 6 月正式发布，是 OpenAI 首款自研 AI 加速器。OpenAI 负责从零设计芯片架构，Broadcom 参与芯片实现、网络和连接技术，Celestica 则负责电路板、机架和系统集成等环节。OpenAI 表示，该芯片从设计到流片仅用了 9 个月，过程中大量使用 OpenAI 模型辅助芯片设计和优化。与英伟达面向通用 AI 计算市场销售 GPU 不同，Jalapeño 的核心目标是降低 OpenAI 自身不断上升的模型推理成本。

Jalapeño 也是 OpenAI 多代自研芯片路线的第一代产品，目前第二代芯片已经进入深入开发阶段，第三代产品也已开始规划。Jalapeño 通过针对大模型内存移动、KV Cache、网络通信以及 Prefill、Decode 等推理阶段进行专门优化，希望在相同电力条件下服务更多用户，此前 OpenAI 还披露Jalapeño 所在的多代计算平台未来将与数据中心合作伙伴扩大至吉瓦级部署规模。OpenAI 也明确表示，未来仍会继续使用来自英伟达及其他合作伙伴的加速器，并根据不同训练和推理负载选择合适的硬件。