Jalapeño 首批结果：Agent 推理芯片的胜负为何发生在整条数据路径
OpenAI 在 8 月 25 日公布了首款自研推理芯片 Jalapeño 的第一批结果。最醒目的数字是：在 GPT‑OSS 120B、DeepSeek R1 670B 和 Kimi K2.5 1T 三个公开模型上，OpenAI 报告其峰值吞吐功耗比提高 1.5–1.9 倍，端到端延迟降低 1.7–3.6 倍；高度交互负载的性能提高 2.1–4.1 倍。
这些数字很强，但真正值得关注的不是“又多了一颗 AI 芯片”，而是衡量方法发生了变化：推理系统不再只比单卡峰值算力，而要在相同用户体验约束下比较每千瓦能完成多少有用工作。对 Agent 来说，一次任务可能串联几十次模型与工具调用，单步延迟会沿依赖链累积，吞吐与延迟也不能分开优化。
一次推理不是一个算子
语言模型推理至少包含两种性质不同的阶段：
- Prefill 处理整段输入，矩阵计算密集，更接近算力瓶颈；
- Decode 逐 token 生成输出，需要反复读取权重与 KV Cache，更容易受内存带宽和数据搬运限制。
如果系统把计算、内存和网络当作互不相关的零件，某一阶段跑得再快，也可能在跨芯片同步、KV Cache 迁移或网络排队时丢掉优势。Jalapeño 的公开架构思路是显式放置模型状态，让 KV Cache 尽量留在本地，并把网络设计成加速器的一部分，而不是外接通道。
Agent 负载会反复经过这条链。假设一个任务有 30 个强依赖步骤，每步减少 200 毫秒，不考虑并发也能少 6 秒；若中间步骤因为超时失败并重试，收益会更大。因此，面向 Agent 的硬件不能只追求批处理吞吐，还要在低批量、长上下文和动态负载下保持低延迟。
公开成绩应该怎样读
OpenAI 使用 SemiAnalysis 的 InferenceX 测量完整请求过程，并按各加速器公开的芯片功率额定值归一化。Jalapeño 额定功率为 700W，在所测负载中持续功率不高于 550W。三类模型覆盖稠密、推理和万亿参数 MoE 负载，说明结果不是只针对一个内部模型的单点优化。
但这些仍是厂商公布的首批结果，阅读时至少保留四个限定：
| 问题 | 公开信息能回答什么 | 还不能回答什么 |
|---|---|---|
| 比较口径 | 相同公开模型、指定输入输出长度、公开功率归一化 | 整机电力、冷却、主机与网络是否完全计入 |
| 性能范围 | 覆盖高吞吐与低延迟操作点 | 所有上下文长度、并发形态和模型结构是否延续优势 |
| 软件成熟度 | 三个非原始计划模型在两个月内完成高性能移植 | 大规模生产调度、故障恢复和长期稳定性 |
| 可获得性 | 计划在 2026 年底前部署到 OpenAI 基础设施 | 外部客户何时、以何种产品和价格获得收益 |
最容易误读的是“AI 生成内核比人类快 1.5–1.8 倍”。官方明确说明，这个结果只适用于 GPT‑OSS 的部分 attention 与 MoE block，不是整个模型都加速了同样倍数。芯片性能必须从选定内核、全模型、服务器、机架一路测到在线任务，任何一层都不能替代下一层。
全栈协同不等于封闭锁定
Jalapeño 的设计逻辑是模型、Serving 软件、芯片、内存、网络和机架共同优化。其价值在于真实负载可以反向塑造硬件：模型团队知道 prefill/decode 比例如何变化，服务团队知道 KV Cache 在哪里产生搬运，芯片团队据此调整执行与互联。
OpenAI 还称早期模型帮助芯片从初始设计到 tapeout 压缩到九个月；随后使用 Codex 与 GPT‑Astra，在两个月内把三种开放权重模型带到高性能状态。这提示了另一条重要路线：硬件不仅为 AI 运行而设计，也要成为 AI 容易编程的目标。局部张量、显式通信和可预测同步，让编译与映射问题更容易被自动搜索。
不过，全栈优势会带来两个新风险：
- 如果关键性能依赖私有模型特征与编译器，开放模型上的可移植性必须持续验证；
- 如果调度、内核和机架都绑定同一供应方，容量迁移与多供应商容灾会更困难。
OpenAI 表示仍将广泛使用 NVIDIA 等合作伙伴的加速器。这更像异构资源池的开始，而非通用 GPU 被立即替代。
企业真正应该测“有效任务/千瓦”
采购或评估推理平台时，建议把验收单位从 tokens/s 改成 通过业务验收的任务数/千瓦时：
有效任务效率 = 首次通过率 × 完成任务数
÷（加速器 + 主机 + 网络 + 冷却的总能耗）
同一组真实请求至少应覆盖：短问答、长上下文、结构化输出、工具循环、并发突发和 KV Cache 命中/未命中。同步记录首 token 延迟、token 间延迟、P95 端到端时间、超时重试、功耗、任务成功率和每任务成本。若只测理想批量，可能得到漂亮吞吐，却无法解释交互式 Agent 为什么仍然卡顿。
我的判断
Jalapeño 的重要性，不在于一个新型号是否赢过某张 GPU，而在于它把“Agent 的完整任务延迟”变成硬件设计目标。随着推理从一次回答变成长期、多步、可执行的工作流，最稀缺的资源不是抽象 FLOPS，而是低延迟地让正确数据到达正确计算单元，并在功耗约束内反复完成这件事。
首批数据证明这条路线值得认真跟踪，但量产良率、机架可用性、软件稳定性、完整系统能耗和真实产品价格仍需后续验证。判断一颗推理芯片是否成功，最终不是看发布页上的峰值，而是看它是否让更多真实任务在可接受时间与成本内一次通过。