OPENAIS EIGENER CHIP JALAPEÑO SCHLÄGT NVIDIA BEI INFERENZ-BENCHMARKS

Das Wichtigste

"Die Ergebnisse zeigen einen sehr, sehr deutlichen Leistungssprung gegenüber dem aktuellen Stand der Technik", sagt Richard Ho, OpenAIs Hardware-Chef.

OpenAI hat auf der Hot-Chips-Konferenz erste Benchmark-Zahlen zu seinem eigenen Inferenz-Chip Jalapeño vorgestellt. Im InferenceX-Benchmark von SemiAnalysis liefert der Chip mehr Tokens pro Nutzer und mehr Durchsatz pro Kilowatt als aktuelle Nvidia-Blackwell-Systeme.

Was ist passiert?

OpenAI zeigte am Dienstag detaillierte Zahlen zu Jalapeño, dem eigenen Inferenz-Chip, der zusammen mit Broadcom entwickelt wurde. Erstmals angekündigt wurde das Projekt bereits im Oktober vergangenen Jahres.

Besonders bemerkenswert: OpenAIs eigene Modelle haben laut Unternehmen selbst am Entwicklungsprozess des Chips mitgewirkt. Jalapeño soll der Auftakt einer mehrgenerationalen Plattform sein, bei der Modelle, Chips, Speicher und Software gemeinsam entwickelt werden.

Technische Details

Der Vergleich lief gegen ein Nvidia-Blackwell-System, aktuell der Industriestandard für KI-Inferenz. Jalapeño soll besonders in der Prefill-Phase und bei Kommunikationsverzögerungen Vorteile bringen, zwei Phasen, die laut OpenAI häufig zu Engpässen führen.

Der Chip minimiert Datenbewegungen, indem Modellzustände wie der KV-Cache gezielt lokal gehalten werden, während das System für jede Inferenzphase die passende Kombination aus Rechenleistung, Speicher und Netzwerk aktiviert. Das Ergebnis: höherer Durchsatz bei gleichzeitig niedrigerer Latenz.

Der Zeitplan ist konkret, aber vorsichtig: Ende 2026 soll Jalapeño laut Ho "in sehr kleinen Stückzahlen" ausgeliefert werden, ein breiterer Rollout folgt erst 2027.

Warum ist das relevant?

Für Unternehmen, die auf OpenAI-Modelle setzen, ist das ein Signal in Richtung Kostenstruktur. Mehr Durchsatz pro Kilowatt bedeutet potenziell günstigere Inferenzpreise und niedrigere Latenzen für produktive Anwendungen.

Strategisch zeigt der Schritt, dass OpenAI sich von reiner Nvidia-Abhängigkeit lösen will, ähnlich wie Google mit seinen TPUs oder Amazon mit Trainium. Wer eigene Hardware kontrolliert, kontrolliert auch die Marge im Inferenzgeschäft, dem mit Abstand teuersten Teil des KI-Betriebs.

Wichtig bleibt die Einordnung: Der Vergleich erfolgte gegen aktuelle Blackwell-Systeme. Bis Jalapeño 2027 in nennenswerten Stückzahlen verfügbar ist, dürfte Nvidia mit Nachfolgegenerationen längst nachgezogen haben.

Take-Away

Für Entscheider heißt das: OpenAIs Kostenbasis für Inferenz könnte sich mittelfristig deutlich verbessern, was sich in API-Preisen niederschlagen dürfte. Konkrete Produktauswirkungen sind aber erst ab 2027 zu erwarten, bis dahin bleibt es bei Ankündigungen und Benchmarks.