KWAIKAT ZEIGT: AGENTIC CODING SCHEITERT AN INFRASTRUKTUR, NICHT AM MODELL

Das Wichtigste

Das KwaiKAT-Team von Kuaishou hat mit KAT-Coder-V2.5 ein Coding-Modell veröffentlicht, das nicht in isolierten Code-Snippets denkt, sondern in echten, ausführbaren Repositories trainiert wurde. Der zentrale Befund: Ein Grossteil der Trainingsprobleme lag nicht am Modell, sondern an der Sandbox-Infrastruktur selbst.

Was ist passiert?

Das KwaiKAT-Team stellt KAT-Coder-V2.5 vor, ein Agentic-Coding-Modell, das über StreamLake als Service läuft. Parallel gibt es mit KAT-Coder-V2.5-Dev eine offene Variante unter Apache-2.0-Lizenz auf Hugging Face, ein Mixture-of-Experts-Modell mit 35 Milliarden Gesamt- und 3 Milliarden aktiven Parametern, aufgebaut auf Qwen3.6-35B-A3B.

Kern des Projekts ist AutoBuilder, eine Pipeline, die aus echten Pull Requests und Commits über 100.000 verifizierbare Repository-Umgebungen in 12 Programmiersprachen erzeugt. Jede Aufgabe besteht aus Problembeschreibung, ausführbarer Umgebung und Testsuite. Ein Patch gilt nur als korrekt, wenn er alle Tests besteht, geprüft durch strukturierte Test-Framework-Ausgaben statt simpler Exit-Codes.

Technische Details

Die Trefferquote beim Aufbau funktionierender Umgebungen stieg durch eine Kombination aus vorkonfigurierten Basisumgebungen, Build-System-Templates und einer Bibliothek destillierter Build-Rezepte von 16,5 Prozent auf 57,2 Prozent.

Beim Reinforcement Learning zeigte eine Audit-Untersuchung, dass rund 16 Prozent der Trainings-Trajektorien nicht wegen des Modells scheiterten, sondern wegen Fehlern in der Sandbox-Infrastruktur, etwa durch geleerte Beobachtungsfenster über bis zu 40 Schritte. Drei Fixes, darunter eine frühzeitige Image-Eviction-Policy und eine direkte Anbindung an die Generate-Schnittstelle statt an Chat-Endpoints, senkten die Fehlerquote auf unter 2 Prozent und reduzierten Trainingsabbrüche um eine Grössenordnung.

Für das Reinforcement Learning selbst setzt das Team auf asymmetrisches PPO: Der Critic erhält privilegierten Kontext wie Testergebnisse und zukünftige Züge, der Actor sieht nur den tatsächlichen Rollout-Zustand. Belohnungen sind dreistufig aufgebaut, von harten Testkriterien über Verhaltensregeln bis zu Teilbelohnungen für gescheiterte, aber lehrreiche Versuche.

Benchmark-Ergebnisse

Unter einem einheitlichen Claude-Code-Harness führt KAT-Coder-V2.5 den PinchBench mit 94,9 Punkten an, vor Anthropics Opus-Modell mit 93,5. Bei SWE-Bench Pro landet es mit 65,2 auf Platz zwei hinter 69,2.

Schwächer schneidet das Modell bei Terminal-Bench 2.1 ab, dort liegt es mit 60,7 hinter GLM-5.1 und deutlich hinter Opus 4.8 mit 84,6. Bei SciCode erreicht es 50,3 Punkte, gleichauf mit GLM-5.2.

Warum ist das relevant?

Für Entwicklerteams, die Coding-Agenten produktiv einsetzen, liefert KwaiKAT eine wichtige Erkenntnis: Die Qualität von Agentic-Coding-Modellen hängt nicht nur an Modellgrösse oder Trainingsdaten, sondern massiv an der Zuverlässigkeit der Ausführungsumgebung. Wer eigene Agenten trainiert oder evaluiert, sollte Sandbox-Infrastruktur als eigenständige Fehlerquelle behandeln, nicht als Nebensache.

Die offene Dev-Variante unter Apache-2.0 macht das Modell für eigene Experimente zugänglich, auch wenn die Benchmark-Zahlen laut Quelle nach einem separaten Protokoll erhoben wurden und nicht direkt mit dem Flaggschiff vergleichbar sind.

Take-Away

Wer Coding-Agenten in CI/CD-Pipelines integriert, sollte die AutoBuilder-Methodik als Blaupause studieren, insbesondere die Trennung von Testverifikation und Harness-Details. Teams mit eigenen RL-Trainingsläufen sollten Sandbox-Fehlerraten aktiv messen, bevor sie Trainingsprobleme vorschnell dem Algorithmus zuschreiben.