TTFT ALLEIN LÜGT: DAS ECHTE LATENZ-BUDGET FÜR VOICE-AI-AGENTEN

Das Wichtigste

Time to First Token (TTFT) ist die Metrik, mit der Teams ihre Inference-API für Voice-Agenten auswählen. Genau diese Metrik führt sie dabei in die Irre.

Ein aktueller Benchmark von MarkTechPost zerlegt den kompletten Voice-Stack, LLM, Speech-to-Text und Text-to-Speech, und zeigt: Wer nur auf TTFT optimiert, baut Agenten, die ständig unterbrochen werden.

Was ist passiert?

TTFT misst den Moment, in dem ein Modell vom Idle-Zustand ins Generieren wechselt. Für Chat-Anwendungen ist das fast die ganze Geschichte. Für Sprache nicht.

Der Grund ist mechanisch: Ein Text-to-Speech-Modell kann kein halbes Wort synthetisieren. Es braucht eine vollständige Klausel, bevor Audio entsteht. LiveKit nennt die relevante Metrik Time to First Sentence (TTFS), und genau die entscheidet, ob sich ein Agent flüssig oder stockend anfühlt.

Daraus folgen zwei Stellschrauben statt einer: TTFT bestimmt, wann die Generierung startet. Tokens pro Sekunde bestimmen, wie schnell der erste vollständige Satz fertig ist. Ein Anbieter, der nur eine der beiden Werte gewinnt, fühlt sich am Ende trotzdem langsam an.

Das Latenz-Budget einer Sprach-Interaktion

LiveKit zerlegt eine typische Voice-Turn so: STT 100-200ms, LLM (mit Streaming) 300-500ms, TTS 100-200ms, Netzwerk über WebRTC 50-150ms. Praktisches End-to-End-Ziel: 700ms bis 1,2 Sekunden.

Kwindla Hultman Kramer, Mitentwickler von Pipecat, empfiehlt 800ms als medianes Voice-to-Voice-Ziel, mit 1.500ms als akzeptablem Wert für einen Proof of Concept. Seine Faustregel teilt das in vier Blöcke à rund 200ms: Transport/Media, STT plus Turn-Erkennung, LLM-Inferenz, TTS.

Daily liefert den menschlichen Referenzwert: Natürliche Antwortzeit im Gespräch liegt bei rund 500ms, Pausen über 800ms wirken bereits unnatürlich. Daraus ergibt sich ein LLM-Budget von etwa 700ms TTFT innerhalb einer Transcription-LLM-Voice-Pipeline. Das ist die Messlatte, an der sich jeder Anbieter messen lassen muss.

Fünf Fallstricke bei der Interpretation

Der Benchmark, gestützt auf Artificial Analysis-Daten (Stand 30. August 2026), nennt fünf Punkte, die Zahlen leicht verzerren:

Workload-Länge zählt. Seit März 2026 testet Artificial Analysis mit 10.000 Input-Token-Prompts statt 1.000, was TTFT und Durchsatz gleichermaßen erhöht.

Serverstandort ist eingepreist. Getestet wird aus einer Google-Cloud-Zone in den USA, TTFT enthält also Netzwerklatenz.

Reasoning-Token verzerren den Vergleich. Bei Reasoning-Modellen zählt der erste Denk-Token, nicht der erste Antwort-Token.

Messpunkt entscheidet. Manche Anbieter messen TTFT intern in ihrem eigenen Stack, seriöse Benchmarks messen ab Request-Versand bis zum nutzbaren Token an der API-Grenze.

Werte sind nicht reproduzierbar. Anbieter tauschen Inference-Stacks und teils sogar Gewichte, ohne den Modellnamen zu ändern.

Die überraschenden Zahlen

Mercury 2, ein diffusionsbasiertes Sprachmodell, liefert 770 Tokens pro Sekunde, aber der erste Chunk kommt erst nach 3,07 Sekunden, das Vierfache des gesamten LLM-Budgets für natürliche Konversation.

Cerebras und Groq kombinieren solide TTFT-Werte mit außergewöhnlichem Durchsatz, eine starke Mischung für TTFS, weil der Satz fast unmittelbar nach dem ersten Token fertig ist.

Hosting schlägt manchmal das Modell selbst: Dasselbe Modell misst 0,59s auf Amazon Bedrock gegenüber 0,74s auf der eigenen API des Anbieters.

LiveKits eigenes Inference-Angebot mit Gemma 4 31B kommt auf 192ms TTFT, gegenüber 911ms bis über 1.800ms bei Wettbewerbern über andere Hosts. Der Trick: SGLang mit spekulativem Decoding und bewusst unterausgelastete GPUs, um Queueing zu vermeiden. Preis: 1,20 US-Dollar pro Million Output-Token.

Bei Fähigkeiten zeigt sich ein Trade-off: Gemma 4 31B liegt auf IFBench mit 75,6 Prozent nahezu gleichauf mit GPT-5.5 (75,9 Prozent), fällt aber bei Tool-Use-Benchmarks wie tau2-bench deutlich zurück (76,9 vs. 93,9 Prozent).

Speech-to-Text: Die unterschätzte Latenzquelle

Bei STT zählt nicht die Transkriptionsgeschwindigkeit, sondern wie schnell die Pipeline erkennt, dass der Nutzer aufgehört hat zu sprechen.

Deepgram Flux integriert Turn-Erkennung direkt ins Recognition-Modell statt eine separate Voice-Activity-Detection vorzuschalten. Laut Deepgram spart das 200 bis 600ms gegenüber klassischen STT-plus-VAD-Pipelines, unter anderem durch ein Eager-End-of-Turn-Signal, das die LLM-Generierung vorzeitig anstößt.

AssemblyAI emittiert mit Universal-Streaming direkt finale, unveränderliche Transkripte und berichtet 307ms mediane Wortausgabe gegenüber 516ms bei Deepgram Nova-3 in eigenen Messungen. Genauigkeitsangaben zwischen Anbietern bleiben umstritten und sollten selbst nachgemessen werden.

Warum das relevant ist

Für Entwickler heißt das: TTFT-Leaderboards allein taugen nicht zur Anbieterwahl für Voice-Produkte. Entscheidend sind TTFS, Turn-Detection-Latenz und die Fähigkeit, Generierung auf Basis von Partial-Transkripten vorzuziehen.

Für Entscheider bedeutet es, dass Kostenkalkulationen für Voice-Agenten den kompletten Stack einbeziehen müssen, nicht nur den LLM-Preis pro Token. Ein schnelles, aber teures Setup wie LiveKits Gemma-4-Hosting kann sich lohnen, wenn Konversationsqualität das Produkt trägt.

Take-Away

Wer Voice-Agenten baut oder einkauft, sollte TTFS statt TTFT als Leitmetrik verlangen, die eigene Workload-Länge und Serverregion in Benchmarks abbilden und STT-Anbieter nach Turn-Detection-Latenz statt nur nach Wortfehlerrate bewerten.