GOOGLE DEEPMIND BRINGT GEBÄRDENSPRACHE-KI AUF DAS SMARTPHONE

Das Wichtigste

Google DeepMind stellt mit SL2T (Sign-Language-to-Text) das erste massiv-multilinguale Übersetzungsmodell für Gebärdensprachen vor, das direkt in Consumer-Produkten läuft. Start ist Gboard und Live Transcribe auf dem Pixel 11, zunächst für Amerikanische Gebärdensprache (ASL) zu Englisch.

Was ist passiert?

Über 70 Millionen Deaf und schwerhörige Menschen weltweit nutzen mehr als 200 Gebärdensprachen. Während sich Spracherkennung für gesprochene Sprachen rasant entwickelt hat, blieb dieser Bereich bisher weitgehend unberührt von KI-Fortschritten.

Das ändert sich jetzt: SL2T ermöglicht es Nutzern, ihrem Smartphone zu signieren, statt zu tippen. Ob Websuche, Nachrichten diktieren oder Gemini-Anfragen stellen, laut internen Tests empfinden Nutzer das Signieren als schneller und natürlicher als Tippen.

In Live Transcribe können Gehörlose zudem in Gesprächen direkt zurücksignieren, statt hin- und herzutippen.

Technische Details

Das Modell wurde auf über 100.000 Stunden Daten aus mehr als 50 Gebärdensprachen trainiert, rund ein Viertel davon in ASL. Statt auf einzelne Sprachen zu spezialisieren, lernt SL2T gemeinsame Strukturen über Sprachen und Dialekte hinweg, was laut DeepMind einzelsprachliche Modelle übertrifft.

Entscheidend ist der technische Ansatz: SL2T verarbeitet keine Rohvideodaten, sondern Pose-Landmarks, also geometrische Koordinaten von Körperpunkten, die ein On-Device-Modell (MediaPipe Holistic) erfasst. Das Originalvideo wird sofort verworfen, nur die Koordinaten wandern zur Übersetzung auf den Server. Das ist ein klarer Privacy-by-Design-Ansatz.

Zudem übersetzt das Modell direkt von Landmarks zu Text, ohne den Zwischenschritt über sogenannte "Glosses", die bisher in der Forschung üblich waren. Diese konnten nichtmanuelle Marker wie Mimik oder räumliche Konstruktionen nicht abbilden. Der direkte Ansatz skaliert laut DeepMind besser mit mehr Daten.

Auf dem FLEURS-ASL-Benchmark erreicht SL2T einen Zero-Shot-Wert von 70 BLEURT, deutlich über allen bisher berichteten Werten. Das Team hat zusätzlich an praktischen Problemen gearbeitet: Latenz beim Streaming, Halluzinationen bei Nicht-Signier-Eingaben, Fairness für Linkshänder (rund 10 Prozent der Signierenden) und einhändiges Signieren, etwa wenn eine Hand das Telefon hält.

Warum ist das relevant?

Für Entwickler zeigt dieser Release, wie Google Accessibility-Features direkt in bestehende Produkt-Infrastruktur wie Gboard integriert, statt sie als Nischenlösung zu behandeln. Das Modell ist laut DeepMind kostenlos nutzbar und wird schrittweise auf weitere Geräte und Sprachen ausgeweitet.

Bemerkenswert ist der partizipative Entwicklungsprozess: Mit dem AI Sign Language Advisory Committee (AISLAC) wurden Deaf-Organisationen von der Konzeption bis zur Evaluation eingebunden. Für Unternehmen, die KI-Produkte für unterrepräsentierte Nutzergruppen entwickeln, ist das ein Modell, wie man technische Kompetenz mit Community-Einbindung verbindet, statt Technologie "für" statt "mit" der Zielgruppe zu bauen.

Gleichzeitig bleiben laut DeepMind Fehlerquellen bestehen, etwa bei seltenen Gebärden, schnellem Fingerspelling oder komplexen Klassifikator-Konstruktionen. Das Unternehmen kommuniziert diese Grenzen transparent in einem gemeinsamen Impact-Report mit Deaf-Experten.

Take-Away

Wer im Bereich Accessibility oder Sprach-KI arbeitet, sollte SL2T als Referenzpunkt beobachten: Der direkte Landmark-zu-Text-Ansatz ohne Gloss-Zwischenschritt könnte zum Standardmuster für zukünftige Gebärdensprachmodelle werden. Für DACH-Unternehmen mit Blick auf Barrierefreiheit lohnt sich die Frage, wann ähnliche Modelle für Deutsche Gebärdensprache (DGS) folgen.