https://frosthead.com

Geräte zur Gebärdensprache-Übersetzung sind cool. Aber sind sie nützlich?

In den letzten Jahrzehnten haben Forscher regelmäßig Geräte entwickelt, mit denen die amerikanische Gebärdensprache (American Sign Language, ASL) ins Englische übersetzt werden kann, um die Kommunikation zwischen gehörlosen und schwerhörigen Menschen und der Hörwelt zu erleichtern. Viele dieser Technologien verwenden Handschuhe, um die Bewegung des Signierens zu erfassen, was sperrig und umständlich sein kann.

Nun hat eine Gruppe von Forschern der Michigan State University (MSU) ein handschuhloses Gerät entwickelt, das die Größe einer Chapstick-Röhre hat und die ASL-Englisch-Übersetzung verbessern soll.

Die als DeepASL bezeichnete Technologie verwendet ein Kameragerät zum Erfassen von Handbewegungen und führt die Daten dann einem Deep-Learning-Algorithmus zu, der sie den Anzeichen von ASL anpasst. Im Gegensatz zu vielen früheren Geräten kann DeepASL ganze Sätze anstatt einzelner Wörter übersetzen und erfordert keine Pause zwischen den Zeichen.

„Dies ist eine wirklich nicht störende Technologie“, sagt Mi Zhang, Professor für Elektro- und Computertechnik, der die Forschung leitet.

Zhang und sein Team hoffen, dass DeepASL als Echtzeit-Übersetzer Menschen helfen kann, die taub und schwerhörig sind. Es könnte besonders in Notsituationen nützlich sein, sagt Zhang, wenn das Warten auf einen Übersetzer kostbare Minuten kosten könnte. Das Gerät, das in ein Telefon, ein Tablet oder einen Computer integriert werden kann, kann laut Zhang auch beim Unterrichten von ASL hilfreich sein. Da mehr als 90 Prozent der gehörlosen Kinder von hörenden Eltern geboren werden, gibt es eine große Gemeinschaft von Erwachsenen, die ASL schnell lernen müssen. DeepASL kann als digitaler Tutor dienen und Feedback geben, ob die Lernenden korrekt signieren.

Zhang hat ein Patent angemeldet und hofft, innerhalb eines Jahres ein Gerät auf den Markt zu bringen. Da es auf einer erschwinglichen Technologie basiert - das Leap Motion-Motion-Capture-System kostet 78 US-Dollar -, ist der Zugriff möglicherweise umfassender als bei früheren Bemühungen.

deepasl-use.jpg Die Forscher Biyi Fang und Mi Zhang demonstrieren DeepASL. (Michigan State University)

Christian Vogler, Professor für Kommunikationswissenschaft an der Gallaudet University, einer Universität für gehörlose oder schwerhörige Menschen, steht Geräten zur Übersetzung von ASL jedoch skeptisch gegenüber, und seine Skepsis wird von vielen in der Gehörlosengemeinschaft geteilt.

Geräte "übersetzen" ASL im Allgemeinen nicht wirklich, sondern erkennen lediglich Handzeichen und wandeln sie in ein englisches Wort pro Zeichen um, sagt Vogler. Dies bedeutet, dass wichtige grammatikalische Informationen verloren gehen, Informationen darüber, ob eine Phrase eine Frage, eine Negation, eine Relativklausel usw. ist. Während DeepASL vollständige Sätze übersetzt, gehen einige Merkmale der ASL-Grammatik über Handzeichen hinaus - Mimik wird häufig als Modifikator verwendet, Augenbrauen hochziehen kann eine Phrase in eine Frage verwandeln, Körperpositionierung kann anzeigen, wenn der ASL-Benutzer eine andere Person zitiert.

Bisher „war keines der Systeme für die Unterzeichner auch nur annähernd nützlich“, sagt Vogler und fügt hinzu, dass Forscher häufig „nur sehr wenig Kontakt mit der Community [Gehörlose und Schwerhörige] und sehr wenig Ahnung von ihrer Realität haben braucht. "

Zhangs Team testete das Gerät nicht an gehörlosen und schwerhörigen Personen, sondern an Schülern in einem Gebärdensprachübersetzungsprogramm. Zhang betont, dass DeepASL an dieser Stelle nur eine grundlegende Kommunikation ermöglichen soll und dass dies nur ein Ausgangspunkt ist. Er sagt, sein Team hoffe, die Fähigkeiten von DeepASL in Zukunft auch auf die Erfassung von Gesichtsausdrücken ausweiten zu können.

"Das wird der nächste wichtige Meilenstein für uns sein", sagt er.

Vogler ist der Meinung, dass die MSU-Technologie Deep-Learning-Methoden einsetzt, die mit der gesprochenen Sprache erfolgreich waren. Obwohl kein Handschuh erforderlich ist, weist das Gerät wahrscheinlich die gleichen Gefahren auf wie alle vorherigen Systeme, da Gesichts- und Körperbewegungen nicht erfasst werden.

Vogler ist der Ansicht, dass Forscher sich von der Idee verabschieden sollten, dass Gebärdenspracherkennungsgeräte die Kommunikationsbedürfnisse von Personen wirklich erfüllen können.

"Wir haben viele Möglichkeiten, die persönliche Kommunikation zu erleichtern, und bis wir etwas erreicht haben, das die sprachlichen Eigenschaften von Gebärdensprachen und das tatsächliche Kommunikationsverhalten von Unterzeichnern tatsächlich berücksichtigt, werden diese Bemühungen diese bei weitem nicht ersetzen oder ersetzen", sagt er. "Stattdessen müssen die Menschen mit tatsächlichen Community-Mitgliedern zusammenarbeiten und mit Menschen, die die Komplexität der Zeichensprachen verstehen."

Vogler sagt, es wäre nützlich für Gebärdenspracherkennungstechnologien wie MSUs, mit Sprachschnittstellen wie Alexa zu arbeiten. Das Wachstum dieser Schnittstellen ist für gehörlose und schwerhörige Menschen eine Herausforderung für die Barrierefreiheit, da das Internet - ein größtenteils visuelles Medium - im Laufe der Jahre eine große Herausforderung für blinde Menschen darstellte.

"Wir haben derzeit keine effektive und effiziente Möglichkeit, mit diesen Sprachschnittstellen zu interagieren, wenn wir unsere Stimme nicht nutzen können oder wollen", sagt er. "Die Erkennung von Gebärdensprachen passt perfekt zu dieser Situation und könnte tatsächlich nützlich und gewöhnungsbedürftig werden."

Geräte zur Gebärdensprache-Übersetzung sind cool. Aber sind sie nützlich?