Rund 500.000 Amerikaner verwenden die American Sign Language (ASL). Für gehörlose Benutzer von ASL kann die Kommunikation mit Personen, die die Sprache nicht fließend sprechen, eine Herausforderung sein. Obwohl die meisten taubgeborenen Amerikaner die gesprochene Sprache durch Sprachtherapie lernen, fällt es einigen immer noch schwer, sich mündlich verständlich zu machen, oder sie finden Gebärdensprache einfach eine flüssigere Form, sich auszudrücken.
Jetzt haben Forscher der Texas A & M University ein tragbares Gerät entwickelt, das die Gebärdensprache durch Erfassen der Bewegungen des Benutzers ins Englische übersetzt. Das Gerät, das sich noch im Prototypenstadium befindet, kann rund 40 ASL-Zeichen mit einer Genauigkeit von 96 Prozent erkennen.
Das System verwendet zwei Sensoren. Einer ist ein Bewegungssensor mit einem Beschleunigungsmesser und einem Gyroskop, der die Geschwindigkeit und den Winkel von Hand und Arm des Benutzers misst. Indem er erkennt, wo sich die Hände und Arme eines Benutzers befinden, kann er erraten, welches Wort er möglicherweise signiert. Dann gibt es einen elektromyografischen Sensor, der das elektrische Potenzial von Muskelbewegungen misst. Es kann genau sagen, welcher Teil der Hände und Finger sich bewegt, was kritisch ist.
„Wenn Sie sich das amerikanische Gebärdensprachvokabular ansehen, gibt es Fälle, in denen sich die Hand selbst bewegt und Sie dann eine sehr feinkörnige Bewegung der Finger haben“, sagt Roozbeh Jafari, der Ingenieur, der das Projekt geleitet hat. "Wenn Sie diese erkennen möchten, können Sie nicht nur die Bewegung der Hand verwenden."
Zum Beispiel bedeutet das Wort "Bitte" in ASL, dass Sie mit Ihrer offenen Hand Kreise über Ihre Brust ziehen. Das Wort "sorry" verwendet eine identische Bewegung, aber die Hand ist in einer Faust geschlossen.
Die Sensoren werden am rechten Handgelenk des Benutzers getragen. Die gesammelten Informationen werden über Bluetooth an einen Laptop gesendet. Dieser Laptop führt einen Algorithmus zur Interpretation des Zeichens aus und zeigt das Wort auf Englisch auf dem Bildschirm an.
Schließlich hofft Jafari, die Notwendigkeit des Laptops zu beseitigen, indem ein kleiner Computer direkt in das Gerät eingebaut wird. Der Computer könnte dann die englischen Wörter an das Telefon einer anderen Person senden, damit diese lesen kann, was ihr Gesprächspartner sagt.
Natürlich muss der Übersetzer auch weit mehr als 40 Zeichen beherrschen, um ein brauchbares Produkt zu sein. Während es Hunderte von ASL-Zeichen gibt, wurden die ursprünglichen 40 Zeichen ausgewählt, weil sie allgemein und nützlich sind, sagt Jafari. Eine Person kann sie verwenden, um einfache, wichtige Sätze wie „Ich brauche Wasser“ auszusprechen. Das Gerät muss außerdem schneller werden. Derzeit müssen Benutzer zwischen den Wörtern eine Pause einlegen, um Zeit für die Übersetzung zu haben.
"In Wirklichkeit reden die Leute nicht so", sagt Jafari.
Aber dieses fortschrittlichere System, sagt er, ist ein Weg auf der ganzen Linie und wird mehr Arbeit und Finanzierung erfordern.
Frühere ASL-Übersetzungstechnologien verwendeten Kameras, um die Gesten zu lesen. Aber diese funktionieren nicht gut bei schlechten Lichtverhältnissen, sagt Jafari. Außerdem mögen viele Leute nicht die Idee, eine Kamera zu haben, die sie ständig beobachtet.
In den letzten Jahren wurde eine Reihe anderer Technologien entwickelt, mit denen gehörlose und hörende Menschen miteinander kommunizieren können. Eine App namens Transcense, die letztes Jahr veröffentlicht wurde, übersetzt die Sprache mehrerer Personen in geschriebene Wörter und zeigt sie in farbcodierten Blasen auf dem Bildschirm an. Es soll gehörlosen Menschen bei Besprechungen oder in sozialen Situationen helfen, in denen mehrere Sprecher selbst für die erfahrensten Lippenleser eine Herausforderung sein können. Eine andere Firma, MotionSavvy, hat an einem Tablet gearbeitet, das ASL-Bewegungen interpretiert und die Wörter laut in Englisch vorliest. In China haben Forscher die Kinect-Bewegungserfassungsgeräte von Microsoft verwendet, um chinesische Gebärdensprache in gesprochene und geschriebene Wörter zu übersetzen.
Als jemand, der lange mit tragbaren Technologien gearbeitet hat, wie zum Beispiel Uhren, die den Herzrhythmus überwachen, weiß Jafari, wie wichtig Komfort und Ästhetik sind. Wenn ein Gerät unangenehm und aufdringlich ist, wird es nicht getragen. Der aktuelle Prototyp des Übersetzungsgeräts für Gebärdensprache sieht aus wie ein medizinisches Gerät mit Elektroden, Bändern und Drähten. Jafari möchte, dass die endgültige Version klein und attraktiv ist.
"Ich möchte, dass das gesamte System in eine Uhr passt", sagt er.
