Mit den Fortschritten in der Elektronik und in den Neurowissenschaften ist es Forschern gelungen, mit Geräten für Gehirnimplantate bemerkenswerte Ergebnisse zu erzielen, z. Neben der Wiederherstellung der physischen Sinne suchen Wissenschaftler nach innovativen Wegen, um die Kommunikation für diejenigen zu erleichtern, die die Fähigkeit zum Sprechen verloren haben. Ein neuer „Decoder“, der Daten von Elektroden empfängt, die in den Schädel implantiert sind, könnte beispielsweise gelähmten Patienten helfen, nur mit ihrem Verstand zu sprechen.
Forscher der University of California in San Francisco (UCSF) entwickelten eine zweistufige Methode, um Gehirnsignale in computergenerierte Sprache umzuwandeln. Ihre Ergebnisse, die diese Woche in der Fachzeitschrift Nature veröffentlicht wurden, bieten Menschen, die die Fähigkeit zum Sprechen verloren haben, einen möglichen Weg zu einer flüssigeren Kommunikation.
Seit Jahren versuchen Wissenschaftler, neuronale Eingaben zu nutzen, um Menschen, deren neurologische Schädigung sie am Reden hindert, wie Schlaganfallpatienten oder ALS-Patienten, eine Stimme zurückzugeben. Bisher wurde bei vielen dieser Gehirn-Computer-Schnittstellen Buchstabe für Buchstabe vorgegangen, wobei die Patienten ihre Augen oder Gesichtsmuskeln bewegen, um ihre Gedanken auszudrücken. (Stephen Hawking richtete seinen Sprachsynthesizer berühmt durch kleine Bewegungen auf seiner Wange.)
Diese Art von Benutzeroberflächen sind jedoch träge - die meisten produzieren maximal 10 Wörter pro Minute, was einem Bruchteil der durchschnittlichen Sprechgeschwindigkeit von 150 Wörtern pro Minute entspricht. Für eine schnellere und flüssigere Kommunikation verwendeten die UCSF-Forscher Deep-Learning-Algorithmen, um neuronale Signale in gesprochene Sätze umzuwandeln.
„Das Gehirn ist bei diesen Patienten intakt, aber die Neuronen - die Wege, die zu Ihren Armen, Ihrem Mund oder Ihren Beinen führen - sind zusammengebrochen. Diese Menschen verfügen über hohe kognitive Funktionen und Fähigkeiten, können jedoch keine täglichen Aufgaben wie Bewegen oder Reden ausführen “, sagt Gopala Anumanchipalli, Co-Hauptautor der neuen Studie und Associate Researcher, spezialisiert auf neurologische Chirurgie an der UCSF. "Wir umgehen im Wesentlichen den kaputten Pfad."
Die Forscher begannen mit hochauflösenden Gehirnaktivitätsdaten, die über mehrere Jahre von fünf Freiwilligen gesammelt wurden. Diese Teilnehmer - alle mit normaler Sprachfunktion - durchliefen bereits einen Überwachungsprozess für die Epilepsiebehandlung, bei dem Elektroden direkt in ihr Gehirn implantiert wurden. Chang's Team verwendete diese Elektroden, um die Aktivität in sprachbezogenen Bereichen des Gehirns zu verfolgen, während die Patienten Hunderte von Sätzen vorlesen.
Von dort aus erarbeitete das UCSF-Team einen zweistufigen Prozess, um die gesprochenen Sätze wiederherzustellen. Zunächst erstellten sie einen Decoder, um die aufgezeichneten Aktivitätsmuster des Gehirns als Anweisungen für die Bewegung von Teilen eines virtuellen Vokaltrakts (einschließlich Lippen, Zunge, Kiefer und Kehlkopf) zu interpretieren. Sie entwickelten dann einen Synthesizer, der die virtuellen Bewegungen verwendete, um Sprache zu produzieren.
Andere Forschungen haben versucht, Wörter und Töne direkt aus neuronalen Signalen zu decodieren, wobei der mittlere Schritt der Bewegungsdecodierung übersprungen wurde. Eine von den UCSF-Forschern im letzten Jahr veröffentlichte Studie legt jedoch nahe, dass sich das Sprachzentrum Ihres Gehirns eher darauf konzentriert, wie der Stimmapparat bewegt wird, um Klänge zu erzeugen, als darauf, wie die resultierenden Klänge aussehen werden.
"Die Muster der Gehirnaktivität in den Sprachzentren sind speziell auf die Koordination der Bewegungen des Stimmapparates ausgerichtet und nur indirekt mit den Sprachgeräuschen selbst verbunden", sagte Edward Chang, Professor für neurologische Chirurgie an der UCSF und Mitautor des neuen Artikels. sagte in einer Pressekonferenz in dieser Woche. "Wir versuchen explizit, Bewegungen zu dekodieren, um Klänge zu erzeugen, anstatt die Klänge direkt zu dekodieren."
Ein Beispiel für ein Gehirnimplantat-Array von intrakraniellen Elektroden des Typs, der zur Aufzeichnung der Gehirnaktivität verwendet wird. (UCSF) Mit dieser Methode gelang es den Forschern, Wörter und Sätze aus der Gehirnaktivität rückgängig zu machen, die in etwa den Audioaufzeichnungen der Sprache der Teilnehmer entsprachen. Als sie Freiwillige auf einer Online-Crowdsourcing-Plattform baten, die Wörter zu identifizieren und Sätze mithilfe einer Wortbank zu transkribieren, konnten viele von ihnen die simulierte Sprache verstehen, obwohl ihre Genauigkeit alles andere als perfekt war. Von 101 synthetisierten Sätzen wurden ungefähr 80 Prozent von mindestens einem Hörer unter Verwendung einer 25-Wörter-Bank perfekt transkribiert (diese Rate fiel auf ungefähr 60 Prozent, als sich die Wortbankgröße verdoppelte).
Es ist schwer zu sagen, wie diese Ergebnisse mit anderen synthetisierten Sprachstudien verglichen werden, sagt Marc Slutzky, ein nordwestlicher Neurologe, der nicht an der neuen Studie beteiligt war, in einer E-Mail. Slutzky arbeitete kürzlich an einer ähnlichen Studie, in der synthetisierte Wörter direkt aus zerebralen Kortexsignalen erzeugt wurden, ohne die Stimmbewegungen zu decodieren, und er glaubt, dass die resultierende Sprachqualität ähnlich war - obwohl Unterschiede in den Leistungsmetriken einen direkten Vergleich schwierig machen.
Ein aufregender Aspekt der UCSF-Studie ist jedoch, dass der Decoder einige Ergebnisse über die Teilnehmer hinweg verallgemeinern kann, sagt Slutzky. Eine große Herausforderung für diese Art der Forschung besteht darin, dass für das Training der Decoder-Algorithmen normalerweise die Teilnehmer sprechen müssen. Die Technologie ist jedoch für Patienten gedacht, die nicht mehr sprechen können. Die Verallgemeinerung eines Teils des Algorithmus-Trainings könnte die weitere Arbeit mit gelähmten Patienten ermöglichen.
Um dieser Herausforderung zu begegnen, testeten die Forscher das Gerät auch mit einem Teilnehmer, der die Sätze leise nachahmte, anstatt sie laut auszusprechen. Obwohl die resultierenden Sätze nicht so genau waren, sagen die Autoren, dass die Synthese auch ohne gesprochene Sprache möglich war, spannende Implikationen hat.
"Es war wirklich bemerkenswert, dass wir immer noch ein Audiosignal aus einer Handlung erzeugen konnten, die überhaupt kein Audiosignal erzeugte", sagte Josh Chartier, Co-Hauptautor des Studien- und Bioengineering-Studenten an der UCSF, in der Pressekonferenz .
Bild des Autors der Studie, Gopala Anumanchipalli, PhD, mit einer beispielhaften Anordnung von intrakraniellen Elektroden, wie sie in der vorliegenden Studie zur Aufzeichnung der Gehirnaktivität verwendet wurden. (UCSF) Ein weiteres Ziel für die zukünftige Forschung ist es, Echtzeit-Demonstrationen des Decoders durchzuführen, sagt Anumanchipalli. Die aktuelle Studie war als Proof-of-Concept gedacht - der Decoder wurde separat vom Datenerfassungsprozess entwickelt, und das Team hat die Echtzeitgeschwindigkeit der Übersetzung von Gehirnaktivität in synthetisierte Sprache nicht getestet, obwohl dies das endgültige Ziel von sein würde ein klinisches Gerät.
Laut Jaimie Henderson, einer Neurochirurgin aus Stanford, die nicht an der Studie beteiligt war, muss die Echtzeitsynthese verbessert werden, damit ein solches Gerät in Zukunft verwendet werden kann. Dennoch sei die zweistufige Methode der Autoren ein aufregender neuer Ansatz, und der Einsatz von Deep-Learning-Technologie könne neue Einblicke in die Wirkungsweise von Sprache liefern.
"Für mich ist es schon sehr aufregend, mit der Untersuchung der zugrunde liegenden Grundlagen für die Sprachproduktion bei Menschen zu beginnen", sagt Henderson. "[Diese Studie] beginnt eine unserer menschlichsten Fähigkeiten auf einer fundamentalen Ebene zu erforschen."
