In Steven Spielbergs Film Ready Player One aus dem Jahr 2018, der auf dem Buch von Ernest Cline aus dem Jahr 2011 basiert, tauchen die Menschen in eine faszinierende Welt der virtuellen Realität ein, die OASIS. Was an der futuristischen Technologie in diesem Science-Fiction-Film am spannendsten war, waren nicht die VR-Brillen, die nicht so weit von den Headsets entfernt zu sein scheinen, die derzeit von Oculus, HTC und anderen verkauft werden. Es war die Auseinandersetzung mit einem Sinn jenseits von Sicht und Klang: Berührung.
Die Charaktere trugen Handschuhe mit Rückmeldungen, mit denen sie die imaginären Objekte in ihren Händen fühlen konnten. Sie könnten zu Ganzkörperanzügen aufgerüstet werden, die die Kraft eines Schlages auf die Brust oder das Streicheln einer Liebkosung reproduzieren. Und doch sind auch diese Fähigkeiten möglicherweise nicht so weit entfernt, wie wir uns vorstellen.
Wir sind ständig auf berührende oder „haptische“ Informationen angewiesen, die wir nicht einmal bewusst erkennen. Nerven in unserer Haut, unseren Gelenken, Muskeln und Organen sagen uns, wie unser Körper positioniert ist, wie fest wir etwas halten, wie das Wetter ist oder dass ein geliebter Mensch durch eine Umarmung Zuneigung zeigt. Weltweit arbeiten die Ingenieure jetzt daran, realistische Berührungsempfindungen für Videospiele und mehr zu erzeugen. Das Eingreifen in Mensch-Computer-Interaktionen würde die Robotersteuerung, die körperliche Rehabilitation, die Bildung, die Navigation, die Kommunikation und sogar das Online-Shopping verbessern.
„In der Vergangenheit hat die Haptik die Dinge gut zur Geltung gebracht, etwa durch Vibrationen im Telefon oder durch das Rumpeln der Gaming-Controller“, sagt Heather Culbertson, Informatikerin an der University of Southern California. "Aber jetzt gibt es eine Verschiebung hin zu Dingen, die sich natürlicher anfühlen, die das Gefühl natürlicher Materialien und natürlicher Wechselwirkungen mehr imitieren."
Die Zukunft ist nicht nur hell, sondern strukturiert.
* * *
Haptische Geräte können in drei Haupttypen eingeteilt werden: greifbar, tragbar und berührbar. Zum Greifen Joysticks denken. Eine eindeutige Anwendung liegt in der Bedienung von Robotern, sodass ein Bediener spüren kann, gegen wie viel Widerstand der Roboter drückt.
Nehmen Sie Operationsroboter mit, die es Ärzten ermöglichen, von der anderen Seite der Welt aus zu operieren oder Werkzeuge zu handhaben, die zu klein oder zu eng für ihre Hände sind. Zahlreiche Studien haben gezeigt, dass das Hinzufügen eines haptischen Feedbacks zur Steuerung dieser Roboter die Genauigkeit erhöht und Gewebeschäden sowie die Operationszeit verringert. Mit einer haptischen Rückmeldung können Ärzte auch Patienten trainieren, die nur in der virtuellen Realität existieren, während sie das Gefühl haben, tatsächlich geschnitten und genäht zu werden. Einer von Culbertsons Schülern entwickelt derzeit Zahnsimulatoren, damit das erste fehlerhafte Bohren eines Zahnarztes nicht auf einem echten Zahn stattfindet.
Ingenieure bauen Systeme, um Videospielen, Robotersteuerungen und vielem mehr realistische Berührungsempfindungen mit einer Reihe möglicher Anwendungen zu vermitteln. (Mit freundlicher Genehmigung von Knowable Magazine) Ein Gefühl dafür zu bekommen, was der Roboter unter Ihrem Kommando tut, wäre auch hilfreich, um Bomben zu entschärfen oder Menschen aus eingestürzten Gebäuden herauszuholen. Oder um einen Satelliten zu reparieren, ohne sich für einen Weltraumspaziergang vorzubereiten. Sogar Disney hat sich mit haptischen Telepräsenz-Robotern befasst, um sichere Mensch-Roboter-Interaktionen zu gewährleisten. Sie entwickelten ein System mit Pneumatikschläuchen, die die Roboterarme eines Humanoiden mit einem Armspiegel verbinden, den ein Mensch greifen kann. Die Person kann den Spiegel-Bot so manipulieren, dass der erste Bot einen Ballon hält, ein Ei aufnimmt oder ein Kind auf die Wangen klopft.
Im kleineren Maßstab hat das Labor des Roboters Jamie Paik an der Eidgenössischen Technischen Hochschule in Lausanne (EPFL) eine tragbare haptische Schnittstelle namens Foldaway entwickelt. Geräte von der Größe und Form eines quadratischen Untersetzers haben drei ausklappbare Arme, die sich in der Mitte treffen. (Stefano Mintchev, ein Postdoc im Labor, nennt sie "miniaturisierte Origami-Roboter".) Ein kleiner Plastikgriff kann oben an der Stelle angebracht werden, an der sich die Arme treffen, wodurch ein dreidimensional wirkender Joystick entsteht - und die Arme nach hinten gedrückt werden, um zu geben dem Benutzer ein Gefühl für die Objekte, gegen die er drückt. In Demos hat das Team die Geräte verwendet, um eine Drohne aus der Luft zu steuern, virtuelle Objekte zusammenzudrücken und die Form der virtuellen menschlichen Anatomie zu spüren.
Das Erfassen von Haptiken ist mit gewissen Herausforderungen verbunden, die unüberwindlich erscheinen können. Wie können Sie beispielsweise ein Gewichtsgefühl beim Greifen und Heben von schwerelosen digitalen Objekten erzeugen? Durch das Studium der Neurowissenschaften ist es den Ingenieuren jedoch gelungen, einige Problemumgehungen zu finden. Culbertson und Kollegen entwickelten ein Gerät namens Grabity für das Schwerkraftproblem. Es ist eine Art Schraubstock, den man packt und drückt, um virtuelle Objekte aufzunehmen. Durch einfaches Vibrieren in gewisser Weise kann die Illusion von Gewicht und Trägheit erzeugt werden.
"Das Gehirn zu täuschen geht aber nur so weit", sagt Ed Colgate, ein Maschinenbauingenieur an der Northwestern University, der in der Haptik arbeitet. Es ist manchmal leicht, haptische Illusionen zu brechen. Seiner Meinung nach müssen Ingenieure auf lange Sicht die Physik der realen Welt - Gewicht und alles - so genau wie möglich nachbilden. "Das ist ein wirklich schweres Problem."
Das greifbare haptische Gerät namens Grabity (unten) vermittelt die Illusion von Gewicht und Trägheit beim Umgang mit virtuellen Objekten. Hier ahmt es das Gefühl eines Blocks nach (oben). (Mit freundlicher Genehmigung des Stanford Shape Lab) Greifbare Geräte nutzen häufig kinästhetische Empfindungen: Gefühle von Bewegung, Position und Kraft, die durch Nerven nicht nur in unserer Haut, sondern auch in unseren Muskeln, Sehnen und Gelenken vermittelt werden. Tragbare Geräte hingegen beruhen normalerweise auf taktilen Empfindungen - Druck, Reibung oder Temperatur -, die durch Nerven in der Haut vermittelt werden.
Am Finger wird eine Vielzahl von Versuchsgeräten getragen, die mit unterschiedlicher Kraft gegen das Fingerpad drücken, wenn man Objekte in der virtuellen Realität berührt. Ein neueres Gerät bietet jedoch die gleiche Art von Rückmeldung, ohne die Fingerkuppe abzudecken. Stattdessen wird es dort getragen, wo man vielleicht einen Ring trägt, und enthält Motoren, die die Haut darunter strecken. So bleiben die Finger frei, um mit Objekten aus der realen Welt zu interagieren und gleichzeitig „virtuelle“ zu erkennen - eine nützliche Funktion für Spiele und ernsthafte Anwendungen.
In einem Test konnte eine Person ein echtes Stück Kreide halten und Druck spüren, als sie aufgrund einer haptischen Illusion auf eine virtuelle Tafel schrieb: Als sie gleichzeitig sah, wie die Kreide die Tafel berührte und fühlte, wie sich ihre Haut dehnte, wurden sie getäuscht in Druck in ihren Fingerspitzen zu fühlen.
Üblicherweise kommunizieren tragbare haptische Geräte durch Vibration. Culbertsons Labor arbeitet zum Beispiel an einem Armband, das den Träger durch Vibrieren in die Richtung führt, in die er sich drehen muss. Und NeoSensory, ein Unternehmen, das vom Stanford-Neurowissenschaftler David Eagleman gegründet wurde, entwickelt eine Weste mit 32 Vibrationsmotoren, die in einer Folge von HBOs Science-Fiction-Serie Westworld vorgestellt wurde, in der es Charakteren angeblich dabei half, die Richtung zu erkennen, in die sich Feinde nähern.
Eine der ersten realen Anwendungen der Weste wird darin bestehen, Schall in taktile Empfindungen umzuwandeln, um die gesprochene Sprache für Menschen mit schwerem oder vollständigem Hörverlust verständlicher zu machen. Eagleman arbeitet auch daran, Aspekte der visuellen Welt in Schwingungen für Blinde zu übersetzen. Andere Bemühungen betreffen abstraktere Informationen wie Markt- und Umweltdaten - anstelle eines Gitters, das den räumlichen Zustand der Dinge anzeigt, kann ein komplexes Schwingungsmuster die Kurse von einem Dutzend Aktien anzeigen.
Dieses Bild zeigt das Design eines weichen, flexiblen, hautähnlichen Materials für tragbare haptische Geräte, das sich dem Körper anpasst. Sensor- und Aktorschicht sind durch Silikonschichten getrennt. In der Sensorschicht wandelt Blei-Zirkonat-Titanat (PZT) Kraft in elektrische Ladung um, um eine Rückmeldung an den Computer zu erhalten. Die Aktorschicht enthält winzige Taschen, die sich viele Male pro Sekunde mit Luft füllen können, um dem Träger eine vibrierende Rückmeldung zu geben. (Nach HA Sonar et al. / Frontiers in Robotics und AI 2016) Vibrationsmotoren können sperrig sein, daher entwickeln einige Labors komfortablere Lösungen. Paiks Labor an der EPFL arbeitet an einer Haut mit weichem pneumatischem Antrieb (SPA) - einer weniger als 2 Millimeter dicken Folie aus flexiblem Silikon, die mit winzigen Lufteinschlüssen übersät ist. Sie können unabhängig voneinander Dutzende Male pro Sekunde aufgeblasen und entleert werden und fungieren dabei als Pixel - oder „Taxels“ für taktile Elemente -, die ein Sensationsgitter erzeugen. Möglicherweise vermitteln sie Gefühle, wie sie in Ready Player One angeboten werden, oder Feedback zur Positionierung von Robotern oder Prothesen. In die SPA-Haut sind auch Sensoren aus einer neuen, korrosionsbeständigen Metalllegierung eingebettet, mit denen die gleiche Haut für die Computereingabe verwendet werden kann, wenn der Benutzer darauf drückt.
Eine noch dünnere haptische Folie - weniger als einen halben Millimeter dick - ist ebenfalls in Vorbereitung. Sie wurde von Novasentis aus einer neuen Form von Polyvinylidenfluorid-Kunststoff hergestellt, die Festigkeit, Flexibilität und elektrisches Ansprechverhalten in Einklang bringt. Wenn der Film auf eine Seite einer Folie aus flexiblem Material geschichtet wird und eine elektrische Ladung angelegt wird, zieht sich der Film zusammen und biegt die Folie, wobei Druck auf die Haut ausgeübt wird. Novasentis stellt das Material nun Geräteherstellern zur Verfügung, die es in Handschuhe für Virtual Reality und Gaming stecken.
„Man kann zwischen Wasser und Sand und Fels unterscheiden“, sagt Sri Peruvemba, Vice President of Marketing des Unternehmens. VR-Designer könnten auch abstraktere Darstellungen erstellen, z. B. sensationelle Botschaften über den Status eines Spiels. „Mit unserer Technologie können wir eine ganze haptische Sprache schaffen“, sagt Peruvemba.
Vibrationen können eine andere Art von haptischer Illusion erzeugen: das Gefühl des Ziehens. Wenn sich ein Gerät, das parallel zur Hautoberfläche vor und zurück vibriert, viele Male pro Sekunde schnell in die eine Richtung und langsam in die andere Richtung bewegt, fühlt es sich an, als würde es die Haut in die erste Richtung ziehen.
Während die meisten Wearables taktile Empfindungen verwenden, können sie auch den Muskel-Gelenk-Sehnen-Input für kinästhetische Empfindungen verwenden. Ingenieure haben Roboter-Exoskelette entwickelt, eine Art Gerüst, das mit Sensoren und Motoren am Körper befestigt ist und das gelähmten Menschen helfen kann, zu gehen, Soldaten eine überragende Kraft zu verleihen und sie Roboter aus der Ferne steuern zu lassen. Ein Labor an der EPFL hat die FlyJacket entwickelt, die man mit seitlich ausgestreckten Armen trägt, die durch Kolben mit der Taille verbunden sind. Es sieht nicht besonders fliegend aus, aber es ermöglicht Menschen, den Flug von Luftdrohnen zu kontrollieren, indem sie ihre Arme bewegen und ihren Rumpf drehen. Wenn die Drohne einen Windstoß spürt, tun Sie das auch.
Die letzte Kategorie von Geräten sind berührbare Benutzeroberflächen, z. B. Smartphones, die beim Klicken auf eine App eine kleine Beeinträchtigung verursachen. Culbertsons Arbeit geht weit über das bloße Hin und Her hinaus. Sie simuliert die Textur auf Oberflächen mithilfe einer so genannten datengesteuerten Haptik. Anstatt komplizierte Algorithmen oder physikalische Modelle zu schreiben, um Vibrationen zu erzeugen, die reale simulieren, zeichnet sie auf, was passiert, wenn etwas mit unterschiedlicher Geschwindigkeit und Geschwindigkeit über verschiedene Stoffe oder andere Materialien gezogen wird Druck. Dann lässt sie eine Oberfläche die Vibrationen abspielen, wenn ein Stift darüber gezogen wird. Anwendungen könnten Online-Shopping und virtuelle Museen sein.
Ein berührbares haptisches Gerät lässt den Benutzer verschiedene Texturen „fühlen“, je nachdem, welche Vibrationsmuster durch den Stift übertragen werden. Die Vibrationen ändern sich abhängig von der Geschwindigkeit, mit der der Stift bewegt wird, oder davon, wie viel Druck der Benutzer ausübt. Ziel ist es, Rauheit, Härte und Glätte von Oberflächen realistisch zu simulieren. (Mit freundlicher Genehmigung von Heather Culbertson) Berührbare Oberflächen ermöglichen auch Arten von Illusionen. Zum Beispiel, sagt Culbertson, fühlt es sich so an, als würde die Schaltfläche tatsächlich klicken, wenn Sie den Ton einer Schaltfläche beim Tippen auf ein Bild einer Schaltfläche wiedergeben. Wenn sich der Bildschirm unter dem Finger verformt, fühlt er sich möglicherweise weicher an. Menschen bauen Wahrnehmung auf, indem sie Sehen, Hören, Fühlen, Schmecken und Riechen miteinander verbinden - und wie Culbertson sagt: „Es ist wirklich einfach, Ihr Gehirn zum Narren zu halten, wenn Ihre Sinne nicht übereinstimmen.“
Realistische Haptiken für VR können für immer klobig und teuer sein. Oder die Technologie lässt Ready Player One irgendwann kurios aussehen. Wie wir an kleinen Schritten wie dem allgegenwärtigen Rumpeln von Videospiel-Controllern und den endlos vibrierenden Telefonen und Uhren sehen können, werden haptische Geräte in jedem Fall erhalten bleiben und unserem digitalen Leben eine neue Dimension hinzufügen.
Knowable Magazine ist ein unabhängiges journalistisches Unterfangen von Annual Reviews. 
