Das menschliche Gesicht wird je nach Zählweise von 23 bis 43 Muskeln angetrieben, von denen viele an der Haut haften und keine offensichtliche Überlebensfunktion haben. Ein Außerirdischer, der ein menschliches Exemplar isoliert untersucht, würde nicht wissen, was er von ihnen halten soll. Die Muskeln, die an Stirn, Augenbrauen, Lippen und Wangen zerren, strahlen eine Fülle von Informationen über unseren emotionalen Zustand, unser Interesse und unsere Wachsamkeit aus. Es ist ein bemerkenswert effizientes Kommunikationsmittel - fast augenblicklich, in der Regel genau und überwindet die meisten sprachlichen und kulturellen Barrieren. Aber manchmal gehen die Daten verloren, werden ignoriert oder falsch interpretiert. Wenn ein Holzfäller im Wald lächelt und niemand ihn sieht, war er dann wirklich glücklich?
Aus dieser Geschichte
[×] SCHLIESSEN
So lange Emoticons. Der Wissenschaftler entwickelt eine Technologie, die unsere Ausdrücke erkennen und lesen kann
Video: Smithsonian Ingenuity Awards 2015: Rana el Kaliouby
Verwandte Lesevorgänge
Emotionale Intelligenz: Warum es mehr als nur auf den IQ ankommt
KaufenRana el Kaliouby hasst es zu sehen, dass Informationen verschwendet werden. Wenn ich El Kaliouby in ihrem kleinen Büro in Waltham, Massachusetts, treffe, sehe ich, wie sie sich den Jochbeinmuskel zusammenzieht, die Mundwinkel und den Orbicularis oculi hebt und die äußeren Augenwinkel kräuselt. Sie lächelt und ich schließe daraus, dass sie mich begrüßt, bevor sie überhaupt das Wort „Hallo“ herausbringt. Doch viele soziale Kontakte finden heute ohne persönliche Interaktion in Echtzeit statt. Hier kommen El Kaliouby und ihre Begleitung ins Spiel.
Der 37-jährige El Kaliouby lächelt oft. Sie hat ein rundes, angenehmes, ausdrucksstarkes Gesicht und eine besorgniserregende Art, die ihre Position als Mitbegründerin eines schnell wachsenden Technologie-Start-ups, eines Anti-Bezos, eines Un-Zuckerbergs, beleidigt. Ihr Unternehmen, Affectiva, das sie 2009 zusammen mit ihrer damaligen Kollegin am MIT Media Lab, Rosalind Picard, gegründet hat, ist auf dem neuesten Stand der Technik, Computer zur Erkennung und Interpretation menschlicher Gesichtsausdrücke einzusetzen. Dieses als „Affective Computing“ bekannte Feld versucht, die Kommunikationslücke zwischen Mensch und Maschine zu schließen, indem eine neue Art der Interaktion hinzugefügt wird, einschließlich der nonverbalen Sprache von Lächeln, Schmunzeln und hochgezogenen Augenbrauen. „Wir setzen voraus, dass Emotionen wichtig sind“, sagt el Kaliouby. „Emotionen stören unser rationales Denken nicht, sondern leiten und informieren es. Aber sie fehlen in unserer digitalen Erfahrung. Ihr Smartphone weiß, wer Sie sind und wo Sie sich befinden, aber es weiß nicht, wie Sie sich fühlen. Wir wollen das beheben. “
Warum muss Ihr Smartphone wissen, wie Sie sich fühlen? El Kaliouby hat eine Vielzahl von Antworten, die alle auf der scheinbar grenzenlosen Integration von Computern in die Routinen unseres täglichen Lebens beruhen. Sie stellt sich „Technologie zur Steuerung von Licht, Temperatur und Musik in unseren Häusern als Reaktion auf unsere Stimmungen“ oder Apps vor, mit denen Sie den Inhalt eines Films an Ihre unbewussten Reaktionen anpassen können, während Sie ihn ansehen. Sie stellt sich Programme vor, die Ihren Ausdruck beim Fahren überwachen und vor Unaufmerksamkeit, Schläfrigkeit oder Wut warnen können. Sie lächelt bei der Erwähnung ihrer Lieblingsidee: "Ein Kühlschrank, der erkennt, wenn Sie gestresst sind und das Eis verschließt."
Insbesondere ist sie der Meinung, dass Affectiva und die Technologie, mit der es den Einstieg in den Mainstream ermöglicht, ein Segen für die Gesundheitsfürsorge sein werden. Ein Forscher, der ein neues Medikament testet, oder ein Therapeut, der einen Patienten behandelt, erhält nur in regelmäßigen Abständen Feedback, abhängig von allen Problemen der Selbstberichterstattung - dem unbewussten Wunsch, beispielsweise dem Arzt eine Freude zu machen, oder dem selektiven Rückruf, der die jüngsten Erinnerungen begünstigt . El Kaliouby stellt sich ein Programm vor, das im Hintergrund des Laptops oder Telefons des Probanden abläuft und eine Momentaufnahme seiner Stimmung über einen bestimmten Zeitraum (einen Tag, einen Monat) erstellt und mit dem korreliert Zeit oder irgendetwas anderes kann Ihr Gerät messen oder verfolgen. „Es müsste nicht einmal Teil eines Behandlungsprogramms sein“, sinniert sie. "Sie könnten es einfach auf Ihrem Telefon haben und es sagt Ihnen, jedes Mal, wenn 'X' anruft, haben Sie einen negativen Ausdruck, und das sagt Ihnen etwas, was Sie vielleicht nicht gewusst haben."
Abonnieren Sie jetzt das Smithsonian-Magazin für nur 12 US-Dollar
Diese Geschichte ist eine Auswahl aus der Dezember-Ausgabe des Smithsonian-Magazins.
KaufenEl Kaliouby fördert das affektive Rechnen als logischen nächsten Schritt auf dem Weg von der Tastatur über die Maus zum Touchscreen zur Spracherkennung. Im Frühjahr veröffentlichte Affectiva sein erstes kommerzielles Software-Entwicklungskit, das Entwickler, die an den Echtzeit-Emotionszuständen der Benutzer interessiert sind, in ihre eigenen Programme integrieren können, z. B. Musik-Player oder Spiele- oder Dating-Apps. Und genau in diesem Herbst hat Affectiva Emotion As a Service auf den Markt gebracht, ein Cloud-basiertes Programm, in das Kunden Videos zur Analyse hochladen können. Wer könnte das nutzen? Ein Kandidat, der kurz vor einem Vorstellungsgespräch steht und sich Sorgen macht, ängstlich oder gelangweilt zu wirken oder sogar zu viel zu lächeln. Oder eine Fluggesellschaft, die Flugbegleiter anstellt, mit Hunderten von Videoanwendungen, die durchsucht werden müssen, um diejenigen zu finden, die ein überzeugendes Lächeln erzielen, wenn sie sich von ihren Passagieren verabschieden. (Ein echtes Lächeln, bei dem sich die Augenwinkel zusammenziehen, wird als „Duchenne“ -Lächeln bezeichnet, das nach dem Anatom des 19. Jahrhunderts benannt wurde. Das Gegenteil, ein erzwungenes Lächeln, bei dem nur der Mund verwendet wird, ist manchmal der Fall ein "Pan Am" -Lächeln genannt.)
Selbstverständlich sind alle Geräte, auf denen diese Software ausgeführt wird, mit dem Internet verbunden, sodass die gesammelten Informationen sofort aggregiert, gesiebt und vernetzt werden, sodass Social-Media-Apps beliebte Themen oder Persönlichkeiten identifizieren können. Möglicherweise in so etwas wie einem Affectiva Mood Index zusammengefasst, einer numerischen Lesart über das brutto nationale Glück, oder unterteilt in Regionen, in denen derzeit ein Lächeln oder ein Stirnrunzeln im Trend liegt.
Das Grundprogramm von Affectiva analysiert das Gesicht 20 Mal pro Sekunde auf 46 lokalisierte Ausdrücke von Glück, Trauer, Überraschung, Angst, Wut, Ekel und Verachtung sowie Interesse und Verwirrung. (Naomi Shavin / Smithsonian) Bisher waren die Hauptkunden von Affectiva Werbe-, Marketing- und Medienunternehmen. Die Software automatisiert den Ablauf einer Fokusgruppe, das umständliche Ritual, ein Dutzend Personen in einem Raum zu versammeln, um ihre Meinung zu einem neuen Produkt, einer Fernsehserie oder einer Werbekampagne zu äußern. es zeichnet reaktionen direkt auf, ohne dass ein teilnehmer an einem zifferblatt drehen oder einen fragebogen beantworten muss, um auf eine präsentation zu antworten. Darüber hinaus erweitert die Software die potenzielle Fokusgruppe auf die ganze Welt oder zumindest auf einen wesentlichen Teil davon, der über einen webcamfähigen Computer oder ein mobiles Gerät verfügt.
Die Rückmeldungen von Affectivas unerbittlichem, allsehendem Auge haben dazu beigetragen, eine Netzwerk-TV-Sitcom zu gestalten, bei der zwei Charaktere in Vergessenheit geraten, weil sie den Betrachter nicht zum Lächeln gebracht haben. (El Kaliouby wird die Show oder die Charaktere nicht identifizieren.) Die Software wurde verwendet, um einen "Smile Sampler" zu erstellen, eine Maschine, die Schokoriegel an Käufer verteilte, die in die Kamera lächelten. Mit mehr Nachforschungen könnte es wahrscheinlich nützlich sein, um Menschenmengen auf Flughäfen zu überwachen, potenzielle Ladendiebstahler zu identifizieren oder als Lügendetektor.
Aber el Kaliouby hat sich diesen Schleichwerbungen widersetzt, so lukrativ sie auch sein mögen. Sie glaubt, dass affektives Computing die Welt verändern wird, unter anderem durch den Verkauf von Schokoriegeln. "Das Ethos unseres Unternehmens besteht darin, mit dieser Technologie das Leben der Menschen zu verbessern und ihnen zu helfen, besser zu kommunizieren, und nicht nur Werbekunden dabei zu helfen, mehr Produkte zu verkaufen."
**********
Anders als bei vielen Tech-Unternehmern stand das Reichwerden nicht auf der ursprünglichen Agenda von El Kaliouby. In Kairo als Kind ägyptischer Eltern geboren, die beide im Technologiebereich tätig sind, studierte sie Informatik an der American University in Kairo, wo sie 1998 ihren Abschluss machte. Damals wurden Computer so leistungsfähig, dass Forscher darüber nachdenken konnten, sie mit menschlichen Begriffen auszustatten genannt emotionale Intelligenz.
Sie setzte ihr Informatikstudium an der Universität von Cambridge fort und traf unmittelbar nach den Anschlägen auf Amerika am 11. September 2001 ein. Ihre Eltern dachten, sie könnte wegen ihres Erbes verhaftet, belästigt oder schlimmer sein. Aber obwohl sie bis vor ein paar Jahren eine muslimische Kopfbedeckung trug, war sie weder in Cambridge, England, noch in Cambridge, Massachusetts, wo sie 2006 umzog, um dem MIT Media Lab beizutreten, jemals über ihre Religion oder ihr Aussehen besorgt . "Ich denke, es ist, weil ich viel lächle", sagt sie lächelnd.
Der französische Anatom Duchenne veröffentlichte wegweisende Studien zum menschlichen Gesichtsausdruck. (Bridgeman Images) Während ihrer Zeit in Cambridge hatte sie sich für das Problem des Autismus interessiert, insbesondere für die Schwierigkeit autistischer Kinder, Mimik zu lesen. Sie schlug vor, ein „emotionales Hörgerät“ zu bauen, das getragen werden kann, um Gesichter zu lesen und dem Träger ein angemessenes Verhalten anzuzeigen. Zunächst für ein Stipendium der National Science Foundation abgelehnt, weil das Projekt zu schwierig war, bauten sie und ihre Kollegen einen Prototyp, der aus einer Brille bestand, die mit einer winzigen Kamera, blinkenden Lichtern und einem Kopfhörer ausgestattet war eine frühe Version von Google Glass. Ein zweiter Zuschussantrag war erfolgreich, und nachdem sie zum MIT gewechselt war, arbeiteten sie und ihr Team die nächsten drei Jahre daran, ihn an einer Schule in Rhode Island zu perfektionieren und zu testen. El Kaliouby beschreibt es als "ein Forschungsprojekt und ein erfolgreiches" - die autistischen Kinder, die es nutzten, hatten überwältigend positive Erfahrungen -, aber 2008, als das Stipendium endete, sah sie sich einem Moment der Abrechnung gegenüber. Das kommerzielle Interesse an affektivem Computing wuchs, und sie wollte, dass es expandierte und florierte. Wenn sie sich bemühte, die Brille zu entwickeln, beschränkte sie sich auf einen winzigen Teil ihrer potenziellen Verwendung. Also hat sie zusammen mit Picard Affectiva ausgegliedert und die Hoffnung geweckt, dass ein anderes Unternehmen das emotionale Hörgerät aufgreifen und auf den Markt bringen würde.
Bei der Gründung von Affectiva wählten eine Handvoll von "Teammitgliedern", aus denen das Unternehmen bestand, einen Wert, den sie verkörpern wollten, wie "Lernen" oder "soziale Verantwortung" oder "Spaß". war „Leidenschaft“. Das 20-köpfige Unternehmen wird quasi demokratisch geführt und hat halbjährliche Treffen, bei denen die Mitarbeiter über die Prioritäten abstimmen, die sie in den nächsten sechs Monaten verfolgen möchten. Ihr Büro hat ein Whiteboard mit Zeichnungen der kleinen Tochter eines ihrer Kollegen. Sie hat einen 6-jährigen Sohn, Adam, und eine 12-jährige Tochter, Jana, die mit ihr in den Vororten von Boston lebt (ihr Vater lebt in Ägypten). Ihre Art ist mild und rücksichtsvoll; eine Stunde vor einem Morgentreffen bietet sie an, ein Sandwich für einen Besucher zu bestellen, obwohl sie selbst das Mittagessen auslässt. "Es ist Ramadan für mich", sagt sie lächelnd, "aber es ist nicht Ramadan für dich."
Sie setzt sich an einen Schreibtisch mit Blick auf einen Monitor und eine Webcam. Die Software erkennt das Gesicht des Besuchers und zeichnet einen Rahmen auf dem Bildschirm. Es identifiziert eine Reihe von Punkten, die verfolgt werden müssen: die Augen- und Mundwinkel, die Nasenspitze usw. Zwanzig Mal pro Sekunde sucht die Software nach „Aktionseinheiten“, dem oft flüchtigen Muskelspiel im Gesicht. Es gibt 46 davon nach dem Standardsystem der Klassifizierung, dem Facial Action Coding System (FACS). Sie umfassen innere und äußere Brauenerhöhungen, Grübchen, Blinzeln, Winzeln und Lippenfalten, Trichter, Pressen und Saugnäpfe. Das Standardprogramm von Affectiva erfasst zu jedem Zeitpunkt etwa 15 davon und analysiert sie auf Ausdrücke von sieben Grundemotionen: Glück, Traurigkeit, Überraschung, Angst, Wut, Ekel und Verachtung sowie Interesse und Verwirrung. Lächle und du kannst sehen, wie das Maß an Glück in die Höhe schiesst. kräuseln Sie Ihre Lippe höhnisch und das Programm merkt Ihren Ekel.
Genauer gesagt, Ihr Ausdruck von Ekel. Die ganze Prämisse des Affective Computing beruht auf einem Vertrauenssprung, der darin besteht, dass ein Lächeln ein Gefühl des Glücks, der Freude oder des Vergnügens vermittelt. Natürlich sind die Menschen in der gleichen Position: Wir können uns durch ein falsches Lächeln oder vorgetäuschten Ärger täuschen lassen, so dass wir von einem Computerprogramm nicht wirklich mehr erwarten können, zumindest noch nicht.
Im Laufe der Zeit hat Affectiva ein Archiv mit mehr als drei Millionen Videos von Gesichtern erstellt, die von Internetnutzern aus rund 75 Ländern auf der ganzen Welt hochgeladen wurden. Hunderttausende davon wurden von geschulten Beobachtern analysiert und für FACS-Aktionseinheiten codiert - ein monumentales Unterfangen, da die Videos im Durchschnitt etwa 45 Sekunden lang sind und die Verarbeitung jeweils etwa fünfmal so lang dauert. Die Ergebnisse der menschlichen Programmierer wurden wiederum verwendet, um die Algorithmen des Unternehmens zu „trainieren“, die den Rest in Echtzeit verarbeiteten. Die gesamte Datenbank umfasst nun rund 40 Milliarden "Emotionsdatenpunkte", eine Ressource, die sich von anderen Unternehmen in diesem Bereich, wie dem in Kalifornien ansässigen Unternehmen Emotient, wahrscheinlich dessen engster Konkurrent, abhebt.
(Grafik: 5-W-Infografiken; Quelle: Daniel McDuff, MIT Media Lab, Affectiva) Daniel McDuff, der vom MIT Media Lab zu Affectiva kam und als Forschungsdirektor fungiert, untersucht diesen Fundus ständig, um weitere Einblicke in den Ausdruck von Emotionen zu erhalten. Wie unterscheiden sie sich nach Alter, Geschlecht und Kultur? (Vielleicht überraschend, hat McDuff festgestellt, dass ältere Menschen, insbesondere positive Emotionen, ausdrucksvoller sind als jüngere.) Können wir Verachtung, Verlegenheit, Langeweile, Angst zuverlässig messen? Wann signalisiert eine Augenbrauenfurche Verwirrung und wann zeigt sie Konzentration an? Wie können wir zwischen einem Ausdruck der Angst und einem Ausdruck der Überraschung unterscheiden? (Hinweis: Aktionseinheit 1, der „innere Brauenheber“, ist der Marker für Angst; Aktionseinheit 2, der „äußere Brauenheber“, zeigt Überraschung an.) Es gebe allen Grund zu der Annahme, dass das Programm fortgesetzt wird um Ausdrücke besser zu erkennen (obwohl es das größte Hindernis von allen möglicherweise nie vollständig überwinden wird: Botox).
Auf meine Bitte hin gab McDuff dem Programm eines der großen klassischen Probleme der Emotionserkennung, die Mona Lisa, deren rätselhaftes Quasi-Lächeln die Zuschauer seit 500 Jahren fasziniert. Mit der Einschränkung, dass die Software am besten für das Verschieben von Ausdrücken und nicht für statische Bilder geeignet ist, berichtete er, dass sie keinen Hinweis auf ein echtes Lächeln von La Gioconda gefunden habe, sondern eine Kombination aus Aktionseinheit 28 (Lippenrolle) und 24 (Lippen zusammengedrückt)., was möglicherweise auf ein gewisses Maß an Unbehagen hindeutet.
**********
„Ich spreche jetzt mit dir“, sagt el Kaliouby, „und beobachte dich, um dein Interesse an dem, was ich sage, zu messen. Sollte ich langsamer fahren und mehr erklären? Soll ich zu einem anderen Thema gehen? Stellen Sie sich vor, ich gebe einer großen Gruppe ein Webinar, das ich nicht sehen oder hören kann. Ich bekomme kein Feedback, es gibt keine Möglichkeit festzustellen, ob ein Witz funktioniert hat oder nicht, ob Leute verlobt oder gelangweilt sind. Wäre es nicht großartig, dieses Feedback von Moment zu Moment in Echtzeit zu erhalten, wenn ich mitkomme? “
Sie spielt eine Anzeige für Jibo, einen „Social Robot“, der auf der Crowdfunding-Website Indiegogo vorbestellt werden kann und von der ehemaligen MIT-Kollegin Cynthia Breazeal entwickelt wurde. Jibo sieht aus wie eine High-Tech-Lava-Lampe. Er sitzt auf einem Tisch und scannt die Umgebung. Er identifiziert Personen anhand des Gesichts und interagiert mit ihnen. Er leitet Nachrichten weiter, erinnert sie, tätigt Routineanrufe und unterhält sich sogar. Dies ist eine weitere potenzielle Anwendung für Affectivas Software - die Unternehmen sind in Gesprächen - und es ist "eine sehr aufregende Perspektive", sagt El Kaliouby.
Aufregend für einige, aber die Aussicht auf Roboter zur Verarbeitung von Emotionen ist für andere alarmierend. Sherry Turkle, die seit langem untersucht hat, wie Menschen mit Computern umgehen, warnt in ihrem neuen Buch Reclaiming Conversation: Die Macht des Sprechens in einem digitalen Zeitalter über den „Robotermoment“, in dem Maschinen beginnen, die menschliche Gesellschaft zu ersetzen. Turkle glaubt, dass Wissenschaftler wie el Kaliouby und ihr Team das tun können, was sie sagen, dass sie es tun werden. "Das sind alles brillante, begabte Leute, die brillante Arbeit leisten", sagt sie. Und sie stimmt zu, dass in bestimmten Kontexten - in gefährlichen Umgebungen wie dem Weltraum oder in der Nähe schwerer Maschinen, in denen Sie alle möglichen Kommunikationsarten nutzen möchten - affektives Computing eine Rolle spielt. "Aber der nächste Schritt", sagt sie, "folgt überhaupt nicht." Der nächste Schritt ist: Machen wir einen Roboterfreund. Ich habe Eltern interviewt, die froh sind, dass ihre Kinder mit Siri sprechen, und ich denke, das bringt uns nicht auf eine Straße, auf die wir gehen wollen. Wir definieren uns als Menschen, mit denen wir in Verbindung stehen, und es macht für mich keinen Sinn, Ihr Selbstwertgefühl in Bezug auf eine Maschine zu entwickeln. Warum soll ein Computer wissen, ob Sie traurig sind? "
Selbst el Kaliouby ist geneigt zuzustimmen, dass „wir mehr Zeit als nötig mit unseren Geräten verbringen“, natürlich vor dem Hintergrund ihrer jugendlichen Tochter, deren Blick auf ihren Smartphone-Bildschirm gerichtet ist.
Sie sieht den Trend zu immer mehr Konnektivität jedoch als irreversibel an und ist der Meinung, dass die Benutzer zwar immer einwilligen müssen, wir aber auch das Beste daraus machen könnten. Sie sagt voraus, dass unsere Geräte „einen Emotionschip und eine Reihe von Apps haben werden, die diesen so nutzen, dass unser Leben einen ausreichenden Mehrwert erhält, der die Bedenken der Menschen hinsichtlich des Austauschs dieser Daten überwiegt.“ Sie zieht eine Analogie zu GPS-Geräten: Affective Computing Can Helfen Sie uns, durch den emotionalen Raum zu navigieren. "Alle machten sich auch beim ersten Erscheinen Sorgen um Ortungsgeräte. Sie drangen in unsere Privatsphäre ein und verfolgten uns die ganze Zeit", sagt sie. „Erst jetzt wären wir alle ohne Google Maps auf unseren Handys verloren. Ich denke, das wird genauso sein. “
**********
