Vor ein paar Wochen war ich in einem Einkaufszentrum, als ich eine Frau bemerkte, die eine tolle Handtasche mit einem seilartigen Riemen trug. Da ich nach einer neuen Tasche auf dem Markt bin, überlegte ich, sie zu fragen, woher sie sie habe. Aber bevor ich mich bewegen konnte, verschwand sie um eine Ecke. Als ich nach Hause kam, versuchte ich die Tasche zu googeln. Aber ich bin kein Modefan, und ich habe festgestellt, dass ich nicht das Vokabular hatte, um zu beschreiben, was ich gesehen hatte. „Lederhandtasche mit Kordelzug“ stimmte nicht. Weder war "Geldbörse mit Seilgriff" noch "Tasche mit Kordelriemen". Schließlich gab ich auf.
Jetzt soll eine neue Technologie Menschen dabei helfen, nach Dingen zu suchen, die sie nicht unbedingt in Worten beschreiben können.
James Hays, ein Informatiker am Georgia Institute of Technology, hat ein Computerprogramm entwickelt, mit dem handgezeichnete Bilder mit Fotografien abgeglichen werden können. Dies könnte schließlich zu einem Programm führen, das Internet-Bildersuchdienste wie Google Images kombiniert und Fotos findet, die genau den Zeichnungen der Benutzer entsprechen.
„Das Ziel ist es, Fotos und Skizzen in beide Richtungen in Beziehung zu setzen oder zuzuordnen, genau wie es ein Mensch kann“, sagt Hays. „Ein Mensch kann eine schlecht gezeichnete Skizze sehen und herausfinden, zu welchem Foto sie zu passen scheint. Wir wollen die gleichen Fähigkeiten rechnerisch haben. “
Um das Programm zu erstellen, stellte Hays fast 700 Mitarbeiter bei Amazon Mechanical Turk ein, einem Crowdsourcing-Marktplatz, der Mitarbeiter mit Mitarbeitern zusammenbringt, die Aufgaben erledigen müssen. Sein Team zeigte den Arbeitern Fotos von gewöhnlichen Gegenständen und Tieren wie Eichhörnchen, Teekannen und Bananen, so dass sie das Bild zwei Sekunden lang betrachten konnten. Der Arbeiter würde dann das Objekt aus dem Speicher ziehen. Das Team sammelte schließlich mehr als 75.000 Skizzen von 12.500 Objekten. Sie nannten dies die "skizzenhafte Datenbank".
Das Programm analysierte dann die Skizzen und passte sie dem Foto an, dem sie am ähnlichsten waren. Die Technologie identifizierte das richtige Foto in 37 Prozent der Fälle. Im Vergleich dazu hatten die Menschen in 54 Prozent der Fälle Recht. Während 37 Prozent nicht beeindruckend scheinen, ist es für Computer tatsächlich ein ziemlicher Sprung.
„Der Mensch kann schon so erstaunlich gut sehen, dass wir Bilder mühelos erkennen“, sagt Hays. "Es ist tatsächlich überraschend schwierig, rechnerisch."
Eine der Hauptherausforderungen bei der Verbesserung des Programms ist, dass die meisten Leute ziemlich miese Künstler sind. Wie Hays und sein Team in einem Artikel zu diesem Thema geschrieben haben: „Formen und Maßstäbe sind verzerrt. Objektteile sind karikiert (große Ohren bei einem Elefanten), anthropomorphisiert (lächelnder Mund bei einer Spinne) oder vereinfacht (Strichmännchen). “
In der Vergangenheit konzentrierte sich die Forschung, um Computer dazu zu bringen, Skizzen zu erkennen, auf Dinge wie die Verteilung von Linien in einer Zeichnung, die Richtung, in die die Linien verlaufen, oder die Grenzen der Zeichnung. Da Menschen jedoch nur das zeichnen, was für den Menschen von Bedeutung ist (Augen sind beispielsweise immer in Skizzen enthalten, auch wenn sie relativ klein sind), ist es wichtig, dass ein Computer „lernt“, wie sich Skizzen ähneln und wie sie dazu neigen anders sein als Fotos. Dazu verwendet das Programm zwei separate Netzwerke, eines zur Auswertung von Skizzen und eines zur Auswertung von Fotos. Durch die ständige Analyse eines großen Datensatzes kann das Programm kontinuierlich „lernen“.
Hays und sein Team planen, das Programm durch Hinzufügen von Daten weiter zu verbessern. Fortschritte beim Computerlernen sollten auch dazu beitragen, die Übereinstimmungsraten zu verbessern. Derzeit hat das Programm eine relativ hohe Übereinstimmungsrate beim Vergleich von Skizzen mit Internet-Fotodatenbanken, einschließlich Flickr, obwohl es schwer zu quantifizieren ist, sagt Hays.
Zusätzlich zu der Handtaschenbildsuche, die ich so dringend benötige, hat das Programm eine Reihe von weniger leichtfertigen Verwendungsmöglichkeiten. Die Polizei konnte verdächtige Skizzen einscannen und mit einer Datenbank mit kriminellen Fotos vergleichen. Das Programm kann von Personen verwendet werden, die in einer beliebigen Sprache sprechen und schreiben oder überhaupt nicht schreiben können.
"Ein Ziel des Verständnisses von Skizzen ist, dass sie eine etwas universelle Sprache sind", sagt Hays. „Es ist nicht an eine bestimmte Schriftsprache gebunden und es ist überhaupt nicht an Alphabetisierung gebunden. [Ein Programm wie dieses könnte] Zugang zu Informationen ohne geschriebene Sprache verschaffen. “
Das Programm könnte auch künstlerisch eingesetzt werden, um fotorealistische Szenen aus Skizzen zu erstellen. Haben Sie sich schon immer vorgestellt, in einem Schloss auf dem Mond zu leben? Zeichnen Sie es, und das Programm könnte eines Tages ein Fotobild für Sie erstellen, indem Sie Teile anderer Bilder zusammenfügen.
Die von Hays und seinem Team gesammelten Informationen könnten auch dazu beitragen, einige neurowissenschaftliche und psychologische Fragen zu beantworten, sagt Hays.
„Diese Skizzen-Foto-Paare sagen etwas über die menschliche Wahrnehmung aus, darüber, was wir für herausragend halten und welche Teile von Bildern unsere Aufmerksamkeit erregen“, sagt Hays. „In gewisser Weise verschlüsselt diese Datenbank das ziemlich gut. Daraus könnte sich etwas ergeben, wenn Sie etwas über den Menschen selbst sagen wollen. “
