https://frosthead.com

Dieser Computeralgorithmus verwandelt Filme in atemberaubende Kunstwerke

Im vergangenen Jahr hat eine Gruppe deutscher Informatiker Wellen geschlagen, indem sie einen neuen Computeralgorithmus demonstriert haben, mit dem jedes digitale Standbild in ein Kunstwerk umgewandelt werden kann, das den malerischen Stil von Meistern wie Vincent van Gogh, Pablo Picasso und Edvard Munch nachahmt. Obwohl es eine beeindruckende Leistung war, schien es zu dieser Zeit unverschämt, die gleiche Technik auf bewegte Bilder anzuwenden. Jetzt hat es eine andere Forschergruppe herausgefunden, die schnell und nahtlos bewegte digitale Meisterwerke produziert, schreibt Carl Engelking für Discover .

Verwandte Inhalte

  • Dieser animierte Film über Van Gogh besteht ausschließlich aus Ölgemälden
  • Dieses künstliche neuronale Netz erzeugt absurde Tonabnehmerlinien

In einer Videodemonstration demonstrieren die Programmierer die künstlerischen Fähigkeiten ihres Algorithmus, indem sie Szenen aus Filmen und Fernsehsendungen wie Ice Age und Miss Marple mit einem Mausklick in gemäldeähnliche Animationen verwandeln. Die Entwicklung des Algorithmus war jedoch keine Kleinigkeit.

Um eine so detaillierte Transformation zu erreichen, haben der Informatiker Leon Gatys und seine Kollegen an der Universität Tübingen einen Deep-Learning-Algorithmus entwickelt, der auf einem künstlichen neuronalen Netzwerk aufbaut. Durch die Nachahmung der Art und Weise, wie Neuronen im menschlichen Gehirn Verbindungen herstellen, können diese maschinellen Lernsysteme wesentlich kompliziertere Aufgaben ausführen als jeder alte Laptop.

So funktioniert es: Wenn Sie sich ein Bild eines Gemäldes ansehen oder einen Film auf Ihrem Laptop ansehen, werden Sie Zeuge, wie Ihr Computer die Informationen in einer Datei dekodiert und auf die richtige Weise präsentiert. Wenn diese Bilder jedoch über ein neuronales Netzwerk verarbeitet werden, ist der Computer in der Lage, die vielen verschiedenen Informationsschichten, die in diesen Dateien enthalten sind, einzeln aufzuspüren.

Zum Beispiel könnte eine Ebene die Informationen für die Grundfarben in Van Goghs Sternennacht enthalten, während die nächste der MIT Technology Review zufolge ein wenig mehr Details und Texturen usw. hinzufügt. Das System kann dann die verschiedenen Ebenen einzeln ändern, bevor sie wieder zusammengefügt werden, um ein ganz neues Bild zu erstellen.

„Wir können beide Darstellungen unabhängig voneinander bearbeiten, um neue, wahrnehmungsrelevante Bilder zu erstellen.“, Schrieb Gatys in einer Studie, die auf dem arXiv-Server für die Druckvorstufe veröffentlicht wurde.

Durch die Anwendung dieses Systems des schichtenbasierten Lernens auf Gemälde von Picasso und van Gogh, um nur einige zu nennen, gelang es den Forschern, einen Algorithmus zu entwickeln, der dem Computer „beibringt“, all diese Informationen auf eine Weise zu interpretieren, die den Inhalt von a trennt Malerei von seinem Stil. Sobald es verstanden hat, wie van Gogh Pinselstriche und Farben verwendete, konnte es diesen Stil wie einen Photoshop-Filter auf ein Bild anwenden und es effektiv in seinem ikonischen Stil nachbilden, schrieb Matt McFarland für die Washington Post . Die Anwendung dieser Technik auf Videos brachte jedoch eine ganze Reihe neuer Probleme mit sich.

„In der Vergangenheit hat das manuelle Umzeichnen eines Bildes in einem bestimmten künstlerischen Stil einen professionellen Künstler und viel Zeit gekostet“, schreiben Manuel Ruder und sein Team von der Universität Freiburg in ihrer neuen Studie, die ebenfalls auf arXiv veröffentlicht wurde. "Dies für eine Videosequenz mit einer Hand zu tun, war unvorstellbar."

Als Ruder und seine Kollegen zum ersten Mal versuchten, den Algorithmus auf Videos anzuwenden, gab es auf dem Computer ein Gobbledy-Gook. Schließlich stellten sie fest, dass das Programm jedes Bild des Videos als separates Standbild behandelte, wodurch das Video unregelmäßig flackerte. Um dieses Problem zu lösen, haben die Forscher den Algorithmus eingeschränkt, der verhindert, dass der Computer zu stark zwischen den Frames abweicht, schreibt Engelking. Dadurch konnte sich das Programm beruhigen und einen einheitlichen Stil für das gesamte Video anwenden.

Der Algorithmus ist nicht perfekt und hat oft Probleme, größere und schnellere Bewegungen zu handhaben. Dies ist jedoch immer noch ein wichtiger Schritt nach vorn, wenn es darum geht, wie Computer Videos rendern und ändern können. In einem frühen Stadium könnten zukünftige Algorithmen diesen Effekt auf Videos anwenden, die über eine Smartphone-App aufgenommen wurden, oder sogar Virtual-Reality-Versionen Ihrer Lieblingsbilder rendern, berichtet der MIT Technology Review .

Die Idee, den Stil eines Künstlers auf eine Reihe von Datenpunkten zu beschränken, kann manche Menschen in Aufruhr versetzen und öffnet auch die Türen zu allen neuen Arten von Kunst, die noch nie für möglich gehalten wurden.

Dieser Computeralgorithmus verwandelt Filme in atemberaubende Kunstwerke