https://frosthead.com

Dieser Video-Wettbewerbsbeitrag ist eine umwerfende Darstellung von visualisiertem und verzerrtem Sound

James Allibans Bipolar präsentiert einen audiovisuellen Spiegel, der aus der Präsenz und Bewegung seiner Motive eine Klanglandschaft erzeugt. Die resultierenden Audiodaten (einschließlich der vom Teilnehmer) werden verwendet, um den Körper in ein verzerrtes Porträt zu verwandeln, das zwischen Chaos- und Ordnungszuständen schwankt. Mit dem Video wird auch die unendliche Faszination der Personen für die Installation auf beeindruckende Weise festgehalten. Es bietet sofortige Befriedigung und ein Gefühl für die unendlichen Möglichkeiten.

Wie bist du auf die Idee zu diesem Video gekommen?

Dieses Stück begann als Experiment. Ich sprach auf einem Designfestival und wurde (zusammen mit den anderen Rednern) gebeten, ein kurzes "Dankeschön fürs Kommen" -Video zusammenzustellen, um es am Ende der Veranstaltung abzuspielen. Ich wollte etwas Interessanteres tun, als einfach in mein Smartphone zu sprechen. Ursprünglich hatte ich vor, eine Gesichtsverfolgungsanwendung zu erstellen, die mein Gesicht als Reaktion auf meine Rede verzerrte und verzerrte. Mit der Zeit habe ich dies mit der Kinect-Kamera in ein Ganzkörpererlebnis verwandelt.

Ich bin auf diesen Effekt gestoßen, der so dramatisch wirkte, dass ich mich entschied, ihn weiter zu untersuchen und Bipolar (so genannt wegen der ständigen Schwankungen zwischen Ordnungszuständen und Chaos) in Form eines kurzen Videos zu veröffentlichen. Die Leute haben angefangen, sich für die Ausstellung des Stücks zu interessieren, also habe ich es modifiziert, um es zu einer Installation zu machen. Das Projekt wurde zu einer gemeinsamen Anstrengung, als Liam Paton von Silent Studios einen interaktiven Soundaspekt hinzufügte. Es wurde seitdem auf mehreren Veranstaltungen und Ausstellungen ausgestellt.

Wir lieben es, nach etwas Ausschau zu halten. Lassen Sie sich also verwöhnen. Worauf schauen wir hier?

Der Grundeffekt ist nicht zu involviert. Ich benutze openFrameworks, ein C ++ - basiertes Programmier-Toolkit. Ungefähr 30 Mal pro Sekunde werden die Tiefendaten und der Video-Feed einer Xbox Kinect-Kamera kombiniert, um ein 3D-Modell der Besucher zu erstellen. Ich verwende die vom Mikrofon eingehenden Sounddaten, um jeden zweiten Punkt im 3D-Modell zu extrudieren. Die Punkte werden in die Richtung extrudiert, in die sie weisen, um eine räumliche Ästhetik zu erzielen, die mit den Daten einer Standardkamera nicht möglich ist.

Darüber hinaus wird es ziemlich verwickelt. Hinter den Kulissen ist noch viel mehr los. Ich nutze die Leistung der Grafikkarte, um das 3D-Modell zu glätten und eine Reihe von Daten zu berechnen, die die Anwendung beschleunigen und das Erscheinungsbild des Objekts allgemein verbessern. Ich habe eine Benutzeroberfläche in der App mit ca. 15 bis 20 Seiten mit Schaltflächen und Schiebereglern, mit denen ich das Teil optimieren kann, bis ich zufrieden bin. In Bezug auf den Sound wird die Bewegung des Teilnehmers berechnet und an eine separate Software gesendet, die von Liam in Max / MSP erstellt wurde. Anschließend erstellt er die verdrehte Klanglandschaft basierend auf dem Aktivitätsumfang und verschiedenen anderen Faktoren wie Standort und Nähe. Dieses Audio wird dann zusammen mit anderen Geräuschen in der Umgebung vom Mikrofon aufgenommen und auf dem Körper des Subjekts visualisiert.

Was war für Sie der befriedigendste Aspekt an diesem Stück?

Während der Lernprozess und der Akt der Entdeckung und des Zufalls sehr unterhaltsam waren, war der beste Teil dieses Projekts das Endergebnis. Es ist eine wundervolle Erfahrung, zu sehen, wie Menschen die Installation zum ersten Mal entdecken und mit ihnen interagieren. Ich genieße sie für jedes Stück, das ich der Öffentlichkeit anbiete. Es ist immer sehr lohnend, anonym im hinteren Teil des Raums zu stehen und zu beobachten, wie Menschen eine unerwartete Erfahrung machen, an der ich hart gearbeitet habe.

Was war das Letzte, was du großartig gelesen, gesehen oder gehört hast?

Ich habe mir kürzlich das neue Stück "Momentum" der Universität von Virginia in der Barbican's Curve-Galerie angesehen. Es besteht aus einer Reihe von 12 mechanischen Lichtpendeln, die gleichmäßig im dunklen Raum schwingen. Der Effekt war sehr nachdenklich und zumindest für mich aufgrund des unnatürlichen Verhaltens dieser sich langsam bewegenden Scheinwerfer etwas unheimlich.

Was kommt als nächstes?

Ich spreche mit einigen Kuratoren über die Ausstellung von Bipolar und erforsche in der Zwischenzeit immer wieder neue Wege, um den Körper durch Interaktivität darzustellen. Momentan arbeite ich an mehreren Projekten, von denen einige bald eingestellt werden.

Dieser Video-Wettbewerbsbeitrag ist eine umwerfende Darstellung von visualisiertem und verzerrtem Sound