2 Klangvisualisierung und Notation

43 Jahre nach John Whitneys ersten Experimenten ist in Echtzeit arbeitende audiovisuelle Software mittlerweile Bestandteil jedes ernst zu nehmenden Computerbetriebssystem. Heute findet die erste Begegnung mit audiovisueller Software für die meisten Menschen normalerweise über einen Bildschirmschoner statt (ein Dienstprogramm, das verhindert, dass sich Teile des Bildes auf dafür anfälligen Bildschirmen einbrennen) oder über ein Musikvisualisierungs-Plugin für einen Media-Player auf dem Computer. In vielen Fällen sind diese Funktionen in einer einzigen Software vereint. Mit ihrer ästhetischen Realisierung zielen derartige Systeme meist auf ein breites Publikum mit oberflächlichem Interesse an psychedelischer visueller Kultur. Das einflussreiche Screensaver- und Visualisierungssystem Cthugha beispielsweise, zwischen 1993 und 1997 von dem australischen Softwareentwickler Kevin »Zaph« Burfitt kreiert, wurde als ein Oszilloskop auf LSD beworben, als eine Form visueller Unterhaltung, die sich für Partys, Konzerte, Raves und ähnliche Anlässe eignet wie auch zum bloßen Abhängen zu mesmerisierenden, hypnotisierenden Bildern.^[6] Trotz der etwas überzogen wirkenden Sprache ist die Beschreibung von Cthugha als Oszilloskop vom technischen Standpunkt aus einigermaßen zutreffend. Ein Oszilloskop ist ein Gerät zur Darstellung der Wellenform (oder zur Zeitbereichsdarstellung) eines Signals, z. B. von Musik, in Echtzeit – und Cthugha ist tatsächlich im Wesentlichen ein elaboriertes Oszilloskop, das die Wellenformen von Tönen durch Variationen von Videofeedback mit starken Farbkonstrasten ausschmückt. Wellenformen stellen die denkbar einfachste Information dar, die aus digitalen Audiodaten gewonnen werden kann, und sind daher auch für zahlreiche andere Visualisierungssysteme benutzt worden, wie z. B. Geiss (1998–2008) und MilkDrop (2001–2007) von Ryan M. Geiss, G-Force von Andy O’Meara (das von Apples iTunes-Musicplayer lizenziert worden ist), Advanced Visualization Studio von Nullsoft und ProjectM von Pete Sperl und Carmelo Piccione.^[7]

Während manche Softwarekünstler eher versuchten, durch die ästhetische Erfahrung zu unterhalten oder einen tranceähnlichen Zustand zu schaffen, haben andere sich der Herausforderung der Visualisierung von Musik gestellt, um analytische Einsichten in die Struktur des musikalischen Signals zu gewinnen. Diese Arbeiten ersetzen die expressiven visuellen Sprachen der Malerei und des Abstract Cinema durch die Konventionen der Lesbarkeit, wie man sie in Diagrammen und musikalischen Notationssystemen findet. Ein frühes Beispiel ist Music Animation Machine (1982–2001) von Stephen Malinowski, ein Software-Kunstwerk, das MIDI-Tondateien in Form von vorüberziehenden Notenrollen als grafische Echtzeit-Begleitung zum Playback der Musik generiert.^[8] Die ersten Versionen der Music Animation Machine stellten Noten durch farbige Balken dar, deren vertikale Position ihrer Tonhöhe entsprach. Spätere Variationen von Malinowskis Projekt bedienten sich zusätzlicher visueller Veranschaulichung zur Darstellung der Konsonanz oder Dissonanz musikalischer Akkorde, der Spanne der melodischen Intervalle und des Timbres der Tonspuren der verschiedenen Instrumente. Malinowskis System zur Darstellung der Tonhöhe ist ein Beispiel einer Frequenzbereichsdarstellung, die neben der (Zeitbereichs-)Wellenform die zweite hauptsächliche Grundform von Tonvisualisierungs-Systemen darstellt. Frequenzbereichsdarstellungen können ganz verschiedene Gestalten annehmen, wie etwa Notenrollen (so genannt, weil sie den Lochbändern ähnlich sehen, die in den elektrischen Klavieren des 19. Jahrhunderts zum Einsatz kamen), Spektrogramme, Sonagramme, die Anzeigen grafischer Equalizer, Wasserfall-Spektren, 3-D-Oberflächen-Spektrogramme und (bei Stimmsignalen) voiceprints oder Stimmmuster.

Sehr häufig stellen Arbeiten auf dem Gebiet der Audiovisualisierung – und zwar sowohl solche mit rein ästhetischen wie mit analytischen Zielsetzungen – animierte Grafiken in Realzeit als Begleitung von Ton dar. In solchen Systemen geht es meist um eine zeitbezogene Darstellung von Wahrnehmungsphänomenen – Tonhöhe, Lautstärke und andere verhältnismäßig schnell vergängliche Tonmerkmale. Eine interessante Abweichung von diesem Trend zur Realzeit ist The Shape of Song von Martin Wattenberg, ein Software-Kunstwerk, das MIDI-Musik in statische Bilder umwandelt, um ihre langfristigen und vielschichtigen Zeitstrukturen offenzulegen. Für The Shape of Song erfand Wattenberg eine völlig neuartige Visualisierungsmethode, die sogenannten arc diagrams oder Bogendiagramme, mit deren Hilfe sich darstellen lässt, wie in einem längeren Musikstück tragende Passagen und Phrasen wiederholt werden. The Shape of Song kann der Natur der Sache nach keine Visualisierung von Musik in Echtzeit sein, da jede Echtzeit-Version vollkommene Kenntnis von Wiederholungen voraussetzen würde, die sich erst in der Zukunft ereignen werden.