Audio seziert und elastisch

Stand: 2011-01-04

Audio (auch polyphon!) frei in Zeit und Tonhöhe bearbeiten

Pitch Shifting und Time Stretching

Historisch: Bandschleife mit rotierenden Wiedergabeköpfen; Eventide Harmonizer (70er Jahre; „Harmonizer“ wegen der Möglichkeit zur Rückkopplung)

SOLA: Synchronous Overlap and Add, auch mal ohne Synchronisation vorgeführt (Demo TimeScaleSOLA.m aus DAFX)

Phasenvocoder (hier: FFT-Analyse und Oszillatorbank-Synthese, Demo VX_pitch_bank.m aus DAFX)

Formanterhaltung (Demo UX_pitch_pv_move.m aus DAFX)

Transientenerhaltung (Demo UX_voiced.m aus DAFX)

Phasenkoherenz bei Mehrkanal

zplane élastique (Ableton, Steinberg, Native usw.)

Analyse und Resynthese

Phasenvocoder: IRCAM AudioSculpt, Beispiele

Sinusförmige Wellen: SPEAR

Celemony Melodyne

Prosoniq sonicWORX Pro (angekündigt)

Unmixing. (Blind) Audio Source Separation

Einfachste Variante: N Mono-Audiospuren per Panpot auf M >= N Ausgangskanäle gemischt (keine Verzögerung, keine Filterung, kein Hall). Im Prinzip mit fester Mischung (ggf. phasenverkehrt) der Ausgangskanäle zu lösen. Bestimmung zum Beispiel über ICA (Independent Component Analysis): Man versucht, Anteile zu finden, die stochastisch möglichst unabhängig voneinander sind.

Schwierigere Variante: N Mono-Audiospuren per Panpot auf Stereo gemischt. Beispiel für einen Algorithmus: ADRess (Video, Beispiele).

Schwierigste Variante: N Klangerzeuger im realen Raum mit M << N Mikrophonen aufgenommen. Es kann nicht mehr darum gehen, die N Originalsignale zu berechnen (Was sollte auch das Originalsignal einer Aufnahme sein?), sondern N Signale zu errechnen, in denen jeweils möglichst nur eine Quelle zu hören ist (Hall? Filter?). Dieses Problem zu lösen verlangt wahrscheinlich eine Simulation der Vorgänge im Hirn (CASA, Computational Auditory Scene Analysis), insbesondere eine große Wissensbasis über Klänge.

Permutation als eines von vielen Problemen: Wenn man es tatsächlich schafft, M Audiosignale zu extrahieren, ist noch nicht klar, in welcher Reihenfolge das die gesuchten Ergebnisse sind. Abhilfe möglich, indem man Charakteristika vorgibt, z.B. dass das erste extrahierte Signal die Bassline sein soll. Schwieriger wird es noch bei einer Zerlegung, die im Frequenzraum arbeitet: Welche frequenzmäßig verschiedenen Teile gehören zum selben Signal?

Audionamix UnMixingStation