Home | Lehre | Videos | Texte | Vorträge | Software | Person | Impressum, Datenschutzerklärung |
Stand: 2012-01-22
Der Rechner folgt einem klassischem Instrument, einem Ensemble oder dem Dirigat in Echtzeit oder analysiert den Inhalt im Nachhinein.
Wozu?
Live
Klänge steuern (Gitarren-Synth usw.)
Notenblättern (Page Turning)
Automatische Begleitung
Licht-/Bühnensteuerung, Übertitelung (z.B. Übersetzung)
Üben, Unterricht
Offline
Transkription (Audio to Score)
Klänge ersetzen (Drum Replacement usw.)
Takes, Versionen oder sogar verschiedene Stücke synchronisieren
Beispiel für einen elementaren Ansatz: Andrew Robertson
Beispiel für einen komplexen Ansatz: Masataka Goto
MoreCowbell.dj auf Basis von Echo Nest
zplane aufTAKT
Probleme:
Onsets bei nicht-perkussivem Einsatz
Onsets neben Beats; Beats ohne Onsets
„Oktavierungsfehler“ bei Bestimmung des Tempos
Verschiebung bei Bestimmung der Lage der Takte
nur langsame Tempoänderung
Zeitbedarf bis zur Synchronisation
Elementare Ansätze für monophone Tonhöhenerkennung:
Zero Crossing Rate
zweites Maximum der Autokorrelation
Maximum des Spektrums
zweites Maximum der Autokorrelation des Spektrums
für obertonreiche Signale (Sprache!): Peak des Cepstrum
Beispiel: YIN in Sonic Visualizer
Beispiel: sigmund~ in Pure Data
Probleme:
Oktavierungsfehler
Zeitbedarf, vor allem bei tiefen Frequenzen (Obertöne nutzen?)
nichtharmonische Klänge
Störgeräusche
Polyphonie!
Polyphone Tonhöhenerkennung, Beispiel: Matti Ryynänen und Anssi Klapuri (Audiodemos!)
Software: ims intelliScore und Widisoft WIDI
Celemony Melodyne kam schon in anderem Zusammenhang!
Align-Timelines-Funktion in Sonic Visualizer (Theorie)
Score Following: Der Rechner kennt die Partitur oder ggf. eine Audioaufnahme.
Beispiel: Antescofo~ (Theorie)
Beispiel: Tapper
Beispiel: Personal Orchestra (Paper) und UBS Virtual Maestro