Home | Lehre | Videos | Texte | Vorträge | Software | Person | Impressum, Datenschutzerklärung |
Stand: 2011-02-01
Wie im Spielfilm drei Schichten: Sprache („Dialog“), Sound FX und Musik. Sprache und Soundeffekte werden von der Game Engine gestartet und können von ihr allenfalls abgebrochen werden. Musik ist schwieriger. Das Ziel ist der Eindruck eines durchkomponierten Soundtracks. Probleme:
Man kann nicht Musik einer festen Länge einplanen. Vielmehr muss die Musik dehn- und kürzbar sein. Also: Schleifen mit Variationen z.B. durch verschiedene Schichtungen, Ausstiegspunkte, Überblendungen (musikalisch schwach!), Überleitungen.
Man kann nicht vorausplanen. Eine langsame achttaktige Periode darf vielleicht nicht zu Ende gespielt werden, weil zwischendurch etwas Spannendes passiert. Wieder: Schichtungen, Überblendungen, Überleitungen.
Beispiele: Patent von 1994; Paper von Axel Berndt et al. zur Kompositionstechnik; eigentlich hat schon Mozart so etwas geschrieben.
Fortgeschrittener mit einem endlichen Automaten (Finite State Machine): David Black et al. (S. 107); Graph-Editor im FMOD Designer. FMOD Designer ist das „Autorensystem“ für FMOD, die vielleicht beliebteste Audio-Engine für Spiele. Ebenfalls beliebt ist Audiokinetic Wwise.
Paper von Axel Berndt et al. zu musikalischeren Übergängen mittels „Agenten“.
Waves oder MIDI? Waves: weniger Rechenlast; authentischer. MIDI: weniger Speicherplatz; leichter in Tempo, Tonhöhe und Ausdruck anzupassen; leichter auszudünnen.
360°-Panoramen: Pendulum, BEP360
Augmented Reality: Ride My Star
Remix: The Mouth EP
Beat beeinflussen: We Dance to the Beat
Videoszenen ersetzen: Keep Your Head Up
Künstlerische Interaktion mit schwebenden Bändern: October, theneverendingwhy, Pintando una Canción
Wie Flickr, aber für Audio: Sound Cloud
Remix im Netz: looplabs
Remix als App: Bounce Mobile, Synse
DAWs im Netz: Mantis mit indabamusic, audiotool
DAW vernetzen: Digital Musician
Automatische Begleitung: UJAM (Demo)
Streaming: nicht erst warten, bis eine komplette Datei übertragen ist, sondern schon anfangen, sie abzuspielen, wenn erst ein Teil da ist. Wichtig vor allem für Live-Übertragungen, denn die liegen ja vor Ende der Übertragung noch gar nicht als komplette Dateien vor. Setzt ein streambares Datenformat voraus; es darf z.B. nicht erst am Ende der Datei eine Beschreibung des Formats stehen. „Echtes“ Streaming heißt meist, dass die Daten gar nicht dauerhaft lokal gespeichert werden, dass man beliebige Punkte direkt anspringen kann und dass die Qualität an die aktuell verfügbare Bandbreite der Verbindung angepasst wird. Andernfalls hat man eigentlich nur einen „Progressive Download“.
Systeme: Proprietär z.B. mit Flash oder mit einem Streaming Server (gratis und einfach: VideoLAN) und Standardprotokollen. Internettelefonie (Voice over IP, VoIP) ist auch Streaming!
TCP/IP (Transfer Control Protocol / Internet Protocol): die Grundprotokolle des Internet
FTP (File Transfer Protocol): auf TCP/IP aufbauendes Protokoll zur verlässlichen Übertragung von Dateien, quasi ein Einschreibebrief mit Rückschein
HTTP (Hypertext Transfer Protocol): auf TCP/IP aufbauendes Protokoll zur verlässlichen Übertragung insbesondere von Web-Seiten
UDP (User Datagram Protocol): auf IP aufbauendes Protokoll zur Datenübertragung ohne Garantie, quasi eine Postkarte
RTP (Real-time Transfer Protocol): Protokoll zu Übertragung von Echtzeitdaten, typischerweise mit UDP benutzt
RTSP (Real-Time Streaming Protocol): mit RTP verbundenes Protokoll zur Steuerung wie Start und Pause
Probleme:
Latenz: Blocklänge des Codec; Verarbeitung in Routern usw.; Lichtgeschwindigkeit als Obergrenze für Übertragung; Overhead durch kurze Pakete; Jitter muss durch Puffer ausgeglichen werden
Unsaubere Übertragung: Pakete kommen in falscher Reihenfolge an oder gehen komplett verloren (error concealment?); Jitter
Clock Drift
Vor allem bei Telefonie/Konferenzen: verwirrende Stille durch Rauschunterdrückung (spart Bandbreite! Abhilfe: comfort noise generation); Echo-Unterdrückung für bidirektionale Übertragung
Technik anno 2008 am ISNM Lübeck: 1, 2, 3 mit Soundjack
Technik heute: Videospiele streamen aus dem Netz mit OnLive
Oder man macht die Latenz einfach zu ganzen Takten: NINJAM
Ansatz 1: Kopierschutz.
Simple Lösung: Datenträger oder Signale leicht abweichend vom Standard, so dass das übliche Wiedergabegerät keine (?!) Probleme hat, gewöhnliche (!) Aufnahmegeräte aber gestört werden. Beispiele:
Macrovision ACP gegen VHS-Kopien
CD z.B. Copy Control: Der Audio-Player liest nur die erste Session, ein CD-ROM-Laufwerk sieht dagegen die letzte Session. Außerdem sind die Fehlerkorrekturcodes falsch.
DVD z.B. Macrovision RipGuard
Fehlgeschlagene Lösung von Sony: Man infiziert den Rechner des Kunden mit einem Rootkit, das die Aktionen des Benutzers überwacht.
Aufwendige Lösung: Geschlossenes „Ökosystem“ aus verschlüsselten Formaten, verschlüsselter Übertragung und lizenzierten Wiedergabegeräten/-software. Beispiele (alle längst geknackt):
Apple FairPlay: verschlüsseltes AAC-Audio in MP4-Datei; beim Herunterladen vom iTunes-Server wird der Schlüssel für das Audio mit einem benutzerspezifischen Schlüssel verschlüsselt ebenfalls in die Datei geschrieben. Vorteil: keine Neuverschlüsselung der Musik nötig. Die benutzerspezifischen Schlüssel werden von der iTunes-Anwendung verschlüsselt verwaltet, liegen aber auch auf Apples Servern und lassen sich so zahlenmäßig kontrolliert auf andere iTunes-Installationen bringen.
Windows Media DRM: Dateiformat ASF, meist mit verschlüsselten WMA-Audiodaten.
DVD CSS (Content Scrambling System): Das Abspielgerät bzw. die Abspielsoftware hat einen von 409 herstellerspezifischen Schlüsseln, um den Disk Key zu entschlüsseln. Der liegt in allen 409 Verschlüsselungen auf der DVD. Mit dem Disk Key werden die eben falls auf der DVD abgelegten Schlüssel für die Videodaten entschlüsselt. Eigentlich ist dies weniger ein Kopierschutz als ein Wiedergabeschutz, z.B. für den Region Code. Der Kopierschutz besteht darin, dass Schlüssel in der Lead-in-Area der DVD versteckt sind, wo sie schlecht zu kopieren sind.
HDCP (High-bandwidth Digital Content Protection, nicht mit DHCP verwechseln) ist ein Verschlüsselungssystem von Intel für digitale Multimediaverbindungen wie DVI, HDMI, DisplayPort. Jedes Gerät hat 40 geheime Schlüssel und 40 öffentliche Schlüssel („KSV‟). Durch Übertragen der KSV einigen sich Sender und Empfänger auf einen Schlüssel für die Datenübertragung. Geknackte Schlüssel können durch besondere Infos auf neuen DVDs usw. zurückgerufen werden (Key Revocation).
Blu-ray Disc: Disc kann schlechte Auflösung verlangen, wenn ein anderes als ein HDCP-Wiedergabesystem angeschlossen ist. Zusätzlich gibt es spezifische Systeme für die Blu-ray Disc, z.B. BD+. Das ist quasi ein kleiner Computer, der Audio und Video programmgesteuert verändern (= entschlüsseln oder reparieren) kann und überprüfen kann, ob der Player im Originalzustand ist. Neue Blu-ray Discs können Updates enthalten, zum Beispiel, um Lücken zu schließen.
YouTube, Last.fm usw.: Daten nur streamen; ausschließlich (so die Theorie!) das proprietäre, regelmäßig geänderte Flash-Programm auf der Website kann den Kontakt zum Server aufbauen und sie lesen. Viele Schlupflöcher, z.B. Aufnahme digital im Treiber vor der Soundkarte abgreifen; nachgebaute Decoder, die die Streams herunterladen können.
Ansatz 2: Kopien finden. Problem 1: Originale können leicht verändert sein (Sampling Rate? Kompression? Schnitt? Timestretch?). Problem 2: Der Vergleich muss angesichts der riesigen Mengen von Material sehr schlank sein. Lösung: Fingerprinting. Man speichert und vergleicht identifizierende akustische Merkmale. Beispiele:
YouTube Audio-ID und Video-ID: Das von Nutzern hochgeladene Material wird mit von den Rechteinhabern bereitgestellten Referenzdateien verglichen. Aktion: „vermarkten, verfolgen oder sperren‟
Audible Magic: Patent von 2009
Fraunhofer AudioID in mufin, wird aber nicht zum Finden von Raubkopien vermarktet?
Einen Schritt weiter als das Fingerprinting geht das Watermarking. Hier werden die Daten pro Kopie gezielt verändert, und das möglichst robust algorithmisch erkennbar , aber gleichzeitig möglichst wenig hörbar, zum Beispiel, um eine Seriennummer zu verstecken. Beispiel: Fraunhofer. Oft als Schlupfloch genannt: Mehrere Käufer mischen/stückeln ihre jeweiligen Dateien (Collusion).