Audiokodierung in MPEG-4

Die Audiokodierung unterteilt sich in zwei große Bereiche. Zum einen die Kodierung natürlicher Sounds, wo es zum einen Sprache gibt, die eine nicht so hohe Datenrate benötigt, zum anderen allgemein Audio wie z.B. Musik, wo es keine obere Grenze der Kodierungsqualität gibt. Der Zweite Bereich der Audiokodierung befaßt sich mit der Kodierung von synthetisch erzeugten Sounds.
Einerseits kann man hier Sound aus Text erzeugen, also eine Text-to-Speech (TTS) Synthese, andererseits kann man virtuelle Instrumente über Notation steuern, wobei mittels der Structured Audio Score Language aber auch neue Sounds bzw. Instrumente kreiert werden können.

Abb. 2: Audiokodierung in MPEG-4

Kodierung von visuellen Objekten in MPEG-4

Die Videokodierung findet hauptsächlich Anwendung bei interaktiven, webbasierten Videos und auf dem Spielesektor. Hier gibt es ebenfalls die Unterscheidung zwischen natürlichen und synthetischen Objekten. Zu ersteren zählt man Bilder, Texturen und Videos im ursprünglichen Sinne. Zu den auf synthetischen Inhalten basierenden Anwendungen gehören Body&Facial Animation (das Binärformat für Szenen [BIFS] kann Parameter zur Beschreibung von animierten Objekten enthalten, wie etwa FaceDefinitionParameters, FaceAnimationTable, FaceAnimationParameters, bzw. BodyDefinitonParameters, BodyAnimationTable, BodyAnimationParameter) bzw. kodierte 3D-Modelle mit Texturmapping.
Bei den 3D-Modellen geht man davon aus, daß die Oberfläche eines modellierten Objektes immer aus Dreiecken zusammensetzbar ist. Die Eckpunkte werden Knoten genannt, die Seiten Polygone.

Abb. 3: Videokodierung in MPEG-4

Die Szenenbeschreibung

Ausgehend von VRML (wovon zum Beispiel das Event-Modell übernommen wurde) entstand mit BIFS (BInary Format for Scenes) eine Beschreibungssprache, um Szenen, die aus Objekten und Streams bestehen, zu beschreiben. Dabei kann man sich eine Szene in MPEG-4 als azyklischen Graphen vorstellen, in dem jeder Knoten ein Medienobjekt ist. Jedes dieser Medienobjekte ist in einem eigenen lokalen Koordinatensystem spezifiziert.

Abb. 4: Logische Struktur einer MPEG-4-Szene

Um nun eine Szene zusammenzubauen gibt es innerhalb des Graphs spezielle Knoten, die die Art und Weise der durchzuführenden Transformation angeben, um vom lokalen ins globale Koordinatensystem zu gelangen.

DMIF

DMIF ist ein Session-Protokoll, vergleichbar zu FTP, mit dem Unterschied aber, das nicht immer wirklich Daten zurückgegeben werden, sondern auch Zeiger auf Datenströme. Die angebotene Funktionalität wird dabei durch das DMIF Application Interface definiert (DAI), das auch Richtlinien dafür gibt, wie bestimmte Aufgaben auf bestimmten Netzwerkarten durchzuführen sind, wie z.B. dem Internet. Der Zugriff auf Multimediainhalte erfolgt dabei unabhängig vom Übetragungs- bzw. Quellmedium. Das DAI umfaßt dabei Möglichkeiten, mit den drei Hauptnetzwerktechnologien Interactive Networks Technology (Internet, ATM), Broadcast Technology (Kabel, Satellit, ...), Disk Technology (CD, DVD, ...) zu interagieren.