Synchronisation, Multiplexing

So wie in MPEG-1&2 die Bitstreamsyntax vorschreibt, wie der Datenstrom aufgebaut sein muß, schreibt MPEG-4 über ein Dekodermodell vor, wie sich die MPEG-4-Dekoder verhalten müssen. Den Entwicklern ist bei der Implementation wiederum völlig freie Hand gelassen.

Ein ankommender Datenstrom geht zuerst an den Demultiplexer. Dieser hat in erster Linie zwei Aufgaben. Erstens muss er die benötigten Streaming Kanäle festellen, zweitens muß er diesen Kanälen Streams entnehmen, und sie an den Synchronisations Layer weitergeben. Dieser existiert, da die kodierenden Quellen nicht vorher wissen müssen, auf welchem Medium oder in welcher Umgebung die Streams abgespielt werden, und die Abspielzeit auf dem abspielenden Gerät mit der vom Autor gewollten Abspielzeit übereinstimmen sollte.
Der Synchronisationmechanismus hat ein minimales Set von Werkzeugen um die Konsistenz von Streams zu checken, zeitbasierte Informationen auszuwerten und um mit zeitabhängigen Zugangseinheiten umzugehen, die Informationen über die Dekodierung und die Komposition zur Verfügung stellen. Um die Zusammengehörigkeit von Streams zu Objekten zu ermöglichen, werden Objektdeskriptoren benutzt.

Erst mit dem erweiterten Synchronisationsmodell ist es möglich, auch unterschiedliche Streaming-Typen, wie Audio, Video, Text oder auch Anwendungen von unterschiedlichen Herkunftsorten miteinander zu synchronisieren.
Dabei ist es insbesondere möglich, eine gewisse Zeit auf das Vorhandensein aller benötigten Streams zu warten, falls nicht alle zum Zeitpunkt der Anforderung verfügbar sind. Das funktioniert auf Stream-Basis, am Beginn des Streams, wie auch mit atomaren Stream-Segmenten. Weiterhin ermöglicht die erweiterte Synchronisation beispielsweise auch das automatische Beschleunigen bzw. Verlangsamen der Abspielgeschwindigkeit, um Out-Of-Sync-Situationen ohne Abbruch zu bewältigen.
Die Pufferverwaltung ist Teil des Dekoders und wird benötigt, um Streams in einer Qualität anzuzeigen, die die liefernde Netzwerkresource durch ihre begrenzte Kapazität oder auch Bandbreite aber verbietet. Der Dekoder entscheidet selbständig darüber, ob der Mechanismus benutzt werden muß oder nicht.

Um die Bitstreamsyntax von Streams zu beschreiben, die Mediaobjekte oder Szenen transportieren, existiert eine syntaktische Beschreibungssprache, ähnlich aufgebaut wie ein Zusatz zu C++.

MPEG-4 post_v2

Zur Zeit wird an einer Reihe von Erweiterungen der System- und Video-Komponenten von MPEG-4 gearbeitet, die über den Bestand in Version 2 hinausgehen, während für den Audioteil und das DMIF keine weiteren Features in Entwicklung sind.

Im Videobereich soll "Fine Grain Scalability" für eine deutlich bessere Skalierbarkeit der Videoqualität durch Hinzufügen oder Entfernen von Layern mit Extra-Informationen sorgen. Nachdem FGS im Audiobereich bereits mit MPEG-4v2 Einzug hielt, profitieren dann auch Videostreaming-Anwendungen von der erhöhten Flexibilität der Codierung.
Für die Studio-Nutzung von MPEG-4, bei der Wert auf möglichst weitgehende Kompatibilität zu MPEG-2 gelegt wurde, wird zur Zeit ein Profil erprobt, welches bei sehr hohen Bitraten von mehreren hundert MBits/s ausschließlich I-frames kodiert. Ein weiteres Profil (Core Studio Profile) mit I- und P-frames ist beabsichtigt.
Seit kurzem wird auch das Anwendungsgebiet Digital Cinema untersucht, welches jedoch im Unterschied zu den bisher von MPEG-4 bereitgestellten verlustbehafteten Videokodierungsverfahren eine echt verlustfreie Kodierung erfordert.

Im Systembereich bietet das erweiterte BIFS neue Nodes zur Steuerung von Medien und zur Kompatibilität zu VRML wie etwa ein Node, der es erlaubt, das Verhalten von Objekten mit Hilfe von Makros zu beschreiben. Zudem soll die BIFS-Daten-Komprimierung, insbesondere von Mesh- und Array-Daten, verbessert werden.