WO2011137919A1

WO2011137919A1 - Verfahren und vorrichtung zur modifikation eines kodierten datenstroms

Info

Publication number: WO2011137919A1
Application number: PCT/EP2010/002833
Authority: WO
Inventors: Peter Amon; Norbert Oertel; Bernhard Agthe
Original assignee: Siemens Enterprise Communications Gmbh & Co. Kg
Priority date: 2010-05-07
Filing date: 2010-05-07
Publication date: 2011-11-10
Also published as: CN102318356B; WO2011137919A9; TW201208378A; BRPI1006913A2; CN102318356A; US20120027093A1; US8873634B2; EP2422517A1

Abstract

Die Erfindung betrifft ein Verfahren zur Modifikation eines kodierten Datenstroms aus Datenpaketen (P1, P2, P3, P4, P5), von denen jedes Datenpaket (P1, P2, P3, P4, P5) eine Information (B1, B2, B3, B4, B5) umfasst. Bei dem Datenstrom weisen die Informationen (B1, B2) aufeinander folgender Datenpakete (P1, P2, P3, P4, P5) zeitliche Abstände (d1, d3) voneinander auf, die von zeitlichen Sollabständen (d1) abweichen und die auf die zeitlichen Sollabstände (d1) durch Einfügen eines künstlichen kodierten ersten Datenpakets (P2') zeitlich nach einem zweiten Datenpaket (P2) in den kodierten Datenstrom in der kodierten Domäne oder durch Entfernen eines im kodierten Datenstrom vorhandenen vierten Datenpakets (P4) aus dem kodierten Datenstrom in der kodierten Domäne eingestellt werden.

Description

Verfahren und Vorrichtung zur Modifikation eines kodierten Datenstroms

Die Erfindung betrifft ein Verfahren zur Modifikation eines kodierten Datenstroms aus Datenpaketen, von denen jedes Datenpaket eine Information umfasst, bei dem die Informationen aufeinander folgender Datenpakete zeitliche Abstände voneinander aufweisen, die von zeitlichen Sollabständen abweichen. Die Erfindung betrifft ferner eine Vorrichtung zur Modifikation eines solchen kodierten Datenstroms aus Datenpaketen.

Aufgrund unterschiedlicher Laufzeiten von unterschiedlichen Datenpaketen eines kodierten Datenstroms auf dem Übertragungsweg der Datenpakete von einem Sender zu einem Empfänger, die zu einem Jitter des Datenstroms führen, weichen die zeitlichen Abstände der von aufeinanderfolgenden Datenpaketen umfassten Informa- tionen von zeitlichen Sollabständen zwischen den Informationen dieser Datenpakete ab. Der Jitter des Datenstroms kann zu einer flackernden und ruckelnden Wiedergabe der in den Datenpaketen enthaltenen Informationen beim Empfänger führen. Bei Einsatz eines bekannten Jitter Buffer zur Kompensation von Jitter wird die größte im Datenstrom vorhandene Verzögerung zwischen zwei aufeinanderfolgenden Daten- pakten in den kodierten Datenstrom eingebracht, was zu einer Verzögerung des Datenstroms um den Wert dieser größten im Datenstrom vorhandenen Verzögerung zwischen zwei aufeinander folgenden kodierten Datenpakten führt. Eine nachteilige zusätzliche Verzögerung des Datenstroms in hohem Umfang kann durch Verwendung eines Transcoders anstelle eines Jitter Buffer vermieden werden. Bei einem Transcoder werden allerdings sämtliche in kodierter Form vorliegende Datenpakete dekodiert und erneut kodiert, was zu einer reduzierten Qualität des Dateninhalts der Datenpakete und zu einem hohen Aufwand an Signal Verarbeitung für die Dekodie- rung und Kodierung der Datenpakete führt. Ausgehend davon liegt der Erfindung die Aufgabe zugrunde, ein Verfahren und eine Vorrichtung zur Modifikation eines kodierten Datenstroms aus Datenpaketen zu schaffen, die die Nachteile des Standes der Technik vermeiden. Insbesondere sollen ein Verfahren und eine Vorrichtung zur Modifikation eines kodierten Datenstroms angegeben werden, bei denen eine zusätzliche Verzögerung des Datenstroms in hohem Umfang vermieden wird, wobei eine hohe Qualität des Dateninhalts der zu übertragenden Datenpakete bei einem geringen Aufwand an Signal Verarbeitung ge- währleistet ist.

Gemäß dem erfindungsgemäßen Verfahren zur Modifikation eines kodierten Datenstroms aus Datenpaketen, von denen jedes Datenpaket eine Information umfasst, weisen die Informationen aufeinander folgender Datenpakete zeitliche Abstände voneinander auf, die von zeitlichen Sollabständen abweichen und die auf die zeitlichen Sollabstände durch Einfügen eines künstlichen kodierten ersten Datenpakets zeitlich nach einem zweiten Datenpaket in den kodierten Datenstrom in der kodierten Domäne oder durch Entfernen eines im kodierten Datenstrom vorhandenen vierten Datenpakets aus dem kodierten Datenstrom in der kodierten Domäne eingestellt · werden.

Die Modifikation des kodierten Datenstroms aus Datenpaketen kann eine Kompensation von Jitter dieses Datenstroms bewirken. Die Modifikation des kodierten Datenstroms kann alternativ oder zusätzlich bewirken, dass die zeitlichen Sollabstände zwischen Datenpakten eines kodierten Datenstroms den zeitlichen Abständen von

Datenpaketen eines weiteren Datenstroms entsprechen. Die Anpassung der zeitlichen Sollabstände zwischen Datenpaketen eines kodierten Datenstroms an die zeitlichen Abständen von Datenpaketen eines weiteren Datenstroms ist insbesondere in der Video- und Audiokonferenztechnik von Bedeutung.

Mit Vorteil wird das künstlich kodierte erste Datenpaket, das eine erste Information umfasst, die eine zweite Information referenziert, die von dem zweiten Datenpaket umfasst ist, in der kodierten Domäne generiert, und das künstlich kodierte erste Datenpaket in den kodierten Datenstrom zeitlich nach dem zweiten Datenpaket in dem zeitlichen Sollabstand zu dem zweiten Datenpaket eingefügt, falls ein dem zweiten Datenpaket nachfolgendes drittes Datenpaket in einem zeitlichen Abstand zu dem zweiten Datenpaket zur Verfügung steht, der größer ist als der zeitliche Sollabstand. Auf diese Weise kann durch die Modifikation des kodierten Datenstroms in der kodierten Domäne eine Kompensation von Jitter des Datenstroms bewirkt werden. In einer bevorzugten Ausführungsform der Erfindung wird das im kodierten Datenstrom vorhandene vierte Datenpaket aus dem kodierten Datenstrom in der kodierten Domäne entfernt, falls ein dem vierten Datenpaket nachfolgendes fünftes Datenpaket in dem zeitlichen Sollabstand zu dem dritten Datenpaket, das dem vierten Datenpaket vorhergeht, zur Verfügung steht. Auf diese Weise kann ebenfalls durch die Mo- difikation des kodierten Datenstroms in der kodierten Domäne eine Kompensation von Jitter des Datenstroms bewirkt werden.

Durch das Einfügen eines künstlichen kodierten Datenpaketes oder das Entfernen eines kodierten Datenpaketes in der kodierten Domäne kann im Vergleich zu einer Lösung mit einem Jitter Buffer eine verringerte Verzögerung des Datenstroms erreicht werden, da mit der Einstellung des vorgesehenen zeitlichen Abstandes zwischen den aufeinander folgenden Datenpaketen unmittelbar nach Auftreten von Jitter begonnen werden kann ohne die größte vorhandene Verzögerung zwischen aufeinanderfolgenden Datenpaketen abwarten zu müssen. Gegenüber dem Verfahren mit- tels Transcoder zur Kompensation von Jitter weist das Einfügen oder Entfernen von Datenpaketen in der kodierten Domäne einen weniger umfangreichen Eingriff in den Datenstrom auf, da die Datenpakete, die nicht eingefügt oder die entfernt werden, nicht dekodiert und kodiert werden. Der im Vergleich zum Verfahren mittels Transcoder weniger umfangreiche Eingriff in den Datenstrom führt zu einer geringe- ren Verzögerung des Datenstroms, da nicht sämtliche kodierte Datenpakete vollständig dekodiert und erneut vollständig kodiert werden. Während bei dem Verfahren mittels Transcoder die Qualität des kodierten Datenstroms durch die Dekodierung und erneute Kodierung jedes kodierten Datenpaketes des Datenstroms leidet, werden bei einer Modifikation des kodierten Datenstroms in der kodierten Domäne zur Kompensation von Jitter die Informationen, auch„Payloads" genannt, die die nicht künstlich kodierten Datenpakete umfassen, nicht verändert, wodurch eine hohe Qua- lität des Dateninhalts der zu übertragenden Datenpakte und ein geringer Aufwand gewährleistet ist. Im Gegensatz zu dem Verfahren mittels Transcoder wird bei dem erfindungsgemäßen Verfahren allenfalls der Paketheader eines nicht künstlich kodierten Datenpaketes verändert.

In einer bevorzugten Ausführungsform werden die Datenpakete zeitlich vor dem Einfügen des künstlichen kodierten ersten Datenpakets in den kodierten Datenstrom oder dem Entfernen des vierten Datenpakets aus dem kodierten Datenstrom in einem Jitter Buffer zwischengespeichert und das Einfügen des künstlichen kodierten ersten Datenpakets in den kodierten Datenstrom oder das Entfernen des vierten Datenpakets aus dem kodierten Datenstrom erfolgt derart, dass die Anzahl der in dem Jitter Buffer zwischengespeicherten Datenpakete eingestellt werden kann. Hierdurch kann ein Überlauf im Jitter Buffer, der zu einer erhöhten Gesamtverzögerung des Datenstroms führt, sowie ein Unterlauf des Jitter Buffer, der zur Folge hat, dass kein Da- tenpaket zum Einfügen oder Entfernen zur Verfügung steht, vermieden werden.

Das dritte Datenpaket und das vierte Datenpaket können in dieser Ausführungsform derart in der kodierten Domäne in dem Jitter Buffer zwischengespeichert werden, dass lediglich das dritte Datenpaket in den Datenstrom aus kodierten Datenpaketen zeitlich nach dem künstlichen kodierten dritten Datenpaket in dem zeitlichen Sollabstand eingefügt wird. Durch das Vorliegen mehrerer kodierter Datenpakete im Jitter Buffer kann zur Verringerung der Verzögerung des Datenstroms lediglich das zuletzt zwischengespeicherte Datenpaket im Datenstrom belassen werden. Das später zwischengespeicherte Datenpaket wird übersprungen, wobei der zeitliche Sollabstand zu dem zuletzt zwischengespeicherten Datenpaket durch Belassen des dem übersprungenen Datenpaket folgenden Datenpaketes im Datenstrom gewährleistet wird.

Der kodierte Datenstrom ist vorteilhaft ein Videodatenstrom, wobei jedes Datenpaket des kodierten Datenstroms einen Teil eines Videoeinzelbildes umfasst und das künstliche kodierte erste Datenpaket einen Teil eines Videoeinzelbildes umfasst, das die Information des Videoeinzelbildes des zweiten Datenpakets ohne Bewegungs- vektoren und/oder Transformationskoeffizienten umfasst. Der Videodatenstrom gemäß dieser Ausführungsform der Erfindung liegt vor, wenn jedes Datenpaket des kodierten Datenstroms ein Videoeinzelbild umfasst und das künstliche kodierte erste Datenpaket ein Videoeinzelbild umfasst, das die Information des Videoeinzelbildes des zweiten Datenpakets ohne Bewegungsvektoren und/oder Transformationskoeffizienten umfasst. Durch das Fehlen von Bewegungsvektoren und/oder Transformationskoeffizienten in der Information im Videoeinzelbild des künstlich kodierten ersten Datenpaketes weist dieses Datenpaket einen im Vergleich zum Videoeinzelbild des zweiten Datenpaketes verringerten Speicherbedarf auf.

Mit Vorteil umfasst jedes Datenpaket des Videodatenstroms einen Teil eines nach einem der Videokodierungsstandards H.264/AVC, H.263 oder MPEG-4 Visual kodierten Videoeinzelbildes, wobei das künstlich kodierte erste Datenpaket einen Teil eines Videoeinzelbildes umfasst, das aus übersprungenen Makroblöcken (skipped macroblocks) zusammengesetzt wird. Diese Ausführungsform liegt vor, wenn jedes Datenpaket des Videodatenstroms ein nach einem der Videokodierungsstandards H.264/AVC, H.263 oder MPEG-4 Visual kodiertes Videoeinzelbild umfasst, wobei das künstlich kodierte erste Datenpaket ein Videoeinzelbild umfasst, das aus übersprungenen Makroblöcken zusammengesetzt wird. Die übersprungenen Makroblö- cke können bei dem Videokodierungsstandard H.264/AVC durch Setzen des Makroblockmodus zu„skip" erzeugt werden. Die Referenz dieser übersprungenen Makro- blöcke ist das erste Videoeinzelbild der Referenzbildliste oder ein anderes bereits kodiertes Videoeinzelbild. Bewegungsvektoren und Prädiktionsfehlertransformati- onskoeffizienten, abgekürzt auch Transformationskoeffizienten genannt, werden von dem ersten Einzelbild der Referenzbildliste nicht auf die übersprungenen Makroblö- cke übertragen. Dadurch wird die erforderliche Speichergröße für die künstlichen kodierten Einzelbilder im Vergleich zur erforderlichen Speichergröße des ersten Videoeinzelbildes der Referenzbildliste reduziert. Ein Deblocking-Filter in der Dekodierschleife wird bevorzugt während des Generierens des künstlichen kodierten ersten Datenpakets abgeschaltet um die Schaffung eines Datenpaketes mit einem Dateninhalt von hoher Qualität im Vergleich zu der Qualität des Dateninhaltes des zweiten Datenpaketes zu gewährleisten.

Das künstlich kodierte erste Datenpaket (Ρ2') umfasst vorteilhaft einen Teil eines Videoeinzelbildes (Β2'), das als Nichtreferenzeinzelbild oder als Referenzeinzelbild eingefügt wird. Diese Ausführungsform umfasst den Fall, dass das künstlich kodierte erste Datenpaket ein Videoeinzelbild umfasst, das als Nichtreferenzeinzelbild eingefügt wird. Selbst wenn das eingefügte künstlich kodierte Einzelbild keine Kopie hoher Qualität des ursprünglichen Bildes ist, tritt bei dem dem künstlich kodierten ein- gefügten Einzelbild nachfolgenden Einzelbild keine Verschlechterung der Bildqualität ein, da sich die Prädiktion dieses Einzelbildes nicht durch die Einfügung des künstlich kodierten Einzelbildes verändert. Zudem muss die Prädiktionsstruktur bei Einfügung eines Nichtreferenzbildes nicht geändert werden. Weiter geht bei einem vollständig gefüllten Referenzbildpuffer, der die Referenzbildliste enthält, durch das Einfügen des künstlich kodierten Einzelbildes kein Referenzbild verloren, da das neu eingefügte Bild B2' nicht in dem Referenzbildpuffer gespeichert wird. Beim Videomischen ist es von Vorteil, wenn das kodierte erste Datenpaket ein Videoeinzelbild umfasst, das als Referenzeinzelbild eingefügt wird. So kann beispielsweise durch Einfügen eines zusätzlichen Referenzeinzelbildes in eine erste Bildfolge eines Vi- deodatenstroms die Prädiktionsstruktur dieses Datenstroms an eine vorhandene weitere Prädiktionsstruktur eines zweiten Videodatenstroms, der mit dem ersten Videodatenstrom gemischt werden soll, angepasst werden.

In einer bevorzugten Variante der Erfindung, in der der kodierte Datenstrom ein Vi- deodatenstrom ist, umfasst das aus dem Videodatenstrom entfernte vierte Datenpaket einen Teil eines Nichtreferenzeinzelbildes. Diese Ausführungsform umfasst den Fall, dass das aus dem Videodatenstrom entfernte vierte Datenpaket ein Nichtreferenzeinzelbild umfasst. Bei Entfernen eines Datenpaketes aus dem Datenstrom, das ein Nichtreferenzeinzelbild umfasst, wird die Prädiktionsstruktur der im Datenstrom verbleibenden Datenpakete nicht verändert. Für den Fall einer linearen Prädiktionsstruktur wird vorteilhaft lediglich ein Datenpaket mit einem Teil des letzten Videoeinzelbildes einer Bildersequenz (Group of Pictures) aus dem Videodatenstrom entfernt, wobei der Fall umfasst ist, bei dem lediglich ein Datenpaket mit dem letzten Videoeinzelbild einer Bildersequenz (Group of Pictures) aus dem Videodatenstrom entfernt wird. Falls ein Datenpaket lediglich einen Teil des letzten Videoeinzelbildes einer Bildersequenz (Group of Pictures) umfasst, ist es von Vorteil, dass sämtliche Datenpakete aus dem Videodatenstrom entfernt werden, die lediglich einen Teil des letzten Videoeinzelbildes einer Bildersequenz (Group of Pictures) umfassen. Für den Fall einer hierarchischen Prädikti- onsstruktur ist es von Vorteil, ein Datenpaket mit einem Teil eines Videoeinzelbildes aus der untersten zeitlichen Ebene aus dem Videodatenstrom zu entfernen, wobei der Fall umfasst ist, bei dem ein Datenpaket mit einem Videoeinzelbild aus der untersten zeitlichen Ebene aus dem Videodatenstrom entfernt wird. Falls ein Datenpaket lediglich einen Teil eines Videoeinzelbildes aus der untersten zeitlichen Ebene umfasst, ist es von Vorteil, dass sämtliche Datenpakete aus dem Videodatenstrom entfernt werden, die lediglich einen Teil eines Videoeinzelbildes aus der untersten zeitlichen Ebene umfassen.

Die Funktion eines adaptiven Jitter-Puffer wird in einer weiteren vorteilhaften Aus- gestaltung der Erfindung ausgeführt, wenn das Einfügen und Entfernen von Datenpaketen dynamisch erfolgt.

Vorteile ergeben sich insbesondere bei der Anpassung der Abtastfrequenz zweier Videodatenströme beim Videomischen dadurch, dass die zeitlichen Sollabstände eines zweiten Videodatenstroms den zeitlichen Abständen zwischen aufeinander folgenden kodierten Einzelbildern eines ersten Videodatenstrom dadurch entsprechen, dass ein erstes Videoeinzelbild des künstlich kodierten ersten Datenpakets des zweiten Videodatenstroms mit einem ersten Videoeinzelbild eines kodierten Datenpakets des ersten Videodatenstroms zu einem Videoeinzelbild gemischt wird. So wird in vorteilhafter Weise für den Fall, dass der zweite Videodatenstrom eine niedrigere Abtastfrequenz als der erste Videodatenstrom aufweist, das künstlich kodierte erste Videoeinzelbild derart in den zweiten Videodatenstrom mit der gegenüber dem ersten Videodatenstrom niedrigeren Abtastfrequenz eingefügt, dass der zweite Videodatenstrom mit dem eingefügten künstlich kodierten ersten Videoeinzelbild die Abtastfrequenz des ersten Videodatenstroms aufweist.

Die Erfindung betrifft weiter eine Vorrichtung, insbesondere zur Durchführung des Verfahrens eines der Ansprüche 1 bis 13, zur Modifikation eines kodierten Datenstroms aus Datenpaketen, von denen jedes Datenpaket eine Information umfasst, wobei die Informationen aufeinander folgender Datenpakete zeitliche Abstände von- einander aufweisen, die von zeitlichen Sollabständen abweichen und die auf die zeitlichen Sollabstände einstellbar sind, wobei die Vorrichtung Mittel zum Einfügen eines künstlichen kodierten ersten Datenpakets zeitlich nach einem zweiten Datenpaket in den kodierten Datenstrom in der kodierten Domäne, und/oder Mittel zum Entfernen eines im kodierten Datenstrom vorhandenen vierten Datenpakets (P4) aus dem kodierten Datenstrom in der kodierten Domäne umfasst.

Bevorzugt ist der Vorrichtung ein Jitter Buffer vorgeschaltet, in den die kodierten Datenpakete zwischenspeicherbar sind, wobei die Mittel zum Einfügen des künstlichen kodierten ersten Datenpakets in den kodierten Datenstrom und/oder zum Ent- fernen des vierten Datenpakets aus dem kodierten Datenstrom so ausgebildet sind, dass die Anzahl der in dem Jitter Buffer (JB) zwischengespeicherten Datenpakete (PI, P2, P3, P4, P5) einstellbar ist. Mit einer solchen Vorrichtung kann ein Überlauf im Jitter Buffer, der zu einer erhöhten Gesamtverzögerung des Datenstroms führt, sowie ein Unterlauf des Jitter Buffer, der zur Folge hat, dass kein Datenpaket zum Einfügen oder Entfernen zur Verfügung steht, vermieden werden.

Weitere Ausführungsbeispiele sowie Vorteile der Erfindung werden nachfolgend anhand der Figuren erläutert. Zur besseren Anschaulichkeit wird in den Figuren auf eine maßstabs- oder proportionsgetreue Darstellung verzichtet. In den Figuren be- zeichnen, sofern nicht anders angegeben, gleiche Bezugszeichen gleiche Bauteile mit gleicher Bedeutung. Es zeigen: Fig. 1 zeitliche Verläufe von kodierten Datenpakten auf einem Übertragungsweg von einem Sender an einen Empfänger vor Eintritt in ein Netzwerk und nach Austritt aus dem Netzwerk,

Fig. 2 zeitliche Verläufe von kodierten Datenpaketen auf einem Übertragungsweg von einem Sender an einen Empfänger vor Eintritt in ein Netzwerk, nach Austritt aus dem Netzwerk und nach Austritt aus einem Jitter Buffer, und Fig.3 zeitliche Verläufe von kodierten Datenpaketen auf einem Übertragungsweg von einem Sender an einen Empfänger vor Eintritt in ein Netzwerk, nach Austritt aus dem Netzwerk und nach Austritt aus einem Transcoder, der einen Decoder, einen Bildspeicher und einen Encoder umfasst, und Fig. 4 einen Übertragungsweg von einem Sender an einen Empfänger, bei dem nach Austritt der kodierten Datenpakete aus einem Netzwerk vor Eintritt in den in Fig. 3 gezeigten Transcoder ein Jitter Buffer im Übertragungsweg angeordnet ist, und

Fig. 5 zeitliche Verläufe von kodierten Datenpaketen auf einem Übertragungsweg von einem Sender zu einem Empfänger vor Eintritt in ein Netzwerk, nach Austritt aus dem Netzwerk, und nach Austritt aus einer Vorrichtung zur Kompensation von Jitter in der kodierten Domäne in einer ersten Ausführungsform der Erfindung, und

Fig. 6 einen Übertragungsweg von kodierten Datenpaketen von einem Sender an einen Empfänger, wobei die kodierten Datenpakete nach Austritt aus dem Netzwerk und vor Eintritt in die Vorrichtung zur Kompensation von Jitter in der kodierten Domäne einen Jitter Buffer durchlaufen, der im Übertragungsweg zwischen dem Netzwerk und der Vorrichtung zur Kompensation von Jitter in der kodierten Domäne angeordnet ist, in einer weiteren Ausführungsform der Erfindung und Fig. 7 einen Vergleich der zeitlichen Verläufe der kodierten Datenpakete vor Eintritt in das Netzwerk und nach Austritt aus dem in Fig. 2 gezeigten Jitter Buffer, nach Austritt aus dem in Fig. 3 und Fig. 4 gezeigten Transcoder und nach Austritt aus der in Fig. 5 und Fig. 6 gezeigten Vorrichtung zur Kompensation von Jitter in der ko- dierten Domäne, und

Fig. 8 schematische Abfolgen von vorausberechneten Bildern vor einem Einfügen, nach einem Einfügen als Referenzbild und nach einem Einfügen als Nichtreferenzbild bei einer linearen Prädiktionsstruktur, und

Fig. 9 schematische Abfolgen von vorausberechneten Bildern vor dem Einfügen und nach dem Einfügen bei einer hierarchischen Prädiktionsstruktur, und

Fig. 10 schematische Abfolgen vorausberechneter Bilder vor einem Entfernen und nach einem Entfernen aus einer linearen Prädiktionsstruktur, und

Fig.11 schematische Abfolgen vorausberechneter Bilder vor einem Entfernen und nach einem Entfernen aus einer hierarchischen Prädiktionsstruktur, und Fig. 12 eine schematische Anordnung aus einer Mischung kodierter Makroblöcke, wobei Makroblöcke aus einem ersten Videodatenstrom mit übersprungenen Makro- blöcken aus einem zweitem Videodatenstrom gemischt sind, und

Fig. 13 schematische Abfolgen vorausberechneter Bilder eines ersten Videodaten- Stroms und eines zweiten Videodatenstroms vor einem Resampeln und Mischen und nach dem Resamplen und Mischen.

Anhand der Figur 1 wird nun das Auftreten von Jitter erläutert. Vorbekannte Beispiele für Verfahren zur Kompensation von Jitter eines Datenstroms sind in Fig. 2, 3 und 4 dargestellt. Ausführungsbeispiele der Erfindung werden anhand der Figuren 5 bis 13 beschrieben. Das Auftreten von Jitter, der durch unterschiedliche Laufzeiten unterschiedl icher Datenpakete beim Durchlaufen durch ein Netz oder Netzwerk entstehen, wird am Beispiel eines Übertragungsweges von kodierten Datenpaketen von einem Sender an einen Empfänger erläutert. Kodierte Datenpakte PI, P2, P3, P4, P5 eines kodierten Datenstroms werden von einer Sendeeinrichtung, im Folgenden ab- gekürzt Sender S genannt, nach Durchlaufen eines Netzes oder Netzwerkes N an eine Empfangseinrichtung, im Folgenden abgekürzt Empfänger R genannt, übertragen. Die Datenpakete PI, P2, P3, P4, P5 können Information unterschiedlichen Inhaltes umfassen. Mögliche von den Datenpaketen umfasste Informationen sind Audioinformationen, Bild- oder Videoinformationen, wobei prinzipiell jede Art von zeitlich aufeinander folgenden Informationen von den Datenpaketen umfasst sein kann. Videoinformationen können insbesondere in Form von Einzelbildern vorliegen. Der Einfachheit halber wird im Folgenden angenommen, dass die Informationen aufeinander folgender Datenpakete PI, P2, P3, P4, P5 zeitliche Sollabstände voneinander aufweisen, die den zeitlichen Sollabständen dl aufeinander folgender Datenpakete PI, P2, P3, P4, P5 entsprechen. Die Annahme gilt beispielsweise, wenn jedes Datenpaket ein Videoeinzelbild umfasst. Andere Aufteilungen von Videoeinzelbildern auf Datenpakete PI, P2, P3, P4, P5, beispielsweise der Fall, bei dem ein Videoeinzelbild auf mehrere Datenpakete PI, P2, P3, P4, P5 aufgeteilt ist, sind von den nachfolgenden Ausführungsformen der Erfindung umfasst. Eine Aufteilung ei- nes Videoeinzelbildes auf mehrere Datenpakete ist vorteilhaft, wenn eine festgelegte Speichergröße für die Information des Datenpaketes in einem Netzwerk nicht überschritten werden darf und die Speichergröße eines Videoeinzelbildes die festgelegte Speichergröße übersteigt. Vor dem Eintreten der Datenpakete in das Netzwerk N am Ort a ist in Fig. 1 die zeitliche Abfolge der Datenpakete PI , P2, P3, P4, P5 auf einer Zeitskala t(a) dargestellt. Bei dem in Fig. 1 gezeigten Beispiel sendet der Sender S die Datenpakete mit einem zeitlichen Sollabstand dl zwischen aufeinanderfolgenden Datenpaketen aus. Für den Fall einer Videoübertragung beträgt der zeitliche Abstand zwischen aufeinanderfol- genden Datenpaketen den reziproken Wert der Abtastfrequenz, auch„sampling frequency" genannt, wobei angenommen ist, dass ein Videoeinzelbild von jeweils einem Datenpaket PI, P2, P3, P4, P5 umfasst ist und eine konstante Datenpaketlän- ge, die dem zeitlichen Abstand zwischen aufeinander folgenden Datenpaketen entspricht, vorhanden ist: Packet = 1 fs mit paket = zeitlicher Abstand zwischen aufeinander folgenden Datenpaketen und f_s = Abtastfrequenz. Nach Durchlaufen des Netzwerkes weisen die Datenpakete PI, P2, P3, P4, P5 am Ort b vor dem Eintreffen beim Empfänger R eine zeitliche Abfolge auf, bei der die Datenpakete P3 und P4 gegenüber den Datenpakten PI und P2 verzögert sind. Das Datenpaket P3 weist aufgrund einer erhöhten Verzögerung beim Durchlaufen des Netzwerkes N gegenüber den Datenpaketen PI und P2 eine Position auf, die um den zeitlichen Abstand d3 gegenüber seiner vorgesehenen Position t3 im vorgesehenen zeitlichen Abstand, auch Sollabstand genannt, dl verschoben ist. Das Datenpaket P4 ist um den zeitlichen Abstand d4 gegenüber seiner vorgesehenen Position t4 verschoben, die um zwei vorgesehene zeitliche Abstände dl von der Position des Datenpaktes P2 beabstandet ist. Damit weist das Datenpaket P3 zu seiner vorgesehenen zeitlichen Position eine zeitliche Verzögerung d3 und das Datenpaket P4 zu seiner zeitlichen Position eine Verzögerung d4 auf. Das Datenpaket P5 weist zu der vorgesehenen zeitlichen Position t4 des Datenpaketes P4 den vorgesehenen zeitlichen Abstand dl auf. Daher ist der vorgesehene zeitliche Abstand dl zwischen dem Datenpaket P4 und dem Datenpaket P5 um die Verzögerung d4 des Datenpaketes P4 ver- ringert. Die Datenpakete P3 und P4 haben ihre relative zeitliche Koppelung gegenüber den vorhergehenden Datenpaketen PI und P 2 und gegenüber dem nachfolgenden Datenpaket P5 während der Übertragung durch das Netzwerk N verloren. Falls die Datenpakete PI, P2, P3, P4, P5 Videodatenpakete repräsentieren, führt eine De- kodierung und Wiedergabe ohne entsprechende Maßnahmen zur Kompensation der unterschiedlichen Laufzeiten der Datenpakete PI, P2, P3, P4, P5 zu einer flackern- den und ruckelnden Wiedergabe des Videos, dessen Informationen die Videopakete umfassen.

Ohne auf eine Verallgemeinerung der in Fig. 1 dargestellten zeitlichen Verhältnisse zu verzichten, ist bei dem Beispiel, das in Fig. 1 dargestellt ist, zur einfachen Erklärung des Jitter angenommen, dass der zeitliche Abstand zwischen aufeinanderfolgenden Datenpakten konstant ist und die Paketlänge eines jeden Datenpaktes PI, P2, P3, P4, P5 konstant ist. Es ist jedoch nicht erforderlich, dass die Datenpakete einen gleichen zeitlichen Abstand oder eine konstante Paketlänge aufweisen. Stattdessen können die Datenpakete beliebige zeitliche Abstände voneinander und beliebige Paketlängen aufweisen, sofern die unterschiedlichen zeitlichen Abstände der Datenpakete zueinander und die dann unterschiedlichen Paketlängen der Datenpakete bestimmt sind. Bei im und/oder vom Sender S bestimmten zeitlichen Abständen zwischen aufeinander folgenden Datenpaketen und bestimmten Paketlängen ist es dem Empfänger R möglich, nach einer Dekodierung der vom Sender an den Empfänger übertragenen Datenpakete PI, P2, P3, P4, P5 diese Datenpakete ohne eine flackernde und ruckelnde Wiedergabe, die auch als Jitter bezeichnet wird, wiederzugeben.

In Figur 2 ist ein erstes vorbekanntes Verfahren zur Kompensation eines Jitters auf- grund unterschiedlicher Laufzeiten unterschiedlicher Datenpakete beim Durchlaufen durch ein Netzwerk, auch„Verzögerungsjitter" genannt dargestellt. Zwischen dem Sender S und dem Empfänger R ist ein Jitter Buffer JB angeordnet, wobei die Datenpakete PI, P2, P3, P 4, P5 nach dem Austritt aus dem Netzwerk N und vor dem Eintritt in den Empfänger R den Jitter Buffer JB durchlaufen. Nach Austritt aus dem Netzwerk N und vor Eintritt der Datenpakte PI, P2, P3, P4, P5 in den Jitter Buffer JB weisen die Datenpakete P3 und P4 jeweils einen zeitlichen Abstand d3, d4 zu ihren vorgesehenen zeitlichen Positionen t3, t4, wie in Fig. 1 dargestellt, auf. In dem Jitter Buffer JB, der für Datenpakete mit Audio-, Bild-, oder Videoinformationen verwendet wird, werden die in dem Jitter Buffer JB eintretenden Datenpakete PI, P2, P3, P4, P5 für eine spezifische Dauer, auch Pufferverzögerung genannt, gespeichert. Durch die Speicherung der Datenpakete für eine bestimmte Dauer ist es mög- lich, die Datenpakete PI, P2, P3, P4, P5 in der vorgesehenen zeitlichen Abfolge mit dem zeitlichen Abstand dl zwischen aufeinander folgenden Datenpaketen an den Empfänger R zu versenden. Auf diese Weise wird die vorgesehene zeitliche Abfolge mit dem vorgesehenen zeitlichen Abstand dl zwischen aufeinander folgenden Da- tenpaketen hergestellt.

Ein Nachteil dieses in Fig. 2 gezeigten Verfahrens liegt in der mit dem Jitter Buffer JB einhergehenden Verzögerung der Datenpakete. Falls unterschiedliche Datenströme, die jeweils Datenpakete PI, P2, P3, P4, P5 umfassen und denen jeweils ein Jitter Buffer JB zugewiesen ist, gemischt werden sollen, werden die Datenpakte, die den Jitter Buffer JB durchlaufen haben, um einen Wert verzögert, der dem

Verzögerungsj itter des Datenstroms mit dem höchsten Verzögerungsj itter entspricht. Daher wird die Verzögerung sämtlicher zu mischender Datenpakete auf den Wert erhöht, den der Datenstrom mit dem höchsten Verzögerungsj itter aufweist. Die Folge ist eine Verzögerung der Datenpakete sämtlicher anderer eingehender Datenströme auf die Verzögerung, die mit dem Datenstrom mit dem höchsten Verzögerungsj itter einhergeht. In Echtzeitanwendungen wie beispielsweise Audio- oder Videokonferenzanwendungen behindert der hohe Grad an Verzögerung der Datenpakete aufgrund des Videodatenstroms mit dem höchsten Verzögerungsj itter die Kommunika- tion zwischen den Teilnehmern der Audio- oder Videokonferenz.

Eine speziell für Videoanwendungen vorgesehene weitere vorbekannte Lösung zur Korrektur unterschiedlicher Verzögerungen von unterschiedlichen Datenpaketen beim Durchlaufen der Datenpakte durch ein Netzwerk N ist in Fig. 3 dargestellt. Wie in Fig. 1 und Fig.2 dargestellt, weisen die Datenpakte P3 und P4 jeweils eine zeitliche Verzögerung d3, d4 zu ihren vorgesehenen zeitlichen Positionen t3, t4 nach Durchlaufen durch das Netzwerk N auf. Nach Durchlaufen des Netzwerkes N und vor dem Eintreffen bei dem Empfänger R durchlaufen die Datenpakete PI, P2, P3, P4, P5 einen Transcoder TR, der einen Decoder DE, einen Bildspeicher PB und einen Encoder EN umfasst. Bei dem in Fig. 3 gezeigten Beispiel ist angenommen, dass jedes der Datenpakete PI, P2, P3, P4, P5 jeweils ein Videoeinzelbild umfasst, dass die zum Abspielen eines Videodatenstroms erforderliche Information dieses Videoeinzelbildes umfasst. Bei dem in Fig. 3 gezeigten Verfahren zur Bearbeitung von Videodatenströmen werden die in den Transcoder TR eintretenden Videodaten in dem Decoder DE dekodiert, nachfolgend in dem Bildspeicher PB zwischenge- speichert und nachfolgend in dem Encoder EN kodiert. Nach dem Dekodieren, dem Zwischenspeichern, und Kodieren der einzelnen Videoeinzelbilder, die jeweils einzeln in jeder der Datenpakete PI, P2, P3, P4, P5 enthalten sind, liegen diese Videoeinzelbilder in Form von dekodierten und nachfolgend erneut kodierten Einzelbildern in den Datenpaketen PI*, P2*, P3*, P4*, P5* vor. Die Dekodierung im Deco- der DE, die Zwischenspeicherung im Bildspeicher PB und die Kodierung im Encoder EN wird bei den in Fig. 3 gezeigten Datenpaketen durch einen Stern * angezeigt. Zu dem Zeitpunkt, zu dem die Datenpakete PI*, P2* zu kodieren sind, liegen in dem Decoder EN die ursprünglichen, den Datenpaketen PI* und P2* entsprechenden Datenpakete PI und P2 bereits in dekodierter Form vor und stehen im Bildspeicher PB zur Kodierung zur Verfügung. Aufgrund der zeitlichen Verzögerung d3 des Datenpaktes P3 zu seiner vorgesehenen zeitlichen Position t3 liegt zum Zeitpunkt der Kodierung des Datenpaketes P3* das dekodierte Datenpaket P3, genauer gesagt das dekodierte Bild, das von Paket 3 umfasst ist, nicht im vorgesehenen zeitlichen Abstand dl zu dem Datenpakt P2 vor. Daher wird der Inhalt des Datenpaketes P2 ein weiteres Mal kodiert als Datenpaket P2**, weil im Gegensatz zu Datenpaket P3 das Datenpaket P2 zum Zeitpunkt der zur Einhaltung des vorgesehenen zeitlichen Ab- standes dl erforderlichen Kodierung des Datenpaketes, das auf das Datenpaket P2 folgt, im Bildspeicher PB gespeichert ist. In ähnlicher Weise zu dem Datenpaket P3 steht auch die dekodierte Version Datenpaketes P4 nicht rechtzeitig zur Kodierung zur Verfügung. Daher wird der Dateninhalt des Datenpaketes P3, das nach Austritt des Datenpakets P2** aus dem Encoder EN im Bildspeicher PB vorliegt, in Form des Datenpaktes P3* kodiert. Abschließend wird das Datenpaket P5* kodiert, nachdem das dekodierte Datenpaket P5 rechtzeitig zur Kodierung zur Verfügung steht. Der Dateninhalt des Datenpaktes P4 wird nicht erneut kodiert und an den Empfänger R weitergeleitet. Wie am Ort e vor dem Eintreffen beim Empfänger R in Fig. 3 dargestellt, weisen die Datenpakete PI*, P2*, P2**, P3*, P5* den vorgesehenen zeitli- chen Abstand dl voneinander auf, wobei der Dateninhalt des Datenpaketes P2 zweimal und der Dateninhalt des Paketes P4 nicht im zeitlichen Verlauf t (e) vorhanden sind. Zwar kann aufgrund der zweifachen Darstellung des Dateninhaltes des Datenpakets P2 und der fehlenden Darstellung des Dateninhaltes des Datenpaketes P4 eine flackernde und ruckelnde Wiedergabe in Form eines Jitters bei der Wiedergabe des Videodatenstroms, der die in den Datenpaketen PI, P2, P3, P4, P5 enthaltenden Einzelbilder umfasst, in geringen Umfang auftreten. Allerdings wird durch das in Fig. 3 dargestellte Verfahren mittels Transcoder TR die Gesamtübertragungs- verzögerung der Datenpakete zwischen dem Sender S und dem Empfänger R nach Durchlaufen der Datenpakete durch den Transcoder TR verringert im Vergleich zu dem in Fig. 2 gezeigten Verfahren mittels Jitter Buffer JB.

Das in Fig. 3 dargestellte Verfahren mittels Transcoder TR wird in Multipoint- Konferenzeinheiten (multipoint Conference unit: MCU) verwendet, in denen eine Vielzahl von Videoeingangsdatenströmen zu mischen sind. Die Mischung der Ein- gangsvideodatenströme erfolgt durch ein Dekodieren sämtlicher Eingangsvideoda- tenströme, einem Mischen dieser Videoeingangsdatenströme in der unkomprimierten Pixeldomäne und durch Kodieren der neu angeordneten Videoeinzelbilder. Zusätzlich kann vor dem Mischen der Eingangsvideodatenströme in der unkomprimierten Pixeldomäne vorgesehen sein, dass die dekodierten Videoeinzelbilder der Eingangsvideodatenströme skaliert werden. Falls ein erster Videodatenstrom ein aktuelles Videoeinzelbild aufgrund von Verzögerungsjitter zur rechtzeitigen Mischung mit dem videoeinzelbild eines zweiten Videodatenstroms nicht enthält, wird das dem fehlenden aktuellen Videoeinzelbild des ersten Videodatenstroms vorhergehende Videoeinzelbild dieses Videodatenstroms, das bereits nach der Dekodierung im Bildspeicher PB gespeichert ist, zur Mischung und Kodierung verwendet. Falls aufgrund einer mehrfachen Kodierung eines Videoeinzelbildes zwei oder mehr Einzelbilder des Eingangsvideodatenstroms in dekodierter Form im Transcoder TR vorliegen, bevor ein weiteres kodiertes Videoeinzelbild den Encoder EN verlässt, wird das zu- letzt im Decoder DE dekodierte Einzelbild, das im Bildspeicher PB gespeichert ist, für die Kodierung verwendet, wobei das andere dekodierte Einzelbild (oder die wei- teren anderen dekodierten Einzelbilder) im Decoder DE vernachlässigt wird (werden).

Das Verfahren mittels Transcoder TR zur Korrektur von Verzögerungsjitter weist im Wesentlichen die folgenden Nachteile auf:

Das Transkodieren ist bei vollständiger Dekodierung und Kodierung sämtlicher Datenpakete des Videodatenstroms oder der Videodatenströme bezüglich der erforderlichen Rechenleistung aufwändig. Zur Ausführung des Verfahrens mittels Transcoder TR ist daher kostspielige Hardware, die dem Verfahren zum Dekodieren und Kodieren zuzuordnen ist, in den meisten Fällen erforderlich.

Die Qualität der übertragenen Daten des Videodatenstroms wird durch das Transkodieren reduziert, weil für die Kodierung lediglich bereits beim Durchlaufen des Netzwerks N qualitativ reduzierter Dateninhalt und nicht der ursprüngliche Dateninhalt der Datenpakete mit den Einzelbildern des Videodatenstroms verwendet werden kann.

Aufgrund des Transkodierens mit einer Vielzahl von signalverarbeitenden Schritten wird eine zusätzliche Verzögerung in den Videodatenstrom einge bracht.

Fig. 4 zeigt einen Übertragungsweg vom Sender S zum Empfänger R eines weiteren vorbekannten Beispiels zur Kompensation von Jitter, bei dem nach Austritt der kodierten Datenpakete aus dem Netzwerk N am Ort b vor Eintritt in den in Fig. 3 gezeigten Transcoder TR ein Jitter Buffer JB im Übertragungsweg der Datenpakte angeordnet ist. Bei der in Fig. 3 gezeigten Anordnung von Jitter Buffer JB und nachgeschalteten Transcoder TR zwischen dem Netzwerk N und dem Empfänger R werden die in den Figuren 2 und 3 geschilderten Verfahren zur Korrektur von

Verzögerungsjitter miteinander kombiniert. Bei dem in Fig. 4 gezeigten Beispiel kann eine Warteschlangenverzögerung (queuing delay) in dem Jitter Buffer JB durch die Verwendung des Transcoders TR gesteuert werden. Die Steuerung der Warteschlangenverzögerung geschieht durch ein Überspringen des Kodierens von Einzelbildern im Bildspeicher PB oder durch mehrfaches Kodieren von gleichen Einzelbil- dem im Encoder EN. Durch das Überspringen des Kodierens von Einzelbildern im Bildspeicher PB wird die Warteschlangen Verzögerung verringert. Durch ein mehrfaches Kodieren gleicher Bilder wird die Warteschlangen Verzögerung im Jitter Buffer JB erhöht. Als Warteschlangenverzögerung wird die Dauer eines Datenpaketes angesehen, die dieses Datenpaket im Durchschnitt im Jitter Buffer JB verbleibt, bevor es aus dem Jitter Buffer JB austritt. Die Warteschlangen Verzögerung ist angenähert die Dauer, die zur Wiedergabe der in dem Jitter Buffer JB gespeicherten Datenpakete erforderlich ist.

In Fig. 5 sind zeitliche Verläufe t(a), t(b), t(f) von kodierten Datenpaketen PI, P2, P3, P4, P5 auf einem Übertragungsweg vom Sender S zu einem Empfänger R nach einer ersten Ausführungsform der Erfindung dargestellt. Nach Austritt aus dem Netzwerk N und vor Eintritt in den Empfänger R durchlaufen die Datenpakete eine Vorrichtung zur Kompensation von Jitter in der kodierten Domäne, wobei die kodierte Domäne der Datenpakete auch komprimierte Domäne genannt wird. Nach dem Austritt der Datenpakete aus dem Netzwerk N und vor dem Eintritt der Datenpakete in den Empfänger R werden die Datenpakete durch die Vorrichtung zur Kompensation von Jitter in der kodierten Domäne (Compressed Domain Dejittering: CDD) in der komprimierten Domäne, also der kodierte Datenstrom mit seinen kodierten Datenpaketen, von Verzögerungsjitter befreit. Das in Fig. 5 dargestellte Verfahren, sowie die in Fig. 5 dargestellte Anordnung wird nun anhand von Datenpaketen eines Videodatenstroms erläutert. Falls ein aktuelles Videoeinzelbild zur Versendung der Datenpakete PI, P2, P3, P4, P5 gemäß einem vorgegebenen zeitlichen Ras- ter mit zeitlichen Sollabstand dl zwischen aufeinander folgenden Datenpakten nicht zur Verfügung steht, wird ein künstliches kodiertes Videoeinzelbild in Form eines oder mehrerer künstlicher kodierter Datenpakte in den kodierten Videodatenstrom eingefügt. Das künstliche kodierte Videoeinzelbild referenziert auf das diesem Einzelbild vorhergehende Einzelbild und wiederholt den Dateninhalt dieses vorhergehenden Einzelbildes. Bei dem Videokodierungsstandard H.264/AVC kann das künst- liehe kodierte Videoeinzelbild durch Zusammensetzen von sogenannten übersprungenen Makroblöcken (skipped macroblocks) erzeugt werden. Die übersprungenen Makroblöcke werden bei dem Videokodierungsstandard H.264/AVC durch Setzen des Makroblockmodus zu„skip" erzeugt. Die Referenz dieser übersprungenen Makroblöcke ist das erste Videoeinzelbild der Referenzbildliste oder ein anderes bereits kodiertes Videoeinzelbild. Bewegungsvektoren und Prädiktionsfehlertransformati- onskoeffizienten, abgekürzt auch Transformationskoeffizienten genannt, werden für die übersprungenen Makroblöcke nicht übertragen. Dadurch wird die Speichergröße der künstlichen kodierten Einzelbilder im Vergleich zur Speichergröße des ersten Videoeinzelbildes der Referenzbildliste reduziert. Die Bewegungsvektoren für die übersprungenen Makroblöcke werden mittels zu den übersprungenen Makroblöcken benachbarter Makroblöcke berechnet, die zeitlich vor den übersprungenen Makroblöcken kodiert sind. Da sämtliche Makroblöcke in dem Videoeinzelbild den„skip"- Modus aufweisen, werden die Bewegungsvektoren bei dieser Berechnung zu Null gesetzt. Übersprungene Makroblöcke sind neben dem Videokodierungsstandard H.264/AVC ebenfalls in den Videokodierungsstandards H.263 und MPEG-4 Visual definiert. Allerdings sind die übersprungenen Makroblöcke der Videokodierungsstandards H.263 und MPEG-4 Visual nicht bewegungskompensiert. Bei einer Verwendung der Vorrichtung zur Kompensation von Jitter in der kodierten Domäne sollte zur Herstellung einer perfekten Kopie des vorhergehenden Einzelbildes ein Deblockingfilter in der Dekodierschleife ausgeschaltet sein. Dies kann implizit durch den Algorithmus festgelegt sein oder explizit signalisiert werden. Anstelle eines Videodatenstroms können mit der Vorrichtung zur Kompensation von Jitter in der kodierten Ebene CDD auch Audio-Datenströme, Bilderdatenströme oder eine andere Art von zeitlich aufeinander folgender Information verarbeitet werden. Bei dem in Fig. 5 dargestellten Ausführungsbeispiel stehen die Datenpakte PI und P2 rechtzeitig zur Verfügung und werden ohne weitere Modifikation beim Durchlaufen der Vorrichtung zur Kompensation von Jitter in der kodierten Domäne CDD an den Empfänger R weitergeleitet. Das Datenpaket P3 trifft aufgrund der zeitlichen Verzögerung d3 zu seinem vorgesehenen Zeitpunkt t3 verzögert bei der Vorrichtung zur Kompensation von Jitter in der kodierten Ebene CDD ein. Daher wird das Datenpaket P2^' als Kopie des Datenpaktes P2 unter Verwendung übersprungener Mak- roblöcke kodiert. Das künstliche kodierte Datenpaket P2' sollte nicht in die Referenzbildliste eingefügt werden um zu vermeiden, dass vorhandene Referenzbilder aus der Referenzbildliste entfernt werden. Anschließend wir das Datenpaket P3 ohne Änderung des Datenpaketes P3 durch die Vorrichtung zur Kompensation von Jitter in der kodierten Ebene CDD an den Empfänger R weitergeleitet. Bei dem in Fig. 5 gezeigten Verfahren unter Verwendung der Vorrichtung zur Kompensation von Jitter in der kodierten Domäne CDD sind Modifikationen der Videokodierungselemente eines künstlich kodierten Datenpaketes des Videodatenstroms, beispielsweise kodierte Transformationskoeffizienten, Modusinformationen und Bewegungsvektoren, nicht erforderlich. Es wird lediglich Syntax auf hoher Ebene modifiziert, beispielsweise die Bildfolgenummer des Datenpakets. Das Real-Time Transport Protocol (RTP) verwendet Bildfolgenummern zur Detektion eines Verlustes von Datenpake- ten. Diese Bildfolgenummern sollten daher umgeschrieben werden. Dieses geschieht automatisch, wenn die Vorrichtung zur Kompensation von Jitter in der kodierten Domäne CDD als RTP-Mischer verwendet wird und hierbei die RTP-Sitzung des Senders S terminiert. Falls das Datenpaket P5 hinsichtlich seines Dateninhaltes Abhängigkeiten vom Dateninhalt des Datenpaketes P4 aufweist, wird bei dem zeitli- chen Verlauf t(f) am Ort f nach Austritt der Datenpakete aus der Vorrichtung zur Kompensation von Jitter in der kodierten Domäne CDD das Datenpakt P4 nicht aus dem Datenstrom entfernt wie in Fig. 5 gezeigt, sondern weitergeleitet, da ansonsten das Datenpaket P5 nicht im Empfänger R dekodiert werden könnte. Falls keine Abhängigkeiten des Datenpaketes P5 von dem Datenpaket P4 vorhanden sind, wird anstelle des Datenpaketes P4 das Datenpaket P5 beim Durchlaufen des Datenpaketes P5 durch die Vorrichtung zur Kompensation von Jitter in der kodierten Domäne CDD zur Reduzierung der Übertragungsverzögerung des Datenstroms weitergeleitet. Durch die Nichtweiterleitung des Datenpaketes P4 wird das Datenpaket P4, wie ein Vergleich der zeitlichen Verläufe vor Eintritt in die Vorrichtung zur Kompensation von Jitter in der kodierten Domäne CDD am Ort b und nach dem Austritt der Da- tenpakete aus der Vorrichtung zur Kompensation von Jitter in der kodierten Ebene CDD am Ort f zeigt, übersprungen. Durch ein Überspringen des ersten Nichtreferenzeinzelbildes, das bei dem in Fig. 5 gezeigten Verfahren dem Datenpaket P4 entspricht, kann die Gesamtverzögerung des Datenstroms reduziert werden. Danach ist, wie der zeitliche Verlauf t (f) am Ort f nach Durchlaufen der Datenpakete durch die Vorrichtung zur Kompensation von Jitter in der kodierten Domäne CDD und vor Eintritt der Datenpakte in den Empfänger R zeigt, das ursprüngliche Zeitraster beim Austritt der Datenpakte aus dem Sender S am Ort a mit dem vorgesehenen zeitlichen Abstand dl wiederhergestellt. Zur Steuerung der Warteschlangenverzögerung in einem Jitter Buffer JB kann die Vorrichtung zur Kompensation von Jitter in der kodierten Domäne CDD mit dem Jitter Buffer JB kombiniert werden. In Fig. 6 ist in einer weiteren Ausführungsform der Erfindung ein Übertragungsweg vom kodierten Datenpaket vom Sender S an den Empfänger R dargestellt, wobei die kodierten Datenpakete nach Austritt aus dem Netzwerk N und vor Eintritt in die Vorrichtung zur Kompensation von Jitter in der kodierten Domäne CDD einen Jitter Buffer JB durchlaufen, der im Übertragungsweg zwischen dem Netzwerk N und der Vorrichtung zur Kompensation von Jitter in der kodierten Domäne CDD angeordnet ist. Durch die Anordnung des Jitter Buffers JB in Übertragungsrichtung der Datenpakete vor der Vorrichtung zur Kompensation von Jitter in der kodierten Domäne CDD kann die Anzahl von Schritten der Einfügung von künstlichen kodierten Datenpaketen und die Anzahl von Schritten zum Entfernen, auch Überspringen genannt, von Datenpaketen reduziert werden. Es kann beispielsweise der Fall auftreten, dass eine Netz Werkverzögerung, bei der sämtliche Datenpakete eines Datenstroms verzögert werden, und/oder ein

Netzwerkverzögerungsj itter, bei dem die Datenpakete zueinander verzögert werden, wesentlich zunimmt/zunehmen. In diesem Fall führt ein nicht vorhandener oder nicht ausreichender Jitter Buffer JB dazu, dass ein vor Beginn der Netzwerkverzögerung und/oder des Netzwerkverzögerungsj itters in die Vorrichtung zur Kompensation von Jitter in der kodierten Domäne CDD eintretendes Datenpaket mehrfach als künstliches kodiertes Datenpaket in den Datenstrom eingefügt werden müsste, was zu einer flackernden und ruckelnden Wiedergabe führen würde. Ein Jitter Buffer JB kann die Wiedergabe der Datenpakete glätten. Der Füllstand des Jitter Buffers JB kann durch Einfügen oder Entfernen von Datenpaketen/Einzelbildern in den Datenstrom mittels der Vorrichtung zur Kompensation von Jitter in der kodierten Domäne CDD gesteuert werden. Durch den Einsatz eines Jitter Buffers JB, den die Datenpakete vor Ein- tritt in die Vorrichtung zur Kompensation von Jitter in der kodierten Domäne CDD durchlaufen, ist es möglich, dass bei Auftreten einer Netzwerkverzögerung und/oder eines Netzwerkverzögerungsj itters lediglich einzelne Datenpakete/Einzelbilder eingefügt oder entfernt werden, so dass die Modifikation des Datenstroms bei der Wiedergabe im Empfänger R nicht oder kaum bemerkbar ist. Hierzu sendet der Jitter Buffer JB über eine Leitung 2 außerhalb des Übertragungsweges der Datenpakete vom Jitter Buffer JB zur Vorrichtung zur Kompensation von Jitter in der kodierten Domäne CDD Informationen zu der im Jitter Buffer JB aktuell ermittelten Netzwerkverzögerung und/oder dem aktuell in dem Jitter Buffer JB ermittelten

Netzwerkverzögerungsj itter an die Vorrichtung zur Kompensation von Jitter in der kodierten Domäne CDD. Durch die in einem gegebenen Zeitintervall in der Vorrichtung zur Kompensation von Jitter in der kodierten Domäne CDD erfolgenden Einfügungen jeweils eines künstlich kodierten Datenpaketes und/oder Entfernungen jeweils eines Datenpaketes aus dem Datenstrom kann der Füllstand des Jitter Buffers JB gesteuert werden. Hierdurch kann ein Überlauf im Jitter Buffer JB, der zu einer erhöhten Gesamtverzögerung des Datenstroms führt, sowie ein Unterlauf des Jitter Buffers JB, der zur Folge hat, dass der Vorrichtung zur Kompensation von Jitter in der kodierten Domäne CDD kein Datenpaket/Einzelbild zur Verfügung steht, vermieden werden. Mit der in Fig. 6 gezeigten Anordnung ist es neben anderen Fällen möglich, den folgenden Fällen einer auftretenden Netzwerkverzögerung und/oder eines auftretenden Netzwerkverzögerungsj itters zu begegnen: Die Netzwerkverzögerung nimmt zu: Als Folge nimmt der Füllstand und damit die Warteschlangen Verzögerung im Jitter Buffer JB ab, da mehr Bilder als vor der Zunahme der Netzwerkverzögerung aus dem Jitter Buffer JB zur Aufrechterhaltung des vorgesehenen zeitlichen Abstandes dl zwischen aufeinander folgenden Datenpaketen an die Vorrichtung zur Kompensation von Jitter in der kodierten Domäne CDD abgeführt werden. Datenpakte/Einzelbilder können durch die Vorrichtung zur Kompensation von Jitter in der kodierten Domäne CDD eingefügt werden um die Befüllung des Jitter Buffers JB, die proportional zur Warteschlangenverzögerung ist, in gewissen Grenzen aufrecht zu erhalten.

Die Netzwerkverzögerung nimmt ab: Als Folge nimmt der Füllstand im Jitter Buffer JB und damit die Warteschlangenverzögerung zu, da im Vergleich zu einem Zeitpunkt vor Abnahme der Netzwerkverzögerung mehr Bilder in den Jitter Buffer JB eintreten, als zur Aufrechterhaltung des vorgesehenen zeitlichen Abstandes dl zwischen aufeinander folgenden Datenpaketen von der Vorrichtung zur Kompensation von Jitter in der kodierten Domäne CDD aus dem Jitter Buffer angefordert werden.

Ein Verzögerungsj itter im Netzwerk N nimmt zu: Die Befüllung des Jitter Buffers JB sollte durch das Einfügen künstlicher kodierter Datenpakete/Einzelbilder vergrößert werden.

Der Netzwerkverzögerungsj itter nimmt ab: Die Befüllung des Jitter Buffers JB sollte durch die Vorrichtung zur Kompensation von Jitter in der kodierten Domäne CDD verringert werden, um die Verzögerung der Datenpakte bei der Übertragung der Datenpakete vom Sender S zum Empfänger R, auch Gesamtverzögerung genannt, zu verringern.

Anzumerken ist, dass die Netzwerkverzögerung und der Netzwerkverzögerungsj itter basierend auf statistischen Angaben der in den Jitter Buffer eingetretenen Datenpa- kete, beispielsweise deren Timing berechnet werden können. Die Berechnung kann innerhalb des Jitter Buffer JB erfolgen. Die in Fig. 6 gezeigte Anordnung kann als Sonderfall der in Fig. 5 gezeigten Anordnung angesehen werden, wobei der Jitter Buffer JB in Fig. 6 eine vernachlässigbare Warteschlangenverzögerung der Datenpa- kete, die in den Jitter Buffer JB enthalten sind, aufweist.

In Fig. 7 ist ein Vergleich der zeitlichen Verläufe der kodierten Datenpakete vor Eintritt in das Netzwerk N und nach Austritt aus dem in Fig. 2 gezeigten Jitter Buffer, nach Austritt aus dem in Fig. 3 und Fig. 4 gezeigten Transcoder TR und nach Aus- tritt aus der in Fig. 5 und Fig. 6 gezeigten Vorrichtung zur Kompensation von Jitter in der kodierten Domäne CDD dargestellt. Der zeitliche Verlauf t(a) am Ort a nach Austritt der Datenpakte aus dem Sender S und vor Eintritt in das Netzwerk N ist zu den zeitlichen Verläufen t(b), t(c), t(e) und t(f), wobei die Orte b, c, e und f den Orten b, c, e, f in den Figuren 1, 2, 3, 4, 5, 6 entsprechen, um eine (durchschnittliche) Übertragungsverzögerung dN zeitlich verschoben. Nach dem Eintritt der Übertragungsverzögerung dN können die Datenpakete PI, P2, P3, P4, P5 von dem Empfänger R oder einer zwischen dem Sender S und dem Empfänger R angeordneten Komponente verarbeitetet werden. Als eine zwischen den Sender S und dem Empfänger R angeordnete Komponente kann ein Jitter Buffer JB, ein Transcoder TR oder die Vorrichtung zur Kompensation von Jitter in der kodierten Domäne CDD verwendet werden. Der Jitter Buffer JB muss zur Kompensation eines Verzögerungsj itter, der einen Sonderfall des Jitters darstellt, den gesamten während der Übertragung des Datenstroms mit den kodierten Datenpaketen PI, P2, P3, P4, P5 auftretenden Verzögerungsj itter auffangen. Daher fällt die Verzögerung dJ durch Verwendung des Jitter Buffers JB relativ hoch aus. Im Vergleich zu der durch den Jitter Buffer JB verursachten Verzögerung dJ der Datenpakete PI, P2, P3, P4, P5 verfügen der Transcoder TR und die Vorrichtung zur Kompensation von Jitter in der kodierten Domäne CDD über zusätzliche Mittel zur Kompensation von Verzögerungsj itter. Durch die Möglichkeit des Einfügens und/oder Entfernens von Datenpaketen aus dem Datenstrom sind im Vergleich zur Verzögerung dJ durch den Jitter Buffer JB die Verzögerungen dT durch den Transcoder TR und dC durch die Vorrichtung zur Kompensation von Jitter in der kodierten Domäne CDD geringer.

In Fig. 8 sind schematische Abfolgen 10, 11, 12 von Bildern vor einem Einfügen 10, nach einem Einfügen als Referenzbild 11 und nach einem Einfügen als Nichtreferenzbild 12 bei einer linearen Prädiktionsstruktur gegenüber der Zeit t (siehe Pfeil) dargestellt. Im Folgenden wird für das Wort„Videoeinzelbild" das Wort„Bild" verwendet. Wie im Zusammenhang mit den Fig. 5 und 6 erläutert, wird für den Fall, dass ein aktuelles Bild zur Weiterleitung durch die Vorrichtung zur Kompensation von Jitter in der kodierten Domäne CDD nicht zur Verfügung steht, ein künstliches kodiertes Bild, das den Dateninhalt das dem künstlichen kodierten Bild vorhergehenden Bildes repräsentiert, in den Datenstrom zur Aufrechterhaltung des vorgesehenen zeitlichen Abstandes dl zwischen aufeinander folgenden Bildern eingefügt. Falls zwischen den Bildern einer Videobildfolge Abhängigkeiten bestehen, sollten diese Abhängigkeiten zwischen den Bildern einer Videobildfolge erhalten bleiben. Fig. 8 zeigt zur Verdeutlichung die Einfügung eines vorausberechneten Bildes in Form eines künstlich kodierten Videoeinzelbildes in einer linearen Prädiktionsstruktur, die auch IPPP genannt wird. Bei einer IPPP-Prädiktionsstruktur referenziert das erste Bild einer Bildfolge, das Intrabild Bl, nicht auf das dem Intrabild Bl vorherge- hende Bild. Die dem Intrabild Bl nachfolgenden Bilder B2, B3, B4, B5 referenzie- ren hingegen auf das diesen Bildern jeweils vorhergehende Bild Bl, B2, B3, B4. Daher ist bei der linearen Prädiktionsstruktur 10 bis auf das Intrabild Bl das vorhergehende Bild eines jeden vorausberechneten Bildes ein Referenzbild. In Fig. 8 sind die Referenzierungen jeweils durch einen Pfeil r zwischen den einzelnen Bildern der Bildfolge Bl, B2, B3, B4, B5 dargestellt. Im Gegensatz zu den Fig. 1 bis 3, 5 und 7 sind in Fig. 8 keine kodierten Datenpakete PI, P2, P3, P4, P5, sondern vorausberechnete Bilder Bl, B2, B3, B4, B5 dargestellt. Jedes der Datenpakete PI, P2, P3, P4, P5, kann als Information jeweils eines der Bilder Bl, B2, B3, B4, B5 oder einen Teil von jeweils einem der Bilder Bl, B2, B3, B4, B5 umfassen. Vor dem Einfügen des vorausberechneten Bildes B2^' hat die Bildfolge 10 eine Reihenfolge der vorausberechneten Bilder in aufsteigender Reihenfolge beginnend mit dem Intrabild Bl. Wie in der schematischen Abfolge 11 von vorausberechneten Bildern nach Einfügen eines vorausberechneten Bildes B2 'dargestellt, weist das eingefügte vorausberechnete Bild B2^' den Dateninhalt seines Vorgängers B2 auf. Falls der Videokodierungsstandard H.264/AVC verwendet wird, kann das eingefügten künstliche kodierte vo- rausberechnete Bild B2' ausschließlich aus übersprungenen Makroblöcken, wie oben erläutert, zusammengesetzt werden.

Bei der zeitlichen Abfolge 12 ist ein vorausberechnetes Bild B2' als Nichtreferenzbild in die lineare IPPP-Prädiktionsstruktur der Bilder B l, B2, B3, B4, B5 nach dem vorausberechneten Bild B2 eingefügt. Da das künstliche kodierte Videoeinzelbild B2' ein Nichtreferenzbild ist, referenziert das dem künstlichen kodierten vorausberechneten Bild B2 'nachfolgende Bild B 3 nicht auf das künstlich kodierten vorausberechnete Bild B2^', sondern auf das vorausberechnete Bild B2. Bei der schematischen Abfolge 12 ist die Referenzierung des vorausberechneten Bildes B3 auf das voraus- berechnete Bild B2 durch einen Pfeil rl dargestellt. Somit referenzieren sowohl das künstlich kodierte neu eingefügte vorausberechnete Bild B2'als auch das vorhandene vorausberechnete Bild B3 jeweils auf das vorausberechnete Bild B2. Die Einfügung eines neuen Bildes als Nichtreferenzbild hat einige Vorteile: - Selbst wenn das neu eingefügte künstlich kodierte vorausberechnete Bild B2' keine Kopie hoher Qualität des vorausberechneten Bildes B2 ist, tritt bei dem dem künstlich kodierten neu eingefügten vorausberechneten Bild B2' nachfolgenden Bild B3 keine Verschlechterung der Bildqualität ein, da sich der zeitliche Prädiktor, der die Referenzierung des Bildes B4 angibt, des voraus- berechneten Bildes B3 nicht durch die Einfügung des künstlich kodierten vorausberechneten Bildes B2^' verändert hat.

Die Prädiktionsstruktur muss bei Einfügung eines Nichtreferenzbildes in keiner Weise geändert werden. Selbst wenn die Prädiktionsstruktur umfangrei- eher ausfällt als in Fig. 8 dargestellt, beispielsweise bei Verwendung einer

Vielzahl unterschiedlicher Referenzeinzelbilder, ist es nicht erforderlich die Referenzindizes, also die Referenzierungen auf vorher kodierte Bilder, zu verändern.

Bei einem vollständigen gefüllten Referenzbildpuffer, der die Referenzbildliste enthält, wird durch das Einfügen des künstlich kodierten vorausberechnete Bild B2' kein Referenzbild verloren, da das neu eingefügte Bild B2' nicht in dem Referenzbildpuffer gespeichert wird.

Auf der anderen Seite hat die Einfügung eines ausschließlich aus übersprungenen Makroblöcken zusammengesetzten Bildes als Referenzeinzelbild Vorteile beim Videomischen in der komprimierten Domäne. So kann beispielsweise durch Einfügen eines zusätzlichen Referenzeinzelbildes in eine erste Bildfolge eines Videodatenstroms die Prädiktionsstruktur dieses Datenstroms an eine vorhandene weitere Prädiktionsstruktur eines zweiten Videodatenstroms, der mit dem ersten Videodatenstrom gemischt werden soll, angepasst werden.

Zur Aufrechterhaltung der linearen Prädiktionsstruktur ist das einem vorausberechneten Bild vorhergehende Bild als Referenzbild zu deklarieren, wenn das dem vorausberechneten Bild vorhergehende Bild ein Nichtreferenzbild B2' in der schematischen Abfolge 12 ist. Weitere Referenzierungen können vorzunehmen sein um die ursprünglichen Prädiktionsstrukturen aufrechtzuerhalten. So ist bei der schematischen Abfolge 11 das künstlich kodierte neu eingefügte vorausberechnetet Bild B2' als Referenzbild eingefügt, wobei das vor der Einfügung auf das vorausberechnete Bild B2 referenzierende vorausberechnete Bild B3 nun auf das neu eingefügte künstlich kodierte vorausberechnete Bild B2' referenziert.

Falls jedoch das dem neu eingefügten künstlich kodierten vorausberechneten Bild B2 ^'vorhergehende vorausberechnete Bild B2 nicht als Referenzbild deklariert werden kann, beispielsweise weil ein Überlauf eines Referenzbildpuffers bei Deklaration des vorausberechneten Bildes B2 als Referenzbild eintreten würde, wird bei Einfügung des neu einzufügenden künstlich kodierten vorausberechneten Bildes das Nichtreferenzbild wiederholt. Da der Referenzbildpuffer sich durch die Einfügung des neu einzufügenden künstlich kodierten vorausberechneten Bildes nicht verändert hat, wird die Prädiktion wie für das vorhergehende vorausberechnete Bild ausgeführt. Zur Verdeutlichung zeigt Fig. 9 schematische Abfolgen 21, 22 von vorausbe- rechneten Bildern vor dem Einfügen 21 und nach dem Einfügen 22 bei einer hierarchischen Prädiktionsstruktur, bei der das dem einzufügenden vorausberechneten Bild B2' vorhergehende Bild B2 ein Nichtreferenzbild ist. Bei der schematischen Abfolge 21 referenziert das vorausberechnete Bild B3 nicht auf das vorausberechnete Bild B2, sondern auf das vorausberechnete Bild Bl, wie mit einem Pfeil rl dargestellt. Nach dem Einfügen des künstlich kodierten vorausberechnete Bild B2' bei der zeitlichen Abfolge 22 referenzieren sowohl das neu eingefügte künstlich kodierten vorausberechnete Bild B2' als auch das dem vorausberechneten Bild B2 'nachfolgende vorausberechnete Bild B 3 auf das vorausberechnete Bild Bl, wie dies bei der zeitlichen Abfolge 22 durch die Referenzierungen rl von B2' und r2 von B3 dargestellt ist. Für die Kopie des vorausberechneten Bildes B2 für das einzufügende vorausberechnete Bild B2' werden lediglich Dateninformation auf hoher Ebene, wie RTP, Bildfolgenummer und ein Zeitstempel des vorausberechneten Bild B2 verändert. Der Signalverarbeitungsdateninhalt wie Koeffizienten, Bewegungsvektoren und Modeninformation etc. des einzufügenden künstlich kodierten vorausberechneten Bildes B2' entspricht dem des ursprünglichen vorausberechneten Bildes B2. Daher fällt bei der Einfügung eines neu einzufügenden künstlich kodierten Einzelbildes als Nichtreferenzbild die Datenrate dieses einzufügenden künstlich kodierten vorausberechneten Einzelbildes deutlich höher aus als bei einem neu einzufügenden künstlich kodierten Referenzbildes, das ausschließlich aus übersprungenen Makroblöcken zu- sammengesetzt ist. Daher ist es vorteilhaft bei einer gegebenen Prädiktionsstruktur einzufügende Einzelbilder, die ausschließlich aus übersprungenen Makroblöcken zusammengesetzt sind, zur Reduzierung der zu übertragenden Datenrate zu verwenden, wenn dies möglich ist. Wie ein Vergleich der zeitlichen Abfolgen 11 und 12 in Fig. 8 mit der zeitlichen Abfolge 21 in Fig. 9 zeigt, ist bei Einfügung eines künstlich kodierten vorausberechne- ten Einzelbildes B2' als Nichtreferenzbild in der zeitlichen Abfolge 12 eine hierarchische Prädiktionsstruktur aus der in der zeitlichen Abfolge 10 gezeigten linearen Prädiktionsstruktur entstanden. Bei einer hierarchischen Prädiktionsstruktur ist im Gegensatz zu den in Fig. 8 gezeigten zeitlichen Abfolgen 10, 11 ein vorausberechne- tes Bild B3 vorhanden, dessen vorhergehendes vorausberechnetes Bild B2, wie bei der zeitlichen Abfolge 21 dargestellt, ein Nichtreferenzbild ist.

Wie im Zusammenhang mit Fig. 5 bereits ausgeführt, kann in dem Fall, dass zwei oder mehr Einzelbilder in der Vorrichtung zur Kompensation von Jitter in der ko- dierten Ebene CDD zur Weiterleitung in den Datenstrom aus den kodierten Datenpaketen PI, P2, P3, P4, P5 zur Verfügung stehen, das ältere der in der Vorrichtung zur Kompensation von Jitter in der kodierten Ebene CDD vorliegenden Bilder übersprungen werden um die Verzögerung des Datenstroms zu reduzieren. Es kann beispielsweise der Fall eintreten, dass aufgrund einer wesentlichen Verringerung einer Netzwerkverzögerung der zeitliche Sollabstand dl zwischen aufeinanderfolgenden Datenpaketen PI, P2, P3, P4, P5 bei Eintreten aufeinander folgender Datenpakete in die Vorrichtung zur Kompensation von Jitter in der kodierten Ebene CDD halbiert ist. In diesem Fall kann das verfrüht in der Vorrichtung zur Kompensation von Jitter in der kodierten Ebene CDD eintreffende Datenpaket aus dem Datenstrom entfernt werden ohne dass zuvor ein künstlich kodiertes Datenpaket in den Datenstrom eingefügt worden ist. Das Einzelbild, das von einem kodierten Datenpaket umfasst ist, wird aus dem Datenstrom in der kodierten Domäne entfernt.

Bei der Entfernung eines Einzelbildes aus dem Datenstrom ist es von Verteil, wenn das zu entfernende Einzelbild nicht für weitere Referenzierungen verwendet wird. Zur Verdeutlichung zeigen die Fig. 10 und 11 jeweils schematische Abfolgen 31, 32 und 41, 42 vorausberechneter Bilder aus einer linearen Prädiktionsstruktur (Fig. 10) und aus einer hierarchischen Prädiktionsstruktur (Fig. 11). In Fig. 10 sind schematische Abfolgen vorausberechneter Bilder vor einem Entfernen 31 und nach einem Entfernen 32 aus einer linearen Prädiktionsstruktur dargestellt. Wie ein Vergleich der schematischen Abfolgen 31 und 32 in Fig. 10 zeigt, wird aus der linearen IPPP- Prädiktionsstruktur lediglich das letzte Einzelbild B4 einer Bildergruppe (Group Of Pictures: GOP) aus dem Datenstrom der Bilder Bl, B2, B3, B4, B5, B6, B7 entfernt. Eine Bildergruppe GOP setzt sich aus vorausberechneten Bildern zusammen, die bis auf das erste Bild der Bildergruppe jeweils auf das jedem vorausberechneten Bild der Bildergruppe vorhergehende Bild referenzieren. Bei der schematischen Abfolge 31 bilden daher die Bilder Bl, B2, B3, B4 und die Bilder B5, B6, B7 jeweils einzelne Bildergruppen. Nach Entfernung des vorausberechneten Bildes B4 referenzieren die im Datenstrom der schematischen Abfolge 32 verbleibenden Bilder B2 und B3 jeweils auf die diesen Bildern B2, B3 vorhergehenden Bilder Bl, B2.

Bei der in Fig. 11 in der schematischen Abfolge 41 gezeigten hierarchischen Prädiktionsstruktur bilden die Einzelbilder B4, B6, B8 diejenigen Einzelbilder der untersten zeitlichen Ebene. Die Einzelbilder B4, B6, B8 sind Nichtreferenzbilder und können in einfacher Weise aus dem Datenstrom entfernt werden, da auf diese Bilder B4, B6, B8 keine nachfolgenden Bilder referenzieren. Da die Anzahl von Einzelbildern, die übersprungen werden können, bei einer hierarchischen Prädiktionsstruktur größer ist als bei einer linearen Prädiktionsstruktur, wie ein Vergleich der schematischen Abfolgen 31 in Fig. 10 und 41 in Fig. 11 hinsichtlich der einfach entfernbaren Nichtreferenzbilder zeigt, ist es vorteilhaft mit einem vorhandenen Encoder zeitlich ska- lierbare Datenströme zu erzeugen, die hierarchische Prädiktionsstrukturen aufweisen.

In einer vorteilhaften Ausführung der Erfindung ist vorgesehen, ausschließlich Nichtreferenzeinzelbilder aus dem komprimierten und kodierten Videodatenstrom zu entfernen um eine Verschlechterung der Bildqualität der nicht entfernten Einzelbilder zu vermeiden. In einer weiteren vorteilhaften Ausführung der Erfindung ist vorgesehen, dass sowohl das Einfügen eines künstlich kodierten Datenpaktes, das ein Einzelbild umfasst, als auch die Entfernung eines Datenpaketes, das ein Einzelbild umfasst, dynamisch erfolgt. In diesem Fall führt die Vorrichtung zur Kompensation von Jitter in der kodierten Ebene die Funktion eines adaptiven Jitter-Puffers aus. Kompensation von Jitter in der kodierten Domäne, auch Kompensation von Jitter in der komprimierten Domäne genannt, kann mit Videomischen in der komprimierten Domäne, auch Videomischen in der kodierten Domäne genannt, kombiniert werden. Das Mischen von Videodatenströmen auf Makroblockebene ist beispielsweise be- schrieben in WO 2009/049974 A2. Für den Fall, dass ein erster Videodatenstrom, der mit einem zweiten Videodatenstrom zu mischen ist, einen zu dem zweien Datenstrom erhöhten Verzögerungsjitter aufweist, wobei ein eingehendes Einzelbild des ersten Videodatenstroms zur Zusammensetzung des aktuellen gemischten Ausgangseinzelbildes nicht rechtzeitig zur Verfügung steht, wird das nicht rechtzeitig zur Ver- fügung stehende eingehende Einzelbild des ersten Videodatenstroms durch ein Einzelbild ersetzt, das ausschließlich Makroblöcke in dem„skip"-Modus umfasst. Zur Verdeutlichung zeigt Fig. 12 eine schematische Anordnung aus einer Mischung 50 kodierter Makroblöcke Ml, M2, wobei Makroblöcke Ml aus einem ersten Videodatenstrom 51 mit übersprungenen Makroblöcken M2 aus einem zweiten Videodaten- ström 52 gemischt sind. Bei der Mischung 50 aus kodierten Makroblöcken Ml, M2 sind ursprüngliche Makroblöcke Ml des ersten Videodatenstroms 51 in einer Matrix aus 8x10 Makroblöcken Ml, also eine Matrix mit acht Zeilen und zehn Spalten, in Fig. 12 dargestellt. Die Matrix aus Makroblöcken Ml kann eine beliebige Anzahl von Makroblöcken Ml in Zeilen- und Spaltenform aufweisen. Bei der in Fig. 12 gezeigten Mischung aus kodierten Makroblöcken Ml, M2 bestehen die Makroblöcke Ml des ersten Videodatenstroms aus ursprünglichen Makroblöcken des eingehenden ersten Videodatenstroms. Die Makroblöcke M2 des eingehenden zweiten Videodatenstroms hingegen bestehen aus übersprungenen Makroblöcken (,,skip"-Modus), da die ursprünglichen Makroblöcke des eingehenden zweiten Videodatenstroms nicht rechtzeitig zur Mischung mit den ursprünglichen Makroblöcken Ml des eingehenden ersten Videodatenstroms zur Verfügung stehen. Als Folge grenzen bei der in Fig. 12 gezeigten schematischen Anordnung ursprüngliche Makroblöcke Ml an künstlich kodierten eingefügte Makroblöcke M2 zur Mischung der Makroblöcke Ml des ersten eingehenden Videodatenstroms und der Makroblöcke M2 des zweiten eingehen- den Videodatenstroms aneinander. Hinsichtlich einer genaueren Beschreibung des Videomischens auf Makroblockebene (beispielsweise hinsichtlich Entropiedekodieren und Re-Enkodieren) wird auf die in dem Dokument WO

2009/049974 A2 enthaltene technische Lehre verwiesen.

Wie bereits im Zusammenhang mit der Beschreibung der Fig. 5 ausgeführt, werden Bewegungsvektoren für übersprungene Makroblöcke von kodierten zu den übersprungenen Makroblöcken benachbarten Makroblöcken berechnet, die zeitlich vor den übersprungenen Makroblöcken kodiert sind. Es wäre daher bei der in Fig. 12 gezeigten schematischen Anordnung nachteilig, zur Berechnung der übersprungenen Makroblöcke M2 des zweiten Videodatenstroms angrenzende Makroblöcke Ml des ersten Videodatenstroms heranzuziehen. Bei einer Mischung von Makroblöcken eines ersten Videodatenstroms und eines zweiten Videodatenstroms unterscheidet sich daher die Berechnung der Bewegungsvektoren für die übersprungenen Makroblöcke von der Berechnung der Bewegungsvektoren für übersprungene Makroblöcke im Fall eines einzelnen nicht zu mischenden Datenstroms. Würden nämlich Makro- blocke Ml des ersten Videodatenstroms zur Berechnung der Bewegungsvektoren für die übersprungenen Makroblöcke M2 bei der in Fig. 12 gezeigten schematischen Anordnung aus einer Mischung kodierter Makroblöcke Ml, M2 herangezogen, würden die berechneten Bewegungsvektoren für die übersprungenen Makroblöcke zu Null gesetzt werden. Daher wird die Bewegungsinformation für die übersprungenen Makroblöcke M2 des zweiten eingehenden Videodatenstroms 52 explizit kodiert, beispielsweise durch Verwendung des regulären P-Makroblock-Modus mit einer Aufteilung für die zur Berechnung der Bewegungsvektoren heranzuziehenden ursprünglichen Makroblöcke von 16x16 Makroblöcken, also der größten Aufteilung im Videokodierungsstandart H.264/AVC. Für die auf diese Weise berechneten über- sprungenen Makroblöcke werden die Bewegungsvektoren implizit derart eingestellt, dass die Bewegungsvektoren zu Null gesetzt werden. Die Datenrate für auf diese Weise berechnete übersprungene Makroblöcke ist zwar größer als die Datenrate eines nicht zu mischenden Videodatenstroms, doch im Verhältnis zu der Datenrate von nicht übersprungenen Makroblöcken klein. Das Einfügen von Makroblöcken mit„skip"-Modus kann in vorteilhafter Weise dazu verwendet werden, Videobildfolgen zu resamplen, beispielsweise um zwei oder mehr Videobildfolgen mit unterschiedlichen Abtastfrequenzen zu mischen. Zur Verdeutlichung sind in Fig. 13 schematische Abfolgen 60, 61, 66, 67 vorausberechneter Bilder eines ersten Videodatenstroms und eines zweiten Videodatenstroms vor einem Resamplen und Mischen 60, 61 und nach dem Resamplen und Mischen 66, 67 dargestellt. Die schematische Abfolge vorausberechneter Bilder 60 eines ersten Videodatenstroms weist beispielsweise eine Abtastfrequenz von von 30 fps (frames per second) auf, während die schematische Abfolge 61 vorausberechneter Bilder eines zweiten Videodatenstroms eine Abtastfrequenz von 15 fps aufweist. Durch die im Vergleich zum ersten Videodatenstrom halbierte Abtastfrequenz des zweiten Videodatenstroms sind zwischen den vorausberechneten Bildern B12, B22, B32, B42 des zweiten Videodatenstroms künstlich kodierte vorausberechnete Bilder B21, B41, B61 angeordnet. Zur Angleichung der unterschiedlichen Abtastfrequenzen des ersten Videodatenstroms und des zweiten Videodatenstroms werden in den zweiten Videodatenstrom, wie die schematische Abfolge 67 in Fig. 13 zeigt, künstlich kodierte Videoeinzelbilder B52, B62, B72 zwischen die vorhandenen Einzelbilder B12, B22, B32, B42 derart eingebracht, dass die eingefügten künstlich kodierten Einzelbilder als Referenzeinzelbilder ausgeführt sind. Durch die Ausführung der künstlich kodier- ten eingefügten Einzelbilder B52, B6 2, B7 2 wird erreicht, dass die Prädiktionsstruktur der gemischten Videodatenströme derjenigen Prädiktionsstruktur des ersten eingehenden Videodatenstroms, wie bei der schematischen Abfolge 60 in Fig. 13 gezeigt, entspricht. Daher weist die Prädiktionsstruktur der gemischten Videodatenströme 1 und 2 eine lineare Prädiktionsstruktur auf. Zur vereinfachten Darstellung ist bei den schematischen Abfolgen vorausberechneter Bilder 60, 61 in Fig. 13 angenommen, dass das Verhältnis der Abtastfrequenzen des ersten eingehenden Videodatenstroms und des zweiten eingehenden Videodatenstroms eine natürliche Zahl ist. Allerdings ist das in Fig. 13 geschilderte Verfahren zur Mischung eines ersten eingehenden Videodatenstroms und eines zweiten eingehenden Videodatenstroms zu ei- nem ausgehenden Videodatenstrom mit einer Abtastfrequenz, die an die höhere Abtastfrequenz des ersten eingehenden Videodatenstroms oder des zweiten eingehen- den Videodatenstroms angeglichen ist, mit jedem Verhältnis der Abtastfrequenzen des ersten eingehenden Videodatenstroms und des zweiten eingehenden Videodatenstroms möglich. So kann bei der in Fig. 13 dargestellten Anordnung aus schematischen Abfolgen vorausberechneter Bilder ein zu irgendeinem Zeitpunkt nicht zu Verfügung stehenden Einzelbild des Videodatenstroms mit der niedrigeren Abtastfrequenz ein aus übersprungenen Makroblöcken zusammengesetztes Einzelbild in den Videodatenstrom mit der niedrigeren Abtastfrequenz eingefügt werden, wie bereits zu Fig. 13 oben ausgeführt. Durch die Verwendung einer Vorrichtung zur Modifikation eines kodierten Datenstroms aus Datenpaketen in der kodierten Domäne kann im Vergleich zu einer Lösung mit einem Jitter Buffer eine verringerte Verzögerung des Datenstroms mit dem kompensierten Jitter erreicht werden. Ein vorbekannter Jitter Buffer fügt zur Kompensation von Jitter die maximale im Datenstrom vorhandene Verzögerung zwischen zwei aufeinanderfolgenden kodierten Datenpakten in den Datenstrom ein. Die Vorrichtung zur Kompensation von Jitter in der kodierten Domäne verfügt hingegen über zusätzliche Mittel zur Kompensation von Jitter unterschiedlicher Art, beispielsweise Verzögerungsj itter, durch das Einfügen kodierter Datenpakte in und/oder die Entfernung vorhandener Datenpakte aus dem Datenstrom.

Gegenüber dem Verfahren mittels Transcoder zur Kompensation von Jitter weist das Verfahren mittels einer Vorrichtung zur Modifikation eines kodierten Datenstroms aus Datenpaketen in der kodierten Domäne einen weniger umfangreichen Eingriff in den Datenstrom auf, da im Gegensatz zum Verfahren mittels Transcoder (Dekodie- rung und erneute Kodierung) lediglich übersprungene Makroblöcke neben weiteren nicht neu kodierten Datenpaketen kodiert werden können. Zudem tritt im Vergleich zum Verfahren zur Kompensation von Jitter in der kodierten Domäne mittels Transcoder, bei dem sämtliche kodierten Datenpakete dekodiert und erneut kodiert werden, eine geringere Verzögerung des Datenstroms auf. Der Grund liegt in der wesentlichen Verzögerung des Datenstroms, die durch die Signalverarbeitung bei dem Verfahren mittels Transcoder dadurch entsteht, dass sämtliche kodierte Daten- pakete vollständig dekodiert und erneut vollständig kodiert werden müssen. Die mit diesem hohen Grad an Signal Verarbeitung verbundene Verzögerung wird bei dem Verfahren mittels einer Vorrichtung zur Kompensation von Jitter in der kodierten Ebene dadurch vermieden, dass nicht sämtliche Datenpakete dekodiert und kodiert werden, sondern lediglich einige künstlich kodierte Datenpakete, beispielsweise in Form übersprungener Makroblöcke als Referenzeinzelbilder oder als Nichtreferenzeinzelbilder, in den ansonsten unbehandelten kodierten Datenstrom eingefügt werden. Im Gegensatz zum Verfahren mittels Transcoder tritt bei dem Verfahren zur Modifikation eines kodierten Datenstroms aus Datenpaketen mittels einer Vorrichtung zur Modifikation eines kodierten Datenstroms aus Datenpaketen in der kodierten Domäne kein Qualitätsverlust der zu übertragenden kodierten Datenpakte auf. Während bei dem Verfahren mittels Transcoder die Qualität des kodierten Datenstroms durch die Dekodierung und erneute Kodierung jedes kodierten Datenpaketes des Datenstroms leidet, werden bei einer Kompensation von Jitter in der kodierten Domäne die nicht künstlich kodierten Datenpakete nicht verändert.

Claims

Patentansprüche

1. Verfahren zur Modifikation eines kodierten Datenstroms aus Datenpaketen (PI, P2, P3, P4, P5), von denen jedes Datenpaket (PI, P2, P3, P4, P5) eine Information (Bl, B2) umfasst, bei dem die Informationen (Bl, B2, B3, B4, B5) aufeinander folgender Datenpakete (PI, P2, P3, P4, P5) zeitliche Abstände (dl, d3) voneinander aufweisen, die von zeitlichen Sollabständen (dl) abweichen und die auf die zeitlichen Sollabstände (dl) durch Einfügen eines künstlichen kodierten ersten Datenpakets (Ρ2') zeitlich nach einem zweiten Datenpaket (P2) in den kodierten Datenstrom in der kodierten Domäne oder durch Entfernen eines im kodierten Datenstrom vorhandenen vierten Datenpakets (P4) aus dem kodierten Datenstrom in der kodierten Domäne eingestellt werden.

2. Verfahren nach Anspruch 1, bei dem

das künstlich kodierte erste Datenpaket (Ρ2'), das eine erste Information (Β2') umfasst, die eine zweite Information (B2) referenziert, die von dem zweiten Datenpaket (P2) umfasst ist, in der kodierten Domäne generiert wird, und das künstliche kodierte erste Datenpaket (Ρ2') in den kodierten Datenstrom zeitlich nach dem zweiten Datenpaket (P2) in dem zeitlichen Sollabstand (dl) zu dem zweiten Datenpaket (P2) eingefügt wird, falls ein dem zweiten Datenpaket (P2) nachfolgendes drittes Datenpaket (P3) in einem zeitlichen Abstand (dl, d3) zu dem zweiten Datenpaket (P2) zur Verfügung steht, der größer ist als der zeitliche Sollabstand (dl).

3. Verfahren nach Anspruch 1 oder 2, bei dem

die Datenpakete (PI, P2, P3, P4, P5) zeitlich vor dem Einfügen des künstlichen kodierten ersten Datenpakets (Ρ2') in den kodierten Datenstrom oder dem Entfernen des vierten Datenpakets (P4) aus dem kodierten Datenstrom in einem Jitter Buffer (JB) zwischengespeichert werden und das Einfügen des künstlichen kodierten ersten Datenpakets (Ρ2') in den kodierten Datenstrom oder das Entfernen des vierten Da- tenpakets (P4) aus dem kodierten Datenstrom derart erfolgt, dass die Anzahl der in dem Jitter Buffer (JB) zwischengespeicherten Datenpakete (PI , P2, P3, P4, P5) eingestellt werden kann.

4. Verfahren nach einem der vorhergehenden Ansprüche, bei dem

der kodierte Datenstrom ein Videodatenstrom ist, wobei jedes Datenpaket (PI, P2, P3, P4, P5) des kodierten Datenstroms einen Teil eines Videoeinzelbildes (Bl, B2, B3, B4, B5) umfasst und das künstliche kodierte erste Datenpaket (Ρ2') einen Teil eines Videoeinzelbildes (Β2') umfasst, das die Information des Videoeinzelbildes (B2) des zweiten Datenpakets (P2) ohne Bewegungsvektoren und/oder Transforma- tionskoeffizienten umfasst.

5. Verfahren nach Anspruch 4, bei dem

jedes Datenpaket (PI, P2, P3, P4, P5) des Videodatenstroms einen Teil eines nach einem der Videokodierungsstandards H.264/AVC, H.263 oder MPEG-4 Visual ko- diertes Videoeinzelbildes (Bl, B2, B3, B4, B5) umfasst, wobei das künstlich kodierte erste Datenpaket (Ρ2') einen Teil eines Videoeinzelbildes (Β2') umfasst, das aus übersprungenen Makroblöcken (skipped macroblocks) zusammengesetzt wird.

6. Verfahren nach einem der vorhergehenden Ansprüche, bei dem

ein Deblocking-Filter in der Dekodierschleife während des Generierens des künstlichen kodierten ersten Datenpakets (Ρ2') abgeschaltet wird.

7. Verfahren nach einem der vorhergehenden Ansprüche, bei dem

das künstlich kodierte erste Datenpaket (Ρ2') einen Teil eines Videoeinzelbildes (Β2') umfasst, das als Nichtreferenzeinzelbild oder als Referenzeinzelbild eingefügt wird.

8. Verfahren nach vorhergehenden Ansprüche, bei dem

das im kodierten Datenstrom vorhandene vierte Datenpaket (P4) aus dem kodierten Datenstrom in der kodierten Domäne entfernt wird, falls ein dem vierten Datenpaket (P4) nachfolgendes fünftes Datenpaket (P5) in dem zeitlichen Sollabstand (dl) zu dem dritten Datenpaket (P3), das dem vierten Datenpaket (P4) vorhergeht, zur Verfügung steht.

9. Verfahren nach einem der vorhergehenden Ansprüche, bei dem

der kodierte Datenstrom ein Videodatenstrom ist und das aus dem Videodatenstrom entfernte vierte Datenpaket (P4) einen Teil eines Nichtreferenzeinzelbildes (B4) um- fasst.

10. Verfahren nach Anspruch 9, bei dem

für den Fall einer linearen Prädiktionsstruktur lediglich ein Datenpaket (P4) mit einem Teil des letzten Videoeinzelbildes (B4) einer Bildersequenz (Group of Pictures) und für den Fall einer hierarchischen Prädiktionsstruktur ein Datenpaket (P4) mit einem Teil eines Videoeinzelbildes (B4) aus der untersten zeitlichen Ebene aus dem Videodatenstrom entfernt wird.

11. Verfahren nach einem der vorhergehenden Ansprüche, bei dem

bei einem dynamischen Einfügen und Entfernen von Datenpaketen (Ρ2', P4) die Funktion eines adaptiven Jitter-Buffers ausgeführt wird.

12. Verfahren nach einem der Ansprüche 4 bis 11, bei dem

die zeitlichen Sollabstände (dl) eines zweiten Videodatenstroms den zeitlichen Abständen zwischen aufeinander folgenden kodierten Einzelbildern (Bl l, B21, B31) eines ersten Videodatenstroms entsprechen, wobei ein erstes Videoeinzelbild (B52) des künstlich kodierten ersten Datenpakets (Ρ2') des zweiten Videodatenstroms (61) mit einem ersten Videoeinzelbild (B21) eines kodierten Datenpakets des ersten Videodatenstroms (60) zu einem Videoeinzelbild (50) gemischt wird.

13. Verfahren nach Anspruch 12, bei dem

der zweite Videodatenstrom eine niedrigere Abtastfrequenz als der erste Videodaten- ström (60) aufweist, und das künstlich kodierte erste Videoeinzelbild (B52) derart in den zweiten Videodatenstrom (61) mit der gegenüber dem ersten Videodatenstrom (60) niedrigeren Abtastfrequenz eingefügt wird, dass der zweite Videodatenstrom (67) mit dem eingefügten künstlich kodierten ersten Videoeinzelbild (B52) die Abtastfrequenz des ersten Videodatenstroms (66) aufweist.

14. Vorrichtung (CDD), insbesondere zur Durchführung des Verfahrens eines der Ansprüche 1 bis 13, zur Modifikation eines kodierten Datenstroms aus Datenpaketen (PI, P2, P3, P4, P5), von denen jedes Datenpaket (PI, P2, P3, P4, P5) eine Information (Bl, B2, B3, B4, B5) umfasst, wobei die Informationen (Bl, B2, B3, B4, B5) aufeinander folgender Datenpakete (PI, P2, P3, P4, P5) zeitliche Abstände (dl, d3) voneinander aufweisen, die von zeitlichen Sollabständen (dl) abweichen und die auf die zeitlichen Sollabstände (dl) einstellbar sind, umfassend:

- Mittel zum Einfügen eines künstlichen kodierten ersten Datenpakets (Ρ2') zeitlich nach einem zweiten Datenpaket (P2) in den kodierten Datenstrom in der kodierten Domäne, und/oder

- Mittel zum Entfernen eines im kodierten Datenstrom vorhandenen vierten Datenpakets (P4) aus dem kodierten Datenstrom in der kodierten Domäne.

15. Vorrichtung nach Anspruch 14, wobei

der Vorrichtung (CDD) ein Jitter Buffer (JB) vorgeschaltet ist, in den die kodierten Datenpakete (PI, P2, P3, P4, P5) zwischenspeicherbar sind, und die Mittel zum Einfügen des künstlichen kodierten ersten Datenpakets (Ρ2') in den kodierten Datenstrom und/oder zum Entfernen des vierten Datenpakets (P4) aus dem kodierten Da- tenstrom so ausgebildet sind, dass die Anzahl der in dem Jitter Buffer (JB) zwischengespeicherten Datenpakete (PI, P2, P3, P4, P5) einstellbar ist.