WO2006074851A1 - Verfahren und vorrichtung zur verarbeitung von skalierbaren daten - Google Patents

Verfahren und vorrichtung zur verarbeitung von skalierbaren daten Download PDF

Info

Publication number
WO2006074851A1
WO2006074851A1 PCT/EP2005/056872 EP2005056872W WO2006074851A1 WO 2006074851 A1 WO2006074851 A1 WO 2006074851A1 EP 2005056872 W EP2005056872 W EP 2005056872W WO 2006074851 A1 WO2006074851 A1 WO 2006074851A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
stream
order
elements
data
Prior art date
Application number
PCT/EP2005/056872
Other languages
English (en)
French (fr)
Inventor
Peter Amon
Andreas Hutter
Thomas Rathgen
Original Assignee
Siemens Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Aktiengesellschaft filed Critical Siemens Aktiengesellschaft
Priority to US11/795,071 priority Critical patent/US7769790B2/en
Priority to CN200580046390.5A priority patent/CN101099389B/zh
Priority to JP2007549847A priority patent/JP5156387B2/ja
Priority to EP05823796A priority patent/EP1836853A1/de
Publication of WO2006074851A1 publication Critical patent/WO2006074851A1/de

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream

Definitions

  • the invention relates to a method and a device for processing data, wherein basic information and elements with the basic information supplementary information are present.
  • messages are transmitted between sender and receiver.
  • a specific example of communication systems are radio communication systems.
  • messages for example with voice information, picture information, video information, SMS (Short Message Service), MMS
  • the stations may be various subscriber-side radio stations, repeaters, or network-side radio devices such as base stations or radio access points.
  • the subscriber-side radio stations are mobile radio stations.
  • the radiation of the electromagnetic waves takes place at carrier frequencies which are in the frequency band intended for the respective system.
  • Mobile communication systems are often referred to as cellular systems such.
  • B. according to the standard GSM (Global System for Mobile Communication) or UMTS (Universal Mobile Telecommunications System) with a network infrastructure consisting of e.g. B. Base stations, facilities for controlling and controlling the base stations and other network-side facilities formed.
  • GSM Global System for Mobile Communication
  • UMTS Universal Mobile Telecommunications System
  • B. Base stations, facilities for controlling and controlling the base stations and other network-side facilities formed.
  • WLANs wireless local area networks with one usually spatially much more limited radio coverage area.
  • the basic information is transmitted, and in addition the basic information is supplementary information.
  • Scalable data thus has the property that it may be of reduced quality at the receiver by the receiver decoding only the basic information or the basic information and a part of the supplementary information, and not the basic information and all the supplementary information.
  • Data which is sent to several subscribers at the same time can be stored as scalable information at the sender in the best possible quality, i. H . as basic information and supplementary information.
  • adaptation / scaling of the data may be performed such that different portions of the supplemental information are forwarded to the various receivers such that only the supplemental information required by the respective recipient be transmitted . This proves to be advantageous due to the scarce transmission resources, especially in radio communication systems.
  • the invention has for its object to provide a method and an apparatus for processing scalable data.
  • the first data record is stored in a first order: basic information and a plurality of elements with information supplementing the basic information which, when decoded, reduces the quality of the basic information. Increase information.
  • the second data set stores: information about the position of the elements within the first data set.
  • the stored second data set or a record different from the first and second data sets contains information for converting the order of the elements from the first to the second order.
  • the basic information and supplementary information are scalable information.
  • the sending of the basic information preferably takes place before the sending of the supplementary information.
  • the basic information and the supplementary information can be generated by encoding data.
  • These data may be, for example, image information, audio information, video information, which z. B. be encoded with an MPEG standard, voice information, or even a combination of these types of information.
  • Two records are stored, which are separated from each other. Having two data sets means that the data of the first data set and the data of the second data set when reading the data from the data sets are not mixed, as when z. B. a number of data of the second data record follows a number of data of the first data record, whereupon again data of the first data record are available.
  • the two data records can be read without having to read data from the other data record in each case, the data records can be read out separately. This can be realized by using the two datasets as different files are saved.
  • the storage of the two data sets can be done within the same or a different memory.
  • the first and the second data set may contain further contents in addition to the contents described.
  • the second data record contains information about the position of the elements of the first data record. This is therefore metadata, since the data of the second data record describes the data of the first data record.
  • the positions of the elements of the first data set may be relative, i. H . in terms of z. B. to the position of another element, or even absolute.
  • the indication of the position can be realized by a pointer to the j ehus element. Specifying the position of an element allows access to that element without having to read or search other elements of the first data set.
  • Information about the conversion of the order of the elements is available. This information may be stored within the second stored record, or within another record stored differently from the first and second records.
  • the record other than the first and second records may be a record that is the same
  • Device is stored, which also stores the first and the second record.
  • this record may be retrieved by the device storing the first and second records from another device.
  • Elements have a particular order in a particular order and optionally a particular grouping.
  • the second order can z. B. include omitting elements from the first order or a particular grouping of elements.
  • a rearrangement from the first to the second order can be done by omitting elements a particular element, or by a regrouping or regrouping of the elements with a constant or changed order of the elements.
  • the invention may be applied with respect to a plurality of second orders.
  • Device comprising a suitable memory, performed such. B. from a server of the internet.
  • the stored second data record furthermore contains information about how the supplementary information of the elements in each case increases the quality of the basic information.
  • a two-tuple of information can be available for each element with supplementary information: the position indication and the indication of the manner of the quality increase.
  • the storage of such a two-tuple is preferably carried out so that the position information and the indication of the way of increasing the quality can be read out directly one after the other.
  • the supplemental information may increase the quality of the basic information by increasing the temporal resolution and / or increasing the local resolution and / or increasing the signal-to-noise ratio.
  • the information may also include quantitative information in relation to the stated increase quantities.
  • the order of the elements is converted from the first to the second order and subsequently all or some of the elements are shipped.
  • the rearrangement can serve here for the preparation of the shipment.
  • the reorganization and dispatch is preferably carried out by the same institution which is responsible for the invention. is responsible storage, or by a device which has access to a corresponding memory with the storage according to the invention.
  • the information for conversion is determined from information sent by a future recipient of the base information and / or from information about the transmission of messages, in particular the basic information, to a recipient.
  • information is, for. B. an indication regarding quality requirements of the recipient, equipment of the recipient, or possibilities resp. Capabilities of the recipient to process or play data.
  • information about the transmission of messages to a recipient it may, for. B. to the traffic load of a communication network, which is responsible for the transport of the messages to the receiver act, or the nature of the message transmission through this communication network.
  • the inventive device for storing and processing data has means for storing basic information and a plurality of elements with information supplementing the basic information, which upon decoding increase the quality of the basic information, in a first order first Record, and means for storing information about the position of the elements within the first record as a second record. Further, means are provided for storing within the stored second data set or a data set, different from the first and second data sets, information for converting the order of the elements from the first to the second order, or for retrieving information for converting the order of the elements from the first in the second order.
  • the apparatus according to the invention may be, for. B. to act a device which encodes data in the manner according to the invention stores and sends, such. B. a server on the internet.
  • the device according to the invention is particularly suitable for carrying out the method according to the invention, and this may also apply to the refinements and developments. For this purpose, it may have other suitable means.
  • FIG. 1 symbolically the components of scalable data
  • FIG. 2 shows the storage of scalable data in a plurality of data records
  • Figure 3 the structure of an assignment table.
  • an encoder which can store the data encoded by it, prepare it for sending appropriately and send it.
  • a coding of video information is considered.
  • the coder under consideration is a server of the Internet.
  • the encoder encodes the video information so that it is available as scalable data.
  • Various components of scalable data are shown schematically in FIG.
  • the block in the lower left corner of FIG. 1 corresponds to the basic information BASE.
  • the further blocks, indicated by the quantities T, B and S, correspond to the supplementary information.
  • the first blocks to the right correspond to a data rate of 7.5 fps (fps: frames per second), and the second blocks to the right correspond to a data rate of 15.
  • the rightmost T-axis indicates how many frames are sent per unit time fps and the third blocks to the right of a data rate of 30 fps.
  • the upward S-axis indicates how good the local resolution of the respective image is, ie. H . for example, the number of pixels in an image can be up to QCIF (Quarter Coramon Intermediate Format, which corresponds to 176x144 pixels), the second blocks up to CIF (Common Intermediate Format, which is 352x288 pixels). , and the third blocks up 4CIF (4 times Common Intermediate Format, which corresponds to an image size of 704x576 pixels).
  • the backward B-axis indicates the signal-to-noise ratio (SNR) of an image. To the right thus increases the temporal resolution of the video information, up the local resolution and backwards the signal-to-noise ratio.
  • SNR signal-to-noise ratio
  • the invention is also applicable to still images.
  • the T-axis is eliminated.
  • audio information is the use of the invention.
  • the use of a different number of scalability dimensions or other scalability dimensions compared to FIG. 1 with regard to video or other information is also conceivable within the scope of the invention.
  • a receiver receives and decodes the basic information BASE, but this does not have a high quality.
  • a subscriber station must, in order to be able to display the video information, at least decode the basic information BASE.
  • the decoding of each further block of FIG. 1 in addition to the basic information BASE improves the quality of the video information.
  • the blocks with the supplemental information may not be in any order with the basic information BASE are combined. For example, with the scalable extension of H.264 / MPEG-4 AVC, the block T0, S2, B0 can not be decoded before the block TO, Sl, BO.
  • NALUs Network Abstraction L_ayer Units
  • the NALUs are logically assembled into the blocks of Figure 1, each block containing one or more NALUs.
  • the blocks of FIG. 1 may be, for example, the encoded data, a group of pictures (GOP).
  • the NALUs are symbolized by vertical bars within the sections of the MEDIA-STREAM record.
  • the NALUs are sorted by classes so that logically related NALUs belong to a class.
  • the first section of the record MEDIA-STREAM contains the NALUs of the BASE block of FIG. 1.
  • the second section of FIG. 1 contains the NALUs of the block TO, SO, Bl of FIG. 1
  • the third section contains the NALUs of the block T1, SO, Bl 1
  • the fourth section the NALUs of the block TO, Sl, BO of FIG. 1
  • Each section of the MEDIA-STREAM record of FIG. 2 corresponds to a class.
  • a class contains only the NALUs of a local, a temporal and an SNR scaling stage. So z. B. not finding video information about different spatial resolution levels in a class. Other distributions of the NALUs into classes are possible, as well as different order of the classes within the record MEDIA-STREAM.
  • the NALUs of a class are successively stored in the record MEDIA-STREAM, so that when sending the video information via RTP, the number of accesses to the record MEDIA-STREAM remains as low as possible.
  • the NALUs of a class are preferably combined in one RTP packet, as long as the length of the RTP packet allows this.
  • META-STREAM In addition to the data record MEDIA-STREAM, there is another data record META-STREAM.
  • the two data sets MEDIA-STREAM and META-STREAM are preferably stored as two separate files.
  • the META-STREAM record contains metadata the record MEDIA-STREAM and thus serves the description of the record MEDIA-STREAM.
  • the META-STREAM dataset contains pointers to the contents of the MEDIA-STREAM dataset, so that the META-STREAM dataset can be used to determine at which position within the MEDIA-STREAM dataset the NALUs of the different classes, identifiable by the specification of the variables T, S and B are stored.
  • each individual class is referenced. Within the individual classes, not shown in FIG. 2, reference can be made to the individual NALUs of the respective class.
  • a first layer may, for. B. consist of the blocks TO, Sl, BO, Tl, Sl, BO, Tl, SO, BO, TO, SO, Bl, Tl, SO, Bl, TO, Sl, Bl and Tl, Sl, Bl, a second layer the Blocks T2, S0, B0, T2, S0, B1, T2, S1, BO and T2, S1, B1, and a third layer of the blocks T0, S2, B0, T0, S2, B1, T1, S2, B0, T1, S2, B1, T2, S2, B0 and T2, S2, Bl.
  • the layers should be constructed so that each layer is oriented in at least one direction of scaling, i. H . with respect to at least one of the axes T, S or B, must contain a higher resolution level than the next lower layer.
  • the NALUs of a layer can only be decoded if the NALUs of the previous layer have been decoded. Is a mapping rule MAPPING-TABLE between classes resp. NALUs and the layers stored, so when sending the video information, a layer-by-layer transmission instead of a class-wise transmission can take place.
  • all NALUs of a layer are preferably included in an RTP packet, as long as the size of the RTP packet allows it, while in a class-wise dispatch all NALUs of a class are included in an RTP packet, if the size of the RTP package allows this. If this is not possible due to the limited size of the RTP packet, then the NALUs of one layer or one a class split into several consecutive RTP packets.
  • the layered transmission of the scaled video information has the advantage that the scaling operations in the network, which makes the forwarding to the terminal, or also in the terminal are less complex.
  • a terminal can decide by a yes / no decision whether the NALUs of the next higher layer should be decoded or not.
  • the classwise dispatch there are several degrees of freedom with regard to the forwarding or forwarding. For classes to be decoded, for example, according to the class T1, SO, BO, either the class T1, S1, BO or the class T2, S0, B0 could be forwarded or decoded.
  • the conversion rule MAPPING-TABLE between the classes and layers of the video information is advantageously formed from information transmitted by the receiver of the video information. This allows the receiver to tell what quality levels of video information he expects or needs or can handle. Using this information, the encoder forms an assignment of classes to the layers, whereby only the allocations for the individual layers that are meaningful for the receiver are stored. Before the dispatch, the NALUs from the record MEDIA-STREAM can then be packed into RTP packets according to the information of the record META-STREAM and the conversion instruction MAPPING-TABLE and sent to the latter according to the needs of the recipient.
  • the receiver informs that he can not display the resolution 4CIF. If 4CIF corresponds to the third row of the blocks of FIG. 1, at most the blocks of the first two become
  • FIG. 3 shows, by way of example, the structure of the mapping table MAPPING-TABLE stored in the data flow FURTHER META-STREAM for this case of the recipient request:
  • the basic information contains only the block BASE, they make up a separate layer corresponding to the lowest layer.
  • information STRATEGY can be stored via meaningful scaling possibilities. These include z. B. Details of which classes to which types of receivers are to be sent, which classes are to be sent under certain traffic conditions, which classes are to be transmitted in certain transmission modes, such as the low-delay mode. In this way, z. B. stored to be sent to mobile computer classes with a high spatial resolution, while lower mobile phones due to the smaller display lower spatial resolutions are sufficient.
  • the information MAPPING-TABLE and STRATEGY can also be used in combination.
  • the information of the data set FURTHER META-STREAM can be sent by the encoder into the communication network in order to be used there in distributing the video information to terminals.
  • the encoder can send the NALUs of all classes and additionally a conversion rule MAPPING-TABLE.
  • a distribution facility Upon receipt of this information, a distribution facility converts the class-wise transmission into a layer-by-layer transmission and forwards the layers to a particular terminal. In this way, a conversion of the scaling options at various points of the transfer between a server and a terminal can take place.
  • scalable data are stored after a certain first order, in the concrete example according to classes, stored in a first data record. Since a second order, referred to as layers in the concrete example, may prove to be more advantageous for a transmission of the scalable data, information is stored in another data record which makes it possible to convert the first order into the second order.
  • the adaptation path is not determined by the storage of the data and the data can not only scaled / adapted in the manner prescribed by the first order. This flexibility can be maintained or increased by the time the data is packed into packets for shipment. even be sent to distribution stations by sending the conversion instructions.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Verarbeitung von Da- ten, bei dem als erster Datensatz (MEDIA-STREAM) in einer ersten Ordnung gespeichert werden: Basis-Informationen (BASE) und eine Mehrzahl von Elementen (T0,S0,B1, T1,S0,B1, 10 T0,S1,B0, T0,S1,B1, T1,S1,B0) mit die Basis-Informationen (BASE) ergänzenden Informationen, welche bei Dekodierung die Qualität der Basis-Informationen (BASE) erhöhen. Als zweiter Datensatz (META-STREAM) werden gespeichert: Angaben über die Positionen der Elemente (T0,S0,B1, T1,S0,B1, T0,S1,B0, 15 T0,S1,B1, T1,S1,B0) innerhalb des ersten Datensatzes (MEDIA- STREAM). Weiterhin liegen Informationen vor zur Umwandlung der Ordnung der Elemente (T0,S0,B1, T1,S0,B1, T0,S1,B0, T0,S1,B1, T1,S1,B0) von der ersten Ordnung in eine zweite Ordnung. Die Erfindung betrifft weiterhin eine Vorrichtung 20 zur Durchführung des Verfahrens.

Description

Beschreibung
Verfahren und Vorrichtung zur Verarbeitung von skalierbaren Daten
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Verarbeitung von Daten, wobei Basis-Informationen und Elemente mit die Basis-Informationen ergänzenden Informationen vorhanden sind.
In Kommunikationssystemen werden Nachrichten zwischen Sender und Empfänger übertragen . Ein spezielles Beispiel für Kommunikationssysteme sind FunkkommunikationsSysteme . Hier werden Nachrichten, beispielsweise mit Sprachinformation, Bildinfor- mation, Videoinformation, SMS (Short Message Service) , MMS
(Multimedia Messaging Service) oder anderen Daten, mit Hilfe von elektromagnetischen Wellen über eine Funkschnittstelle zwischen sendender und empfangender Station übertragen . Bei den Stationen kann es sich hierbei j e nach konkreter Ausges- taltung des Funkkommunikationssystems um verschiedenartige teilnehmerseitige Funkstationen, Repeater, oder netzseitige Funkeinrichtungen wie Basisstationen oder Funkzugangspunkte handeln . In einem Mobilfunkkommunikationssystem handelt es sich bei zumindest einem Teil der teilnehmerseitigen Funksta- tionen um mobile Funkstationen . Das Abstrahlen der elektromagnetischen Wellen erfolgt mit Trägerfrequenzen, die in dem für das j eweilige System vorgesehenen Frequenzband liegen .
Mobilfunkkommunikationssysteme sind oftmals als zellulare Systeme z . B . nach dem Standard GSM (Global System for Mobile Communication) oder UMTS (Universal Mobile Telecommunications System) mit einer Netzinfrastruktur bestehend z . B . aus Basisstationen, Einrichtungen zur Kontrolle und Steuerung der Basisstationen und weiteren netzseitigen Einrichtungen ausge- bildet . Außer diesen weiträumig organisierten (supralokalen) zellularen, hierarchischen Funknetzen gibt es auch drahtlose lokale Netze (WLANs , Wireless Local Area Networks ) mit einem in der Regel räumlich deutlich stärker begrenzten Funkabdeckungsbereich .
Bei der Übertragung von skalierbaren Informationen wird die Basisinformation übertragen, und zusätzlich die Basisinformation ergänzende Informationen . Skalierbare Daten weisen somit die Eigenschaft auf, dass sie in verminderter Qualität bei dem Empfänger vorliegen können, indem der Empfänger nur die Basisinformation oder die Basisinformation und einen Teil der ergänzenden Informationen dekodiert, und nicht die Basisinformation und alle ergänzenden Informationen . Daten, welche an mehrere Teilnehmer gleichzeitig versendet werden, können als skalierbare Informationen bei dem Sender in bestmöglicher Qualität, d. h . als Basisinformation und ergänzende Informati- onen, vorliegen . Vor der Versendung oder bei der Verteilung der Daten im Netzwerk an die verschiedenen Empfänger kann eine Adaption/Skalierung der Daten derart durchgeführt werden, dass verschiedene Teile der ergänzenden Informationen an die verschiedenen Empfänger weitergeleitet werden, so dass nur die vom j eweiligen Empfänger benötigten ergänzenden Informationen übertragen werden . Dies erweist sich aufgrund der knappen Übertragungsressourcen insbesondere bei Funkkommunikationssystemen als vorteilhaft .
Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren und eine Vorrichtung zur Verarbeitung von skalierbaren Daten aufzuzeigen .
Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1 und durch eine Vorrichtung mit Merkmalen von nebengeordneten Ansprüchen gelöst . Vorteilhafte Ausgestaltungen und Weiterbildungen sind Gegenstand von Unteransprüchen .
Gemäß der Erfindung werden als erster Datensatz in einer ers- ten Ordnung abgespeichert : Basis-Informationen und eine Mehrzahl von Elementen mit die Basis-Informationen ergänzenden Informationen, welche bei Dekodierung die Qualität der Basis- Informationen erhöhen . Als zweiter Datensatz werden gespeichert : Angaben über die Position der Elemente innerhalb des ersten Datensatzes . Der gespeicherte zweite Datensatz oder ein von dem ersten und dem zweiten Datensatz verschiedener Datensatz enthält Informationen zur Umwandlung der Ordnung der Elemente von der ersten in die zweite Ordnung .
Es existieren sowohl Basis-Informationen als auch ergänzende Informationen, welche die Qualität der Basis-Informationen erhöhen, wenn sie zusätzlich zu den Basis-Informationen dekodiert werden . Die Basis-Informationen können auch ohne die ergänzenden Informationen dekodiert und verarbeitet werden, ein Vorliegen der ergänzenden Informationen ist hierzu nicht nötig . Bei den Basis-Informationen und den ergänzenden Infor- mationen handelt es sich um skalierbare Informationen . Bei einer Versendung der skalierbare Informationen findet die Versendung der Basis-Informationen vorzugsweise vor der Versendung der ergänzenden Informationen statt .
Die Basis-Informationen und die ergänzenden Informationen können durch Kodierung von Daten erzeugt werden . Bei diesen Daten kann es sich beispielsweise um Bildinformation, Audioinformation, Videoinformation, welche z . B . mit einem MPEG- Standard kodiert werden, Sprachinformation, oder auch um eine Kombination dieser Informationstypen handeln .
Es werden zwei Datensätze gespeichert, welche voneinander getrennt sind. Ein Vorliegen zweier Datensätze bedeutet, dass die Daten des ersten Datensatzes und die Daten des zweiten Datensatzes beim Auslesen der Daten aus den Datensätzen nicht vermischt sind, wie wenn z . B . auf eine Anzahl an Daten des ersten Datensatzes eine Anzahl an Daten des zweiten Datensatzes folgt, woraufhin wieder Daten des ersten Datensatzes stehen . Somit können die beiden Datensätze ausgelesen werden, ohne dass Daten des j eweils anderen Datensatzes gelesen werden müssen, die Datensätze sind getrennt auslesbar . Dies kann realisiert werden, indem die beiden Datensätze als unter- schiedliche Dateien gespeichert werden . Die Speicherung der beiden Datensätze kann innerhalb des gleichen oder eines unterschiedlichen Speichers erfolgen . Der erste und der zweite Datensatz können neben den beschriebenen Inhalten weitere In- halte aufweisen .
Der zweite Datensatz enthält Angaben über die Position der Elemente des ersten Datensatzes . Es handelt sich somit um Metadaten, da die Daten des zweiten Datensatzes die Daten des ersten Datensatzes beschreiben . Die Positionen der Elemente des ersten Datensatzes können relativ, d. h . in Bezug z . B . auf die Position eines anderen Elementes , oder auch absolut angegeben werden . Die Angabe der Position kann durch einen Zeiger auf das j eweilige Element realisiert werden . Die Angabe der Position eines Elementes ermöglicht den Zugriff auf dieses Element, ohne dass andere Elemente des ersten Datensatzes ausgelesen oder durchsucht werden müssen .
Informationen zur Umwandlung der Ordnung der Elemente sind vorhanden . Diese Informationen können innerhalb des zweiten gespeicherten Datensatzes gespeichert sein, oder innerhalb eines anderen, von dem ersten und dem zweiten Datensatz verschiedenen gespeicherten Datensatz . Bei dem von dem ersten und dem zweiten Datensatz verschiedenen Datensatz kann es sich um einen Datensatz handeln, welcher von der gleichen
Einrichtung gespeichert wird, welche auch den ersten und den zweiten Datensatz speichert . Alternativ kann dieser Datensatz durch die Einrichtung, welche den ersten und den zweiten Datensatz speichert, von einer anderen Einrichtung abgerufen werden .
Elemente weisen in einer bestimmten Ordnung eine bestimmte Reihenfolge und gegebenenfalls eine bestimme Gruppierung auf . Die zweite Ordnung kann z . B . ein Auslassen von Elementen ge- genüber der ersten Ordnung oder eine bestimmte Gruppierung von Elementen beinhalten . Eine Umordnung von der ersten in die zweite Ordnung kann durch ein Weglassen von Elementen ab einem bestimmten Element realisiert werden, oder durch eine Umgruppierung oder Neugruppierung der Elemente bei gleich bleibender oder veränderter Reihenfolge der Elemente .
Die Erfindung kann in Bezug auf eine Mehrzahl von zweiten Ordnungen angewandt werden .
Die beschriebenen Verfahrensschritte, vorzugsweise auch die im folgenden beschriebenen Verfahrensschritte der Ausgestal- tungen und Weiterbildungen, werden vorzugsweise von einer
Einrichtung, welche einen geeigneten Speicher umfasst, durchgeführt, wie z . B . von einem Server des Internets .
In Weiterbildung der Erfindung enthält der gespeicherte zwei- te Datensatz weiterhin Angaben darüber, auf welche Weise die ergänzenden Informationen der Elemente j eweils die Qualität der Basis-Informationen erhöhen . So kann innerhalb des zweiten Datensatzes für j edes Element mit ergänzenden Informationen ein Zweier-Tupel an Informationen vorliegen : die Positi- onsangabe und die Angabe der Weise der Qualitätserhöhung . Die Speicherung eines solchen Zweier-Tupels erfolgt vorzugsweise so, dass die Positionsangabe und die Angabe der Weise der Qualitätserhöhung direkt aufeinander folgend auslesbar ist .
Insbesondere können die ergänzenden Informationen die Qualität der Basis-Informationen durch Erhöhung der zeitlichen Auflösung und/oder Erhöhung der örtlichen Auflösung und/oder Erhöhung des Signal-zu-Rausch-Verhältnisses erhöhen . Die Angaben können auch quantitative Angaben in Bezug auf die ge- nannten Erhöhungs-Größen enthalten .
In Ausgestaltung der Erfindung wird die Ordnung der Elemente von der ersten in die zweite Ordnung umgewandelt und im An- schluss werden alle oder manche der Elemente versendet . Die Umordnung kann hierbei der Vorbereitung der Versendung dienen . Die Umordnung und Versendung wird vorzugsweise von der gleichen Einrichtung durchgeführt, welche für die erfindungs- gemäße Speicherung zuständig ist, oder von einer Einrichtung, welche auf einen entsprechenden Speicher mit der erfindungsgemäßen Speicherung Zugriff hat .
Mit Vorzug werden die Informationen zur Umwandlung ermittelt aus Informationen, welche von einem zukünftigen Empfänger der Basis-Informationen gesendet werden, und/oder aus Informationen über die Übermittlung von Nachrichten, insbesondere der Basis-Informationen, an einen Empfänger . Bei von einem zu- künftigen Empfänger gesendeten Informationen handelt es sich z . B . um eine Angabe bezüglich Qualitätsanforderungen des Empfängers , Ausstattung des Empfängers , oder Möglichkeiten bzw . Fähigkeiten des Empfängers zur Verarbeitung oder zum Ausspielen von Daten . Bei Informationen über die Übermittlung von Nachrichten an einen Empfänger kann es sich z . B . um die Verkehrsbelastung eines Kommunikationsnetzes , welches für den Transport der Nachrichten an den Empfänger zuständig ist, handeln, oder um die Art der Nachrichtenübertragung durch dieses Kommunikationsnetz .
Die erfindungsgemäße Vorrichtung zum Speichern und Verarbeiten von Daten weist Mittel auf zum Speichern von Basis- Informationen und eine Mehrzahl von Elementen mit die Basis- Informationen ergänzenden Informationen, welche bei Dekodie- rung die Qualität der Basis-Informationen erhöhen, in einer ersten Ordnung als erster Datensatz , sowie Mittel zum Speichern von Angaben über die Position der Elemente innerhalb des ersten Datensatzes als zweiter Datensatz . Weiterhin sind Mittel vorhanden zum Speichern innerhalb des gespeicherten zweiten Datensatzes oder eines von dem ersten und dem zweiten Datensatz verschiedenen Datensatzes von Informationen zur Umwandlung der Ordnung der Elemente von der ersten in die zweite Ordnung, oder zum Abrufen von Informationen zur Umwandlung der Ordnung der Elemente von der ersten in die zweite Ord- nung . Bei der erfindungsgemäßen Vorrichtung kann es sich z . B . um eine Einrichtung handeln, welche Daten kodiert, in der erfindungsgemäßen Weise speichert und versendet, wie z . B . ein Server im Internet . Die erfindungsgemäße Vorrichtung eignet sich insbesondere zur Durchführung des erfindungsgemäßen Verfahrens , wobei dies auch auf die Ausgestaltungen und Weiterbildungen zutreffen kann . Hierzu kann sie weitere geeignete Mittel aufweisen .
Im folgenden wird die Erfindung anhand eines Ausführungsbeispiels näher erläutert . Dabei zeigen :
Figur 1 : symbolisch die Bestandteile von skalierbaren Daten,
Figur 2 : die Speicherung von skalierbaren Daten in mehreren Datensätzen,
Figur 3 : den Aufbau einer Zuordnungstabelle .
Im folgenden werden Verfahrensschritte erläutert, welche von einem Kodierer durchgeführt werden, welcher die von ihm kodierten Daten speichern, zur Versendung geeignet aufbereiten und versenden kann . Beispielhaft wird eine Kodierung von Vi- deoinformationen betrachtet . Bei dem betrachteten Kodierer handelt es sich beispielsweise um einen Server des Internets . Der Kodierer nimmt eine Kodierung der Videoinformationen vor, so dass diese als skalierbare Daten vorliegen . Verschiedene Bestandteile von skalierbaren Daten sind schematisch in Figur 1 dargestellt . Der Block in der linken unteren Ecke der Figur 1 entspricht der Basisinformation BASE . Die weiteren Blöcke, durch die Größen T, B und S indiziert, entsprechen den ergänzenden Informationen . Die nach rechts verlaufende T-Achse gibt an, wie viele Bilder pro Zeiteinheit gesendet werden, beispielsweise können die ersten Blöcke nach rechts einer Datenrate von 7 , 5 fps (fps : frames per second) entsprechen, die zweiten Blöcke nach rechts einer Datenrate von 15 fps und die dritten Blöcke nach rechts einer Datenrate von 30 fps . Die nach oben verlaufende S-Achse gibt an, wie gut die örtliche Auflösung des j eweiligen Bildes ist, d. h . wie viele Pixel ein Bild enthält, beispielsweise können die ersten Blöcke nach oben QCIF (Quarter Coramon Intermediate Format, dies entspricht einer Bildgröße mit 176x144 Bildpunkten) entsprechen, die zweiten Blöcke nach oben CIF (Common Intermediate Format, dies entspricht einer Bildgröße mit 352x288 Bildpunkten) , und die dritten Blöcke nach oben 4CIF (4 times Common Intermedia- te Format, dies entspricht einer Bildgröße mit 704x576 Bildpunkten) . Die nach hinten verlaufende B-Achse gibt das Sig- nal-zu-Rausch-Verhältnis (SNR: Signal to Noise Ratio) eines Bildes an . Nach rechts nimmt somit die zeitliche Auflösung der Videoinformationen zu, nach oben die örtliche Auflösung und nach hinten das Signal-zu-Rausch-Verhältnis . Jeder Block der Figur 1 enthält die Daten, welche für die Verbesserung der visuellen Qualität um eine Stufe in einer Richtung der drei Skalierbarkeitsdimensionen benötigt werden .
Die Erfindung ist auch auf Standbilder anwendbar . In diesem Fall existieren anstelle der drei Skalierbarkeitsdimensionen der Figur 1 lediglich zwei Dimensionen, die T-Achse entfällt . Auch für Audio-Informationen eignet sich der Einsatz der Erfindung . Auch die Verwendung einer anderen Anzahl an Skalier- barkeitsdimensionen oder anderer Skalierbarkeitsdimensionen gegenüber der Figur 1 in Bezug auf Video- oder andere Informationen ist im Rahmen der Erfindung denkbar .
Grundsätzlich reicht es , wenn ein Empfänger die Basisinforma- tion BASE empfängt und dekodiert, diese weist j edoch keine hohe Qualität auf . Eine Teilnehmerstation muss , um die Videoinformationen anzeigen zu können, zumindest die Basisinformation BASE dekodieren . Die Dekodierung eines j eden weiteren Blockes der Figur 1 zusätzlich zu der Basisinformation BASE verbessert die Qualität der Videoinformation . Abhängig von dem verwendeten Kodierverfahren können die Blöcke mit den ergänzenden Informationen nicht in beliebiger Reihenfolge mit der Basisinformation BASE kombiniert werden . So kann bei der skalierbaren Erweiterung von H .264/MPEG-4 AVC beispielsweise der Block T0 , S2 , B0 nicht vor dem Block TO , Sl , BO dekodiert werden .
Vom Köder werden die Videoinformationen gemäß einer skalierbaren Erweiterung des Standards H .264/MPEG-4 AVC, beschrieben z . B . in
Heiko Schwarz , Detlev Marpe, und Thomas Wiegand: MCTF and Scalability Extension of H .264/AVC, Proc . PCS ' 04 , San
Francisco, CA, USA, December 15. -17. 2004 in Form von NALUs (Network Abstraction L_ayer Units ) ausgegeben . Die NALUs werden logisch zu den Blöcken der Figur 1 zusammengesetzt, wobei j eder Block eine oder mehrere NALUs ent- halten kann . Bei den Blöcken der Figur 1 kann es sich beispielsweise um die kodierten Daten eine Gruppe von Bildern (Group of Pictures , GOP) handeln .
Für das Abspeichern der kodierten Daten sind entsprechende Datei-Formate definiert, wie z . B . MPEG-4 Part 15 AVC File Format, beschrieben z . B . in
ISO/IEC 14496-15 : 2004 , Information technology - Coding of audio-visual obj ects - Part 15 : Advanced Video Coding (AVC) file format, 2004. Dieses Format legt fest, dass die Bits der Bilder direkt ohne Start- und Stop-Kodes , welche als Markierung zum Erkennen von Anfang und Ende eines Paketes bei der Übertragung der Videoinformationen verwendet werden, in der Datei abgespeichert werden . Ein zusätzlicher Datensatz , der so genannte Hint- Track, enthält Informationen, wie die Videoinformationen für die Versendung in RTP-Pakete (RTP : Real-Time Transport Proto- col) verpackt werden und anschließend versendet werden können . Bei RTP handelt es sich um das zur Versendung der Videoinformationen verwendete Protokoll . In den gespeicherten Vi- deoinformationen sind Definitionen der so genannten Random- Access-Recovery-Points enthalten, welche den wahlfreien Zugriff auf die Videoinformationen ermöglichen . Figur 2 zeigt die Speicherung der Videoinformationen gemäß der Erfindung . Es existiert ein erster gespeicherter Datensatz MEDIA-STREAM, welcher die NALUs enthält . Die NALUs sind durch vertikale Balken innerhalb der Abschnitte des Datensatzes MEDIA-STREAM symbolisiert . Innerhalb des Datensatzes MEDIA-STREAM erfolgt eine Sortierung der NALUs nach Klassen, so dass logisch zusammengehörige NALUs einer Klasse angehören . So enthält der erste Abschnitt des Datensatzes MEDIA- STREAM die NALUs des BASE-Blocks der Figur 1. Der zweite Abschnitt des enthält die NALUs des Blockes TO , SO , Bl der Figur 1 , der dritte Abschnitt die NALUs des Blockes Tl , SO , Bl der Figur 1 , der vierte Abschnitt die NALUs des Blockes TO , Sl , BO der Figur 1 , der fünfte Abschnitt die NALUs des Blockes TO , Sl , Bl der Figur 1 , und der sechste Abschnitt die NALUs des Blockes Tl , Sl , BO der Figur 1. Jeder Block der Figur 1 bzw . j eder Abschnitt des Datensatzes MEDIA-STREAM der Figur 2 entspricht einer Klasse . In dem beschriebenen Beispiel enthält eine Klasse nur die NALUs einer örtlichen, einer zeitlichen und einer SNR-Skalierungsstufe . So sind z . B . nicht Videoinformationen zu verschiedenen örtlichen Auflösungsstufen in einer Klasse zu finden . Es sind auch andere Aufteilungen der NALUs in Klassen möglich, sowie andere Reihenfolge der Klassen innerhalb des Datensatzes MEDIA-STREAM.
Die NALUs einer Klasse werden nacheinander in dem Datensatz MEDIA-STREAM gespeichert, so dass beim Versenden der Videoinformationen über RTP die Anzahl der Zugriffe auf den Datensatz MEDIA-STREAM möglichst gering bleibt . Bei der Versendung der NALUs über RTP werden die NALUs einer Klasse vorzugsweise in einem RTP-Paket zusammengefasst, sofern die Länge des RTP- Paketes dies zulässt .
Neben dem Datensatz MEDIA-STREAM existiert ein weiterer Da- tensatz META-STREAM. Die beiden Datensätze MEDIA-STREAM und META-STREAM werden vorzugsweise als zwei getrennte Dateien gespeichert . Der Datensatz META-STREAM enthält Metadaten zu dem Datensatz MEDIA-STREAM und dient somit der Beschreibung des Datensatzes MEDIA-STREAM. Der Datensatz META-STREAM beinhaltet Zeiger auf die Inhalte des Datensatzes MEDIA-STREAM, so dass dem Datensatz META-STREAM entnommen werden kann, an welcher Position innerhalb des Datensatzes MEDIA-STREAM die NALUs der verschiedenen Klassen, identifizierbar durch die Angabe der Größen T, S und B, gespeichert sind. Wie in Figur 2 dargestellt, wird auf j ede einzelne Klasse referenziert . Innerhalb der einzelnen Klassen kann, in Figur 2 nicht darge- stellt, auf die einzelnen NALUs der j eweiligen Klasse referenziert werden . So kann beispielsweise bei der Angabe der Position der Klasse TO , SO , Bl innerhalb des Datensatzes META- STREAM die Angabe erfolgen, an welcher Position innerhalb des Datensatzes MEDIA-STREAM sich die drei NALUs dieser Klasse j eweils befinden . Auf diese Weise kann unter Verwendung des Datensatzes META-STREAM hierarchisch auf die Elemente bzw . NALUs des Datensatzes MEDIA-STREAM zugegriffen werden .
Insbesondere ist es zum Auffinden der NALUs einer bestimmten Klasse oder einer NALU einer bestimmten Klasse nicht nötig, den Datensatz MEDIA-STREAM zu durchsuchen bzw . dessen Inhalt auszulesen . Vielmehr ermöglicht der beschreibende Datensatz META-STREAM den Zugriff auf die einzelnen Klassen .
Neben dem Datensatz META-STREAM können weitere zusätzliche
Datensätze verwendet werden, welche den Umgang mit dem Datensatz MEDIA-STREAM erleichtern, in Figur 2 als weiterer Datensatz FURTHER META-STREAM symbolisiert . Alternativ können die im folgenden beschriebenen Informationen des zusätzlichen Da- tensatzes FURTHER META-STREAM auch in den Datensatz META- STREAM aufgenommen werden .
Vorteilhaft ist die Speicherung von Zuordnungsvorschriften MAPPING-TABLE der Klassen zu größeren Gruppen, im folgenden als Schichten bezeichnet . Eine erste Schicht kann z . B . aus den Blöcken TO , Sl , BO , Tl , Sl , BO , Tl , SO , BO , TO , SO , Bl , Tl , SO , Bl , TO , Sl , Bl und Tl , Sl , Bl bestehen, eine zweite Schicht aus den Blöcken T2 , S0 , B0 , T2 , S0 , Bl , T2 , S1 , BO und T2 , S1 , B1 , und eine dritte Schicht aus den Blöcken T0 , S2 , B0 , T0 , S2 , Bl , Tl , S2 , B0 , Tl , S2 , Bl , T2 , S2 , B0 und T2 , S2 , Bl . Die Schichten sollten so konstruiert sein, dass j ede Schicht in mindestens einer Ska- lierungsrichtung, d. h . in Bezug auf zumindest eine der Achsen T, S oder B, eine höhere Auflösungsstufe enthalten muss als die nächst niedrigere Schicht . Die NALUs einer Schicht können nur dann dekodiert werden, wenn die NALUs der vorhergehenden Schicht dekodiert wurden . Ist eine Mapping-Vorschrift MAPPING-TABLE zwischen den Klassen bzw . NALUs und den Schichten gespeichert, so kann bei Versendung der Videoinformationen eine schichtweise Versendung anstelle einer klassenweisen Versendung erfolgen . Bei einer schichtweisen RTP-Versendung sind alle NALUs einer Schicht vorzugsweise in einem RTP-Paket enthalten, sofern die Größe des RTP-Pakets dies zulässt, während bei einer klassenweisen Versendung alle NALUs einer Klasse in einem RTP-Paket enthalten sind, sofern die Größe des RTP-Pakets dies zulässt . Ist dies aufgrund der beschränkten Größe des RTP-Pakets nicht möglich, so werden die NALUs einer Schicht bzw . einer Klasse auf mehrere aufeinander folgende RTP-Pakete aufgeteilt .
Die schichtenweise Übertragung der skalierten Videoinformation hat den Vorteil, dass die Skalierungsoperationen im Netz- werk, welches die Weiterleitung zum Endgerät durchführt, oder auch im Endgerät weniger komplex sind. So kann mit einer Ja/Nein Entscheidung in einer Verteileinrichtung entschieden werden, ob die NALUs der nächsthöheren Schicht an ein bestimmtes Endgerät weitergeleitet werden soll oder nicht, bzw . ein Endgerät kann durch eine Ja/Nein Entscheidung entscheiden, ob die NALUs der nächsthöheren Schicht dekodiert werden sollen oder nicht . Bei der klassenweisen Versendung hingegen bestehen mehrere Freiheitsgrade hinsichtlich der weiterzuleitenden bzw . zu dekodierenden Klassen, so könnte beispielswei- se nach der Klasse Tl , SO , BO entweder die Klasse Tl , Sl , BO oder die Klasse T2 , S0 , B0 weitergeleitet oder dekodiert werden . Dies weist den Vorteil größerer Flexibilität auf . Die Konvertierungsvorschrift MAPPING-TABLE zwischen den Klassen und Schichten der Videoinformationen wird vorteilhafterweise aus Informationen, welche vom Empfänger der Videoinfor- mationen ausgesendet werden, gebildet . So kann der Empfänger mitteilen, welche Qualitätsstufen der Videoinformationen er erwartet oder benötigt oder verarbeiten kann . Der Kodierer bildet unter Verwendung dieser Angaben eine Zuordnung von Klassen zur Schichten, wobei nur die Zuordnungen für diej eni- gen Schichten gespeichert werden, welche für den Empfänger sinnvoll sind. Vor der Versendung können dann die NALUs aus dem Datensatz MEDIA-STREAM gemäß den Informationen des Datensatzes META-STREAM und der Konvertierungsvorschrift MAPPING- TABLE in RTP-Pakete gepackt und gemäß den Bedürfnissen des Empfängers an diesen versendet werden .
Es wird im folgenden ein konkretes Beispiel betrachtet . Der Empfänger teilt mit, dass er die Auflösung 4CIF nicht anzeigen kann . Entspricht 4CIF der dritten Zeile der Blöcke der Figur 1 , so werden höchstens die Blöcke der ersten beiden
Zeilen an den Empfänger gesendet . Figur 3 zeigt beispielhaft den Aufbau der in dem Datenfluss FURTHER META-STREAM gespeicherten Zuordnungstabelle MAPPING-TABLE für diesen Fall der Empfängeranforderung : die Basisinformationen enthalten ledig- lieh den Block BASE, sie machen eine eigene Schicht aus , entsprechend der untersten Schicht . Die erste Schicht LAYER 1 besteht aus den SNR-Updates der Basisinformation BASE (B=I ) und den Updates auf die nächste zeitliche Auflösung (T=I ) . Die zweite Schicht LAYER 2 beinhaltet alle Updates gegenüber der ersten Schicht LAYER 1 auf die nächste örtliche Auflösung (S=I ) . Die dritte Schicht LAYER 3 beinhaltet alle Updates gegenüber der zweiten Schicht LAYER 2 auf die volle temporale Auflösung (T=I ) .
Weiterhin können in dem Datensatz FURTHER META-STREAM Informationen STRATEGY über sinnvolle Skalierungsmöglichkeiten gespeichert sein . Hierunter fallen z . B . Angaben, welche Klassen an welche Arten von Empfängern zu senden sind, welche Klassen unter bestimmten Verkehrsbedingungen gesendet werden sollen, welche Klassen bei bestimmten Übertragungsmodi, wie dem low- delay-modus , gesendet werden sollen . Auf diese Weise kann z . B . gespeichert werden, dass an mobile Computer Klassen mit einer hohen örtlichen Auflösung zu senden sind, während bei mobilen Telefonen aufgrund des kleineren Displays geringere örtliche Auflösungen ausreichend sind. Die Informationen MAPPING-TABLE und STRATEGY können auch in Kombination ange- wandt werden .
Die Informationen des Datensatzes FURTHER META-STREAM können von dem Kodierer in das Kommunikationsnetz gesendet werden, um dort bei der Verteilung der Videoinformationen an Endgerä- te Anwendung zu finden . So kann beispielsweise der Kodierer die NALUs aller Klassen und zusätzlich eine Konvertierungsvorschrift MAPPING-TABLE versenden . Auf den Empfang dieser Informationen hin wandelt eine Verteileinrichtung die klassenweise Übertragung in eine schichtenweise Übertragung um und leitet die Schichten an ein bestimmtes Endgerät weiter . Auf diese Weise kann eine Konvertierung der Skalierungsmöglichkeiten an verschiedenen Stellen der Übertragung zwischen einem Server und einem Endgerät stattfinden .
Gemäß der Erfindung werden skalierbare Daten nach einer bestimmten ersten Ordnung, im konkreten Beispiel nach Klassen geordnet, in einem ersten Datensatz abgespeichert . Da sich für eine Übertragung der skalierbaren Daten unter Umständen eine zweite Ordnung, im konkreten Beispiel als Schichten be- zeichnet, als vorteilhafter erweisen kann, werden in einem anderen Datensatz Informationen gespeichert, welche eine Umwandlung der ersten Ordnung in die zweite Ordnung ermöglichen . Dies ermöglicht eine hohe Flexibilität in Bezug auf die Versendung skalierbarer Daten, eine flexible Anpassung an An- forderungen im Netzwerk oder an die Möglichkeiten des Endgerätes ist möglich . Der Adaptionspfad wird nicht durch die Speicherung der Daten festgelegt und die Daten können nicht nur in der durch die erste Ordnung vorgegebenen Weise skaliert/adaptiert werden . Diese Flexibilität kann bis zum Zeitpunkt, zu welchem die Daten für die Versendung in Pakete gepackt werden, aufrecht erhalten werden bzw . durch Versendung der Konvertierungsvorschrift sogar zu Verteilerstationen weitergegeben werden .

Claims

Patentansprüche
1. Verfahren zur Verarbeitung von Daten, bei dem
• als erster Datensatz (MEDIA-STREAM) in einer ersten Ord- nung gespeichert werden : Basis-Informationen (BASE) und eine Mehrzahl von Elementen (TO , SO , Bl , Tl , SO , Bl , TO , Sl , BO , TO , Sl , Bl , Tl , Sl , BO ) mit die Basis- Informationen (BASE) ergänzenden Informationen, welche bei Dekodierung die Qualität der Basis-Informationen (BASE) erhöhen, und
• als zweiter Datensatz (META-STREAM) gespeichert werden : Angaben über die Positionen der Elemente (TO , SO , Bl ,
Tl , SO , Bl , TO , Sl , BO , TO , Sl , Bl , Tl , Sl , BO ) innerhalb des ersten Datensatzes (MEDIA-STREAM) , und • der gespeicherte zweite Datensatz (META-STREAM) oder ein von dem ersten (MEDIA-STREAM) und dem zweiten (META- STREAM) Datensatz verschiedener Datensatz (FURTHER META- STREAM) Informationen (MAPPING-TABLE, STRATEGY) enthält zur Umwandlung der Ordnung der Elemente (TO , SO , Bl , Tl , SO , Bl , TO , Sl , BO , TO , Sl , Bl , Tl , Sl , BO ) von der ersten Ordnung in eine zweite Ordnung .
2. Verfahren nach Anspruch 1 , bei dem der gespeicherte zweite Datensatz (META-STREAM) weiterhin Angaben darüber enthält, auf welche Weise die ergänzenden Informationen der Elemente (TO , SO , Bl , Tl , SO , Bl , TO , Sl , BO , TO , Sl , Bl , Tl , Sl , BO ) j eweils die Qualität der Basis- Informationen (BASE) erhöhen .
3. Verfahren nach Anspruch 1 oder 2 , bei dem die ergänzenden Informationen die Qualität der Basis- Informationen (BASE) durch Erhöhung der zeitlichen Auflösung (T) und/oder Erhöhung der örtlichen Auflösung (S) und/oder Erhöhung des Signal-zu-Rausch-Verhältnisses (SNR) erhöhen .
4. Verfahren nach einem der Ansprüche 1 bis 3, bei dem die zweite Ordnung ein Auslassen von Elementen (TO , SO , Bl , Tl , SO , Bl , TO , Sl , BO , TO , Sl , Bl , Tl , Sl , BO ) gegenüber der ersten Ordnung beinhaltet .
5. Verfahren nach einem der Ansprüche 1 bis 4 , bei dem die zweite Ordnung ein Gruppieren von Elementen
(TO , SO , Bl , Tl , SO , Bl , TO , Sl , BO , TO , Sl , Bl , Tl , Sl , BO ) beinhaltet .
6. Verfahren nach einem der Ansprüche 1 bis 5, bei dem die Ordnung der Elemente (TO , SO , Bl , Tl , SO , Bl , TO , Sl , BO , TO , Sl , Bl , Tl , Sl , BO ) von der ersten in die zweite Ordnung umgewandelt wird und Elemente (TO , SO , Bl , Tl , SO , Bl , TO , Sl , BO , TO , Sl , Bl , Tl , Sl , BO ) im Anschluss versendet werden .
7. Verfahren nach einem der Ansprüche 1 bis 6, bei dem die Informationen (MAPPING-TABLE, STRATEGY) zur Umwand- lung ermittelt werden aus :
Informationen gesendet von einem zukünftigen Empfänger der Basis-Informationen (BASE) , und/oder
Informationen über die Übermittlung von Nachrichten an einen Empfänger .
8. Vorrichtung zum Speichern und Verarbeiten von Daten, mit
• Mitteln zum Speichern als erster Datensatz (MEDIA- STREAM) in einer ersten Ordnung : Basis-Informationen (BASE) und eine Mehrzahl von Elementen (TO , SO , Bl , Tl , SO , Bl , TO , Sl , BO , TO , Sl , Bl , Tl , Sl , BO ) mit die Basis- Informationen (BASE) ergänzenden Informationen, welche bei Dekodierung die Qualität der Basis-Informationen (BASE) erhöhen, und
• Mitteln zum Speichern als zweiter Datensatz (META- STREAM) : Angaben über die Positionen der Elemente
(TO , SO , Bl , Tl , SO , Bl , TO , Sl , BO , TO , Sl , Bl , Tl , Sl , BO ) innerhalb des ersten Datensatzes (MEDIA-STREAM) , und Mitteln zum Speichern innerhalb des gespeicherten zweiten Datensatzes (META-STREAM) oder eines von dem ersten (MEDIA-STREAM) und dem zweiten (META-STREAM) Datensatz verschiedenen Datensatzes (FURTHER META-STREAM) von In- formationen (MAPPING-TABLE, STRATEGY) zur Umwandlung der Ordnung der Elemente (TO , SO , Bl , Tl , SO , Bl , TO , Sl , BO , TO , Sl , Bl , Tl , Sl , BO ) von der ersten Ordnung in eine zweite Ordnung, oder zum Abrufen von Informationen (MAPPING- TABLE, STRATEGY) zur Umwandlung der Ordnung der Elemente (TO , SO , Bl , Tl , SO , Bl , TO , Sl , BO , TO , Sl , Bl , Tl , Sl , BO ) von der ersten Ordnung in eine zweite Ordnung .
PCT/EP2005/056872 2005-01-11 2005-12-16 Verfahren und vorrichtung zur verarbeitung von skalierbaren daten WO2006074851A1 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US11/795,071 US7769790B2 (en) 2005-01-11 2005-12-16 Method and device for processing scalable data
CN200580046390.5A CN101099389B (zh) 2005-01-11 2005-12-16 用于处理可缩放数据的方法和装置
JP2007549847A JP5156387B2 (ja) 2005-01-11 2005-12-16 スケーラブルデータの処理方法および処理装置
EP05823796A EP1836853A1 (de) 2005-01-11 2005-12-16 Verfahren und vorrichtung zur verarbeitung von skalierbaren daten

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102005001287A DE102005001287A1 (de) 2005-01-11 2005-01-11 Verfahren und Vorrichtung zur Verarbeitung von skalierbaren Daten
DE102005001287.6 2005-01-11

Publications (1)

Publication Number Publication Date
WO2006074851A1 true WO2006074851A1 (de) 2006-07-20

Family

ID=35810327

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2005/056872 WO2006074851A1 (de) 2005-01-11 2005-12-16 Verfahren und vorrichtung zur verarbeitung von skalierbaren daten

Country Status (6)

Country Link
US (1) US7769790B2 (de)
EP (1) EP1836853A1 (de)
JP (1) JP5156387B2 (de)
CN (1) CN101099389B (de)
DE (1) DE102005001287A1 (de)
WO (1) WO2006074851A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4874343B2 (ja) * 2006-01-11 2012-02-15 ノキア コーポレイション スケーラブルビデオ符号化における、下位互換性のあるピクチャの集約

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008543142A (ja) * 2005-05-24 2008-11-27 ノキア コーポレイション デジタル放送における階層的な送受信のための方法および装置
US20070014346A1 (en) * 2005-07-13 2007-01-18 Nokia Corporation Coding dependency indication in scalable video coding
US7725593B2 (en) * 2005-07-15 2010-05-25 Sony Corporation Scalable video coding (SVC) file format
US20070022215A1 (en) * 2005-07-19 2007-01-25 Singer David W Method and apparatus for media data transmission
US20090141809A1 (en) * 2007-12-04 2009-06-04 Sony Corporation And Sony Electronics Inc. Extension to the AVC standard to support the encoding and storage of high resolution digital still pictures in parallel with video
US8170097B2 (en) 2007-12-04 2012-05-01 Sony Corporation Extension to the AVC standard to support the encoding and storage of high resolution digital still pictures in series with video
US8270495B2 (en) * 2009-02-13 2012-09-18 Cisco Technology, Inc. Reduced bandwidth off-loading of entropy coding/decoding
US20100250763A1 (en) * 2009-03-31 2010-09-30 Nokia Corporation Method and Apparatus for Transmitting Information on Operation Points
US20100250764A1 (en) * 2009-03-31 2010-09-30 Nokia Corporation Method and Apparatus for Signaling Layer Information of Scalable Media Data
US8930562B2 (en) * 2010-07-20 2015-01-06 Qualcomm Incorporated Arranging sub-track fragments for streaming video data
US10528262B1 (en) * 2012-07-26 2020-01-07 EMC IP Holding Company LLC Replication-based federation of scalable data across multiple sites
US10284858B2 (en) * 2013-10-15 2019-05-07 Qualcomm Incorporated Support of multi-mode extraction for multi-layer video codecs
WO2017065128A1 (ja) 2015-10-13 2017-04-20 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
KR20170114360A (ko) * 2016-04-04 2017-10-16 엘에스산전 주식회사 Ｎ－스크린 기능을 지원하는 원격 관리 시스템

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7639739B2 (en) * 2001-11-02 2009-12-29 The Regents Of The University Of California Technique to enable efficient adaptive streaming and transcoding of video and other signals
US20070201811A1 (en) * 2003-12-22 2007-08-30 Koninklijke Philips Electronics N.V. Disc Allocation/Scheduling For Layered Video
US7075460B2 (en) * 2004-02-13 2006-07-11 Hewlett-Packard Development Company, L.P. Methods for scaling encoded data without requiring knowledge of the encoding scheme
US7958369B2 (en) * 2004-10-22 2011-06-07 Hewlett-Packard Development Company, L.P. Systems and methods for multiple level control of access of privileges to protected media content

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FRANCOIS E.; VIERON J.; BOISSON G.: "MPEG SVC: why a new video standard", BROADBAND EUROPE, 8 December 2004 (2004-12-08), pages 1 - 5, XP002368921, Retrieved from the Internet <URL:https://medicongress.be/UploadBroad/Session%2010/Paper%2010-02.pdf> [retrieved on 20060215] *
MUKHERJEE D ET AL: "Structured Scalable Meta-formats (SSM) version 1.0 for content agnostic Digital Item Adaptation", INTERNATIONAL ORGANISATION FOR STANDARDISATION, December 2002 (2002-12-01), pages 1 - 101, XP002321533 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4874343B2 (ja) * 2006-01-11 2012-02-15 ノキア コーポレイション スケーラブルビデオ符号化における、下位互換性のあるピクチャの集約
US8767818B2 (en) 2006-01-11 2014-07-01 Nokia Corporation Backward-compatible aggregation of pictures in scalable video coding

Also Published As

Publication number Publication date
DE102005001287A1 (de) 2006-07-20
JP2008527814A (ja) 2008-07-24
US7769790B2 (en) 2010-08-03
CN101099389A (zh) 2008-01-02
JP5156387B2 (ja) 2013-03-06
EP1836853A1 (de) 2007-09-26
US20080082482A1 (en) 2008-04-03
CN101099389B (zh) 2015-06-17

Similar Documents

Publication Publication Date Title
EP1836853A1 (de) Verfahren und vorrichtung zur verarbeitung von skalierbaren daten
DE4205896B4 (de) Anordnung zur rangmäßigen Aufteilung von Daten z. B. für eine Videosignal-Verarbeitungseinrichtung
DE60311231T2 (de) Verfahren zum ermöglichen von direktzugriff und spleissen in einem verschlüsselten videostrom
DE69333530T2 (de) Informationsübertragungssystem zur erhöhung der effektiven informationsübermittlungsrate
KR102304687B1 (ko) 정보 처리 장치 및 방법
DE60009159T2 (de) Video kompression für mehrfachsendeverteilungen unter verwendung von räumlicher skalierbarkeit und gleichwellenfunkkodierung
DE69629078T2 (de) Bildübertragungssystem und -verfahren
KR101333200B1 (ko) 소스 영상과 결합한 비디오 콘텐츠를 통신 네트워크의텔레비전에 제공하기 위한 시스템 및 방법
DE69908562T2 (de) Bewegungsvektorenextrapolation zur transkodierung von videosequenzen
EP1836852B1 (de) Verfahren und vorrichtungen zur übertragung von skalierbaren daten
DE60315821T2 (de) Fahrzeugnavigationssystem
DE10392598T5 (de) Unterstützung von fortschrittlichen Codierungsformaten in Mediendateien
DE10392586T5 (de) Allgemeine Anpassungsschicht für JVT-Video
EP2198610A2 (de) Verfahren und vorrichtung zum erstellen eines kodierten ausgangsvideostroms aus mindestens zwei kodierten eingangsvideoströmen, sowie verwendung der vorrichtung und kodierter eingangsvideostrom
DE10043188A1 (de) Fehlerkorrekturverfahren für Videokompressionskodierung unter Verwendung von mehreren Referenzpuffern und einem Nachrichtenkanal
DE60008233T2 (de) Übertragung von profilierten mediadateien an kunden über ein netzwerk
DE10392281T5 (de) Verfahren und Vorrichtung zum Untersützten von AVC in MP4
DE112017006610T5 (de) Bildverarbeitungsvorrichtung und Verfahren
EP1967007A2 (de) Verfahren und vorrichtung zum generieren eines markierten datenstroms, verfahren und vorrichtung zum einfügen eines wasserzeichens in einen markierten datenstrom und markierter datenstrom
EP1869889A1 (de) Adaptive interpolation bei der bild- oder videokodierung
DE10392284T5 (de) Verfahren und Vorrichtung zum Unterstützen von AVC in MP4
DE10249788A1 (de) Schaltungsanordnung und Verfahren zum digitalen Fernsehempfang in mobilen Fersehempfängern
EP1999964A1 (de) Multi-standard videodekodiermittel für mobilfunk
Ortiz et al. Interactive transmission of JPEG2000 images using web proxy caching
EP2204995A1 (de) Verfahren und Vorrichtung zum geräteunabhängigen Zugriff auf Multimediainhalte sowie die Vorrichtung umfassendes System

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2005823796

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2007549847

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 11795071

Country of ref document: US

Ref document number: 200580046390.5

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

WWP Wipo information: published in national office

Ref document number: 2005823796

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 11795071

Country of ref document: US