WO2008006806A2 - Skalierbare videokodierung - Google Patents

Skalierbare videokodierung Download PDF

Info

Publication number
WO2008006806A2
WO2008006806A2 PCT/EP2007/056982 EP2007056982W WO2008006806A2 WO 2008006806 A2 WO2008006806 A2 WO 2008006806A2 EP 2007056982 W EP2007056982 W EP 2007056982W WO 2008006806 A2 WO2008006806 A2 WO 2008006806A2
Authority
WO
WIPO (PCT)
Prior art keywords
intermediate information
image
weighting
image area
quality level
Prior art date
Application number
PCT/EP2007/056982
Other languages
English (en)
French (fr)
Other versions
WO2008006806A3 (de
Inventor
Peter Amon
Jürgen PANDEL
Original Assignee
Nokia Siemens Networks Gmbh & Co. Kg
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Siemens Networks Gmbh & Co. Kg filed Critical Nokia Siemens Networks Gmbh & Co. Kg
Publication of WO2008006806A2 publication Critical patent/WO2008006806A2/de
Publication of WO2008006806A3 publication Critical patent/WO2008006806A3/de

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process

Definitions

  • a method and encoding device for encoding an image area of an image of an image sequence in at least two quality levels and a method and decoding device for decoding a first encoded data stream and a second encoded data stream
  • the invention relates to a method and an encoding device for coding an image area of an image of an image sequence in at least two quality levels, and to a method and a decoding device for decoding a first and a second coded data stream.
  • JSVM-Joint Scalable Video Model Joint Scalable Video Model
  • SVC Scalable Video Coding SVC
  • H.264 or MPEG4 Joint Scalable Video Coding SVC
  • temporal and local predictions treated separately.
  • a temporal decorrelation i. a temporal prediction of an already encoded image, performed.
  • a local decorrelation is applied, i. a local prediction from a next lower local layer.
  • the picture is encoded in a basic quality of a first quality level and in a basic quality of a second quality level that has been improved.
  • a first coded data stream represents the basic quality of the image and the second coded one
  • Data stream the improved quality, the second coded data stream together with the first coded data stream reflects the improved quality.
  • the different qualities For example, tösschen represent the image in different spatial and / or quality resolutions (SNR scalability, SNR signal to noise ratio).
  • the invention has for its object to provide a method and an encoding device and a method and a decoding device for decoding, which achieve an improvement of a coding efficiency.
  • the invention relates to a method for coding an image area of an image of an image sequence in at least two quality levels, wherein for the image area in a first
  • Quality level, a first coded data stream with a basic quality and in a second quality level, a second coded data stream with a quality improved together with the first coded data stream compared to the base quality are performed in the following steps: a) providing a first intermediate information, the image area in represents the first quality level; b) providing a second intermediate information representing an estimated image area of the image area in at least one temporally preceding or temporally subsequent image or already reconstructed image of the second quality level; c) generating a weighted first intermediate information by weighting the first intermediate information with at least a first weighting factor and a weighted second intermediate information by weighting the second intermediate information with at least one second weighting factor, wherein the at least one first weighting factor by a predeterminable weighting function depending on at least one the second weighting factor is formed; d) generating a third intermediate information by subtracting the weighted intermediate information from an image information representing the image area to be encoded of the second quality level; e) generating the second coded data
  • the method achieves an improvement in the compression efficiency with constant image quality of the first and second quality step than conventional methods.
  • the use of the weighting improves overall prediction, since the individual increments carried out in each higher quality level are linked with the aid of the weighting factors to a representative of the coded picture content of the first quality level.
  • the temporal previ- uration and the prediction are from a lower, i. first quality level, to a next higher quality level, i. second quality level, improved.
  • an increase in the compression efficiency can be achieved by changing the weighting factors of the image area to be encoded to the image area. This change is carried out adaptively in particular.
  • the weighting function By using the weighting function, a reduction of information to be transmitted in the first and / or second coded data stream is reduced, since the first weighting factor can be reconstructed by means of the weighting function on the basis of the second weighting factor, also at a receiver.
  • the invention further relates to a method for decoding a first encoded data stream and a second encoded data stream, the first encoded data stream having an image area of an image of an image sequence in a first quality level with a basic quality and the second encoded data stream having the image area in a second quality level represented with the first coded data stream compared to the base quality improved quality, the coded data streams in particular according to the in which the following steps are performed: a) decoding the first coded data stream to reconstruct a first intermediate information, the first intermediate information representing a reconstructed first image area of the first quality level for the image area; b) providing a second intermediate information representing an estimated image area of the image area in at least one of the image temporally preceding or temporally subsequent image or already reconstructed image of the second quality level; c) decoding the second encoded data stream to reconstruct a reconstructed residual error of the second quality level; d) generating a weighted first intermediate information by weighting the first intermediate information with at least a first weighting factor and
  • This method of decoding is capable of decoding the data streams generated by the method of encoding and reproducing them on a monitor, for example.
  • a use of the coding and decoding methods is not limited to a specific encoding method, such as H.264. Rather, it is in block-based and / or transformation-based video coding, eg MPEG-2, or MPEG-4 SVC (MPEG-2) Motion Picture Expert Group, SVC Scalable Video Coding), or wavelet-based compression techniques.
  • the weighting function is generated in such a way that the first weighting factor of a coefficient of the first intermediate information at a first position and the second weighting factor of a coefficient of the second intermediate information at the first position sum to a predeterminable value, in particular to one, where the respective weighting factors in particular in the range between zero and one [0; 1], a low-complexity implementation of the method (s) can be achieved. By normalizing the sum to one, it is achieved that overvaluation of intermediate information is avoided.
  • At least two coefficients of the first and / or second intermediate information will be weighted with respectively different weighting factors, whereby an increase in the compression efficiency can be achieved.
  • the second weighting factor of the second quality level is formed by dividing a length of a motion vector of the second quality level belonging to the image area to be coded by a maximum length of the motion vector, in particular by the following formula:
  • a 2 mm is a minimum value of a2
  • a 2 max is a maximum value of a2
  • an amount of a length of the second motion vector MV2 and I MV2max I corresponds to a maximum amount of a length of the second motion vector MV2.
  • the receiver can the determine second weighting factor based on the already transmitted second motion vector, whereby no additional bandwidth is needed to create the second weighting factor.
  • the weighting factors are formed by a low, high or band pass filter, which allows individual adaptation to a content of the image area to be coded.
  • the first weighting factor will be formed by the low-pass filter and the second weighting factor by the high-pass filter.
  • a cutoff frequency fg of the high and low pass filters can be formed by dividing a length of a second motion vector of the second quality level belonging to the image area to be coded by a maximum length of the motion vector, in particular by the following formula:
  • fg min is a minimum frequency
  • fg max is a maximum frequency
  • I MV2 I is an amount of a length of the second motion vector for generating the second intermediate information
  • MV2max describes an amount of a maximum length of the second motion vector.
  • the determination of the cut-off frequency as a function of the second movement vector of the second quality level can be achieved in a simple manner.
  • the coefficients of the filters are selected such that an addition of the filter coefficients to an identical coefficient position of the selected filters, eg high-pass and low-pass filters, gives a value constant over one or more filter coefficients, eg equal to one.
  • an over- and / or undervaluation of individual frequency components of the first or second intermediate information is avoided.
  • the method for coding can be selectively switched off, so that coupling in the coding of the first and second quality levels is prevented.
  • the weighting function is generated such that, if one of the weighting factors is one, the other weighting factor is chosen to be unequal to one. This ensures that at least one of the two weighted intermediate information is used attenuated, i. the weighting factor, e.g. the first weighting factor al, unequal to one al ⁇ 1.
  • the intermediate information can be used in a location or frequency range that, for example, a filtering both in the local and in the frequency domain is possible.
  • the methods for coding and / or decoding can be used in coding methods which operate either in the local or in the frequency domain.
  • the first intermediate information is provided in a reduced spatial or frequency resolution relative to the second intermediate information, and the first intermediate information is transformed before being weighted into a spatial or frequency resolution identical to the spatial or frequency resolution of the second intermediate information. This ensures that processing of the weighted intermediate information into the third intermediate information takes place with identical location and / or frequency resolution.
  • the methods may employ an image area that is described by an image block, an arbitrarily bordered image object, and / or an entire image.
  • another coded data stream of the quality levels is coded or decoded beginning with the lowest further quality level such that the further quality level is coded or decoded in accordance with the second quality level further quality level lower quality level as the first quality level is treated.
  • the methods can be used for more than two quality levels.
  • Each further quality level is processed analogously to the second quality level, whereby a coupling between the further and the further directly lower quality level is carried out analogously to the coupling of the second and the first quality level.
  • the invention comprises an encoding device for coding an image area of an image of an image sequence in at least two quality levels, wherein for the image area in a first quality level a first coded data stream with a basic quality and in a second quality level a second coded data stream with one coded together with the first
  • a first encoder block for providing a first intermediate information representing the image area in the first quality level, and for generating the first data stream and generating the second coded data stream based on the third intermediate information
  • b) a second encoder block for providing a second intermediate information representing an estimated image area of the image area in at least one image of the second quality step which precedes the image or in chronological succession or which has already been reconstructed;
  • the coding method can be implemented and executed.
  • part of the invention is a decoding apparatus for decoding a first encoded data stream and a second encoded data stream, the first coded Since two ⁇ data stream an image area of an image of an image sequence at a first quality level with a base quality and the second encoded data stream of the image area in a th quality level represented with respect to the base quality improved together with the first encoded data stream quality, wherein the encoded data streams in particular ⁇ sondere according to the method of encoding have been produced, particularly for performing the method of decoding to be used in the following units: a) an a first decoding block for decoding the first encoded data stream for reconstructing a first intermediate information, wherein the first intermediate information represents a reconstructed first image area of the first quality level for the image area; b) a second decoding block for decoding the second encoded data stream for reconstructing a reconstructed residual error of the second quality level and for providing providing a second intermediate information representing an estimated image area of the image area in at least one temporally preceding or temp
  • the method of decoding is implementable and executable.
  • FIG. 3 shows an encoder for coding the image area in two quality levels with a weighting of intermediate information
  • FIG. 4 shows a decoder for decoding two coded data streams in two quality levels, wherein the weighting of the intermediate information is taken into account
  • FIG. 5 shows an alternative embodiment of an encoder in which the weighting of values of the intermediate information is carried out by means of a high-pass filter or a low-pass filter;
  • Figure 6 shows an alternative embodiment of an encoder in which the weighting of the intermediate information in the frequency domain is carried out
  • FIG. 7 shows a procedure for the interpolation of a matrix occupied by frequency coefficients
  • Figure 1 shows an encoder for encoding an image area in three quality levels with the weighting of the intermediate information
  • FIG. 9 shows a decoder for decoding three coded data streams in three quality levels, taking into account the weighting of the intermediate information.
  • FIG. 1 exemplarily shows an encoder for a scalable video coding with two quality levels Q1, Q2, wherein these two quality levels encode an image P (n) to be coded in different resolutions.
  • the reference symbol n is an index for selecting the image P (n) from a picture sequence Pl,..., PN, ie 1 ⁇ n ⁇ N.
  • a structure according to FIG. 1 is known from a document [1].
  • the coding takes place in each case for an image area PB of the image P (n) to be coded.
  • a first encoder block of the encoder is used to generate a first coded data stream DS1, which codes the image P (n) to be coded in a basic quality.
  • a first image area Bl (n) is generated by a scanning unit 2DDOWN.
  • the first image area Bl (n) is transferred to a feedback coding loop of the first encoding block.
  • a first motion vector MV1 is determined on the basis of an already coded and reconstructed first image Pl '(n-1) (not shown in FIG. 1).
  • the reconstructed first image Pl ' is stored in a first memory module FB1.
  • a first residual error RBl (n) is formed by subtracting an estimated first image area ⁇ * MC (Pl '(n-1)) from the first image area Bl (n) at an adder unit AE.
  • the first residual error RB1 (n) is subjected to a first transformation unit T1 for the transformation and the resulting frequency coefficients are supplied to a first quantization unit Q1 for quantization.
  • the quantized frequency coefficients are processed in an entropy coding unit EC and subsequently inserted into the first coded data stream CD1.
  • the selection parameters S 1 , S 2 are multiplicatively linked to a respective estimated first and second image area MC (Pl '(n-1)), MC (P2' (nl)).
  • the quantized frequency coefficients are inversely quantized by a first inverse quantization unit IQ1 and subsequently by a first inverse quantization unit IQ1.
  • transform unit ITl into a reconstructed first residual error RBl '(n).
  • a reconstructed first image area Bl '(n) of the first quality level Ql is determined. This is then stored organized in the first memory module FBl.
  • the procedure for generating the reconstructed first image region Bl '(n) is applied to different image regions of the image P (n) to be coded so that the reconstructed first image Pl' is described by a plurality of reconstructed first image regions.
  • a second encoding block of the encoder is used to determine a second coded data stream
  • a reconstructed interpolated first residual error RBl * (n) is generated by interpolation of the reconstructed first residual error RBl '(n) by means of an interpolation unit 2DUP.
  • a second residual error RB2 (n) of the second quality level is formed.
  • quantized frequency coefficients are generated by a second transformation unit T2 and a second quantization unit Q2. These are transferred to an entropy coding unit EC and then inserted in encoded form into the second coded data stream.
  • the quantized frequency coefficients are fed to a second inverse quantization unit IQ2 and to a second inverse transformation unit IT2, so that a reconstructed quantization coefficient structured second residual error RB2 '(n) is generated.
  • a reconstructed second image area B2' (n) of the second quality level is formed , which is stored in a second memory module FB2.
  • the procedure for generating the reconstructed second image area B2 '(n) is applied to different image areas of the image P (n) to be coded so that the reconstructed second image P2' is described by a plurality of reconstructed second image areas.
  • FIG. 2 shows a decoder, according to document [1], in order in each case to construct the reconstructed first image Pl '(n) of the first quality level or the reconstructed second image P2' from the first and the second coded data stream (FIG. n) of the second quality level.
  • FIG. 2 shows a first decoder block of the decoder of the first quality level, in which the reconstructed first residual error RB1 '(FIG. n) arises.
  • the reconstructed first image area is stored in the first memory module FB1.
  • the reconstructed interpolated first residual error RB1 * (n) is generated by interpolation of the reconstructed first residual error RB1 '(n) in the interpolation unit 2DUP.
  • a second decoder block of the decoder of the second quality level Q2 is depicted.
  • the second encoded data stream CD2 is transferred to the entropy decoding unit ED, the second inverse quantization unit IQ2 and the second inverse transformation unit IT2, so that the reconstructed second residual error RB2 'is generated.
  • the reconstructed second image region B2 '(n) of the second quality level is formed.
  • the image P (n) to be coded is rendered in a first quality, i. Basic quality, reproduced by the reconstructed first image Pl 'and in the second quality by the reconstructed second image P2'.
  • the structure of the encoder for generating the first and second coded data stream according to FIG. 3 is similar to the structure of the encoder according to FIG. 1. Therefore, the peculiarities of the encoder according to FIG. 3 are discussed in more detail below in comparison to the encoder from FIG.
  • the first coded data stream is generated here in the first encoder block EB1 analogously to the embodiments according to FIG. 1.
  • the reconstructed first image P1 '(n) is referred to as the first intermediate information C1l.
  • the first intermediate information ZI1 is interpolated, e.g.
  • each value of the interpolated first intermediate information ZIl is weighted with a first weighting factor a1 in a weighting unit GE, e.g. multiplied.
  • the weighting with the first weighting factor al results in a weighted first intermediate information GZI1.
  • An image area S 2 * MC (P 2 '(n-1)) of the second quality level estimated by the motion estimation, ie the estimated second image area, is referred to below as second intermediate information ZI 2.
  • This second intermediate information ZI2 is weighted by means of a second weighting factor a2 in a weighting unit GE. In this case, for example, each pixel of the second intermediate information ZI2 is multiplied by the second weighting factor a2. The weighting produces the weighted second intermediate information GZI2.
  • third intermediate information ZI3 For generating the second residual error RE (n), hereinafter referred to as third intermediate information ZI3, a subtraction of the weighted first and second intermediate information GZI1, GZI2 from an image information PI represented by the image area PB of the image P (n) is subtracted in the second encoder block EB2 subtracted in an addition unit AE.
  • the image information PI is identical to the image area PB.
  • the third intermediate information ZI3 is processed by the second transformation unit, second quantization unit and by the entropy coding unit and the result obtained is inserted into the second coded data stream CD2.
  • the reconstructed second residual error RB2 '(n) is produced.
  • the reconstructed second residual error RE2 '(n) is added to the reconstructed second image area B2' (n) of the reconstructed second image P2 '(n) is generated.
  • the weighting factors are determined in one embodiment on the basis of the motion vectors MV1, MV2 as follows:
  • a 2 mm is a minimum value of a2, a 2 ma ⁇ a maximum value of a2,
  • an amount, ie, a length, of the second motion vector MV2 and MV2 m ⁇ X corresponds to a maximum amount of the second motion vector MV2.
  • a 2 _ mi n 0.2
  • a 2 _mxn 1.0
  • 32
  • a 2 m m is a constant which causes the value of the second weighting factor a2 to become not larger than the constant itself.
  • a decoding of the first and second coded data streams CD1, CD2 generated according to FIG. 3 is illustrated in greater detail on the basis of an exemplary embodiment according to FIG.
  • the first intermediate information ZIl is interpolated by the interpolation unit 2DUP, eg by a factor of 2 in horizontal and vertical image direction, and then each coefficient of the interpolated first intermediate information ZIl is multiplied by the first weighting factor a1 in the weighting unit GE.
  • the weighting with the first weighting factor a1 produces the weighted first intermediate information GZIII.
  • the second coded data stream CD2 is then decoded and the reconstructed second image area B2 '(n) is created.
  • the image region S 2 * MC (P 2 '(n-1)) of the second quality level estimated by the motion estimation, ie the estimated second image region or the second intermediate information ZI 2 is weighted with the aid of the second weighting factor a 2 in the weighting unit GE that the weighted second intermediate information GZI2 is calculated.
  • the reconstructed second image area B2 '(n) is obtained by adding the weighted second intermediate information GZI2, the reconstructed second residual error RB2' and the weighted first intermediate information GZI1 in the addition unit AE.
  • the weighting factors a1, a2 are multiplied by the respective coefficients of the intermediate information, wherein the coefficients represent, for example, brightness and / or color values of the respective pixels of the intermediate information.
  • the respective weighting factor can be changed from one to another image area to be coded and / or within the image area to be coded.
  • a fixed first or second weighting factor a1, a2 has been used.
  • the weighting factors are filtered, e.g. High pass or low pass filter, replaced.
  • FIG. 5 shows by way of example the use of such filters, wherein the first weighting factor a1, ie the weighting factor, which after the interpolation of the reconstructed one first image area Bl '(n) is used, is replaced by a low-pass filter.
  • the second weighting factor a2 is replaced by the high-pass filter HP.
  • a filter for example a high-pass filter HP, for filtering local-area coefficients, such as the estimated first image area, is well known to a person skilled in the art, so that this will not be discussed further.
  • the procedure is analogous to the embodiments according to FIG. 4, wherein the first weighting factor a1 is replaced by the low-pass filter TP and the second weighting factor a2 is replaced by the high-pass filter HP.
  • a weighting of the first and second intermediate information is used instead of in the local area, e.g. in FIG. 5, in the frequency domain. This will be explained in more detail with reference to FIG. FIG. 6 generates the first and second coded data streams in two quality levels.
  • the lower part of the picture shows the first encoder block.
  • the image area PB to be coded or the image P (n) to be coded is low-pass filtered TP in the weighting unit GE and subsequently subsampled horizontally and vertically in the spatial area by a factor of 2, see scanning unit 2DDOWN, so that the first image area Bl is produced.
  • the first motion vector MVl is determined on the basis of previously subsampled images, i.e., image areas. by searching in at least one image stored in the first memory FB1.
  • the first image area Bl is in the first
  • Memory FBl organized organized.
  • the first residual error RB1 (n) is generated in the addition unit AE, which is fed to the first transformation unit T1.
  • the coded first data stream CD1 is in this embodiment by applying the first quantization unit Ql to the first transformation mation coefficients TKl and a subsequent execution of Entropiekod istshim EC formed.
  • the first transformation coefficients TKl correspond to the first intermediate information ZIl.
  • the second data stream CD2 is generated by the second encoder block.
  • the image area PB to be coded or the image P (n) of the higher quality level to be coded, i. the second quality level Q2, is referred to as image information PI.
  • image information PI a second motion vector MV2 is searched in uncoded image information of the second memory module FB2.
  • the second image area MC (P (n-1)) estimated with the aid of the second motion vector MV2 is transform-coded, see T2, whereby the second intermediate information ZI2 is created.
  • the weighted second intermediate information GZI2 is generated.
  • the weighted first intermediate information GZI1 is created.
  • the weighted third intermediate information GZI3 is determined.
  • the third weighted intermediate information is supplied to the second quantization unit and the entropy coding unit EC, whereby the second data stream CD2 is generated.
  • the filters HP and TP are formed in such a way that when a coefficient of the first intermediate information ZI1 is weighted at a first position with the first weighting factor a1 and a coefficient of the second intermediate information ZI2 at the first position with the second weighting factor a2, a sum of the two weighting factors becomes constant , in particular equal to one, is.
  • a cutoff frequency fg of the high and low pass filters HP, TP is obtained by dividing a length of a motion vector MV2 belonging to the image area to be coded, i. the second motion vector, the second quality level, is formed by a maximum length of the motion vector MV2max, in particular by the following formula:
  • J fg J fg - now + (V Jf g _ r ⁇ ax ⁇ J fg _ min) ⁇ * r
  • fg_min describes a minimum frequency
  • fg_max a maximum frequency
  • I MV2 I an amount of a length of the second motion vector for generating the second intermediate information (ZI2)
  • I MV2max I an amount of a maximum length of the second motion vector.
  • the first transformation coefficients TK1 have been subjected to interpolation.
  • this interpolation is performed in such a way that the frequency range in each dimension is extended by the interpolation factor, for example a factor 2, and the newly added transformation coefficients are pre-assigned a value of 0.
  • the first transform coefficients TKl represent a two-dimensional frequency matrix having the maximum frequencies FX and FY
  • the frequency matrix changes such that the maximum frequencies are 2xFX, 2xFY.
  • all transformation coefficients are set to 0, except for the first transformation coefficients TK1 adopted.
  • FIG. 7 this relationship is shown symbolically, whereby the newly added transformation coefficients, which are set to 0, have been marked hatched.
  • the presented embodiments can be used for a picture area which corresponds, for example, to a block, to a macroblock or to an arbitrarily bordered picture object of the picture P, or to the entire picture P.
  • Different weighting factors and / or filters can be used for different image areas.
  • the method according to the invention in addition to a local scalability, as shown in FIGS. 3 and 4, can also be used for quality scalability (SNR scalability).
  • SNR scalability quality scalability
  • the procedure is analogous to the embodiments according to Figures 3 and 4, wherein the processing steps undersampling and interpolation are omitted.
  • the SNR scalability is characterized by that used in the first and second quantization units Q1, Q2 and in the inverse quantization units IQ1 IQ2, respectively
  • Quantization factors are tuned such that in the first quality level, a coarsely quantized and in the second quality level a finer quantized image or image area can be generated or reconstructed.
  • SNR scalability is known to a person skilled in the art, for example, by coarse grainularity scalability (CGS) from [1].
  • the present invention is not limited to two levels of quality, but may be used for multiple quality levels, with two quality levels each being determined by means of a pair of weighting factors, e.g. the first and second weighting factors al, a2 according to Figure 3, are coupled.
  • the image to be encoded is area PB once sub-sampled, creating a second image area B2 is formed.
  • the second image area represents an image area of the higher quality level, ie the second quality level Q2, to be coded, this image area to be coded corresponding to the image information PI.
  • the first and second quality levels are performed analogously to the embodiments according to FIG.
  • the third quality level Q3 operates analogously to the second quality level according to FIG. 3, the original non-subsampled image area PB to be coded being used as the uncoded image information PI.
  • a weighted fourth intermediate information GZI4 is formed by multiplying a third weighting factor a3 by the reconstructed and interpolated second image B2 '(n), ie a fourth intermediate information ZI4.
  • a weighted fifth intermediate information GZI5 is created by weighting a fourth weighting factor a4 with an estimated third image area MC (P3 '(n-1)), where P3' is a reconstructed third image.
  • a sixth intermediate information ZI6 is generated by subtracting the fourth and fifth weighted intermediate information GZI4, GZI5 from the image area PB, ie the image information PI.
  • the third coded data stream CD3 is formed by applying a third transformation unit T3, a third quantization unit Q3 and the entropy-coding unit based on the sixth intermediate information ZI6.
  • the sixth intermediate information is formed by executing a third inverse quantization unit IQ3 and an inverse third transformation unit IT3, a reconstructed third residual error RB3 '.
  • FIG. 9 shows a decoder with three decoding blocks, each decoding block decoding one of the encoded data streams in one of the three quality levels.
  • the procedure for decoding the first and second encoded data streams CD1, CD2 is analogous to the embodiments according to FIG. 4.
  • the reconstructed second image area B2 ', which corresponds to the fourth intermediate information ZI4, is interpolated by the interpolation unit 2DUP and the third weighting factor a3 multiplied. This results in the weighted fourth intermediate information GZI4.
  • the weighted fifth intermediate information GZI5 is generated analogously to the exemplary embodiment according to FIG.
  • the reconstructed third image area B3 ' is obtained by summing the weighted fourth and fifth intermediate information GZI4, GZI5 and the reconstructed third residual error RB3' in the addition unit AE.
  • the reconstructed third residual error results after carrying out the entropy decoding unit ED, the inverse third quantization unit IQ3 and the inverse third transformation unit IT3 of the third encoded data stream CD3 (n).
  • an amount, ie, a length, of the third motion vector MV3 and ⁇ ⁇ 3 ⁇ corresponds to a maximum amount of the third motion vector MV3, MV3
  • the inventors have recognized that a coding result gives very good results if, in each case, that motion vector belonging to the higher resolution level is taken into account, ie. the motion vectors of the second and third resolution levels.
  • At least one of the weighting factors is transmitted in at least one of the coded data streams, so that the at least one weighting factor can be obtained by reading out the associated coded data stream;
  • the determination of the weighting factors can take place on the basis of the motion vectors coded in the coded data streams.
  • the determination of the weighting factors is carried out by means of a rate-distortion optimization.
  • PSNR Peak Signal-to-Noise Ratio
  • a coupling of the first intermediate information (ZIl) of the first quality level (Q1) for coding or decoding the second coded data stream (CD2) can be prevented.
  • the method of coding is by means of an encoding device ENC and the method of decoding can be realized and executed by means of a decoding device.
  • Both devices are implemented in hardware, or software that has a processor with memory and input and / or output units, or in a mixture of hardware and software.
  • the devices can be used in the context of a broadcasting and / or streaming application, the encoding device in a network element, eg a broadcasting server, and the decoding device in an end device, in particular a portable terminal, such as a mobile telephone or a PDA (PDA - Personal Digital Assistant), can be integrated.
  • a transmission of the first and second data streams by means of an MBMS protocol (MBMS - Multimedia Broadcast / Multicast Service) or via DVB (DVB - Digital Video Broadcast) take place.
  • MBMS protocol MBMS - Multimedia Broadcast / Multicast Service
  • DVB DVD - Digital Video Broadcast

Abstract

Die Erfindung betrifft ein Verfahren und eine Enkodiervorrichtung zum Kodieren eines Bildbereichs eines Bildes, wobei für den Bildbereich in einer ersten Qualitätsstufe ein erster kodierter Datenstrom mit einer Basisqualität und in einer zweiten Qualitätsstufe ein zweiter kodierter Datenstrom mit einer zusammen mit dem ersten kodierten Datenstrom gegenüber der Basisqualität verbesserten Qualität erzeugt werden, bei dem eine ersten Zwischeninformation, die den Bildbereich in der ersten Qualitätsstufe repräsentiert und eine zweiten Zwischeninformation, die einen geschätzten Bildbereich des Bildbereichs in zumindest einem zum Bild zeitlich vorangegangenen oder zeitlich nachfolgenden Bild oder bereits rekonstruierten Bild der zweiten Qualitätsstufe repräsentiert bereitgestellt, eine gewichtete erste und zweite Zwischeninformation durch jeweiliges Gewichten der ersten und zweiten Zwischeninformation mit zumindest einem jeweils dazugehörigen ersten und zweiten Gewichtungsfaktor, wobei der zumindest eine erste Gewichtungsfaktor durch eine vorgebbare Gewichtungsfunktion in Abhängigkeit von zumindest einem der zweiten Gewichtungsfaktoren gebildet wird, erstellt, eine dritte Zwischeninformation durch Subtraktion der gewichteten Zwischeninformationen von einer den zu kodierenden Bildbereich der zweiten Qualitätsstufe repräsentierenden Bildinformation generiert und der zweite kodierte Datenstrom auf Basis der dritten Zwischeninformation gebildet werden. Ferner umfasst die Erfindung ein Verfahren und eine Dekodiervorrichtung zum Dekodieren des ersten und zweiten kodierten Datenstroms.

Description

Beschreibung
Verfahren und Enkodiervorrichtung zum Kodieren eines Bildbereiches eines Bildes einer Bildsequenz in zumindest zwei Qua- litätsstufen, sowie Verfahren und Dekodiervorrichtung zum Dekodieren eines ersten kodierten Datenstroms und eines zweiten kodierten Datenstroms
Die Erfindung betrifft ein Verfahren und eine Enkodiervor- richtung zum Kodieren eines Bildbereiches eines Bildes einer Bildsequenz in zumindest zwei Qualitätsstufen und ein Verfahren und eine Dekodiervorrichtung zum Dekodieren eines ersten und eines zweiten kodierten Datenstroms.
Derzeit werden neue Videokodierverfahren und dazugehörige Standards entwickelt, mit denen eine Kodierung von Bildern einer Bildsequenz in zumindest zwei Qualitätsstufen, einer Basisqualität und zumindest einer Erweiterungsqualität, kodiert werden können. Hierzu zählt beispielsweise eine Lösung im aktuellen Joint Scalable Video Modul (JSVM-Joint Scalable Video Model) [1] für einen zukünftigen Standard SVC (SVC Scalable Video Coding) für H.264 bzw. MPEG4, Part 10. Hierbei werden zeitliche und örtliche Prädiktionen getrennt behandelt. Zunächst wird eine zeitliche Dekorrelation, d.h. eine zeitliche Prädiktion von einem bereits kodierten Bild, durchgeführt. Daran anschließend wird eine örtliche Dekorrelation angewendet, d.h. eine örtliche Prädiktion von einem nächstniedrigeren örtlichen Layer.
Bei der Verwendung von zwei oder mehr Qualitätsstufen findet, wie beispielsweise im JSVM, eine Kodierung des Bildes in einer Basisqualität einer ersten Qualitätsstufe und in einer zu Basisqualität verbesserten Qualität einer zweiten Qualitätsstufe statt. Dabei repräsentiert ein erster kodierter Daten- ström die Basisqualität des Bildes und der zweite kodierte
Datenstrom die verbesserte Qualität, wobei der zweite kodierte Datenstrom zusammen mit dem ersten kodierten Datenstrom die verbesserte Qualität wiedergibt. Die verschiedenen Quali- tätsstufen repräsentieren das Bild beispielsweise in unterschiedlichen Orts- und/oder Qualitätsauflösungen (SNR- Skalierbarkeit, SNR-Signal to Noise Ratio) .
Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren und eine Enkodiervorrichtung zum Kodieren und ein Verfahren und eine Dekodiervorrichtung zum Dekodieren anzugeben, welche eine Verbesserung einer Kodiereffizienz erzielen.
Sonstige Weiterbildungen der Erfindung sind in den Unteransprüchen wiedergegeben.
Die Erfindung betrifft ein Verfahren zum Kodieren eines Bildbereichs eines Bildes einer Bildersequenz in zumindest zwei Qualitätsstufen, wobei für den Bildbereich in einer ersten
Qualitätsstufe ein erster kodierter Datenstrom mit einer Basisqualität und in einer zweiten Qualitätsstufe ein zweiter kodierter Datenstrom mit einer zusammen mit dem ersten kodierten Datenstrom gegenüber der Basisqualität verbesserten Qualität erzeugt werden, bei demfolgende Schritte durchgeführt werden: a) Bereitstellen einer ersten Zwischeninformation, die den Bildbereich in der ersten Qualitätsstufe repräsentiert; b) Bereitstellen einer zweiten Zwischeninformation, die einen geschätzten Bildbereich des Bildbereichs in zumindest einem zum Bild zeitlich vorangegangenen oder zeitlich nachfolgenden Bild oder bereits rekonstruierten Bild der zweiten Qualitätsstufe repräsentiert; c) Erzeugen einer gewichteten ersten Zwischeninformation durch Gewichten der ersten Zwischeninformation mit zumindest einem ersten Gewichtungsfaktor und einer gewichteten zweiten Zwischeninformation durch Gewichten der zweiten Zwischeninformation mit zumindest einem zweiten Gewichtungsfaktor, wobei der zumindest eine erste Gewichtungs- faktor durch eine vorgebbare Gewichtungsfunktion in Abhängigkeit von zumindest einem der zweiten Gewichtungsfaktoren gebildet wird; d) Erzeugen einer dritten Zwischeninformation durch Subtraktion der gewichteten Zwischeninformationen von einer den zu kodierenden Bildbereich der zweiten Qualitatsstufe repräsentierenden Bildinformation; e) Erzeugen des zweiten kodierten Datenstroms auf Basis der dritten Zwischeninformation.
Das Verfahren erzielt eine Verbesserung der Kompressionseffizienz bei gleich bleibender Bildqualitat der ersten und zwei- ten Qualitatsstufe als herkömmliche Verfahren. Durch die Verwendung der Gewichtung verbessert sich eine Gesamtpradiktion, da die in jeder höheren Qualitatsstufe durchgeführten Ein- zelpradiktion mit Hilfe der Gewichtungsfaktoren mit einem Repräsentanten des kodierten Bildinhalts der ersten Quali- tatsstufe verknüpft werden. Dabei werden die zeitliche Pra- diktion und die Pradiktion von einer niedrigeren, d.h. ersten Qualitatsstufe, zu einer nächsthöheren Qualitatsstufe, d.h. zweiten Qualitatsstufe, verbessert. Zudem kann eine Steigerung der Kompressionseffizienz durch Änderung der Gewich- tungsfaktoren von zu kodierendem Bildbereich zu Bildbereich erreicht werden. Diese Änderung wird insbesondere adaptiv durchgeführt. Durch Verwendung der Gewichtungsfunktion wird eine Reduktion von zu übertragenden Informationen im ersten und/oder zweiten kodierten Datenstrom reduziert, da der erste Gewichtungsfaktor mittels der Gewichtungsfunktion auf Basis des zweiten Gewichtungsfaktors, auch an einem Empfanger, rekonstruierbar ist.
Ferner betrifft die Erfindung ein Verfahren zum Dekodieren eines ersten kodierten Datenstroms und eines zweiten kodierten Datenstroms, wobei der erste kodierte Datenstrom einen Bildbereich eines Bildes einer Bildersequenz in einer ersten Qualitatsstufe mit einer Basisqualitat und der zweite kodierte Datenstrom den Bildbereich in einer zweiten Qualitatsstufe mit einer zusammen mit dem ersten kodierten Datenstrom gegenüber der Basisqualitat verbesserten Qualität repräsentiert, wobei die kodierten Datenstrome insbesondere gemäß dem Ver- fahren zum Kodieren erzeugt wurden, bei dem folgende Schritte durchgeführt werden: a) Dekodieren des ersten kodierten Datenstroms zum Rekonstruieren einer ersten Zwischeninformation, wobei die ers- te Zwischeninformation einen rekonstruierten ersten Bildbereich der ersten Qualitätsstufe für den Bildbereich repräsentiert; b) Bereitstellen einer zweiten Zwischeninformation, die einen geschätzten Bildbereich des Bildbereichs in zumindest ei- nem zum Bild zeitlich vorangegangenen oder zeitlich nachfolgenden Bild oder bereits rekonstruierten Bild der zweiten Qualitätsstufe repräsentiert; c) Dekodieren des zweiten kodierten Datenstroms zum Rekonstruieren eines rekonstruierten Restfehlers der zweiten Qualitätsstufe; d) Erzeugen einer gewichteten ersten Zwischeninformation durch Gewichten der ersten Zwischeninformation mit zumindest einem ersten Gewichtungsfaktor und einer gewichteten zweiten Zwischeninformation durch Gewichten der zweiten Zwischeninformation mit zumindest einem zweiten Gewichtungsfaktor, wobei der zumindest eine erste Gewichtungs¬ faktor durch eine vorgebbare Gewichtungsfunktion in Abhängigkeit von zumindest einem der zweiten Gewichtungsfakto¬ ren gebildet wird; e) Bereitstellen eines rekonstruierten zweiten Bildbereichs der zweiten Qualitätsstufe für den Bildbereich durch Sum- mation der gewichteten ersten und zweiten Zwischeninformationen und des rekonstruierten Restfehlers der zweiten Qualitätsstufe .
Dieses Verfahren zum Dekodieren ist in der Lage die mit dem Verfahren zum Enkodieren erzeugten Datenströme zu dekodieren und bspw. an einem Monitor wiederzugeben. Ein Einsatz der Verfahren zum Kodieren und Dekodieren ist nicht auf ein be- stimmtes Kodierverfahren beschränkt, wie z.B. H.264. Vielmehr ist es bei blockbasierten und/oder transformationsbasierten Videokodierverfahren, z.B. MPEG-2, oder MPEG-4 SVC (MPEG- Motion Picture Expert Group, SVC-Scalable Video Coding) , oder wavelet-basierten Kompressionsverfahren einsetzbar.
Wird die Gewichtungsfunktion derart erzeugt, dass der erste Gewichtungsfaktor eines Koeffizienten der ersten Zwischeninformation an einer ersten Position und der zweite Gewichtungsfaktors eines Koeffizienten der zweiten Zwischeninformation an der ersten Position in Summe einen vorgebbaren Wert, insbesondere zu Eins, ergibt, wobei die jeweiligen Gewich- tungsfaktoren insbesondere im Bereich zwischen Null und Eins [0; 1] gewählt werden, so kann eine gering komplexe Implementierung des bzw. der Verfahren erreicht werden. Durch eine Normierung der Summe zu Eins wird erreicht, dass eine Überbewertung einer Zwischeninformationen vermieden wird.
Vorzugsweise werden zumindest zwei Koeffizienten der ersten und /oder zweiten Zwischeninformation mit jeweils unterschiedlichen Gewichtungsfaktoren gewichtet werden, wodurch eine Steigerung der Kompressionseffizient erreichbar ist.
In einer vorzugsweisen Ausgestaltung wird der zweite Gewichtungsfaktor der zweiten Qualitätsstufe durch eine Division einer Länge eines zum zu kodierenden Bildbereich gehörenden Bewegungsvektors der zweiten Qualitätsstufe durch eine maxi- male Länge des Bewegungsvektors gebildet, insbesondere durch folgende Formel:
Figure imgf000007_0001
wobei a2 mm einem minimalen Wert von a2, a2 max einem maximalen Wert von a2, | MV2 | einem Betrag einer Länge des zweiten Bewegungsvektors MV2 und I MV2max I einem maximalen Betrag einer Länge des zweiten Bewegungsvektors MV2 entspricht.
Hiermit kann eine gering komplexe Berechnungsformel realisiert werden. Ferner ergibt diese Ausgestaltung eine gute Kompressionseffizienz. Desweiteren kann der Empfänger den zweiten Gewichtungsfaktor auf Grundlage des bereits übertragenen zweiten Bewegungsvektors ermitteln, wodurch keine zusätzliche Bandbreite zur Erstellung des zweiten Gewichtungsfaktors benötigt wird.
In einer alternativen Ausformung werden die Gewichtungsfaktoren durch einen Tief-, Hoch- oder Bandpassfilter gebildet, wodurch eine individuelle Anpassung an einen Inhalt des zu kodierenden Bildbereichs ermöglicht wird. Insbesondere wird der erste Gewichtungsfaktor durch den Tiefpassfilter und der zweite Gewichtungsfaktor durch den Hochpassfilter gebildet werden. Zusätzlich kann eine Grenzfrequenz fg des Hoch- und Tiefpassfilters durch eine Division einer Länge eines zum zu kodierenden Bildbereich gehörenden zweiten Bewegungsvektors der zweiten Qualitätsstufe durch eine maximale Länge des Bewegungsvektors gebildet werden, insbesondere durch folgende Formel :
Figure imgf000008_0001
wobei fg min eine Minimalfrequenz, fg max eine Maximalfrequenz, I MV2 I einen Betrag einer Länge des zweiten Bewegungsvektors zur Erzeugung der zweiten Zwischeninformation und |MV2max| einen Betrag einer maximalen Länge des zweiten Bewe- gungsvektor beschreibt.
Hierdurch ist in einfacher Art und Weise die Ermittlung der Grenzfrequenz in Abhängigkeit des zweiten Bewegungsvektors der zweiten Qualitätsstufe erzielbar. Vorzugsweise werden die Koeffizienten der Filter derart ausgewählt, dass eine Addition der Filterkoeffizienten an einer identischen Koeffizientenposition der ausgewählten Filter, z.B. Hochpass- und Tiefpassfilter, einen über ein oder mehrere Filterkoeffizienten konstanten Wert, z.B. zu Eins, ergibt. Hierdurch wird eine Über- und/oder Unterbewertung einzelner Frequenzanteile der ersten oder zweiten Zwischeninformation vermieden. In einer weiteren Alternative wird die Gewichtungsfunktion derart erzeugt, dass durch Setzen des ersten Gewichtungsfaktors zu Null al=0 und des zweiten Gewichtungsfaktors zu Eins a2=l eine Kopplung der ersten Zwischeninformation der ersten Qualitätsstufe zur Kodierung oder Dekodierung des zweiten kodierten Datenstroms unterbunden wird. Hierdurch kann das Verfahren zum Kodieren gezielt ausgeschaltet werden, so dass eine Kopplung bei der Kodierung der ersten und zweiten Qualitätsstufe unterbunden wird.
Vorzugsweise wird die Gewichtungsfunktion derart erzeugt, dass, falls einer der Gewichtungsfaktoren Eins ist, der andere Gewichtungsfaktor zu ungleich Eins gewählt wird. Hiermit wird erreicht, dass zumindest einer der beiden zugewichtenden Zwischeninformationen gedämpft bzw. verstärkt verwendet wird, d.h. der Gewichtungsfaktor, z.B. der erste Gewichtungsfaktor al, ungleich eins al≠ 1 ist.
Alternativ oder zusätzlich können die Zwischeninformationen in einem Orts- oder Frequenzbereich verwendet werden, dass bspw. eine Filterung sowohl im Orts-, als auch im Frequenzbereich möglich ist. Hierdurch können die Verfahren zum Kodieren und/oder Dekodieren bei Kodierverfahren eingesetzt werden, die entweder im Orts-, oder im Frequenzbereich arbeiten.
Vorzugsweise werden die erste Zwischeninformation in einer reduzierten Orts- oder Frequenzauflösung gegenüber der zweiten Zwischeninformation bereitgestellt und die erste Zwischeninformation vor einer Gewichtung in eine zur Orts- oder Frequenzauflösung der zweiten Zwischeninformation identischen Orts- oder Frequenzauflösung transformiert wird. Hierdurch wird erreicht, dass ein Verarbeitung der gewichteten Zwischeninformation in die dritten Zwischeninformation bei identischer Ort- und/oder Frequenzauflösung statt findet.
Die Verfahren können einen Bildbereich einsetzen, der durch einen Bildblock, ein beliebig umrandetes Bildobjekt und/oder ein ganzes Bild beschrieben wird. In einer Erweiterung der Verfahren zum Kodieren und/oder Dekodieren wird bei mehr als zwei Qualitätsstufen ein weiterer codierter Datenstrom der Qualitätsstufen beginnend mit der niedrigsten weiteren Qualitätsstufe derart kodiert oder dekodiert, dass die weitere Qualitätsstufe gemäß der zweiten Qualitätsstufe kodiert oder dekodiert wird, wobei die zur weiteren Qualitätsstufe niedrigere Qualitätsstufe wie die erste Qualitätsstufe behandelt wird. Somit können die Verfahren für mehr als zwei Qualitätsstufen eingesetzt werden. Dabei wird jede weitere Qualitätsstufe analog zur zweiten Qualitätsstufe verarbeitet, wobei eine Kopplung zwischen der weiteren und der zur weiteren direkt niedrigeren Qualitätsstufe analog zur Kopplung der zweiten und der ersten Qualitätsstufe vorgenom- men wird.
Ferner umfasst die Erfindung eine Enkodiervorrichtung zum Kodieren eines Bildbereichs eines Bildes einer Bildersequenz in zumindest zwei Qualitätsstufen, wobei für den Bildbereich in einer ersten Qualitätsstufe ein erster kodierter Datenstrom mit einer Basisqualität und in einer zweiten Qualitätsstufe ein zweiter kodierter Datenstrom mit einer zusammen mit dem ersten kodierten Datenstrom gegenüber der Basisqualität verbesserten Qualität erzeugt werden, insbesondere zum Durchfüh- ren des Verfahrens zur Kodierung, bei dem folgende Einheiten eingesetzt werden: a) Ein erster Enkoderblock zum Bereitstellen einer ersten Zwischeninformation, die den Bildbereich in der ersten Qualitätsstufe repräsentiert, und zum Erzeugen des ersten Datenstroms und zum Erzeugen des zweiten kodierten Datenstroms auf Basis der dritten Zwischeninformation; b) Ein zweiter Enkoderblock zum Bereitstellen einer zweiten Zwischeninformation, die einen geschätzten Bildbereich des Bildbereichs in zumindest einem zum Bild zeitlich vorange- gangenen oder zeitlich nachfolgenden Bild oder bereits rekonstruierten Bild der zweiten Qualitätsstufe repräsentiert; c) Erzeugen einer gewichteten ersten Zwischeninformation durch Gewichten der ersten Zwischeninformation mit zumindest einem ersten Gewichtungsfaktor und einer gewichteten zweiten Zwischeninformation durch Gewichten der zweiten Zwischeninformation mit zumindest einem zweiten Gewichtungsfaktor, wobei der zumindest eine erste Gewichtungs¬ faktor durch eine vorgebbare Gewichtungsfunktion in Abhängigkeit von zumindest einem der zweiten Gewichtungsfakto¬ ren gebildet wird; d) Eine Additionseinheit zum Erzeugen einer dritten Zwischeninformation durch Subtraktion der gewichteten Zwischeninformationen von einer den zu kodierenden Bildbereich der zweiten Qualitätsstufe repräsentierenden Bildinformation .
Hit Hilfe der Enkodiervorrichtung ist das Verfahren zum Kodieren implementierbar und ausführbar.
Schließlich ist Teil der Erfindung eine Dekodiervorrichtung zum Dekodieren eines ersten kodierten Datenstroms und eines zweiten kodierten Datenstroms, wobei der erste kodierte Da¬ tenstrom einen Bildbereich eines Bildes einer Bildersequenz in einer ersten Qualitätsstufe mit einer Basisqualität und der zweite kodierte Datenstrom den Bildbereich in einer zwei- ten Qualitätsstufe mit einer zusammen mit dem ersten kodierten Datenstrom gegenüber der Basisqualität verbesserten Qualität repräsentiert, wobei die kodierten Datenströme insbe¬ sondere gemäß dem Verfahren zum Kodieren erzeugt wurden, insbesondere zum Durchführen des Verfahren zum Dekodieren, bei dem folgende Einheiten eingesetzt werden: a) Ein erster Dekodierblock zum Dekodieren der ersten kodierten Datenstroms zum Rekonstruieren einer ersten Zwischeninformation, wobei die erste Zwischeninformation einen rekonstruierten ersten Bildbereich der ersten Qualitätsstufe für den Bildbereich repräsentiert; b) Ein zweiter Dekodierblock zum Dekodieren des zweiten kodierten Datenstroms zum Rekonstruieren eines rekonstruierten Restfehlers der zweiten Qualitätsstufe und zum Bereit- stellen einer zweiten Zwischeninformation, die einen geschätzten Bildbereich des Bildbereichs in zumindest einem zum Bild zeitlich vorangegangenen oder zeitlich nachfolgenden Bild oder bereits rekonstruierten Bild der zweiten Qualitätsstufe repräsentiert; c) Eine Gewichtungseinheit zum Erzeugen einer gewichteten ersten Zwischeninformation durch Gewichten der ersten Zwischeninformation mit zumindest einem ersten Gewichtungsfaktor und einer gewichteten zweiten Zwischeninformation durch Gewichten der zweiten Zwischeninformation mit zumindest einem zweiten Gewichtungsfaktor, wobei der zumindest eine erste Gewichtungsfaktor durch eine vorgebbare Gewichtungsfunktion in Abhängigkeit von zumindest einem der zweiten Gewichtungsfaktoren gebildet wird; d) Eine Additionseinheit zum Bereitstellen eines rekonstruierten zweiten Bildbereichs (B2 ' ) der zweiten Qualitätsstufe für den Bildbereich durch Summation der gewichteten ersten und zweiten Zwischeninformationen und des rekonstruierten Restfehlers der zweiten Qualitätsstufe.
Hit Hilfe der Dekodiervorrichtung ist das Verfahren zum Dekodieren implementier- und ausführbar.
Die Erfindung und ihre Weiterbildungen werden nachfolgend an- hand von Zeichnungen näher erläutert.
Es zeigen:
Figur 1 einen Enkoder zum Kodieren eines Bildbereichs in zwei Qualitätsstufen (Stand der Technik) ;
Figur 2 einen Dekoder zum Dekodieren von zwei kodierten Datenströmen in zwei Qualitätsstufen (Stand der Technik)
Figur 3 einen Enkoder zum Kodieren des Bildbereichs in zwei Qualitätsstufen mit einer Gewichtung von Zwischeninformationen; Figur 4 einen Dekoder zum Dekodieren von zwei kodierten Datenströmen in zwei Qualitätsstufen, wobei die Gewichtung der Zwischeninformationen berücksichtigt wird;
Figur 5 eine alternative Ausführung eines Enkoder, bei dem die Gewichtung von Werten der Zwischeninformationen mittels eines Hochpass- bzw. Tiefpassfilters durchgeführt wird;
Figur 6 eine alternative Ausführung eines Enkoders, bei dem die Gewichtung der Zwischeninformationen im Frequenzbereich ausgeführt wird;
Figur 7 Darstellung einer Vorgehensweise zur Interpolation einer mit Frequenzkoeffizienten besetzten Matrix;
Figur ein Enkoder zur Kodierung eines Bildbereichs in drei Qualitätsstufen mit der Gewichtung der Zwischeninformationen;
Figur 9 ein Dekoder zum Dekodieren von drei kodierten Datenströmen in drei Qualitätsstufen unter Berücksichtung der Gewichtung der Zwischeninformationen.
Elemente mit gleicher Funktion und Wirkungsweise sind in den Figuren 1 mit 9 mit denselben Bezugszeichen versehen.
In Figur 1 ist exemplarisch ein Enkoder für eine skalierbare Videoenkodierung mit zwei Qualitätsstufen Ql, Q2 dargestellt, wobei diese zwei Qualitätsstufen ein zu kodierendes Bild P (n) in unterschiedlichen Auflösungen kodieren. Das Bezugszeichen n ist ein Index zur Auswahl des Bildes P (n) aus einer Bilder- sequenz Pl, ..., PN, d.h. 1 ≤ n ≤ N. Ein Aufbau gemäß Figur 1 ist aus einem Dokument [1] bekannt. Die Kodierung erfolgt jeweils für einen Bildbereich PB des zu kodierenden Bildes P(n) . Im unteren Teil von Figur 1 ist ein erster Enkoderblock des Enkoders zum Erzeugen eines ersten kodierten Datenstroms DSl, der das zu kodierende Bild P (n) in einer Basisqualität ko- diert repräsentiert. Zunächst wird durch Unterabtasten des zu kodierenden Bildbereichs des Bildes PB(P(n)) im Ortsbereich um einen Faktor 2 durch eine Abtasteinheit 2DDOWN ein erster Bildbereich Bl (n) generiert. Der erste Bildbereich Bl (n) wird einer rückgekoppelten Kodierschleife des ersten Enko- dierblocks übergeben. Ein erster Bewegungsvektor MVl wird auf Basis eines bereits kodierten und rekonstruierten ersten Bildes Pl' (n-1) ermittelt (in Figur 1 nicht dargestellt) . Das rekonstruierte erste Bild Pl ' ist in einem ersten Speichermodul FBl abgelegt. Ein erster Restfehler RBl (n) wird durch Subtraktion eines geschätzten ersten Bildbereiches ή*MC(Pl' (n-1)) von dem ersten Bildbereich Bl (n) an einer Additionseinheit AE gebildet. Der erste Restfehler RBl (n) wird einer ersten Transformationseinheit Tl zur Transformation unterzogen und die daraus entstehenden Frequenzkoeffizienten einer ersten Quantisierungseinheit Ql zur Quantisierung zugeführt. Die quantisierten Frequenzkoeffizienten werden in einer Entropiekodierungseinheit EC verarbeitet und nachfolgend in den ersten kodierten Datenstrom CDl eingefügt.
Durch Verwendung von Auswahlparametern S1, S2 S3 ist eine
Auswahl des zu verwendenden Kodiermodus einstellbar. Dabei nehmen die Auswahlparameter jeweils folgende Werte an:
, λ f l, Inter - Kodier moάus
\S1,S2,S3 e S\ mit S = \
[0, Intra — Kodier moάus
Die Auswahlparameter S1, S2 werden mit einem jeweiligen geschätzten ersten bzw. zweiten Bildbereich MC(Pl' (n-1)), MC(P2'(n-l)) multiplikativ verknüpft.
In der Rückkoppelschleife werden die quantisierten Frequenzkoeffizienten durch eine erste inverse Quantisierungseinheit IQl invers quantisiert und anschließend durch eine erste in- verse Transformationseinheit ITl in einen rekonstruierten ersten Restfehler RBl' (n) überführt. Durch Addition des rekonstruierten ersten Restfehlers RBl' (n) und des geschätzten ersten Bildbereiches ^*MC(P1' (n-1)) in einer Additionsein- heit AE wird ein rekonstruierter erster Bildbereich Bl' (n) der ersten Qualitätsstufe Ql ermittelt. Dieses wird anschließend in dem ersten Speichermodul FBl organisiert abgelegt. Die Vorgehensweise zur Generierung des rekonstruierten ersten Bildbereichs Bl ' (n) wird auf verschiedene Bildbereiche des zu kodierenden Bilds P (n) angewendet, so dass durch mehrere rekonstruierte erste Bildbereiche das rekonstruierte erste Bild Pl' beschrieben wird.
Im oberen Teil von Figur 1 ist ein zweiter Enkodierblock des Enkoders zur Ermittlung eines zweiten kodierten Datenstroms
DS2 der zweiten Qualitätsstufe Q2 zu sehen. Zunächst wird eine Schätzung für den Bildbereich PB des zu kodierenden Bildes P (n) auf einer Grundlage eines rekonstruierten zweiten Bildes P2' (n-1) durchgeführt (nicht in Figur 1 gezeigt), wodurch ein zweiter Bewegungsvektor MV2 ermittelt wird. Im Folgenden wird ein rekonstruierter interpolierter erster Restfehler RBl* (n) durch Interpolation des rekonstruierten ersten Restfehler RBl' (n) mittels einer Interpolationseinheit 2DUP generiert. Durch Subtraktion eines geschätzten zweiten Bildbereiches ^2*MC(P2' (n-1)) mittels des zweiten Bewegungsvektors MV2 auf
Basis des rekonstruierten zweiten Bildes P2 ' (n-1), des rekonstruierten interpolierten ersten Restfehlers RBl* von dem Bildbereich PB in einer Additionseinheit AE wird ein zweiter Restfehler RB2 (n) der zweiten Qualitätsstufe gebildet. Aus diesem zweiten Restfehler werden durch eine zweite Transformationseinheit T2 und eine zweiten Quantisierungseinheit Q2 quantisierte Frequenzkoeffizienten erzeugt. Diese werden einer Entropiekodierungseinheit EC übergeben und anschließend in kodierter Form in den zweiten kodierten Datenstrom einge- fügt. In der Rückkoppelschleife des zweiten Kodierblocks werden die quantisierten Frequenzkoeffizienten einer zweiten inversen Quantisierungseinheit IQ2 und einer zweiten inversen Transformationseinheit IT2 zugeführt, so dass ein rekon- struierter zweiter Restfehler RB2' (n) generiert wird. Durch Addition des rekonstruierten zweiten Restfehlers, des geschätzten zweiten Bildbereiches ^2*MC(P2' (n-1)) und des rekonstruierten interpolierten ersten Restfehlers RBl* in einer Additionseinheit AE wird ein rekonstruiertes zweiter Bildbereich B2 ' (n) der zweiten Qualitätsstufe gebildet, der in einem zweiten Speichermodul FB2 abgelegt wird. Die Vorgehensweise zur Generierung des rekonstruierten zweiten Bildbereichs B2 ' (n) wird auf verschiedene Bildbereiche des zu ko- dierenden Bilds P (n) angewendet, so dass durch mehrere rekonstruierte zweite Bildbereiche das rekonstruierte zweite Bild P2 ' beschrieben wird.
In Figur 2 sind ein Dekoder, gemäß dem Dokument [1], zu se- hen, um aus dem ersten und dem zweiten kodierten Datenstrom jeweils das rekonstruierte erste Bild Pl' (n) der ersten Qualitätsstufe bzw. das rekonstruierte zweite Bilder P2' (n) der zweiten Qualitätsstufe zu erhalten.
Im unteren Teil der Figur 2 ist ein erster Dekoderblock des Dekoders der ersten Qualitätsstufe zu sehen, bei dem durch Zuführen des ersten kodierten Datenstrom einer Entropiedeko- dierungseinheit ED, der inversen ersten Quantisierungseinheit IQl und der inversen ersten Transformierungseinheit ITl der rekonstruierte erste Restfehler RBl' (n) entsteht. Durch Addition des rekonstruierten ersten Restfehlers RBl' (n) und des mittels des übertragenen ersten Bewegungsvektors MVl geschätzten ersten Bildbereiches ^*MC(P1' (n-1)) aus Basis des bereits rekonstruierten ersten Bilds Pl' (n-1) wird durch eine Additionseinheit AE der rekonstruierte erste Bildbereich
Bl' (n) generiert. Der rekonstruierte erste Bildbereich wird in dem ersten Speichermodul FBl abgelegt. Im Folgenden wird der rekonstruierte interpolierte erste Restfehler RBl* (n) durch Interpolation des rekonstruierten ersten Restfehler RBl' (n) in der Interpolationseinheit 2DUP generiert.
Im oberen Abschnitt der Figur 2 ist ein zweiter Dekoderblock des Dekoders der zweiten Qualitätsstufe Q2 abgebildet. Der zweite kodierte Datenstrom CD2 wird der Entropiedekodierungs- einheit ED, der zweiten inversen Quantisierungseinheit IQ2 und der zweiten inversen Transformationseinheit IT2 übergeben, so dass der rekonstruierte zweite Restfehler RB2 ' gene- riert wird. Durch Addition eines geschätzten zweiten Bildbereiches #2*MC(P2' (n-1)) mittels des zweiten Bewegungsvektors
MV2 auf Basis des rekonstruierten zweiten Bildes P2 ' (n-1), des rekonstruierten interpolierten ersten Restfehlers RBl* und des rekonstruierten zweiten Restfehlers RB2 ' in einer Ad- ditionseinheit AE wird der rekonstruierte zweite Bildbereich B2 ' (n) der zweiten Qualitätsstufe gebildet.
Werden alle rekonstruierten ersten bzw. zweiten Bildbereiche erstellt, so wird das zu kodierende Bild P (n) in einer ersten Qualität, d.h. Basisqualität, durch das rekonstruierte erste Bild Pl ' und in der zweiten Qualität durch das rekonstruierte zweite Bild P2 ' wiedergegeben.
Im Folgenden wird anhand von Figur 3 ein erstes Ausführungs- beispiel der Erfindung näher erläutert. Der Aufbau des Enko- ders zur Erzeugung des ersten und zweiten kodierten Datenstroms gemäß Figur 3 ist ähnlich zum Aufbau des Enkoders gemäß Figur 1. Deshalb wird im Folgenden auf die Besonderheiten des Enkoders gemäß Figur 3 im Vergleich zum dem Enkoder aus Figur 1 näher eingegangen. Die Erstellung des ersten kodierten Datenstroms erfolgt hierbei in dem ersten Enkoderblock EBl analog zu den Ausführungen gemäß Figur 1. Dabei wird das rekonstruierte erste Bild Pl' (n) als erste Zwischeninformation ZIl bezeichnet. Die erste Zwischeninformation ZIl wird in- terpoliert, z.B. um einen Faktor 2 in horizontaler und vertikaler Bildrichtung, und anschließend wird jeder Wert der interpolierten ersten Zwischeninformation ZIl mit einem ersten Gewichtungsfaktor al in einer Gewichtungseinheit GE gewich- tet, z.B. multipliziert. Auf eine genaue Bestimmung der Ge- wichtungsfaktoren al, a2 wird später genauer eingegangen.
Durch die Gewichtung mit dem ersten Gewichtungsfaktor al entsteht eine gewichtete erste Zwischeninformation GZIl. Ein durch die Bewegungsschätzung geschätzter Bildbereich S2 *MC (P2' (n-1) ) der zweiten Qualitätsstufe, d.h. der geschätzte zweite Bildbereich, wird im Folgenden als zweite Zwischeninformation ZI2 bezeichnet. Diese zweite Zwischenin- formation ZI2 wird mit Hilfe eines zweiten Gewichtungsfaktors a2 in einer Gewichtungseinheit GE gewichtet. Dabei wird beispielsweise jeder Bildpunkt der zweiten Zwischeninformation ZI2 mit dem zweiten Gewichtungsfaktor a2 multipliziert. Durch die Gewichtung entsteht die gewichtete zweite Zwischeninfor- mation GZI2. Zur Generierung des zweiten Restfehlers RE (n) , im Folgenden dritte Zwischeninformation ZI3 bezeichnet, wird in dem zweiten Enkoderblock EB2 eine Subtraktion der gewich- teten ersten und zweiten Zwischeninformation GZIl, GZI2 von einer den Bildbereich PB des Bildes P (n) repräsentierten Bildinformation PI, in einer Additionseinheit AE abgezogen. In diesem Ausführungsbeispiel ist die Bildinformation PI i- dentisch zu dem Bildbereich PB. Die dritte Zwischeninformation ZI3 wird durch die zweite Transformationseinheit, zweite Quantisierungseinheit und durch die Entropiekodierungseinheit verarbeitet und das daraus gewonnene Ergebnis in den zweiten kodierten Datenstrom CD2 eingefügt. Wird die dritte Zwischeninformation ZI3 transformiert, quantisiert, invers quanti- siert und invers transformiert, so entsteht der rekonstruierte zweite Restfehler RB2' (n) . Durch Addition dieses rekon- struierten zweiten Restfehlers RE2' (n) , und der gewichteten ersten und dritten Zwischeninformationen GZIl, GZI2 wird der rekonstruierte zweite Bildbereich B2' (n) des rekonstruierten zweiten Bildes P2 ' (n) generiert.
Durch Versuche konnte herausgefunden werden, dass eine gute Kompression bei guter Bildqualität erreichbar ist, falls gilt:
^a1 =1, d.h. al+a2=l, wobei O15O2G[O;!] ist. Das bedeutet, dass eine Gewichtungsfunktion GF(al)=l-a2 ist. Die Verwendung der Gewichtungsfaktoren kann nach folgender Vorschrift durchgeführt werden:
• a2=0, al=l:
Falls eine Kodierung des Bildes im Intra-Kodiermodus erfolgt, beispielsweise wenn neue Bildteile im Bild auftreten;
• a2=l, al=0: Falls der zu kodierende Bildbereich keine bedeutende Änderungen gegenüber einem korrespondierenden Bildbereich in einem zuvor kodierten Bild aufweist;
• 0<a2<l, al=l-a2:
Sonst, z.B. bei Verwenden eines Inter-Kodiermodus für bewegte Bildteile.
Die Gewichtungsvaktoren werden in einer Ausführungsvariante auf Basis der Bewegungsvektoren MVl, MV2 folgendermaßen ermittelt :
Figure imgf000019_0001
wobei a2 mm einem minimalen Wert von a2, a2 maχ einem maximalen Wert von a2, | MV2 | einem Betrag, d.h. einer Länge, des zweiten Bewegungsvektors MV2 und MV2mΑX einem maximalen Betrag des zweiten Bewegungsvektors MV2 entspricht.
Mit a2_min=0.2, a2_mxn=1.0, |MV2|=32, | MV2 max I =64 ergibt sich a2=0.6 . Dabei ist a2 mm eine Konstante, die bewirkt, dass der Wert des zweiten Gewichtungsfaktors a2 nicht größer als die Konstante selbst wird. Somit ist al=l-a2=0,4.
Eine Dekodierung der gemäß Figur 3 erzeugten ersten und zweiten kodierten Datenströme CDl, CD2 wird anhand eines Ausführungsbeispiels gemäß Figur 4 näher dargestellt. Hierbei ist die Generierung des rekonstruierten ersten Bildbereichs Bl ' und der ersten und zweiten Restfehler RBl ' , RB2 ' in dem ersten Dekoderblock DBl analog zu den Ausführungen gemäß Figur 2. Die erste Zwischeninformation ZIl wird durch die Interpolationseinheit 2DUP interpoliert, z.B. um einen Faktor 2 in horizontaler und vertikaler Bildrichtung, und anschließend wird jeder Koeffizient der interpolierten ersten Zwischenin- formation ZIl mit dem ersten Gewichtungsfaktor al in der Gewichtungseinheit GE multipliziert. Durch die Gewichtung mit dem ersten Gewichtungsfaktor al entsteht die gewichtete erste Zwischeninformation GZIl. Mittels des zweiten Dekoderblocks DB2 wird anschließend der zweite kodierte Datenstrom CD2 de- kodiert und die rekonstruierte zweite Bildbereich B2 ' (n) erstellt. Dazu wird der durch die Bewegungsschätzung geschätzte Bildbereich S2 *MC (P2' (n-1) ) der zweiten Qualitätsstufe, d.h. der geschätzte zweite Bildbereich bzw. die zweite Zwischeninformation ZI2, mit Hilfe des zweiten Gewichtungsfaktors a2 in der Gewichtungseinheit GE gewichtet, so dass die gewichtete zweite Zwischeninformation GZI2 errechnet wird. Der rekonstruierte zweite Bildbereich B2 ' (n) wird durch Addition der gewichteten zweiten Zwischeninformation GZI2, des rekonstruierten zweiten Restfehlers RB2 ' und der gewichteten ers- ten Zwischeninformation GZIl in der Additionseinheit AE gewonnen .
Die Gewichtungsfaktoren al, a2 werden mit den jeweiligen Koeffizienten der Zwischeninformationen multipliziert, wobei die Koeffizienten bspw. Helligkeits- und/oder Farbwerten der jeweiligen Bildpunkte der Zwischeninformationen repräsentieren. Dabei kann der jeweilige Gewichtungsfaktor von einem zu einem anderen zu kodierenden Bildbereich und/oder innerhalb des zu kodierenden Bildbereiches verändert werden.
Im obigen Ausführungsbeispiel gemäß den Figuren 3 und 4 wurde ein fester erster bzw. zweiter Gewichtungsfaktor al, a2 eingesetzt. In einer Erweiterung oder alternativen Ausführungsform zu dem obigen Beispiel werden die Gewichtungsfaktoren durch Filter, z.B. Hochpass- oder Tiefpassfilter, ersetzt.
Figur 5 zeigt exemplarisch die Verwendung derartiger Filter, wobei der erste Gewichtungsfaktor al, d.h. der Gewichtungsfaktor, welcher nach der Interpolation des rekonstruierten ersten Bildbereichs Bl' (n) verwendet wird, durch einen Tiefpassfilter ersetzt wird. Der zweite Gewichtungsfaktor a2 wird durch den Hochpassfilter HP ersetzt. Eine Verwendung eines Filters, z.B. eines Hochpassfilters HP, zur Filterung von Ko- effizienten im Ortsbereich, wie z.B. des geschätzten ersten Bildbereichs, ist einem Fachmann hinlänglich bekannt, so dass darauf nicht weiter eingegangen wird. Zur Dekodierung der mit dem Enkoder gemäß Figur 5 erzeugten ersten und zweiten kodierten Datenströme wird analog zu den Ausführungen gemäß Fi- gur 4 vorgegangen, wobei der erste Gewichtungsfaktor al durch den Tiefpassfilter TP und der zweite Gewichtungsfaktor a2 durch den Hochpassfilter HP ersetzt wird.
In einem weiteren Ausführungsbeispiel wird eine Gewichtung der ersten und zweiten Zwischeninformation anstelle im Ortsbereich, wie z.B. in Figur 5, im Frequenzbereich ausgeführt. Dies wird anhand von Figur 6 näher erläutert. Figur 6 erzeugt den ersten und zweiten kodierten Datenstrom in zwei Qualitätsstufen .
Der untere Bildteil zeigt den ersten Enkoderblock. Hierbei wird der zu kodierende Bildbereich PB bzw. das zu kodierende Bild P (n) in der Gewichtungseinheit GE tiefpassgefiltert TP und anschließend im Ortsbereich um einen Faktor 2 in horizon- taler und vertikaler Richtung unterabgetastet, siehe Abtasteinheit 2DDOWN, so dass der erste Bildbereich Bl erzeugt wird. Der erste Bewegungsvektor MVl wird auf Grundlage zuvor unterabgetasteter Bilder bzw. Bildbereiche ermittelt, d.h. durch Suche in zumindest einem in dem ersten Speicher FBl ab- gelegten Bild. Der erste Bildbereich Bl wird in dem ersten
Speicher FBl organisiert abgelegt. Durch Subtraktion des geschätzten ersten Bildbereiches MC(Bl(n-l)) von dem ersten Bildbereich Bl wird in der Additionseinheit AE der erste Restfehler RBl (n) generiert, welcher der ersten Transformati- onseinheit Tl zugeführt wird. Hieraus entstehen die ersten Transformationskoeffizienten TKl. Der kodierte erste Datenstrom CDl wird in diesem Ausführungsbeispiel durch Anwendung der ersten Quantisierungseinheit Ql auf die ersten Transfor- mationskoeffizienten TKl und einer anschließenden Ausführung der Entropiekodierungseinheit EC gebildet. Die ersten Transformationskoeffizienten TKl entsprechen der ersten Zwischeninformation ZIl.
Durch den oberen Teil von Figur 6 wird der zweite Datenstrom CD2 durch den zweiter Enkoderblock erzeugt. Der zu kodierende Bildbereich PB bzw. das zu kodierende Bild P (n) der höheren Qualitätsstufe, d.h. der zweiten Qualitätsstufe Q2, wird als Bildinformation PI bezeichnet. Für diese Bildinformation PI wird ein zweiter Bewegungsvektor MV2 in unkodierten Bildinformationen des zweiten Speichermoduls FB2 gesucht. Der mit Hilfe des zweiten Bewegungsvektors MV2 geschätzte zweite Bildbereich MC(P(n-l)) wird transformationskodiert, siehe T2, wodurch die zweite Zwischeninformation ZI2 erstellt wird.
Durch Gewichtung der zweiten Zwischeninformation ZI2 mit dem Hochpassfilter HP in der Gewichtungseinheit GE wird die ge- wichtete zweite Zwischeninformation GZI2 generiert.
Parallel dazu werden die ersten Transformationskoeffizienten TKl (n) , d.h. die erste Zwischeninformation, durch die Interpolationseinheit 2DUP interpoliert, z.B. um einen Faktor 2, und anschließend mit dem Tiefpassfilter TP in der Gewichtungseinheit GE koeffizientenweise gewichtet. Hierdurch wird die gewichtete erste Zwischeninformation GZIl erstellt.
Durch Subtraktion der ersten und zweiten gewichteten Zwischeninformation GZIl, GZI2 von zweiten Transformationskoeffizienten TK2 in der Additionseinheit AE, wobei die zweiten Transformationskoeffizienten TK2 durch Anwendung der zweiten Transformationseinheit T2 auf den zu kodierenden Bildbereich PB gebildet werden, wird die gewichtete dritte Zwischeninformation GZI3 ermittelt. Die dritte gewichtete Zwischeninformation wird der zweiten Quantisierungseinheit und der Entropie- kodierungseinheit EC zugeführt, wodurch der zweite Datenstrom CD2 generiert wird. Die Filter HP und TP werden derart gebildet, dass bei der Gewichtung eines Koeffizienten der ersten Zwischeninformation ZIl an einer ersten Position mit dem ersten Gewichtungsfaktor al und eines Koeffizienten der zweiten Zwischeninformation ZI2 an der ersten Position mit dem zweiten Gewichtungsfaktors a2 eine Summe der beiden Gewichtungsfaktoren konstant, insbesondere gleich Eins, ist.
Ferner wird eine Grenzfrequenz fg des Hoch- und Tiefpassfil- ters HP, TP durch eine Division einer Länge eines zum zu kodierenden Bildbereich gehörenden Bewegungsvektors MV2, d.h. der zweite Bewegungsvektor, der zweiten Qualitätsstufe durch eine maximale Länge des Bewegungsvektors MV2max gebildet, insbesondere durch folgende Formel:
MVl
J f g = J f g - nun + ( V Jf g _ rαax ~ J f g _ min ) ^ * r
MV2_
wobei fg_min eine Minimalfrequenz, fg_max eine Maximalfrequenz, I MV2 I einen Betrag einer Länge des zweiten Bewegungs- vektors zur Erzeugung der zweiten Zwischeninformation (ZI2) und I MV2max I einen Betrag einer maximalen Länge des zweiten Bewegungsvektor beschreibt.
In den Ausführungen gemäß Figur 6 wurden die ersten Transfor- mationskoeffizienten TKl einer Interpolation zugeführt. Im Rahmen dieser Erfindung wird diese Interpolation derart durchgeführt, dass der Frequenzbereich in jeder Dimension um den Interpolationsfaktor, z.B. einem Faktor 2, erweitert wird und die neu hinzugekommenen Transformationskoeffizienten mit einem Wert 0 vorbelegt werden. Repräsentieren beispielsweise die ersten Transformationskoeffizienten TKl eine zweidimensionale Frequenzmatrix mit den Maximalfrequenzen FX und FY, so ändert sich die Frequenzmatrix derart, dass die Maximalfrequenzen 2xFX, 2xFY sind. Dabei werden alle Transformationsko- effizienten, bis auf die übernommenen ersten Transformationskoeffizienten TKl, zu 0 gesetzt sind. In Figur 7 ist dieser Zusammenhang symbolisch dargestellt, wobei die durch die In- terpolation neu hinzugekommenen Transformationskoeffizienten, die zu 0 gesetzt werden, schraffiert markiert worden sind.
Die vorgestellten Ausführungsbeispiele können für einen BiId- bereich, der beispielsweise einem Block, einem Makroblock o- der einem beliebig umrandeten Bildobjekt des Bildes P entspricht, oder für das gesamte Bild P eingesetzt werden. Dabei können für verschiedene Bildbereiche unterschiedliche Gewichtungsfaktoren und/oder Filter eingesetzt werden.
In einer weiteren Erweiterung oder alternativen Ausführungsform kann das erfindungsgemäße Verfahren neben einer örtlichen Skalierbarkeit, wie gezeigt in den Abbildungen 3 und 4, auch für eine Qualitätsskalierbarkeit (SNR-Skalierbarkeit) eingesetzt werden. Hierzu wird analog zu den Ausführungen gemäß Figur 3 und 4 vorgegangen, wobei die Verarbeitungsschritte Unterabtasten und Interpolieren weggelassen werden. Die SNR-Skalierbarkeit zeichnet sich dadurch aus, dass die in der ersten und zweiten Quantisierungseinheiten Ql, Q2 bzw. in den dazu inversen Quantisierungseinheiten IQl IQ2, verwendeten
Quantisierungsfaktoren derart abgestimmt werden, dass in der ersten Qualitätsstufe ein grob quantisiertes und in der zweiten Qualitätsstufe ein feiner quantisiertes Bild bzw. Bildbereich erzeugbar bzw. rekonstruierbar ist. Die Verwendung der SNR-Skalierbarkeit ist einem Fachmann beispielsweise durch die coarse grainularity scalability (CGS) aus [1] bekannt.
In den vorangegangenen Ausführungsbeispielen wurden zwei Qualitätsstufen berücksichtigt. Die vorliegende Erfindung ist jedoch nicht auf zwei Qualitätsstufen beschränkt, sondern kann für mehrere Qualitätsstufen eingesetzt werden, wobei jeweils zwei Qualitätsstufen mittels eines Paars an Gewichtungsfaktoren, z.B. dem ersten und zweiten Gewichtungsfaktor al, a2 gemäß Figur 3, gekoppelt werden.
In den folgenden Figuren 8 und 9 ist beispielhaft die Verwendung des erfindungsgemäßen Verfahrens auf drei Qualitätsstufen Ql, Q2, Q3 ausgeführt. Dabei wird der zu kodierende Bild- bereich PB einmal unterabgetastet, wodurch ein zweiter Bildbereich B2 entsteht. Für die Erstellung des ersten und zweiten kodierten Datenstroms der ersten und zweiten Qualitätsstufe repräsentiert der zweite Bildbereich einen hierbei zu kodierenden Bildbereich der höheren Qualitätsstufe, also der zweiten Qualitätsstufe Q2, wobei dieser zu kodierende Bildbereich der Bildinformation PI entspricht. Die erste und zweite Qualitätsstufe wird analog zu den Ausführungen gemäß Figur 3 durchgeführt .
Die dritte Qualitätsstufe Q3 arbeitet analog zur zweiten Qualitätsstufe gemäß Figur 3, wobei als unkodierte Bildinformation PI der ursprüngliche nicht-unterabgetastete zu kodierende Bildbereich PB Verwendung findet. Dabei wird eine gewich- tete vierte Zwischeninformation GZI4 durch Multiplikation eines dritten Gewichtungsfaktors a3 mit dem rekonstruierten und interpolierten zweiten Bild B2' (n) , d.h. einer vierten Zwischeninformation ZI4, gebildet. Ferner wird eine gewichtete fünfte Zwischeninformation GZI5 durch Gewichtung eines vier- ten Gewichtungsfaktors a4 mit einem geschätzten dritten Bildbereich MC(P3' (n-1)) erstellt, wobei P3 ' ein rekonstruiertes drittes Bild ist. Eine sechste Zwischeninformation ZI6 wird durch Subtraktion der vierten und fünften gewichteten Zwischeninformation GZI4, GZI5 von dem Bildbereich PB, d.h. der Bildinformation PI, erzeugt. Der dritte kodierte Datenstrom CD3 wird durch Anwenden einer dritten Transformationseinheit T3, einer dritten Quantisierungseinheit Q3 und der Entropiekodierungseinheit auf Basis der sechsten Zwischeninformation ZI6 gebildet. In der Rückkoppelschleife wird die sechste Zwi- scheninformation nach Durchlaufen der dritten Transformationseinheit und dritten Quantisierungseinheit durch Ausführen einer dritten inverse Quantisierungseinheit IQ3 und einer in- versen dritten Transformationseinheit IT3 ein rekonstruierter dritter Restfehler RB3 ' geformt. Durch Addition des rekon- struierten dritten Restfehlers RB3 ' und der gewichteten vierten und fünften Zwischeninformation in der Additionseinheit AE kann ein rekonstruierter dritter Bildbereich B3 ' (n) gewonnen werden. In Figur 9 ist ein Dekoder mit drei Dekodierblöcke zusehen, wobei jeder Dekodierblock jeweils einen der kodierten Datenströme in einer der drei Qualitätsstufen dekodiert. Die Vor- gehensweise zum Dekodieren der ersten und zweiten kodierten Datenströme CDl, CD2 ist analog zu den Ausführungen gemäß Figur 4. Der rekonstruierte zweite Bildbereich B2 ' , der der vierten Zwischeninformation ZI4 entspricht, wird durch die Interpolationseinheit 2DUP interpoliert und mit dem dritten Gewichtungsfaktor a3 multipliziert. Hieraus entsteht die ge- wichtete vierte Zwischeninformation GZI4. In der dritten Qualitätsstufe Q3 wird die gewichtete fünfte Zwischeninformation GZI5 analog zum Ausführungsbeispiel gemäß Figur 8 erzeugt. Der rekonstruierte dritte Bildbereich B3 ' wird durch Summati- on der gewichteten vierten und fünften Zwischeninformation GZI4, GZI5 und des rekonstruierten dritten Restfehlers RB3 ' in der Additionseinheit AE gewonnen. Der rekonstruierte dritte Restfehler ergibt sich nach Durchführung der Entropiedeko- dierungseinheit ED, der inversen dritten Quantisierungsein- heit IQ3 und der inversen dritten Transformationseinheit IT3 des dritten kodierten Datenstroms CD3 (n) .
Ber der Verwendung von drei Qualitätsstufen wird zur Bestimmung der Gewichtungsfaktoren al, a2, a3 folgendermaßen vorge- gangen:
- Bestimmen des zweiten Gewichtungsfaktors a2 wie bei Verwendung von zwei Qualitätsstufen, d.h.
MVl a2 = a2 nnn + («2 max " «2 πnn ) * " . „ . -
MV2Ώ
- Zur Bestimmung des dritten Gewichtungsfaktors a3 wird analog zu den Ausführungen gemäß dem zweiten Gewichtungsfaktors a2 vorgegangen, a3 min einem minimalen Wert von a3, a3 max einem maximalen Wert von a3, | MV3 | einem Betrag, d.h, einer Länge, des dritten Bewegungsvektors MV3 und ^¥3^, einem maximalen Betrag des dritten Bewegungsvektors MV3 entspricht, MV3
ÖL =α. Un+(«3 ,„ — a. nn ^
MV3„
- Für die Ermittlung des ersten Gewichtungsfaktors gilt gemäß der vorgegeben Gewichtungsfunktion GF weiterhin:
Figure imgf000027_0001
Hierbei haben die Erfinder erkannt, dass ein Kodierergebnis sehr gute Ergebnisse liefert, falls, jeweils derjenige Bewegungsvektor berücksichtigt wird, der zu der höheren Auflösungsstufe gehört, d.h. die Bewegungsvektoren der zweiten und dritten Auflösungsstufe.
Bei einer Bestimmung des bzw. der Gewichtungsfaktoren zur
Verwendung in dem Verfahren zur Dekodierung in einem Empfänger kann folgendermaßen vorgegangen werden:
- Zumindest einer der Gewichtungsfaktoren wird in zumindest einem der kodierten Datenströme übertragen, sodass der zu- mindest eine Gewichtungsfaktor durch Auslesen des dazugehörigen kodierten Datenstroms gewonnen werden kann;
- Die Bestimmung der Gewichtungsfaktoren kann anhand der in den kodierten Datenströmen kodierten Bewegungsvektoren erfolgen .
In einer alternativen Ausführungsform wird die Bestimmung der Gewichtungsfaktoren anhand einer Rate-Distortion Optimierung durchgeführt. Dabei wird für den zweiten Gewichtungsfaktor a2 in mehreren Stufen im Bereich [0; 1] mit al=l-a2 die Enkodie- rung des zweiten codierten Datenstroms durchgeführt und derjenige Wert für a2 ausgewählt, der die beste Kombination aus- Bildqualität, z.B. in PSNR (PSNR = Peak Signal-to-Noise Ratio) , gegenüber einer niedrigen Bitrate des zweiten kodierten Datenstroms erzielt. In einer Erweiterung der Erfindung ist eine Kopplung der ersten Zwischeninformation (ZIl) der ersten Qualitatsstufe (Ql) zur Kodierung oder Dekodierung des zweiten kodierten Datenstroms (CD2) unterbindbar. Durch Setzen derjenigen Gewich- tungsfaktoren zu Null, z.B. al=a3=0, die die Kopplung zwischen den Qualitatsstufen bewerkstelligen, kann erreicht werden, dass die jeweiligen Enkoder- bzw. Dekoderblocke unabhängig von einander arbeiten.
Das Verfahren zur Kodierung ist mittels einer Enkodiervor- richtung ENC und das Verfahren zum Dekodieren ist mittels einer Dekodiervorrichtung realisier- und ausfuhrbar. Beide Vorrichtungen werden in Hardware, oder Software, die auf einem Prozessor mit Speicher und Ein- und/oder Ausgabeeinheiten verfugt, oder in einer Mischung aus Hard- und Software implementiert. Die Vorrichtungen sind im Rahmen einer Broadcasting und/oder Streaming-Anwendung verwendbar, wobei die Enkodier- vorrichtung in einem Netzwerkelement, z.B. einem Broad- casting-Server, und die Dekodiervorrichtung in einem Endge- rat, insbesondere einem tragbaren Endgerat, wie einem mobilen Telefon oder einem PDA (PDA - Personal Digital Assistent) , integriert sein kann. Dabei kann eine Übertragung der ersten und zweiten Datenstrome mittels eines MBMS-Protokolls (MBMS - Multimedia Broadcast/Multicast Service) oder über DVB (DVB - Digital Video Broadcast) erfolgen.
Literaturverzeichnis
[1] ITU-T, ISO/IEC JTCl, „Joint Scalable Video Model 6", JVT-
R202, Januar 2006

Claims

Patentansprüche
1. Verfahren zum Kodieren eines Bildbereichs (PB) eines Bildes (P (n) ) einer Bildersequenz (Pl, ..., PN) in zumindest zwei Qualitätsstufen, wobei für den Bildbereich (PB) in einer ersten Qualitätsstufe (Ql) ein erster kodierter Datenstrom (CDl) mit einer Basisqualität und in einer zweiten Qualitäts¬ stufe (Q2) ein zweiter kodierter Datenstrom (CD2) mit einer zusammen mit dem ersten kodierten Datenstrom (CDl) gegenüber der Basisqualität verbesserten Qualität erzeugt werden, dadurch gekennzeichnet, dass folgende Schritte durchgeführt werden: a) Bereitstellen einer ersten Zwischeninformation (ZIl), die den Bildbereich (PB) in der ersten Qualitätsstufe (Ql) repräsentiert; b) Bereitstellen einer zweiten Zwischeninformation (ZI2), die einen geschätzten Bildbereich (MC (P2 ' (n-1) ) des Bildbereichs (PB) in zumindest einem zum Bild (P (n) ) zeitlich vorangegangenen oder zeitlich nachfolgenden Bild (P(n-l), P(n+1)) oder bereits rekonstruierten Bild (P2' (n-1)) der zweiten Qualitätsstufe (Q2) repräsentiert; c) Erzeugen einer gewichteten ersten Zwischeninformation durch Gewichten der ersten Zwischeninformation (ZIl) mit zumindest einem ersten Gewichtungsfaktor (al) und einer gewichteten zweiten Zwischeninformation (GZI2) durch Gewichten der zweiten Zwischeninformation (ZI2) mit zumindest einem zweiten Gewichtungsfaktor (a2), wobei der zumindest eine erste Gewichtungsfaktor (al) durch eine vorgebbare Gewichtungsfunktion (GF (a2)) in Abhängigkeit von zumindest einem der zweiten Gewichtungsfaktoren (a2) gebildet wird; d) Erzeugen einer dritten Zwischeninformation (ZI3) durch Subtraktion der gewichteten Zwischeninformationen (GZIl, GZI2) von einer den zu kodierenden Bildbereich (PB) der zweiten Qualitätsstufe (Q2) repräsentierenden Bildinforma¬ tion (PI) ; e) Erzeugen des zweiten kodierten Datenstroms (CD2) auf Basis der dritten Zwischeninformation (ZI3) .
2. Verfahren zum Dekodieren eines ersten kodierten Datenstroms (CDl) und eines zweiten kodierten Datenstroms (CD2), wobei der erste kodierte Datenstrom (CDl) einen Bildbereich (PB) eines Bildes (P (n) ) einer Bildersequenz (Pl, ..., PN) in einer ersten Qualitätsstufe (Ql) mit einer Basisqualität und der zweite kodierte Datenstrom (CD2) den Bildbereich (PB) in einer zweiten Qualitätsstufe (Q2) mit einer zusammen mit dem ersten kodierten Datenstrom (CDl) gegenüber der Basisqualität verbesserten Qualität repräsentiert, wobei die kodierten Da¬ tenströme (CDl, CD2) insbesondere gemäß Anspruch 1, oder An¬ spruch 1 und zumindest einem der Ansprüche 3 bis 14 erzeugt wurden, dadurch gekennzeichnet, dass folgende Schritte durchgeführt werden: a) Dekodieren des ersten kodierten Datenstroms (CDl) zum Rekonstruieren einer ersten Zwischeninformation (ZIl), wobei die erste Zwischeninformation einen rekonstruierten ersten Bildbereich (Bl') der ersten Qualitätsstufe (Ql) für den Bildbereich (PB) repräsentiert; b) Bereitstellen einer zweiten Zwischeninformation (ZI2), die einen geschätzten Bildbereich (MC(P2' (n-1)) des Bildbereichs (PB) in zumindest einem zum Bild (P (n) ) zeitlich vorangegangenen oder zeitlich nachfolgenden Bild (P(n-l), P(n+1)) oder bereits rekonstruierten Bild (P2' (n-1)) der zweiten Qualitätsstufe (Q2) repräsentiert; c) Dekodieren des zweiten kodierten Datenstroms (CD2) zum Rekonstruieren eines rekonstruierten Restfehlers (RB2 ' ) der zweiten Qualitätsstufe (Q2); d) Erzeugen einer gewichteten ersten Zwischeninformation durch Gewichten der ersten Zwischeninformation (ZIl) mit zumindest einem ersten Gewichtungsfaktor (al) und einer gewichteten zweiten Zwischeninformation (GZI2) durch Gewichten der zweiten Zwischeninformation (ZI2) mit zumin- dest einem zweiten Gewichtungsfaktor (a2), wobei der zumindest eine erste Gewichtungsfaktor (al) durch eine vorgebbare Gewichtungsfunktion (GF (a2)) in Abhängigkeit von zumindest einem der zweiten Gewichtungsfaktoren (a2) gebildet wird; e) Bereitstellen eines rekonstruierten zweiten Bildbereichs
(B2 ' ) der zweiten Qualitätsstufe (Q2) für den Bildbereich (PB) durch Summation der gewichteten ersten und zweiten
Zwischeninformationen (GZIl, GZI2) und des rekonstruierten Restfehlers (RB2 ' ) der zweiten Qualitätsstufe.
3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Gewichtungsfunktion (GF) derart erzeugt wird, dass der erste Gewichtungsfaktor eines Koeffizienten der ersten Zwischeninformation (ZIl) an einer ersten Position und der zweite Gewichtungsfaktors (a2) eines Koeffizienten der zweiten Zwischeninformation (ZI2) an der ersten Position in Summe einen vorgebbaren Wert, insbesondere zu Eins, ergibt, wobei die jeweiligen Gewichtungsfaktoren (al, a2) insbesondere im Bereich zwischen Null und Eins [0; 1] gewählt werden.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zumindest zwei Koeffizienten der ersten und /oder zweiten Zwischeninformation (ZIl, ZI2) mit jeweils unterschiedlichen Gewichtungsfaktoren gewichtet werden.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der zweite Gewichtungsfaktor (a2) der zweiten Qualitätsstufe (Q2) durch eine Division einer Länge eines zum zu kodierenden Bildbereich gehörenden Bewegungsvektors der zweiten Qualitätsstufe durch eine maximale Länge des Bewegungsvektors gebildet wird, insbesondere durch folgende Formel:
MVl a2 = «2 _ nnn - (O2 2 _ max ^2 _ nn ^
MV2max
wobei a2 mm einem minimalen Wert von a2, a2 max einem maximalen Wert von a2, | MV2 | einem Betrag einer Länge des zweiten Bewe- gungsvektors MV2 und | MV2max | einem maximalen Betrag einer Länge des zweiten Bewegungsvektors MV2 entspricht.
6. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Gewichtungsfaktoren (al, a2) durch einen Tief-, Hoch- o- der Bandpassfilter (TP, HP) gebildet werden.
7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass der erste Gewichtungsfaktor (al) durch den Tiefpassfilter (TP) und der zweite Gewichtungsfaktor (a2) durch den Hochpassfilter gebildet werden.
8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass eine Grenzfrequenz (fg) des Hoch- und Tiefpassfilters (HP, TP) durch eine Division einer Länge eines zum zu kodierenden Bildbereich gehörenden zweiten Bewegungsvektors (MV2) der zweiten Qualitätsstufe durch eine maximale Länge des Bewegungsvektors (MV2max) gebildet wird, insbesondere durch folgende Formel :
Figure imgf000033_0001
wobei fg_min eine Minimalfrequenz, fg_max eine Maximalfrequenz, I MV2 I einen Betrag einer Länge des zweiten Bewegungsvektors zur Erzeugung der zweiten Zwischeninformation (ZI2) und I MV2max I einen Betrag einer maximalen Länge des zweiten Bewegungsvektor beschreibt.
9. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Gewichtungsfunktion (GF) derart erzeugt wird, dass durch Setzen des ersten Gewichtungsfaktors (al) zu Null al=0 und des zweiten Gewichtungsfaktors (a2) zu Eins a2=l eine Kopplung der ersten Zwischeninformation (ZIl) der ersten Quali- tätsstufe (Ql) zur Kodierung oder Dekodierung des zweiten kodierten Datenstroms (CD2) unterbunden wird.
10. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Gewichtungsfunktion (GF) derart erzeugt wird, dass, falls einer der Gewichtungsfaktoren (al) Eins ist, der andere Gewichtungsfaktor (a2) zu ungleich Eins gewählt wird.
11. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Zwischeninformationen (ZIl, ZI2) in einem Orts- oder Frequenzbereich verwendet werden.
12. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die erste Zwischeninformation (ZIl) in einer reduzierten Orts- oder Frequenzauflösung gegenüber der zweiten Zwischeninformation (ZI2) bereitgestellt wird, die erste Zwischeninformation (ZIl) vor einer Gewichtung in eine zur Orts- oder Frequenzauflösung der zweiten Zwischeninformation (ZI2) identischen Orts- oder Frequenzauflösung transformiert wird.
13. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass durch den Bildbereich (PB) einen Bildblock, ein beliebig umrandetes Bildobjekt und/oder ein ganzes Bild beschrieben wird.
14. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei mehr als zwei Qualitätsstufen (Ql, Q2 , Q3) ein weiterer codierter Datenstrom (CD3) der Qualitätsstufen beginnend mit der niedrigsten weiteren Qualitätsstufe (Q3) derart kodiert oder dekodiert wird, dass die weitere Qualitätsstufe gemäß der zweiten Qualitätsstufe kodiert oder dekodiert wird, wobei die zur weiteren Qualitätsstufe (Q3) niedrigere Qualitätsstufe (Q2) wie die erste Qualitätsstufe behandelt wird.
15. Enkodiervorrichtung (ENC) zum Kodieren eines Bildbereichs (PB) eines Bildes (P (n) ) einer Bildersequenz (Pl, ..., PN) in zumindest zwei Qualitätsstufen, wobei für den Bildbereich (PB) in einer ersten Qualitätsstufe (Ql) ein erster kodierter Datenstrom (CDl) mit einer Basisqualität und in einer zweiten Qualitätsstufe (Q2) ein zweiter kodierter Datenstrom (CD2) mit einer zusammen mit dem ersten kodierten Datenstrom (CDl) gegenüber der Basisqualität verbesserten Qualität erzeugt werden, insbesondere zum Durchführen eines Verfahrens gemäß Anspruch 1 oder Anspruch 1 und zumindest einem der Ansprüche 3 bis 14, dadurch gekennzeichnet, dass folgende Einheiten eingesetzt werden: a) Ein erster Enkoderblock (EBl) zum Bereitstellen einer ersten Zwischeninformation (ZIl), die den Bildbereich (PB) in der ersten Qualitätsstufe (Ql) repräsentiert, und zum Er- zeugen des ersten Datenstroms (CDl) und zum Erzeugen des zweiten kodierten Datenstroms (CD2) auf Basis der dritten Zwischeninformation (ZI3) ; b) Ein zweiter Enkoderblock (EB2) zum Bereitstellen einer zweiten Zwischeninformation (ZI2), die einen geschätzten Bildbereich (MC (P2 ' (n-1) ) des Bildbereichs (PB) in zumindest einem zum Bild (P (n) ) zeitlich vorangegangenen oder zeitlich nachfolgenden Bild (P(n-l), P(n+1)) oder bereits rekonstruierten Bild (P2' (n-1)) der zweiten Qualitätsstufe (Q2) repräsentiert; c) Erzeugen einer gewichteten ersten Zwischeninformation durch Gewichten der ersten Zwischeninformation (ZIl) mit zumindest einem ersten Gewichtungsfaktor (al) und einer gewichteten zweiten Zwischeninformation (GZI2) durch Gewichten der zweiten Zwischeninformation (ZI2) mit zumin- dest einem zweiten Gewichtungsfaktor (a2), wobei der zumindest eine erste Gewichtungsfaktor (al) durch eine vorgebbare Gewichtungsfunktion (GF (a2)) in Abhängigkeit von zumindest einem der zweiten Gewichtungsfaktoren (a2) gebildet wird; d) Eine Additionseinheit (AE) zum Erzeugen einer dritten Zwischeninformation (ZI3) durch Subtraktion der gewichteten Zwischeninformationen (GZIl, GZI2) von einer den zu kodierenden Bildbereich (PB) der zweiten Qualitätsstufe (Q2) repräsentierenden Bildinformation (PI);
16. Dekodiervorrichtung (DEC) zum Dekodieren eines ersten ko- dierten Datenstroms (CDl) und eines zweiten kodierten Datenstroms (CD2), wobei der erste kodierte Datenstrom (CDl) einen Bildbereich (PB) eines Bildes (P (n) ) einer Bildersequenz (Pl, ..., PN) in einer ersten Qualitätsstufe (Ql) mit einer Basisqualität und der zweite kodierte Datenstrom (CD2) den Bildbe- reich (PB) in einer zweiten Qualitätsstufe (Q2) mit einer zusammen mit dem ersten kodierten Datenstrom (CDl) gegenüber der Basisqualität verbesserten Qualität repräsentiert, wobei die kodierten Datenströme (CDl, CD2) insbesondere gemäß Anspruch 1 oder Anspruch 1 und zumindest einem der Ansprüche 3 bis 14 erzeugt wurden, insbesondere zum Durchführen eines Verfahrens gemäß einem der Ansprüche 2 bis 14, dadurch gekennzeichnet, dass folgende Einheiten eingesetzt werden: a) Ein erster Dekodierblock (DBl) zum Dekodieren der ersten kodierten Datenstroms (CDl) zum Rekonstruieren einer ersten Zwischeninformation (ZIl), wobei die erste Zwischeninformation einen rekonstruierten ersten Bildbereich (Bl ' ) der ersten Qualitätsstufe (Ql) für den Bildbereich (PB) repräsentiert; b) Ein zweiter Dekodierblock (DB2) zum Dekodieren des zweiten kodierten Datenstroms (CD2) zum Rekonstruieren eines rekonstruierten Restfehlers (RB2 ' ) der zweiten Qualitätsstufe (Q2) und zum Bereitstellen einer zweiten Zwischeninformation (ZI2), die einen geschätzten Bildbereich (MC(P2' (n- I)) des Bildbereichs (PB) in zumindest einem zum Bild
(P (n) ) zeitlich vorangegangenen oder zeitlich nachfolgenden Bild (P(n-l), P(n+1)) oder bereits rekonstruierten Bild (P2'(n-1)) der zweiten Qualitätsstufe (Q2) repräsentiert; c) Eine Gewichtungseinheit (GE) zum Erzeugen einer gewichte- ten ersten Zwischeninformation durch Gewichten der ersten Zwischeninformation (ZIl) mit zumindest einem ersten Gewichtungsfaktor (al) und einer gewichteten zweiten Zwischeninformation (GZI2) durch Gewichten der zweiten Zwischeninformation (ZI2) mit zumindest einem zweiten Gewichtungsfaktor (a2), wobei der zumindest eine erste Gewich- tungsfaktor (al) durch eine vorgebbare Gewichtungsfunktion (GF (a2)) in Abhängigkeit von zumindest einem der zweiten Gewichtungsfaktoren (a2) gebildet wird; d) Eine Additionseinheit (AE) zum Bereitstellen eines rekonstruierten zweiten Bildbereichs (B2 ' ) der zweiten Quali- tätsstufe (Q2) für den Bildbereich (PB) durch Summation der gewichteten ersten und zweiten Zwischeninformationen (GZIl, GZI2) und des rekonstruierten Restfehlers (RB2 ' ) der zweiten Qualitätsstufe.
PCT/EP2007/056982 2006-07-10 2007-07-09 Skalierbare videokodierung WO2008006806A2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102006032021.2 2006-07-10
DE200610032021 DE102006032021A1 (de) 2006-07-10 2006-07-10 Verfahren und Enkodiervorrichtung zum Kodieren eines Bildbereiches eines Bildes einer Bildsequenz in zumindest zwei Qualitätsstufen, sowie Verfahren und Dekodiervorrichtung zum De-kodieren eines ersten kodierten Datenstroms und eines zweiten kodierten Datenstroms

Publications (2)

Publication Number Publication Date
WO2008006806A2 true WO2008006806A2 (de) 2008-01-17
WO2008006806A3 WO2008006806A3 (de) 2008-05-29

Family

ID=38624569

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2007/056982 WO2008006806A2 (de) 2006-07-10 2007-07-09 Skalierbare videokodierung

Country Status (2)

Country Link
DE (1) DE102006032021A1 (de)
WO (1) WO2008006806A2 (de)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0596423A2 (de) * 1992-11-02 1994-05-11 Sony Corporation Gerät zur Schichtkodierung/-dekodierung für ein progressives Eingangsbildsignal
EP0644695A2 (de) * 1993-09-21 1995-03-22 AT&T Corp. Räumliche skalierbare Bildkodierung und -dekodierung
US5742343A (en) * 1993-07-13 1998-04-21 Lucent Technologies Inc. Scalable encoding and decoding of high-resolution progressive video
WO1999033274A1 (en) * 1997-12-19 1999-07-01 Kenneth Rose Scalable predictive coding method and apparatus

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10219640B4 (de) * 2001-09-14 2012-05-24 Siemens Ag Verfahren zum Codieren und Decodieren von Videosequenzen und Computerprogrammprodukt
EP1597919A1 (de) * 2003-02-17 2005-11-23 Koninklijke Philips Electronics N.V. Videocodierung

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0596423A2 (de) * 1992-11-02 1994-05-11 Sony Corporation Gerät zur Schichtkodierung/-dekodierung für ein progressives Eingangsbildsignal
US5742343A (en) * 1993-07-13 1998-04-21 Lucent Technologies Inc. Scalable encoding and decoding of high-resolution progressive video
EP0644695A2 (de) * 1993-09-21 1995-03-22 AT&T Corp. Räumliche skalierbare Bildkodierung und -dekodierung
WO1999033274A1 (en) * 1997-12-19 1999-07-01 Kenneth Rose Scalable predictive coding method and apparatus

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ATUL PURI ET AL: "SCALABLE VIDEO CODING IN SPATIAL DOMAIN" PROCEEDINGS OF THE PICTURE CODING SYMPOSIUM (PCS). LAUSANNE, MAR. 17 - 19, 1993, LAUSANNE, SFIT, CH, 17. März 1993 (1993-03-17), Seiten 191a-191b, XP000346424 *

Also Published As

Publication number Publication date
WO2008006806A3 (de) 2008-05-29
DE102006032021A1 (de) 2008-01-17

Similar Documents

Publication Publication Date Title
DE60031230T2 (de) Skalierbares videokodierungssystem und verfahren
DE69735838T2 (de) Videokodierer mit Transformationskoeffizientenprädiktion
DE19704439C2 (de) Verfahren und Vorrichtung zur Bewegungsschätzung in einem digitalen Videocodierer unter Verwendung von Trajektorien
WO2006024584A1 (de) Verfahren und vorrichtung zum codieren und decodieren
EP1815690A1 (de) Verfahren zur transcodierung sowie transcodiervorrichtung
DE60317670T2 (de) Verfahren und Vorrichtung zur 3D-Teilbandvideokodierung
DE69915843T2 (de) Teilbandkodierung/-dekodierung
WO2006015947A1 (de) Verfahren und vorrichtung zum codieren und decodieren
WO2006042612A1 (de) Vorrichtung und verfahren zum erzeugen einer codierten videosequenz und zum decodieren einer codierten videosequenz unter verwendung einer zwischen-schicht-restwerte-praediktion
DE10022520A1 (de) Verfahren zur örtlichen skalierbaren Bewegtbildcodierung
WO2007048666A2 (de) Verfahren und vorrichtungen zur bestimmung und rekonstruktion eines prädizierten bildbereichs
EP1285537B1 (de) Verfahren und eine anordnung zur codierung bzw. decodierung einer folge von bildern
EP1829378B1 (de) Bildencodierverfahren, sowie dazugehöriges bilddecodierverfahren, encodiervorrichtung und decodiervorrichtung
WO2000008601A1 (de) Verfahren und anordnung zur bewegungsschätzung in einem digitalisierten bild mit bildpunkten
WO2008006806A2 (de) Skalierbare videokodierung
DE10219640A1 (de) Verfahren zum Codieren und Decodieren von Videosequenzen und Computerprogrammprodukt
WO2001062009A1 (de) Verfahren und anordnung zur kodierung bzw. zur kodierung und dekodierung einer zahlenfolge
WO2001049038A1 (de) Verfahren, anordnung und computerprogrammerzeugnis zur prädiktion bei der codierung eines in bildblöcke unterteilten bildes
DE102004031407A1 (de) Verfahren zur Bildencodierung einer Folge von Originalbildern, sowie dazugehöriges Bilddecodierverfahren, Encodiervorrichtung und Decodiervorrichtung
DE102004063902B4 (de) Computerprogramm mit einem Verfahren zum Verarbeiten einer Gruppe von Bildern und mit einem Verfahren zum Verarbeiten eines Basisbildes und eines oder mehrerer Erweiterungsbilder
WO2001028252A1 (de) Progressive fehlertolerante codierung bzw. decodierung einer folge von bildern
WO2000046998A1 (de) Verfahren und anordnung zur transformation eines bildbereichs
DE102004011422B4 (de) Vorrichtung und Verfahren zum Verarbeiten einer Gruppe von Bildern und Vorrichtung und Verfahren zum Verarbeiten eines Basisbildes und eines oder mehrerer Erweiterungsbilder
DE19944300A1 (de) Verfahren, Anordnung und Computerprogrammerzeugnis zur Bewegungsschätzung bei der Codierung von einem Bildobjekt in einem Bild
DE10243568A1 (de) Verfahren zur skalierbaren Videocodierung eines Videobildsignals sowie ein zugehöriger Codec

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07787258

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: RU

122 Ep: pct application non-entry in european phase

Ref document number: 07787258

Country of ref document: EP

Kind code of ref document: A2