WO2006024584A1 - Verfahren und vorrichtung zum codieren und decodieren - Google Patents

Verfahren und vorrichtung zum codieren und decodieren Download PDF

Info

Publication number
WO2006024584A1
WO2006024584A1 PCT/EP2005/053709 EP2005053709W WO2006024584A1 WO 2006024584 A1 WO2006024584 A1 WO 2006024584A1 EP 2005053709 W EP2005053709 W EP 2005053709W WO 2006024584 A1 WO2006024584 A1 WO 2006024584A1
Authority
WO
WIPO (PCT)
Prior art keywords
block structure
cif
block
4cif
image
Prior art date
Application number
PCT/EP2005/053709
Other languages
English (en)
French (fr)
Inventor
Peter Amon
Andreas Hutter
Benoit Timmermann
Original Assignee
Siemens Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Aktiengesellschaft filed Critical Siemens Aktiengesellschaft
Priority to EP05764634A priority Critical patent/EP1782634A1/de
Priority to CN2005800290041A priority patent/CN101010961B/zh
Priority to US11/661,265 priority patent/US8290058B2/en
Priority to JP2007528814A priority patent/JP2008511226A/ja
Priority to KR1020077004134A priority patent/KR101240441B1/ko
Publication of WO2006024584A1 publication Critical patent/WO2006024584A1/de

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Definitions

  • the invention relates to a method for video coding according to the preamble of claim 1, a method for decoding according to the preamble of claim 22 and coders for video coding according to the preamble of claim 23 and a decoding device according to the preamble of claim 24th
  • Digital video data is usually compressed for storage or transmission in order to significantly reduce the enormous volume of data.
  • the compression takes place both by eliminating the signal redundancy contained in the video data and by eliminating the irrelevant signal parts which are imperceptible to the human eye.
  • This is generally achieved by a hybrid coding method in which the image to be coded is first predefined in time and the remaining prediction error is then transformed into the frequency domain, for example by a discrete cosine transform, quantized there and by a variable coding method Length code is encoded. The motion information and the quantized spectral coefficients are finally transmitted.
  • An essential task in the compression of video data is thus to obtain the most accurate possible prediction of the picture to be coded from the previously transmitted picture information.
  • the prediction of an image has hitherto been effected by initially dividing the image, for example, into regular sections, typically square blocks of size 8 ⁇ 8 or 16 ⁇ 16 pixels, and then prediction for each of these picture blocks from that already known in the receiver Image information is determined by motion compensation. (However, blocks of different size may also result.) Such an approach can be taken from FIG. Two basic cases of prediction can be distinguished:
  • - Uni-directional prediction The motion compensation takes place here exclusively on the basis of the previously transmitted image and leads to so-called "P-frames".
  • Bi-directional prediction The prediction of the image is done by superimposing two images, one of which is temporally forward and another follows in time and which leads to so-called "B-frames". It should be noted here that both reference pictures have already been transferred.
  • motion-compensated temporal filtering yields five directional modes in the method of MSRA [1], as can be seen in FIG.
  • MCTF-based scalable video coding is used to ensure good video quality for a very wide range of possible bit rates as well as temporal and spatial resolution levels.
  • the MCTF algorithms known today show unacceptable results for reduced bit rates, which is due to the fact that too little texture (block information) in relation to the information which relates to the motion information (block structures and motion vectors) a sequence of defined videos refer to exist. It therefore requires a scalable form of motion information in order to achieve an optimum relationship between texture and motion data at any bit rate and also resolution.
  • MSRA Microsoft Research Asia
  • the MSRA solution proposes to present movements in layers, or to dissolve them in successively refined structures.
  • the MSRA method thus achieves that the quality of images at low bit rates is generally improved.
  • Shifts in the reconstructed image lead, which are attributable to an offset between the movement information and the textures.
  • the object underlying the invention is to provide a method for coding and decoding, as well as an encoder and decoder, which enable better embedding of refined structures.
  • This object is achieved on the basis of the method of coding according to the preamble of claim 1 by its characterizing features nenden. Furthermore, this object is achieved by a method for decoding according to the preamble of An ⁇ claim 22, the encoder according to the preamble of claim 23 and the decoder according to the preamble of claim 24 by their features.
  • the coding is block-based such that for a description of any contained in the image sequence movement of parts of the images at least one movement descriptive Block structure er ⁇ is generated, which is designed such that it is divided starting from a block in sub-blocks partially with the sub-blocks successively finer sub-dividing sub-blocks, temporarily for at least a first resolution level a first block structure and for a second resolution level a second block structure r, wherein the first resolution level has a lower number of pixels and / or image quality than the second resolution level.
  • the second block structure is compared with the first block structure such that differences in the block structure are determined so that a modified second block structure is generated on the basis of properties of the structure differences such that their structure represents a subset of the second block structure. Subsequently, the modified second block structure and the second block structure are compared on the basis of at least one value proportional to a quality of the image and based on that block structure of the coding of the bit sequence whose value is directly proportional to a better quality.
  • the difference between texture information is minimized and, moreover, this information can be coded with minimal effort.
  • the offset disappears for the cases where, for example, the finest motion vector field has been selected, so that an improvement in image quality is ensured even at lower bit rates and lower resolutions.
  • the comparisons according to the invention ensure, above all, through the comparison, that a step-by-step adaptation and, above all, an optimal adaptation between a motion estimation and the embeddedness of residual-error images is achieved.
  • it is characterized by its special efficiency.
  • sub-blocks added to this difference detection are preferably detected, the properties of the sub-blocks being detected alternatively or additionally to the difference determinations.
  • the block size of the subblocks is detected as a subblock property, one obtains a very good indicator in practice of the degree of fineness of the block structures produced.
  • the differences of the texture information can be further reduced.
  • a definable threshold value preferably only those subblocks of the second block structure are taken over into the modified second block structure whose block size reaches a definable threshold value.
  • the threshold value is preferably defined such that it indicates a ratio of the block size of a sub-block of the second block structure to a block size contained in a region of the first block structure used for comparison, which block is assigned to the smallest sub-block of the area.
  • the acquired sub-blocks can be non-dyadic.
  • a further improvement of the results with respect to the representation of the decoded image can be achieved if the modified second block structure of the second resolution step is used as the first block structure of a third resolution step, wherein the second resolution step has a lower pixel count and / or image quality than the second resolution block third resolution level.
  • possible further block structures of higher resolution levels are used for generating the modified second block structure, in which the modified second block structure of the respectively preceding resolution stage is used for the comparison according to the invention.
  • the identification takes place by the use of a direction mode, which is referred to in particular as "not_refind".
  • a bit stream is generated during the encoding of the bit sequence in such a way that it represents a scalable texture, wherein this is preferably achieved in that the bit stream is realized by a number of bit planes and in particular at least depends on Comparison result is varied as well as by a to be realized for a transmission bit rate. This achieves adapted SNR scalability.
  • At least a first part of the bit planes representing the second block structure is updated. This ensures that the corresponding second modified block structure is available on the decoder side.
  • the update can be carried out, for example, such that the transmission of a second part takes place or alternatively that the first part is modified by a second part of bit planes.
  • the updating is preferably carried out in such a way that those regions of a texture associated with the second block structure are refined, which are defined by the modified second block structure, so that in the final result a good image quality is available even for different spatio-temporal resolutions or bit rates without being subject to drift, which arises due to an offset between motion vector fields and residual error blocks, which do not make use of the refinement of the block structures.
  • Additional support for the finer granularity is achieved if, at a high bit rate, a second number of bit planes exceeding the number is transmitted.
  • the object on which the invention is based is also achieved by the method for decoding a coded image sequence by taking into account the information contained in the image sequence according to a method, in particular the information described above for updating motion information, and a scalable one Texture representing bitstream is a scaled representation of the image sequence is generated.
  • the coder according to the invention which has means for carrying out the method, and a corresponding decoder, which has means for decoding a coded picture sequence generated according to the method, also contribute to achieving the object.
  • the decoder preferably has means for detecting scalable texturizing parts of the bit stream indicating first signals, and additionally means for detecting second signals indicating regions to be updated, wherein the signals are each designed in particular as syntax elements.
  • the decoder has means for determining those bit planes at which an update leads to improvements in a representation of the coded image sequence and alternatively or additionally has means for determining the bit plane at which the update of a texture is to take place to precisely reconstruct refined or scalable representation of the image sequence.
  • the decoder has means for updating a texture which are configured in such a way that consideration of updated motion information takes place, the elimination of the offset achieved by the inventive method for encoding can be ensured in the scalable representation of the image sequence generated on the decoder side.
  • the decoder is preferably characterized by updating means which are configured in such a way that an updated texture is formed from an existing texture in such a way that the updated texture information is formed from the texture information assigned to the texture and a texture update information, wherein the update are designed such that the Texturinforma ⁇ tion is at least partially replaced by the texture update information.
  • FIG. 1 shows the model of a motion estimation for generating scalable motion information
  • FIG. 2 shows the directional modes necessary for this
  • FIG. 3 shows the subblock sizes used here
  • FIG. 4 shows the schematic representation of block structures produced according to the invention
  • FIG. 5 shows schematically the decision according to the invention about updates
  • FIG. 6 schematically shows the generation according to the invention of an updated bistream
  • FIG. 1 schematically shows the MSRA solution known from the prior art, which is explained for a better understanding of the invention, since it is used at least in part in the described embodiment.
  • the mentioned multilayer motion estimation is performed in each temporary layer.
  • the motion estimation is realized with a fixed spatial resolution with different macroblock sizes, so that the resulting motion vector field adapts to the decoded resolution.
  • the motion estimation is performed at the resolution level of the CIF format or CIF resolution, respectively with a block size of 32 x 32 as a base and with a macroblock size of 8 x 8 as the smallest block size.
  • the decoded format is the CIF format
  • the size of the macroblocks is scaled down by a factor of 2, as can be seen from FIG.
  • the original motion vectors are transmitted in the lower branch of the processing shown there for the decoding of the block present in QCIF format, while for each higher layer, for example those for the decoding of the CIF block is used, only the difference information with respect to the motion vectors is used.
  • a single motion vector of a lower layer can be used to predict a plurality of vectors of the higher layer if the block is split up into smaller subblocks.
  • FIG. 3 shows that the block structures are coded according to the MSRA method according to the same method as described in FIG Standard MPEG-4 AVC (Advanced Video Coding) [2] is used.
  • the motion estimation which belongs to the higher resolutions, is regarded as enriching information (enhancement layer / information) on the basis of a detection of the coarse movement information. Since the result obtained by the coarse motion vector field If the residual error block contains a large amount of energy, only that residual error block is transmitted which is generated after the feinsth movement compensation. This leads, especially when the coarse motion information is selected, to very strong artifacts in the reconstructed residual error image, even when the bit rate is high.
  • FIG. 4 shows how temporary block structures generated according to the invention lead, using the method according to the invention, to block structures which are ultimately to be transmitted.
  • each of these block structures is in each case assigned to a resolution level, resolution level designating the format of the resolution with which a video signal encoded by the method according to the invention, which consists of image sequences, can be represented.
  • these are the Common Intermediate Format (CIF), the QCIF and the 4CIF format.
  • QCIF represents a first resolution stage, that is to say the lowest resolution stage for the resolution stage selected according to the invention, so that according to the invention a first block structure MV_QCIF is assigned to it, while CIF represents a second resolution stage, for the invention a second block structure MV_CIF is produced.
  • the block structures are generated in the context of a motion estimation algorithm, for example using the already mentioned MCTF and / or MSRA method. It can also be seen that the temporary block structures MV_QCIF, MV_CIF and MV_4CIF have successively refined sub-block structures, which are characterized by sub-blocks which are becoming increasingly finer, based on sub-blocks MB_QCIF, MV_CIF and MV_4CIF respectively defined for each temporary block structure MV_QCIF, MV_CIF and MV_4CIF added.
  • FIG. 4 also shows the block structures MV_QCIF, MV_CIF and MV_4CIF to be transmitted or, finally, transmitted, for example for a streaming application, which are generated from the temporary block structures MV_QCIF using the method according to the invention.
  • MV_CIF and MV 4CIF are generated by respectively comparing a block structure belonging to a high resolution stage with a block structure belonging to a next lower resolution stage and, as a result, generating a modified block structure belonging to the considered resolution stage which has subblock structures which only contains a subset of the temporal block structure belonging to the same resolution step, this not being a true subset, which would preclude the case that the subblock structure of the modified block structure with the subblock structure of the corresponding temporary block str but rather, since it is even the case that this special case can also occur according to the method according to the invention, it is merely a (simple) partial quantity known, for example, from mathematics.
  • the generation of a block structure belonging to the lowest resolution stage is started.
  • the modified block structure MV QCIF results directly from this first block structure MV_QCIF, since, of course, no comparison with a previous block structure can be made for this case.
  • the directly resulting modified block structure MV_QCIF therefore has the same subblock structure as the first block structure MV QCIF.
  • a second block structure MV_CIF is generated. It can be seen that additional subblocks have been added to the second block structure MV CIF, which lead to a finer subblock structure, as compared to the first block structure MV QCIF auf ⁇ has.
  • the sub-blocks or sub-block structures that have been added are shown in phantom in the figure.
  • a comparison is therefore carried out in a next step, in which the added sub-blocks are checked as to whether they have a block size that is more than four times smaller than the smallest one
  • Block size of the corresponding subarea of the first block structure is a block size of the corresponding subarea of the first block structure.
  • the corresponding subblock structure is included in a modified second block structure MV_CIF, whereas in cases where the subblock to be examined represents less refinement, the acquisition of the subblock structure in the modified second block structure to be transferred is dispensed with.
  • the first sub-block SB1 is located in a first sub-block MB1_CIF of the second block structure MV_CIF. Accordingly, according to the invention, the first sub-block MB1_QCIF corresponding to the first sub-block MB1_CIF of the second block structure MV CIF is examined, which is the smallest sub-block size occurring here. In the present example, this minimum block size is defined by a minimum first subblock MIN SB1. As can be seen, the size of the first sub-block corresponds to the size of the first minimum sub-block, so there is no refinement in this case. Accordingly, according to the invention, the subblock structure underlying the first subblock is not adopted in the second block structure MV_CIF to be transmitted, so that in the illustration according to FIG. 4 the second modified block structure MV_CIF lacks the dot-dash grid at the corresponding position.
  • a second sub-block SB2 is used for the comparison. Since the second sub-block SB2 is contained in a fourth sub-block MB4_CIF of the second block structure MV CIF, a search is made for a minimum sub-block size in a fourth sub-block MB4_QCIF of the first block structure MV QCIF. This is given by a second minimum sub-block MIN_SB2, which in this case exactly divides the fourth sub-block MB4 QCIF of the first block structure MV_QCIF.
  • the size of the second sub-block SB2 represents one-eighth of the size of the minimum second sub-block MIN_SB2, so that even an eightfold refinement is given compared to the first block structure MV_QCIF.
  • the subblock structure defining the second subblock is also adopted in the modified second block structure MV 'CIF.
  • the same happens for all those Blocks of the second block structure MV CIF can be seen in the illustration according to FIG. 4 on the dashed structures of the modified second block structure MV 'CIF.
  • a block structure MV 4CIF is also generated for the 4CIF format. According to the invention, this is again used as a second block structure, while the first block structure is given by the preceding second block structure MV_CIF.
  • the second modified block structure MV'_4CIF resulting from the comparison of the two block structures has again been refined in the representation of FIG. 4 only by a part of the added subblock structures, which are dotted in the illustration.
  • Modified second block structure can be used as a first block structure.
  • the data rates for the motion information for the various local resolution levels are set by a parameter, so that an optimum ratio of the data rate for motion information and texture information results at each resolution level.
  • the invention is not based on the exemplary embodiment explained with reference to FIG. 4, but encompasses all implementations which come within the scope of expert knowledge and which comprise the core according to the invention:
  • An essential advantage of the algorithm according to the invention is the improvement of the image quality even at low bit rates as well as at low resolutions.
  • FIG. 5 now shows which method steps are taken as a basis for the signaling explained above or also for the bitstream generation, as explained below.
  • the novel block mode proposed according to the invention shows whether a block structure for a currently considered motion vector field is to be used for the following movement. has to be split up. Because of these block modes, it is therefore possible to locate the regions in which a current residual error block which differs from a previous residual error block associated with a lower layer.
  • the blocks associated with these regions are then compared with the blocks located at the same positions within the preceding residual error block and the difference is encoded for this purpose.
  • bit stream is generated for this purpose before the transmission, so that all the information available on the encoder side can be used optimally.
  • a comparison is carried out in the sense of an evaluation in which it is determined whether a motion vector field (block structure) must be refined or not.
  • IT block-based transformation
  • the goal of this bitstream generation according to the invention is to achieve a good image quality for various spatial conditions. to ensure lent / temporal resolution levels or bit rates, without a drift, which can be caused by an offset zwi ⁇ rule a motion vector field and a residual error block. Schematically, therefore, the steps are shown with which this is achieved according to the invention.
  • the illustrated embodiment starts from an initialization state in which a specific number of motion vector fields with corresponding residual error blocks have been generated on the encoder side. For example, a first motion vector field MVF1 and a first refined motion vector field MVF1 'for a QCIF resolution, the first refined motion vector field MVF1' and (not shown) a second motion vector field for a CIF
  • Bite planes BTPL1 ... BTPLN + M which represent the residual error block. Furthermore, the number is limited by the decision explained in the introduction about a refinement of the blocks.
  • the number of bit planes is limited to a number N. If, according to the evaluation according to the invention, the decision is made that a refinement is required, the first motion vector field MVF1 is refined in such a way that the refined motion vector field MVF1 'is generated. In such a case it is therefore necessary that the first torfield MVFl is updated ("updated") in order to prevent an offset between the motion vector fields and the respective textures.
  • bit planes BTPL1... BTPLN have usually already been transmitted. Up to a certain limit value BTPLn, the bit planes which represent the non-refined residual error blocks (BTPL1-BTPLn) need not be modified. On reaching this limit BTPLn, on the other hand, the next following bit planes BTPLn... BTPLN are updated according to the exemplary embodiment.
  • bit plane which represents the last bit plane of the unrefined residual error blocks, BTPLn and extends to the bit plane, which is already transmitted BTPLN.
  • the update is carried out in such a way that the regions which belong to the refined parts REFINEMENT are updated in such a way that they coincide with the subsequent motion vector field, i. according to the illustrated embodiment, the first refined vector field MVFl 'match.
  • the number of bit planes BTPLN + 1 to BTPLN + M which exceeds the already transmitted bit plane number BTPLN can additionally be transmitted.
  • This concept is repeated for each spatial resolution and / or quality level and thereby enables finer granularity of a signal-to-noise scalability (SNR scalability).
  • SNR scalability signal-to-noise scalability
  • the SNR and spatial scalability should also be combined here, if e.g. it is erforder ⁇ Lich to decode a (video) bitstream at CIF resolution ren and this is done at lower bit rate, the first modified motion vector field MVFl 'from the QCIF resolution to the CIF resolution upscaled.
  • an inverse wavelet transformation or an interpolation is performed in order to achieve a higher spatial resolution of the texture TEXTUR1, TEXTURE '1.
  • the SNR scalability in CIF resolution is achieved by coding the bit planes of the difference between the original refined CIF residual error block and a QCIF bit plane refined by interpolated or inverse wavelet transforms. If the decision as to whether refinement is positive in the CIF resolution is followed by the same strategy as explained in the above-described method for QCIF. The same applies to a scaling from CIF to 4CIF.
  • the SNR scalability is generated by bitwise representation of the texture information according to the example described above, but is not limited thereto, as it may also be alternative scalable texture representations can be achieved.
  • the maximum number of bit planes that occur before refinement may differ for each spatial resolution.
  • more than one update can take place within a spatial resolution level if more than two layers of the motion information are used for this spatial resolution level.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

Bei dem erfindungsgemässen Verfahren zur Videocodierung von Bildfolgen, bei dem Bilder der Bildfolge derart skaliert codiert werden, dass die sich ergebenden Videodaten Informationen enthalten, die eine Darstellung der Bilder in einer Vielzahl sich unterscheidender Stufen von einer durch die Anzahl von Bildpunkten je Bilddarstellung definierten Auflösung der Bilder und/oder Bildqualitäten (z.B. abhängig von der Datenrate) gewährleisten, wobei die Codierung derart blockbasiert erfolgt, dass für eine Beschreibung einer etwaigen in der Bildfolge enthaltenen Bewegung von Teilen eines der Bilder zumindest eine die Bewegung beschreibende Blockstruktur erzeugt wird, die derart ausgestaltet ist, dass sie ausgehend von einem Block in Teilblöcke zum Teil mit die Teilblöcke sukzessive feiner unterteilenden Subblöcken unterteilt wird, wird temporär für zumindest eine erste Auflösungsstufe eine erste Blockstruktur und für eine zweite Auflösungsstufe eine zweite Blockstruktur erzeugt, wobei die erste Auflösungsstufe eine niedrigere Bildpunktanzahl und/oder Bildqualität aufweist als die zweite Auflösungsstufe. Ferner wird die zweite Blockstruktur mit der ersten Blockstruktur derart verglichen, dass Unterschiede in der Blockstruktur ermittelt werden, so dass auf Grundlage von Eigenschaften der Strukturunterschiede eine modifizierte zweite Blockstruktur derart erzeugt wird, dass deren Struktur eine Teilmenge der zweiten Blockstruktur darstellt. Anschliessend werden die modifizierte zweite Blockstruktur und zweite Blockstruktur anhand zumindest eines zu einer Qualität des Bildes proportionalen Wertes verglichen und diejenige Blockstruktur der Codierung der Bitfolge zugrunde gelegt, dessen Wert direkt proportional zu einer besseren Qualität ist.

Description

VERFAHREN UND VORRICHTUNG ZUM CODIEREN UND DECODIEREN
Die Erfindung betrifft ein Verfahren zur Videocodierung gemäß dem Oberbegriff des Anspruchs 1, ein Verfahren zur Decodie- rung gemäß dem Gattungsbegriff des Anspruchs 22 sowie Codie¬ rer zur Videocodierung gemäß dem Gattungsbegriff des An- spruchs 23 und eine Decodiervorrichtung gemäß dem Gattungs¬ begriff des Anspruchs 24.
Digitale Videodaten werden für eine Speicherung oder Übertra¬ gung in der Regel komprimiert, um das enorme Datenvolumen signifikant zu reduzieren. Die Kompression erfolgt dabei so¬ wohl durch Elimination der in den Videodaten enthaltenen Sig¬ nalredundanz als auch durch Beseitigung der für das menschli¬ che Auge nicht wahrnehmbaren irrelevanten Signalteile. Dies wird in der Regel durch ein hybrides Codierverfahren er- reicht, bei dem das zu codierende Bild zunächst zeitlich prä- diziert und der verbleibende Prädiktionsfehler anschließend in den Frequenzbereich, zum Beispiel durch eine diskrete Co¬ sinustransformation, transformiert und dort quantisiert und durch einen variablen Längencode codiert wird. Die Bewegungs- information und die quantisierten Spektralkoeffizienten wer¬ den schließlich übertragen.
Je besser diese Vorhersage der nächsten zu übertragenden Bildinformation ist, desto kleiner ist der nach der Prädikti- on verbleibende Prädiktionsfehler und um so weniger Datenrate muss anschließend für die Codierung dieses Fehlers aufgewen¬ det werden. Eine wesentliche Aufgabe bei der Kompression von Videodaten besteht also darin, eine möglichst exakte Prädik¬ tion des zu codierenden Bildes aus der bereits zuvor übertra- genden Bildinformation zu gewinnen. Die Prädiktion eines Bildes wird bisher dadurch bewirkt, dass das Bild zunächst zum Beispiel in regelmäßige Teilstücke, ty¬ pischerweise quadratische Blöcke der Größe 8x8 oder 16x16 Bildpunkte, eingeteilt wird, und für jeden dieser Bildblöcke anschließend eine Prädiktion aus der bereits im Empfänger be¬ kannten Bildinformation durch Bewegungskompensation ermittelt wird. (Es können sich allerdings auch Blöcke mit unterschied¬ licher Größe ergeben.) Derartige Vorgehensweise lässt sich der Figur 1 entnehmen. Es können hierbei zwei grundsätzliche Fälle der Prädiktion unterschieden werden:
- Uni-direktionale Prädiktion: Die Bewegungskompensation erfolgt hier ausschließlich auf der Basis des zuvor ü- bertragenden Bildes und führt zu sogenannten "P-Frames". - Bi-direktionale Prädiktion: Die Prädiktion des Bildes erfolgt durch Überlagerung von zwei Bildern, von denen eines zeitlich voran liegt und ein weiteres zeitlich nachfolgt und das zu sogenannten "B-Frames" führt. Zu beachten ist hierbei, dass beide Referenzbilder bereits übertragen worden sind.
Entsprechend dieser beiden möglichen Fälle der Prädiktion er¬ geben sich bei bewegungskompensierten zeitliche Filterungen („Motion Compensated Temporal Filtering", MTCF) fünf Rich- tungsmodi im Verfahren von MSRA [1] wie sie in Figur 2 zu entnehmen ist.
MCTF-basierte skalierbaren Videocodierung wird eingesetzt, um eine gute Videoqualität für einen sehr großen Bereich mögli- eher Bitraten und auch zeitlichen und örtlichen Auflösungs¬ stufen zu gewährleisten. Die heute bekannten MCTF-Algorithmen zeigen dabei aber unakzeptable Ergebnisse für reduzierte Bit¬ raten, was darauf zurückzuführen ist, dass zu wenig Textur (Blockinformationen) im Verhältnis zu den Informationen, wel- che auf die Bewegungsinformationen (Blockstrukturen und Bewe¬ gungsvektoren) eines durch eine Bildfolge definierten Videos Bezug nehmen, vorhanden sind. Es bedarf daher einer skalierbaren Form der Bewegungsinforma¬ tion, um ein optimales Verhältnis zwischen Textur und Bewe¬ gungsdaten bei jedweder Bitrate und auch Auflösung zu erzie- len. Hierzu ist aus [1] eine Lösung von MSRA (Microsoft Re¬ search Asia) bekannt, welche den aktuellen Stand der MCTF- Algorithmen darstellt.
Dabei schlägt die MSRA-Lösung vor, Bewegungen schichtenweise darzustellen, respektive sie in sich sukzessive verfeinerten Strukturen aufzulösen. Das MSRA-Verfahren erzielt damit, dass die Qualität von Bildern bei niedrigen Bitraten im Allgemei¬ nen verbessert wird.
Diese Lösung hat jedoch den Nachteil, dass sie zu einigen
Verschiebungen im rekonstruierten Bild führen, welche auf ei¬ nen Versatz zwischen den Bewegungsinformationen und der Tex¬ tur zurückzuführen sind.
Eine Verbesserung hierzu ist aus der deutschen
Patentanmeldung mit dem Aktenzeichen 10 2004 038 110.0 be¬ kannt.
Bei dem dort beschriebenen Verfahren, welches insbesondere ein gemäß MSRA erzeugtes komplettes Bewegungsvektorfeld (Tem¬ poräre Blockstrukturen MV_QCIF, MV_CIF und MV_4CIF) , das en- coderseitig definiert wird, eben nicht komplett überträgt, sondern vielmehr lediglich den signifikantesten Teil dieses Bewegungsvektorfelds. Die Erzeugung des signifikantesten Teils wird dabei durch eine Art Verfeinerung der Blockstruk¬ turen erwirkt, die dadurch erreicht wird, dass auf Grund von Struktureigenschaften nur Teile der Strukturunterschiede zwi¬ schen aufeinander folgenden Blockstrukturen ermittelt und zur Erzeugung von verfeinerten Blockstrukturen verwendet werden.
Problematisch ist hierbei, dass nicht jede durch verfeinerte Blockstruktur und zugehöriger Textur erreichte visuelle Qua- lität gegenüber einer durch eine entsprechende Grundstruktur und zugehöriger Textur erreichbaren visuellen Qualität eine Steigerung bedeutet.
Die der Erfindung zugrunde liegende Aufgabe ist es ein Ver¬ fahren zum Codieren und Decodieren, sowie einen Codierer und Decoder anzugeben, welche eine bessere Einbettung verfeiner¬ ter Strukturen ermöglichen.
Diese Aufgabe wird ausgehend von dem Verfahren zur Codierung gemäß dem Oberbegriff des Anspruchs 1 durch dessen kennzeich¬ nende Merkmale gelöst. Ferner wird diese Aufgabe durch ein Verfahren zur Decodierung gemäß dem Gattungsbegriff des An¬ spruchs 22, dem Codierer gemäß dem Gattungsbegriff des An- spruchs 23 sowie dem Decodierer gemäß dem Gattungsbegriff des Anspruchs 24 durch deren Merkmale gelöst.
Bei dem erfindungsgemäßen Verfahren zur Videocodierung von Bildfolgen, bei dem Bilder der Bildfolge derart skaliert co- diert werden, dass die sich ergebenden Videodaten Informatio¬ nen enthalten, die eine Darstellung der Bilder in einer Viel¬ zahl sich unterscheidender Stufen von einer durch die Anzahl von Bildpunkten je Bilddarstellung definierten Auflösung der Bilder und/oder Bildqualitäten (z.B. abhängig von der Daten- rate) gewährleisten, wobei die Codierung derart blockbasiert erfolgt, dass für eine Beschreibung einer etwaigen in der Bildfolge enthaltenen Bewegung von Teilen eines der Bilder zumindest eine die Bewegung beschreibende Blockstruktur er¬ zeugt wird, die derart ausgestaltet ist, dass sie ausgehend von einem Block in Teilblöcke zum Teil mit die Teilblöcke sukzessive feiner unterteilenden Subblöcken unterteilt wird, wird temporär für zumindest eine erste Auflösungsstufe eine erste Blockstruktur und für eine zweite Auflösungsstufe eine zweite Blockstruktur erzeugt, wobei die erste Auflösungsstufe eine niedrigere Bildpunktanzahl und/oder Bildqualität auf¬ weist als die zweite Auflösungsstufe. Ferner wird die zweite Blockstruktur mit der ersten Blockstruktur derart verglichen, dass Unterschiede in der Blockstruktur ermittelt werden, so dass auf Grundlage von Eigenschaften der Strukturunterschiede eine modifizierte zweite Blockstruktur derart erzeugt wird, dass deren Struktur eine Teilmenge der zweiten Blockstruktur darstellt. Anschließend werden die modifizierte zweite Block¬ struktur und zweite Blockstruktur anhand zumindest eines zu einer Qualität des Bildes proportionalen Wertes verglichen und diejenige Blockstruktur der Codierung der Bitfolge zugrunde gelegt, dessen Wert direkt proportional zu einer besseren Qualität ist.
Durch diese Verfahrensweise wird der Unterschied zwischen Texturinformationen minimiert und zudem lassen sich diese In¬ formationen mit minimalem Aufwand codieren. Zudem verschwin- det der Versatz für die Fälle, wo beispielsweise das feinste Bewegungsvektorfeld gewählt worden ist, so dass eine Verbes¬ serung der Bildqualität auch bei niedrigeren Bitraten sowie niedrigeren Auflösungen gewährleistet ist.
Durch das erfindungsgemäße Vergleichen wird des Weiteren vor allem durch den Vergleich gewährleistet, dass eine schritt¬ weise sich immer besser anpassende und vor allem eine optima¬ le Anpassung zwischen einer Bewegungsschätzung und der Einge¬ bettetheit von Restfehlerbildern erreicht wird. Zudem zeich- net es sich durch besondere Effizienz aus.
Vorzugsweise werden hierzu zur Unterschiedsermittlung hinzu¬ gekommene Subblöcke erfasst, wobei zu den Unterschiedsermitt¬ lungen alternativ bzw. ergänzend die Eigenschaften der Sub- blocke erfasst werden.
Wird als Subblockeigenschaft die Blockgröße der Subblöcke er¬ fasst, erhält man einen in praxi sehr guten Indikator für den Grad der Feinheit der erzeugten Blockstrukturen.
Wird für die Unterschiedsermittlung nur derjenige Teilblock der ersten Blockstruktur herangezogen, der dem Teilblock der zweiten Blockstruktur entspricht, können die Differenzen der Texturinformationen noch weiter reduziert werden.
Hierbei werden vorzugsweise nur diejenigen Subblöcke der zweiten Blockstruktur in die modifizierte zweite Blockstruk¬ tur übernommen, deren Blockgröße einen definierbaren Schwell¬ wert erreichen. Hierdurch wird erreicht, dass nicht eine kom¬ plette Blockstruktur, d.h. ein komplettes Bewegungsvektorfeld übertragen werden muss, sondern lediglich der signifikanteste Teil der Struktur. Dies führt zum einen zu einer Reduzierung der zu übertragenen Information und zudem trotz dieser Reduk¬ tion zu einer Eliminierung bzw. Reduktion des Versatzes, so dass Artefakte im encodierten Bild reduziert bzw. eliminiert werden. In praxi ist dabei der Einsatz eines definierbaren Schwellwertes von besonders großem Vorteil, da beispielsweise durch Simulation oder Experimentalversuche ermittelte optima¬ le Werte hier eingestellt werden können, von denen aufgrund der Ergebnisse der Simulation bzw. Experimente sehr gute Er¬ gebnisse zu erwarten sind.
Bevorzugt wird dabei der Schwellwert derart definiert, dass er ein Verhältnis der Blockgröße eines Subblocks der zweiten Blockstruktur zu einer in einem zum Vergleich herangezogenen Bereich der ersten Blockstruktur enthaltenen Blockgröße an- gibt, welche dem kleinsten Subblock des Bereiches zugeordnet ist.
Des Weiteren wird bei einer Weiterbildung vorgesehen, zu kennzeichnen, dass die übernommenen Subblöcke nicht-dyadisch sein können.
Eine weitere Verbesserung der Ergebnisse hinsichtlich der Darstellung des decodierten Bildes lässt sich erreichen, wenn als erste Blockstruktur einer dritten Auflösungsstufe die mo- difizierte zweite Blockstruktur der zweiten Auflösungsstufe verwendet wird, wobei die zweite Auflösungsstufe eine niedri¬ gere Bildpunktanzahl und/oder Bildqualität aufweist als die dritte Auflösungsstufe. Hiermit werden also mögliche weitere Blockstrukturen höherer Auflösungsstufen zur Erzeugung der modifizierten zweiten Blockstruktur herangezogen, bei denen die modifizierte zweite Blockstruktur der jeweils vorherge- henden Auflösungsstufe zum erfindungsgemäßen Vergleich ver¬ wendet wird.
Für eine Decodierung von Vorteil ist es auch, dass die Codie¬ rung derart erfolgt, dass in die zweite modifizierte Block- struktur nicht übernommene Subblöcke jeweils gekennzeichnet werden.
Hierzu ist es vorzugsweise vorgesehen, dass die Kennzeichnung durch die Verwendung eines insbesondere als ,,not_refind" be- zeichneten Richtungsmodus erfolgt.
Bei einer Weiterbildung der Erfindung wird im Rahmen der Co¬ dierung der Bitfolge ein Bitstrom derart erzeugt, dass er ei¬ ne skalierbare Textur repräsentiert, wobei dies vorzugsweise dadurch erfolgt, dass der Bitstrom durch eine Anzahl von Bit¬ ebenen realisiert sowie insbesondere zumindest abhängig vom Vergleichsergebnis sowie von einer für eine Übertragung zu realisierenden Bitrate variiert wird. Hierdurch wird eine an- gepasste SNR Skalierbarkeit erreicht.
Wird zudem noch die Anzahl der Bitebenen in Abhängigkeit der Auflösungsstufe variiert, wird eine feine Granularität der SNR Skalierbarkeit gewährleistet.
Vorteilhaft ist es dabei auch, wenn im Fall der direkten Pro¬ portionalität des Wertes der modifizierten zweiten Block¬ struktur zumindest ein erster Teil der die zweite Blockstruk¬ tur repräsentierenden Bitebenen aktualisiert wird. Hierdurch wird erreicht, dass decoderseitig die entsprechende zweite modifizierte Blockstruktur zur Verfügung steht. Dabei kann die Aktualisierung beispielsweise derart erfolgen, dass die Übertragung eines zweiten Teils erfolgt oder alter¬ nativ, dass der erste Teil durch einen zweiten Teil von Bit- ebenen modifiziert wird.
Vorzugsweise erfolgt die Aktualisierung dabei derart, dass diejenigen Regionen einer der zweiten Blockstruktur zugeord¬ neten Textur verfeinert werden, die durch die modifizierte zweite Blockstruktur definiert sind, so dass hierdurch im Endergebnis eine gute Bildqualität selbst für verschiedene örtlich-zeitliche Auflösungen bzw. Bitraten zur Verfügung steht, ohne dabei einer Drift zu unterliegen, welche durch einen Versatz zwischen Bewegungsvektorfeldern und Restfehler- blocken, welche die Verfeinerung der Blockstrukturen nicht nutzen, entsteht.
Eine zusätzliche Stützung der feineren Granularität wird er¬ reicht, wenn bei einer hohen Bitrate eine über die Anzahl hinausgehende zweite Anzahl von Bitebenen übertragen wird.
Die der Erfindung zugrunde liegende Aufgabe wird auch durch das Verfahren zum Decodieren einer codierten Bildfolge da¬ durch gelöst, dass unter Berücksichtigung der in der Bildfol- ge enthaltenen nach einem Verfahren, insbesondere dem oben beschriebenen, zum Aktualisieren von Bewegungsinformationen erzeugten Informationen sowie einem eine skalierbare Textur repräsentierenden Bitstrom eine skalierte Darstellung der Bildfolge erzeugt wird.
Einen Beitrag zur Lösung der Aufgabe leisten auch der erfin¬ dungsgemäße Codierer, welcher Mittel zur Durchführung des Verfahrens aufweist sowie ein entsprechender Decodierer, wel¬ cher Mittel zum Decodieren einer nach dem Verfahren erzeugten codierten Bildfolge aufweist. Vorzugsweise weist der Decodierer hierzu Mittel zum Detektie- ren skalierbare Texturen repräsentierenden Teilen des Bit¬ stroms anzeigender erster Signale sowie ergänzend Mittel zum Detektieren zu aktualisierende Regionen anzeigender zweiter Signale, wobei die Signale jeweils insbesondere als Syntax¬ elemente ausgestaltet sind. Hierdurch werden die durch das erfindungsgemäße Verfahren erzielten Verbesserungen in der Qualität der Darstellung decoderseitig durchführbar.
Wenn der Decoder über Mittel zur Bestimmung derjeniger Bit¬ ebenen, bei der eine Aktualisierung zu Verbesserungen einer Darstellung der codierten Bildfolge führt und alternativ oder ergänzend über Mittel zur Bestimmung derjenigen Bitebene ver- fügt, bei der die Aktualisierung einer Textur erfolgen soll, lässt sich die verfeinerte bzw. skalierbare Darstellung der Bildfolge exakt rekonstruieren.
Weist der Decoder Mittel zur Aktualisierung einer Textur auf, die derart ausgestaltet sind, dass eine Berücksichtigung ei¬ ner aktualisierten Bewegungsinformation erfolgt, lässt sich die durch das erfindungsgemäße Verfahren zum Codieren erziel¬ te Eliminierung des Versatzes bei der decoderseitig erzeugten skalierbaren Darstellung der Bildfolge gewährleisten.
Dabei ist Decoder vorzugsweise durch Aktualisierungsmittel gekennzeichnet, die derart ausgestaltet sind, dass aus einer vorhandenen Textur eine aktualisierte Textur derart gebildet wird, dass aus der zu der Textur zugeordneten Texturinforma- tion und einer Texturaktualisierungsinformation die aktuali¬ sierte Texturinformation gebildet wird, wobei die Aktualisie¬ rungsmittel derart ausgestaltet sind, dass die Texturinforma¬ tion zumindest teilweise durch die Texturaktualisierungsin¬ formation ersetzt wird. Weitere Einzelheiten der Erfindungen sowie Vorteile werden anhand der Figuren 1 bis 7 mit Bezug auf ein Ausführungsbei¬ spiel der Erfindung erläutert. Dabei zeigt:
Figur 1 das Modell einer Bewegungsschätzung zum Generieren skalierbarer Bewegungsinformation,
Figur 2 die hierzu notwendigen Richtungsmodi,
Figur 3 die hierbei zur Anwendung kommenden Subblockgrößen,
Figur 4 die schematische Darstellung erfindungsgemäß erzeug¬ ter Blockstrukturen,
Figur 5 schematisch die erfindungsgemäße Entscheidung über Aktualisierungen
Figur 6 schematisch die erfindungsgemäße Erzeugung eines Ak¬ tualisierten Bistroms
In Figur 1 ist schematisch die aus dem Stand der Technik be¬ kannte MSRA-Lösung dargestellt, die zum besseren Verständnis der Erfindung erläutert wird, da sie bei dem beschriebenen Ausführungsbeispiel zumindest in Teilen zum Einsatz kommt.
Gemäß MSRA wird die angesprochene Multilayer-Bewegungsschät- zung in jeder temporären Schicht (Layer) durchgeführt. Die Bewegungsschätzung ist dabei bei einer festen räumlichen Auf¬ lösung mit verschiedenen Makroblockgrößen realisiert, damit das sich ergebende Bewegungsvektorfeld an die decodierte Auf¬ lösung adaptiert. Beispielsweise wird, wenn es sich bei der originalen Auflösungsstufe um ein CIF-codiertes Format han¬ delt und die decodierte Auflösungsstufe als QCIF-Format er¬ folgt, die Bewegungsschätzung auf der Auflösungsebene des CIF-Formats bzw. der CIF-Auflösung durchgeführt, wobei dies mit einer Blockgröße von 32 x 32 als Basis und mit einer Mak¬ roblockgröße von 8 x 8 als kleinste Blockgröße erfolgt. Wenn es sich dagegen bei dem decodierten Format um das CIF-Format handelt, wird die Größe der Makroblöcke um den Faktor 2 her¬ unter skaliert, wie es aus der Figur 1 zu entnehmen ist.
Wie des Weiteren in Figur 1 zu erkennen ist, werden im unte¬ ren Zweig der dort dargestellten Verarbeitung für das Deco¬ dieren des im QCIF-Format vorhandenen Blocks die ursprüngli¬ chen Bewegungsvektoren übertragen, während für jede höhere Schicht, beispielsweise jene, die für das Decodieren des CIF- Blocks dient, lediglich die Differenzinformation bezüglich der Bewegungsvektoren verwendet wird. Dabei kann ein einzel¬ ner Bewegungsvektor einer niedrigeren Schicht zur Prädiktion mehreren Vektoren der höheren Schicht dienen, wenn der Block in kleinere Teilblöcke aufgesplittet wird.
Unterschiedliche Modi weisen dabei auf die Richtung der Bewe¬ gungskompensation hin, wie dies bereits angesprochen und in Figur 2 dargestellt ist, während aus Figur 3 zu erkennen ist, dass die Blockstrukturen gemäß dem MSRA-Verfahren nach der gleichen Methode codiert werden, wie sie im Standard MPEG-4 AVC (Advanced Video Coding) [2] verwendet wird.
Um eine die Blockstruktur und die Richtung der Bewegungskom¬ pensation auszuwählen, welche encodiert werden sollen, ist gemäß MSRA-Ansatz vorgesehen, eine sogenannte Kostenfunktion zu nutzen, die für diese Funktion definiert worden ist und welche unter dem Begriff „Rate Distortion Optimisation" be¬ kannt ist.
In der Multilayer-Darstellung der Bewegung gemäß MSRA werden verschiedene Bewegungsdeskriptionen, welche an verschiedene örtliche Auflösungen angepasst sind, für die gleiche temporä¬ re Schicht (Frame Rate) generiert. Dabei wird die Bewegungs¬ schätzung, welche zu den höheren Auflösungen gehört, als be- reichernde Information (enhancement layer/information) be¬ trachtet, auf Grundlage einer Detektion der groben Bewegungs¬ information. Da der durch das grobe Bewegungsvektorfeld er- zeugte Restfehlerblock sehr viel Energie enthält, wird nur derjenige Restfehlerblock übertragen, welcher nach der feins¬ ten Bewegungskompensation erzeugt wird. Dies führt, vor allem wenn die grobe Bewegungsinformation gewählt wird, zu sehr starken Artefakten in dem rekonstruierten Restfehlerbild, wo¬ bei dies sogar selbst bei hoher Bitrate erfolgt.
In Figur 4 ist dargestellt, wie gemäß der Erfindung erzeugte temporäre Blockstrukturen unter Anwendung des erfindungsgemä- ßen Verfahrens zu Blockstrukturen führen, die letztendlich übertragenen werden sollen.
Zu erkennen sind drei temporäre Blockstrukturen MV QCIF, MV_CIF und MV_4CIF. Dabei ist jede dieser Blockstrukturen er- findungsgemäß jeweils einer Auflösungsstufe zugeordnet, wobei mit Auflösungsstufe das Format der Auflösung bezeichnet wird, mit der ein nach dem erfindungsgemäßen Verfahren codiertes Videosignal, welches aus Bildfolgen besteht, dargestellt wer¬ den kann.
Für das vorliegende Ausführungsbeispiel handelt es sich dabei um das Common Intermediate Format (CIF) , das QCIF sowie das 4CIF Format.
QCIF stellt dabei eine erste Auflösungsstufe, dass heißt die niedrigste Auflösungsstufe für das erfindungsgemäße Verfahren gewählte Auflösungsstufe dar, so dass ihr erfindungsgemäß auch eine erste Blockstruktur MV_QCIF zugeordnet wird, wäh¬ rend CIF eine zweite Auflösungsstufe darstellt, für die er- findungsgemäß eine zweite Blockstruktur MV_CIF erzeugt wird.
Das Erzeugen der Blockstrukturen erfolgt dabei im Rahmen ei¬ nes Bewegungsschätzungsalgorithmus, beispielsweise unter Nut¬ zung des bereits angesprochenen MCTF und/oder MSRA Verfah- rens . Zu erkennen ist des Weiteren, dass die temporären Blockstruk¬ turen MV_QCIF, MV_CIF und MV_4CIF sukzessive verfeinernde Subblockstrukturen aufweisen, die dadurch gekennzeichnet sind, dass ausgehend von je temporärer Blockstruktur MV_QCIF, MV_CIF und MV_4CIF definierten Teilblöcken MB1_QCIF...MB4_QCIF immer feiner werdende weitere Subblöcke hinzukommen.
Ferner ist aus der Darstellung zu erkennen, dass die temporä¬ ren Blockstrukturen MV_QCIF, MV_CIF und MV_4CIF die gleiche örtliche Auflösung haben, dies also trotz der sich von Auflö¬ sungsstufe zu Auflösungsstufe erhöhenden Bildpunktanzahl kon¬ stant bleibt.
In Figur 4 sind des Weiteren die zu übertragenden bzw. letzt- endlich, beispielsweise für eine Streaming-Anwendung, über¬ tragenen Blockstrukturen MV_QCIF, MV_CIF und MV_4CIF zu er¬ kennen, welche unter Anwendung des erfindungsgemäßen Verfah¬ rens aus den temporären Blockstrukturen MV_QCIF, MV_CIF und MV 4CIF dadurch erzeugt werden, dass jeweils eine zu einer hohen Auflösungsstufe gehörige Blockstruktur mit einer zu ei¬ ner nächstniedrigeren Auflösungsstufe gehörenden Blockstruk¬ tur verglichen wird und als Ergebnis eine zur betrachteten Auflösungsstufe gehörige modifizierte Blockstruktur erzeugt wird, welche Subblockstrukturen aufweist, die nur eine Teil- menge des der zur gleichen Auflösungsstufe gehörigen temporä¬ ren Blockstruktur enthält, wobei es sich hierbei nicht um ei¬ ne echte Teilmenge handelt, die den Fall ausschließen würde, dass die Subblockstruktur der modifizierten Blockstruktur mit der Subblockstruktur der entsprechenden temporären Block- struktur identisch ist, sondern, da es vielmehr es sogar so ist, dass dieser Sonderfall nach dem erfindungsgemäßen Ver¬ fahren auch auftreten kann, es sich lediglich um eine bei¬ spielsweise aus der Mathematik bekannten (einfachen) Teilmen¬ ge handelt.
Dieser erfindungsgemäße Algorithmus soll im Folgenden etwas detaillierter erläutert werden. Erfindungsgemäß wird mit der Erzeugung einer zur niedrigsten Auflösungsstufe gehörenden Blockstruktur begonnen. Aus dieser ersten Blockstruktur MV_QCIF ergibt sich gemäß der Erfindung dabei unmittelbar die modifizierte Blockstruktur MV QCIF, da für diesen Fall naturgemäß kein Vergleich mit einer vorheri¬ gen Blockstruktur erfolgen kann. Die sich unmittelbar erge¬ bende modifizierte Blockstruktur MV_QCIF hat daher die glei¬ che Subblockstruktur, wie sie die erste Blockstruktur MV QCIF aufweist.
Erfindungsgemäß wird in einem weiteren Schritt zur nächsthö¬ heren Auflösungsstufe, in diesem Fall CIF, eine zweite Block¬ struktur MV_CIF erzeugt. Zu erkennen ist dabei, dass in die zweite Blockstruktur MV CIF weitere Subblöcke hinzugekommen sind, welche zu einer feineren Subblockstruktur führen, wie es im Vergleich hierzu die erste Blockstruktur MV QCIF auf¬ weist. Die Subblöcke bzw. Subblockstrukturen, welche hinzuge¬ kommen sind, sind dabei in der Figur strichpunktiert darge- stellt.
Erfindungsgemäß wird daher in einem nächsten Schritt ein Ver¬ gleich durchgeführt, bei dem die hinzugekommenen Subblöcke dahingehend überprüft werden, ob sie eine Blockgröße aufwei- sen, die mehr als viermal kleiner ist, als die kleinste
Blockgröße des entsprechenden Teilbereiches der ersten Block¬ struktur.
Trifft dies zu, so wird die entsprechende Subblockstruktur in einer modifizierten zweiten Blockstruktur MV_CIF aufgenommen, während in den Fällen, wo der zu untersuchende Subblock eine geringere Verfeinerung darstellt, auf die Übernahme der Sub¬ blockstruktur in der zu übertragenden modifizierten zweiten Blockstruktur verzichtet wird.
Um dies besser erläutern zu können, sind in der Figur 4 bei¬ spielhaft zwei der in der zweiten Blockstruktur MV CIF ent- haltenen Subblöcke herausgegriffen worden, nämlich ein erster Subblock SBl und ein zweiter Subblock SB2.
Der erste Subblock SBl befindet sich in einem ersten Teil- block MB1_CIF der zweiten Blockstruktur MV_CIF. Entsprechend wird erfindungsgemäß in einem zum ersten Teilblock MB1_CIF der zweiten Blockstruktur MV CIF korrespondierenden ersten Teilblock MB1_QCIF der ersten Blockstruktur MV_QCIF unter¬ sucht, welches die hier auftretende kleinste Subblockgröße ist. Bei dem vorliegenden Beispiel wird diese minimale Block¬ größe durch einen minimalen ersten Subblock MIN SBl defi¬ niert. Wie zu erkennen ist, entspricht die Größe des ersten Subblocks der Größe des ersten minimalen Subblocks, so dass in diesem Fall gar keine Verfeinerung vorliegt. Entsprechend wird erfindungsgemäß in der zu übertragenden zweiten Block¬ struktur MV_CIF die dem ersten Subblock zugrunde liegende Subblockstruktur nicht übernommen, so dass in der Darstellung gemäß Figur 4 der zweiten modifizierten Blockstruktur MV_CIF das strichpunktierte Gitter an der entsprechenden Stelle fehlt.
Bei dem Vergleich wird unter anderem auch ein zweiter Sub¬ block SB2 für den Vergleich herangezogen. Da der zweite Sub¬ block SB2 sich in einen vierten Teilblock MB4_CIF der zweiten Blockstruktur MV CIF enthalten ist, wird entsprechend in ei¬ nem vierten Teilblock MB4_QCIF der ersten Blockstruktur MV QCIF nach einer minimalen Subblockgröße gesucht. Dies ist durch einen zweiten minimalen Subblock MIN_SB2 gegeben, der in diesem Fall den vierten Teilblock MB4 QCIF der ersten Blockstruktur MV_QCIF exakt teilt. Wie zu erkennen ist, stellt in diesem Fall die Größe des zweiten Subblocks SB2 ein Achtel der Größe des minimalen zweiten Subblocks MIN_SB2 dar, so dass sogar eine achtfache Verfeinerung im Vergleich zur ersten Blockstruktur MV_QCIF gegeben ist. Erfindungsgemäß wird daher die den zweiten Subblock definierende Subblock¬ struktur auch in die modifizierte zweite Blockstruktur MV' CIF übernommen. Gleiches geschieht für all diejenigen Blöcke der zweiten Blockstruktur MV CIF wie in der Darstel¬ lung gemäß Figur 4 an den gestrichelten Strukturen der modi¬ fizierten zweiten Blockstruktur MV' CIF zu erkennen ist.
Wie sich aus einem Vergleich der zweiten Blockstruktur MV CIF und der modifizierten zweiten Blockstruktur MV'_CIF zeigt, sind nicht alle Subblockstrukturen der zweiten Blockstruktur MV'_CIF übernommen worden. Damit nun eine derartig codierte Bildfolge richtig dargestellt werden kann, wird bei der Co- dierung der Blockstrukturen, die übertragen werden sollen, eine Kennzeichnung derjenigen Subblöcke hineincodiert, welche nicht in die modifizierten Blockstrukturen übernommen worden sind. Das erfindungsgemäße Verfahren findet dabei auch bei weiteren Auflösungsstufen in der gleichen Art seine Anwen- düng. Beispielsweise wird gemäß dem vorliegenden Ausführungs¬ beispiel für das Format 4CIF ebenfalls eine Blockstruktur MV 4CIF erzeugt. Erfindungsgemäß wird diese nun wiederum als eine zweite Blockstruktur verwandt, während die erste Block¬ struktur von durch die vorhergehende zweite Blockstruktur MV_CIF gegeben ist. Die sich durch den Vergleich der beiden Blockstrukturen ergebende zweite modifizierte Blockstruktur MV'_4CIF ist dabei in der Darstellung von Figur 4 wiederum nur durch einen Teil der hinzugekommenen Subblockstrukturen verfeinert worden, welche in der Darstellung punktiert ge- zeichnet sind.
Alternativ oder ergänzend kann für den Vergleich statt eine temporäre Blockstruktur eine bereits erzeugte übertragene, d.h. modifizierte zweite Blockstruktur als erste Blockstruk- tur genutzt werden.
Es ist dabei erfindungsgemäß nicht erforderlich, für alle in der Bildfolge codierten Auflösungsstufen erfindungsgemäß zu übertragene Blockstrukturen zu erzeugen, sondern beispiels- weise nur in den Teilauflösungen der genannten Auflösungen, d.h. beispielsweise nur für CIF im Falle, dass QCIF, CIF oder 4CIF angewendet wurde oder nur für CIF, für den Fall, das QCIF und CIF angewendet wurde. In Praxi ist es vielmehr aus¬ reichend, dies auf im Vergleich zu allen vorhandenen Auflö¬ sungsstufen mittlere Auflösungsstufen anzuwenden, da bei ei¬ ner mittleren Auflösungsebene die beste Performance gegeben ist, weil hierbei ein vielfaches Up and Down Sampling der Blockstrukturen und der Bewegungsvektoren vermieden werden kann. Hierbei wird durch einen Parameter jeweils die Datenra¬ te für die Bewegungsinformation für die verschiedenen örtli¬ chen Auflösungsstufen eingestellt, sodass sich auf jeder Auf- lösungsstufe ein optimales Verhältnis der Datenrate für Bewe¬ gungsinformation und Texturinformation ergibt.
Die Erfindung ist dabei nicht auf das anhand der Figur 4 er¬ läuterte Ausführungsbeispiel, sondern umfasst alle im Rahmen des fachmännischen Könnens in Frage kommenden Realisierungen, die den erfindungsgemäßen Kern:
Das, insbesondere gemäß MSRA, erzeugte komplette Bewegungs¬ vektorfeld (Temporäre Blockstrukturen MV_QCIF, MV_CIF und MV_4CIF) , welches encoderseitig definiert bzw. vorhanden ist, eben nicht komplett zu übertragen, sondern vielmehr lediglich den signifikanteste Teil dieses Bewegungsvektorfelds.
Ein wesentlicher Vorteil des erfindungsgemäßen Algorithmus ist dabei, die Verbesserung der Bildqualität auch bei niedri¬ gen Bitraten sowie auch bei niedrigen Auflösungen.
In Figur 5 ist nun dargestellt, welche Verfahrensschritte ei- ner oben erläuterten Signalisierung bzw. auch - wie im Fol¬ genden dargelegt - der Bitstromerzeugung zugrunde gelegt wird.
Gemäß der oben beschriebenen erfindungsgemäßen selektiven Verfeinerungsmethode zeigt der erfindungsgemäß vorgeschlagene neue Blockmodus, ob eine Blockstruktur für ein aktuell be¬ trachtetes Bewegungsvektorfeld für das nachfolgende Bewe- gungsvektorfeld aufgesplittet werden muss. Aufgrund dieser Blockmodi ist es daher möglich, die Regionen zu lokalisieren, in welchen ein aktueller Restfehlerblock, welche von einer niedrigeren Schicht zugeordneten vorhergehenden Restfehler- block differiert.
Die Blöcke, die zu diesen Regionen zugeordnet sind bzw. gehö¬ ren, werden dann mit dem sich an denselben Positionen inner¬ halb des vorhergehenden Restfehlerblocks befindenden Blöcke verglichen und die Differenz hierzu codiert. Nachdem diese
Information encoderseitig gespeichert worden ist, ist es er¬ forderlich, die bestmögliche, d.h. optimale Abstimmung zwi¬ schen der Bewegungsinformation und der Textur für die jewei¬ lige Bitrate zu erreichen.
In der Regel wird hierzu vor der Übertragung ein Bitstrom er¬ zeugt, so dass all die encoderseitig verfügbare Information optimal genutzt werden kann.
Um dies zu erreichen wird wie in der Figur 5 dargestellt bei¬ spielsweise ein Vergleich im Sinne einer Auswertung durchge¬ führt, bei dem festgestellt wird, ob ein Bewegungsvektorfeld (Blockstruktur) verfeinert werden muss oder nicht.
Dies ist erfindungsgemäß aus dem Grund von Vorteil, dass es in Praxi vorkommen kann, dass die sichtbare Qualität, welche mit dem Basisbewegungsvektorfeld (Blockstruktur) MVFIELDl und der korrespondierenden Texturl um einen Wert, der x% der Tex- turl beträgt, besser sein kann als das Ergebnis, welches er- zielt wird, als was erreicht wird, wenn dieses Bewegungsvek¬ torfeld zu einer modifizierten Blockstruktur MVFIELD2 verfei¬ nert worden ist und somit auch besser als die entsprechende Verfeinerung der Textur' 1 (Definiert durch y% von (Textur 1) + Verfeinerung) . Dabei ist y kleiner als x bei gleicher Bit- rate. Aus der schematisch dargestellten dem entsprechenden Ent¬ scheidungsprozedur ist zu erkennen, dass im Falle, dass eine Verfeinerung notwendig erscheint, der Teil der Information, der sich auf die Texturinformation bezieht, entsprechend a- daptiert werden muss. Damit ergibt sich aber auch das Prob¬ lem, welcher Teil der Texturinformation zu der Verfeinerungs¬ information zugeordnet wird.
Dies wird wie oben erläutert zum einen durch eine geeignete Signalisierung ermöglicht, die es ermöglicht, auf Seiten ei¬ nes Decoders diejenigen Regionen in den Restfehlerblöcken zu lokalisieren, welche verfeinert werden können und vor allem sollen. Hiermit wird dem Decoder also ermöglicht, dass vorab beschriebene erfindungsgemäße Vorgehen bei dem die Verfeine- rung der Bewegungsinformation derartig adaptiert wurde, dass die Einbettung des Restfehlerblocks ermöglicht worden ist, d.h. der Teil der Verfeinerung eines Restfehlerblocks durch einige weitere Blocks repräsentiert wird, zu erkennen und entsprechend zu berücksichtigen.
Als Zweites ist hierzu auch eine geeignete Encodierung erfor¬ derlich, die, um effizient im Sinne einer Kompressionseffi¬ zienz zu sein, derart durchgeführt wird, dass die Verfeine¬ rungsblöcke mit einer blockbasierenden Transformation (IT, DCT, etc.) encodiert werden, wobei diese Blöcke dann die Dif¬ ferenz zwischen den Restfehlerblöcken auf Basis der Verfeine¬ rung der Bewegungsvektorfelder sowie den Restfehlerblöcken repräsentieren, welche nicht auf Grundlage von verfeinerten Bewegungsvektorfeldern erzeugt worden sind und eine bestimmte Anzahl von Bitebenen beispielsweise N Bitebenen aufweisen.
Schließlich ist hierzu aber auch eine geeignete Organisation des für die Übertragung zu erzeugenden Bitstroms erforderlich wie es in der Figur 6 dargestellt ist.
Das Ziel dieses erfindungsgemäßen Erzeugen des Bitstrom ist es, eine gute Bildqualität für verschiedene räum- lieh/zeitliche Auflösungsstufen bzw. Bitraten zu gewährleis¬ ten, ohne dabei eine Drift, welche durch einen Versatz zwi¬ schen einem Bewegungsvektorfeld und einem Restfehlerblock entstehen kann, aufzuweisen. Schematisch sind daher die Schritte dargestellt mit denen dies erfindungsgemäß erreicht wird.
Dabei geht das dargestellte Ausführungsbeispiel von einem I- nitialisierungszustand aus, bei dem eine bestimmte Nummer von Bewegungsvektorfeldern mit korrespondierenden Restfehlerblö¬ cken encoderseitig generiert worden sind. Beispielsweise ein erstes Bewegungsvektorfeld MVFl sowie ein erstes verfeinertes Bewegungsvektorfeld MVFl' für eine QCIF-Auflösung, das erste verfeinerte Bewegungsvektorfeld MVFl' sowie (nicht darge- stellt) ein zweites Bewegungsvektorfeld für eine CIF-
Auflösung sowie das zweite Bewegungsvektorfeld und ein drit¬ tes Bewegungsvektorfeld für eine 4CIF-Auflösung. Das Encodieren bzw. Decodieren für ein derartiges Szenario bei einer QCIF-Auflösung ergibt sich bei dem erfindungsgemä- ßen Verfahren dabei wie folgt: Ausgehend von der Annahme, dass ein großer Bereich von Bitraten für die QCIF-Auflösung decodiert werden muss, ist es in einem ersten Schritt erfor¬ derlich, das erste Bewegungsvektorfeld MVl und den ersten korrespondierenden Restfehlerblock zu übertragen. Dabei gilt, je größer die Bitrate ist, desto höher ist die Anzahl der
Bitebenen BTPL1...BTPLN+M, welche den Restfehlerblock repräsen¬ tieren. Ferner gilt, dass die Anzahl dabei limitiert wird durch die eingangs erläuterte Entscheidung über eine Verfei¬ nerung der Blöcke.
Gemäß dem dargestellten Beispiel wird die Anzahl der Bitebe¬ nen auf eine Zahl N limitiert. Wenn nun gemäß der erfindungs¬ gemäßen Auswertung die Entscheidung getroffen wird, dass eine Verfeinerung erforderlich ist, wird das erste Bewegungsvek- torfeld MVFl derart verfeinert, dass das verfeinerte Bewe¬ gungsvektorfeld MVFl' erzeugt wird. In so einem Fall ist es daher auch erforderlich, dass die zu dem ersten Bewegungsvek- torfeld MVFl korrespondierende Textur aktualisiert („upda- ted") wird, um einen Versatz zwischen den Bewegungsvektorfel¬ dern und den jeweiligen Texturen zu verhindern.
Ein hier erfindungsgemäß vorgeschlagener Algorithmus ist der Darstellung ebenfalls zu entnehmen und läuft wie folgt ab.
Wenn die oben genannte Auswertung der Bewegungsinformationen ergibt, dass ein Update der Bewegungsinformation notwendig ist, so ist in der Regel schon eine bestimmte Anzahl von Bit¬ ebenen BTPLl...BTPLN übertragen worden. Bis zu einem gewissen Grenzwert BTPLn müssen die Bitebenen, welche die nicht ver¬ feinerten Restfehlerblöcke darstellen (BTPLl...BTPLn) , nicht modifiziert werden. Bei Erreichen dieses Limits BTPLn werden dagegen die nächstfolgenden Bitebenen BTPLn...BTPLN gemäß dem Ausführungsbeispiel aktualisiert.
Dies erfolgt dabei von der Bitebene ausgehend, welche die letzte Bitebene der nicht verfeinerten Restfehlerblöcke dar- stellt, BTPLn und erstreckt sich bis zu der Bitebene, welche bereits übertragen ist BTPLN.
Der Update erfolgt dabei so, dass die Regionen, welche zu den verfeinerten Teilen REFINEMENT zugehörig sind, derart upgeda- tet werden, dass sie mit dem nachfolgenden Bewegungsvektor¬ feld, d.h. gemäß dem dargestellten Ausführungsbeispiel, dem ersten verfeinerten Vektorfeld MVFl' übereinstimmen.
Dabei kann erfindungsgemäß, wenn es sich um eine höhere Bit- rate handelt, die über die bereits übertragene Bitebenenzahl BTPLN hinausgehende Anzahl der Bitebenen BTPLN+1 bis BTPLN+M zusätzlich übertragen werden. Dieses Konzept wird dabei für jede räumliche Auflösung und/oder Qualitätsstufe wiederholt und ermöglicht dadurch eine feinere Granularität einer Sig- nal/Rausch-Skalierbartkeit (SNR-Skalierbarkeit) . Gemäß dem Ausgangsszenario erfolgt ein Encodieren bzw. Deco¬ dieren bei einer CIF-Auflösungstufe wie folgt.
Da auch hier erfindungsgemäß die SNR und räumliche Skalier- barkeit kombiniert werden soll, wird, wenn z.B. es erforder¬ lich ist, ein (Video-)bitstrom bei CIF-Auflösung zu decodie¬ ren und dies bei niedrigerer Bitrate erfolgen soll, das erste veränderte Bewegungsvektorfeld MVFl' von der QCIF-Auflösung zu der CIF-Auflösung hochskaliert. Zudem erfolgt z.B. eine inverse Wavelet-Transformation oder aber eine Interpolation wird durchgeführt, um eine höhere räumliche Auflösung der Textur TEXTURl, TEXTUR' 1 zu erreichen.
Dabei ist anzumerken, dass bei einer sehr niedrigen Bitrate der Update der Textur TEXTURl zur Textur TEXTUR' 1 nicht er¬ forderlich ist (beispielsweise, wenn weniger als n Bitebenen notwendig sind, um die CIF-Auflösung zu decodieren) . Insge¬ samt wird dadurch eine räumliche Skalierbarkeit erreicht.
Die SNR-Skalierbarkeit bei CIF-Auflösung wird erreicht, indem das Codieren der Bitebenen der Differenz zwischen dem origi¬ nären verfeinerten CIF-Restfehlerblock und einer interpolier¬ ten oder Invers-Wavelet-Transformierten verfeinerten QCIF- Bitebene erfolgt. Wenn die Entscheidung, ob eine Verfeinerung erfolgen soll, bei der CIF-Auflösung positiv ist, wird die gleiche Strategie verfolgt, wie sie bei dem oben beschriebe¬ nen Verfahren für QCIF erläutert worden ist. Gleiches gilt für eine Skalierung von CIF zu 4CIF.
Die Erfindung ist aber nicht auf das beschriebene Ausfüh¬ rungsbeispiel beschränkt. Vielmehr gilt auch Folgendes:
1. Die SNR-Skalierbarkeit wird durch ein bitebenenweises Repräsentieren der Texturinformation gemäß dem vorge- hend beschriebenen Beispiel erzeugt, ist aber jedoch nicht darauf beschränkt, da es auch durch alternative skalierbare Texturrepräsentationen erreicht werden kann.
2. Die maximale Anzahl der Bitebenen, welche vor der Ver- feinerung auftreten (BTPLN) , kann sich für jede räumli¬ che Auflösung unterscheiden.
3. Zudem kann mehr als ein Update innerhalb einem räumli¬ chen Auflösungslevel erfolgen, wenn mehr als zwei Schichten der Bewegungsinformation für dieses räumliche Auflösungslevel genutzt werden.
Hiervon unabhängig wird dabei stets eine sehr gute Abstimmung zwischen Bewegungsinformation und der Textur für einen weiten Bereich von Bitraten sowie räumlich zeitlichen Auflösungen erreicht, wobei dies ohne Degradation der Qualität von Bil¬ dern erfolgt, da durch das erfindungsgemäße Verfahren eine gute Verteilung der Information erzielt wird und somit auch der Versatz zwischen Bewegungsinformation und Texturen elimi- niert wird.
Literaturverzeichnis
[1] Jizheng Xu, Ruiqin Xiong, Bo Feng, Gary Sullivan, Ming-
Chieh Lee, Feng Wu, Shipeng Li, "3D subband video coding using Barbell lifting", ISO/IEC JTC1/SC29/ WGIl MPEG
68th meeting, MlO569/sO5, Munich, March 2004. [2] Deutsche Patentanmeldung, Aktenzeichen 10 2004 038 110.0

Claims

Patentansprüche
1. Verfahren zur Videocodierung von Bildfolgen bei dem Bil¬ der der Bildfolge derart skaliert codiert werden, dass die sich ergebenden Videodaten Informationen enthalten, die eine Darstellung der Bilder in einer Vielzahl sich unter¬ scheidender Stufen von einer durch die Anzahl von Bild¬ punkten je Bilddarstellung definierten Auflösung (QCIF, CIF, 4CIF) der Bilder und/oder von Bildqualitäten gewähr- leisten, wobei die Codierung derart blockbasiert erfolgt, dass für eine Beschreibung einer etwaigen in der Bildfolge enthaltenen Bewegung von Teilen eines der Bilder zumindest eine die Bewegung beschreibende Blockstruktur (MV QCIF, MV_CIF, MV_4CIF) erzeugt wird, die derart ausgestaltet ist, dass sie ausgehend von einem Block in Teilblöcke zum Teil mit die Teilblöcke (MB1_QCIF..MB4_QCIF, MB1_CIF..MB4_CIF, MBl_4CIF..MB4_4CIF) sukzessive feiner unterteilenden Subblöcken unterteilt wird, mit folgenden Schritten: a) temporär wird für zumindest eine erste Auflösungsstufe eine erste Blockstruktur (MV_QCIF; MV_CIF) und für eine zweite Auflösungsstufe eine zweite Blockstruktur (MV CIF; MV 4CIF) erzeugt, wobei die erste Auflösungs¬ stufe eine niedrigere Bildpunktanzahl und/oder Bildqua- lität aufweist als die zweite Auflösungsstufe, b) die zweite Blockstruktur (MV_CIF; MV_4CIF) wird mit der ersten Blockstruktur (MV_QCIF; MV_CIF) derart vergli¬ chen, dass Unterschiede in der Blockstruktur ermittelt werden, c) auf Grundlage von Eigenschaften der Strukturunterschie¬ de wird eine modifizierte zweite Blockstruktur (MV'_CIF, MV'_4CIF) derart erzeugt, dass deren Struktur eine Teilmenge der zweiten Blockstruktur (MV CIF; MV_4CIF) darstellt, d) die modifizierte zweite Blockstruktur (MV' CIF,
MV' 4CIF) und zweite Blockstruktur (MV CIF; M 4CIF) werden anhand zumindest eines zu einer Qualität des Bildes proportionalen Wertes verglichen, e) diejenige Blockstruktur wird der Codierung der Bitfolge zugrunde gelegt, dessen Wert direkt proportional zu ei- ner besseren Qualität ist.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass zur Unterschiedsermittlung hinzugekommene Subblöcke er- fasst werden.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass zur Unterschiedsermittlung Subblockeigenschaften er- fasst werden.
4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass als Subblockeigenschaft die Blockgröße der Subblöcke er- fasst wird.
5. Verfahren nach einem der vorhergehenden Ansprüche, da- durch gekennzeichnet, dass für die Unterschiedsermittlung nur derjenige Teilblock (MB1_QCIF..MB4QCIF; MB1_CIF..MB4_CIF) der ersten Blockstruktur (MV_QCIF; MV CIF) herangezogen wird, der dem Teilblock (MB1_CIF..MB4 CIF; MBl_4CIF..MB4_4CIF) der zweiten Block- struktur (MV_CIF; MV_4CIF) entspricht.
6. Verfahren nach einem der vorhergehenden Ansprüche, da¬ durch gekennzeichnet, dass die Erzeugung der zweiten mo¬ difizierten Blockstruktur auf Grundlage einer Schwell- Wertentscheidung erfolgt.
7. Verfahren nach einem der Ansprüche 3 bis 6, dadurch ge¬ kennzeichnet, dass nur diejenigen Subblöcke der zweiten Blockstruktur (MV_CIF; MV_4CIF) in die modifizierte zwei- te Blockstruktur (MV'_CIF; MV'_4CIF) übernommen werden, deren Blockgröße einen definierbaren Schwellwert errei¬ chen.
8. Verfahren nach dem Anspruch 7, dadurch gekennzeichnet, dass der Schwellwert derart definiert wird, dass er ein Verhältnis der Blockgröße eines Subblocks der zweiten Blockstruktur (MV CIF; MV 4CIF) zu einer in einem zum
Vergleich herangezogenen Bereich der ersten Blockstruktur (MV_QCIF; MV_CIF) enthaltenen Blockgröße angibt, welche dem kleinsten Subblock des Bereichs zugeordnet ist.
9. Verfahren nach einem der vorhergehenden Ansprüche, da¬ durch gekennzeichnet, dass die übernommenen Subblöcke nicht-dyadisch geteilt sein können.
10. Verfahren nach einem der Ansprüche, dadurch gekennzeich- net, dass als erste Blockstruktur (MV_CIF) einer dritten
Auflösungsstufe die modifizierte zweite Blockstruktur (MV' 4CIF) der zweiten Auflösungsstufe verwendet wird, wobei die zweite Auflösungsstufe eine niedrigere Bild¬ punktanzahl und/oder Bildqualität aufweist als die dritte Auflösungsstufe.
11. Verfahren nach einem der Ansprüche 7 bis 10, dadurch ge¬ kennzeichnet, dass die Codierung derart erfolgt, dass in die zweite modifizierte Blockstruktur (MV_CIF; MV_4CIF) nicht übernommen Subblöcke jeweils gekennzeichnet werden.
12. Verfahren nach einem der Ansprüche 9 bis 11, dadurch ge¬ kennzeichnet, dass die Codierung derart erfolgt, dass nicht-dyadisch geteilte Subblöcke jeweils gekennzeichnet werden.
13. Verfahren nach dem vorhergehenden Anspruch, dadurch ge¬ kennzeichnet, dass die Kennzeichnung durch die Verwendung eines, insbesondere als ,,not_refined", bezeichneten Rich- tungsmodus erfolgt.
14. Verfahren insbesondere nach einem vorhergehenden Ansprü¬ che, dadurch gekennzeichnet, dass im Rahmen der Codierung der Bitfolge ein Bitstrom derart erzeugt wird, dass er in Verbindung mit einer Aktualisierung von Bewegungsinforma- tionen eine skalierbare Textur repräsentiert, wobei dies vorzugsweise dadurch erfolgt, dass der Bitstrom durch Texturauflösungsstufen realisiert sowie insbesondere zu¬ mindest abhängig vom Vergleichsergebnis sowie von einer für eine Übertragung zu realisierenden Bitrate variiert wird.
15. Verfahren nach Anspruch 14, dadurch gekennzeichnet, dass die Texturauflösungsstufen als Anzahl vom Bitebenen rea¬ lisiert werden.
16. Verfahren nach Anspruch 15, dadurch gekennzeichnet, dass die Anzahl der Bitebenen (BTPLl...BTPLN) in Abhängigkeit der Auflösungsstufe variiert wird.
17. Verfahren nach einem der Ansprüche 15 bis 16, dadurch ge¬ kennzeichnet, dass im Fall der direkten Proportionalität des Wertes der modifizierten zweiten Blockstruktur (MV'_CIF; MV'_4CIF) zumindest ein erster Teil der die Textur repräsentierenden Bitebenen (BTPLn...BTPLN) aktuali- siert wird.
18. Verfahren nach Anspruch 17, dadurch gekennzeichnet, dass die Aktualisierung derart erfolgt, dass die Übertragung eines zweiten Teils (BTPLn'...BTPLN' ) erfolgt.
19. Verfahren nach Anspruch 17, dadurch gekennzeichnet, dass die Aktualisierung derart erfolgt, dass der erste Teil (BTPLn...BTPLN) durch einen zweiten Teil von Bitebenen (BTPLn'...BTPLN' ) modifiziert wird.
20. Verfahren nach einem der Ansprüche 16 bis 19, dadurch gekennzeichnet, dass die Aktualisierung derart erfolgt, dass diejenigen Regionen (REFINEMENT) einer der zweiten Blockstruktur zugeordneten Textur (TEXTURl) verfeinert werden, die durch die modifizierte zweite Blockstruktur (MV'_CIF; MV'_4CIF) definiert sind.
21. Verfahren nach einem der Ansprüche 14 bis 19, dadurch ge¬ kennzeichnet, dass bei einer hohen Bitrate eine über die Anzahl (BTPLl...BRPLN) zweite Anzahl (BTPLN...BTPLN+M) von Bitebenen übertragen wird.
22. Verfahren zum Decodieren insbesondere einer nach dem Ver¬ fahren nach einem der Ansprüche 1 bis 20 erzeugten co¬ dierten Bitfolge, dadurch gekennzeichnet, dass unter Be¬ rücksichtigung der in der Bildfolge enthaltenen nach ei- nem Verfahren, insbesondere gemäß einem der vorhergehen¬ den Ansprüche, erzeugten Aktualisierung von Bewegungsin¬ formationen sowie einem eine skalierbare Textur repräsen¬ tierenden Bitstrom eine skalierte Darstellung der Bild¬ folge erzeugt wird.
23. Codierer zur Erzeugung einer codierten Bildfolge gekenn¬ zeichnet durch Mittel zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 20.
24. Decodierer gekennzeichnet durch Mittel zum Decodieren ei¬ ner nach dem Verfahren nach einem der Ansprüche 1 bis 20 erzeugten codierten Bitfolge.
25. Decodierer nach Anspruch 23, gegenzeichnet durch Mittel zum Detektieren skalierbare Texturen repräsentierenden Teilen des Bitstroms anzeigender erster Signale, wobei die Signale insbesondere als Syntaxelemente ausgestaltet sind.
26. Decodierer nach einem der vorhergehenden Ansprüche, ge¬ genzeichnet durch Mittel zum Detektieren zu aktualisie- rende Regionen anzeigender zweiter Signale, wobei die Signale insbesondere als Syntaxelemente ausgestaltet sind.
27. Decoder nach einem der vorhergehenden Ansprüche, gekenn¬ zeichnet durch Mittel zur Bestimmung derjenigen Bitebene (BTPLn) , bei der eine Aktualisierung zu Verbesserungen einer Darstellung der Codierten Bildfolge führt.
28. Decoder nach einem der vorhergehenden Ansprüche, gekenn¬ zeichnet durch Mittel zur Bestimmung derjenigen Bitebene (BTPLN) , bei der die Aktualisierung einer Textur erfolgen soll.
29. Decoder nach einem der vorhergehenden Ansprüche, gekenn¬ zeichnet durch Mittel zur Aktualisierung einer Textur, die derart ausgestaltet sind, dass eine Berücksichtigung einer aktualisierten Bewegungsinformation erfolgt.
30. Decoder nach einem der vorhergehenden Ansprüche, gekenn¬ zeichnet durch Aktualisierungsmittel, die derart ausges¬ taltet sind, dass aus einer vorhandenen Textur eine aktu¬ alisierte Textur derart gebildet wird, dass aus der zu der Textur zugeordneten Texturinformation und einer Tex- turaktualisierungsinformation die aktualisierte Texturin¬ formation gebildet wird.
31. Decoder nach Anspruch 30, dadurch gekennzeichnet, dass die Aktualisierungsmittel derart ausgestaltet sind, dass die Texturinformation zumindest teilweise durch die Tex¬ turaktualisierungsinformation ersetzt wird.
PCT/EP2005/053709 2004-08-27 2005-07-29 Verfahren und vorrichtung zum codieren und decodieren WO2006024584A1 (de)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP05764634A EP1782634A1 (de) 2004-08-27 2005-07-29 Verfahren und vorrichtung zum codieren und decodieren
CN2005800290041A CN101010961B (zh) 2004-08-27 2005-07-29 用于编码和解码的方法和装置
US11/661,265 US8290058B2 (en) 2004-08-27 2005-07-29 Method and device for coding and decoding
JP2007528814A JP2008511226A (ja) 2004-08-27 2005-07-29 符号化および復号のための方法および装置
KR1020077004134A KR101240441B1 (ko) 2004-08-27 2005-07-29 코딩 및 디코딩을 위한 방법 및 장치

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102004041664A DE102004041664A1 (de) 2004-08-27 2004-08-27 Verfahren zum Codieren und Decodieren, sowie Codier- und Decodiervorrichtung zur Videocodierung
DE102004041664.8 2004-08-27

Publications (1)

Publication Number Publication Date
WO2006024584A1 true WO2006024584A1 (de) 2006-03-09

Family

ID=35063418

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2005/053709 WO2006024584A1 (de) 2004-08-27 2005-07-29 Verfahren und vorrichtung zum codieren und decodieren

Country Status (7)

Country Link
US (1) US8290058B2 (de)
EP (1) EP1782634A1 (de)
JP (2) JP2008511226A (de)
KR (1) KR101240441B1 (de)
CN (1) CN101010961B (de)
DE (1) DE102004041664A1 (de)
WO (1) WO2006024584A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8290058B2 (en) 2004-08-27 2012-10-16 Siemens Aktiengesellschaft Method and device for coding and decoding
JPWO2015059876A1 (ja) * 2013-10-22 2017-03-09 日本電気株式会社 ブロック構造決定回路およびブロック構造決定方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005016827A1 (de) * 2005-04-12 2006-10-19 Siemens Ag Adaptive Interpolation bei der Bild- oder Videokodierung
KR100970697B1 (ko) * 2008-05-27 2010-07-16 그리다 주식회사 이미지 데이터의 부분 갱신 방법
US8306122B2 (en) * 2008-06-23 2012-11-06 Broadcom Corporation Method and apparatus for processing image data
US20110002554A1 (en) * 2009-06-11 2011-01-06 Motorola, Inc. Digital image compression by residual decimation
US20110002391A1 (en) * 2009-06-11 2011-01-06 Motorola, Inc. Digital image compression by resolution-adaptive macroblock coding
KR101675118B1 (ko) 2010-01-14 2016-11-10 삼성전자 주식회사 스킵 및 분할 순서를 고려한 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
US8532408B2 (en) 2010-02-17 2013-09-10 University-Industry Cooperation Group Of Kyung Hee University Coding structure
JP5616984B2 (ja) * 2011-01-26 2014-10-29 株式会社日立製作所 画像復号化装置
KR102257542B1 (ko) 2012-10-01 2021-05-31 지이 비디오 컴프레션, 엘엘씨 향상 레이어에서 변환 계수 블록들의 서브블록-기반 코딩을 이용한 스케일러블 비디오 코딩
TWI479473B (zh) * 2013-05-28 2015-04-01 Innolux Corp 液晶顯示器及其顯示方法
US10275646B2 (en) * 2017-08-03 2019-04-30 Gyrfalcon Technology Inc. Motion recognition via a two-dimensional symbol having multiple ideograms contained therein
US10593097B2 (en) * 2018-05-08 2020-03-17 Qualcomm Technologies, Inc. Distributed graphics processing

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997017797A2 (en) * 1995-10-25 1997-05-15 Sarnoff Corporation Apparatus and method for quadtree based variable block size motion estimation

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPO951297A0 (en) * 1997-09-29 1997-10-23 Canon Information Systems Research Australia Pty Ltd Method and apparatus for digital data compression
JP3660548B2 (ja) * 2000-02-01 2005-06-15 日本電信電話株式会社 画像符号化方法及び画像復号方法、画像符号化装置及び画像復号装置、並びにそれらのプログラムを記憶した媒体
DE10022520A1 (de) 2000-05-10 2001-11-15 Bosch Gmbh Robert Verfahren zur örtlichen skalierbaren Bewegtbildcodierung
KR20020030101A (ko) * 2000-06-30 2002-04-22 요트.게.아. 롤페즈 비디오 시퀀스의 압축을 위한 인코딩 방법
KR100353851B1 (ko) * 2000-07-07 2002-09-28 한국전자통신연구원 파문 스캔 장치 및 그 방법과 그를 이용한 영상코딩/디코딩 장치 및 그 방법
FI120125B (fi) * 2000-08-21 2009-06-30 Nokia Corp Kuvankoodaus
KR100783396B1 (ko) * 2001-04-19 2007-12-10 엘지전자 주식회사 부호기의 서브밴드 분할을 이용한 시공간 스케일러빌러티방법
DE10219640B4 (de) 2001-09-14 2012-05-24 Siemens Ag Verfahren zum Codieren und Decodieren von Videosequenzen und Computerprogrammprodukt
US6909753B2 (en) * 2001-12-05 2005-06-21 Koninklijke Philips Electronics, N.V. Combined MPEG-4 FGS and modulation algorithm for wireless video transmission
KR20040046892A (ko) * 2002-11-28 2004-06-05 엘지전자 주식회사 움직임 벡터 예측 부호화 및 복호화 방법
DE102004038110B3 (de) * 2004-08-05 2005-12-29 Siemens Ag Verfahren zum Codieren und Decodieren, sowie Codier- und Decodiervorrichtung zur Videocodierung
DE102004041664A1 (de) 2004-08-27 2006-03-09 Siemens Ag Verfahren zum Codieren und Decodieren, sowie Codier- und Decodiervorrichtung zur Videocodierung
JP2007096479A (ja) * 2005-09-27 2007-04-12 Nippon Telegr & Teleph Corp <Ntt> 階層間予測符号化方法および装置，階層間予測復号方法および装置，並びにそれらのプログラムおよび記録媒体

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997017797A2 (en) * 1995-10-25 1997-05-15 Sarnoff Corporation Apparatus and method for quadtree based variable block size motion estimation

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
J.-R. OHM, DIGITALE BILDCODIERUNG, 1995, Springer Verlag, Berlin, DE, XP002351205 *
SCHAAR VAN DER M ET AL: "A HYBRID TEMPORAL-SNR FINE-GRANULAR SCALABILITY FOR INTERNET VIDEO", IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, IEEE INC. NEW YORK, US, vol. 11, no. 3, March 2001 (2001-03-01), pages 318 - 331, XP001093480, ISSN: 1051-8215 *
See also references of EP1782634A1 *
TAMBANKAR A ET AL: "An overview of H.264 / MPEG-4 part 10", VIDEO/IMAGE PROCESSING AND MULTIMEDIA COMMUNICATIONS, 2003. 4TH EURASIP CONFERENCE FOCUSED ON 2-5 JULY 2003, PISCATAWAY, NJ, USA,IEEE, 2 July 2003 (2003-07-02), pages 1 - 51, XP010650106, ISBN: 953-184-054-7 *
ZHANG X ET AL: "ADAPTIVE QUADTREE CODING OF MOTION-COMPENSATED IMAGE SEQUENCES FOR USE ON THE BROADBAND ISDN", IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, IEEE INC. NEW YORK, US, vol. 3, no. 3, 1 June 1993 (1993-06-01), pages 222 - 229, XP000385795, ISSN: 1051-8215 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8290058B2 (en) 2004-08-27 2012-10-16 Siemens Aktiengesellschaft Method and device for coding and decoding
JPWO2015059876A1 (ja) * 2013-10-22 2017-03-09 日本電気株式会社 ブロック構造決定回路およびブロック構造決定方法

Also Published As

Publication number Publication date
EP1782634A1 (de) 2007-05-09
KR101240441B1 (ko) 2013-03-08
US8290058B2 (en) 2012-10-16
KR20070046880A (ko) 2007-05-03
JP5300921B2 (ja) 2013-09-25
US20080095241A1 (en) 2008-04-24
JP2008511226A (ja) 2008-04-10
CN101010961B (zh) 2010-12-01
DE102004041664A1 (de) 2006-03-09
CN101010961A (zh) 2007-08-01
JP2011172297A (ja) 2011-09-01

Similar Documents

Publication Publication Date Title
WO2006024584A1 (de) Verfahren und vorrichtung zum codieren und decodieren
DE60031230T2 (de) Skalierbares videokodierungssystem und verfahren
EP1774790B1 (de) Verfahren und vorrichtung zum codieren und decodieren
DE60109423T2 (de) Videokodierung mit prädiktiver bitebenenkodierung und progressiver fein-granularitätsskalierung (pfgs)
EP1815690A1 (de) Verfahren zur transcodierung sowie transcodiervorrichtung
DE10022520A1 (de) Verfahren zur örtlichen skalierbaren Bewegtbildcodierung
DE60310128T2 (de) Verfahren zur wavelet-bildcodierung und entsprechendes decodierungsverfahren
EP1285537B1 (de) Verfahren und eine anordnung zur codierung bzw. decodierung einer folge von bildern
WO2006067053A1 (de) Bildencodierverfahren, sowie dazugehöriges bilddecodierverfahren, encodiervorrichtung und decodiervorrichtung
EP1815689A1 (de) Codierverfahren und decodierverfahren, sowie codiervorrichtung und decodiervorrichtung
EP1869890B1 (de) Verfahren und vorrichtung zur reduktion eines quantisierungsfehlers
EP1762100A1 (de) Skalierbares verfahren zur bildencodierung einer folge von originalbildern, sowie dazugehöriges bilddecodierverfahren, encodiervorrichtung und decodiervorrichtung
DE10121259C2 (de) Optimale SNR-skalierbare Videocodierung
EP1157557A1 (de) Verfahren und anordnung zur transformation eines bildbereichs
WO2008006806A2 (de) Skalierbare videokodierung
EP1913780B1 (de) Verfahren zum korrigieren eines quantisierten datenwerts sowie eine dazugehörige vorrichtung
DE102004011421B4 (de) Vorrichtung und Verfahren zum Erzeugen eines skalierten Datenstroms
WO2009074393A1 (de) Verfahren und vorrichtung zum bestimmen einer bildqualität
DE10225434A1 (de) Verfahren und Vorrichtung zur Videocodierung
EP1085761A1 (de) Bewegungsschätzung in einem objektorientierten Videokodierer
DE10311054A1 (de) Verfahren zur Teilbandcodierung einer Folge digitalisierter Bilder
DE10243568A1 (de) Verfahren zur skalierbaren Videocodierung eines Videobildsignals sowie ein zugehöriger Codec
DE102006050066A1 (de) Verfahren zur skalierbaren Videocodierung einer Folge digitalisierter Bilder
WO2000049525A1 (de) Verfahren und anordnung zum abspeichern von mindestens einem bild mit zugehöriger relationalen information
DD284324A5 (de) Uebertragungsverfahren sowie empfaenger fuer ein uebertragungsverfahren

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KM KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU LV MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2005764634

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 1020077004134

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 11661265

Country of ref document: US

Ref document number: 2007528814

Country of ref document: JP

Ref document number: 200580029004.1

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

WWP Wipo information: published in national office

Ref document number: 2005764634

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 11661265

Country of ref document: US