WO2001028252A1 - Progressive fehlertolerante codierung bzw. decodierung einer folge von bildern - Google Patents

Progressive fehlertolerante codierung bzw. decodierung einer folge von bildern Download PDF

Info

Publication number
WO2001028252A1
WO2001028252A1 PCT/DE2000/003536 DE0003536W WO0128252A1 WO 2001028252 A1 WO2001028252 A1 WO 2001028252A1 DE 0003536 W DE0003536 W DE 0003536W WO 0128252 A1 WO0128252 A1 WO 0128252A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
additional information
coding
images
sequence
Prior art date
Application number
PCT/DE2000/003536
Other languages
English (en)
French (fr)
Inventor
Thomas Stockhammer
Frank Burkert
Jürgen PANDEL
Original Assignee
Siemens Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Aktiengesellschaft filed Critical Siemens Aktiengesellschaft
Publication of WO2001028252A1 publication Critical patent/WO2001028252A1/de

Links

Classifications

    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
    • H03M13/25—Error detection or forward error correction by signal space coding, i.e. adding redundancy in the signal constellation, e.g. Trellis Coded Modulation [TCM]
    • H03M13/251—Error detection or forward error correction by signal space coding, i.e. adding redundancy in the signal constellation, e.g. Trellis Coded Modulation [TCM] with block coding
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
    • H03M13/35—Unequal or adaptive error protection, e.g. by providing a different level of protection according to significance of source information or by adapting the coding according to the change of transmission channel characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/67—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving unequal error protection [UEP], i.e. providing protection according to the importance of the data

Definitions

  • the invention relates to a method and an arrangement for coding or decoding a sequence of pictures.
  • a method for image compression with the associated arrangement is known from [1].
  • the known method serves as a coding method in the MPEG standard and is essentially based on the hybrid DCT (Discrete Cosine Transformation) with motion compensation.
  • a similar procedure is used for video telephony with nx 64kbit / s (CCITT recommendation H.261), for TV contribution (CCR recommendation 723) with 34 or 45Mbit / s and for multimedia applications with 1.2Mbit / s (ISO-MPEG-1) is used.
  • the hybrid DCT consists of a temporal processing stage, which takes advantage of the relationship between successive images, and a local processing stage, which uses correlation within an image.
  • the local processing essentially corresponds to the classic DCT coding.
  • the image is broken down into blocks of 8x8 pixels, each using
  • DCT can be transformed into the frequency domain.
  • the result is a matrix of 8x8 coefficients, which approximately reflect the two-dimensional spatial frequencies in the transformed image block.
  • a coefficient with frequency 0 (DC component) represents an average gray value of the image block.
  • the coefficients are spectrally weighted, so that the amplitude accuracy of the high-frequency coefficients is reduced.
  • the properties of the human eye are used, which dissolve high spatial frequencies less accurately than low ones.
  • a second step of data reduction takes place in the form of an adaptive quantization, by means of which the amplitude accuracy of the coefficients is further reduced or by which the small amplitudes are set to zero.
  • Quantization depends on the fill level of the output buffer: When the buffer is empty, fine quantization takes place so that more data is generated, while when the buffer is full, it is roughly quantized, which reduces the amount of data.
  • variable-length coding VLC
  • the motion information is transmitted with the image information, usually only one motion vector per macroblock (e.g. four 8x8 image blocks) is used.
  • the coder also has a temporal recursion loop, because the predictor must calculate the prediction value from the values of the (coded) images already transmitted.
  • An identical time recursion loop is in the decoder, so that the encoder and decoder are completely synchronized.
  • I-pictures No temporal prediction is used for the I-pictures, ie the picture values are directly transformed and encoded. I-pictures are used in order to be able to start the decoding process again without knowing the past, or to achieve a resynchronization in the event of transmission errors.
  • a temporal prediction is made based on the P-pictures, the DCT is based on the temporal
  • the B-pictures With the B-pictures, the temporal bidirectional prediction error is calculated and then transformed.
  • the bidirectional prediction is basically adaptive, i.e. forward prediction, backward prediction or interpolation are permitted.
  • the distance between the P-pictures is denoted by m, where there are m-1 B-pictures between the P-pictures.
  • m-1 means that no B-pictures are used
  • [2] discloses a method for estimating motion in the context of a method for block-based image coding. It is assumed that a digitized image has pixels that are combined in blocks of 8x8 pixels or 16x16 pixels. If necessary, an image block can also comprise several image blocks. An example of this is a macro block with 6 picture blocks, of which 4 picture blocks for Brightness information and 2 image blocks for color information are provided.
  • ⁇ For the image block for which a motion estimation is to be carried out, it is carried out in a temporally preceding image, starting from an image block which was located in the same relative position in the previous image
  • a value for an error measure is determined.
  • a sum is preferably determined via the magnitude of the differences between the coding information of the picture block and the previous picture block assigned to the picture elements.
  • Coding information here means brightness information (luminance value) and / or color information (chrominance value), each of which is assigned to a pixel. "The size and shape that can be specified in a search space around the starting position in the previous image is determined for each area of the same size of the previous image block, shifted by one or a half pixel, a value of the error measure.
  • Picture block is assumed that this previous picture block best matches the picture block of the picture to be encoded for which the motion estimation is to be performed.
  • the result of the movement estimation is a
  • Motion vector with which the displacement between the image block m the image to be encoded and the selected image block is described in the previous image.
  • Compression of the image data is achieved in that the motion vector and the error signal are encoded.
  • the motion estimation is carried out for each image block of an image.
  • An object-based image compression process is based on a decomposition of the image into objects with any
  • Boundary The individual objects are encoded separately in different "Video Object Plans", transmitted and reassembled in a receiver (decoder). As described above, in conventional coding methods, the entire picture is divided into square picture blocks. This principle is also adopted in object-based methods in that the object to be coded is divided into square blocks and a movement estimation with movement compensation is carried out separately for each block.
  • Video data compression methods according to known standards H.261, H.263, MPEG-1/2/4 use a motion-compensated prediction (motion estimation with error correction) and a transformation-based residual error coding, the discrete cosine transformation being preferred as
  • MPEG-2 contains proposals for scalable coding (hierarchical coding).
  • an image is divided into basic information with a predetermined image quality act and additional information which is additionally coded and transmitted in order to produce a complete image quality act (sufficient image quality).
  • additional information which is additionally coded and transmitted in order to produce a complete image quality act (sufficient image quality).
  • a progressive method for coding individual images is also known (see [3, 4]).
  • a small amount of data is sufficient to reconstruct the image in a basic quality. The more additional data that is received, the better the picture's act.
  • Reed-Solomon code for almost optimal coding, i.e. with a small amount of redundancy, it is possible to compensate for many errors in the information to be transmitted.
  • the object of the invention is to provide a possibility of fault-tolerant coding of a sequence of images, in particular using the disturbed channel as efficiently as possible with regard to image quality of the sequence of images.
  • a method for coding a sequence of images is specified, each image of the sequence of images having basic information and additional information.
  • the basic information is protected with a block code and saved together with the resulting redundancy.
  • the additional information is coded progressively for each picture, with increasing
  • each image can also include an image area, in particular an image object within the image.
  • Progressive coding is understood to mean that the image quality of an image increases with the number of image data transmitted, each step of the progressive
  • Coding i.e. each progression level, brings about a qualitative improvement in the overall picture (or correspondingly in part of the overall picture). If there is a transmission error within a progression level that cannot be compensated for using a block code, then further progressive image data to improve this image can be disregarded; the image quality is not further improved after an uncorrectable transmission error occurs.
  • the compromise therefore consists, on the one hand, of providing sufficient redundancy for the basic information in accordance with the transmission channel, so that it is ensured that the basic information can also be restored in the event of a malfunction of the transmission channel.
  • the additional information is expediently provided with less redundancy from progression level to progression level, so that, depending on the interference in the transmission channel, only a gradual deterioration of the image is achieved. This advantageously ensures that no transmission errors propagate from picture to picture and that
  • the images are always transmitted at least in the image quality corresponding to the basic information.
  • the sequence of images is encoded on the side of an encoder and above that described Transmission channel is transmitted to a decoder.
  • the decoder ensures the restoration of the basic information and, as far as possible, the additional information and in particular represents the sequence of images obtained.
  • a further development consists in dimensioning the redundancy to the basic information in such a way that the basic information can be restored by a decoder even if the transmission channel is correspondingly poor.
  • Another further development consists in that no separate redundancy is provided for the additional information from a predetermined progression level. From this progression level, no transmission errors can be compensated.
  • the block code is a Reed-Solomon code.
  • Another embodiment consists in that the basic information of chronologically successive images is used to carry out a motion estimation with error correction.
  • the motion estimation with error correction takes place only on the basis of the transmitted basic information.
  • No movement estimation is made based on the additional information based on the basic information.
  • the additional information is thus used to improve the image quality of each individual image, errors m in the additional information then only play a role for this particular image. Additional information is reconstructed in the following image, so that the errors m in the additional information of the previous image are irrelevant.
  • Another embodiment consists in that an intra-picture coding takes place if the transmission channel (dynamic) falls below a predetermined value. In such a case, it can be ensured that the complete image (without motion estimation) is transmitted using the intra-image coding.
  • a further development consists in decoding the sequence of pictures, one for each picture
  • Another development is that the decoding of an image is completed as soon as the additional information can no longer be reconstructed. In such a case, errors occurred on the transmission channel that can no longer be reconstructed based on the redundancy (if it exists). Accordingly, the further information of the progressive coding can no longer be used.
  • the transmission channel is a mobile channel, i.e. is especially a channel for mobile radio, on which packet losses can occur.
  • the transmission channel can be used in Internet applications, be it mobile or stationary (wired). Packet losses can also occur on the transmission channel in Internet applications. The method described above is based on such
  • Transmission channels secure efficient image coding or image decoding.
  • An arrangement for coding a sequence of images is also specified for solving the task, each image of the sequence of images having basic information and additional information.
  • the arrangement comprises a processor unit which is set up in such a way that a) the basic information can be protected with a block code and can be stored with the resulting redundancy; b) the additional information can be coded progressively for each image, the block code gradually having a lower redundancy and thus fault tolerance with increasing progression level.
  • Images provided which has a processor unit which is set up in such a way that a) the basic information is converted or reconstructed and b) the additional information is converted or reconstructed.
  • Fig.l is a sketch illustrating a coding of images, each having basic information and additional information; 2 shows a sketch which illustrates how the progressive, fault-tolerant coding of an image takes place;
  • FIG. 3 shows a sketch with an image encoder and an image decoder
  • Three images 101, 102 and 103 are shown, each of which has basic information B and additional information Z. Redundancy to the basic information B ensures that the basic information B can be reconstructed for each image, even if the transmission channel is disturbed. Due to this reconstructibility, error-free movement compensation takes place for the basic information B, that is, on the basis of the reliably obtained basic information B, it is possible to predict a current image from the previous image.
  • the additional information Z is based on the basic information B of each individual image 101 to 103.
  • the additional information Z of the images is not linked to one another, that is to say depending on the current disturbance of the transmission channel, more or less additional information Z is used per image in the form of a progressive method to improve the respective image quality of the individual image more or less. If, for example, the transmission channel is severely disturbed for a short time, it can happen with a single image that only little data of the additional information Z can be used for the reconstruction of the image. In this case, this picture of an act of agony could be represented, which differs only insignificantly from the act of agony assured by basic information B. Is the
  • FIG. 2 shows a sketch which illustrates how the progressive, fault-tolerant coding of an image takes place.
  • Figure 201 which includes basic information BgxK ß with the associated redundancy BgxKp.
  • the redundancy is suitable for ensuring that a corresponding block code (in particular a Reed-Solomon code) ensures that the basic information B ß XKg can be restored even in the event of a fault in the transmission channel.
  • step by step Improvement based on the additional information should take into account the dynamic "storage conditions" of the transmission channel.
  • the fault conditions are effectively taken into account by gradually grading the redundancy associated with the respective additional information.
  • the transmission system allows a bit rate of R ⁇ in bit / s.
  • a frame rate is Rf, specified in frames / s.
  • the number N of bits that can be transmitted per picture frame on average over time is thus:
  • N also corresponds to the size of the BxNg block meander (see [5]).
  • the number of bits generated per frame is known from a rate control of the video encoder. Also known, be it by estimation or by measurement, is the maximum packet error rate or packet loss rate that occurs for a certain packet size on the transmission channel.
  • the (Ng, Kg) block code and the blocktermeaver can be parameterized.
  • a Reed-Solomon code is advantageously selected via a Galois field GF (2 m ). Then, when coding Kg * m information bits are mapped onto Ng symbols of length m bits and the code can
  • the additional information is based on a progressive one
  • Video coding it is advantageous to use several different (N B , KE I ) ⁇ instead of one (N B , Kg) block code for the fault tolerance of the additional information.
  • N B , KE I a different block code for the fault tolerance of the additional information.
  • the information that is significant for the reconstruction is thereby given greater protection against transmission errors (larger
  • FIG. 3 shows a sketch of an arrangement for carrying out a block-based image coding method.
  • a video data stream to be encoded with chronologically successive digitized images is supplied to an image coding unit 1201.
  • the digitized images smd divided into macro blocks 1202, each macro block having 16x16 pixels.
  • the macro block 1202 comprises four image blocks 1203, 1204, 1205 and 1206, each image block containing 8x8 pixels, to which luminance values (brightness values) are assigned.
  • each macro block 1202 comprises two chroma blocks 1207 and 1208 with chrominance values (color difference values) assigned to the pixels.
  • the image blocks are fed to a transformation coding unit 1209.
  • spectral coefficients 1211 are formed for the picture blocks or difference picture blocks to be coded and fed to a quantization unit 1212.
  • Quantized spectral coefficients 1213 are both a scan unit 1214 and a verse
  • Quantization unit 1215 m fed to a reverse path.
  • entropy coding is carried out on the scanned spectral coefficient 1232 in an entropy coding unit 1216 provided for this purpose.
  • the entropy-coded spectral coefficients are transmitted as coded image data 1217 via a channel, preferably a line or a radio link, to a decoder.
  • inverse quantization unit 1215 there is an inverse quantization of the quantized spectral coefficients 1213.
  • Spectral coefficients 1218 obtained in this way are supplied to an inverse transformation coding unit 1219 (inverse discrete cosine transformation, IDCT).
  • Reconstructed coding values (also differential coding values) 1220 are supplied to an adder 1221 in the differential image mode.
  • the adder 1221 also receives coding values of an image block, which result from a temporally previous image after motion compensation has already been carried out. The adder 1221 is used to reconstruct
  • Image blocks 1222 are formed and stored in an image memory 1223. Chrominance values 1224 of the reconstructed image blocks 1222 are supplied to a motion compensation unit 1225 from the image memory 1223. For brightness values 1226, an interpolation takes place in an interpolation unit 1227 provided for this purpose. Based on the interpolation, the number of brightness values contained in the respective image block is preferably doubled. All brightness values 1228 are supplied to both the movement compensation unit 1225 and the movement estimation unit 1229. The movement estimation unit 1229 also receives the image blocks of the macro block to be coded in each case (16 ⁇ 16 pixels) via the connection 1234. This takes place in the movement estimation unit 1229
  • Movement estimation taking into account the interpolated holiness values ("movement estimation on a half-pixel basis").
  • absolute differences between the individual holiness values are preferably determined in the macro block 1202 currently to be coded and in the reconstructed one
  • Macroblock determined from the previous image.
  • the result of the motion estimation is a motion vector 1230, by means of which a local shift of the selected macroblock from the temporally previous image to the macroblock 1202 to be coded is expressed.
  • Both brightness information and chrominance information relating to the macroblock determined by the motion estimation unit 1229 are shifted by the motion vector 1230 and subtracted from the coding values of the macroblock 1202 (see data path 1231).
  • the processor unit PRZE comprises a processor CPU, one
  • the processor unit PRZE also has a data bus BUS, which ensures the connection of a memory MEM, the processor CPU and the input / output interface IOS. Furthermore, additional components can be connected to the data bus BUS, for example additional memory, data storage (hard disk) or scanner.

Abstract

Es wird ein Verfahren zur Codierung einer Folge von Bildern angegeben, wobei jedes Bild der Folge von Bildern eine Basisinformation und eine Zusatzinformation aufweist. Die Basisinformation wird mit einem Blockcode geschützt und zusammen mit der daraus resultierenden Redundanz abgespeichert. Die Zusatzinformation wird für jedes Bild progressiv codiert, wobei mit zunehmender Progressionsstufe schrittweise der Blockcode eine geringere Redundanz und damit Fehlertoleranz aufweist.

Description

Beschreibung
PROGRESSIVE FEHLERTOLERANTE CODIERUNG BZW. DECODIERUNG EINER FOLGE VON BILDERN
Die Erfindung betrifft ein Verfahren und eine Anordnung zur Codierung bzw. Decodierung einer Folge von Bildern.
Ein Verfahren zur Bildkomprimierung mit dazugehöriger Anordnung ist bekannt aus [1] . Das bekannte Verfahren dient im MPEG-Standard als Codierverfahren und basiert im wesentlichen auf der hybriden DCT (Diskreten Cosinus Transformation) mit Bewegungskompensation. Ein ähnliches Verfahren wird für die Bildtelefonie mit n x 64kbit/s (CCITT- Empfehlung H.261), für die TV-Kontribution (CCR-Empfehlung 723) mit 34 bzw. 45Mbit/s und für Multimedia-Applikationen mit l,2Mbit/s (ISO-MPEG-1) verwendet. Die hybride DCT besteht aus einer zeitlichen Verarbeitungsstufe, die die Verwandtschaftsbeziehungen aufeinanderfolgender Bilder ausnutzt, und einer örtlichen Verarbeitungsstufe, die die Korrelation innerhalb eines Bildes ausnutzt.
Die örtliche Verarbeitung ( Intrafra e-Codierung) entspricht im wesentlichen der klassischen DCT-Codierung. Das Bild wird in Blocke von 8x8 Bildpunkten zerlegt, die jeweils mittels
DCT in den Frequenzbereich transformiert werden. Das Ergebnis ist eine Matrix von 8x8 Koeffizienten, die naherungsweise die zweidimensionalen Ortsfrequenzen im transformierten Bildblock widerspiegeln. Ein Koeffizient mit Frequenz 0 (Gleichanteil) stellt einen mittleren Grauwert des Bildblocks dar.
Nach der Transformation findet eine Datenexpansion statt. Allerdings wird in natürlichen Bildvorlagen eine Konzentration der Energie um den Gleichanteil (DC-Wert) stattfinden, wahrend die hochstfrequenten Koeffizienten meist nahezu Null sind. In einem nächsten Schritt erfolgt eine spektrale Gewichtung der Koeffizienten, so daß die Amplitudengenauigkeit der hochfrequenten Koeffizienten verringert wird. Hierbei nutzt man die Eigenschaften des menschlichen Auges aus, das hohe Ortsfrequenzen weniger genau auflost als niedrige.
Ein zweiter Schritt der Datenreduktion erfolgt m Form einer adaptiven Quantisierung, durch die die Amplitudengenauigkeit der Koeffizienten weiter verringert wird bzw. durch die die kleinen Amplituden zu Null gesetzt werden. Das Maß der
Quantisierung hangt dabei vom Füllstand des Ausgangspuffers ab: Bei leerem Puffer erfolgt eine feine Quantisierung, so daß mehr Daten erzeugt werden, wahrend bei vollem Puffer grober quantisiert wird, wodurch sich die Datenmenge reduziert.
Nach der Quantisierung wird der Block diagonal abgetastet ("zιgzag"-Scannmg) , anschließend erfolgt eine Entropiecodierung, die eine weitere Datenreduktion bewirkt. Hierfür werden zwei Effekte ausgenutzt:
1.) Die Statistik der Amplitudenwerte (hohe Amplitudenwerte treten seltener auf als kleine, so daß den seltenen Ereignissen lange und den häufigen Ereignissen kurze Codeworter zugeordnet werden (Variable-Length-Codierung, VLC) . Auf diese Weise ergibt sich im Mittel eine geringere Datenrate als bei einer Codierung mit fester Wortlange. Die variable Rate der VLC wird anschließend im Pufferspeicher geglättet.
2.) Man nutzt die Tatsache aus, daß von einem bestimmten Wert an m den meisten Fallen nur noch Nullen folgen. Statt aller dieser Nullen übertragt man lediglich einen EOB-Code (End Of Block) , was zu einem signifikanten Codiergewinn bei der Kompression der Bilddaten fuhrt. Statt der Ausgangsrate von bspw. 512bιt sind dann nur 46bιt für diesen Block zu übertragen, was einem Kompressionsfaktor von über 11 entspricht.
Einen weiteren Kompressionsgewinn erhalt man durch die zeitliche Verarbeitung (Interframe-Codierung) . Zur Codierung von Differenzbildern wird weniger Datenrate benotigt als für die Oπgmalbilder, denn die Amplitudenwerte sind weitaus geringer.
Allerdings sind die zeitlichen Differenzen nur klein, wenn auch die Bewegungen im Bild gering sind. Sind hingegen die Bewegungen im Bild groß, so entstehen große Differenzen, die wiederum schwer zu codieren sind. Aus diesem Grund wird die Bild-zu-Bild-Bewegung gemessen (Bewegungsschatzung) und vor der Differenzbildung kompensiert (Bewegungskompensation) .
Dabei wird die Bewegungsinformation mit der Bildinformation übertragen, wobei üblicherweise nur ein Bewegungsvektor pro Makroblock (z.B. vier 8x8-Bιldblocke) verwendet wird.
Noch kleinere Amplitudenwerte der Differenzbilder werden erhalten, wenn statt der verwendeten Pradiktion eine bewegungskompensierte bidirektionale Pradiktion benutzt wird.
Bei einem bewegungskompensierten Hybrideoder wird nicht das Bildsignal selbst transformiert, sondern das zeitliche
Differenzsignal. Aus diesem Grund verfugt der Coder auch über eine zeitliche Rekursionsschleife, denn der Pradiktor muß den Pradiktionswert aus den Werten der bereits übertragenen (codierten) Bilder berechnen. Eine identische zeitliche Rekursionsschleife befindet sich im Decoder, so daß Coder und Decoder völlig synchronisiert sind.
Im MPEG-2-Codιerverfahren gibt es hauptsachlich drei verschiedene Methoden, mit denen Bilder verarbeitet werden können: I-Bilder: Bei den I-Bildern wird keine zeitliche Pradiktion verwendet, d.h., die Bildwerte werden direkt transformiert und codiert. I-Bilder werden verwendet, um den Decodiervorgang ohne Kenntnis der zeitlichen Vergangenheit neu beginnen zu können, bzw. um eine Resynchronisation bei Übertragungsfehlern zu erreichen.
P-Bilder: Anhand der P-Bilder wird eine zeitliche Pradiktion vorgenommen, die DCT wird auf den zeitlichen
Pradiktionsfehler angewandt.
B-Bilder: Bei den B-Bildern wird der zeitliche bidirektionale Pradiktionsfehler berechnet und anschließend transformiert. Die bidirektionale Pradiktion arbeitet grundsatzlich adaptiv, d.h. es wird eine Vorwartspradiktion, eine Ruckwartspradiktion oder eine Interpolation zugelassen.
Ein Bildsequenz wird bei der MPEG-2-Codιerung m sog. GOPs
(Group Of Pictures) eingeteilt, n Bilder von einem I-Bild zum nächsten bilden eine GOP . Der Abstand zwischen den P-Bildern wird mit m bezeichnet, wobei sich jeweils m-1 B-Bilder zwischen den P-Bildern befinden. Die MPEG-Syntax überlaßt es jedoch dem Anwender, wie m und n gewählt werden, m-1 bedeutet, daß keine B-Bilder verwendet werden, und n=l bedeutet, daß nur I-Bilder codiert werden.
Aus [2] ist em Verfahren zur Bewegungsschatzung im Rahmen eines Verfahrens zur blockbasierten Bildcodierung bekannt. Dabei wird vorausgesetzt, daß ein digitalisiertes Bild Bildpunkte aufweist, die in Bildblocken von insbesondere 8x8 Bildpunkten oder 16x16 Bildpunkten zusammengefaßt sind. Gegebenenfalls kann ein Bildblock auch mehrere Bildblocke umfassen. Ein Beispiel hierfür stellt ein Makroblock mit 6 Bildblocken dar, von denen 4 Bildblocke für Helligkeitsinformation und 2 Bildblocke für Farbinformation vorgesehen sind.
Bei einer Folge von Bildern wird für ein zu codierendes Bild unter Berücksichtigung der Bildblocke dieses Bildes wie folgt verfahren:
■ Es wird für den Bildblock, für den eine Bewegungsschatzung durchgeführt werden soll, in einem zeitlich vorhergehenden Bild, ausgehend von einem Bildblock, der sich m der gleichen relativen Position in dem vorhergehenden Bild befand
(= vorangegangener Bildblock) , ein Wert für ein Fehlermaß bestimmt. Dazu wird bevorzugt eine Summe über die Betrage der Differenzen von den Bildpunkten zugeordneter Codierungsinformation des Bildblocks und des vorangegangenen Bildblocks bestimmt.
Unter Codierungsinformation ist hierbei eine Helligkeitsinformation (Lummanzwert) und/oder eine Farbinformation (Chrominanzwert) zu verstehen, welche jeweils einem Bildpunkt zugeordnet ist. " In einem Suchraum vorgebbarer Große und Form um die Ausgangsposition m dem zeitlich vorhergehenden Bild wird jeweils für em Gebiet derselben Große des vorangegangenen Bildblocks, verschoben um einen oder einen halben Bildpunkt, em Wert des Fehlermaßes bestimmt.
■ In einem Suchraum der Große nxn-Bildpunkte ergeben
2 sich n (Fehler-) Werte . Es wird derjenige verschobene vorangegangene Bildblock in dem zeitlich vorhergehenden Bild ermittelt, für den das Fehlermaß einen minimalen Fehlerwert ergibt. Für diesen
Bildblock wird angenommen, daß dieser vorangegangene Bildblock mit dem Bildblock des zu codierenden Bildes, für den die Bewegungsschatzung durchgeführt werden soll, am besten übereinstimmt. ■ Das Ergebnis der Bewegungsschatzung ist ein
Bewegungsvektor, mit dem die Verschiebung zwischen dem Bildblock m dem zu codierenden Bild und dem ausgewählten Bildblock in dem zeitlich vorhergehenden Bild beschrieben wird.
■ Eine Kompression der Bilddaten wird dadurch erreicht, daß der Bewegungsvektor und das Fehlersignal codiert werden.
■ Insbesondere wird die Bewegungsschatzung für jeden Bildblock eines Bildes durchgeführt.
Ein objektbasiertes Bildkompressionsverfahren basiert auf einer Zerlegung des Bildes in Objekte mit beliebiger
Berandung. Die einzelnen Objekte werden in verschiedenen "Video Object Plans" getrennt voneinander codiert, übertragen und in einem Empfanger (Decoder) wieder zusammengesetzt. Wie oben beschrieben, wird be herkömmlichen Codierverfahren das gesamte Bild in quadratische Bildblocke unterteilt. Dieses Prinzip wird auch bei objektbasierten Verfahren übernommen, indem das zu codierende Objekt in quadratische Blocke unterteilt und für jeden Block separat eine Bewegungsschatzung mit einer Bewegungskompensation durchgeführt wird.
Bei der Übertragung einer Folge von Bildern (Bilddaten) über einen gestörten Kommunikationskanal, insbesondere einen mobilen (Funk-) Kanal oder einen verlustbehafteten drahtgebundenen Kanal, können Teile der Bilddaten verloren gehen. Ein solcher Verlust der Bilddaten äußert sich m Form drastischer Qualitatsembruche m mehr oder weniger großen Bildbereichen. Da, wie oben beschrieben, bei Bildcodierung/Bilddecodierung Verfahren der Bewegungsschatzung mit Bewegungskompensation eingesetzt werden, verschwindet die Bildstörung auch dann nicht, wenn der Ubertragungskanal wieder eine fehlerfreie Übertragung gewährleistet. Dies liegt daran, daß sich bei der Bewegungsschatzung insbesondere e einmal auftretender Fehler bis zur Übertragung des nächsten Vollbildes
(Intrabild) fortbesteht. Es erfolgt daher eine äußerst störende Fehlerfortpflanzung. Videodatenkompressionsverfahren nach bekannten Standards H.261, H.263, MPEG-1/2/4 verwenden eine bewegungskompensierte Pradiktion (Bewegungsschatzung mit Fehlerkorrektur) und eine transformationsbasierte Restfehlercodierung, wobei bevorzugt die diskrete Cosinustransformation als
Transformationscodierung eingesetzt wird. MPEG-2 enthalt Vorschlage für eine skalierbare Codierung (hierarchische Codierung) . Dabei wird ein Bild unterteilt eine Basisinformation mit einer vorgegebenen Bildqualltat und einer Zusatzinformation, die zur Herstellung einer vollständigen Bildqualltat (ausreichende Bildqualitat) zusätzlich codiert und übertragen wird. Bei Übertragungsfehlern im Bereich der Zusatzinformation ist immer noch sichergestellt, daß das jeweilige Bild in einer Qualität, die durch die Basisinformation hergestellt ist, rekonstruiert werden kann.
Ferner bekannt ist em progressives Verfahren zur Codierung von Einzelbildern (siehe [3, 4]). Dabei reicht bereits eine geringe Datenmenge aus, um das Bild m einer Basisqualitat zu rekonstruieren. Je mehr zusätzliche Daten empfangen werden, desto besser wird die Qualltat des Bildes.
In [5] wird vorgeschlagen, em solch progressives
Bildcodierverfahren für die Codierung von Bewegtbildern einzusetzen.
Verfahren zur Fehlerkompensation bzw. Fehlerkorrektur sind in [6] beschrieben. Insbesondere eignet sich der sogenannte
Reed-Solomon-Code zur nahezu optimalen Codierung, das heißt mit einer geringen Menge an Redundanz ist es möglich, viele Fehler der zu übertragenden Information zu kompensieren.
Nun ist es von Nachteil, daß auch bei der progressiven Bildcodierung eine Störung ohne Fehlerschutz m dem Übertragungskanal zu lang anhaltenden, drastischen Qualitatsembußen fuhrt.
Die Aufgabe der Erfindung besteht darin, eine Möglichkeit der fehlertoleranten Codierung einer Folge von Bildern anzugeben, wobei insbesondere eine möglichst effiziente Nutzung des gestörten Kanals hinsichtlich Bildqualitat der Folge von Bildern erreicht wird.
Diese Aufgabe wird gemäß den Merkmalen der unabhängigen
Patentansprüche gelost. Weiterbildungen der Erfindung ergeben sich auch aus den abhangigen Ansprüchen.
Zur Losung der Aufgabe wird e Verfahren zur Codierung einer Folge von Bildern angegeben, wobei jedes Bild der Folge von Bildern eine Basisinformation und eine Zusatzinformation aufweist. Die Basisinformation wird mit einem Blockcode geschützt und zusammen mit der daraus resultierenden Redundanz abgespeichert. Die Zusatzinformation wird für jedes Bild progressiv codiert, wobei mit zunehmender
Progressionsstufe schrittweise der Blockcode eine geringere Redundanz und damit Fehlertoleranz aufweist.
Hierbei sei angemerkt, daß die Codierung jedes Bildes auch einen Bildbereich, insbesondere em Bildobjekt innerhalb des Bildes, umfassen kann.
Unter progressiver Codierung wird verstanden, daß die Bildqualitat eines Bildes mit der Anzahl der übertragenen Bilddaten steigt, wobei jeder Schritt der progressiven
Codierung, das heißt ede Progressionsstufe, eine qualitative Verbesserung des Gesamtbildes (oder entsprechend eines Teils des Gesamtbildes) bewirkt. Liegt innerhalb einer Progressionsstufe em Ubertragungsfehler vor, der nicht mittels Blockcode kompensiert werden kann, so kann insbesondere von den weiteren progressiven Bilddaten zur Verbesserung dieses Bildes abgesehen werden; die Bildqualitat wird nach Auftreten eines nicht korrigierbaren Übertragungsfehlers nicht weiter verbessert.
Daher ist es zweckmäßig, auch die progressiv codierte Zusatzinformation mit Redundanz zu versehen, so daß, zumindest in den ersten Progressionsstufen, eine vorbestimmte Anzahl von Übertragungsfehlern kompensierbar ist. Dadurch ist sichergestellt, daß bei einem qualitativ "ausreichenden" Kanal im Mittel einige Progressionsstufen zur Verbesserung des Bildes herangezogen werden können.
Grundsatzlich gilt, daß, je mehr Daten bei konstanter Datenrate für die Fehlerkorrektur vorgesehen sind, desto schlechter ist (bei einem ungestörten Kanal) die Bildqualitat des übertragenen Bildes. Der Kompromiß besteht somit zum einen darin, entsprechend dem Ubertragungskanal ausreichend Redundanz für die Basisinformation vorzusehen, so daß sichergestellt ist, daß die Basisinformation auch bei Störung des Ubertragungskanals wiederhergestellt werden kann. Die Zusatzinformation wird zweckmäßig von Progressionsstufe zu Progressionsstufe mit weniger Redundanz versehen, so daß abhangig von der Störung des Ubertragungskanals nur eine graduelle Verschlechterung des Bildes erzielt wird. Dadurch ist vorteilhaft gewährleistet, daß sich keine Übertragungsfehler von Bild zu Bild fortpflanzen und die
Anpassung der Qualltat des Bildes an die Übertragungsqualltat des Kanals dynamisch erfolgt. Unterliegt der
Ubertragungskanal starken qualitativen Schwankungen, so wird mit dem vorgestellten Verfahren gewährleistet, daß einige Bilder graduell schlechter, andere wieder qualitativ besser übertragen werden. Die Bilder werden dabei stets mindestens in der der Basisinformation entsprechenden Bildqualitat übertragen .
Hierbei sei angemerkt, daß im beschriebenen Szenario davon ausgegangen wird, daß die Folge von Bildern auf Seite eines Encoders codiert wird und über den beschriebenen Übertragungskanal zu einem Decoder übertragen wird. Der Decoder sorgt für die Wiederherstellung der Basisinformation und, soweit möglich, der Zusatzinformation und stellt insbesondere die erhaltene Folge von Bildern dar.
Eine Weiterbildung besteht darin, daß die Redundanz zur Basisinformation derart bemessen wird, daß eine Wiederherstellung der Basisinformation durch einen Decoder auch bei entsprechend schlechtem Übertragungskanal erfolgen kann .
Eine andere Weiterbildung besteht darin, daß für die Zusatzinformation ab einer vorgegebenen Progressionsstufe keine eigene Redundanz vorgesehen wird. Ab dieser Progressionsstufe können somit keine Übertragungsfehler kompensiert werden.
Eine Ausgestaltung besteht darin, daß der Blockcode em Reed- Solomon-Code ist.
Eine andere Ausgestaltung besteht darin, daß die Basisinformation zeitlich aufeinanderfolgender Bilder dazu genutzt wird, daß eine Bewegungsschatzung mit Fehlerkorrektur durchgeführt wird. Insbesondere erfolgt die Bewegungsschatzung mit Fehlerkorrektur nur anhand der übertragenen Basismformationen. Anhand der auf den Basisinformationen aufbauenden Zusatzinformationen erfolgt keine Bewegungsschatzung. Somit wird die Zusatzinformation zur Verbesserung der Bildqualitat jedes einzelnen Bildes eingesetzt, Fehler m der Zusatzinformation spielen dann nur für dieses jeweilige Bild eine Rolle. Bei dem nachfolgenden Bild wird erneut Zusatzinformation rekonstruiert, so daß die Fehler m der Zusatzinformation des vorangegangenen Bildes keine Rolle spielen.
Eine andere Weiterbildung besteht darin, daß die Zusatzinformation der Bilder selbst unterteilt ist eine erste Ebene und in eine zweite Ebene, wobei die erste Ebene mittels umfangreicherer Redundanz rekonstruierbar ist als die zweite Ebene und damit eine Bewegungsschatzung mit/ohne Fehlerkorrektur auch auf der ersten Ebene durchgeführt werden kann.
Eine andere Ausgestaltung besteht darin, daß bei Unterschreiten einer vorgegebenen Gute für den Übertragungskanal (dynamisch) eine Intrabild-Codierung erfolgt. In so einem Fall kann sichergestellt werden, daß anhand der Intrabild-Codierung em vollständiges Bild (ohne Bewegungsschatzung) übertragen wird.
Eine Weiterbildung besteht darin, eine Decodierung der Folge von Bildern durchzufuhren, wobei für jedes Bild eine
Umsetzung bzw. Rekonstruktion der Basismformation und eine Umsetzung bzw. Rekonstruktion der Zusatzinformation (jeweils - wenn möglich - anhand der Redundanz) durchgeführt wird.
Eine andere Weiterbildung besteht darin, daß die Decodierung eines Bildes abgeschlossen wird, sobald die Zusatzinformation nicht mehr rekonstruierbar ist. In so einem Fall smd auf dem Ubertragungskanal Fehler aufgetreten, die anhand der Redundanz (so sie vorhanden ist) nicht mehr rekonstruierbar smd. Demnach smd die weiteren Informationen der progressiven Codierung nicht mehr verwertbar.
Eine Ausgestaltung besteht darin, daß der Ubertragungskanal em mobiler Kanal, d.h. insbesondere em Kanal für Mobilfunk, ist, auf dem Paketverluste auftreten können. Weiterhin kann der Ubertragungskanal bei Internetanwendungen eingesetzt werden, sei er dabei mobil oder stationär (drahtgebunden) ausgeführt. Auch bei Internetanwendungen können auf dem Ubertragungskanal Paketverluste auftreten. Das oben beschriebene Verfahren stellt auch auf derartigen
Ubertragungskanalen eine effiziente Bildcodierung bzw. Bilddecodierung sicher. Auch wird zur Losung der Aufgabe eine Anordnung zur Codierung einer Folge von Bildern angegeben, wobei jedes Bild der Folge von Bildern eine Basisinformation und eine Zusatzinformation aufweist. Die Anordnung umfaßt eine Prozessoreinheit, die derart eingerichtet ist, daß a) die Basisinformation mit einem Blockcode geschützt werden kann und mit der daraus resultierenden Redundanz abspeicherbar ist; b) die Zusatzinformation für jedes Bild progressiv codierbar ist, wobei mit zunehmender Progressionsstufe schrittweise der Blockcode eine geringere Redundanz und damit Fehlertoleranz aufweist.
Auch ist eine Anordnung zur Decodierung einer Folge von
Bildern vorgesehen, der eine Prozessoreinheit aufweist, die derart eingerichtet ist, daß a) eine Umsetzung bzw. Rekonstruktion der Basisinformation und b) eine Umsetzung bzw. Rekonstruktion der Zusatzinformation erfolgt .
Diese Anordnungen smd insbesondere geeignet zur Durchfuhrung des erfmdungsgemäßen Verfahrens oder einer seiner vorstehend erläuterten Weiterbildungen.
Ausfuhrungsbeispiele der Erfindung werden nachfolgend anhand der Zeichnungen dargestellt und erläutert.
Es zeigen
Fig.l eine Skizze, die eine Codierung von Bildern, die jeweils Basisinformation und Zusatzinformation aufweisen, veranschaulicht; Fig.2 eine Skizze, die veranschaulicht, wie die progressive fehlertolerante Codierung eines Bildes erfolgt;
Fig.3 eine Skizze mit einem Bildcoder und einem Bilddecoder;
Fig.4 eine Prozessoreinheit.
In Fig.l wird eine Skizze gezeigt, die eine Codierung von Bildern, die jeweils Basisinformationen und
Zusatzinformationen aufweisen, veranschaulicht. Dazu smd drei Bilder 101, 102 und 103 dargestellt, die jeweils eine Basisinformation B und eine Zusatzinformation Z aufweisen. Anhand einer Redundanz zu der Basisinformation B ist sichergestellt, daß für jedes Bild die Basisinformation B, auch bei gestörtem Ubertragungskanal, rekonstruierbar ist. Durch diese Rekonstruierbarkeit erfolgt für die Basismformation B eine fehlerfreie Bewegungskompensation, das heißt aufgrund der zuverlässig erhaltenen Basisinformation B ist eine Pradiktion eines aktuellen Bildes aus dem vorangegangenen Bild möglich. Die Zusatzinformation Z setzt auf der Basisinformation B jedes einzelnen Bildes 101 bis 103 auf. Die Zusatzinformationen Z der Bilder smd untereinander nicht verknüpft, das heißt abhangig von der aktuellen Störung des Ubertragungskanals wird pro Bild mehr oder weniger Zusatzinformation Z m Form eines progressiven Verfahrens genutzt, um die jeweilige Bildqualitat des einzelnen Bildes mehr oder weniger stark zu verbessern. Ist beispielsweise der Ubertragungskanal kurzfristig stark gestört, so kann es bei einem einzelnen Bild dazu kommen, daß nur wenig Daten der Zusatzinformation Z zur Rekonstruktion des Bildes eingesetzt werden können. In diesem Fall konnte dieses Bild einer Qualltat dargestellt werden, die sich nur unwesentlich von der durch die Basisinformation B sichergestellten Qualltat unterscheidet. Ist die
(kurzfristige) Störung des Ubertragungskanals vorbei, so kann bereits im zeitlich nachfolgenden Bild (bei geringer bzw. ganzlich ohne Störung des Ubertragungskanals) die gesamte Zusatzinformation Z verwertbar sein, dieses nachfolgende Bild wird demnach in (bestmöglicher) Qualltat, die aus Informationen der Basisinformation B und Zusatzinformation Z besteht, dargestellt. Das Verfahren ermöglicht somit eine graduelle Verschlechterung einzelner stark gestörter Bilder, ohne daß diese Verschlechterung auf nachfolgende Bilder Einfluß nimmt.
Fig.2 zeigt eine Skizze, die veranschaulicht, wie die progressive fehlertolerante Codierung eines Bildes erfolgt. Dazu ist em Bild 201 dargestellt, das Basisinformation BgxKß mit zugehöriger Redundanz BgxKp umfaßt. Die Redundanz ist dazu geeignet, daß e entsprechender Blockcode (insbesondere em Reed-Solomon-Code) gewährleistet, daß auch bei Störung des Übertragungskanals die Basisinformation BßXKg wiederherstellbar ist. Ferner weist das Bild 201 Zusatzinformation auf, die für jede Progressionsstufe B^ (ι ist die Progressionsstufe, wobei gilt: l = 1..5) im Vergleich zu einer vorangegangenen Progressionsstufe Bz(ι-i) eine geringere Datenmenge als Redundanz KRX bereitgestellt wird, mit jeder Progressionsstufe erfolgt (falls die Zusatzinformation der Progressionsstufe ohne Störung empfangen wurde bzw. die Redundanz dieser Progressionsstufe eine Wiederherstellung der Zusatzinformation erlaubt) eine neue schrittweise qualitative Verbesserung des Bildes. Um hohe Progressionsstufen, die spat folgen (d.h. hoher Wert l) und zu einer zusätzlichen qualitativen Aufwertung des Bildes fuhren, nutzen zu können, ist es sinnvoll, niedrige Progressionsstufen mit Redundanz zu versehen.
Die anteilige Redundanz ist m Fig.2 eingezeichnet (für die erste Progressionsstufe B21 ist dies die Redundanz K^i). Nun ist es sinnvoll, mit wachsender Progressionsstufe innerhalb dieser der Zusatzmformation einen größeren Anteil als der
Redundanz einzuräumen. So stellt die Basisinformation bereits eine M destqualitat des Bildes sicher, eine schrittweise Verbesserung anhand der Zusatzinformation soll unter Berücksichtigung der dynamischen "Storverhaltnisse" des Übertragungskanals erfolgen. Die Storverhaltnisse werden effektiv berücksichtigt, indem eine schrittweise Abstufung der zu der jeweiligen Zusatzinformation gehörenden Redundanz erfolgt.
Das Übertragungssystem erlaubt eine Bitrate von R^ in Bit/s. Eine Bildwiederholrate sei Rf, angegeben in Frames/s. Damit betragt die Anzahl N der je Bildrahmen (Frame) im zeitlichen Mittel übertragbaren Bits:
N - RbD
Rf
wobei N auch der Große des BxNg Blockmterleavers (siehe [5]) entspricht. Durch eine Ratenkontrolle des Videocoders ist die Anzahl der je Frame generierten Bits bekannt. Ebenso bekannt, sei es durch Abschätzung oder durch Messung, ist die maximal auftretende Paketfehlerrate bzw. Paketverlustrate bei einer bestimmten Paketgroße auf dem Ubertragungskanal. Mit Hilfe dieser Großen können nun der (Ng, Kg) -Blockcode und der Blockmterleaver parametrisiert werden. Vorteilhaft wird dazu eine Reed-Solomon-Code über einen Galois-Feld GF(2m) gewählt. Dann werden bei der Codierung Kg*m Informationsbits auf Ng Symbole der Lange m Bits abgebildet und der Code kann
(NB - KB)
Fehler
2
bzw.
(Ng - Kg) Erasures
korrigieren. Hierbei sei angemerkt, daß bei Erasures die Position des Datenverlusts bekannt ist. Durch Codeverkurzung kann jedes beliebige NB realisiert werden. Dann werden die Zusatzinformationen mit einem (NB,Kg) Reed-Solomon-Code codiert. Aus der Codierung resultieren BB Codeworte für die Basisinformation bzw. Bg Codeworte für die Zusatzinformation. Die Parameter erfüllen zweckmäßig die Bedingung
(BB+BE)*NB*m = N.
Basiert die Zusatzinformation auf einer progressiven
Videocodierung, ist es vorteilhaft, anstatt eines (NB,Kg)- Blockcodes mehrere verschiedene (NB,KEI)~ Blockcodes für die Fehlertoleranz der Zusatzinformation zu verwenden. Die für die Rekonstruktion signifikante Information erfahrt dadurch einen höheren Schutz gegen Ubertragungsfehler (größere
Fehlertoleranz) als die weniger wichtige Zusatzinformation, so daß die Bildqualitat im Mittel optimal ist. Mit einer zunehmenden Paketfehlerrate können immer weniger Teile der Zusatzinformation rekonstruiert werden. Die Bildqualitat geht langsam auf die durch die Basisinformation sichergestellte Bildqualitat zurück.
Fig.3 zeigt eine Skizze einer Anordnung zur Durchfuhrung eines blockbasierten Bildcodierverfahrens .
Em zu codierender Videodatenstrom mit zeitlich aufeinanderfolgenden digitalisierten Bildern wird einer Bildcodierungsemheit 1201 zugeführt. Die digitalisierten Bilder smd unterteilt in Makroblocke 1202, wobei jeder Makroblock 16x16 Bildpunkte hat. Der Makroblock 1202 umfaßt vier Bildblocke 1203, 1204, 1205 und 1206, wobei jeder Bildblock 8x8 Bildpunkte, denen Lummanzwerte (Helligkeitswerte) zugeordnet smd, enthalt. Weiterhin umfaßt jeder Makroblock 1202 zwei Chrommanzblocke 1207 und 1208 mit den Bildpunkten zugeordneten Chrominanzwerten (Farbdifferenzwerte) . Die Bildblocke werden einer Transformationscodierungsemheit 1209 zugeführt. Bei einer Differenzbildcodierung werden zu codierende Werte von Bildblocken zeitlich vorangegangener Bilder von den aktuell zu codierenden Bildblocken abgezogen, es wird nur die Differenzbildungsmformation 1210 der Transformationscodierungsemheit (Diskrete Cosinus Transformation, DCT) 1209 zugeführt. Dazu wird über eine Verbindung 1234 der aktuelle Makroblock 1202 einer Bewegungsschatzungsemheit 1229 mitgeteilt. In der Transformationscodierungse heit 1209 werden für die zu codierenden Bildblocke bzw. Differenzbildblocke Spektralkoeffizienten 1211 gebildet und einer Quantisierungseinheit 1212 zugeführt. Quantisierte Spektralkoeffizienten 1213 werden sowohl einer Scaneinheit 1214 als auch einer mversen
Quantisierungseinheit 1215 m einem Ruckwartspfad zugeführt. Nach einem Scanverfahren, z.B. einem "zιgzag"-Scanverfahren, wird auf den gescannten Spektralkoeffizienten 1232 eine Entropiecodierung m einer dafür vorgesehenen Entropiecodierungseinheit 1216 durchgeführt. Die entropiecodierten Spektralkoeffizienten werden als codierte Bilddaten 1217 über einen Kanal, vorzugsweise eine Leitung oder eine Funkstrecke, zu einem Decoder übertragen.
In der mversen Quantisierungseinheit 1215 erfolgt eine mverse Quantisierung der quantisierten Spektralkoeffizienten 1213. So gewonnene Spektralkoeffizienten 1218 werden einer mversen Transformationscodierungsemheit 1219 (Inverse Diskrete Cosinus Transformation, IDCT) zugeführt. Rekonstruierte Codierungswerte (auch Differenzcodierungswerte) 1220 werden im Differenzbildmodus einen Addierer 1221 zugeführt. Der Addierer 1221 erhalt ferner Codierungswerte eines Bildblocks, die sich aus einem zeitlich vorangegangenen Bild nach einer bereits durchgeführten Bewegungskompensation ergeben. Mit dem Addierer 1221 werden rekonstruierte
Bildblocke 1222 gebildet und m einem Bildspeicher 1223 abgespeichert . Chrominanzwerte 1224 der rekonstruierten Bildblocke 1222 werden aus dem Bildspeicher 1223 einer Bewegungskompensationse heit 1225 zugeführt. Für Helligkeitswerte 1226 erfolgt eine Interpolation in einer dafür vorgesehenen Interpolationsemheit 1227. Anhand der Interpolation wird die Anzahl in dem jeweiligen Bildblock enthaltener Helligkeitswerte vorzugsweise verdoppelt. Alle Helligkeitswerte 1228 werden sowohl der Bewegungskompensationsemheit 1225 als auch der Bewegungsschatzungsemheit 1229 zugeführt. Die Bewegungsschatzungsemheit 1229 erhalt außerdem die Bildblocke des jeweils zu codierenden Makroblocks (16x16 Bildpunkte) über die Verbindung 1234. In der Bewegungsschatzungsemheit 1229 erfolgt die
Bewegungsschatzung unter Berücksichtigung der interpolierten Heiligkeitswerte ("Bewegungsschatzung auf Halbpixelbasis"). Vorzugsweise werden bei der Bewegungsschatzung absolute Differenzen der einzelnen Heiligkeitswerte m dem aktuell zu codierenden MakroblocK 1202 und dem rekonstruierten
Makroblock aus dem zeitlich vorangegangenen Bild ermittelt.
Das Ergebnis der Bewegungsschatzung ist em Bewegungsvektor 1230, durch den eine örtliche Verschiebung des ausgewählten Makroblocks aus dem zeitlich vorangegangenen Bild zu dem zu codierenden Makroblock 1202 zum Ausdruck kommt.
Sowohl Helligkeitsmformation als auch Chrominanzinformation bezogen auf den durch die Bewegungsschatzungsemheit 1229 ermittelten Makroblock werden um den Bewegungsvektor 1230 verschoben und von den Codierungswerten des Makroblocks 1202 subtrahiert (siehe Datenpfad 1231).
In Fig. ist eine Prozessoreinheit PRZE dargestellt. Die Prozessoreinheit PRZE umfaßt einen Prozessor CPU, einen
Speicher MEM und eine Input/Output-Schmttstelle IOS, die über e Interface IFC auf unterschiedliche Art und Weise genutzt wird: Über eine Grafikschnittstelle wird eine Ausgabe auf einem Monitor MON sichtbar und/oder auf einem Drucker PRT ausgegeben. Eine Eingabe erfolgt über eine Maus MAS oder eine Tastatur TAST. Auch verfügt die Prozessoreinheit PRZE über einen Datenbus BUS, der die Verbindung von einem Speicher MEM, dem Prozessor CPU und der Input/Output-Schnittstelle IOS gewährleistet. Weiterhin sind an den Datenbus BUS zusätzliche Komponenten anschließbar, z.B. zusätzlicher Speicher, Datenspeicher (Festplatte) oder Scanner.
Literaturverzeichnis :
[1] J. De Lameillieure, R. Schäfer: "MPEG-2-Bildcodierung für das digitale Fernsehen", Fernseh- und Kino-Technik, 48. Jahrgang, Nr.3/1994, Seiten 99-107.
[2] M. Bierling: "Displacement Estimation by Hierarchical
Blockmatching", SPIE, Vol.1001, Visual Communications and Image Processing '88, S.942-951, 1988.
[3] Terminals for Telematic Services, ISO/IEC 10918 T.80- T.87.
[4] A. Said, W. A. Pearlman: "A new, fast, and efficient image coded based on set partitioning in hierarchical trees", IEEE Transactions on Circuits and Systems for Video Technology, vol. 6, pp 243-250, June 1996
[5] Weiping Li : "Fine Granularity Using Bit-Plane Coding of DCT-Coefficients", ISO/IEC JTC1/SC29/WG 11, no . MPEG98/4204.
[6] Shu Lin, Daniel Costello: "Error Control Coding", Prentice-Hall, 1983.

Claims

Patentansprüche
1. Verfahren zur Codierung einer Folge von Bildern, wobei jedes Bild der Folge von Bildern eine Basisinformation und eine Zusatzinformation aufweist, a) bei dem die Basisinformation anhand eines Blockcodes mit einer Redundanz abgespeichert wird; b) bei dem die Zusatzinformation für jedes Bild progressiv coα ert wird, wobei mit zunehmender Progressionsstufe schrittweise der Blockcode eine geringere Redundanz zum Fehlerschutz aufweist.
2. Verfahren nach Anspruch 1, bei dem die Redundanz zur Basismformation derart bemessen wird, daß eine Wiederherstellung der
Basisinformation durch einen Decoder auch auf einem schlechten Ubertragungskanal erfolgen kann.
3. Verfahren nach Anspruch 1 oder 2, bei dem für die Zusatzinformation ab einer vorgegebenen Progressionstufe kein Fehlerschutz vorgesehen wird.
4. Verfahren nach einem der vorhergehenden Ansprüche, bei dem der Blockcode em Reed-Solomon-Code ist.
5. Verfahren nach einem der vorhergehenden Ansprüche, bei dem die Basisinformationen zeitlich aufeinanderfolgender Bilder genutzt werden, um eine Bewegungsschatzung und eine Bewegungskompensation durchzufuhren.
6. Verfahren nach einem der vorhergehenden Ansprüche, bei dem die Zusatzinformationen der Bilder wiederum unterteilt smd m eine erste Ebene und m eine zweite Ebene, wobei die erste Ebene mittels umfangreicherer
Redundanz als die zweite Ebene rekonstruierbar ist und damit eine Bewegungsschatzung und eine Bewegungskompensation auch auf der ersten Ebene durchgeführt wird.
7. Verfahren nach einem der vorhergehenden Ansprüche, bei dem bei Unterschreiten einer vorgegebener Gute für den Übertragungskanal eine Intrabild-Codierung durchgeführt wird.
8. Verfahren zur Decodierung einer Folge von Bildern, die nach einem der vorhergehenden Ansprüche codiert wurde, bei dem für jedes Bild a) eine Umsetzung bzw. Rekonstruktion der Basisinformation und b) eine Umsetzung bzw. Rekonstruktion der Zusatzinformation erfolgt.
9. Verfahren nach Anspruch 8, bei dem em Abbruch der Decodierung des jeweiligen Bildes erfolgt, sobald die Zusatzinformation nicht mehr rekonstruierbar ist.
10. Verfahren nach einem der vorhergehenden Ansprüche, bei dem der Ubertragungskanal em mobiler Kanal ist, auf dem Paketverluste auftreten können.
11. Verfahren nach einem der Ansprüche 1 bis 9, bei dem der Ubertragungskanal für Internetanwendungen eingesetzt wird, wobei auf dem Kanal Paketverluste auftreten können.
12. Anordnung zur Codierung einer Folge von Bildern, wobei jedes Bild der Folge von Bildern eine Basismformation und eine Zusatzinformation aufweist, bei der eine Prozessoremheit vorgesehen ist, die derart eingerichtet ist, daß a) die Basisinformation anhand eines Blockcodes mit einer Redundanz abspeicherbar ist; b) die Zusatzinformation für jedes Bild progressiv codierbar ist, wobei mit zunehmender Progressionsstufe schrittweise der Blockcode eine geringere Fehlertoleranz aufweist.
13. Anordnung zur Decodierung einer Folge von Bildern, die nach mittels einer Anordnung nach Anspruch 12 codiert wurde, bei der eine Prozessoreinheit vorgesehen ist, die derart eingerichtet ist, daß a) eine Umsetzung bzw. Rekonstruktion der Basisinformation und b) eine Umsetzung bzw. Rekonstruktion der Zusatzinformation erfolgt.
PCT/DE2000/003536 1999-10-08 2000-10-06 Progressive fehlertolerante codierung bzw. decodierung einer folge von bildern WO2001028252A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE19948573 1999-10-08
DE19948573.9 1999-10-08

Publications (1)

Publication Number Publication Date
WO2001028252A1 true WO2001028252A1 (de) 2001-04-19

Family

ID=7924991

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2000/003536 WO2001028252A1 (de) 1999-10-08 2000-10-06 Progressive fehlertolerante codierung bzw. decodierung einer folge von bildern

Country Status (1)

Country Link
WO (1) WO2001028252A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004019598B3 (de) * 2004-04-22 2005-12-29 Siemens Ag Verfahren und Vorrichtung zur fehlertoleranten Datenübertragung für eine CT-Anlage
CN110446081A (zh) * 2019-09-04 2019-11-12 南京安谱软件有限公司 一种视频处理方法、装置及系统

Non-Patent Citations (9)

* Cited by examiner, † Cited by third party
Title
"Error control and concealment for image transmission", XP002159221, Retrieved from the Internet <URL:http://www.comsoc.org/pubs/surveys/1q00issue/debrunner.html> [retrieved on 20010201] *
AL JABRI A KH ET AL: "SECURE TRANSMISSION OF COMPRESSED IMAGES", INTERNATIONAL CONFERENCE ON CONSUMER ELECTRONICS. ICCE,US,NEW YORK, IEEE, vol. CONF. 15, 5 June 1996 (1996-06-05), pages 168 - 169, XP000734543, ISBN: 0-7803-3030-7 *
BOYCE J M: "Packet loss resilient transmission of MPEG video over the Internet - Principles, Protocols, and Architecture", SIGNAL PROCESSING. IMAGE COMMUNICATION,NL,ELSEVIER SCIENCE PUBLISHERS, AMSTERDAM, vol. 15, no. 1-2, September 1999 (1999-09-01), pages 7 - 24, XP004180635, ISSN: 0923-5965 *
CHEUNG G ET AL: "Joint source/channel coding of scalable video over noisy channels", PROCEEDINGS. INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (CAT. NO.96CH35919), PROCEEDINGS OF 3RD IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING, LAUSANNE, SWITZERLAND, 16-19 SEPT. 1996, 1996, New York, NY, USA, IEEE, USA, pages 767 - 770 vol.3, XP002159213, ISBN: 0-7803-3259-8 *
COSMAN P C ET AL: "Combined forward error control and packetized zerotree wavelet encoding for transmission of images over varying channels", IEEE TRANSACTIONS ON IMAGE PROCESSING, JUNE 2000, IEEE, USA, vol. 9, no. 6, pages 982 - 993, XP002159215, ISSN: 1057-7149 *
GHARAVI H ET AL: "PARTITIONING OF MPEG CODED VIDEO BITSTREAMS FRO WIRELESS TRANSMISSION", IEEE SIGNAL PROCESSING LETTERS,US,IEEE SIGNAL PROCESSING SOCIETY, vol. 4, no. 6, 1 June 1997 (1997-06-01), pages 153 - 155, XP000655961, ISSN: 1070-9908 *
HORN U ET AL: "Robust Internet video transmission based on scalable coding and unequal error protection", SIGNAL PROCESSING. IMAGE COMMUNICATION,NL,ELSEVIER SCIENCE PUBLISHERS, AMSTERDAM, vol. 15, no. 1-2, September 1999 (1999-09-01), pages 77 - 94, XP004180639, ISSN: 0923-5965 *
SHERWOOD P G ET AL: "ERROR PROTECTION FOR PROGRESSIVE IMAGE TRANSMISSION OVER MEMORYLESSAND FADING CHANNELS", IEEE TRANSACTIONS ON COMMUNICATIONS,US,IEEE INC. NEW YORK, vol. 46, no. 12, 1 December 1998 (1998-12-01), pages 1555 - 1559, XP000790913, ISSN: 0090-6778 *
SHERWOOD P G ET AL: "Progressive image coding on noisy channels", PROCEEDINGS DCC '97. DATA COMPRESSION CONFERENCE (CAT. NO.97TB100108), PROCEEDINGS DCC '97. DATA COMPRESSION CONFERENCE, SNOWBIRD, UT, USA, 25-27 MARCH 1997, 1997, Los Alamitos, CA, USA, IEEE Comput. Soc. Press, USA, pages 72 - 81, XP002159214, ISBN: 0-8186-7761-9 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004019598B3 (de) * 2004-04-22 2005-12-29 Siemens Ag Verfahren und Vorrichtung zur fehlertoleranten Datenübertragung für eine CT-Anlage
US7519208B2 (en) 2004-04-22 2009-04-14 Siemens Aktiengesellschaft Method and apparatus for error-tolerant data transfer for a CT system
CN110446081A (zh) * 2019-09-04 2019-11-12 南京安谱软件有限公司 一种视频处理方法、装置及系统
CN110446081B (zh) * 2019-09-04 2022-02-22 南京安谱软件有限公司 一种视频处理方法、装置及系统

Similar Documents

Publication Publication Date Title
DE69834902T2 (de) Bewegungskompensierte prädiktive bildkodierung und -dekodierung
DE60015566T2 (de) Verfahren und vorrichtung zur komprimierung eines bewegungsvektorfeldes
DE69726508T2 (de) Optimale Disparitätsschätzung zur Kodierung stereoskopischer Videosignale
DE19704439C2 (de) Verfahren und Vorrichtung zur Bewegungsschätzung in einem digitalen Videocodierer unter Verwendung von Trajektorien
EP1025708B1 (de) Verfahren und vorrichtung zur verarbeitung eines digitalisierten bildes
DE69834901T2 (de) Bewegungskompensierte prädiktive bildcodierung und -decodierung
DE4442643B4 (de) Verfahren zum Abschätzen der Bewegung in einem Bewegtbild
DE69737443T2 (de) Verfahren für skalierbares zwischenkonturverschlüsseln und vorrichtung dafür
DE19717608A1 (de) Wahrnehmungsfehlerbearbeitungsverfahren und Bildkodierungsvorrichtung, welche dieses Verfahren verwendet
EP0346637B1 (de) Verfahren zur Aufbereitung und Übertragung einer Bildsequenz
EP1941744B1 (de) Verfahren und vorrichtungen zur bestimmung und rekonstruktion eines prädizierten bildbereichs
EP1101196B1 (de) Verfahren und anordnung zur bewegungsschätzung in einem digitalisierten bild mit bildpunkten
EP1285537B1 (de) Verfahren und eine anordnung zur codierung bzw. decodierung einer folge von bildern
DE69909880T2 (de) Dekodierung eines komprimierten digitalen Bildsignals
WO2001028252A1 (de) Progressive fehlertolerante codierung bzw. decodierung einer folge von bildern
DE19749604A1 (de) Verfahren zum Kodieren eines Modus beim Kodieren binärer Formen
EP1116184A1 (de) Verfahren und anordnung zur bearbeitung eines digitalisierten bildes mit bildpunkten
EP1110407A1 (de) Verfahren und anordnung zur codierung und decodierung eines digitalisierten bildes mit anwendung eines objektgesamtbewegungsvektors
EP0346636B1 (de) Verfahren zur Aufbereitung und Übertragung einer Bildsequenz
WO2001062009A1 (de) Verfahren und anordnung zur kodierung bzw. zur kodierung und dekodierung einer zahlenfolge
WO2001049038A1 (de) Verfahren, anordnung und computerprogrammerzeugnis zur prädiktion bei der codierung eines in bildblöcke unterteilten bildes
DE69923725T2 (de) Verfahren und Gerät für die Herausziehung von Farbkonturinformation aus Videohalbbildern
DE10200901B4 (de) Effiziente Codierung von Videosignalen für skalierbare Simul-cast-Speicherung und -Übertragung sowie zugehöriger Codec
DE19944300C2 (de) Verfahren, Anordnung und Computerprogrammerzeugnis zur Bewegungsschätzung bei der Codierung von einem Bildobjekt in einem Bild
DE19903859A1 (de) Verfahren und Anordnung zur Transformation eines Bildbereichs

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): CN JP KR US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE

121 Ep: the epo has been informed by wipo that ep was designated in this application
DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
122 Ep: pct application non-entry in european phase
NENP Non-entry into the national phase

Ref country code: JP