WO2000025232A1 - Method and array for coding, decoding, and transmitting a digitized image - Google Patents

Method and array for coding, decoding, and transmitting a digitized image Download PDF

Info

Publication number
WO2000025232A1
WO2000025232A1 PCT/DE1999/003177 DE9903177W WO0025232A1 WO 2000025232 A1 WO2000025232 A1 WO 2000025232A1 DE 9903177 W DE9903177 W DE 9903177W WO 0025232 A1 WO0025232 A1 WO 0025232A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
sub
picture
block
coding
Prior art date
Application number
PCT/DE1999/003177
Other languages
German (de)
French (fr)
Inventor
Thomas Riegel
Original Assignee
Siemens Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Aktiengesellschaft filed Critical Siemens Aktiengesellschaft
Publication of WO2000025232A1 publication Critical patent/WO2000025232A1/en

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/14Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/147Discrete orthonormal transforms, e.g. discrete cosine transform, discrete sine transform, and variations therefrom, e.g. modified discrete cosine transform, integer transforms approximating the discrete cosine transform

Definitions

  • the invention relates to an arrangement and a method for coding a digitized image and to an arrangement and a method for decoding a digitized image and to a method for transmitting a digitized image, the coding using a transform coding and the decoding using a inverse transformation coding can be performed.
  • Such a method and such an arrangement for encoding a digitized image and such a method and such an arrangement for decoding a digitized image are based on one of the image coding standards H.261 [1], H.263 [2] or MPEG2 [3] based on the principle of block-based image coding.
  • the method of a block-based discrete cosine transformation (DCT) is used according to [3].
  • an image template is segmented into image blocks corresponding to objects occurring in a scene and these objects are separately encoded.
  • Components of a customary arrangement for image coding, as are also known from [7], and image decoding can be seen in FIG.
  • FIG. 7 shows a camera 701 with which images are recorded.
  • the camera 701 can be, for example, any analog camera 701, which records images of a scene and either digitizes the images in the camera 701 and transmits the digitized images to a first computer 702, which is coupled to the camera 701, or else the images analog to the first computer 702.
  • the first computer 702 either the digitized images are processed or the analog images are converted into digitized images and the digitized images are processed.
  • the camera 701 can also be a digital camera 701, with which directly digitized images are recorded and fed to the first computer 702 for further processing.
  • the first computer 702 can also be designed as an independent arrangement with which the method steps described below are carried out, for example as an independent computer card that is installed in a further computer.
  • the first computer 702 is generally to be understood as a unit that can carry out image signal processing in accordance with the method described below, for example a mobile terminal (cell phone with a screen).
  • the first computer 702 has a processor unit 704 with which the method steps of image coding and image decoding described below are carried out.
  • the Processor unit 704 is coupled, for example, via a bus 705 to a memory 706, in which image information is stored.
  • the image decoding is carried out in the second computer 708.
  • the second computer 708 can have the same structure as the first computer 701.
  • the second computer 708 thus also has a processor 709 which is coupled to a memory 710 by a bus 711.
  • FIG. 8 shows a possible arrangement in the form of a basic circuit diagram for image coding or image decoding.
  • the arrangement shown can be used in the context of block-based and in part, as explained in more detail below, in the context of object-based image coding.
  • a digitized image 801 is divided into usually square image blocks 820 of size 8x8 pixels 802 or 16x16 pixels 802 and fed to the arrangement 803 for image coding.
  • Coding information is usually uniquely assigned to a pixel 802, for example brightness information (luance values) and / or color information (chrominance values).
  • brightness information luminance values
  • color information chrominance values
  • the digitized picture 801 is coded and transmitted with the coding information assigned to the pixels 802 of the digitized picture 801.
  • the difference information is only very small if movements of image objects in the temporally successive digitized images 801 are small. If the movements are large, there is a lot of difference information that is difficult to code. For this reason, as is known from [3], an "image-to-image" movement (motion estimation) is measured and compensated for before the difference information is determined (motion compensation).
  • a so-called "block matching method” is mostly used for block-based image coding. It is based on the fact that a picture block to be coded is compared with reference picture blocks of the same size of a reference picture. The criterion for a match quality between the block to be coded and a reference picture block in each case is usually the sum of the absolute differences in coding information which is assigned to each picture element. In this way, movement information for the image block, for example a movement vector, is determined, which is transmitted with the difference information.
  • Two switch units 804 are provided for switching between the intra-picture coding and the inter-picture coding.
  • a subtraction unit 805 is provided, in which the difference in picture information between two successive digitized pictures 801 is formed.
  • the image coding is controlled by an image coding control unit 806.
  • the picture blocks 820 or difference picture blocks to be coded are each fed to a transformation coding unit 807.
  • the transformation coding unit 807 applies a transformation coding, for example a discrete cosine transformation (DCT), to the coding information assigned to the pixels 802.
  • DCT discrete cosine transformation
  • any transformation coding for example a discrete sine transformation or a discrete Fourier transformation, can be used for image coding.
  • Spectral coefficients are formed by the transformation coding.
  • the spectral coefficients are quantized in a quantization unit 808 and fed to an image coding multiplexer 821, for example for channel coding and / or entropy coding.
  • the quantized spectral coefficients are inversely quantized in an inverse quantization unit 809 and subjected to inverse transformation coding in an inverse transformation coding unit 810.
  • picture information of the respective temporally preceding picture is added in an adding unit 811.
  • the images reconstructed in this way are stored in a memory 812.
  • a unit for the motion compensation 813 is symbolically represented in the memory 812 for the sake of simplicity.
  • a loop filter 814 is also provided, which is connected to the memory 812 and the subtraction unit 805.
  • the mode coding multiplexer 821 is supplied with a mode index, which is used to indicate whether intra-picture coding or inter-picture coding has been carried out.
  • quantization indices 816 for the spectral coefficients are supplied to the image coding multiplexer 821.
  • a motion vector is assigned to an image block 820 and / or a macro block 823, which has four image blocks 820, for example, and is supplied to the image coding multiplexer 821.
  • information is provided for activating or deactivating the loop filter 814.
  • the transmitted information can be decoded in a second computer 819.
  • an image decoding unit 825 is provided in the second computer 819, which for example has the structure of a reconstruction loop of the arrangement shown in FIG. 8.
  • a shape-adapted transformation coding is known, such as is used in particular in the context of object-based picture coding on edge picture blocks or picture blocks which contain only partially relevant coding information.
  • the edge image blocks coded using a form-adapted transformation coding are characterized by by from the fact that only the pixels are coded that a
  • the method described in [4] is a so-called shape-adjusted discrete cosine transformation (Shape Adaptive DCT, SA-DCT).
  • the DCT transformation coefficients assigned to an image object are determined in such a way that
  • Pixels of a border image block that do not belong to the image object are hidden.
  • a one-dimensional DCT the length of which corresponds to the number of remaining pixels in the respective column, is then first applied to the remaining pixels.
  • the resulting DCT transformation coefficients are aligned horizontally and then subjected to a further one-dimensional DCT in the horizontal direction with the appropriate length.
  • the SA-DCT regulation known from [4] is based on a DCT-N transformation matrix with the following structure:
  • N denotes a size of the image vector to be transformed, in which the transformed pixels are contained.
  • DCT-N denotes a transformation matrix of size NxN.
  • each column of the image block to be transformed is made according to the regulation
  • Various methods are used in computer graphics to display an object on a screen.
  • One method of representing an object is the so-called texture mapping.
  • a digital image is generated which contains a brightness information (luminance values) and / or a
  • the three-dimensional model 301 of the object to be displayed which model 301 is shown in FIG. 3, consists of a spatial triangular lattice structure 301, the corner points 302 of the triangles 303 being present as points 304 of a Cartesian coordinate system 305.
  • each triangle 303 is assigned a so-called block-shaped structure card 306, which is made up of rectangular or block-shaped pixels 307.
  • Each pixel 307 is more common - assign brightness information (luminance values) and / or color information (chrominance values).
  • the triangle 303 is assigned the brightness or color information in such a way that an associated image point 307 of the associated structure map 306 is assigned to a corner point 302 and 308 of the triangle 303 and 309.
  • the position of a corner point 308 of the triangle 309 is determined by specifying coordinates (ui, vj_) 310 in a two-dimensional one
  • the coordinates (u_, vi) 310 are usually standardized.
  • Each corner point 302 of each triangle 303 of the three-dimensional model 301 is assigned the corresponding point 310 in the associated structure map 306 via a transformation rule (assignment).
  • all structure maps 401 are combined to form a digitized image 402, a so-called super structure map 402, by arranging the individual structure maps 401 in rows and columns. If necessary, the structure cards 401, which contain coding information relevant for the representation of the object, must be supplemented with structure cards 404, which contain no coding information relevant for the representation of the object.
  • the structure maps and also the super structure map have image points that do not contain any brightness or color information relevant for the representation of the object. If the superstructure card is encoded as part of an image transmission, the data rate occurring during the transmission is unnecessarily increased by the irrelevant pixels.
  • Pixels containing coding information relevant to the representation of the object are transformed into a new triangular structure map 503 with pixels 506, which are arranged in a predetermined shape, which is usually a right-angled triangle, and in a predetermined size.
  • the transformation is carried out in such a way that the pixels 501, which are corner pixels 504 of the triangle 505, coincide with pixels 506, which are corner pixels 507 of the triangular structure map 503.
  • pixels may have to be generated by extrapolation or interpolation of values which contain brightness or color information, or pixels may have to be deleted.
  • the triangular structure map 503 thus only has pixels 506 which are relevant for the representation of an object.
  • all triangular structure maps 601, which contain brightness or color information relevant to the representation of the object, are arranged to form a new super structure map 602.
  • two triangular structure cards 601a and 601b are arranged to form a block-shaped structure card 603.
  • all block-shaped structure cards 603 are grouped in rows and columns, with which a digitized image is generated.
  • the coding and / or decoding of a superstructure card is usually carried out using a block-oriented transformation in the intra-picture coding mode, as described above.
  • This procedure is not very efficient with regard to a lower data rate to be targeted for transmission or a higher image quality.
  • the invention is therefore based on the problem of specifying a method for image coding and a method for image decoding and an arrangement for image coding and an arrangement for image decoding as well as a method for transmitting a digitized image with which more efficient coding and decoding and transmission of a digitized image can be achieved Picture becomes possible.
  • the picture is at least partially divided into picture blocks. Furthermore, an image block is subdivided into at least a first sub-image block and a second sub-image block.
  • the sub-picture blocks determined in this way are encoded using the encoding information using a shape-adapted transformation encoding.
  • coded sub-picture blocks are identified.
  • the coded sub-picture blocks are decoded using the coding information using an inverse shape-adapted transformation coding.
  • An associated image block is formed using at least two of the associated sub-image blocks. Furthermore, the image is formed using the image blocks.
  • a processor is provided which is set up in such a way that the following method steps can be carried out as part of the coding:
  • the image to be encoded is at least partially divided into image blocks.
  • One image block is divided into at least a first sub-image block and a second sub-image block.
  • the sub-picture blocks determined in this way are encoded using the encoding information using a shape-adapted transformation encoding.
  • a processor which is set up in such a way that the following method steps can be carried out:
  • Coded sub-picture blocks are identified.
  • the encoded sub-picture blocks are encoded using the encoding formation is decoded with an inverse shape-adapted transformation coding.
  • An associated image block is formed using at least two of the associated sub-image blocks.
  • the image is formed using the image blocks.
  • the image is encoded.
  • the image is at least partially divided into image blocks.
  • an associated image block is subdivided into at least one associated first sub-image block and an associated second sub-image block.
  • the sub-picture blocks are encoded using the encoding information with a conformal transform encoding.
  • the encoded picture is transmitted.
  • the encoded image is decoded using a method inverse to the encoding.
  • the particular advantage of the invention is that specially adapted methods for coding and decoding a digital image are used which take into account the special structure of the digital image. This achieves efficient coding and decoding of the digitized picture with regard to a low data rate to be aimed at for transmission or a larger amount of transferable coding information for better picture quality.
  • the first sub-picture block and / or the second sub-picture block have a different shape than the picture block.
  • a further advantage is obtained if the first sub-picture block and / or the associated second sub-picture block have a triangular shape.
  • SA-DCT shape-adaptive discrete cosine transformation
  • SA-DCT inverse shape-adaptive discrete cosine transformation
  • the triangular shape has a right angle. This means that by using a triangle-adaptive discrete-cosmos transformation (TA-DCT) as part of the coding or by using an inverse triangle-adaptive discrete-cosmos transformation (TA-DCT) as part of the decoding, an extremely efficient coding is achieved and / or decoding possible.
  • TA-DCT triangle-adaptive discrete-cosmos transformation
  • TA-DCT inverse triangle-adaptive discrete-cosmos transformation
  • the first sub-picture block or the second sub-picture block is changed such that the relative position of the associated first sub-picture block with respect to the associated picture block and the relative position of the associated second sub-picture block with respect to the associated picture block is identical. It is thus possible to use an identical, form-adapted transformation coding for the coding of the first sub-picture block and for the coding of the second sub-picture block.
  • a further development can advantageously be used for the coding and / or decoding of a triangular structure card. Since such a structure map has triangular sub-picture blocks, the use of a triangle-adaptive discrete-cosmus transformation (TA-DCT) in the context of the coding or the use of an inverse triangle-adaptive discrete-cosmus transformation (TA-DCT ) in the An extremely efficient coding and / or decoding is possible within the framework of the decoding.
  • TA-DCT triangle-adaptive discrete-cosmus transformation
  • TA-DCT inverse triangle-adaptive discrete-cosmus transformation
  • FIG. 1 shows an arrangement for image coding and image decoding with a picture of an object by means of a camera and a representation of the object on a screen
  • Figure 2 Schematic representation of the procedure for image coding and decoding with an image of an object by means of a camera and a representation of the object on a screen
  • Figure 3 triangular lattice structure of the three-dimensional model with an associated structure map
  • FIG. 5 shows a transformation of a structure map to a triangular structure map.
  • FIG. 6 shows a super structure map consisting of triangular structure maps
  • FIG 7 Arrangement for image coding or decoding with a camera, two computers and a transmission medium.
  • Figure 8 Sketch of an arrangement for block-based image coding or image decoding
  • Figure 9 shows the breakdown of the block-shaped structure map
  • FIG. 1 shows an arrangement for image coding and image decoding with a picture of an object by means of a camera and a representation of the object on a screen.
  • FIG. 1 shows a camera 101 with which images of an object 152 are recorded.
  • the camera 101 is an analog color camera, which records images of the object 152 and transmits the images in analog form to a first computer 102.
  • the analog images are converted into digitized images, wherein pixels of the digitized images contain color information of the object 152, and the digitized images are processed.
  • the object 152 is centered on a slide 153.
  • the relative position of the slide 153 with respect to the camera 101 is fixed.
  • the object 152 can be moved in such a way that the viewing angle at which the camera 101 takes up the object 152 changes continuously when the object 152 remains at a constant distance from the camera 101.
  • the first computer 102 is designed as an independent arrangement in the form of an independent computer card, which is installed in the first computer 102, with which computer card the method steps described below are carried out.
  • the first computer 102 has a processor 104 with which the method steps of image coding described below are carried out.
  • the processor unit 104 is coupled via a bus 105 to a memory 106 in which image information is stored.
  • the method for image coding described below is implemented in software. It is stored in memory 106 and executed by processor 104.
  • the image decoding is carried out in the second computer 108. Then, using the decoded image information of the object 152, a model of the object 152 is displayed on a screen 155 linked to the second computer 108.
  • the second computer 108 has the same structure as the first computer 101.
  • the second computer 108 also has a processor 109, which processor is coupled to a bus 110 with a memory 110.
  • the method described below for image decoding is implemented in software. It is stored in the memory 110 and is executed by the processor 109.
  • FIG. 2 schematically shows the procedure for coding and decoding with the recording of an object by means of a camera and the representation of the object on a screen.
  • This procedure for coding and decoding is implemented by the arrangement shown in FIG. 1 and the arrangement described above.
  • Step 1 recording the object (201)
  • images of the object 152 which is rotated in a predetermined rotation angle by means of the object holder 153 in its position with respect to the camera 101, are recorded.
  • the images are transmitted in analog form to the first computer 102.
  • Camera 101 calibrated, whereby a spatial geometry of the arrangement and the excpa ⁇ parameters of the camera 101, for example, the focal length of the camera 101 are determined.
  • the geometry data and the camera parameters are transmitted to the first computer 102.
  • the analog images are converted into digitized images 103 and the digitized images 103 are processed.
  • the processing of the digitized images 103 takes place according to the method of automatic three-dimensional modeling using several images of an object, as described in [7].
  • a volume model 301 of the object 152 is determined by means of a method for determining a contour of an object in a digitized image, as mentioned in [7], using the camera parameters and the digitized images 103.
  • the volume model 301 of the object 152 as shown in FIG. 3, consists of a spatial triangular lattice structure 301, the corner points 302 of the triangles 303 being present as points 304 of a Cartesian coordinate system 305.
  • a so-called structure map 306 is determined for each triangle 303 using the digitized images 103 and the color information contained in pixels of the digitized images 103.
  • the structure map is constructed from pixels 307 arranged in block form. Each pixel 307 contains color information (chrominance values) of the object 152.
  • the color information is assigned to the triangle 303 in that an associated image point 307 of the associated structure map 306 is assigned to a corner point 302 and 308 of the triangle 303 and 309.
  • the position of a corner point 308 of the triangle 309 is determined by the
  • Each corner point 302 of each triangle 303 of the three-dimensional model 301 is assigned the corresponding point 310 in the associated structure map 306 via a transformation rule.
  • pixels 501 of a structure map 502 which pixels contain color information relevant to the representation of the object 152 are transformed into a new triangular structure map 503.
  • the pixels 506 of the triangular structure card are arranged such that they form a right-angled and isosceles triangle, one leg having five pixels. The transformation is carried out so that the pixels 501, which are corner pixels 504 of triangle 505, correspond to pixels 506, which are corner pixels 507 of triangular structure map 503.
  • pixels may have to be generated by extrapolation or interpolation of values that contain the color information, or pixels may have to be deleted.
  • the triangular structure map 503 thus only points
  • Pixels 506 that are relevant for the representation of an object are relevant for the representation of an object.
  • two triangular structure cards 601 are arranged to form a block structure card 603. Furthermore, all block-shaped structure cards 603 are grouped row and column, whereby a digitized image is generated.
  • texture binding Due to the uniform and predetermined shape of the triangular structure map 601, the row and column arrangement of the block-shaped structure map 603 and a predetermined size of the super structure map 602, there is a simplified transformation rule or a simplified assignment key, which is referred to as texture binding:
  • Each triangle 303 of the spatial triangular lattice structure 301 of the three-dimensional model of the object 152 has a first value ns that corresponds to the column number of the Triangle 303 associated triangular structure map 601 within superstructure map 602, a second value nz indicating the line number of triangular structure map 601 associated with triangle 303 within superstructure map 602, and a third value which indicates the relative position of the triangular structure map 601a or 601b with respect to the block-shaped structure map 603.
  • Grid structure 301 of specified triples (n $ , nz, nx,) and of the specified values with regard to the height H (number of pixels, for example 80 pixels) and the width B (number of pixels, for example 80 pixels) of the superstructure map with the Size HxW and the predetermined number of pixels Z, for example Z 5 pixels, arranged in one leg of the right-angled and isosceles triangle, an assignment of a triangular structure map 601 of the superstructure map 602 to the associated triangle 303 of the volume model 301 of the object is determined according to the following relationships :
  • n 1, which describes a triangular structure map 601b arranged on the left within the block-shaped structure map 603, the corner points (A x , Ay), (C X / Cy)
  • the two values which are identified by the index x and the index y, indicate the coordinates of a point on the superstructure map 602 with respect to a Cartesian coordinate system 610 which is arranged on the upper left corner 611 of the superstructure map 602.
  • SA-DCT triangle-adaptive discrete-cosmos transformation
  • the transformation coefficients assigned to an image object are determined in such a way that pixels of a boundary image block that do not belong to the image object are hidden.
  • a one-dimensional DCT the length of which is the number of the remaining pixels, is then first applied to the remaining pixels in the respective column. The resulting
  • Transformation coefficients are then subjected to a further one-dimensional DCT in the horizontal direction with a corresponding length.
  • the TA-DCT process is based on a DCT-N transformation matrix with the following structure:
  • N denotes a size of the image vector to be transformed, in which the transformed pixels are contained.
  • DCT-N denotes a transformation matrix of size NxN.
  • indices are designated with p, k e [0, N-1].
  • each column of the image block to be transformed is in accordance with the regulation
  • the superstructure card 602 is divided into the block-shaped structure cards 603.
  • a block-shaped The structure card 603 and 901 will be converted into a first new one
  • the second new block-shaped structure map 903 is determined by deleting the pixels of the first triangular structure map 601a and 905.
  • the second new block-shaped structure map 903 is changed by moving pixels 906 such that the relative position of the pixels 906 of the second block-shaped structure map 903 with respect to the second new block-shaped structure map 903 with the relative position of the pixels 907 of the first new block-shaped structure map 902 with respect to the first new block-shaped structure map 902.
  • the TA-DCT can thus be applied accordingly to the first new block-shaped 902 and to the second new block-shaped structure card 903.
  • the TA-DCT can be used.
  • image decoding is carried out.
  • the spectral coefficients cj are fed to an inverse TA-DCT.
  • pixels XJ are made from the spectral
  • DCT - N (p, k) ⁇ * cos p *
  • k + - * - 1 2 / N with p, k 0 ⁇ Nl.
  • N denotes a size of the image vector to be transformed, in which the pixels to be transformed are contained
  • - p, k indices are denoted by p, ke [0, Nl]; - () _1 denotes an inversion of a matrix.
  • the decoded image or the superstructure map 602 is determined using the ascertained pixels XJ.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Discrete Mathematics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

The invention relates to methods and arrays for coding and decoding a digitized image and to a method for transmitting said digitized image having image points containing coding information. To this end, the image is subdivided into image blocks. The image block is then subdivided into a corresponding first subimage block and a corresponding second subimage block. The subimage blocks are coded usingcoding information with form-adapted transformation coding. The coded image is then transmitted and decoded by carrying out decoding inversely in relation to coding.

Description

Beschreibungdescription
VERFAHREN UND ANORDNUNG ZUR CODIERUNG, DECODIERUNG UND ÜBERTRAGUNG EINES DIGITALISIERTEN BILDESMETHOD AND ARRANGEMENT FOR CODING, DECODING AND TRANSMITTING A DIGITALIZED IMAGE
Die Erfindung bezieht sich auf eine Anordnung und ein Verfahren zur Codierung eines digitalisierten Bildes und auf eine Anordnung und ein Verfahren zur Decodierung eines digitalisierten Bildes sowie auf ein Verfahren zur Übertragung eines digitalisierten Bildes, wobei die Codierung unter Verwendung einer Transformationscodierung und die Decodierung unter Verwendung einer inversen Transformationscodierung durchgeführt werden.The invention relates to an arrangement and a method for coding a digitized image and to an arrangement and a method for decoding a digitized image and to a method for transmitting a digitized image, the coding using a transform coding and the decoding using a inverse transformation coding can be performed.
Ein derartiges Verfahren und eine derartige Anordnung zur Codierung eines digitalisierten Bildes und ein derartiges Verfahren und eine derartige Anordnung zur Decodierung eines di- gitalisierten Bildes entsprechend einem der Bildcodierungsstandards H.261 [1], H.263 [2] oder MPEG2 [3] basieren auf dem Prinzip einer blockbasierten Bildcodierung. Zur blockbasierten Bildcodierung wird gemäß [3] das Verfahren einer blockbasierten Diskreten Cosinus Transformation (DCT) verwen- det.Such a method and such an arrangement for encoding a digitized image and such a method and such an arrangement for decoding a digitized image are based on one of the image coding standards H.261 [1], H.263 [2] or MPEG2 [3] based on the principle of block-based image coding. For block-based image coding, the method of a block-based discrete cosine transformation (DCT) is used according to [3].
Ein weiterer Ansatz zur Bildcodierung entsprechend dem Bildcodierungsstandard MPEG4 ist das sogenannte Prinzip der objektbasierten Bildcodierung, wie es aus [3] bekannt ist.Another approach to image coding according to the MPEG4 image coding standard is the so-called principle of object-based image coding, as is known from [3].
Bei der objektbasierten Bildcodierung erfolgt eine Segmentierung einer Bildvorlage in Bildblöcke entsprechend in einer Szene vorkommender Objekte und eine separate Codierung dieser Objekte. Komponenten einer üblichen Anordnung zu einer Bildcodierung, wie sie auch aus [7] bekannt sind, und einer Bilddecodierung sind aus Figur 7 zu entnehmen.In object-based image coding, an image template is segmented into image blocks corresponding to objects occurring in a scene and these objects are separately encoded. Components of a customary arrangement for image coding, as are also known from [7], and image decoding can be seen in FIG.
In Figur 7 ist eine Kamera 701 dargestellt, mit der Bilder aufgenommen werden. Die Kamera 701 kann beispielsweise eine beliebige analoge Kamera 701 sein, die Bilder einer Szene aufnimmt und die Bilder entweder in der Kamera 701 digitalisiert und die digitalisierten Bilder zu einem ersten Rechner 702, der mit der Kamera 701 gekoppelt ist, überträgt oder auch die Bilder analog zu dem ersten Rechner 702 überträgt. In dem ersten Rechner 702 werden entweder die digitalisierten Bilder verarbeitet oder die analogen Bilder in digitalisierte Bilder umgewandelt und die digitalisierten Bilder verarbei- tet.FIG. 7 shows a camera 701 with which images are recorded. The camera 701 can be, for example, any analog camera 701, which records images of a scene and either digitizes the images in the camera 701 and transmits the digitized images to a first computer 702, which is coupled to the camera 701, or else the images analog to the first computer 702. In the first computer 702 either the digitized images are processed or the analog images are converted into digitized images and the digitized images are processed.
Die Kamera 701 kann auch eine digitale Kamera 701 sein, mit der direkt digitalisierte Bilder aufgenommen und dem ersten Rechner 702 zur Weiterverarbeitung zugeführt werden.The camera 701 can also be a digital camera 701, with which directly digitized images are recorded and fed to the first computer 702 for further processing.
Der erste Rechner 702 kann auch als eine eigenständige Anordnung ausgestaltet sein, mit der die im Folgenden beschriebenen Verfahrensschritte durchgeführt werden, beispielsweise als eine eigenständige Computerkarte, die in einem weiteren Rechner installiert ist.The first computer 702 can also be designed as an independent arrangement with which the method steps described below are carried out, for example as an independent computer card that is installed in a further computer.
Unter dem ersten Rechner 702 ist im Allgemeinen eine Einheit zu verstehen, die eine Bildsignalverarbeitung gemäß dem im Folgenden beschriebenen Verfahren durchführen kann, bei- spielsweise ein mobiles Endgerät (Mobiltelefon mit einem Bildschirm) .The first computer 702 is generally to be understood as a unit that can carry out image signal processing in accordance with the method described below, for example a mobile terminal (cell phone with a screen).
Der erste Rechner 702 weist eine Prozessoreinheit 704 auf, mit der die im Weiteren beschriebenen Verfahrensschritte der Bildcodierung und Bilddecodierung durchgeführt werden. Die Prozessoreinheit 704 ist beispielsweise über einen Bus 705 mit einem Speicher 706 gekoppelt, in dem eine Bildinformation gespeichert wird.The first computer 702 has a processor unit 704 with which the method steps of image coding and image decoding described below are carried out. The Processor unit 704 is coupled, for example, via a bus 705 to a memory 706, in which image information is stored.
Allgemein können die im weiteren beschriebenen Verfahren sowohl in Software als auch in Hardware oder auch teilweise in Software und teilweise in Hardware realisiert werden.In general, the methods described below can be implemented both in software and in hardware or also partly in software and partly in hardware.
Nach erfolgter Bildcodierung in dem ersten Rechner 701 und nach einer Übertragung der codierten Bildinformation über ein Übertragungsmedium 707 zu einem zweiten Rechner 708 wird in dem zweiten Rechner 708 die Bilddecodierung durchgeführt.After image coding in the first computer 701 and after transmission of the coded image information via a transmission medium 707 to a second computer 708, the image decoding is carried out in the second computer 708.
Der zweite Rechner 708 kann den gleichen Aufbau wie der erste Rechner 701 haben. Damit weist der zweite Rechner 708 auch einen Prozessor 709 auf, der mit einem Bus 711 mit einem Speicher 710 gekoppelt ist.The second computer 708 can have the same structure as the first computer 701. The second computer 708 thus also has a processor 709 which is coupled to a memory 710 by a bus 711.
In Figur 8 ist eine mögliche Anordnung in Form eines Prinzip- Schaltbilds zur Bildcodierung bzw. Bilddecodierung dargestellt. Die dargestellte Anordnung kann im Rahmen einer blockbasierten und zum Teil, wie im Weiteren näher erläutert, im Rahmen einer objektbasierten Bildcodierung verwendet werden.FIG. 8 shows a possible arrangement in the form of a basic circuit diagram for image coding or image decoding. The arrangement shown can be used in the context of block-based and in part, as explained in more detail below, in the context of object-based image coding.
Bei der blockbasierten Bildcodierung wird ein digitalisiertes Bild 801 in üblicherweise quadratische Bildblöcke 820 der Größe 8x8 Bildpunkte 802 oder 16x16 Bildpunkte 802 aufgeteilt und der Anordnung 803 zur Bildcodierung zugeführt.In block-based image coding, a digitized image 801 is divided into usually square image blocks 820 of size 8x8 pixels 802 or 16x16 pixels 802 and fed to the arrangement 803 for image coding.
Einem Bildpunkt 802 ist üblicherweise Codierungsinformation eindeutig zugeordnet, beispielsweise Helligkeitsinformation (Lu inanzwerte) und/oder Farbinformation (Chrominanzwerte) . Bei der blockbasierten Bildcodierung wird zwischen verschiedenen Bildcodierungsmodi unterschieden.Coding information is usually uniquely assigned to a pixel 802, for example brightness information (luance values) and / or color information (chrominance values). With block-based picture coding, a distinction is made between different picture coding modes.
Bei einer sogenannten Intra-Bildcodierung wird jeweils das digitalisierte Bild 801 mit der den Bildpunkten 802 des digitalisierten Bildes 801 zugeordneten Codierungsinformation codiert und übertragen.In a so-called intra-picture coding, the digitized picture 801 is coded and transmitted with the coding information assigned to the pixels 802 of the digitized picture 801.
Bei einer sogenannten Inter-Bildcodierung wird jeweils nur eine Differenzbildinformation zweier zeitlich aufeinanderfolgenden digitalisierten Bildern 801 codiert und übertragen.In a so-called inter-picture coding, only differential picture information of two successive digitized pictures 801 is coded and transmitted.
Die Differenzinformation ist nur sehr klein, falls Bewegungen von Bildobjekten in den zeitlich aufeinanderfolgenden digita- lisierten Bildern 801 gering sind. Sind die Bewegungen groß, so entsteht sehr viel Differenzinformation, die schwer zu codieren ist. Aus diesem Grund wird, wie es aus [3] bekannt ist, eine „Bild-zu-Bild"-Bewegung (Bewegungsschätzung) gemessen und vor der Ermittlung der Differenzinformation kompen- siert (Bewegungskompensation) .The difference information is only very small if movements of image objects in the temporally successive digitized images 801 are small. If the movements are large, there is a lot of difference information that is difficult to code. For this reason, as is known from [3], an "image-to-image" movement (motion estimation) is measured and compensated for before the difference information is determined (motion compensation).
Für die Bewegungsschätzung und die Bewegungskompensation, wie sie aus [3] bekannt sind, gibt es unterschiedliche Verfahren. Für die blockbasierte Bildcodierung wird meist ein sogenann- tes "Block-Matching-Verfahren" eingesetzt. Es beruht darauf, daß ein zu codierender Bildblock mit gleich großen Referenzbildblöcken eines Referenzbildes verglichen wird. Als Kriterium für eine Übereinstimmungsgüte zwischen dem zu codierenden Block und jeweils einem Referenzbildblock wird üblicher- weise die Summe der absoluten Differenzen einer Codierungsinformation, die jeweils jedem Bildpunkt zugeordnet wird, verwendet. Auf diese Weise wird eine Bewegungsinformation für den Bildblock, beispielsweise ein Bewegungsvektor, ermittelt, welche mit der Differenzinformation übertragen wird. Zum Umschalten zwischen der Intra-Bildcodierung und der In- ter-Bildcodierung sind zwei Schaltereinheiten 804 vorgesehen. Zur Durchführung der Inter-Bildcodierung ist eine Subtraktionseinheit 805 vorgesehen, im der die Differenz der Bildin- formation zweier zeitlich aufeinanderfolgender digitalisierter Bilder 801 gebildet wird. Die Bildcodierung wird über eine Bildcodierungs-Steuereinheit 806 gesteuert. Die zu codierenden Bildblöcke 820 bzw. Differenzbildblöcke werden jeweils einer Transformationscodierungseinheit 807 zugeführt. Die Transformationscodierungseinheit 807 wendet auf die den Bildpunkten 802 zugeordnete Codierungsinformation eine Transfor- mationscodierung, beispielsweise eine Diskrete Cosinus Transformation (DCT) , an.There are different methods for motion estimation and motion compensation, as they are known from [3]. A so-called "block matching method" is mostly used for block-based image coding. It is based on the fact that a picture block to be coded is compared with reference picture blocks of the same size of a reference picture. The criterion for a match quality between the block to be coded and a reference picture block in each case is usually the sum of the absolute differences in coding information which is assigned to each picture element. In this way, movement information for the image block, for example a movement vector, is determined, which is transmitted with the difference information. Two switch units 804 are provided for switching between the intra-picture coding and the inter-picture coding. To carry out the inter-picture coding, a subtraction unit 805 is provided, in which the difference in picture information between two successive digitized pictures 801 is formed. The image coding is controlled by an image coding control unit 806. The picture blocks 820 or difference picture blocks to be coded are each fed to a transformation coding unit 807. The transformation coding unit 807 applies a transformation coding, for example a discrete cosine transformation (DCT), to the coding information assigned to the pixels 802.
Allgemein kann jedoch zur Bildcodierung jede beliebige Transformationscodierung, beispielsweise eine Diskrete Sinus Transformation oder eine Diskrete Fourier Transformation, angewendet werden.In general, however, any transformation coding, for example a discrete sine transformation or a discrete Fourier transformation, can be used for image coding.
Durch die Transformationscodierung werden Spektralkoeffizienten (Transformationskoeffizienten) gebildet. Die Spektralkoeffizienten werden in einer Quantisierungseinheit 808 quan- tisiert und einem Bildcodierungsmultiplexer 821 beispielsweise zu einer Kanalcodierung und/oder zu einer Entropiecodie- rung zugeführt. In einer internen Rekonstruktionsschleife werden die quantisierten Spektralkoeffizienten in einer in- versen Quantisierungseinheit 809 invers quantisiert und in einer inversen Transformationscodierungseinheit 810 einer in- versen Transformationscodierung unterzogen.Spectral coefficients (transformation coefficients) are formed by the transformation coding. The spectral coefficients are quantized in a quantization unit 808 and fed to an image coding multiplexer 821, for example for channel coding and / or entropy coding. In an internal reconstruction loop, the quantized spectral coefficients are inversely quantized in an inverse quantization unit 809 and subjected to inverse transformation coding in an inverse transformation coding unit 810.
Ferner wird im Fall der Inter-Bildcodierung in einer Addiereinheit 811 Bildinformation des jeweiligen zeitlich vorangegangenen Bildes hinzuaddiert. Die auf diese Weise rekonstruierten Bilder werden in einem Speicher 812 gespeichert. In dem Speicher 812 ist zur einfacheren Darstellung eine Einheit zu der Bewegungskompensation 813 symbolisch dargestellt.Furthermore, in the case of inter-picture coding, picture information of the respective temporally preceding picture is added in an adding unit 811. The images reconstructed in this way are stored in a memory 812. A unit for the motion compensation 813 is symbolically represented in the memory 812 for the sake of simplicity.
Ferner ist ein Schleifenfilter (Loopfilter) 814 vorgesehen, das mit dem Speicher 812 sowie der Subtraktionseinheit 805 verbunden ist.A loop filter 814 is also provided, which is connected to the memory 812 and the subtraction unit 805.
Dem Bildcodierungsmultiplexer 821 werden zusätzlich zu einer übertragenden Bildinformation 822 ein Modusindex zugeführt, mit dem jeweils angegeben wird, ob eine Intra-Bildcodierung oder Inter-Bildcodierung vorgenommen wurde.In addition to the transmitted image information 822, the mode coding multiplexer 821 is supplied with a mode index, which is used to indicate whether intra-picture coding or inter-picture coding has been carried out.
Ferner werden dem Bildcodierungsmultiplexer 821 Quantisierungsindizes 816 für die Spektralkoeffizienten zugeführt.Furthermore, quantization indices 816 for the spectral coefficients are supplied to the image coding multiplexer 821.
Ein Bewegungsvektor wird jeweils einem Bildblock 820 und/oder einem Makroblock 823, der beispielsweise vier Bildblöcke 820 aufweist, zugeordnet und dem Bildcodierungsmultiplexer 821 zugeführt .A motion vector is assigned to an image block 820 and / or a macro block 823, which has four image blocks 820, for example, and is supplied to the image coding multiplexer 821.
Ferner ist eine Informationsangabe zum Aktivieren bzw. Deaktivieren des Schleifenfilters 814 vorgesehen. Nach Übertragung der Bildinformation über ein Übertragungsmedium 818 kann in einem zweiten Rechner 819 die Decodierung der übertragenen Information erfolgen. Hierzu ist in dem zweiten Rechner 819 eine Bilddecodierungseinheit 825 vorgesehen, die beispielsweise den Aufbau einer Rekonstruktionsschleife der in der Figur 8 dargestellten Anordnung aufweist.Furthermore, information is provided for activating or deactivating the loop filter 814. After the image information has been transmitted via a transmission medium 818, the transmitted information can be decoded in a second computer 819. For this purpose, an image decoding unit 825 is provided in the second computer 819, which for example has the structure of a reconstruction loop of the arrangement shown in FIG. 8.
Aus [4] ist eine formangepaßte Transformationscodierung, wie sie im Speziellen im Rahmen einer objektbasierten Bildcodierung auf Randbildblöcke oder Bildblöcke, die nur teilweise relevante Codierungsinformation beinhalten, angewendet wird, bekannt. Die unter Verwendung einer formangepaßten Transfor- mationscodierung codierten Randbildblöcke zeichnen sich da- durch aus, daß nur die Bildpunkte codiert werden, die einemFrom [4] a shape-adapted transformation coding is known, such as is used in particular in the context of object-based picture coding on edge picture blocks or picture blocks which contain only partially relevant coding information. The edge image blocks coded using a form-adapted transformation coding are characterized by by from the fact that only the pixels are coded that a
Objekt zugeordnet sind bzw. für das Objekt relevante Codierungsinformation aufweisen.Are assigned to the object or have coding information relevant to the object.
Das in [4] beschriebene Verfahren ist eine sogenannte formangepaßte Diskrete Cosinus Transformation (Shape Adaptive DCT, SA-DCT) .The method described in [4] is a so-called shape-adjusted discrete cosine transformation (Shape Adaptive DCT, SA-DCT).
Im Rahmen einer SA-DCT werden die einem Bildobjekt zugeordne- ten DCT-Transformationskoeffizienten derart bestimmt, daßIn the context of an SA-DCT, the DCT transformation coefficients assigned to an image object are determined in such a way that
Bildpunkte eines Randbildblocks, die nicht zu dem Bildobjekt gehören, ausgeblendet werden. Auf die verbleibenden Bildpunkte wird dann zunächst spaltenweise eine eindimensionale DCT angewendet, deren Länge der Zahl der verbleibenden Bildpunkte in der jeweiligen Spalte entspricht. Die resultierenden DCT- Transformationskoeffizienten werden horizontal ausgerichtet und anschließend in einer weiteren eindimensionalen DCT in horizontaler Richtung mit entsprechender Länge unterzogen.Pixels of a border image block that do not belong to the image object are hidden. A one-dimensional DCT, the length of which corresponds to the number of remaining pixels in the respective column, is then first applied to the remaining pixels. The resulting DCT transformation coefficients are aligned horizontally and then subjected to a further one-dimensional DCT in the horizontal direction with the appropriate length.
Die aus [4] bekannte Vorschrift der SA-DCT geht von einer Transformationsmatrix DCT-N mit folgendem Aufbau aus:The SA-DCT regulation known from [4] is based on a DCT-N transformation matrix with the following structure:
1 π1 π
DCT - N(p, k) = γ * cos, * ι k + - * — ( i :DCT - N (p, k) = γ * cos, * ι k + - * - (i:
2) N mit p,k = 0 → N-l.2) N with p, k = 0 → N-l.
Mit N wird eine Größe des zu transformierenden Bildvektors bezeichnet, in dem die transformierten Bildpunkte enthalten sind.N denotes a size of the image vector to be transformed, in which the transformed pixels are contained.
Mit DCT-N wird eine Transformationsmatrix der Größe NxN bezeichnet .DCT-N denotes a transformation matrix of size NxN.
Mit p,k werden Indizes bezeichnet mit p,k e [0,N-1]. Nach der SA-DCT wird jede Spalte des zu transformierenden Bildblocks gemäß der VorschriftWith p, k, indices are designated with p, ke [0, N-1]. After the SA-DCT, each column of the image block to be transformed is made according to the regulation
Figure imgf000010_0001
Figure imgf000010_0001
vertikal transformiert. Danach wird die gleiche Vorschrift auf die resultierenden Daten in horizontaler Richtung ange- wendet.transformed vertically. The same rule is then applied to the resulting data in the horizontal direction.
In der Computer-Grafik werden verschiedene Methoden zur Darstellung eines Objekts auf einem Bildschirm verwendet. Eine Methode zur Darstellung eines Objekts ist das sogenannte Texture Mapping.Various methods are used in computer graphics to display an object on a screen. One method of representing an object is the so-called texture mapping.
Aus [5] ist ein solches Texture Mapping bekannt.Such a texture mapping is known from [5].
Im Rahmen des Texture Mapping wird ein digitales Bild, welche eine Helligkeitsmformation (Lummanzwerte) und/oder eineIn the context of texture mapping, a digital image is generated which contains a brightness information (luminance values) and / or a
Farbinformation (Chrominanzwerte) des darzustellenden Objekts beinhaltet, auf eine Oberflache eines dreidimensionalen Modells eines darzustellenden Objekts abgebildet.Contains color information (chrominance values) of the object to be displayed, mapped onto a surface of a three-dimensional model of an object to be displayed.
Das dreidimensionale Modell 301 des darzustellenden Objekts, welches Modell 301 in Figur 3 dargestellt ist, besteht aus einer raumlichen dreiecksfor igen Gitterstruktur 301, wobei die Eckpunkte 302 der Dreiecke 303 als Punkte 304 eines kar- tesischen Koordinatensystems 305 vorliegen.The three-dimensional model 301 of the object to be displayed, which model 301 is shown in FIG. 3, consists of a spatial triangular lattice structure 301, the corner points 302 of the triangles 303 being present as points 304 of a Cartesian coordinate system 305.
Jedem Dreieck 303 ist, wie es in Figur 3 dargestellt ist, jeweils eine sogenannte blockformige Strukturkarte 306 zugeordnet, die aus rechteckig bzw. blockformig angeordneten Bild- punkten 307 aufgebaut ist. Jedem Bildpunkt 307 ist üblicher- weise eine Helligkeitsinformation (Luminanzwerte) und/oder eine Farbinformation (Chrominanzwerte) zugeordnet.As is shown in FIG. 3, each triangle 303 is assigned a so-called block-shaped structure card 306, which is made up of rectangular or block-shaped pixels 307. Each pixel 307 is more common - assign brightness information (luminance values) and / or color information (chrominance values).
Dem Dreieck 303 wird derart die Helligkeits- oder Farbinfor- mation zugeordnet, daß jeweils einem Eckpunkt 302 und 308 des Dreiecks 303 und 309 ein zugehöriger Bildpunkt 307 der zugehörigen Strukturkarte 306 zugeordnet ist.The triangle 303 is assigned the brightness or color information in such a way that an associated image point 307 of the associated structure map 306 is assigned to a corner point 302 and 308 of the triangle 303 and 309.
Die Lage eines Eckpunkts 308 des Dreiecks 309 wird durch die Angabe von Koordinaten (ui,vj_) 310 in einem zweidimensionalenThe position of a corner point 308 of the triangle 309 is determined by specifying coordinates (ui, vj_) 310 in a two-dimensional one
Koordinatensystem (u,v) 311, welches der Strukturkarte 306 zugeordnet ist, festgelegt. Üblicherweise werden die Koordinaten (u_,vi) 310 normiert.Coordinate system (u, v) 311, which is assigned to the structure map 306. The coordinates (u_, vi) 310 are usually standardized.
Über eine Transformationsvorschrift (Zuweisung) wird jedem Eckpunkt 302 von jedem Dreieck 303 des dreidimensionalen Modells 301 der entsprechende Punkt 310 in der zugehörigen Strukturkarte 306 zugewiesen.Each corner point 302 of each triangle 303 of the three-dimensional model 301 is assigned the corresponding point 310 in the associated structure map 306 via a transformation rule (assignment).
Ferner werden, wie es in Figur 4 dargestellt ist, alle Strukturkarten 401 zu einem digitalisierten Bild 402, einer sogenannten Superstrukturkarte 402, zusammengefaßt, indem die einzelnen Strukturkarten 401 Zeilen- und spaltenweise angeordnet werden. Gegebenenfalls müssen die Strukturkarten 401, die eine für die Darstellung des Objekts relevante Codierungsinformation beinhalten, mit Strukturkarten 404, die keine für die Darstellung des Objekts relevante Codierungsinformation beinhalten, ergänzt werden.Furthermore, as shown in FIG. 4, all structure maps 401 are combined to form a digitized image 402, a so-called super structure map 402, by arranging the individual structure maps 401 in rows and columns. If necessary, the structure cards 401, which contain coding information relevant for the representation of the object, must be supplemented with structure cards 404, which contain no coding information relevant for the representation of the object.
Das oben beschriebene Verfahren weist aber insbesondere einen Nachteil auf. Die Strukturkarten und auch die Superstrukturkarte weisen Bildpunkte auf, die keine für die Darstellung des Objekts relevante Helligkeits- oder Farbinformation beinhalten. Wird die Superstrukturkarte im Rahmen einer Bildubertragung codiert, so wird durch die nicht relevanten Bildpunkte die bei der Übertragung auftretende Datenrate unnötig erhöht.However, the method described above has a particular disadvantage. The structure maps and also the super structure map have image points that do not contain any brightness or color information relevant for the representation of the object. If the superstructure card is encoded as part of an image transmission, the data rate occurring during the transmission is unnecessarily increased by the irrelevant pixels.
Für die Verbesserung des oben beschriebenen Verfahrens wird eine Strukturkarte auf folgende Weise (vgl. Figur 5) bearbeitet:To improve the method described above, a structure map is processed in the following way (see FIG. 5):
Diejenigen Bildpunkte 501 einer Strukturkarte 502, welcheThose pixels 501 of a structure map 502 which
Bildpunkte eine für die Darstellung des Objekts relevante Co- dierungsmformation beinhalten, werden zu einer neuen drei- ecksformigen Strukturkarte 503 mit Bildpunkten 506, die in einer vorgegebenen Form, die üblicherweise ein rechtwinkliges Dreieck ist, und in einer vorgegebenen Große angeordnet werden, transformiert. Die Transformation wird derart durchgeführt, so daß die Bildpunkte 501, die Eckbildpunkte 504 des Dreiecks 505 sind, mit Bildpunkten 506, die Eckbildpunkte 507 der dreiecksformigen Strukturkarte 503 sind, übereinstimmen.Pixels containing coding information relevant to the representation of the object are transformed into a new triangular structure map 503 with pixels 506, which are arranged in a predetermined shape, which is usually a right-angled triangle, and in a predetermined size. The transformation is carried out in such a way that the pixels 501, which are corner pixels 504 of the triangle 505, coincide with pixels 506, which are corner pixels 507 of the triangular structure map 503.
Im Rahmen der Transformation müssen gegebenenfalls Bildpunkte durch eine Extrapolation oder eine Interpolation von Werten, die eine Helligkeits- oder Farbinformation beinhalten, erzeugt oder gegebenenfalls Bildpunkte geloscht werden.In the course of the transformation, pixels may have to be generated by extrapolation or interpolation of values which contain brightness or color information, or pixels may have to be deleted.
Damit weist die dreiecksformige Strukturkarte 503 nur noch Bildpunkte 506 auf, die für die Darstellung eines Objekts relevant sind.The triangular structure map 503 thus only has pixels 506 which are relevant for the representation of an object.
Wie Figur 6 dargestellt ist, werden alle dreiecksformigen Strukturkarten 601, die für Darstellung des Objekts relevante Helligkeits- oder Farbinformation beinhalten, zu einer neuen Superstrukturkarte 602 angeordnet. Dazu werden jeweils zwei dreiecksförmige Strukturkarten 601a und 601b zu einer blockförmigen Strukturkarte 603 angeordnet.As shown in FIG. 6, all triangular structure maps 601, which contain brightness or color information relevant to the representation of the object, are arranged to form a new super structure map 602. For this purpose, two triangular structure cards 601a and 601b are arranged to form a block-shaped structure card 603.
Ferner werden alle blockförmigen Strukturkarten 603 zeilen- und spaltenweise gruppiert, womit ein digitalisiertes Bild erzeugt wird.Furthermore, all block-shaped structure cards 603 are grouped in rows and columns, with which a digitized image is generated.
Aus [5] ist ferner bekannt, daß eine derartige Superstrukturkarte, wie sie im Rahmen eines Texture Mapping erzeugt wird, bei einer Bildübertragung codiert und decodiert wird.It is also known from [5] that such a superstructure map, as it is generated in the context of texture mapping, is encoded and decoded during image transmission.
Dabei erfolgt üblicherweise die Codierung und/oder Decodierung einer Superstrukturkarte unter Verwendung einer blockorientierten Transformation im Intra-Bildcodierungsmodus, wie sie oben beschrieben wurde.The coding and / or decoding of a superstructure card is usually carried out using a block-oriented transformation in the intra-picture coding mode, as described above.
Dieses Vorgehen ist hinsichtlich einer niedrigeren für eine Übertragung anzustrebenden Datenrate oder einer höheren Bildqualität wenig effizient.This procedure is not very efficient with regard to a lower data rate to be targeted for transmission or a higher image quality.
Somit liegt der Erfindung das Problem zugrunde, ein Verfahren zur Bildcodierung und ein Verfahren zur Bilddecodierung und eine Anordnung zur Bildcodierung und eine Anordnung zur Bilddecodierung sowie ein Verfahren zur Übertragung eines digitalisierten Bildes anzugeben, mit denen eine effizientere Co- dierung und Decodierung sowie Übertragung eines digitalisierten Bildes möglich wird.The invention is therefore based on the problem of specifying a method for image coding and a method for image decoding and an arrangement for image coding and an arrangement for image decoding as well as a method for transmitting a digitized image with which more efficient coding and decoding and transmission of a digitized image can be achieved Picture becomes possible.
Das Problem wird durch die Verfahren mit den Merkmalen gemäß den unabhängigen Ansprüchen sowie den Anordnungen mit den Merkmalen gemäß den unabhängigen Ansprüchen gelöst.The problem is solved by the method with the features according to the independent claims and the arrangements with the features according to the independent claims.
Bei dem Verfahren zur Codierung eines digitalisierten Bildes mit Bildpunkten, die eine Codierungsinformation beinhalten, wird das Bild zumindest teilweise in Bildblöcke aufgeteilt. Ferner wird jeweils ein Bildblock mindestens in einen ersten Unterbildblock und einen zweiten Unterbildblock unterteilt. Die dadurch ermittelten Unterbildblöcke werden unter Verwendung der Codierungsinformation mit einer formangepaßten Transformationscodierung codiert.In the method for coding a digitized picture with pixels that contain coding information, the picture is at least partially divided into picture blocks. Furthermore, an image block is subdivided into at least a first sub-image block and a second sub-image block. The sub-picture blocks determined in this way are encoded using the encoding information using a shape-adapted transformation encoding.
Bei dem Verfahren zur Decodierung eines digitalisierten Bildes mit Bildpunkten, die eine Codierungsinformation beinhalten, werden codierte Unterbildblöcke identifiziert. Die co- dierten Unterbildblöcke werden unter Verwendung der Codierungsinformation mit einer inversen formangepaßten Transformationscodierung decodiert. Unter Verwendung von mindestens zwei der zugehörigen Unterbildblöcken wird jeweils ein zugehöriger Bildblock gebildet. Ferner wird unter Verwendung der Bildblöcke das Bild gebildet.In the method for decoding a digitized picture with pixels that contain coding information, coded sub-picture blocks are identified. The coded sub-picture blocks are decoded using the coding information using an inverse shape-adapted transformation coding. An associated image block is formed using at least two of the associated sub-image blocks. Furthermore, the image is formed using the image blocks.
Bei der Anordnung zur Codierung eines digitalisierten Bildes mit Bildpunkten, die eine Codierungsinformation beinhalten, ist ein Prozessor vorgesehen, der derart eingerichtet ist, daß folgende Verfahrensschritte im Rahmen der Codierung durchführbar sind:In the arrangement for coding a digitized image with pixels which contain coding information, a processor is provided which is set up in such a way that the following method steps can be carried out as part of the coding:
Das zu codierende Bild wird zumindest teilweise in Bildblöcke aufgeteilt. Jeweils ein Bildblock wird mindestens in einen ersten Unterbildblock und einen zweiten Unterbildblock unterteilt. Die dadurch ermittelten Unterbildblöcke werden unter Verwendung der Codierungsinformation mit einer formangepaßten Transformationscodierung codiert .The image to be encoded is at least partially divided into image blocks. One image block is divided into at least a first sub-image block and a second sub-image block. The sub-picture blocks determined in this way are encoded using the encoding information using a shape-adapted transformation encoding.
Bei der Anordnung zur Decodierung eines digitalisierten Bildes mit Bildpunkten, die eine Codierungsinformation beinhalten, ist ein Prozessor vorgesehen, der derart eingerichtet ist, daß folgende Verfahrensschritte durchführbar sind:In the arrangement for decoding a digitized image with pixels which contain coding information, a processor is provided which is set up in such a way that the following method steps can be carried out:
Es werden codierte Unterbildblöcke identifiziert. Die codierten Unterbildblöcke werden unter Verwendung der Codierungsin- formation mit einer inversen formangepaßten Transformationscodierung decodiert. Unter Verwendung von mindestens zwei der zugehörigen Unterbildblöcken wird jeweils ein zugehöriger Bildblock gebildet. Unter Verwendung der Bildblöcke wird das Bild gebildet.Coded sub-picture blocks are identified. The encoded sub-picture blocks are encoded using the encoding formation is decoded with an inverse shape-adapted transformation coding. An associated image block is formed using at least two of the associated sub-image blocks. The image is formed using the image blocks.
Bei dem Verfahren zur Übertragung eines digitalisierten Bildes mit Bildpunkten, die eine Codierungsinformation beinhalten, wird das Bild codiert. Im Rahmen der Codierung wird das Bild zumindest teilweise in Bildblöcke aufgeteilt. Ferner wird im Rahmen der Codierung jeweils ein zugehöriger Bildblock mindestens in einen zugehörigen ersten Unterbildblock und einen zugehörigen zweiten Unterbildblock unterteilt. Die Unterbildblöcke werden unter Verwendung der Codierungsinfor- mation mit einer formangepaßten Transformationscodierung codiert. Das codierte Bild wird übertragen. Ferner wird das codierte Bild unter Verwendung eines zu der Codierung inversen Verfahrens decodiert.In the method for transmitting a digitized image with pixels that contain coding information, the image is encoded. As part of the coding, the image is at least partially divided into image blocks. Furthermore, in the context of the coding, an associated image block is subdivided into at least one associated first sub-image block and an associated second sub-image block. The sub-picture blocks are encoded using the encoding information with a conformal transform encoding. The encoded picture is transmitted. Furthermore, the encoded image is decoded using a method inverse to the encoding.
Der besondere Vorteil der Erfindung liegt darin, daß speziell angepaßte Verfahren zur Codierung und Decodierung eines digitalen Bildes eingesetzt werden, welche den speziellen Aufbau des digitalen Bildes berücksichtigen. Damit wird eine effiziente Codierung und Decodierung des digitalisierten Bildes hinsichtlich einer niedrigen für eine Übertragung anzustrebenden Datenrate oder einer größeren Menge von übertragbarer Codierungsinformation für eine bessere Bildqualität erreicht.The particular advantage of the invention is that specially adapted methods for coding and decoding a digital image are used which take into account the special structure of the digital image. This achieves efficient coding and decoding of the digitized picture with regard to a low data rate to be aimed at for transmission or a larger amount of transferable coding information for better picture quality.
Bevorzugte Weiterbildungen der Erfindung ergeben sich aus den abhängigen Ansprüchen.Preferred developments of the invention result from the dependent claims.
In einer Weiterbildung weisen/weist der erste Unterbildblock und/oder der zweite Unterbildblock eine andere Form als der Bildblock auf. Durch den Einsatz einer formangepaßten Trans- formationscodierung zur Codierung oder einer inversen forman- gepaßten Transformationscodierung zur Decodierung wird eine effiziente Codierung und/oder Decodierung möglich.In a further development, the first sub-picture block and / or the second sub-picture block have a different shape than the picture block. By using a form-adapted transformation coding for coding or an inverse matched transformation coding for decoding an efficient coding and / or decoding is possible.
Einen weiteren Vorteil erhalt man, wenn der erste Unterbild- block und/oder der zugehörige zweite Unterbildblock eine Dreiecksform aufweisen/aufweist. In diesem Fall fuhrt der Einsatz einer Shape-Adaptive Diskrete-Cosinus-Transformation (SA-DCT) zur Codierung und/oder der Einsatz einer inverse Shape-Adaptive Diskrete-Cosmus-Transformation (SA-DCT) zur Decodierung zu einer Steigerung der Effizienz der Codierung und/oder Decodierung.A further advantage is obtained if the first sub-picture block and / or the associated second sub-picture block have a triangular shape. In this case, the use of a shape-adaptive discrete cosine transformation (SA-DCT) for coding and / or the use of an inverse shape-adaptive discrete cosine transformation (SA-DCT) for decoding leads to an increase in the efficiency of the Coding and / or decoding.
Von besonderem Vorteil ist es, wenn die Dreicksform einen rechten Winkel aufweist. Damit wird durch den Einsatz einer Triangle-Adaptive Diskrete-Cosmus-Transformation (TA-DCT) im Rahmen der Codierung oder durch den Einsatz einer inversen Triangle-Adaptive Diskrete-Cosmus-Transformation (TA-DCT) im Rahmen der Decodierung eine äußerst effiziente Codierung und/oder Decodierung möglich.It is particularly advantageous if the triangular shape has a right angle. This means that by using a triangle-adaptive discrete-cosmos transformation (TA-DCT) as part of the coding or by using an inverse triangle-adaptive discrete-cosmos transformation (TA-DCT) as part of the decoding, an extremely efficient coding is achieved and / or decoding possible.
In einer weiteren Ausgestaltung wird der erste Unterbildblock oder der zweite Unterbildblock derart verändert, daß die relative Lage des zugehörigen ersten Unterbildblocks bezüglich des zugehörigen Bildblocks und die relative Lage des zugeho- rigen zweiten Unterbildblocks bezüglich des zugehörigen Bildblocks identisch ist. Damit ist es möglich für die Codierung des ersten Unterbildblocks und für die Codierung des zweiten Unterbildblock jeweils eine identische formangepaßte Trans- formationscodierung einzusetzen.In a further embodiment, the first sub-picture block or the second sub-picture block is changed such that the relative position of the associated first sub-picture block with respect to the associated picture block and the relative position of the associated second sub-picture block with respect to the associated picture block is identical. It is thus possible to use an identical, form-adapted transformation coding for the coding of the first sub-picture block and for the coding of the second sub-picture block.
Eine Weiterbildung kann vorteilhaft für die Codierung und/oder Decodierung einer dreiecksformigen Strukturkarte eingesetzt werden. Da eine derartige Strukturkarte dreiecks- formige Unterbildblöcke aufweist, ist durch den Einsatz einer Triangle-Adaptive Diskrete-Cosmus-Transformation (TA-DCT) im Rahmen der Codierung oder durch den Einsatz einer inversen Triangle-Adaptive Diskrete-Cosmus-Transformation (TA-DCT) im Rahmen der Decodierung eine äußerst effiziente Codierung und/oder Decodierung möglich.A further development can advantageously be used for the coding and / or decoding of a triangular structure card. Since such a structure map has triangular sub-picture blocks, the use of a triangle-adaptive discrete-cosmus transformation (TA-DCT) in the context of the coding or the use of an inverse triangle-adaptive discrete-cosmus transformation (TA-DCT ) in the An extremely efficient coding and / or decoding is possible within the framework of the decoding.
Ein Ausfuhrungsbeispiel der Erfindung ist in Figuren darge- stellt und wird im Weiteren naher erläutert.An exemplary embodiment of the invention is shown in figures and is explained in more detail below.
Es zeigen:Show it:
Figur 1 Anordnung zur Bildcodierung und Bilddecodierung mit einer Aufnahme eines Objekts mittels einer Kamera und einer Darstellung des Objekts auf einem Bildschirm1 shows an arrangement for image coding and image decoding with a picture of an object by means of a camera and a representation of the object on a screen
Figur 2 Schematische Darstellung der Vorgehensweise zur Bildcodierung und Bilddecodierung mit einer Aufnahme eines Objekts mittels einer Kamera und einer Darstellung des Objekts auf einem Bildschirm Figur 3 dreiecksformige Gitterstruktur des dreidimensionalen Modells mit einer zugehörigen StrukturkarteFigure 2 Schematic representation of the procedure for image coding and decoding with an image of an object by means of a camera and a representation of the object on a screen Figure 3 triangular lattice structure of the three-dimensional model with an associated structure map
Figur 4 Darstellung einer SuperstrukturkarteFigure 4 representation of a superstructure map
Figur 5 Darstellung einer Transformation einer Strukturkarte auf eine dreiecksformige Strukturkarte Figur 6 Darstellung einer Superstrukturkarte bestehend aus dreiecksformigen StrukturkartenFIG. 5 shows a transformation of a structure map to a triangular structure map. FIG. 6 shows a super structure map consisting of triangular structure maps
Figur 7 Anordnung zur Bildcodierung bzw. Bilddecodierung mit einer Kamera, zwei Rechnern und einem Übertragungsmedi- um Figur 8 Skizze einer Anordnung zur blockbasierten Bildcodierung bzw. BilddecodierungFigure 7 Arrangement for image coding or decoding with a camera, two computers and a transmission medium. Figure 8 Sketch of an arrangement for block-based image coding or image decoding
Figur 9 Darstellung der Zerlegung der blockformigen StrukturkarteFigure 9 shows the breakdown of the block-shaped structure map
In Figur 1 ist eine Anordnung zu einer Bildcodierung und einer Bilddecodierung mit einer Aufnahme eines Objekts mittels einer Kamera und einer Darstellung des Objekts auf einem Bildschirm dargestellt. In Figur 1 ist eine Kamera 101 dargestellt, mit der Bilder eines Objekts 152 aufgenommen werden. Die Kamera 101 ist eine analoge Farbkamera, die Bilder des Objekts 152 aufnimmt, und die Bilder in analoger Form zu einem ersten Rechner 102 über- trägt. In dem ersten Rechner 102 werden die analogen Bilder in digitalisierte Bilder umgewandelt, wobei Bildpunkte der digitalisierten Bilder eine Farbinformation des Objekts 152 beinhalten, und die digitalisierten Bilder bearbeitet.FIG. 1 shows an arrangement for image coding and image decoding with a picture of an object by means of a camera and a representation of the object on a screen. FIG. 1 shows a camera 101 with which images of an object 152 are recorded. The camera 101 is an analog color camera, which records images of the object 152 and transmits the images in analog form to a first computer 102. In the first computer 102, the analog images are converted into digitized images, wherein pixels of the digitized images contain color information of the object 152, and the digitized images are processed.
Das Objekt 152 ist zentriert auf einem Objektträger 153 angeordnet. Die relative Lage des Objektträgers 153 bezüglich der Kamera 101 ist fest vorgegeben. Durch Rotation des Objektträger 153 um dessen Zentrum kann das Objekt 152 derart bewegt werden, so daß sich bei gleichbleibenden Abstand des Objekts 152 zu der Kamera 101 der Blickwinkel, unter den die Kamera 101 das Objekt 152 aufnimmt, kontinuierlich verändert.The object 152 is centered on a slide 153. The relative position of the slide 153 with respect to the camera 101 is fixed. By rotating the object carrier 153 around its center, the object 152 can be moved in such a way that the viewing angle at which the camera 101 takes up the object 152 changes continuously when the object 152 remains at a constant distance from the camera 101.
Der erste Rechner 102 ist als eine eigenständige Anordnung in Form einer eigenständigen Computerkarte, die in den ersten Rechner 102 installiert ist, ausgestaltet, mit welcher Computerkarte die im Folgenden beschriebenen Verfahrensschritte durchgeführt werden.The first computer 102 is designed as an independent arrangement in the form of an independent computer card, which is installed in the first computer 102, with which computer card the method steps described below are carried out.
Der erste Rechner 102 weist einen Prozessor 104 auf, mit dem die im Weiteren beschriebenen Verfahrensschritte der Bildcodierung durchgeführt werden. Die Prozessoreinheit 104 ist über einen Bus 105 mit einem Speicher 106 gekoppelt, in dem eine Bildinformation gespeichert wird.The first computer 102 has a processor 104 with which the method steps of image coding described below are carried out. The processor unit 104 is coupled via a bus 105 to a memory 106 in which image information is stored.
Das im Weiteren beschriebene Verfahren zu der Bildcodierung ist in Software realisiert. Sie ist in dem Speicher 106 gespeichert und wird von dem Prozessor 104 ausgeführt.The method for image coding described below is implemented in software. It is stored in memory 106 and executed by processor 104.
Nach erfolgter Bildcodierung in dem ersten Rechner 101 und nach einer Übertragung der codierten Bildinformation über ein Übertragungsmedium 107 zu einem zweiten Rechner 108, wird in dem zweiten Rechner 108 die Bilddecodierung durchgeführt. Anschließend wird unter Verwendung der decodierten Bildinformation des Objekts 152 ein Modell des Objekts 152 auf einem mit dem zweiter Rechner 108 verknüpften Bildschirm 155 dargestellt.After image coding in the first computer 101 and after transmission of the coded image information via a Transmission medium 107 to a second computer 108, the image decoding is carried out in the second computer 108. Then, using the decoded image information of the object 152, a model of the object 152 is displayed on a screen 155 linked to the second computer 108.
Der zweite Rechner 108 hat den gleichen Aufbau wie der erste Rechner 101. Der zweite Rechner 108 weist auch einen Prozes- sor 109 auf, welcher Prozessor mit einem Bus 111 mit einem Speicher 110 gekoppelt ist.The second computer 108 has the same structure as the first computer 101. The second computer 108 also has a processor 109, which processor is coupled to a bus 110 with a memory 110.
Das im weiteren beschriebene Verfahren zu der Bilddecodierung ist in Software realisiert. Sie ist in dem Speicher 110 ge- speichert und wird von dem Prozessor 109 ausgeführt.The method described below for image decoding is implemented in software. It is stored in the memory 110 and is executed by the processor 109.
In Figur 2 ist die Vorgehensweise für eine Codierung und einer Decodierung mit einer Aufnahme eines Objekts mittels einer Kamera und einer Darstellung des Objekts auf einem Bild- schirm schematisch dargestellt.FIG. 2 schematically shows the procedure for coding and decoding with the recording of an object by means of a camera and the representation of the object on a screen.
Diese Vorgehensweise für die Codierung und die Decodierung wird durch die in Figur 1 dargestellte und die oben beschriebene Anordnung realisiert.This procedure for coding and decoding is implemented by the arrangement shown in FIG. 1 and the arrangement described above.
1. Schritt Aufnahme des Objekts (201)Step 1 recording the object (201)
Unter Verwendung der Kamera 101 werden, wie es in [7] beschrieben wird, Bilder des Objekts 152, welches in vorgegeben Rotationswmkeln mittels des Objektträgers 153 in seiner Lage bezüglich der Kamera 101 rotiert wird, aufgenommen. Die Bilder werden in analoger Form zu dem ersten Rechner 102 übertragen.Using the camera 101, as described in [7], images of the object 152, which is rotated in a predetermined rotation angle by means of the object holder 153 in its position with respect to the camera 101, are recorded. The images are transmitted in analog form to the first computer 102.
Vor der Durchführung der Aufnahme des Objekts 152 wird dieBefore the object 152 is recorded, the
Kamera 101, wie es in [7] beschrieben wird, kalibriert, wobei eine räumliche Geometrie der Anordnung sowie die Aufnahmepa¬ rameter der Kamera 101, beispielsweise die Brennweite der Kamera 101, bestimmt werden.Camera 101, as described in [7], calibrated, whereby a spatial geometry of the arrangement and the Aufnahmepa ¬ parameters of the camera 101, for example, the focal length of the camera 101 are determined.
Die Geometriedaten sowie die Kameraparameter werden zu dem ersten Rechner 102 übertragen.The geometry data and the camera parameters are transmitted to the first computer 102.
2. Digitalisieren der Bilder (202)2. Digitize the images (202)
In dem ersten Rechner 102 werden die analogen Bilder in digitalisierte Bilder 103 umgewandelt und die digitalisierten Bilder 103 bearbeitet.In the first computer 102, the analog images are converted into digitized images 103 and the digitized images 103 are processed.
3. Bildbearbeitung (203)3.Image editing (203)
Die Bearbeitung der digitalisierten Bilder 103 erfolgt nach dem Verfahren einer Automatischen Dreidimensionalen Modellbildung unter Verwendung mehrerer Bilder eines Objekts, wie es in [7] beschrieben ist.The processing of the digitized images 103 takes place according to the method of automatic three-dimensional modeling using several images of an object, as described in [7].
Im Rahmen des Verfahrens der Automatischen Dreidimensionalen Modellbildung unter Verwendung mehrerer Bilder eines Objekts werden zwei Verfahrensschritte durchgeführt:As part of the process of automatic three-dimensional modeling using several images of an object, two process steps are carried out:
In dem ersten Schritt des Verfahrens wird mittels eines Verfahrens zur Bestimmung einer Kontur eines Objekts in einem digitalisierten Bild, wie es in [7] genannt wird, unter Verwendung der Kameraparameter und der digitalisierten Bilder 103 ein Volumenmodell 301 des Objekts 152 ermittelt.In the first step of the method, a volume model 301 of the object 152 is determined by means of a method for determining a contour of an object in a digitized image, as mentioned in [7], using the camera parameters and the digitized images 103.
Das Volumenmodell 301 des Objekts 152, wie es in Figur 3 dargestellt ist, besteht aus einer räumlichen dreiecksformigen Gitterstruktur 301, wobei die Eckpunkte 302 der Dreiecke 303 als Punkte 304 eines kartesischen Koordinatensystems 305 vor- liegen. In dem zweiten Schritt des Verfahrens wird unter Verwendung der digitalisierten Bilder 103 sowie der in Bildpunkten der digitalisierten Bilder 103 beinhalteten Farbinformation für jedes Dreieck 303 jeweils eine sogenannte Strukturkarte 306 bestimmt.The volume model 301 of the object 152, as shown in FIG. 3, consists of a spatial triangular lattice structure 301, the corner points 302 of the triangles 303 being present as points 304 of a Cartesian coordinate system 305. In the second step of the method, a so-called structure map 306 is determined for each triangle 303 using the digitized images 103 and the color information contained in pixels of the digitized images 103.
Die Strukturkarte ist aus blockförmig angeordneten Bildpunkten 307 aufgebaut. Jeder Bildpunkt 307 beinhaltet eine Farbinformation (Chrominanzwerte) des Objekts 152.The structure map is constructed from pixels 307 arranged in block form. Each pixel 307 contains color information (chrominance values) of the object 152.
Dem Dreieck 303 wird die Farbinformation zugeordnet, indem jeweils einem Eckpunkt 302 und 308 des Dreiecks 303 und 309 ein zugehöriger Bildpunkt 307 der zugehörigen Strukturkarte 306 zugeordnet ist.The color information is assigned to the triangle 303 in that an associated image point 307 of the associated structure map 306 is assigned to a corner point 302 and 308 of the triangle 303 and 309.
Die Lage eines Eckpunkte 308 des Dreiecks 309 wird durch dieThe position of a corner point 308 of the triangle 309 is determined by the
Angabe von Koordinaten (UJ_,VJ_) 310 in einem zweidimensionalenSpecification of coordinates (UJ_, VJ_) 310 in a two-dimensional
Koordinatensystem (u,v) 311, welches der Strukturkarte 306 zugeordnet ist, festgelegt. Anschließend werden die Koordina- ten (UJ_,V_) 310 normiert.Coordinate system (u, v) 311, which is assigned to the structure map 306. Then the coordinates (UJ_, V_) 310 are standardized.
Über eine Transformationsvorschrift wird jedem Eckpunkt 302 von jedem Dreieck 303 des dreidimensionalen Modells 301 der entsprechende Punkt 310 in der zugehörigen Strukturkarte 306 zugewiesen.Each corner point 302 of each triangle 303 of the three-dimensional model 301 is assigned the corresponding point 310 in the associated structure map 306 via a transformation rule.
Diejenigen Bildpunkte 501 einer Strukturkarte 502, welche Bildpunkte eine für die Darstellung des Objekts 152 relevante Farbinformation beinhalten, werden zu einer neuen dreiecks- förmigen Strukturkarte 503 transformiert. Die Bildpunkte 506 der dreiecksformigen Strukturkarte sind derart angeordnet, so daß sie ein rechtwinkliges und gleichschenkliges Dreieck bilden, wobei ein Schenkel fünf Bildpunkte aufweist. Die Transformation wird derart durchgeführt, so daß die Bildpunkte 501, die Eckbildpunkte 504 des Dreiecks 505 sind, mit Bildpunkten 506, die Eckbildpunkte 507 der dreiecksformigen Strukturkarte 503 sind, übereinstimmen.Those pixels 501 of a structure map 502 which pixels contain color information relevant to the representation of the object 152 are transformed into a new triangular structure map 503. The pixels 506 of the triangular structure card are arranged such that they form a right-angled and isosceles triangle, one leg having five pixels. The transformation is carried out so that the pixels 501, which are corner pixels 504 of triangle 505, correspond to pixels 506, which are corner pixels 507 of triangular structure map 503.
Im Rahmen der Transformation müssen gegebenenfalls Bildpunkte durch eine Extrapolation oder eine Interpolation von Werten, die die Farbinformation beinhalten, erzeugt oder gegebenenfalls Bildpunkte gelöscht werden.As part of the transformation, pixels may have to be generated by extrapolation or interpolation of values that contain the color information, or pixels may have to be deleted.
Damit weist die dreiecksförmige Strukturkarte 503 nur nochThe triangular structure map 503 thus only points
Bildpunkte 506 auf, die für die Darstellung eines Objekts relevant sind.Pixels 506 that are relevant for the representation of an object.
Wie in Figur 6 dargestellt ist, werden alle dreiecksformigen Strukturkarten 601, die die für die Darstellung des Objekts relevante Farbinformation beinhalten, zu einer neuen Superstrukturkarte 602 angeordnet.As shown in FIG. 6, all triangular structure maps 601, which contain the color information relevant for the representation of the object, are arranged to form a new super structure map 602.
Dazu werden jeweils zwei dreiecksförmige Strukturkarten 601 zu einer blockförmigen Strukturkarte 603 angeordnet. Ferner werden alle blockförmigen Strukturkarten 603 Zeilen- und spaltenweise gruppiert, wobei ein digitalisiertes Bild erzeugt wird.For this purpose, two triangular structure cards 601 are arranged to form a block structure card 603. Furthermore, all block-shaped structure cards 603 are grouped row and column, whereby a digitized image is generated.
Aufgrund der einheitlichen und vorgegebenen Form der dreiecksformigen Strukturkarte 601, der Zeilen- und spaltenweisen Anordnung der blockförmigen Strukturkarten 603 und einer vorgegebenen Größe der Superstrukturkarte 602 ergibt sich eine vereinfachte Transformationsvorschrift bzw. ein vereinfachter Zuweisungsschlüssel, der als sogenanntes Texture Binding bezeichnet wird:Due to the uniform and predetermined shape of the triangular structure map 601, the row and column arrangement of the block-shaped structure map 603 and a predetermined size of the super structure map 602, there is a simplified transformation rule or a simplified assignment key, which is referred to as texture binding:
Jedem Dreieck 303 der räumlichen dreiecksformigen Gitter- struktur 301 des dreidimensionalen Modell des Objekts 152 wird ein erster Wert ns, der die Spaltennummer der zu dem Dreieck 303 zugehörigen dreiecksformigen Strukturkarte 601 innerhalb der Superstrukturkarte 602 angibt, ein zweiter Wert nz, der die Zeilennummer der zu dem Dreieck 303 zugehörigen dreiecksformigen Strukturkarte 601 innerhalb der Superstruk- turkarte 602 angibt, und ein dritter Wert
Figure imgf000023_0001
der die relative Lage der dreiecksformigen Strukturkarte 601a bzw. 601b bezüglich der blockförmigen Strukturkarte 603 angibt, zugeordnet.
Each triangle 303 of the spatial triangular lattice structure 301 of the three-dimensional model of the object 152 has a first value ns that corresponds to the column number of the Triangle 303 associated triangular structure map 601 within superstructure map 602, a second value nz indicating the line number of triangular structure map 601 associated with triangle 303 within superstructure map 602, and a third value
Figure imgf000023_0001
which indicates the relative position of the triangular structure map 601a or 601b with respect to the block-shaped structure map 603.
Unter Verwendung des für jedes Dreieck 303 der räumlichenUsing the spatial for each triangle 303
Gitterstruktur 301 angegebenen Wertetripels (n$, nz, nx,) und von den vorgegeben Werten hinsichtlich der Höhe H (Anzahl der Bildpunkte, beispielsweise 80 Bildpunkte) und der Breite B (Anzahl der Bildpunkte, beispielsweise 80 Bildpunkte) der Su- perstrukturkarte mit der Größe HxB und der vorgegebenen Anzahl der in einem Schenkel des rechtwinkligen und gleichschenkligen Dreiecks angeordneten Bildpunkte Z, mit beispielsweise Z=5 Bildpunkte, wird eine Zuweisung einer dreiecksformigen Strukturkarte 601 der Superstrukturkarte 602 zu dem zugehörigen Dreieck 303 des Volumenmodells 301 des Objekt nach folgenden Beziehungen ermittelt:Grid structure 301 of specified triples (n $ , nz, nx,) and of the specified values with regard to the height H (number of pixels, for example 80 pixels) and the width B (number of pixels, for example 80 pixels) of the superstructure map with the Size HxW and the predetermined number of pixels Z, for example Z = 5 pixels, arranged in one leg of the right-angled and isosceles triangle, an assignment of a triangular structure map 601 of the superstructure map 602 to the associated triangle 303 of the volume model 301 of the object is determined according to the following relationships :
Ax = (Z/B)*(ns-1)A x = (Z / B) * (n s -1)
Ay = (Z/H)*(nZ-l)A y = (Z / H) * (n Z -l)
Bx = (Z/B)*nS B x = (Z / B) * n S
By = AyB y = Ay
cx = Bx c x = B x
Cy = (Z/H)*nz C y = (Z / H) * n z
Dx = Ax Dv = C,Dx = A x D v = C,
Für den Wert nL = 0, der eine innerhalb der blockformigen Strukturkarte 603 links angeordnete dreiecksförmige Struktur- karte 601a beschreibt, sind die Eckbildpunkte (Ax,Ay) , (Cx,Cy) und (Dx,Dy) relevant.The corner pixels (Ax, Ay), (Cx, Cy) and (Dx, Dy) are relevant for the value nL = 0, which describes a triangular structure map 601a arranged on the left within the block-shaped structure map 603.
Für den Wert n, = 1, der eine innerhalb der blockformigen Strukturkarte 603 links angeordnete dreiecksförmige Struktur- karte 601b beschreibt, sind die Eckpunkte (Ax,Ay) , (CX/Cy)For the value n, = 1, which describes a triangular structure map 601b arranged on the left within the block-shaped structure map 603, the corner points (A x , Ay), (C X / Cy)
und (Bx,By) relevant.and (B x , By) relevant.
Dabei geben die beiden Werte, die durch den Index x und durch den Index y gekennzeichnet sind, die Koordinaten eines Punk- tes der Superstrukturkarte 602 bezüglich eines kartesischen Koordinatensystems 610 an, welches der linken oberen Ecke 611 der Superstrukturkarte 602 angeordnet ist.The two values, which are identified by the index x and the index y, indicate the coordinates of a point on the superstructure map 602 with respect to a Cartesian coordinate system 610 which is arranged on the upper left corner 611 of the superstructure map 602.
4. Codierung (204)4.Coding (204)
Für die Codierung der Superstrukturkarte 602 wird eine sogenannte Triangle-Adaptive Diskrete-Cosmus-Transformation (SA- DCT) verwendet. Dieses Verfahren zur Codierung eines digitalisierten Bildes basiert auf dem Verfahren einer Shape- Adaptive Diskrete-Cosmus-Transformation (SA-DCT) , wie es m [4] beschrieben ist.A so-called triangle-adaptive discrete-cosmos transformation (SA-DCT) is used for coding the superstructure card 602. This method for coding a digitized image is based on the method of a shape-adaptive discrete-cosmos transformation (SA-DCT), as described in m [4].
Im Rahmen einer TA-DCT werden die einem Bildobjekt zugeordneten Transformationskoeffizienten derart bestimmt, daß Bild- punkte eines Randbildblocks, die nicht zu dem Bildobjekt gehören, ausgeblendet werden. Auf die verbleibenden Bildpunkte wird dann zunächst spaltenweise eine eindimensionale DCT angewendet, deren Lange der Zahl der verbleibenden Bildpunkte in der jeweiligen Spalte entspricht. Die resultierendenIn the context of a TA-DCT, the transformation coefficients assigned to an image object are determined in such a way that pixels of a boundary image block that do not belong to the image object are hidden. A one-dimensional DCT, the length of which is the number of the remaining pixels, is then first applied to the remaining pixels in the respective column. The resulting
Transformationskoeffizienten werden anschließend einer weiteren eindimensionalen DCT in horizontaler Richtung mit entsprechender Länge unterzogen.Transformation coefficients are then subjected to a further one-dimensional DCT in the horizontal direction with a corresponding length.
Das Verfahren der TA-DCT geht von einer Transformationsmatrix DCT-N mit folgendem Aufbau aus:The TA-DCT process is based on a DCT-N transformation matrix with the following structure:
11 π11π
DCT - N(p, k) = γ * cos * ι k + - 2) * -N mit p,k = 0 → N-l.DCT - N (p, k) = γ * cos * ι k + - 2) * -N with p, k = 0 → N-l.
Mit N wird eine Größe des zu transformierenden Bildvektors bezeichnet, in dem die transformierten Bildpunkte enthalten sind.N denotes a size of the image vector to be transformed, in which the transformed pixels are contained.
Mit DCT-N wird eine Transformationsmatrix der Größe NxN bezeichnet .DCT-N denotes a transformation matrix of size NxN.
Mit p, k werden Indizes bezeichnet mit p, k e [0,N-1].With p, k, indices are designated with p, k e [0, N-1].
Nach der TA-DCT wird jede Spalte des zu transformierenden Bildblocks gemäß der VorschriftAccording to the TA-DCT, each column of the image block to be transformed is in accordance with the regulation
c-j = (2)
Figure imgf000025_0001
cj = (2)
Figure imgf000025_0001
vertikal transformiert. Danach wird die gleiche Vorschrift auf die resultierenden Daten in horizontaler Richtung angewendet .transformed vertically. The same rule is then applied to the resulting data in the horizontal direction.
Im Rahmen der Codierung einer Superstrukturkarte 602 unter Verwendung der TA-DCT wird die Superstrukturkarte 602 in die blockförmigen Strukturkarten 603 unterteilt. Eine blockförmi- ge Strukturkarte 603 und 901 wird dadurch in eine erste neueAs part of the coding of a superstructure card 602 using the TA-DCT, the superstructure card 602 is divided into the block-shaped structure cards 603. A block-shaped The structure card 603 and 901 will be converted into a first new one
902 und zweite neue blockförmige Strukturkarte 903, wie es in Figur 9 dargestellt ist, aufgeteilt, daß für die Ermittlung der ersten neuen blockförmigen Strukturkarte 602 die Bildpunkte der zweiten dreiecksformigen Strukturkarte 601b und 904 gelöscht werden. Die zweite neue blockförmige Strukturkarte 903 wird dadurch ermittelt, daß die Bildpunkte der ersten dreiecksformigen Strukturkarte 601a und 905 gelöscht werden.902 and the second new block-shaped structure map 903, as shown in FIG. 9, are divided so that the pixels of the second triangular structure map 601b and 904 are deleted for the determination of the first new block-shaped structure map 602. The second new block-shaped structure map 903 is determined by deleting the pixels of the first triangular structure map 601a and 905.
Ferner wird die zweite neue blockförmige Strukturkarte 903 durch Verschieben von Bildpunkten 906 derart verändert, daß die relative Lage der Bildpunkte 906 der zweiten blockförmigen Strukturkarte 903 bezüglich der zweiten neuen blockförmi- gen Strukturkarte 903 mit der relativen Lage der Bildpunkte 907 der ersten neuen blockförmigen Strukturkarte 902 bezüglich der ersten neuen blockförmigen Strukturkarte 902 übereinstimmt.Furthermore, the second new block-shaped structure map 903 is changed by moving pixels 906 such that the relative position of the pixels 906 of the second block-shaped structure map 903 with respect to the second new block-shaped structure map 903 with the relative position of the pixels 907 of the first new block-shaped structure map 902 with respect to the first new block-shaped structure map 902.
Somit kann die TA-DCT entsprechend auf die erste neue blockförmige 902 und auf die zweite neue blockförmige Strukturkarte 903 angewendet werden.The TA-DCT can thus be applied accordingly to the first new block-shaped 902 and to the second new block-shaped structure card 903.
Aufgrund der speziellen relativen Lage der Bildpunkte 906 und 907 bezüglich der ersten neuen blockförmigen 902 und der zweiten neuen blockförmigen Strukturkarte 903 kann die TA-DCT eingesetzt werden.Due to the special relative position of the pixels 906 and 907 with respect to the first new block-shaped 902 and the second new block-shaped structure card 903, the TA-DCT can be used.
5. Übertragung (205)5th transmission (205)
Die unter Verwendung der TA-DCT codierte Bildinformation (Bildinformation der Superstrukturkarte) wird zusammen mit Daten des Volumenmodells des Objekts sowie der Zuweisung (n$, nz, nχ,)χ (i = 1 ...N, mit N= Zahl der Dreiecke der Gitter- Struktur des Volumenmodells) an den zweiten Rechner 108 über ein Übertragungsmedium 107 übertragen.The image information coded using the TA-DCT (image information of the superstructure map) is combined with data of the volume model of the object and the assignment (n $ , nz, nχ,) χ (i = 1 ... N, with N = number of triangles the lattice Structure of the volume model) to the second computer 108 via a transmission medium 107.
6. Decodierung (206)6. Decoding (206)
Nach Übertragung der codierten Bildinformation wird eine Bilddecodierung durchgeführt.After the coded image information has been transmitted, image decoding is carried out.
Dazu werden die Spektralkoeffizienten cj einer inversen TA- DCT zugeführt.For this purpose, the spectral coefficients cj are fed to an inverse TA-DCT.
Bei der inversen TA-DCT im Rahmen der Bildcodierung im Intra- Bildcodierungsmodus werden Bildpunkte XJ aus den Spektral¬In the case of the inverse TA-DCT in the context of image coding in the intra-image coding mode, pixels XJ are made from the spectral
koeffizienten cj nach folgender Vorschrift (4) gebildet:coefficients cj formed according to the following rule (4):
2 i 3 * [DCT - N(p, k) ] ,-12 i 3 * [DCT - N (p, k)], -1
X " * Cj (4)X "* Cj (4)
wobei die Transformationsmatrix DCT-N folgendem Aufbau aufweist :whereby the transformation matrix DCT-N has the following structure:
1 ) π1) π
DCT - N(p, k) = γ * cos p * |k + - * - 1 2/ N mit p,k = 0 → N-l.DCT - N (p, k) = γ * cos p * | k + - * - 1 2 / N with p, k = 0 → Nl.
wobei mit:where with:
- N eine Größe des zu transformierenden Bildvektors bezeichnet wird, in dem die zu transformierenden Bildpunkte enthalten sind;N denotes a size of the image vector to be transformed, in which the pixels to be transformed are contained;
- [DCT-N (p, k) ] eine Transformationsmatrix der Größe NxN be- zeichnet wird;- [DCT-N (p, k)] denotes a transformation matrix of size NxN;
- p,k Indizes bezeichnet werden mit p, k e [0, N-l]; - mit ( ) _1 eine Inversion einer Matrix bezeichnet wird.- p, k indices are denoted by p, ke [0, Nl]; - () _1 denotes an inversion of a matrix.
Unter Verwendung der ermittelten Bildpunkte XJ wird das decodierte Bild bzw. die Superstrukturkarte 602 bestimmt.The decoded image or the superstructure map 602 is determined using the ascertained pixels XJ.
7. Darstellung des Objekts (207)7. Presentation of the object (207)
Unter Verwendung der Superstrukturkarte, den Daten des Volumenmodells des Objekts 152 sowie der Zuweisung (ns, n , nχ,)χ (i = 1 ...N, mit N= Zahl der Dreiecke der Gitterstruktur des Volumenmodells) wird, wie es in [6] beschrieben wird, das Modell des Objekt 152 auf dem Bildschirm 108 dargestellt. Using the superstructure map, the data of the solid model of object 152 and the assignment (ns, n, nχ,) χ (i = 1 ... N, with N = number of triangles of the lattice structure of the solid model), as described in [ 6], the model of the object 152 is shown on the screen 108.
Im Rahmen dieses Dokuments wurden folgende Dokumente zitiert:The following documents were cited in the context of this document:
[1] D. Le Gall, „The Video Compression Standard for Multimedia Applications", Communications of ACM, Vol. 34, No . 4, S. 47-58, April 1991[1] D. Le Gall, "The Video Compression Standard for Multimedia Applications", Communications of ACM, Vol. 34, No. 4, pp. 47-58, April 1991
[2] G. Wallace, „The JPEG Still Picture Compression Standard", Communications of ACM, Vol. 34, No . 4, S. 31-44, April 1991[2] G. Wallace, "The JPEG Still Picture Compression Standard," Communications of ACM, Vol. 34, No. 4, pp. 31-44, April 1991
[3] De Lameillieure, J., et al . , „MPEG-2-Bildcodierung für das digitale Fernsehen", in FERNSEH- UND KINO-TECHNIK, 48. Jahrgang, Nr. 3/1994, 1994[3] De Lameillieure, J., et al. , "MPEG-2 image coding for digital television", in TELEVISION AND CINEMA TECHNOLOGY, 48th year, No. 3/1994, 1994
[4] T. Sikora, B. Makai, „Shape Adaptive DCT for Generic Coding of Video", IEEE Transactions on Circuits and Systems for Video Technology, Vol. 5, S. 59 -62, Feb. 1995[4] T. Sikora, B. Makai, "Shape Adaptive DCT for Generic Coding of Video", IEEE Transactions on Circuits and Systems for Video Technology, Vol. 5, pp. 59-62, Feb. 1995
[5] J.D. Foley, et al . , „Computer graphics: principles and practise", 2nd ed., Adison-Wesley, ISBN 0-20112110-7, S. 741-744[5] JD Foley, et al. "Computer graphics: principles and practice", 2 nd ed, Adison-Wesley, ISBN 0-20112110-7, p 741-744.
[6] PANORAMA-technical Support, erhältlich am 12. Oktober 1998 unter: http://www.tnt.uni- hannover.de/project/eu/panorama/TS .html[6] PANORAMA technical support, available on October 12, 1998 at: http: //www.tnt.uni- hannover.de/project/eu/panorama/TS .html
[7] W. Niem, et al . , „Mapping texture fro multiple Camera Views onto 3D Objekt Models for Computer Animation", Proc. of International Workshop on Stereoscopic and Three Dimensional Imaging, 6.-8.9.1998, Santorini, Greece, 1998 [7] W. Niem, et al. , "Mapping texture fro multiple Camera Views onto 3D Object Models for Computer Animation", Proc. Of International Workshop on Stereoscopic and Three Dimensional Imaging, 6-8.9.1998, Santorini, Greece, 1998

Claims

Patentansprüche claims
1. Verfahren zur Codierung eines digitalisierten Bildes mit Bildpunkten, die eine Codierungsinformation beinhalten, a) bei dem das Bild zumindest teilweise in Bildblöcke aufgeteilt wird; b) bei dem jeweils ein zugehöriger Bildblock mindestens in einen zugehörigen ersten Unterbildblock und einen zugehörigen zweiten Unterbildblock unterteilt wird; c) bei dem die Unterbildblöcke unter Verwendung der Codie- rungsinformation mit einer formangepaßten Transformationscodierung codiert werden.1. Method for coding a digitized picture with pixels which contain coding information, a) in which the picture is at least partially divided into picture blocks; b) in which an associated image block is subdivided into at least one associated first sub-image block and an associated second sub-image block; c) in which the sub-picture blocks are encoded using the encoding information using a shape-adapted transformation encoding.
2. Verfahren nach Anspruch 1, bei dem der zugehörige Bildblock in mehrere zugehörige Unterbildblöcke unterteilt wird.2. The method of claim 1, wherein the associated picture block is divided into a plurality of associated sub-picture blocks.
3. Verfahren nach Anspruch 1 oder 2, bei dem der zugehörige erste Unterbildblock oder der zuge- hörige zweite Unterbildblock eine andere Form als der zugehörige Bildblock aufweist.3. The method of claim 1 or 2, wherein the associated first sub-picture block or the associated second sub-picture block has a different shape than the associated picture block.
4. Verfahren nach Anspruch 1 oder 2, bei dem der zugehörige erste Unterbildblock und der zugehö- rige zweite Unterbildblock eine andere Form als der zugehörige Bildblock aufweisen.4. The method of claim 1 or 2, wherein the associated first sub-picture block and the associated second sub-picture block have a different shape than the associated picture block.
5. Verfahren nach einem der Ansprüche 1 bis 4, bei dem der zugehörige erste Unterbildblock oder der zuge- hörige zweite Unterbildblock eine Dreiecksform aufweist.5. The method according to any one of claims 1 to 4, wherein the associated first sub-picture block or the associated second sub-picture block has a triangular shape.
6. Verfahren nach einem der Ansprüche 1 bis 4, bei dem der zugehörige erste Unterbildblock und der zugehörige zweite Unterbildblock eine Dreiecksform aufweisen.6. The method according to any one of claims 1 to 4, wherein the associated first sub-picture block and the associated second sub-picture block have a triangular shape.
7. Verfahren nach Anspruch 5 oder 6, bei dem die Dreicksform einen rechten Winkel aufweist. 7. The method according to claim 5 or 6, wherein the triangular shape has a right angle.
8. Verfahren nach einem der Ansprüche 1 bis 7, bei dem der zugehörige erste Unterbildblock oder der zweite zugehörige Unterbildblock derart verändert werden, daß die relative Lage des zugehörigen ersten Unterbildblocks bezüglich des zugehörigen Bildblocks und die relative Lage des zugehörigen zweiten Unterbildblocks bezuglich des zugehörigen Bildblocks identisch ist.8. The method according to any one of claims 1 to 7, in which the associated first sub-picture block or the second associated sub-picture block are changed such that the relative position of the associated first sub-picture block with respect to the associated picture block and the relative position of the associated second sub-picture block with respect to the associated picture block is identical.
9. Verfahren nach einem der Ansprüche 1 bis 8, bei dem zur Codierung eine formangepaßte Diskrete-Cosmus- Transformation (DCT) eingesetzt wird.9. The method according to any one of claims 1 to 8, in which a form-adapted discrete cosmos transformation (DCT) is used for coding.
10. Verfahren nach Anspruch 9, bei dem zur Codierung eine Shape-Adaptive Diskrete-Cosmus- Transformation (SA-DCT) eingesetzt wird.10. The method according to claim 9, in which a shape-adaptive discrete cosmos transformation (SA-DCT) is used for coding.
11. Verfahren nach Anspruch 10, bei dem zur Codierung eine Triangle-Adaptive Diskrete- Cosinus-Transformation (TA-DCT) eingesetzt wird.11. The method according to claim 10, in which a triangle adaptive discrete cosine transformation (TA-DCT) is used for coding.
12. Verfahren nach einem der Ansprüche 1 bis 11, bei dem das Bild zumindest teilweise dreiecksförmige Strukturkarten aufweist.12. The method according to any one of claims 1 to 11, wherein the image has at least partially triangular structure cards.
13. Verfahren zur Decodierung eines digitalisierten Bildes mit Bildpunkten, die eine Codierungsinformation beinhalten, a) bei dem codierte Unterbildblöcke identifiziert werden; b) bei dem die codierten Unterbildblöcke unter Verwendung der Codierungsinformation mit einer inversen formangepaßten13. A method for decoding a digitized picture with pixels which contain coding information, a) in which coded sub-picture blocks are identified; b) in which the coded sub-picture blocks using the coding information with an inverse shape-matched
Transformationscodierung decodiert werden; c) bei dem unter Verwendung von mindestens zwei der zugehörigen Unterbildblocken jeweils ein zugehöriger Bildblock gebildet wird; d) bei dem unter Verwendung der Bildblocke das Bild gebildet wird. Transform coding to be decoded; c) in which an associated image block is formed using at least two of the associated sub-image blocks; d) in which the image is formed using the image blocks.
14. Verfahren nach Anspruch 13, bei dem der zugehörige Bildblock aus mehreren zugehörigen Unterbildblöcken gebildet wird.14. The method according to claim 13, wherein the associated image block is formed from a plurality of associated sub-image blocks.
15. Verfahren nach Anspruch 13 oder 14, bei dem zur Decodierung eine inverse formangepaßte Diskre- te-Cosinus-Transformation (DCT) eingesetzt wird.15. The method according to claim 13 or 14, in which an inverse shape-adapted discreet-cosine transformation (DCT) is used for decoding.
16. Verfahren nach Anspruch 15, bei dem zur Decodierung eine inverse Shape-Adaptive Diskre- te-Cosinus-Transformation (SA-DCT) eingesetzt wird.16. The method according to claim 15, in which an inverse shape-adaptive discreet-cosine transformation (SA-DCT) is used for the decoding.
17. Verfahren nach Anspruch 16, bei dem zur Decodierung eine inverse Triangle-Adaptive Dis- krete-Cosinus-Transformation (TA-DCT) eingesetzt wird.17. The method according to claim 16, in which an inverse triangle-adaptive discrete-cosine transformation (TA-DCT) is used for the decoding.
18. Anordnung zur Codierung eines digitalisierten Bildes mit Bildpunkten, die eine Codierungsinformation beinhalten, bei der ein Prozessor vorgesehen ist, der derart eingerichtet ist, daß folgende Verfahrensschritte durchführbar sind: a) das Bild wird zumindest teilweise in Bildblöcke aufgeteilt; b) jeweils ein zugehöriger Bildblock wird mindestens in einen zugehörigen ersten Unterbildblock und einen zugehörigen zweiten Unterbildblock unterteilt; c) die Unterbildblöcke werden unter Verwendung der Codierungsinformation mit einer formangepaßten Transformationscodierung codiert.18. Arrangement for coding a digitized image with pixels that contain coding information, in which a processor is provided which is set up in such a way that the following method steps can be carried out: a) the image is at least partially divided into image blocks; b) an associated image block is subdivided into at least one associated first sub-image block and an associated second sub-image block; c) the sub-picture blocks are encoded using the encoding information with a shape-adapted transform encoding.
19. Anordnung nach Anspruch 18, bei der der zugehörige Bildblock in mehrere zugehörige Unterbildblöcke unterteilbar ist.19. The arrangement as claimed in claim 18, in which the associated image block can be subdivided into a plurality of associated sub-image blocks.
20. Anordnung zur Decodierung eines digitalisierten Bildes mit Bildpunkten, die eine Codierungsinformation beinhalten, bei der ein Prozessor vorgesehen ist, der derart eingerichtet ist, daß folgende Verfahrensschritte durchführbar sind: a) es werden codierte Unterbildblöcke identifiziert; b) die codierten Unterbildblöcke werden unter Verwendung der Codierungsinformation mit einer inversen formangepaßten20. Arrangement for decoding a digitized image with pixels that contain coding information, in which a processor is provided which is set up in such a way that the following method steps can be carried out: a) coded sub-picture blocks are identified; b) the coded sub-picture blocks are converted using the coding information with an inverse shape
TransformationsCodierung decodiert; c) unter Verwendung von mindestens zwei der zugehörigen Unterbildblöcken wird jeweils ein zugehöriger Bildblock gebildet; d) unter Verwendung der Bildblöcke wird das Bild gebildet.Transformation coding decoded; c) using at least two of the associated sub-picture blocks, an associated picture block is formed in each case; d) the image is formed using the image blocks.
21. Anordnung nach Anspruch 20, bei der der zugehörige Bildblock aus mehreren zugehörigen Unterbildblöcken bildbar ist.21. The arrangement as claimed in claim 20, in which the associated image block can be formed from a plurality of associated sub-image blocks.
22. Verfahren zur Übertragung eines digitalisierten Bildes mit Bildpunkten, die eine Codierungsinformation beinhalten, a) bei dem das Bild auf folgende Weise codiert wird:22. Method for transmitting a digitized image with pixels which contain coding information, a) in which the image is coded in the following way:
- das Bild wird zumindest teilweise in Bildblöcke aufge- teilt;- The picture is at least partially divided into picture blocks;
- jeweils ein zugehöriger Bildblock wird mindestens in einen zugehörigen ersten Unterbildblock und einen zugehörigen zweiten Unterbildblock unterteilt;an associated image block is subdivided into at least one associated first sub-image block and an associated second sub-image block;
- die Unterbildblöcke werden unter Verwendung der Codie- rungsinformation mit einer formangepaßten Transformationscodierung codiert; b) bei dem das codierte Bild übertragen wird; c) bei dem das codierte Bild unter Verwendung eines zu der Codierung inversen Verfahrens decodiert wird. - The sub-picture blocks are encoded using the coding information with a shape-adapted transformation coding; b) in which the coded image is transmitted; c) in which the encoded image is decoded using a method inverse to the encoding.
23. Verfahren nach Anspruch 22, bei dem der zugehörige Bildblock in mehrere zugehörige Unterbildblöcke unterteilt wird. 23. The method according to claim 22, in which the associated image block is divided into a plurality of associated sub-image blocks.
PCT/DE1999/003177 1998-10-23 1999-10-01 Method and array for coding, decoding, and transmitting a digitized image WO2000025232A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE19848988 1998-10-23
DE19848988.9 1998-10-23

Publications (1)

Publication Number Publication Date
WO2000025232A1 true WO2000025232A1 (en) 2000-05-04

Family

ID=7885460

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE1999/003177 WO2000025232A1 (en) 1998-10-23 1999-10-01 Method and array for coding, decoding, and transmitting a digitized image

Country Status (1)

Country Link
WO (1) WO2000025232A1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997003525A1 (en) * 1995-07-10 1997-01-30 Hyundai Electronics Industries Co., Ltd. Grid moving method of object image and apparatus using the same and compaction/motion estimation method using the same and apparatus thereof
WO1997016030A1 (en) * 1995-10-25 1997-05-01 Philips Electronics N.V. Segmented picture coding method and system, and corresponding decoding method and system
WO1997042766A1 (en) * 1996-05-06 1997-11-13 Philips Electronics N.V. Segmented video coding and decoding method and system
EP0810792A2 (en) * 1996-05-29 1997-12-03 Samsung Electronics Co., Ltd. Encoding and decoding system of motion image containing objects of arbitrary shapes

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997003525A1 (en) * 1995-07-10 1997-01-30 Hyundai Electronics Industries Co., Ltd. Grid moving method of object image and apparatus using the same and compaction/motion estimation method using the same and apparatus thereof
WO1997016030A1 (en) * 1995-10-25 1997-05-01 Philips Electronics N.V. Segmented picture coding method and system, and corresponding decoding method and system
WO1997042766A1 (en) * 1996-05-06 1997-11-13 Philips Electronics N.V. Segmented video coding and decoding method and system
EP0810792A2 (en) * 1996-05-29 1997-12-03 Samsung Electronics Co., Ltd. Encoding and decoding system of motion image containing objects of arbitrary shapes

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
OHBUCHI R ET AL: "Data embedding algorithms for geometrical and non-geometrical targets in three-dimensional polygonal models", COMPUTER COMMUNICATIONS,NL,ELSEVIER SCIENCE PUBLISHERS BV, AMSTERDAM, vol. 21, no. 15, 1 October 1998 (1998-10-01), pages 1344 - 1354, XP004145248, ISSN: 0140-3664 *
SIKORA T: "Low complexity shape-adaptive DCT for coding of arbitrarily shaped image segments", SIGNAL PROCESSING. IMAGE COMMUNICATION,NL,ELSEVIER SCIENCE PUBLISHERS, AMSTERDAM, vol. 7, no. 4, 1 November 1995 (1995-11-01), pages 381 - 395, XP004047090, ISSN: 0923-5965 *

Similar Documents

Publication Publication Date Title
DE69831961T2 (en) IMAGE OBJECT PROCESSING FOR OBJECT-BASED CODING SYSTEMS USING MASKS AND ROUNDED MEDIUM VALUES
DE69634962T2 (en) Extrapolation of pixel values of a video object contained in a block
DE69723550T2 (en) CODING AND DECODING OF GRAPHIC SYMBOLS
DE69730713T2 (en) IMAGE CODE AND DECODER
DE69728649T2 (en) METHOD FOR SUPPLEMENTING A DIGITAL IMAGE WITH PICTURE ELEMENTS
DE102013015821B4 (en) System and method for improving video coding using content information
EP0956539B1 (en) Method and device for coding and decoding a digitized image
DE69915843T2 (en) PART BAND CODING / decoding
DE112018002432T5 (en) Method and device for reducing artifacts in a projection-based frame
EP0956703B1 (en) Method and device for coding and decoding a digitized image
EP0985317B1 (en) Method for coding and decoding a digitalized image
DE60001563T2 (en) METHOD FOR CODING / DECODING IMAGES
EP1279291B1 (en) Method and device for storing and processing image information of temporally successive images
EP1110407B1 (en) Method and array for coding and decoding a digitized image using an overall motion vector
EP0336510B1 (en) Predictive still-image encoder
WO2000025232A1 (en) Method and array for coding, decoding, and transmitting a digitized image
EP1121810A1 (en) Method and device for processingigitized image
EP0981910B1 (en) Method and device for coding a digitized image
WO2001033827A2 (en) Method and device for transforming an image block consisting of block pixels
EP0786186B1 (en) Segment-adaptive two-dimensional orthogonal transform coding for a digital television system
EP1121809B1 (en) Method and device for coding a digitized image and method for decoding a digitized image
DE112019000210T5 (en) Cube-based projection method that uses different mapping functions on different square projection surfaces, different axes and / or different positions of an axis
EP0981909B1 (en) Method and device for coding and decoding a digitized image
WO2001062009A1 (en) Method and device for coding or coding and decoding a sequence of numbers
DE69005157T2 (en) Data encoding.

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE

121 Ep: the epo has been informed by wipo that ep was designated in this application
DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
122 Ep: pct application non-entry in european phase