WO1999012355A1 - Method for compressing image information - Google Patents

Method for compressing image information Download PDF

Info

Publication number
WO1999012355A1
WO1999012355A1 PCT/DE1998/002169 DE9802169W WO9912355A1 WO 1999012355 A1 WO1999012355 A1 WO 1999012355A1 DE 9802169 W DE9802169 W DE 9802169W WO 9912355 A1 WO9912355 A1 WO 9912355A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
image information
current
motion vector
current image
Prior art date
Application number
PCT/DE1998/002169
Other languages
German (de)
French (fr)
Inventor
Gerhard Bock
Stefan Meister
Original Assignee
Siemens Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Aktiengesellschaft filed Critical Siemens Aktiengesellschaft
Publication of WO1999012355A1 publication Critical patent/WO1999012355A1/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation

Definitions

  • the present invention relates to a method for compressing image information according to the preamble of claim 1.
  • the present invention relates to a method for compressing image information according to the preamble of claim 1, as is used in image recording systems, in particular in mobile video telephones.
  • image or video data or information is compressed and encoded before it is transmitted to a receiver in order to reduce the amount of data to be transmitted and to increase the transmission security.
  • the compression and encoding rate can be set independently of the amount of data to be processed.
  • compression and coding systems are also known in which the compression and coding rate depends on the complexity of the image to be processed and the movement within the image, i.e. the movement of the source data varies in order to ensure a sufficient quality of the overall picture received.
  • a higher compression and coding rate can be selected for processing a complex picture, while the compression and coding of a simple picture is carried out with a lower compression and coding rate, so that a constant quality for the transmitted overall picture is ensured.
  • picture signals have the property of being predictable within certain limits. This means that prediction of the next picture is possible on the basis of previous pictures. In order to predict the next image or the image information corresponding to the next image, a so-called. Motion estimation performed, due to a the next image is predicted in a motion detected motion.
  • FIG. 3 shows a simplified block diagram to explain the mode of operation of the MPEG2 algorithm.
  • Certain image information or image data i is present on the input side and has been recorded or generated, for example, by a camera, a CCD image sensor or another image recording device.
  • This image information i is fed to an image information memory 1, which stores the image information i in frames, ie in a sequence of frames.
  • the data of the image information memory 1 are fed to a DCT transformation device 3, which subjects the picture information to a discrete cosine transformation, the output signals of the DCT transformation device 3 being fed to a quantization device 4, which assigns the signals present at their input to specific quantization stages or quantization intervals and applies them this reduces the bit stream to be processed and transmitted and realizes the actual compression.
  • the output signals of the quantization device 4 are fed to a coding device 5 which the signals are encoded according to a predetermined coding scheme and output for transmission to a receiver.
  • the output signals of the quantization device 4 are also fed to an inverse quantization device 6 and an inverse DCT transformation device 7, so that the data or signals present at the input of the DCT transformation device 3 appear again at the output of the inverse DCT transformation device 7 .
  • the original image data or image information is thus stored in a (full) image memory 8.
  • a motion estimation or movement detection device 9 is provided which, on the basis of the image information stored in the image memory 8 and the image information present at the input of the compression and coding system i, a movement between the previous image stored in the image memory 8 and that at the output of the Image information memory 1 occurring or current image detected.
  • the motion estimation device 9 When a movement is detected between the stored previous image and the current image occurring on the input side, the motion estimation device 9 generates an image vector v which represents the movement between the stored previous image and the current image applied on the input side.
  • the motion estimation device 9 transmits the motion vector information v to a motion compensation device 10 which, depending on the motion vector v thus transmitted and the likewise transmitted image information of the previous image, which is stored in the image memory 8, is a prediction for the next, that is to say the currently applied, image carries out.
  • the motion compensation device 10 determines image information i 'which represents an estimate or prediction for the image currently present on the input side, this predicted image information being fed to an adder 2 which supplies the predicted image information i of the motion compensation device 10 compares with the actual image information i of the current image and generates a corresponding difference signal ⁇ i.
  • This difference signal ⁇ i, ie the difference between the predicted image information i 'and the actual image information i is known as the so-called.
  • Prediction error denotes, with only the prediction error ⁇ i being transformed, quantized and coded using devices 3, 4 and 5.
  • the instantaneous image can already be inferred based on the received prediction error ⁇ i based on the already received image information of the previous image.
  • This method of motion estimation has the advantage that the signals can be transmitted at a higher bit rate, since the bandwidth of the difference signal ⁇ i is less than the bandwidth of a normal quantized signal
  • This MPEG2 algorithm described above is generally used for compressing and encoding image information or image data.
  • this algorithm can also be used in mobile image acquisition systems, such as video cameras or mobile image telephones.
  • the H.261 or H.263 algorithm is preferably used in this area.
  • Mobile image recording systems of this type are normally used without a tripod, so that the problem arises that the recorded moving images can easily be blurred.
  • the wobbling during the image acquisition has a negative effect on the image quality, since the image compression algorithms used here evaluate the motion information (ie the motion vector information v for the MPEG2 algorithm) for the image data compression.
  • the invention is therefore based on the object of proposing an improved method for compressing image information, with the aid of which impairment of the image quality due to blurring during image recording can be avoided in the simplest possible way.
  • this method for compressing image information should also be able to be implemented in a simple manner and as cheaply as possible in mobile video telephones.
  • the inventive method works on the principle of the so-called. Motion estimation.
  • Motion estimation it is proposed to monitor or analyze the motion vectors determined in the motion estimation and depending on the intrinsic Shafts of the motion vectors to conclude that there is an unwanted wobble during the image acquisition.
  • a distinction is made between intentional panning or unwanted blurring of the image. If an unwanted blurring of the image was detected, intervention is made in order to be able to correct the difference image information generated as a result of the motion estimation directly or preferably indirectly.
  • the motion vectors generated during the motion estimation are corrected themselves, i.e. changed their size or direction.
  • the correction on the input side is carried out directly on the basis of the stored image information, the image information memory on the input side being accessed and thus, after detection of an undesired blurring of the image, the corresponding image information is artificially manipulated in order to compensate for the determined movement as a result of the blurring - retire.
  • the method according to the invention can basically be applied to algorithms with motion estimation, such as the MPEG1, MPEG2, MPEG4, H.261 or H.263 algorithm.
  • the correction of an undesired image movement as a result of a wobble during image recording is compensated and corrected simply by intervening in the corresponding algorithm for compressing and encoding image information.
  • the method according to the invention can be implemented particularly easily, for example as a software extension, in mobile video telephones without extensive circuit-related changes or expansions being necessary.
  • the method according to the invention can also be used in any mobile image recording system, such as in camcorders or video cameras. Regardless of this, use in stationary imaging systems is also possible in principle.
  • the invention is explained in more detail below with reference to the drawing using preferred exemplary embodiments.
  • Fig. 1 shows a simplified block diagram for
  • FIG. 2 shows a simplified block diagram to explain a second exemplary embodiment of the method according to the invention.
  • FIG. 3 shows a simplified block diagram to explain a known method for compressing and encoding image information
  • the invention is described below with reference to FIGS. 1 and 2 using two preferred exemplary embodiments, the method according to the invention being based on the so-called.
  • MPEG2 algorithm for compressing and encoding image information is used.
  • the method according to the invention can be applied to any algorithm with motion estimation.
  • FIG. 1 shows a simplified block diagram of an arrangement for carrying out the method according to the invention in accordance with a first preferred exemplary embodiment.
  • the basic structure of the block diagram shown in FIG. 1 essentially corresponds to the block diagram shown in FIG. 3.
  • the sequential image information of a corresponding image recording device such as any image sensor or a video camera etc., is stored in an image information memory 1, the image information in each case Frames or full images are combined.
  • image information i is read out for each frame.
  • image information to be transmitted is subjected to a discrete cosine transformation (DCT) by a DCT transformation device 3.
  • the discrete cosine transformation is an orthogonal transformation and maps the discrete temporal samples of the image information into discrete values of the frequency domain.
  • the output signal of the DCT transformation device 3 is fed to a quantization device 4.
  • the quantization device 4 quantizes the transformation result of the DCT transformation device 3 with a specific quantization value or a specific quantization rate, the entire value range of the transformation result being divided into a specific number of quantization intervals and the value of the transformation result in each case is assigned to a specific quantization interval. In this way, the quantization device 4 reduces the amount of bits to be processed and transmitted and thus carries out the desired compression with a corresponding quantization value.
  • the sampling values of the transformation result can be assigned to the individual quantization intervals according to a linear or non-linear characteristic. With the aid of a non-linear quantization, certain samples of the image information signal can be quantized more precisely than with a linear quantization, which is particularly advantageous if these values occur more frequently or errors of these values are more conspicuous or of greater importance.
  • the output signal of the quantization device 4 is fed to a coding device 5, which finally the quantized transformation result of a specific coding and trains and outputs the quantized and coded image information signal for transmission.
  • the coding device 5 can, for example, carry out run-length limited (RLL) coding.
  • the output signal of the quantization device 4 is also fed to an inverse quantization device 6 and an inverse DCT transformation device 7, the inverse quantization device 6 quantizing the quantization device 4 and the inverse DCT transformation device 7 the DCT transformation of the DCT transformation device 3, so that the original input data of the DCT transformation device 3 appear again at the output of the inverse DCT transformation device 7.
  • the image information supplied by the DCT transformation device 7 is stored in an image memory 8, the image memory 8 in particular storing the image information frame by frame or frame by frame.
  • an interpolation device 11 is also provided, which preferably reads the image information stored in the image memory 8 frame by frame and image-wise and, by interpolation between two adjacent pixels (pixels), obtains additional image information which is that between the two pixels correspond to the lying pixel. In this way, the interpolation device 11 can double the image resolution.
  • the interpolation device 11 stores the image information obtained as a result of the interpolation with the increased resolution.
  • a motion estimation device 9 receives the image that occurs at the output of the image information memory 1 Information i of a current or current image and, via the interpolation device 11, the image information of the previous image stored in the image memory 8. By comparing these two pieces of image information, the motion estimation device 9 can recognize a movement in the current image compared to the previous image and, based on the image information of the previous image stored in the image memory 8, determines a motion vector v which represents the displacement of the current image relative to the previous image.
  • the motion vector information v is fed to an analysis device 12 which analyzes and monitors the motion vector (s) and determines whether a shift, i.e. Movement of the currently adjacent image is given compared to the previous image. If there is a shift, corresponding information is passed on to an evaluation device 13.
  • a shift i.e. Movement of the currently adjacent image is given compared to the previous image. If there is a shift, corresponding information is passed on to an evaluation device 13.
  • the evaluation device 13 determines whether the displacement is the result of an intentional panning or an unwanted wobble during the image recording. This decision is made in particular by the direction and / or the size, i.e. the amount of the motion vector v. If, for example, the amount or the direction of rotation of the motion vector exceeds a predetermined threshold value, it is concluded that the shift must have been the result of an unwanted wobble during the image acquisition, since, as a rule, an unwanted wobble compared to an intentional panning result in larger movements and displacements in the captured images, ie major changes in the image information occur.
  • a damping device 14 which, after detecting an unwanted wobble during the image recording with the aid of the movement device 13, mathematically dampens the movement vector v originally generated by the movement estimation device 9 or compensates for the direction of displacement that occurs as a result of the unwanted wobble.
  • the damping device 14 corrects the motion vector v in particular depending on the size of the amount or the direction of rotation of the motion vector v.
  • the damping device 14 thus supplies a corrected movement vector V which, in the best case, corresponds to a movement of the instantaneous image present on the input side in relation to the previous image stored in the image memory 8 without taking into account the shift occurring due to the unwanted wobbling.
  • This corrected motion vector v ' is fed to the motion compensation device 10 which, as has already been explained with reference to FIG. 3, uses the motion vector V and the image information of the previous image stored in the image memory 8 to supply it with a prediction for the image information of the instantly attached image.
  • the motion compensation device 10 thus executes a motion compensation prediction and outputs image information i ′ which correspond to the image predicted by the motion compensation device 10.
  • the image predicted by the motion compensation device 10 should correspond to the image currently present on the input side, ie the image information i 'should correspond to the image information i of the current image.
  • the prediction of the motion compensation device 10 is compared in an adder with the actually applied image, i.e. the adder 2 forms the difference between the image information i that actually corresponds to the current image and the image information i ′ of the current image predicted by the motion compensation device 10.
  • the difference signal ⁇ i supplied by the adder 2 represents the so-called. Prediction error, which is now DCT-transformed, quantized and encoded via devices 3 - 5.
  • a receiver which can determine and display the image information of the current image as a result of the received prediction error and the image data or image information of a previous image.
  • the transformed and quantized prediction error ⁇ i is in turn subjected to an inverse quantization and an inverse DCT transformation via the devices 6 and 7, so that the image information 8 of the motion compensation device 10 always depends on the predicted image information i 'of the motion compensation device 10 Image can be saved.
  • compression and encoding is preferably carried out with a variable compression or encoding rate.
  • the system's compression and coding rate is set as a function of the amount of data (bit rate) output by the coding device 5 for each frame.
  • the block diagram shown in FIG. 1 can therefore be supplemented by a control unit which receives, for example, the data quantity (bit rate) output for each frame from the coding device 5 and, depending on this, the quantization devices 4 and 6 for setting the quantization value, ie for Change the number of quantization intervals, and for example controls the motion compensation device 10 to set certain filter coefficients in order to adapt these parameters adaptively to the amount of data to be transmitted.
  • the quality of the images to be transmitted which is as constant as possible can be achieved regardless of whether large changes in movement occur in the respective image or not.
  • FIG. 2 shows a simplified block diagram to explain a second exemplary embodiment of the method according to the invention, an address manipulation device 15 being provided in addition to the devices 12 to 14.
  • the mode of operation of the second exemplary embodiment illustrated in FIG. 2 basically corresponds to the first exemplary embodiment shown in FIG. 1.
  • an analysis device 12 is again provided, which analyzes and monitors the motion vectors supplied by the motion estimation device 9 and determines whether there is a shift in the full image.
  • the evaluation device 13 determines whether the ascertained displacement is the result of an intentional panning or an unwanted wobble during the image recording.
  • intentional swiveling and unwanted wobbling can be made in particular, as has been explained with reference to FIG. 1, on the basis of the magnitude of the amount or the direction of rotation of the motion vector v.
  • the embodiment shown in FIG. 2 proposes directly to the image information or image data i present on the input side. It is assumed that an overall image stored in the image information memory 1 is divided into several sections. Corresponding sections of the image information corresponding to the overall image are assigned to each of these sections, the sections of the image information or image data corresponding to a section being stored and stored in the image information memory 1 under a respectively assigned address.
  • the address manipulation device 15 After the evaluation device 13 has determined a shift in an image as a result of an unwanted wobble during the image recording by evaluating the movement vectors v, the address manipulation device 15 is activated, which has knowledge of the addresses assigned to the individual image information sections in the image information memory 1. Depending on the amount and the direction of the unwanted shift reported by the evaluation device 13, the address manipulation device 15 can thus change the arrangement of the image sections or image blocks corresponding to the individual sections in the overall image and thus rearrange the individual image sections in such a way by changing the addresses assigned to the individual data sections move that the determined shift is reversed and compensated for as a result of an unwanted wobble. In this case, the corrected image information or image data of the respective overall image can then be read out at the output of the image information memory 1 and used as a basis for the further image processing. In the exemplary embodiment shown in FIG. 2, the input image is corrected retrospectively.
  • the second exemplary embodiment of the present invention is in addition to the first exemplary embodiment of the invention explained with reference to FIG. 1, ie in addition to changing the movement vectors v.
  • the method explained with reference to FIG. 2 can also be used as an alternative to the method explained with reference to FIG. 1, in which case the damping device 14 shown in FIGS. 1 and 2 is omitted and the motion compensation device 10 always the motion vector v originally generated by the motion estimation device 9 would be supplied.

Abstract

The invention relates to a method for compressing and coding image information, using a movement estimation. Movement vectors (v) are generated as a result of said movement estimation. The presence of an undesirable variation in an image caused by unwanted wobbling during the image recording process is determined on the basis of the size and/or direction of the movement vectors (v) and the image information data are then corrected accordingly. The correction, which compensates the unwanted displacement, can be carried out on the movement vector (v) itself, so as to produce a corrected movement vector (v'). Alternatively, the stored image information of a current image can be directly accessed and the individual extracts from the image reorganised by means of address manipulation.

Description

Beschreibungdescription
Verfahren zum Komprimieren von BildinformationenMethod for compressing image information
Die vorliegende Erfindung betrifft ein Verfahren zum Komprimieren von Bildinformationen nach dem Oberbegriff des Anspruches 1. Insbesondere betrifft die vorliegende Erfindung ein Verfahren zum Komprimieren von Bildinformationen nach dem Oberbegriff des Anspruches 1, wie es in Bildaufnahmesystemen, insbesondere in mobilen Bildtelefonen, eingesetzt wird.The present invention relates to a method for compressing image information according to the preamble of claim 1. In particular, the present invention relates to a method for compressing image information according to the preamble of claim 1, as is used in image recording systems, in particular in mobile video telephones.
Bekanntermaßen werden Bild- bzw. Videodaten oder -Informationen vor ihrer Übertragung an einen Empfänger komprimiert und kodiert , um die zu übertragende Datenmenge zu verringern und die Übertragungssicherheit zu erhöhen. Dabei kann unabhängig von der zu verarbeitenden Datenmenge die Komprimier- und Kodierrate festgelegt sein. Alternativ sind jedoch auch Komprimier- und Kodiersysteme bekannt, bei denen die Komprimier- und Kodierrate abhängig von der Komplexität des zu verarbeitenden Bildes sowie der Bewegung innerhalb des Bildes, d.h. der Bewegung der Quelldaten, variiert, um auf diese Weise eine ausreichende Qualität des empfangenen Gesamtbildes sicherzustellen. So kann bei Anwendung einer variablen Komprimier- und Kodierrate eine höhere Komprimier- und Kodierrate zur Verarbeitung eines komplexen Bildes gewählt werden, während die Komprimierung und Kodierung eines einfachen Bildes mit einer geringeren Komprimier- und Kodierrate erfolgt, so daß eine gleichbleibende Qualität für das übertragene Gesamtbild sichergestellt wird.As is known, image or video data or information is compressed and encoded before it is transmitted to a receiver in order to reduce the amount of data to be transmitted and to increase the transmission security. The compression and encoding rate can be set independently of the amount of data to be processed. Alternatively, however, compression and coding systems are also known in which the compression and coding rate depends on the complexity of the image to be processed and the movement within the image, i.e. the movement of the source data varies in order to ensure a sufficient quality of the overall picture received. Thus, when using a variable compression and coding rate, a higher compression and coding rate can be selected for processing a complex picture, while the compression and coding of a simple picture is carried out with a lower compression and coding rate, so that a constant quality for the transmitted overall picture is ensured.
Allgemein haben Bildsignale die Eigenschaft, daß sie innerhalb bestimmter Grenzen vorhersagbar sind. Dies bedeutet, daß aufgrund vorhergehender Bilder eine Prädiktion des nächsten Bildes möglich ist. Zur Prädiktion des nächsten Bildes bzw. der dem nächsten Bild entsprechenden Bildinformationen wird eine sogen. BewegungsSchätzung durchgeführt, wobei aufgrund einer in einem vorliegenden Bild festgestellten Bewegung das nächste Bild vorhergesagt wird.In general, picture signals have the property of being predictable within certain limits. This means that prediction of the next picture is possible on the basis of previous pictures. In order to predict the next image or the image information corresponding to the next image, a so-called. Motion estimation performed, due to a the next image is predicted in a motion detected motion.
Zur Komprimierung und Kodierung von Bildinformationen wurden verschiedene Algorithmen vorgeschlagen, bei denen die zuvor erwähnte BewegungsSchätzung Anwendung findet. So wurde beispielsweise von der „Moving Picture Coding Experts Group" der sogen. MPEG-Algorithmus zum Komprimieren von Bewegtbildern entwickelt, bei dem zudem eine variable Komprimierrate (und Kodierrate) angewendet werden kann, um die Eigenschaften des KomprimierSystems (und Kodiersystems) an die zu übertragende Datenmenge anzupassen. Der MPEG-Algorithmus ist heute in Form der sogen. MPEG1- und MPEG2-Algorithmen bekannt. Weitere bekannte Komprimier- und Kodieralgorithmen mit Bewegungsschät- zung sind beispielsweise die H.261- und H.263-Algorithmen.Various algorithms have been proposed for the compression and coding of image information, in which the aforementioned motion estimation is used. For example, the "Moving Picture Coding Experts Group" developed the so-called MPEG algorithm for compressing moving images, in which a variable compression rate (and coding rate) can also be used to match the properties of the compression system (and coding system) The MPEG algorithm is known today in the form of the so-called MPEG1 and MPEG2 algorithms, and other known compression and coding algorithms with motion estimation are, for example, the H.261 and H.263 algorithms.
Fig. 3 zeigt ein vereinfachtes Blockschaltbild zur Erläuterung der Funktionsweise des MPEG2-Algorithmus .3 shows a simplified block diagram to explain the mode of operation of the MPEG2 algorithm.
Eingangsseitig liegen bestimmte Bildinformationen oder Bilddaten i vor, die beispielsweise von einer Kamera, einem CCD- Bildsensor oder einer sonstigen Bildaufnahmevorrichtung aufgenommen bzw. erzeugt worden sind. Diese Bildinformationen i werden einem Bildinformationsspeicher 1 zugeführt, der die Bildinformationen i in Rahmen (Frames) , d.h. in einer Folge von Vollbildern abspeichert. Die Daten des Bildinformationsspeichers 1 werden einer DCT-Transformationseinrichtung 3 zugeführt, die die Bildinformationen einer diskreten Cosinustransformation unterzieht, wobei die Ausgangssignale der DCT- Transformationseinrichtung 3 einer Quantisierungseinrichtung 4 zugeführt werden, die die an ihrem Eingang anliegenden Signale bestimmten Quantisierungsstufen bzw. Quantisierungsintervallen zuordnet und auf diese Weise den zu verarbeitenden und zu übertragenden Bitstrom reduziert und die eigentliche Kompri- mierung realisiert. Die AusgangsSignale der Quantisierungseinrichtung 4 werden einer Kodierungseinrichtung 5 zugeführt, die die Signale gemäß einem vorgegebenen Kodierschema kodiert und zur Übertragung an einen Empfänger ausgib .Certain image information or image data i is present on the input side and has been recorded or generated, for example, by a camera, a CCD image sensor or another image recording device. This image information i is fed to an image information memory 1, which stores the image information i in frames, ie in a sequence of frames. The data of the image information memory 1 are fed to a DCT transformation device 3, which subjects the picture information to a discrete cosine transformation, the output signals of the DCT transformation device 3 being fed to a quantization device 4, which assigns the signals present at their input to specific quantization stages or quantization intervals and applies them this reduces the bit stream to be processed and transmitted and realizes the actual compression. The output signals of the quantization device 4 are fed to a coding device 5 which the signals are encoded according to a predetermined coding scheme and output for transmission to a receiver.
Zur Durchführung der sogen. BewegungsSchätzung werden die Aus- gangssignale der Quantisierungseinrichtung 4 zudem einer in- versen Quantisierungseinrichtung 6 sowie einer inversen DCT- Transformationseinrichtung 7 zugeführt, so daß am Ausgang der inversen DCT-Transformationseinrichtung 7 wieder die am Eingang der DCT-Transformationseinrichtung 3 anliegenden Daten bzw. Signale auftreten. In einem (Voll-) Bildspeicher 8 werden somit die ursprünglichen Bilddaten bzw. Bildinformationen abgelegt. Des weiteren ist eine Bewegungsschätzungs- oder Bewe- gungserfassungseinrichtung 9 vorgesehen, die aufgrund der in dem Bildspeicher 8 abgelegten Bildinformationen sowie der am Eingang des Komprimier- und Kodiersystems anliegenden Bildinformationen i eine Bewegung zwischen dem in dem Bildspeicher 8 gespeicherten vorhergehenden Bild und dem am Ausgang des Bildinformationsspeichers 1 auftretenden aktuellen oder augenblicklichen Bild erfaßt. Bei Feststellen einer Bewegung zwi- sehen dem gespeicherten vorhergehenden Bild und dem eingangsseitig auftretenden aktuellen Bild erzeugt die BewegungsSchätzungseinrichtung 9 einen Bildvektor v, der die Bewegung zwischen dem gespeicherten vorhergehenden Bild und dem eingangsseitig anliegenden aktuellen Bild repräsentiert. Die Bewe- gungsschätzungseinrichtung 9 überträgt die Bewegungsvektorinformation v an eine Bewegungskompensationseinrichtung 10, die abhängig von dem somit übertragenen Bewegungsvektor v sowie den ebenfalls übertragenen Bildinformationen des vorhergehenden Bildes, welches in dem Bildspeicher 8 gespeichert ist, eine Prädiktion für das nächste, d.h. das augenblicklich anliegende Bild durchführt. Die Bewegungskompensationseinrich- tung 10 ermittelt somit Bildinformationen i' , die eine Abschätzung oder Prädiktion für das augenblicklich eingangsseitig anliegende Bild darstellen, wobei diese vorhergesagten Bildinformationen einem Addierer 2 zugeführt werden, der die vorhergesagten Bildinformationen i der Bewegungskompensations- einrichtung 10 mit den tatsächlichen Bildinformationen i des augenblicklichen Bildes vergleicht und ein entsprechendes Differenzsignal Δi erzeugt. Dieses Differenzsignal Δi, d.h. der Unterschied zwischen den vorhergesagten Bildinformationen i' und den tatsächlichen Bildinformationen i, wird als sogen.To carry out the so-called. Motion estimation, the output signals of the quantization device 4 are also fed to an inverse quantization device 6 and an inverse DCT transformation device 7, so that the data or signals present at the input of the DCT transformation device 3 appear again at the output of the inverse DCT transformation device 7 . The original image data or image information is thus stored in a (full) image memory 8. Furthermore, a motion estimation or movement detection device 9 is provided which, on the basis of the image information stored in the image memory 8 and the image information present at the input of the compression and coding system i, a movement between the previous image stored in the image memory 8 and that at the output of the Image information memory 1 occurring or current image detected. When a movement is detected between the stored previous image and the current image occurring on the input side, the motion estimation device 9 generates an image vector v which represents the movement between the stored previous image and the current image applied on the input side. The motion estimation device 9 transmits the motion vector information v to a motion compensation device 10 which, depending on the motion vector v thus transmitted and the likewise transmitted image information of the previous image, which is stored in the image memory 8, is a prediction for the next, that is to say the currently applied, image carries out. The motion compensation device 10 thus determines image information i 'which represents an estimate or prediction for the image currently present on the input side, this predicted image information being fed to an adder 2 which supplies the predicted image information i of the motion compensation device 10 compares with the actual image information i of the current image and generates a corresponding difference signal Δi. This difference signal Δi, ie the difference between the predicted image information i 'and the actual image information i, is known as the so-called.
„Prädiktionsfehler" bezeichnet, wobei nurmehr der Prädiktions- fehler Δi mit den Einrichtungen 3, 4 und 5 transformiert, quantisiert und kodiert wird. Empfangsseitig kann bereits aufgrund des empfangenen Prädiktionsfehlers Δi anhand der bereits empfangenen Bildinformationen des vorhergehenden Bildes auf das augenblickliche Bild rückgeschlossen werden. Dieses Verfahren der BewegungsSchätzung hat den Vorteil, daß die Signale mit einer höheren Bitrate übertragen werden können, da die Bandbreite des Differenzsignals Δi geringer ist als die Band- breite eines normalen quantisierten Signals. Aufgrund der“Prediction error” denotes, with only the prediction error Δi being transformed, quantized and coded using devices 3, 4 and 5. On the receiving side, the instantaneous image can already be inferred based on the received prediction error Δi based on the already received image information of the previous image. This method of motion estimation has the advantage that the signals can be transmitted at a higher bit rate, since the bandwidth of the difference signal Δi is less than the bandwidth of a normal quantized signal
Rückkopplungsschleife mit der Bewegungsschätzungseinrichtung 9 und der Bewegungskompensationseinrichtung 10 können sich Quantisierungsfehler der Quantisierungseinrichtung 4 nicht akkumulieren.Feedback loops with the motion estimation device 9 and the motion compensation device 10 cannot accumulate quantization errors of the quantization device 4.
Dieser zuvor beschriebene MPEG2 -Algorithmus wird allgemein zur Komprimierung und Kodierung von Bildinformationen bzw. Bilddaten eingesetzt. Im Prinzip kann dieser Algorithmus auch in mobilen Bildaufnahme-Systemen, wie z.B. Videokameras oder mobi- len Bildtelefonen, eingesetzt werden. Bevorzugt werden jedoch auf diesem Gebiet z.B. der H.261 - oder H.263-Algorithmus verwendet. Derartige mobile Bildaufnahmesysteme werden normalerweise ohne Stativ benutzt, so daß das Problem entsteht, daß die aufgenommenen Bewegtbilder leicht verwackelt werden kön- nen. Speziell bei mobilen Bildtelefonen, die mit einer digitalen Bildkompression arbeiten, wirkt sich das Wackeln während der Bildaufnahme negativ auf die Bildqualität aus, da die hier verwendeten Bildkompressionsalgorithmen die BewegungsInformationen (d.h. beim MPEG2 -Algorithmus die Bewegungsvektorinfor- mationen v) für die Bilddatenkompression auswerten. Ein ähnliches Problem tritt bei Videokameras oder Camcordern auf, wobei hier bereits zur Lösung dieses Problems vorgeschlagen wurde, die Wackelbewegung durch geeignete Maßnahmen zu erkennen und durch ein gegenphasiges Schieben eines aktiven Auf- nahmeausschnitts auf dem CCD-Bildsensor der Videokamera oder das Camcorders zu kompensieren. Dieses Verfahren ist jedoch sehr aufwendig .This MPEG2 algorithm described above is generally used for compressing and encoding image information or image data. In principle, this algorithm can also be used in mobile image acquisition systems, such as video cameras or mobile image telephones. However, the H.261 or H.263 algorithm is preferably used in this area. Mobile image recording systems of this type are normally used without a tripod, so that the problem arises that the recorded moving images can easily be blurred. In the case of mobile video telephones in particular, which work with digital image compression, the wobbling during the image acquisition has a negative effect on the image quality, since the image compression algorithms used here evaluate the motion information (ie the motion vector information v for the MPEG2 algorithm) for the image data compression. A similar problem occurs with video cameras or camcorders, although it has already been proposed to solve this problem that the wobbling movement be recognized by suitable measures and compensated for by pushing an active recording section on the CCD image sensor of the video camera or the camcorder in phase opposition. However, this process is very complex.
Insbesondere bei mobilen Bildtelefonen wurde das zuvor ge- nannte Problem bisher nicht gelöst. Prinzipiell könnte zwar das zur Lösung bei Videokameras oder Camcordern oben beschriebene Verfahren auch bei mobilen Bildtelefonen eingesetzt werden, dies würde jedoch die Systemkosten deutlich erhöhen.The problem mentioned above has not yet been solved, in particular in the case of mobile video telephones. In principle, the method described above for solving video cameras or camcorders could also be used for mobile videophones, but this would significantly increase the system costs.
Der Erfindung liegt daher die Aufgabe zugrunde, ein verbessertes Verfahren zum Komprimieren von Bildinformationen vorzuschlagen, mit dessen Hilfe auf möglichst einfache Weise eine Beeinträchtigung der Bildqualität durch ein Verwackeln bei der Bildaufnahme vermieden werden kann .The invention is therefore based on the object of proposing an improved method for compressing image information, with the aid of which impairment of the image quality due to blurring during image recording can be avoided in the simplest possible way.
Insbesondere soll dieses Verfahren zum Komprimieren von Bildinformationen auch auf einfache Art und Weise und möglichst billig in mobilen Bildtelefonen implementierbar sein.In particular, this method for compressing image information should also be able to be implemented in a simple manner and as cheaply as possible in mobile video telephones.
Die oben genannte Aufgabe wird gemäß der vorliegenden Erfindung durch ein Verfahren mit den Merkmalen des Anspruches 1 gelöst.According to the present invention, the above-mentioned object is achieved by a method having the features of claim 1.
Die Unteransprüche beschreiben vorteilhafte und bevorzugte Ausgestaltungen und Ausführungsformen des erfindungsgemäßen Verfahrens .The subclaims describe advantageous and preferred configurations and embodiments of the method according to the invention.
Das erfindungsgemäße Verfahren arbeitet nach dem Prinzip der sogen. BewegungsSchätzung. Erfindungsgemäß wird vorgeschlagen, die bei der BewegungsSchätzung ermittelten Bewegungsvektoren zu überwachen bzw. zu analysieren und abhängig von den Eigen- Schäften der Bewegungsvektoren auf das Vorliegen eines ungewollten Wackeins bei der Bildaufnahme zu schließen. Anhand der Bewegungsvektoren wird somit zwischen einem gewollten Schwenken oder einem ungewollten Verwackeln des Bildes unterschie- den. Wurde ein ungewolltes Verwackeln des Bildes erkannt, wird eingegriffen, um die infolge der BewegungsSchätzung erzeugten Differenz-Bildinformationen direkt oder bevorzugt indirekt korrigieren zu können.The inventive method works on the principle of the so-called. Motion estimation. According to the invention, it is proposed to monitor or analyze the motion vectors determined in the motion estimation and depending on the intrinsic Shafts of the motion vectors to conclude that there is an unwanted wobble during the image acquisition. On the basis of the motion vectors, a distinction is made between intentional panning or unwanted blurring of the image. If an unwanted blurring of the image was detected, intervention is made in order to be able to correct the difference image information generated as a result of the motion estimation directly or preferably indirectly.
Gemäß einem ersten Ausführungsbeispiel werden nach Erkennen eines ungewollten Verwackelns die bei der BewegungsSchätzung erzeugten Bewegungsvektoren selbst korrigiert, d.h. ihre Größe oder Richtung geändert. Gemäß einem zweiten Ausführungsbei- spiel erfolgt die Korrektur eingangsseitig direkt anhand der gespeicherten Bildinformationen, wobei auf den eingangsseiti- gen Bildinformationsspeicher zugegriffen wird und somit nach Feststellen eines ungewünschten Verwackeins des Bildes die entsprechenden Bildinformationen künstlich manipuliert werden, um die festgestellte Bewegung infolge des Verwackeins zu kom- pensieren.According to a first embodiment, after detection of unwanted blurring, the motion vectors generated during the motion estimation are corrected themselves, i.e. changed their size or direction. According to a second exemplary embodiment, the correction on the input side is carried out directly on the basis of the stored image information, the image information memory on the input side being accessed and thus, after detection of an undesired blurring of the image, the corresponding image information is artificially manipulated in order to compensate for the determined movement as a result of the blurring - retire.
Das erfindungsgemäße Verfahren ist grundsätzlich auf Algorithmen mit BewegungsSchätzung anwendbar, wie z.B. den MPEG1-, MPEG2-, MPEG4-, H.261- oder H.263 -Algorithmus . Die Korrektur einer ungewünschten Bildbewegung infolge eines Wackeins bei der Bildaufnahme wird erfindungsgemäß einfach durch Eingriff in den entsprechenden Algorithmus zum Komprimieren und Kodieren von Bildinformationen kompensiert und korrigiert. Das erfindungsgemäße Verfahren läßt sich insbesondere leicht, z.B. als Softwareerweiterung, in mobilen Bildtelefonen implementieren, ohne daß umfangreiche schaltungstechnische Änderungen oder Erweiterungen notwendig sind. Das erfindungsgemäße Verfahren läßt sich jedoch genauso in jedes beliebige mobile Bildaufnahmesystem, wie z.B. auch in Camcordern oder Videoka- meras, einsetzen. Unabhängig davon ist prinzipiell auch der Einsatz in stationären Bildaufnahmesystemen möglich. Die Erfindung wird nachfolgend unter Bezugnahme auf die Zeichnung anhand bevorzugter Ausführungsbeispiele näher erläutert.The method according to the invention can basically be applied to algorithms with motion estimation, such as the MPEG1, MPEG2, MPEG4, H.261 or H.263 algorithm. According to the invention, the correction of an undesired image movement as a result of a wobble during image recording is compensated and corrected simply by intervening in the corresponding algorithm for compressing and encoding image information. The method according to the invention can be implemented particularly easily, for example as a software extension, in mobile video telephones without extensive circuit-related changes or expansions being necessary. However, the method according to the invention can also be used in any mobile image recording system, such as in camcorders or video cameras. Regardless of this, use in stationary imaging systems is also possible in principle. The invention is explained in more detail below with reference to the drawing using preferred exemplary embodiments.
Fig. 1 zeigt ein vereinfachtes Blockschaltbild zurFig. 1 shows a simplified block diagram for
Erläuterung eines ersten Ausführungsbeispiels des erfindungsgemäßen Verfahrens,Explanation of a first embodiment of the method according to the invention,
Fig. 2 zeigt ein vereinfachtes Blockschaltbild zur Erläuterung eines zweiten Ausführungsbeispiels des erfindungsgemäßen Verfahrens, und2 shows a simplified block diagram to explain a second exemplary embodiment of the method according to the invention, and
Fig. 3 zeigt ein vereinfachtes Blockschaltbild zur Erläuterung eines bekannten Verfahrens zum Komprimieren und Kodieren von Bildinformationen mit3 shows a simplified block diagram to explain a known method for compressing and encoding image information with
Hilfe einer BewegungsSchätzung.Using a motion estimation.
Die Erfindung wird nachfolgend unter Bezugnahme auf Fig. 1 und 2 anhand zweier bevorzugter Ausführungsbeispiele beschrieben, wobei gemäß diesen Ausführungsbeispielen das erfindungsgemäße Verfahren jeweils anhand des sogen. MPEG2-Algorithmus zur Komprimierung und Kodierung von Bildinformationen eingesetzt wird. Wie jedoch bereits zuvor beschrieben worden ist, ist das erfindungsgemäße Verfahren auf jeden beliebigen Algorithmus mit BewegungsSchätzung anwendbar.The invention is described below with reference to FIGS. 1 and 2 using two preferred exemplary embodiments, the method according to the invention being based on the so-called. MPEG2 algorithm for compressing and encoding image information is used. However, as has already been described above, the method according to the invention can be applied to any algorithm with motion estimation.
Fig. 1 zeigt ein vereinfachtes Blockschaltbild einer Anordnung zur Durchführung des erfindungsgemäßen Verfahrens gemäß einem ersten bevorzugten Ausführungsbeispiel .1 shows a simplified block diagram of an arrangement for carrying out the method according to the invention in accordance with a first preferred exemplary embodiment.
Der Grundaufbau des in Fig. 1 gezeigten Blockschaltbildes entspricht im wesentlichen dem in Fig. 3 gezeigten Blockschaltbild. Die sequentiellen Bildinformationen einer entsprechenden Bildaufnahmeeinrichtung, wie z.B. eines beliebigen Bildsensors oder einer Videokamera etc., werden in einem Bildinformationsspeicher 1 gespeichert, wobei die Bildinformationen jeweils zu Rahmen bzw. Vollbildern zusammengefaßt sind. Am Ausgang des Bildinformationsspeichers 1 werden für jedes Vollbild Bildinformationen i ausgelesen.The basic structure of the block diagram shown in FIG. 1 essentially corresponds to the block diagram shown in FIG. 3. The sequential image information of a corresponding image recording device, such as any image sensor or a video camera etc., is stored in an image information memory 1, the image information in each case Frames or full images are combined. At the output of the image information memory 1, image information i is read out for each frame.
Allgemein werden zu übertragende Bildinformationen von einer DCT-Transformationseinrichtung 3 einer diskreten Cosinustrans- formation (DCT) unterzogen. Die diskrete Cosinustransformation ist eine orthogonale Transformation und bildet die diskreten zeitlichen Abtastwerte der Bildinformationen in diskrete Werte des Frequenzbereiches ab. Das Ausgangssignal der DCT-Transformationseinrichtung 3 wird einer Quantisierungseinrichtung 4 zugeführt .In general, image information to be transmitted is subjected to a discrete cosine transformation (DCT) by a DCT transformation device 3. The discrete cosine transformation is an orthogonal transformation and maps the discrete temporal samples of the image information into discrete values of the frequency domain. The output signal of the DCT transformation device 3 is fed to a quantization device 4.
Die Quantisierungseinrichtung 4 quantisiert das Transforma- tionsergebnis der DCT-Transformationseinrichtung 3 mit einem bestimmten Quantisierungswert bzw. einer bestimmten Quantisierungsrate, wobei der gesamte Wertebereich des Transforma- tionsergebnisses in eine bestimmte Anzahl von Quantisierungs- intervallen unterteilt wird und der Wert des Transforma- tionsergebnisses jeweils einem bestimmten Quantisierungsintervall zugeordnet wird. Auf diese Weise reduziert die Quantisierungseinrichtung 4 die zu verarbeitende und zu übertragende Bitmenge und führt somit die gewünschte Komprimierung mit einem entsprechenden Quantisierungswert durch. Allgemein kann die Zuordnung der Abtastwerte des Transformationsergebnisses zu den einzelnen Quantisierungsintervallen gemäß einer linearen oder nichtlinearen Kennlinie erfolgen. Mit Hilfe einer nichtlinearen Quantisierung können bestimmte Abtastwerte des Bildinformationssignals genauer quantisiert werden als bei ei- ner linearen Quantisierung, was insbesondere vorteilhaft ist, falls diese Werte häufiger auftreten oder Fehler dieser Werte auffälliger bzw. von größerer Bedeutung sind.The quantization device 4 quantizes the transformation result of the DCT transformation device 3 with a specific quantization value or a specific quantization rate, the entire value range of the transformation result being divided into a specific number of quantization intervals and the value of the transformation result in each case is assigned to a specific quantization interval. In this way, the quantization device 4 reduces the amount of bits to be processed and transmitted and thus carries out the desired compression with a corresponding quantization value. In general, the sampling values of the transformation result can be assigned to the individual quantization intervals according to a linear or non-linear characteristic. With the aid of a non-linear quantization, certain samples of the image information signal can be quantized more precisely than with a linear quantization, which is particularly advantageous if these values occur more frequently or errors of these values are more conspicuous or of greater importance.
Das Ausgangssignal der Quantisierungseinrichtung 4 wird einer Kodierungseinrichtung 5 zugeführt, die schließlich das quanti- sierte Transformationsergebnis einer bestimmten Kodierung un- terzieht und das quantisierte und kodierte Bildinformations- signal zur Übertragung ausgibt. Die Kodierungseinrichtung 5 kann beispielsweise eine lauflängenbegrenzte (run-length limi- ted, RLL) -Kodierung durchführen.The output signal of the quantization device 4 is fed to a coding device 5, which finally the quantized transformation result of a specific coding and trains and outputs the quantized and coded image information signal for transmission. The coding device 5 can, for example, carry out run-length limited (RLL) coding.
Zur Durchführung der BewegungsSchätzung bzw. Bildprädiktion wird das Ausgangssignal der Quantisierungseinrichtung 4 auch einer inversen Quantisierungseinrichtung 6 sowie einer inversen DCT-Transformationseinrichtung 7 zugeführt, wobei die in- verse Quantisierungseinrichtung 6 die Quantisierung der Quantisierungseinrichtung 4 und die inverse DCT-Transformationseinrichtung 7 die DCT-Transformation der DCT-Transformationseinrichtung 3 wieder rückgängig macht, so daß am Ausgang der inversen DCT-Transformationseinrichtung 7 wieder die ursprüng- liehen Eingangsdaten der DCT-Transformationseinrichtung 3 auftreten.To carry out the motion estimation or image prediction, the output signal of the quantization device 4 is also fed to an inverse quantization device 6 and an inverse DCT transformation device 7, the inverse quantization device 6 quantizing the quantization device 4 and the inverse DCT transformation device 7 the DCT transformation of the DCT transformation device 3, so that the original input data of the DCT transformation device 3 appear again at the output of the inverse DCT transformation device 7.
In einem Bildspeicher 8 werden die von der in der DCT-Trans- formationseinrichtung 7 gelieferten Bildinformationen gespei- chert, wobei der Bildspeicher 8 insbesondere die Bildinformationen rahmen- oder bildweise abspeichert.The image information supplied by the DCT transformation device 7 is stored in an image memory 8, the image memory 8 in particular storing the image information frame by frame or frame by frame.
Gemäß dem in Fig. 1 gezeigten bevorzugten Ausführungsbeispiel ist zudem eine Interpolationseinrichtung 11 vorgesehen, die die in dem Bildspeicher 8 abgelegten Bildinformationen vorzugsweise rahmen- und bildweise ausliest und durch Interpolation zwischen zwei benachbarten Bildpunkten (Pixel) zusätzliche Bildinformationen gewinnt, die dem zwischen den beiden Pixeln liegenden Bildpunkt entsprechen. Auf diese Weise kann die Interpolationseinrichtung 11 die Bildauflösung verdoppeln. Die Interpolationseinrichtung 11 speichert die infolge der Interpolation gewonnenen Bildinformationen mit der erhöhten Auflösung.According to the preferred exemplary embodiment shown in FIG. 1, an interpolation device 11 is also provided, which preferably reads the image information stored in the image memory 8 frame by frame and image-wise and, by interpolation between two adjacent pixels (pixels), obtains additional image information which is that between the two pixels correspond to the lying pixel. In this way, the interpolation device 11 can double the image resolution. The interpolation device 11 stores the image information obtained as a result of the interpolation with the increased resolution.
Eine Bewegungsschätzungseinrichtung 9 empfängt einerseits die am Ausgang des Bildinformationsspeichers 1 auftretenden Bild- Informationen i eines aktuellen bzw. augenblicklichen Bildes sowie über die Interpolationseinrichtung 11 die in dem Bildspeicher 8 gespeicherten Bildinformationen des vorhergehenden Bildes. Durch Vergleich dieser beiden Bildinformationen kann die Bewegungsschätzungseinrichtung 9 eine Bewegung in dem augenblicklichen Bild gegenüber dem vorherigen Bild erkennen und ermittelt auf Grundlage der im dem Bildspeicher 8 gespeicherten Bildinformationen des vorhergehenden Bildes einen Bewegungsvektor v, der die Verschiebung des augenblicklichen Bildes gegenüber dem vorhergehenden Bild repräsentiert.On the one hand, a motion estimation device 9 receives the image that occurs at the output of the image information memory 1 Information i of a current or current image and, via the interpolation device 11, the image information of the previous image stored in the image memory 8. By comparing these two pieces of image information, the motion estimation device 9 can recognize a movement in the current image compared to the previous image and, based on the image information of the previous image stored in the image memory 8, determines a motion vector v which represents the displacement of the current image relative to the previous image.
Die Bewegungsvektorinformationen v werden einer Analyseeinrichtung 12 zugeführt, die den oder die Bewegungsvektoren analysiert und überwacht und feststellt, ob eine Verschiebung, d.h. Bewegung, des augenblicklich eingangsseitig anliegenden Bildes gegenüber dem vorhergehenden Bild gegeben ist. Falls eine Verschiebung vorliegt, werden entsprechende Informationen an eine Bewertungseinrichtung 13 weitergegeben.The motion vector information v is fed to an analysis device 12 which analyzes and monitors the motion vector (s) and determines whether a shift, i.e. Movement of the currently adjacent image is given compared to the previous image. If there is a shift, corresponding information is passed on to an evaluation device 13.
Die Bewertungseinrichtung 13 ermittelt aufgrund einer Bewertung der Verschiebung, ob die Verschiebung die Folge eines gewollten Schwenkens oder eines ungewollten Wackeins bei der Bildaufnahme ist. Diese Entscheidung wird insbesondere von der Richtung und/oder der Größe, d.h. dem Betrag, des Bewegungs- vektors v gemacht. Überschreitet beispielsweise der Betrag oder die Drehrichtung des Bewegungsvektors einen vorgegebenen Schwellenwert, wird darauf geschlossen, daß die Verschiebung die Folge eines ungewollten Wackeins bei der Bildaufnahme gewesen sein muß, da in der Regel bei einem ungewollten Wackeln im Vergleich zu einem gewollten Schwenken größere Bewegungen und Verschiebungen in den aufgenommenen Bildern, d.h. größere Änderungen der Bildinformationen, auftreten.On the basis of an evaluation of the displacement, the evaluation device 13 determines whether the displacement is the result of an intentional panning or an unwanted wobble during the image recording. This decision is made in particular by the direction and / or the size, i.e. the amount of the motion vector v. If, for example, the amount or the direction of rotation of the motion vector exceeds a predetermined threshold value, it is concluded that the shift must have been the result of an unwanted wobble during the image acquisition, since, as a rule, an unwanted wobble compared to an intentional panning result in larger movements and displacements in the captured images, ie major changes in the image information occur.
Nachdem auf diese Weise erkannt worden ist, daß ein ungewoll- tes Wackeln vorliegt, muß die infolge des ungewollten Wackeins aufgetretene Änderung der Bildinformationen i ausgeglichen bzw. kompensiert werden. Zu diesem Zweck wird gemäß dem in Fig. 1 gezeigten Ausführungsbeispiel vorgeschlagen, die der Bewegungskompensationseinrichtung 10 zugeführten Bewegungsvektoren direkt zu korrigieren. Zu diesem Zweck ist eine Dämp- fungseinrichtung 14 vorgesehen, die nach Feststellen eines ungewollten Wackeins bei der Bildaufnahme mit Hilfe der Bewegungseinrichtung 13 den ursprünglich von der Bewegungsschätzungseinrichtung 9 erzeugten Bewegungsvektor v rechnerisch dämpft bzw. die infolge des ungewollten Wackeins auftretende Verschiebungsrichtung ausgleicht. Die Dämpfungseinrichtung 14 korrigiert den Bewegungsvektor v dabei insbesondere abhängig von der Größe des Betrags bzw. der Drehrichtung des Bewegungs- vektors v. Je größer der Betrag bzw. die Drehrichtung des Be- wegungsvektors v ist, desto größer wird auch die Kompensation bzw. Korrektur des Betrags bzw. der Drehrichtung des Bewegungsvektors v durch die Dämpfungseinrichtung 14 sein. Die Dämpfungseinrichtung 14 liefert somit einen korrigierten Bewe- gungsvektor V , der im Optimalfall einer Bewegung des eingangsseitig anliegenden augenblicklichen Bildes gegenüber dem in dem Bildspeicher 8 gespeicherten vorhergehenden Bild ohne Berücksichtigung der durch das ungewollte Wackeln auftretenden Verschiebung entspricht .After it has been recognized in this way that there is an unwanted wobble, the change in the image information i which occurs as a result of the unwanted wobble must be compensated for or be compensated. For this purpose, according to the exemplary embodiment shown in FIG. 1, it is proposed to correct the motion vectors supplied to the motion compensation device 10 directly. For this purpose, a damping device 14 is provided which, after detecting an unwanted wobble during the image recording with the aid of the movement device 13, mathematically dampens the movement vector v originally generated by the movement estimation device 9 or compensates for the direction of displacement that occurs as a result of the unwanted wobble. The damping device 14 corrects the motion vector v in particular depending on the size of the amount or the direction of rotation of the motion vector v. The greater the amount or the direction of rotation of the motion vector v, the greater the compensation or correction of the amount or the direction of rotation of the motion vector v by the damping device 14. The damping device 14 thus supplies a corrected movement vector V which, in the best case, corresponds to a movement of the instantaneous image present on the input side in relation to the previous image stored in the image memory 8 without taking into account the shift occurring due to the unwanted wobbling.
Dieser korrigierte Bewegungsvektor v' wird der Bewegungskom- pensationseinrichtung 10 zugeführt, die - wie bereits anhand von Fig. 3 erläutert worden ist - anhand des Bewegungsvektors V sowie den ihr ebenfalls zugeführten Bildinformationen des in dem Bildspeicher 8 gespeicherten vorhergehenden Bildes eine Vorhersage für die Bildinformationen des augenblicklich anlie- genden Bildes macht . Die Bewegungskompensationseinrichtung 10 führt somit eine Bewegungskompensationsprädiktion aus und gibt Bildinformationen i' aus, die dem von der Bewegungskompensa- tionseinrichtung 10 vorhergesagten Bild entsprechen. Im Ideal- fall sollte das von der Bewegungskompensationseinrichtung 10 vorhergesagte Bild dem augenblicklich eingangsseitig anliegenden Bild entsprechen, d.h. die Bildinformationen i' sollten den Bildinformationen i des augenblicklich anliegenden Bildes entsprechen.This corrected motion vector v 'is fed to the motion compensation device 10 which, as has already been explained with reference to FIG. 3, uses the motion vector V and the image information of the previous image stored in the image memory 8 to supply it with a prediction for the image information of the instantly attached image. The motion compensation device 10 thus executes a motion compensation prediction and outputs image information i ′ which correspond to the image predicted by the motion compensation device 10. In the ideal case, the image predicted by the motion compensation device 10 should correspond to the image currently present on the input side, ie the image information i 'should correspond to the image information i of the current image.
In einem Addierer wird die Prädiktion der Bewegungskompensa- tionseinrichtung 10 mit dem tatsächlich anliegenden Bild verglichen, d.h. der Addierer 2 bildet die Differenz zwischen den tatsächlich dem augenblicklichen Bild entsprechenden Bildinformationen i und den von der Bewegungskompensationseinrich- tung 10 vorhergesagten Bildinformationen i' des augenblickli- chen Bilds. Das von dem Addierer 2 gelieferte Differenzsignal Δi stellt den sogen. Prädiktionsfehler dar, der nunmehr über die Einrichtungen 3 - 5 DCT-transformiert, quantisiert und kodiert wird. Somit wird gemäß dem in Fig. 1 gezeigten System bzw. Algorithmus nurmehr der Prädiktionsfehler an einen Emp- fänger übertragen, der infolge des empfangenen Prädiktionsfehlers und der Bilddaten bzw. Bildinformationen eines vorhergehenden Bildes die Bildinformationen des augenblicklichen Bildes ermitteln und darstellen kann. Der transformierte und quantisierte Prädiktionsfehler Δi wird wiederum über die Ein- richtungen 6 und 7 einer inversen Quantisierung und einer inversen DCT-Transformation unterzogen, so daß im Bildspeicher 8 abhängig von den vorhergesagten Bildinformationen i' der Bewe- gungskompensationseinrichtung 10 stets die Bildinformationen des tatsächlich anliegenden Bildes gespeichert werden können.The prediction of the motion compensation device 10 is compared in an adder with the actually applied image, i.e. the adder 2 forms the difference between the image information i that actually corresponds to the current image and the image information i ′ of the current image predicted by the motion compensation device 10. The difference signal Δi supplied by the adder 2 represents the so-called. Prediction error, which is now DCT-transformed, quantized and encoded via devices 3 - 5. Thus, according to the system or algorithm shown in FIG. 1, only the prediction error is transmitted to a receiver, which can determine and display the image information of the current image as a result of the received prediction error and the image data or image information of a previous image. The transformed and quantized prediction error Δi is in turn subjected to an inverse quantization and an inverse DCT transformation via the devices 6 and 7, so that the image information 8 of the motion compensation device 10 always depends on the predicted image information i 'of the motion compensation device 10 Image can be saved.
Vorzugsweise wird bei dem MPEG2-Algorithmus zur Komprimierung und Kodierung von Bildinformationen eine Komprimierung und Kodierung mit variabler Komprimier- bzw. Kodierrate vorgenommen. Dabei wird die Kompromier- und Kodierrate des Systems abhängig von der von der Kodierungseinrichtung 5 ausgegebenen Datenmenge (Bitrate) für jedes Vollbild eingestellt. Das in Fig. 1 gezeigte Blockschaltbild kann daher durch eine Steuereinheit ergänzt werden, die beispielsweise von der Kodierungseinrichtung 5 die für jedes Vollbild ausgegebene Datenmenge (Bitrate) empfängt und davon abhängig die Quantisierungseinrichtungen 4 und 6 zur Einstellung des Quantisierungswertes, d.h. zur Ver- änderung der Anzahl der Quantisierungsintervalle, sowie beispielsweise die Bewegungskompensationseinrichtung 10 zur Einstellung bestimmter Filterkoeffizienten ansteuert, um diese Parameter adaptiv an die zu übertragende Datenmenge anzupassen. Mit einer derartigen variablen Steuerung der Komprimier- und Kodierrate kann eine möglichst gleichbleibende Qualität der zu übertragenden Bilder unabhängig davon, ob in dem jeweiligen Bild große Bewegungsänderungen auftreten oder nicht, erzielt werden.In the MPEG2 algorithm for compressing and encoding image information, compression and encoding is preferably carried out with a variable compression or encoding rate. The system's compression and coding rate is set as a function of the amount of data (bit rate) output by the coding device 5 for each frame. The block diagram shown in FIG. 1 can therefore be supplemented by a control unit which receives, for example, the data quantity (bit rate) output for each frame from the coding device 5 and, depending on this, the quantization devices 4 and 6 for setting the quantization value, ie for Change the number of quantization intervals, and for example controls the motion compensation device 10 to set certain filter coefficients in order to adapt these parameters adaptively to the amount of data to be transmitted. With such a variable control of the compression and coding rate, the quality of the images to be transmitted which is as constant as possible can be achieved regardless of whether large changes in movement occur in the respective image or not.
Fig. 2 zeigt ein vereinfachtes Blockschaltbild zur Erläuterung eines zweiten Ausführungsbeispiels des erfindungsgemäßen Verfahrens, wobei zusätzlich zu den Einrichtungen 12 bis 14 eine Adressenmanipulationseinrichtung 15 vorgesehen ist.2 shows a simplified block diagram to explain a second exemplary embodiment of the method according to the invention, an address manipulation device 15 being provided in addition to the devices 12 to 14.
Grundsätzlich entspricht die Funktionsweise des in Fig. 2 veranschaulichten zweiten Ausführungsbeispiels dem in Fig. 1 gezeigten ersten Ausführungsbeispiel. Das heißt, es ist wiederum eine Analyseeinrichtung 12 vorgesehen, die die von der Bewe- gungsschätzungseinrichtung 9 gelieferten Bewegungsvektoren analysiert und überwacht und feststellt, ob eine Verschiebung des Vollbildes gegeben ist . Die Bewertungseinrichtung 13 ermittelt bei Feststellen einer Verschiebung des Vollbildes durch Bewertung der Bewegungsvektoren v, ob die festgestellte Verschiebung die Folge eines gewollten Schwenkens oder eines ungewollten Wackeins bei der Bildaufnahme ist. Die Unterscheidung zwischen einem gewollten Schwenken und einem ungewollten Wackeln kann dabei insbesondere, wie anhand von Fig. 1 erläutert worden ist, anhand der Größe des Betrages oder der Dreh- richtung des Bewegungsvektors v erfolgen.The mode of operation of the second exemplary embodiment illustrated in FIG. 2 basically corresponds to the first exemplary embodiment shown in FIG. 1. This means that an analysis device 12 is again provided, which analyzes and monitors the motion vectors supplied by the motion estimation device 9 and determines whether there is a shift in the full image. When a displacement of the full image is ascertained by evaluating the motion vectors v, the evaluation device 13 determines whether the ascertained displacement is the result of an intentional panning or an unwanted wobble during the image recording. The distinction between intentional swiveling and unwanted wobbling can be made in particular, as has been explained with reference to FIG. 1, on the basis of the magnitude of the amount or the direction of rotation of the motion vector v.
Während bei dem in Fig. 1 dargestellten ersten Ausführungsbei- spiel die Kompensation der infolge eines ungewollten Wackeins auftretenden Verschiebung in einem Bild durch Korrigieren des Bewegungsvektors v selbst erfolgt, wird gemäß dem in Fig. 2 gezeigten Ausführungsbeispiel vorgeschlagen, direkt auf die eingangsseitig vorliegenden Bildinformationen bzw. Bilddaten i einzuwirken. Dabei wird davon ausgegangen, daß ein in dem Bildinformationsspeicher 1 abgelegtes Gesamtbild in mehrere Ausschnitte unterteilt ist. Jedem dieser Ausschnitte sind entsprechende Abschnitte der dem Gesamtbild entsprechenden Bildinformationen zugeordnet, wobei die einem Ausschnitt entsprechenden Abschnitte der Bildinformationen bzw. Bilddaten in dem Bildinformationsspeicher 1 unter einer jeweils zugewiesenen Adresse abgelegt und gespeichert sind.While the first exemplary embodiment shown in FIG. 1 compensates for the shift in an image that occurs as a result of an unwanted wobbling by correcting the motion vector v itself, the embodiment shown in FIG. 2 proposes directly to the image information or image data i present on the input side. It is assumed that an overall image stored in the image information memory 1 is divided into several sections. Corresponding sections of the image information corresponding to the overall image are assigned to each of these sections, the sections of the image information or image data corresponding to a section being stored and stored in the image information memory 1 under a respectively assigned address.
Nachdem die Bewertungseinrichtung 13 durch Auswertung der Bewegungsvektoren v eine Verschiebung in einem Bild infolge eines ungewollten Wackeins bei der Bildaufnahme festgestellt hat, wird die Adressenmanipulationseinrichtung 15 angesteuert, die Kenntnis von den den einzelnen Bildinformationsabschnitten zugewiesenen Adressen im Bildinformationsspeicher 1 besitzt. Abhängig von dem Betrag und der Richtung der von der Bewertungseinrichtung 13 mitgeteilten ungewollten Verschiebung kann somit die Adressenmanipulationseinrichtung 15 durch Verändern der den einzelnen Datenabschnitten zugewiesenen Adressen die Anordnung der den einzelnen Abschnitten entsprechenden Bildausschnitte bzw. Bildblöcke im Gesamtbild verändern und die einzelnen Bildausschnitte derart neu anordnen und verschieben, daß die festgestellte Verschiebung infolge eines ungewollten Wackeins rückgängig gemacht und kompensiert wird. Am Ausgang des Bildinformationsspeichers 1 können dann in diesem Fall die korrigierten Bildinformationen bzw. Bilddaten des jeweiligen Gesamtbildes ausgelesen und der weiteren Bildverarbeitung zugrunde gelegt werden. Bei dem in Fig. 2 gezeigten Ausführungs- beispiel erfolgt somit eine rückwirkende Korrektur des Eingangsbildes .After the evaluation device 13 has determined a shift in an image as a result of an unwanted wobble during the image recording by evaluating the movement vectors v, the address manipulation device 15 is activated, which has knowledge of the addresses assigned to the individual image information sections in the image information memory 1. Depending on the amount and the direction of the unwanted shift reported by the evaluation device 13, the address manipulation device 15 can thus change the arrangement of the image sections or image blocks corresponding to the individual sections in the overall image and thus rearrange the individual image sections in such a way by changing the addresses assigned to the individual data sections move that the determined shift is reversed and compensated for as a result of an unwanted wobble. In this case, the corrected image information or image data of the respective overall image can then be read out at the output of the image information memory 1 and used as a basis for the further image processing. In the exemplary embodiment shown in FIG. 2, the input image is corrected retrospectively.
Bei dem in Fig. 2 gezeigten Blockschaltbild ist das zweite Ausführungsbeispiel der vorliegenden Erfindung zusätzlich zu dem anhand von Fig. 1 erläuterten ersten Ausführungsbeispiel der Erfindung, d.h. zusätzlich zu dem Verändern der Bewegungs- vektoren v, dargestellt. Es ist jedoch zu beachten, daß das anhand Fig. 2 erläuterte Verfahren auch alternativ zu dem anhand Fig. 1 erläuterten Verfahren eingesetzt werden kann, wobei in diesem Fall die in Fig. 1 und 2 gezeigte Dämpfungseinrichtung 14 entfallen und der Bewegungskompensationseinrich- tung 10 stets der von der Bewegungsschätzungseinrichtung 9 ursprünglich erzeugte Bewegungsvektor v zugeführt werden würde. In the block diagram shown in FIG. 2, the second exemplary embodiment of the present invention is in addition to the first exemplary embodiment of the invention explained with reference to FIG. 1, ie in addition to changing the movement vectors v. It should be noted, however, that the method explained with reference to FIG. 2 can also be used as an alternative to the method explained with reference to FIG. 1, in which case the damping device 14 shown in FIGS. 1 and 2 is omitted and the motion compensation device 10 always the motion vector v originally generated by the motion estimation device 9 would be supplied.

Claims

Patentansprüche claims
1. Verfahren zum Komprimieren von Bildinformationen, umfassend die Schritte a) Bereitstellen von einem augenblicklichen Bild entsprechenden Bildinformationen (i) , b) Vergleichen der dem augenblicklichen Bild entsprechenden Bildinformationen (i) mit einem vorhergehenden Bild entsprechenden Bildinformationen und Erzeugen eines Bewegungsvektors (v) , der einer Verschiebung des augenblicklichen Bildes gegenüber dem vorhergehenden Bild entspricht, c) Vorhersagen von dem augenblicklichen Bild entsprechenden Bildinformationen (i') auf Grundlage des im Schritt b) erzeugten Bewegungsvektors und der dem vorhergehenden Bild entsprechenden Bildinformationen, d) Vergleichen der dem augenblicklichen Bild tatsächlich entsprechenden Bildinformationen (i) mit den im Schritt c) vorhergesagten Bildinformationen (i'), und e) Komprimieren von Differenz-Bildinformationen (Δi) , die einem im Schritt d) ermittelten Unterschied zwischen den dem augenblicklichen Bild tatsächlich entsprechenden Bildinformationen (i) und den im Schritt c) vorhergesagten Bildinformationen (i') entsprechen, dadurch gekennzeichnet, daß der im Schritt b) erzeuge Bewegungsvektor (v) analysiert und abhängig von dem Bewegungsvektor (v) ein ungewolltes Verwackeln des augenblicklichen Bildes erkannt wird, und daß nach Erkennen eines ungewollten Verwackeins des augenblicklichen Bildes mindestens ein die Differenz-Bildinformationen (Δi) beeinflussende Größe abhängig von dem im Schritt b) erzeugten und analysierten Bewegungsvektor (v) korrigiert wird.1. A method for compressing image information, comprising the steps a) providing image information (i) corresponding to a current image, b) comparing the image information (i) corresponding to the current image with a previous image and generating a motion vector (v), which corresponds to a displacement of the current image compared to the previous image, c) predictions of image information (i ') corresponding to the current image on the basis of the motion vector generated in step b) and the image information corresponding to the previous image, d) actually comparing the current image corresponding image information (i) with the image information (i ') predicted in step c), and e) compressing difference image information (Δi), which is a difference determined in step d) between the image information actually corresponding to the current image ions (i) and the image information (i ') predicted in step c), characterized in that the motion vector (v) generated in step b) is analyzed and, depending on the motion vector (v), an unwanted blurring of the current image is detected, and that after detection of an unwanted blurring of the current image, at least one variable influencing the difference image information (Δi) is corrected as a function of the motion vector (v) generated and analyzed in step b).
2. Verfahren nach Anspruch l, dadurch gekennzeichnet, daß nach Erkennen eines ungewollten Verwackeins des augenblicklichen Bildes die die Differenz-Bildinformationen (Δi) beeinflussende Größe abhängig von dem Betrag und/oder der Richtung des Bewegungsvektors (v) korrigiert wird.2. The method according to claim l, characterized in that that after detection of an unwanted blurring of the current image, the variable influencing the difference image information (Δi) is corrected as a function of the amount and / or the direction of the motion vector (v).
3. Verfahren nach Anspruch 1 oder 2 , dadurch gekennzeichnet, daß nach Erkennen eines ungewollten Verwackeins des augenblicklichen Bildes der im Schritt b) erzeugte Bewegungsvektor (v) derart korrigiert wird, daß der korrigierte Bewegungsvektor (v' ) das ungewollte Verwackeln des augenblicklichen Bildes nicht mehr berücksichtigt, und daß in dem Schritt c) die vorhergesagten Bildinformationen (i') auf Grundlage des korrigierten Bewegungsvektors (v' ) er- mittelt werden.3. The method according to claim 1 or 2, characterized in that after detection of an unwanted blurring of the current image, the motion vector (v) generated in step b) is corrected such that the corrected motion vector (v ') does not prevent the unwanted blurring of the current image more is taken into account and that in step c) the predicted image information (i ') is determined on the basis of the corrected motion vector (v').
4. Verfahren nach Anspruch 3 , dadurch gekennzeichnet, daß der Bewegungsvektor (v) nach Erkennen eines ungewollten Verwackeins des augenblicklichen Bildes durch Verringerung seiner Größe korrigiert wird.4. The method according to claim 3, characterized in that the motion vector (v) is corrected by detecting its unwanted blurring of the current image by reducing its size.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch ge en zeichnet, daß jedes Bild in mehrere Ausschnitte unterteilt ist, und daß nach Erkennen eines ungewollten Verwackeins des augenblicklichen Bildes einzelne Ausschnitte des augenblicklichen Bildes derart verschoben werden, daß das ungewollte Verwackeln des augenblicklichen Bildes ausgeglichen wird, wobei die im Schritt a) bereitgestellten Bildinformationen (i) dem somit korrigierten augenblicklichen Bild entsprechen.5. The method according to any one of the preceding claims, characterized in that each image is divided into several sections, and that after detection of an unwanted blurring of the current image, individual sections of the current image are shifted such that the unwanted blurring of the current image is compensated , the image information (i) provided in step a) corresponding to the instantaneous image thus corrected.
6 . Verfahren nach Anspruch 5 , d a d u r c h g e k e n n z e i c h n e t , daß nach Erkennen eines ungewollten Verwackeins des augenblicklichen Bildes einzelne Ausschnitte des augenblicklichen Bildes entgegen der Richtung des im Schritt b) erzeugten Bewegungsvektors (v) verschoben werden, um das augenblickliche Bild zu korrigieren.6. Method according to claim 5, characterized in that after detection of an unwanted blurring of the current image, individual sections of the current image Image against the direction of the motion vector (v) generated in step b) to be corrected to correct the current image.
7. Verfahren nach Anspruch 5 oder 6 , dadurch gekennzeichnet, daß die zunächst bereitgestellten und dem augenblicklichen Bild entsprechenden Bildinformationen (i) in einem Speicher (1) gespeichert sind, wobei ein bestimmter Abschnitt der dem augenblicklichen Bild entsprechenden Bildinformationen (i) jeweils einen Ausschnitt des augenblicklichen Bildes beschreibt und unter einer bestimmten Adresse des Speichers (1) abgespeichert ist, und daß die Verschiebung der einzelnen Ausschnitte des augenblick- liehen Bildes durch Manipulation der Adressen, die den zu verschiebenden Ausschnitten des augenblicklichen Bildes entsprechen, erfolgt, um somit dem korrigierten augenblicklichen Bild entsprechende Bildinformationen aus dem Speicher (1) auszulesen.7. The method according to claim 5 or 6, characterized in that the image information (i) initially provided and corresponding to the current image is stored in a memory (1), a certain section of the image information corresponding to the current image (i) in each case a section describes the current image and is stored under a specific address of the memory (1), and that the shifting of the individual sections of the current picture takes place by manipulating the addresses which correspond to the sections of the current picture to be shifted, in order to correct the corrected picture read out image information corresponding to the current image from the memory (1).
8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß das Komprimieren im Schritt e) durch Quantisieren der Differenz-Bildinformationen (Δi) mit einem bestimmten Quantisie- rungswert erfolgt .8. The method according to any one of the preceding claims, characterized in that the compression in step e) is carried out by quantizing the difference image information (Δi) with a certain quantization value.
9. Verfahren nach Anspruch 8 , dadurch gekennzeichnet, daß die Differenz-Bildinformationen (Δi) vor der Quantisierung einer diskreten Kosinustransformation unterzogen werden.9. The method according to claim 8, characterized in that the difference image information (Δi) are subjected to a discrete cosine transformation before quantization.
10. Verfahren nach Anspruch 9 , dadurch gekennzeichnet, daß die dem vorhergehenden Bild entsprechenden Bildinformatio- nen abhängig von den Differenz-Bildinformationen (Δi) zwischengespeichert werden, nachdem die Differenz-Bildinformatio- nen (Δi) einer inversen Quantisierung und einer inversen diskreten Cosinustransformation unterzogen worden sind.10. The method according to claim 9, characterized in that the image information corresponding to the previous image is buffered depending on the difference image information (Δi) after the difference image information (Δi) have been subjected to an inverse quantization and an inverse discrete cosine transformation.
11. Verfahren nach Anspruch 10, dadurch gekennzeichnet, daß die gespeicherten, dem vorhergehenden Bild entsprechenden Bildinformationen interpoliert werden, um die Bildauflösung der dem vorhergehenden Bild entsprechenden Bildinformationen zu erhöhen, und daß die interpolierten, dem vorhergehenden Bild entsprechenden Bildinformationen im Schritt b) der Erzeugung des Bewegungsvektors (v) zugrunde gelegt werden.11. The method according to claim 10, characterized in that the stored image information corresponding to the previous image is interpolated to increase the image resolution of the image information corresponding to the previous image, and that the interpolated image information corresponding to the previous image in step b) of generation of the motion vector (v).
12. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichne , daß die im Schritt e) komprimierten Differenz-Bildinformationen (Δi) kodiert werden.12. The method according to any one of the preceding claims, characterized in that the difference image information (Δi) compressed in step e) is encoded.
13. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß das Verfahren die Bildinformationen nach dem MPEG2 -Algorithmus komprimiert .13. The method according to any one of the preceding claims, characterized in that the method compresses the image information according to the MPEG2 algorithm.
14. Anwendung des Verfahrens nach einem der vorhergehenden Ansprüche in einer mobilen Bildaufnahmevorrichtung.14. Application of the method according to one of the preceding claims in a mobile image recording device.
15. Anwendung nach Anspruch 14 , dadurch gekennzeichnet, daß die mobile Bildaufnahmevorrichtung ein mobiles Bildtelefon ist. 15. Application according to claim 14, characterized in that the mobile image recording device is a mobile video phone.
PCT/DE1998/002169 1997-08-29 1998-07-29 Method for compressing image information WO1999012355A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE19737823 1997-08-29
DE19737823.4 1997-08-29

Publications (1)

Publication Number Publication Date
WO1999012355A1 true WO1999012355A1 (en) 1999-03-11

Family

ID=7840641

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE1998/002169 WO1999012355A1 (en) 1997-08-29 1998-07-29 Method for compressing image information

Country Status (1)

Country Link
WO (1) WO1999012355A1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000069178A1 (en) * 1999-05-07 2000-11-16 Siemens Aktiengesellschaft Method and devices for the computer-assisted motion compensation of a digitalized image and computer program products and computer-readable storage media
EP1377040A1 (en) * 2002-06-19 2004-01-02 STMicroelectronics S.r.l. Method of stabilizing an image sequence
WO2006019484A1 (en) * 2004-07-21 2006-02-23 Zoran Corporation Processing of video data to compensate for unintended camera motion between acquired image frames
EP1638317A3 (en) * 2004-09-18 2007-08-15 Deutsche Telekom AG Image stabilization device
US8325810B2 (en) 2002-06-19 2012-12-04 Stmicroelectronics S.R.L. Motion estimation method and stabilization method for an image sequence

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0626791A2 (en) * 1993-05-25 1994-11-30 Nec Corporation Motion vector detection apparatus for moving picture
EP0649256A2 (en) * 1993-10-19 1995-04-19 Canon Kabushiki Kaisha Motion compensation of a reproduced image signal
US5497191A (en) * 1993-12-08 1996-03-05 Goldstar Co., Ltd. Image shake compensation circuit for a digital video signal
EP0762774A2 (en) * 1995-08-30 1997-03-12 Sony Corporation Image signal encoding apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0626791A2 (en) * 1993-05-25 1994-11-30 Nec Corporation Motion vector detection apparatus for moving picture
EP0649256A2 (en) * 1993-10-19 1995-04-19 Canon Kabushiki Kaisha Motion compensation of a reproduced image signal
US5497191A (en) * 1993-12-08 1996-03-05 Goldstar Co., Ltd. Image shake compensation circuit for a digital video signal
EP0762774A2 (en) * 1995-08-30 1997-03-12 Sony Corporation Image signal encoding apparatus

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000069178A1 (en) * 1999-05-07 2000-11-16 Siemens Aktiengesellschaft Method and devices for the computer-assisted motion compensation of a digitalized image and computer program products and computer-readable storage media
US7221390B1 (en) 1999-05-07 2007-05-22 Siemens Aktiengesellschaft Computer-assisted motion compensation of a digitized image
EP1377040A1 (en) * 2002-06-19 2004-01-02 STMicroelectronics S.r.l. Method of stabilizing an image sequence
US7852375B2 (en) 2002-06-19 2010-12-14 Stmicroelectronics S.R.L. Method of stabilizing an image sequence
US8325810B2 (en) 2002-06-19 2012-12-04 Stmicroelectronics S.R.L. Motion estimation method and stabilization method for an image sequence
WO2006019484A1 (en) * 2004-07-21 2006-02-23 Zoran Corporation Processing of video data to compensate for unintended camera motion between acquired image frames
US7705884B2 (en) 2004-07-21 2010-04-27 Zoran Corporation Processing of video data to compensate for unintended camera motion between acquired image frames
US8289401B2 (en) 2004-07-21 2012-10-16 Csr Technology Inc. Processing of video data to compensate for unintended camera motion between acquired image frames
EP1638317A3 (en) * 2004-09-18 2007-08-15 Deutsche Telekom AG Image stabilization device
US8289406B2 (en) 2004-09-18 2012-10-16 Deutsche Telekom Ag Image stabilization device using image analysis to control movement of an image recording sensor

Similar Documents

Publication Publication Date Title
DE4343211B4 (en) Adaptive image compression method and adaptive image compression device
DE69738264T2 (en) Video encoding and video decoding device
EP0359094B1 (en) System for transmitting a picture signal with a high temporal and spatial resolution
DE69434668T2 (en) Adaptive coding and decoding method with variable length for image data
DE69635369T2 (en) The video coding apparatus
DE60220106T2 (en) Method and device for reducing interference in decoded images with postfiltering
DE69815922T2 (en) Method and device for predictive image coding and decoding
DE69535228T2 (en) Image conversion device
DE60027955T2 (en) Method and apparatus for context-based inter / intra coding mode selection
DE3704777C1 (en) Method of transmitting and playing back television picture sequences
DE69820142T2 (en) Decoding method for moving pictures, and corresponding decoding device
DE10296787B4 (en) Selective predication for intra-coding a video data block
DE19907132B4 (en) Video decoder for a digital TV
WO1999012355A1 (en) Method for compressing image information
DE19524688C1 (en) Method for decoding and encoding a compressed video data stream with reduced memory requirements
EP0527132B1 (en) Method of processing image data for transmission, and use of this process
DE19524872C1 (en) Method and arrangement for coding and decoding a video data stream for all picture elements of the video data stream
DE69824983T2 (en) Method and apparatus for encoding by luminance estimation
DE69735307T2 (en) DEVICE AND METHOD FOR CODING IMAGE DATA AND METHOD FOR IMAGE DATA TRANSMISSION
EP0920216A1 (en) Method and apparatus for encoding and decoding an image sequence
DE19737835C2 (en) Method for compressing image information
WO2001086958A1 (en) Method and an arrangement for the coding or decoding of a series of images
DE2703854A1 (en) PCM video signal transmission circuit - has difference pulse code modulation and variable word length encoders
EP0533675A1 (en) Transmission system.
DE10326657B4 (en) Method for operating a camera system

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE

121 Ep: the epo has been informed by wipo that ep was designated in this application
DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
122 Ep: pct application non-entry in european phase