WO2010020592A1 - Verfahren zum codieren einer folge von digitalisierten bildern - Google Patents

Verfahren zum codieren einer folge von digitalisierten bildern Download PDF

Info

Publication number
WO2010020592A1
WO2010020592A1 PCT/EP2009/060570 EP2009060570W WO2010020592A1 WO 2010020592 A1 WO2010020592 A1 WO 2010020592A1 EP 2009060570 W EP2009060570 W EP 2009060570W WO 2010020592 A1 WO2010020592 A1 WO 2010020592A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
prediction
pixels
coded
trajectories
Prior art date
Application number
PCT/EP2009/060570
Other languages
English (en)
French (fr)
Inventor
Jürgen PANDEL
Peter Amon
Original Assignee
Siemens Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Aktiengesellschaft filed Critical Siemens Aktiengesellschaft
Priority to JP2011523399A priority Critical patent/JP5284471B2/ja
Priority to EP09781871A priority patent/EP2313864A1/de
Priority to US12/737,814 priority patent/US8472739B2/en
Priority to CN200980132218.XA priority patent/CN102124495B/zh
Publication of WO2010020592A1 publication Critical patent/WO2010020592A1/de

Links

Classifications

    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3002—Conversion to or from differential modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction

Definitions

  • the invention relates to a method for coding a sequence of digitized images comprising a plurality of pixels with associated pixel values, and a corresponding decoding method and a corresponding encoder and decoder.
  • Digitized sequences of images occur, inter alia, in medical applications in which, for example, a sequence of two-dimensional sectional images of organs of the x-rayed patient are generated in X-ray images by means of a computer tomograph, these sectional images being recorded at a certain spatial distance from one another.
  • Various compression methods for the lossless compression of such image data are known from the prior art, and these methods are also used for any other digitized images.
  • the standards JPEG-LS and JPEG-2000 are used for compression, in which the individual images of the image sequence are compressed independently of each other. In this case, an existing correlation between the individual successive images is not utilized.
  • video coding standards which are used to compress moving image content, such as video. In the H.264 / AVC coding standard, image blocks of successive images are predicted by means of motion compensation. The resulting prediction error is then coded.
  • the object of the invention is to provide a method and a device for coding or decoding images, which allow good compression rates for images of any image content.
  • a sequence of digitized images comprising a multiplicity of pixels with associated pixel values is coded, wherein pixels of the images to be coded are predicted and the prediction errors resulting from the prediction are coded.
  • the prediction of a pixel to be coded is carried out for at least a part of the pixels by means of trajectories along coded pixels.
  • the prediction based on trajectories is preferably always carried out whenever possible, i. E. if there are enough already coded pixels.
  • a plurality of trajectories is first of all determined, the trajectories being respectively from the pixel to be coded and further pixels from the image of the pixel to be coded and / or from one or more temporally to the image of the pixel to be coded run the pixel adjacent images.
  • an evaluation measure is determined which is configured in such a way that the smaller the fluctuations of the uncoded pixel values of the further pixels along the trajectory are, the higher the evaluation of a trajectory according to the evaluation criterion.
  • a prediction value for the pixel value of the pixel to be coded is then determined.
  • the method according to the invention is based on the knowledge that pixels with similar pixel values often continue in a predefined direction, so that a particularly good prediction is achieved with the aid of trajectories whose pixels have similar pixel values. As a result, a high coding efficiency, in particular for lossless or almost lossless coding, can be achieved.
  • the evaluation measure here depends on the sum of the absolute deviations or the quadratic deviations between the pixel values of the further pixels of the trajectory and the mean value of these pixel values, with a trajectory being rated the higher the smaller the absolute value deviations or quadratic deviations are.
  • the evaluation measure also depends on the distances between the further pixels of the trajectory, with a trajectory being rated the higher, the larger these distances are. This achieves a suitable normalization of the evaluation measure.
  • the score may depend on the distance between the pixel to be coded and the further pixel closest to the pixel to be coded, the smaller the distance the higher the trajectory.
  • a reliability factor flows in the evaluation of the trajectory It can be assumed that the closer the further pixels of the trajectory are to the pixel to be coded, the more reliable is the statement that a pixel to be coded belongs to a structure with similar pixel values.
  • trajectories with the same length and / or trajectories with different lengths can be taken into account. All that is decisive is that a trajectory comprises at least two further, already coded pixels.
  • the permissible length of the trajectories used in the prediction is increased by one pixel each time the image is coded. This takes into account that the longer the number of images already encoded, the longer trajectories can be formed from pixels of different images. If appropriate, the permissible length of the trajectories can also be fixedly selected at least for a predetermined number of successive images.
  • the prediction value for the pixel value of the image point to be coded is determined by means of an extrapolation. Any extrapolation methods can be used, in particular a linear extrapolation and / or a spline extrapolation and / or a polynomial extrapolation.
  • the mean value of the pixel values of the further pixels can be determined as the prediction value for the pixel value of the pixel to be coded.
  • bi-points are predicted by means of trajectories comprising pixels from the same image and / or by means of trajectories comprising pixels from different images.
  • at least for the first two images are predicted by means of trajectories from the same image and / or coded based on a different coding from the inventive method.
  • the deviating coding is used in an image if there are not yet sufficient number of pixels for prediction based on trajectories.
  • the prediction errors resulting from the prediction are at least partially represented by the deviation between the pixel value of the pixel to be coded and the predicted pixel value.
  • the deviation is signed in order to correct the decoded pixel correctly by means of the deviation in a later decoding.
  • a loss of information in the coded pictures can be accepted.
  • a threshold value is preferably specified, wherein the prediction errors resulting from the prediction when the threshold value is exceeded by the deviation between the pixel value of the pixel to be coded and the predicted pixel value are represented and are otherwise set to the value zero.
  • an error bound is taken into account, with all prediction errors less than or equal to the error bound being set to zero, thereby increasing the coding efficiency.
  • the pixel value of a pixel with a prediction error of zero is replaced by the predicted pixel value, thereby avoiding a drift between the encoding and the decoding of the images.
  • the actual prediction error can be coded lossless as well as lossy in the method according to the invention.
  • methods known from the prior art are used for coding the prediction error, which in particular involves a transformation (preferably a DCT transformation) and / or a quantization and / or include entropy coding.
  • Quantization implies information loss, whereas entropy coding is lossless.
  • the pixel value of the pixel for which the prediction error was determined is preferably replaced by the predicted pixel value corrected with the decoded prediction error. This, in turn, ensures that there are no drifts between the encoding and the decoding of the images.
  • a particularly preferred field of application of the invention is the coding of digitized images in the form of medical images, in particular medical radiographs.
  • structures with the same or similar pixel values continue in those directions in which the captured object (e.g., the organ of a patient) is or is a boundary of the organ to its environment.
  • the invention further comprises a method for decoding a sequence of digitized pictures which are coded with the coding method according to the invention.
  • the prediction errors of the respective pixels are decoded and the respective pixels to be decoded are predicted, whereby a decoding error occurs.
  • the pixel results from a correction of a predicted pixel with the decoded prediction error.
  • the prediction of a pixel to be decoded is again based on trajectories.
  • a plurality of trajectories is determined, wherein the trajectories each extend through the pixel to be decoded and further, already decoded pixels from the image of the pixel to be decoded and / or from one or more temporally adjacent to the image of the pixel to be decoded Border ,
  • an evaluation measure is determined, which is designed in such a way that the smaller the fluctuations of the decoded pixel values of the further pixels along the trajectory are, the higher the evaluation of a trajectory according to the evaluation criterion.
  • a prediction value for the pixel value of the pixel to be decoded is then determined.
  • the invention further comprises a method for transmitting a sequence of digitized pictures in which the pictures of the sequence are coded using the coding method according to the invention, transmitted over a transmission link and subsequently decoded using the decoding method according to the invention.
  • the invention furthermore relates to an encoder for coding a sequence of digitized images, which comprises a prediction means for predicting pixels of the images to be coded and an encoding means for coding the prediction errors resulting from the prediction.
  • the prediction means is designed in such a way that the prediction according to the invention described above can be carried out by means of trajectories with the prediction means.
  • the invention further relates to a corresponding decoder for decoding a sequence of signals coded pictures, wherein the decoder comprises a decoding means for decoding the prediction errors of the respective pixels as well as a prediction means for predicting the pixels to be decoded, wherein the decoded dot results from a correction of a predicted pixel with the decoded prediction error.
  • the prediction means is designed in such a way that the prediction takes place by means of trajectories based on the decoding method according to the invention.
  • the invention further relates to a system comprising an encoder according to the invention and a decoder according to the invention.
  • Fig. 1 is a schematic representation of the coding of
  • FIG. 2 is a diagram which illustrates the calculation of a prediction value for a pixel to be coded according to an embodiment of the method according to the invention.
  • FIG. 3 shows a schematic representation of a system of encoder and decoder for coding and decoding a digitized image sequence according to an embodiment of the method according to the invention.
  • the principle of the coding according to the invention based on a section of a sequence of digitized images comprising three temporally successive images II, 12 and 13 will be described below with reference to FIG.
  • the sequence of images may be, for example, act of medical imaging systems.
  • the individual images can in particular represent sectional images of organs of a patient recorded using a computer tomograph.
  • Such systems generate very large amounts of data which have to be stored for lossless or virtually lossless archiving.
  • Each individual image II, 12 or 13 of the digitized image sequence according to FIG. 1 contains a multiplicity of pixels in the form of pixels, each pixel being associated with a pixel value which has a brightness value in black-and-white images and color images in color images Normally a lumi- nance value.
  • the individual pixels of the images are represented by dots in FIG. 1, wherein a distinction is made between three different types of pixels.
  • white pixels to be coded pixels P are reproduced, by black and hatched pixels P 'and P "already coded pixels.
  • the hatched pixels P ' serve in this case for the formation of trajectories for the prediction of the pixel to be coded in the third row and third column of the image 13.
  • FIG. 1 Each individual image II, 12 or 13 of the digitized image sequence according to FIG. 1 contains a multiplicity of pixels in the form of pixels, each pixel being associated with a pixel value which has a brightness value in black-and-white images and color images in color images Normally
  • FIG. 1 also shows a coordinate system with x, y and z direction.
  • the x-y plane represents the two-dimensional extent of the corresponding images, and the z-direction reproduces the temporal sequence of the images, wherein the image II was taken in front of the image 12 and the image 12 in front of the image 13.
  • the coding of the pixel in the third column and third row of the image 13 is shown.
  • trajectories are determined starting from the pixel to be coded by at least two further, already coded pixels in the same image 13 or in the adjacent images II and 12.
  • the trajectories which pass through pixels in the same image 13 are denoted by T 'in FIG.
  • the trajectories, which run through pixels in the temporally preceding images II and 12 are denoted by the reference symbol T.
  • T For reasons of clarity, again only a few trajectories are provided with the corresponding reference symbols T and T '.
  • a suitable prediction of the pixel to be coded is made possible with the coding according to the invention. The individual steps for prediction run as explained below.
  • n of pixels is selected, which are selected per trajectory.
  • the value n of the number of pixels varies in the course of the method or is chosen differently for trajectories with pixels within the same image than for trajectories with pixels from different images. If necessary, the number of permissible pixels per trajectory can always be increased by one after each encoding of a new image.
  • the trajectories running through already coded pixels are determined.
  • trajectories are used both in the image 13 and in the two preceding images II and 12.
  • Fig. 1 there are four trajectories T 'with pixels from the same image 13 and nine trajectories T, each with a pixel from the image Il and the image 12. It is determined an error measure f ⁇ now for each of the trajectories which the deviation of the Pixel values of the pixels P 'of the respective trajectory represented by the average value of these pixel values.
  • the means that the error measure is defined in the embodiment described here as follows:
  • the above error measure corresponds to a specific variant of a rating measure according to claim 1, wherein a lower error measure corresponds to a higher rating.
  • the error measure can also be defined differently if necessary, the only decisive factor is that the error measure represents a measure of the fluctuations in the pixel values along the trajectory. For example, instead of the deviation in the form of the absolute difference between the pixel value and the mean value, the quadratic deviation and thus the variance can be used to calculate the error measure.
  • error measure can also be defined such that it is normalized by the distance d of the pixels on the trajectory.
  • a corresponding error measure f 2 then reads as follows:
  • ⁇ x, Ay and ⁇ z are the distances of two pixels on the trajectory in the x, y and z directions. In the scenario of FIG. 1, these distances are constant along a trajectory.
  • the above equation may also be be modified so that changing distances between the individual pixels are taken into account.
  • the trajectory with the lowest error measure i. with the highest rating selected. This takes into account the fact that, especially in medical images, structures with an identical or similar brightness value continue in one direction.
  • the calculation of the predictor with linear extrapolation is shown in FIG.
  • the values Pl and P2 denote the positions of the already coded pixels along the trajectory used for the prediction and the point P3 is the position of the bi-dot which is to be predicted.
  • the corresponding pixel values of the pixels are plotted, for example as corresponding brightness values.
  • the pixel value of the pixel at the position Pl is denoted by W 1 and the pixel value of the pixel at the position P2 by W 2 .
  • the prediction value can also be determined in another way, for example by spline interpolation or polynomial extrapolation. Likewise, if appropriate, the mean value of the pixels can also be used as a prediction value.
  • the selection of the trajectory can be modified by a reliability factor g (a), which is dependent on a distance a of the pixel to be predicted from the nearest pixel on the trajectory.
  • This modified distance measure / ⁇ can for example be as follows:
  • trajectories comprising pixels with a small distance to the predicted pixel are preferably selected.
  • the function g (a) is monotone increasing in this case.
  • the reliability factor takes into account that the closer the pixels of a trajectory are to the predicted pixel, the higher the probability of a correct prediction.
  • an error signal (also called a prediction error) is calculated, which corresponds to the difference between the predictor and the original pixel value. In the case of lossless coding, this error signal is coded.
  • an error barrier it is also possible for an error barrier to be specified for coding, whereby the originally determined error signal is only coded if the magnitude difference of the error signal does not lie within the error barrier. Should the difference be within the error barrier, a prediction error of zero is transmitted.
  • the error barrier can also be varied, wherein the error barrier is set to zero in the case of lossless coding.
  • Pixel value of a predicted pixel is replaced by the pixel value of the predicted pixel if the difference is within the error bound. This ensures that encoders and decoders work on the same data base, avoiding drift.
  • this error is coded.
  • This coding can be done in any way with methods known in the art.
  • a transformation preferably a DCT transformation
  • quantization and / or entropy coding take place.
  • the steps of quantization and entropy coding are well known in the field of video coding. The quantization leads to a loss, whereas the entropy coding results in lossless compression.
  • the images of the image sequence are to be coded loss-free, only the entropy coding and not the quantization is used in the coding of the prediction error. If the prediction error is changed by the encoding (i.e., in particular by quantization), it is convenient to change the original pixel value of the coded pixel by the
  • the coded error is transmitted to a decoder.
  • decoding is implemented in an analogous manner based on the determination of trajectories described above.
  • the decoder decodes prediction errors and performs a prediction according to the invention based on trajectories, the individual pixel values.
  • the predicted pixels are corrected with the decoded prediction errors, thereby obtaining the original pixel value. In the case of loss-free coding, exactly the original pixel value is then also obtained.
  • the coding of the first two images does not necessarily take place on three-dimensional trajectories from different images, since initially no coded pixels from different images for forming the trajectories are present. Instead, a two-dimensional direction prediction of a pixel based on pixels of the same image is used. Furthermore, a completely different coding is used for the first pixels of the first or second image to be coded (for example, an intra-coding without prediction). tion), since initially no two-dimensional trajectories can be formed in the same image. A direction prediction based on three dimensions, ie taking into account the z direction, takes place only when the third image is coded after the method has been initialized.
  • only two-dimensional trajectories within the same image can be used in the third image.
  • the three-dimensional prediction can now also be continued for the further images to be coded, it being possible for the maximum length of the three-dimensional trajectories to be increased by one with each additional image.
  • the inventive method has a number of advantages. By selecting a preferred prediction direction per pixel based on corresponding trajectories, a good prediction can be achieved in particular for structures in which the same brightness value of an object continues in one direction, as is the case in particular with medical image data. Thus, a higher coding efficiency can be achieved, in particular for lossless or almost lossless coding.
  • the prediction direction is determined according to the invention using already coded pixels. This determination takes place in the decoder in the same way as in the encoder, so that no additional prediction information from the encoder to the decoder must be transmitted. This additionally increases the coding efficiency. Shown schematically in FIG. 3 is a system for coding and decoding an image sequence based on an embodiment of the method according to the invention.
  • the encoder for encoding the image sequence is denoted by reference numeral 1 and the encoder supplied image data stream comprising images II, 12 and 13 is first fed to a prediction means 2, which based on the inventive method by means of trajectories a prediction value and a corresponding prediction error between Predictive onswert and original pixel value of the individual pixels determined.
  • the prediction errors are then supplied to a coding means 3 which codes the prediction error based on correspondingly known coding methods, such as quantization or entropy coding.
  • the coded prediction error is finally transmitted to a decoder 4 via a transmission path indicated by the arrow P.
  • the transmission path can be wired or wireless.
  • the received prediction error is decoded into a corresponding decoding means 5.
  • the prediction of the pixel values is carried out in a prediction means 6, the prediction proceeding analogously to the prediction means 2 based on trajectories.
  • the predicted pixels are then corrected with the decoded prediction error, so that in the case of loss-free coding the original pixel value and in the case of lossy coding an approximated pixel value is obtained.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Codieren einer Folge von digitalisierten Bildern (II, I2, I3) umfassend eine Vielzahl von Bildpunkten (P, P', P'') mit zugeordneten Bildpunktwerten, bei dem zu codierende Bildpunkte (P, P', P'' ) der Bilder (I1, I2, I3) prädiziert werden und die sich aus der Prädiktion ergebenden Prädiktionsfehler codiert werden. Die Prädiktion eines zu codierenden Bildpunkts (P, P', P'') für zumindest einen Teil der zu codierenden Bildpunkte (P) erfolgt dabei derart, dass eine Mehrzahl von Trajektorien (T, T') ermittelt wird, wobei die Trajektorien (T, T') jeweils durch den zu codierenden Bildpunkt (P) und weitere, bereits codierte Bildpunkte (P') aus dem Bild (I3) des zu codierenden Bildpunkts (P) und/oder aus einem oder mehreren zeitlich zu dem Bild (I3) des zu codierenden Bildpunkts (P) benachbarten Bildern (I1, I2) verlaufen. Für die ermittelten Trajektorien (T, T') wird jeweils ein Bewertungsmaß bestimmt, welches derart ausgestaltet ist, dass eine Trajektorie (T, T') gemäß dem Bewertungsmaß umso höher bewertet wird, je kleiner die Schwankungen der uncodierten Bildpunktwerte (w1, w2) der weiteren Bildpunkte (P') entlang der Trajektorie (T, T') sind. Basierend auf den weiteren Bildpunkten (P') der Trajektorie (T, T' ) mit der höchsten Bewertung wird ein Prädiktionswert (ŵ) für den Bildpunktwert des zu codierenden Bildpunkts (P) ermittelt. Ein bevorzugter Anwendungsbereich des erfindungsgemäßen Verfahrens ist die Codierung von digitalisierten Bildern in der Form von medizinischen Aufnahmen, insbesondere von medizinischen Röntgenaufnahmen, beispielsweise von Aufnahmen eines Computertomographen.

Description

Beschreibung
Verfahren zum Codieren einer Folge von digitalisierten Bildern
Die Erfindung betrifft ein Verfahren zum Codieren einer Folge von digitalisierten Bildern umfassend eine Vielzahl von Bildpunkten mit zugeordneten Bildpunktwerten sowie ein entsprechendes Decodierverfahren und einen entsprechenden Encoder und Decoder.
In einer Vielzahl von technischen Anwendungsgebieten ist es wünschenswert, digitalisierte Bilder möglichst gut mit geringen Verlusten zu komprimieren, um damit den Speicherplatz für die Bilder klein zu halten. Darüber hinaus ist es oftmals erforderlich, große Datenmengen von digitalisierten Bilderfolgen möglichst schnell aus einem Speicher über ein Übertragungsnetz auch bei eingeschränkter Bandbreite des Netzes abzurufen, wobei gegebenenfalls auch geringfügige Verluste bei der Kompression der Bilddaten akzeptiert werden können.
Digitalisierte Bilderfolgen treten unter anderem in medizinischen Anwendungen auf, bei denen beispielsweise bei Röntgenaufnahmen mittels eines Computertomographen eine Folge von zweidimensionalen Schnittbildern von Organen des geröntgten Patienten generiert werden, wobei diese Schnittbilder in einem gewissen räumlichen Abstand zueinander aufgenommen werden. Aus dem Stand der Technik sind verschiedene Kompressionsverfahren für die verlustfreie Kompression solcher Bildda- ten bekannt, wobei diese Verfahren auch für beliebige andere digitalisierte Bilder eingesetzt werden. Insbesondere werden zur Kompression die Standards JPEG-LS bzw. JPEG-2000 eingesetzt, bei denen die einzelnen Bilder der Bilderfolge unabhängig voneinander komprimiert werden. Dabei wird eine beste- hende Korrelation zwischen den einzelnen aufeinander folgenden Bildern nicht ausgenutzt. Aus dem Stand der Technik sind ferner verschiedene Videocodierstandards bekannt, welche zur Kompression von sich bewegenden Bildinhalten, beispielsweise von Videofilmen, eingesetzt werden. In dem Codierstandard H.264/AVC werden Bildblö- cke von aufeinander folgenden Bildern mit Hilfe von Bewegungskompensation prädiziert. Der sich ergebende Prädiktionsfehler wird dann codiert.
Aufgabe der Erfindung ist es, ein Verfahren bzw. eine Vor- richtung zum Codieren bzw. Decodieren von Bildern zu schaffen, welche gute Kompressionsraten für Bilder beliebiger Bildinhalte ermöglichen.
Diese Aufgabe wird durch das Verfahren gemäß dem unabhängigen Patentanspruch 1 bzw. das Verfahren gemäß dem unabhängigen
Patentanspruch 19 bzw. den Encoder gemäß dem unabhängigen Patentanspruch 21 bzw. den Decoder gemäß dem unabhängigen Patentanspruch 22 gelöst. Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen definiert.
In dem erfindungsgemäßen Verfahren wird eine Folge von digitalisierten Bildern umfassend eine Vielzahl von Bildpunkten mit zugeordneten Bildpunktwerten codiert, wobei zu codierende Bildpunkte der Bilder prädiziert werden und die sich aus der Prädiktion ergebenden Prädiktionsfehler codiert werden. Die Prädiktion eines zu codierenden Bildpunkts erfolgt dabei für zumindest einen Teil der Bildpunkte mit Hilfe von Trajekto- rien entlang codierter Bildpunkte. Die Prädiktion basierend auf Trajektorien wird dabei vorzugsweise immer dann durchge- führt, wenn sie möglich ist, d.h. wenn ausreichend viele bereits codierte Bildpunkte vorliegen.
Bei der erfindungsgemäßen Prädiktion eines zu codierenden Bildpunkts basierend auf Trajektorien wird zunächst eine Mehrzahl von Trajektorien ermittelt, wobei die Trajektorien jeweils durch den zu codierenden Bildpunkt und weitere Bildpunkte aus dem Bild des zu codierenden Bildpunkts und/oder aus einem oder mehreren zeitlich zu dem Bild des zu codieren- den Bildpunkts benachbarten Bildern verlaufen. Für die ermittelten Trajektorien wird jeweils ein Bewertungsmaß bestimmt, welches derart ausgestaltet ist, dass eine Trajektorie gemäß dem Bewertungsmaß umso höher bewertet wird, je kleiner die Schwankungen der uncodierten Bildpunktwerte der weiteren Bildpunkte entlang der Trajektorie sind. Basierend auf den weiteren Bildpunkten der Trajektorie mit der höchsten Bewertung bzw. dem höchsten Bewertungsmaß wird dann ein Prädiktionswert für den Bildpunktwert des zu codierenden Bildpunkts ermittelt.
Das erfindungsgemäße Verfahren beruht auf der Erkenntnis, dass sich Bildpunkte mit ähnlichen Bildpunktwerten oftmals in eine vorgegebene Richtung fortsetzen, so dass eine besonders gute Prädiktion mit Hilfe von Trajektorien erreicht wird, deren Bildpunkte ähnliche Bildpunktwerte aufweisen. Hierdurch kann eine hohe Codiereffizienz, insbesondere für eine verlustfreie oder nahezu verlustfreie Codierung, erreicht werden .
In einer besonders bevorzugten Ausführungsform hängt das Bewertungsmaß dabei von der Summe der betragsmäßigen Abweichungen oder der quadratischen Abweichungen zwischen den Bildpunktwerte der weiteren Bildpunkte der Trajektorie und dem Mittelwert dieser Bildpunktwerte ab, wobei eine Trajektorie umso höher bewertet wird, je kleiner die betragsmäßigen Abweichungen oder quadratischen Abweichungen sind.
Gegebenenfalls hängt das Bewertungsmaß auch von den Abständen zwischen den weiteren Bildpunkten der Trajektorie ab, wobei eine Trajektorie umso höher bewertet wird, je größer diese Abstände sind. Hierdurch wird eine geeignete Normalisierung des Bewertungsmaßes erreicht. Ebenso kann das Bewertungsmaß von dem Abstand zwischen dem zu codierenden Bildpunkt zu dem weiteren, am nächsten zu dem zu codierenden Bildpunkt liegenden Bildpunkt abhängen, wobei eine Trajektorie umso höher bewertet wird, je geringer dieser Abstand ist. Hierdurch fließt bei der Bewertung der Trajektorie ein Zuverlässigkeitsfaktor ein, wobei davon ausgegangen werden kann, dass die Aussage, dass ein zu codierender Bildpunkt zu einer Struktur mit ähnlichen Bildpunktwerten gehört, umso zuverlässiger ist, je näher die weiteren Bildpunkte der Trajektorie zu dem zu codie- renden Bildpunkt sind.
Bei der erfindungsgemäß durchgeführten Prädiktion können Tra- jektorien mit der gleichen Länge und/oder auch Trajektorien mit unterschiedlichen Längen berücksichtigt werden. Entschei- dend ist lediglich, dass eine Trajektorie zumindest zwei weitere, bereits codierte Bildpunkte umfasst.
In einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens wird die zulässige Länge der bei der Prädiktion verwen- deten Trajektorien nach jeder Codierung des Bildes um einen Bildpunkt erhöht. Hierdurch wird berücksichtigt, dass umso längere Trajektorien aus Bildpunkten verschiedener Bilder gebildet werden können, je mehr Bilder bereits codiert wurden. Gegebenenfalls kann die zulässige Länge der Trajektorien zu- mindest für eine vorbestimmte Anzahl von aufeinander folgenden Bildern auch fest gewählt werden.
In einer besonders bevorzugten Ausführungsform wird der Prädiktionswert für den Bildpunktwert des zu codierenden BiId- punkts mittels einer Extrapolation bestimmt. Es können dabei beliebige Extrapolationsverfahren eingesetzt werden, insbesondere eine lineare Extrapolation und/oder eine Spline- Extrapolation und/oder eine Polynom-Extrapolation. Gegebenenfalls ist es auch möglich, dass als Prädiktionswert für den Bildpunktwert des zu codierenden Bildpunkts der Mittelwert der Bildpunktwerte der weiteren Bildpunkte bestimmt wird.
In einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens werden für zumindest einen Teil der Bilder BiId- punkte mittels Trajektorien umfassend Bildpunkte aus dem gleichen Bild und/oder mittels Trajektorien umfassend Bildpunkte aus verschiedenen Bildern prädiziert. Insbesondere werden bei der Initialisierung des Verfahrens zumindest für die ersten beiden Bilder Bildpunkte mittels Trajektorien aus dem gleichen Bild prädiziert und/oder basierend auf einer von dem erfindungsgemäßen Verfahren abweichenden Codierung codiert. Die abweichende Codierung wird in einem Bild dann ein- gesetzt, wenn noch nicht ausreichend viele Bildpunkte zur Prädiktion basierend auf Trajektorien vorliegen.
In einer bevorzugten Ausführungsform werden die sich aus der Prädiktion ergebenden Prädiktionsfehler zumindest teilweise durch die Abweichung zwischen dem Bildpunktwert des zu codierenden Bildpunkts und dem prädizierten Bildpunktwert repräsentiert. Die Abweichung ist dabei insbesondere vorzeichenbehaftet, um bei einer späteren Decodierung auch den decodierten Bildpunkt richtig mittels der Abweichung zu korrigieren.
Gegebenenfalls kann in dem erfindungsgemäßen Verfahren zur Erhöhung der Codiereffizienz ein Informationsverlust in den codierten Bildern akzeptiert werden. Vorzugsweise wird dabei ein Schwellwert vorgegeben, wobei die sich aus der Prädiktion ergebenden Prädiktionsfehler beim betragsmäßigen Überschreiten des Schwellwerts durch die Abweichung zwischen dem Bildpunktwert des zu codierenden Bildpunkts und dem prädizierten Bildpunktwert repräsentiert werden und ansonsten auf den Wert Null gesetzt werden. Auf diese Weise wird eine Fehlerschranke berücksichtigt, wobei alle Prädiktionsfehler kleiner oder gleich der Fehlerschranke auf Null gesetzt werden, wodurch die Codiereffizienz erhöht wird. Vorzugsweise wird dabei der Bildpunktwert eines Bildpunkts mit einem Prädiktionsfehler von Null durch den prädizierten Bildpunktwert ersetzt, um hierdurch einen Drift zwischen der Codierung und der Decodierung der Bilder zu vermeiden.
Der eigentliche Prädiktionsfehler kann in dem erfindungsgemäßen Verfahren sowohl verlustfrei als auch verlustbehaftet co- diert werden. Es werden hierbei aus dem Stand der Technik bekannte Verfahren zur Codierung des Prädiktionsfehlers verwendet, welche insbesondere eine Transformation (vorzugsweise eine DCT-Transformation) und/oder eine Quantisierung und/oder eine Entropiecodierung umfassen. Eine Quantisierung impliziert dabei Informationsverluste, wohingegen die Entropiecodierung verlustfrei ist.
Im Falle einer verlustbehafteten Codierung eines Prädiktionsfehlers wird der Bildpunktwert des Bildpunkts, für den der Prädiktionsfehler ermittelt wurde, vorzugsweise durch den prädizierten und mit dem decodierten Prädiktionsfehler korrigierten Bildpunktwert ersetzt. Auf diese Weise wird wiederum sichergestellt, dass keine Drifts zwischen der Codierung und der Decodierung der Bilder auftritt.
Im Regelfall ist es in dem erfindungsgemäßen Verfahren nicht erforderlich, dass Seiteninformationen betreffend die Durch- führung der Codierung übertragen werden, da bei der Decodierung in analoger Weise wie bei der Codierung vorgegangen wird und hierzu keine Informationen von dem die Codierung durchführenden Encoder benötigt werden. Sollten mehrere unterschiedliche Prädiktionsmodi verwendet werden, können jedoch gegebenenfalls Seiteninformationen zur Signalisierung des verwendeten Prädiktionsmodus für die codierten Bilder erzeugt werden .
Ein besonders bevorzugter Anwendungsbereich der Erfindung ist die Codierung von digitalisierten Bildern in der Form von medizinischen Aufnahmen, insbesondere von medizinischen Röntgenaufnahmen. Vor allem bei diesen Aufnahmen setzen sich Strukturen mit den gleichen oder ähnlichen Bildpunktwerten in solche Richtungen fort, in denen das aufgenommene Objekt (z.B. das Organ eines Patienten) liegt bzw. welche eine Grenze des Organs zu seiner Umgebung darstellen.
Neben dem oben beschriebenen Codierverfahren umfasst die Erfindung ferner ein Verfahren zum Decodieren einer Folge von digitalisierten Bildern, welche mit dem erfindungsgemäßen Codierverfahren codiert sind. Dabei werden die Prädiktionsfehler der jeweiligen Bildpunkte decodiert und die jeweiligen zu decodierenden Bildpunkte prädiziert, wobei sich ein decodier- ter Bildpunkt aus einer Korrektur eines prädizierten Bildpunkts mit dem decodierten Prädiktionsfehler ergibt. Die Prädiktion eines zu decodierenden Bildpunkts läuft dabei wiederum basierend auf Trajektorien ab. Insbesondere wird eine Mehrzahl von Trajektorien ermittelt, wobei die Trajektorien jeweils durch den zu decodierenden Bildpunkt und weiteren, bereits decodierten Bildpunkten aus dem Bild des zu decodierenden Bildpunkts und/oder aus einem oder mehreren zeitlich zu dem Bild des zu decodierenden Bildpunkts benachbarten BiI- dern verlaufen. Für die ermittelten Trajektorien wird jeweils ein Bewertungsmaß bestimmt, welches derart ausgestaltet ist, dass eine Trajektorie gemäß dem Bewertungsmaß umso höher bewertet wird, je kleiner die Schwankungen der decodierten Bildpunktwerte der weiteren Bildpunkte entlang der Trajekto- rie sind. Basierend auf den weiteren Bildpunkten der Trajektorie mit der höchsten Bewertung bzw. dem höchsten Bewertungsmaß wird dann ein Prädiktionswert für den Bildpunktwert des zu decodierenden Bildpunkts ermittelt.
Neben den oben beschriebenen Codier- und Decodierverfahren umfasst die Erfindung ferner ein Verfahren zum Übertragen einer Folge von digitalisierten Bildern, bei denen die Bilder der Folge mit dem erfindungsgemäßen Codierverfahren codiert werden, über eine Übertragungsstrecke übertragen werden und anschließend mit dem erfindungsgemäßen Decodierverfahren decodiert werden.
Die Erfindung betrifft darüber hinaus einen Encoder zum Codieren einer Folge von digitalisierten Bildern, der ein Prä- diktionsmittel zur Prädiktion von zu codierenden Bildpunkten der Bilder sowie ein Codiermittel zum Codieren der für die sich aus der Prädiktion ergebenden Prädiktionsfehler umfasst. Das Prädiktionsmittel ist dabei derart ausgestaltet, dass die oben beschriebene erfindungsgemäße Prädiktion mittels Trajek- torien mit dem Prädiktionsmittel durchführbar ist.
Die Erfindung betrifft ferner einen entsprechenden Decoder zum Decodieren einer Folge von mit dem erfindungsgemäßen Ver- fahren codierter Bilder, wobei der Decoder ein Decodiermittel zum Decodieren der Prädiktionsfehler der jeweiligen Bildpunkte sowie ein Prädiktionsmittel zur Prädiktion der zu decodierenden Bildpunkte umfasst, wobei sich der decodierte BiId- punkt aus einer Korrektur eines prädizierten Bildpunkts mit dem decodierten Prädiktionsfehler ergibt. Das Prädiktionsmittel ist dabei derart ausgestaltet, dass die Prädiktion mittels Trajektorien basierend auf dem erfindungsgemäßen Deco- dierverfahren erfolgt.
Die Erfindung betrifft darüber hinaus ein System, umfassend einen erfindungsgemäßen Encoder und einen erfindungsgemäßen Decoder .
Ausführungsbeispiele der Erfindung werden nachfolgend anhand der beigefügten Figuren detailliert beschrieben.
Es zeigen:
Fig. 1 eine schematische Darstellung der Codierung von
Bildern gemäß einer Ausführungsform des erfindungsgemäßen Verfahrens;
Fig. 2 ein Diagramm, welches die Berechnung eines Prädik- tionswerts für einen zu codierenden Bildpunkt gemäß einer Ausführungsform des erfindungsgemäßen Verfahrens verdeutlicht; und
Fig. 3 eine schematische Darstellung eines Systems aus En- coder und Decoder zum Codieren und Decodieren einer digitalisierten Bilderfolge gemäß einer Ausführungsform des erfindungsgemäßen Verfahrens.
Nachfolgend wird anhand von Fig. 1 das Prinzip der erfin- dungsgemäßen Codierung basierend auf einem Ausschnitt einer Folge von digitalisierten Bildern umfassend drei zeitlich aufeinander folgende Bildern II, 12 und 13 beschrieben. Bei der Folge von Bildern kann es sich beispielsweise um Aufnah- men von bildgebenden medizinischen Systemen handeln. Die einzelnen Bilder können insbesondere mit einem Computertomographen erfasste Schnittaufnahmen von Organen eines Patienten darstellen. Durch solche Systeme werden sehr große Daten- mengen generiert, welche für eine Archivierung verlustfrei oder nahezu verlustfrei gespeichert werden müssen.
Jedes einzelne Bild II, 12 bzw. 13 der digitalisierten Bilderfolge gemäß Fig. 1 enthält eine Vielzahl von Bildpunk- ten in der Form von Pixeln, wobei jedem Pixel ein Bildpunktwert zugeordnet ist, der bei Schwarz-Weiß-Aufnahmen ein Helligkeitswert und bei Farbaufnahmen im Regelfall ein Lumi- nanzwert ist. Die einzelnen Bildpunkte der Bilder sind in Fig. 1 durch Punkte dargestellt, wobei zwischen drei ver- schiedenen Arten von Bildpunkten unterschieden wird. Durch weiße Bildpunkte werden zu codierende Bildpunkte P wiedergegeben, durch schwarze und schraffierte Bildpunkte P' und P' ' bereits codierte Bildpunkte. Die schraffierten Bildpunkte P' dienen dabei in Fig. 1 zur Bildung von Trajektorien zur Prä- diktion des zu codierenden Bildpunkts in der dritten Zeile und dritten Spalte des Bilds 13. In Fig. 1 sind aus Übersichtlichkeitsgründen lediglich einige der Bildpunkte mit den entsprechenden Bezugszeichen P, P' und P'' versehen. In Fig. 1 ist ferner ein Koordinatensystem mit x, y und z-Richtung wiedergegeben. Die x-y-Ebene repräsentiert dabei die zweidimensionale Ausdehnung der entsprechenden Bilder und durch die z-Richtung wird die zeitliche Reihenfolge der Bilder wiedergegeben, wobei das Bild Il vor dem Bild 12 und das Bild 12 vor dem Bild 13 aufgenommen wurde.
In dem Beispiel der Fig. 1 ist die Codierung des Pixels in der dritten Spalte und dritten Zeile des Bilds 13 wiedergegeben. Bei der erfindungsgemäßen Codierung werden dabei Trajektorien ausgehend von dem zu codierenden Bildpunkt durch zu- mindest zwei weitere, bereits codierte Bildpunkte im gleichen Bild 13 bzw. in den benachbarten Bildern Il und 12 bestimmt. Die Trajektorien, welche durch Bildpunkte im gleichen Bild 13 verlaufen, sind in Fig. 1 dabei mit T' bezeichnet. Demgegen- über sind die Trajektorien, welche durch Bildpunkte in den zeitlich vorhergehenden Bildern Il und 12 verlaufen, mit dem Bezugszeichen T bezeichnet. Es sind aus Übersichtlichkeitsgründen wiederum nur einige Trajektorien mit den entsprechen- den Bezugszeichen T bzw. T' versehen. Basierend auf den Trajektorien wird mit der erfindungsgemäßen Codierung eine geeignete Prädiktion des zu codierenden Bildpunkts ermöglicht. Die einzelnen Schritte zur Prädiktion laufen dabei wie nachfolgend erläutert ab.
Zunächst wird eine Anzahl n von Bildpunkten festgelegt, die pro Trajektorie ausgewählt werden. Die Anzahl entspricht dabei der Gesamtanzahl der Bildpunkte pro Trajektorie abzüglich des zu codierenden Bildpunkts. Es müssen dabei mindestens zwei Bildpunkte als Mindestanzahl vorhanden sein. In dem Szenario der Fig. 1 wurde diese Anzahl auf n = 2 gesetzt. Es ist jedoch auch möglich, dass der Wert n der Anzahl der Bildpunkte im Laufe des Verfahrens variiert bzw. für Trajektorien mit Bildpunkten innerhalb des gleichen Bildes anders gewählt wird als für Trajektorien mit Bildpunkten aus verschiedenen Bildern. Gegebenenfalls kann nach jeder Codierung eines neuen Bildes die Anzahl an zulässigen Bildpunkten pro Trajektorie immer um eins heraufgesetzt werden.
Nach Festlegung der Anzahl der Bildpunkte werden die durch bereits codierte Bildpunkte verlaufenden Trajektorien bestimmt. In dem Szenario der Fig. 1 werden dabei Trajektorien sowohl in dem Bild 13 als auch in den zwei vorhergehenden Bildern Il und 12 herangezogen. Gegebenenfalls ist es auch möglich, dass in dem Verfahren nur Trajektorien aus dem gleichen Bild bzw. nur Trajektorien mit Bildpunkten aus verschiedenen Bildern verwendet werden. Gemäß Fig. 1 existieren vier Trajektorien T' mit Bildpunkten aus dem gleichen Bild 13 und neun Trajektorien T mit jeweils einem Bildpunkt aus dem Bild Il und dem Bild 12. Es wird nunmehr für jede der Trajektorien ein Fehlermaß fγ bestimmt, welches die Abweichung der Bildpunktwerte der Bildpunkte P' der jeweiligen Trajektorie von dem Mittelwert dieser Bildpunktwerte repräsentiert. Das heißt, das Fehlermaß ist in der hier beschriebenen Ausführungsform wie folgt definiert:
Figure imgf000013_0001
Das obige Fehlermaß entspricht einer speziellen Variante eines Bewertungsmaßes gemäß Anspruch 1, wobei ein geringeres Fehlermaß einer höheren Bewertung entspricht.
Das Fehlermaß kann auch gegebenenfalls anders definiert sein, entscheidend ist lediglich, dass das Fehlermaß ein Maß für die Schwankungen der Bildpunktwerte entlang der Trajektorie darstellt. Beispielsweise kann anstatt der Abweichung in der Form der betragsmäßigen Differenz zwischen Bildpunktwert und Mittelwert auch die quadratische Abweichung und damit die Varianz zur Berechnung des Fehlermaßes verwendet werden.
Mit Hilfe des obigen Fehlermaßes ergibt sich für das Szenario der Fig. 1, bei dem n = 2 gewählt ist, das Fehlermaß wie folgt:
Figure imgf000013_0002
Das Fehlermaß kann gegebenenfalls auch so definiert sein, dass es durch den Abstand d der Bildpunkte auf der Trajektorie normalisiert wird. Ein entsprechendes Fehlermaß f2 lautet dann wie folgt:
Figure imgf000013_0003
Δx , Ay und Δz sind dabei die Abstände von zwei Bildpunkten auf der Trajektorie in x- bzw. y- bzw. z-Richtung. In dem Szenario der Fig. 1 sind diese Abstände entlang einer Trajektorie konstant. Gegebenenfalls kann die obige Gleichung auch derart modifiziert werden, dass sich verändernde Abstände zwischen den einzelnen Bildpunkten berücksichtigt werden.
Basierend auf dem Fehlermaß wird schließlich die Trajektorie mit dem geringsten Fehlermaß, d.h. mit der höchsten Bewertung, ausgewählt. Dabei wird die Tatsache berücksichtigt, dass sich insbesondere in medizinischen Bildern Strukturen mit einem gleichen oder ähnlichen Helligkeitswert in eine Richtung fortsetzen. Der Prädiktor bzw. Prädiktionswert w für das zu codierende Pixel wird dann in der hier beschriebenen Ausführungsform basierend auf einer Extrapolation entlang der ausgewählten Trajektorie ermittelt. Für den in Fig. 1 betrachteten Fall, bei dem n = 2 gilt, wird beispielsweise eine lineare Extrapolation verwendet, bei der sich der Prädiktor w wie folgt ergibt:
W = W2- Aw =w2- (wλ -W2) = Iw2 - W1
Die Berechnung des Prädiktors mit linearer Extrapolation ist in Fig. 2 gezeigt. Entlang der Abszisse ist der Verlauf der Trajektorie wiedergegeben, der geeignet parametrisiert ist. Die Werte Pl und P2 bezeichnen dabei die Positionen der bereits codierten Bildpunkte entlang der zur Prädiktion verwendeten Trajektorie und der Punkt P3 ist die Position des BiId- punkts, der zu prädizieren ist. Entlang der Ordinate sind die entsprechenden Bildpunktwerte der Bildpunkte, beispielsweise als entsprechende Helligkeitswerte, aufgetragen. Der Bildpunktwert des Bildpunkts an der Position Pl ist dabei mit W1 und der Bildpunktwert des Bildpunkts an der Position P2 mit W2 bezeichnet. Bei der linearen Extrapolation wird nunmehr eine Gerade durch die Bildpunkte W1 und w2 gelegt, und entsprechend der Geradengleichung wird an der Position P3 der Bildpunktwert w des zu codierenden Bildpunkts bestimmt. Man erkennt, dass in dem Szenario der Fig. 1 der Bildpunktwert von W1 nach w2 um den Abstand Δw abnimmt. Um diesen Abstand ist dann auch der prädizierte Bildpunktwert w kleiner als der Bildpunktwert w2. Anstatt der oben beschriebenen linearen Extrapolation kann der Prädiktionswert auch auf andere Weise, beispielsweise durch eine Spline-Interpolation oder Polynom-Extrapolation, bestimmt werden. Ebenso kann gegebenenfalls auch der Mittel- wert der Bildpunkte als Prädiktionswert verwendet werden.
In einer weiteren Variante des erfindungsgemäßen Verfahrens kann die Auswahl der Trajektorie durch einen Zuverlässigkeitsfaktor g(a) modifiziert werden, der in Abhängigkeit von einem Abstand a des zu prädizierenden Bildpunkts zu dem nächstliegenden Bildpunkt auf der Trajektorie ist. Dieses modifizierte Abstandsmaß /{ kann dabei beispielsweise wie folgt lauten:
f[= gia)-fx
Mit obiger Gleichung kann berücksichtigt werden, dass Trajek- torien umfassend Bildpunkte mit einem kleinen Abstand zum prädizierten Bildpunkt bevorzugt ausgewählt werden. Die Funk- tion g(a) ist in diesem Fall monoton steigend. Mit dem Zuverlässigkeitsfaktor wird berücksichtigt, dass die Wahrscheinlichkeit einer richtigen Prädiktion höher ist, je näher die Bildpunkte einer Trajektorie zu dem zu prädizierenden Bildpunkt sind.
Nach der Ermittlung des Prädiktionswerts w folgen schließlich die Restfehlerermittlung und die anschließende Codierung dieses Restfehlers. Der Prädiktor w entspricht im Regelfall nicht dem zu codierenden Originalbildpunktwert. Deshalb wird ein Fehlersignal (auch als Prädiktionsfehler bezeichnet) berechnet, welches der Differenz zwischen Prädiktor und Originalbildpunktwert entspricht. Im Falle einer verlustfreien Codierung wird dieses Fehlersignal codiert. Es ist jedoch auch möglich, dass zur Codierung eine Fehlerschranke vorgegeben wird, wobei das ursprünglich ermittelte Fehlersignal nur dann codiert wird, wenn die betragsmäßige Differenz des Fehlersignals nicht innerhalb der Fehlerschranke liegt. Sollte die betragsmäßige Differenz innerhalb der Fehlerschranke liegen, wird ein Prädiktionsfehler von Null übertragen. Gegebenenfalls kann die Fehlerschranke auch variiert werden, wobei für den Fall der verlustfreien Codierung die Fehlerschranke auf Null gesetzt wird.
Durch die Berücksichtigung einer Fehlerschranke wird eine höhere Kompression der codierten Bilder erreicht. Die Bildqualität nimmt zwar ab, jedoch kann sie für bestimmte Anwendungen weiterhin ausreichend sein. Bei der Berücksichtigung ei- ner Fehlerschranke ist es günstig, dass der ursprüngliche
Bildpunktwert eines prädizierten Bildpunkts durch den Bildpunktwert des prädizierten Bildpunkts ersetzt wird, falls die Differenz innerhalb der Fehlerschranke liegt. Auf diese Weise wird sichergestellt, dass Encoder und Decoder auf derselben Datengrundlage arbeiten, wodurch Drift vermieden wird.
Nach der Bestimmung des Fehlersignals bzw. Prädiktionsfehlers wird dieser Fehler codiert. Diese Codierung kann auf beliebige Weise mit aus dem Stand der Technik bekannten Verfahren erfolgen. Insbesondere kann eine Transformation (vorzugsweise eine DCT-Transformation) des Prädiktionsfehler durchgeführt werden und anschließend basierend auf den transformierten Prädiktionsfehlern eine Quantisierung und/oder eine Entropiecodierung erfolgen. Die Schritte der Quantisierung und Entro- piecodierung sind dabei aus dem Bereich der Videocodierung hinlänglich bekannt. Dabei führt die Quantisierung zu einem Verlust, wohingegen durch die Entropiecodierung eine verlustlose Komprimierung durchgeführt wird.
Sollen die Bilder der Bilderfolge verlustfrei codiert werden, wird bei der Codierung des Prädiktionsfehlers nur die Entropiecodierung und nicht die Quantisierung eingesetzt. Wird der Prädiktionsfehler durch die Codierung (d.h. insbesondere durch eine Quantisierung) verändert, ist es günstig, den ur- sprünglichen Bildpunktwert des codierten Pixels durch den
Bildpunktwert zu ersetzen, der sich aus dem prädizierten Wert und dem codierten und anschließend wieder decodierten Prädiktionsfehler ergibt. Auf diese Weise wird wiederum sicherge- stellt, dass Encoder und Decoder dieselbe Datengrundlage für die Bestimmung der Prädiktoren haben, so dass Drift vermieden wird.
Nach der soeben beschriebenen Codierung des Prädiktionsfehlers wird der codierte Fehler an einen Decoder übertragen. In dem Decoder ist in analoger Weise eine Decodierung basierend auf der im Vorangegangenen beschriebenen Ermittlung von Tra- jektorien implementiert. Insbesondere decodiert der Decoder Prädiktionsfehler und führt eine erfindungsgemäße Prädiktion basierend auf Trajektorien die einzelnen Bildpunktwerte durch. Anschließend werden die prädizierten Bildpunkte mit den decodierten Prädiktionsfehlern korrigiert, um hierdurch den ursprünglichen Pixelwert zu erhalten. Im Falle einer ver- lustfreien Codierung wird dann auch exakt der ursprüngliche Pixelwert erhalten.
Bei der Decodierung ist es in dem erfindungsgemäßen Verfahren nicht erforderlich, dass Seiteninformationen zur Auswahl der Trajektorie an den Decoder übertragen werden, da der Decoder die Auswahl der Trajektorien analog zum Encoder nachvollziehen kann. Lediglich für den Fall, dass der Encoder sich aus Effizienzgründen für eine andere Trajektorie entscheidet oder zwischen verschiedenen Prädiktionsmodi gewechselt wird (z.B. zwischen den bekannten Modi im Standard H.264/AVC zur Codierung des Prädiktionsfehlers), können entsprechende Seiteninformationen optional übermittelt werden.
Bei der Initialisierung des erfindungsgemäßen Verfahrens er- folgt die Codierung der ersten beiden Bilder zwangsläufig nicht auf dreidimensionalen Trajektorien aus unterschiedlichen Bildern, da anfangs noch keine codierten Bildpunkte aus verschiedenen Bildern zur Bildung der Trajektorien vorhanden sind. Stattdessen wird eine zweidimensionale Richtungsprädik- tion eines Bildpunkts basierend auf Bildpunkten des gleichen Bildes verwendet. Ferner wird für die ersten zu codierenden Bildpunkte des ersten bzw. zweiten Bildes eine komplett andere Codierung verwendet (z.B. eine Intracodierung ohne Prädik- tion) , da anfangs auch noch keine zweidimensionalen Trajekto- rien im gleichen Bild gebildet werden können. Eine Richtungsprädiktion basierend auf drei Dimensionen, d.h. unter Berücksichtigung der z-Richtung, erfolgt erst bei der Codie- rung des dritten Bildes nach der Initialisierung des Verfahrens .
Für das dritte zu codierende Bild sind dreidimensionale und auch zweidimensionale Trajektorien der Länge n = 2 vorgese- hen, wie dies in Fig. 1 angedeutet ist. Alternativ können im dritten Bild auch ausschließlich zweidimensionale Trajektorien innerhalb des gleichen Bilds verwendet werden. Es ist dann jedoch erforderlich, für ausgewählte Bildbereiche (z.B. Blöcke vorgegebener Größe) den Prädiktionsmodus zu signali- sieren und als Seiteninformation an den Decoder zu übertragen. Die dreidimensionale Prädiktion kann nunmehr auch für die weiteren zu codierenden Bilder fortgesetzt werden, wobei mit jedem hinzukommenden Bild gegebenenfalls die maximale Länge der dreidimensionalen Trajektorien um eins erhöht wer- den kann.
Das erfindungsgemäße Verfahren weist eine Reihe von Vorteilen auf. Durch die Auswahl einer bevorzugten Prädiktionsrichtung pro Bildpunkt basierend auf entsprechenden Trajektorien kann eine gute Prädiktion insbesondere für Strukturen erreicht werden, bei denen sich derselbe Helligkeitswerts eines Objekts in eine Richtung fortsetzt, wie dies insbesondere bei medizinischen Bilddaten der Fall ist. Es kann somit eine höhere Codiereffizienz, insbesondere für verlustfreie bzw. na- hezu verlustfreie Codierung, erreicht werden. Die Prädiktionsrichtung wird erfindungsgemäß anhand bereits codierter Bildpunkte ermittelt. Diese Ermittlung erfolgt im Decoder in der gleichen Weise wie im Encoder, so dass keine zusätzlichen Prädiktionsinformationen vom Encoder an den Decoder übermit- telt werden müssen. Dies erhöht zusätzlich die Codiereffizienz . In Fig. 3 ist schematisiert ein System zum Codieren und Decodieren einer Bilderfolge basierend auf einer Ausführungsform des erfindungsgemäßen Verfahrens wiedergegeben. Der Encoder zum Codieren der Bilderfolge ist dabei mit Bezugszeichen 1 bezeichnet und der dem Encoder zugeführte Bilddatenstrom umfassend die Bilder II, 12 und 13 wird zunächst einem Prädiktionsmittel 2 zugeführt, das basierend auf dem erfindungsgemäßen Verfahren mittels Trajektorien einen Prädiktionswert und einen entsprechenden Prädiktionsfehler zwischen Prädikti- onswert und ursprünglichem Bildpunktwert der einzelnen Bildpunkte ermittelt. Die Prädiktionsfehler werden dann einem Codiermittel 3 zugeführt, der basierend auf entsprechend bekannten Codierverfahren, wie Quantisierung bzw. Entropiecodierung, den Prädiktionsfehler codiert.
Der codierte Prädiktionsfehler wird schließlich über einen Übertragungsweg, der mit dem Pfeil P angedeutet ist, an einen Decoder 4 übertragen. Der Übertragungsweg kann dabei leitungsgebunden oder drahtlos sein. Im Decoder erfolgt eine De- Codierung des empfangenen Prädiktionsfehlers in einem entsprechenden Decodiermittel 5. Ferner wird die Prädiktion der Bildpunktwerte in einem Prädiktionsmittel 6 durchgeführt, wobei die Prädiktion analog zum Prädiktionsmittel 2 basierend auf Trajektorien abläuft. Die prädizierten Bildpunkte werden dann mit dem decodierten Prädiktionsfehler korrigiert, so dass bei verlustfreier Codierung der ursprüngliche Bildpunktwert und bei verlustbehafteter Codierung ein approximierter Bildpunktwert erhalten wird.

Claims

Patentansprüche
1. Verfahren zum Codieren einer Folge von digitalisierten Bildern (II, 12, 13) umfassend eine Vielzahl von Bildpunkten (P, P' , P' ' ) mit zugeordneten Bildpunktwerten, bei dem zu codierende Bildpunkte (P, P', P'') der Bilder (II, 12, 13) prä- diziert werden und die sich aus der Prädiktion ergebenden Prädiktionsfehler codiert werden, wobei die Prädiktion eines zu codierenden Bildpunkts (P, P' , P' ' ) für zumindest einen Teil der zu codierenden Bildpunkte (P) derart erfolgt, dass: eine Mehrzahl von Trajektorien (T, T') ermittelt wird, wobei die Trajektorien (T, T') jeweils durch den zu codierenden Bildpunkt (P) und weitere, bereits codierte Bildpunkte (P') aus dem Bild (13) des zu codierenden Bildpunkts (P) und/oder aus einem oder mehreren zeitlich zu dem Bild (13) des zu codierenden Bildpunkts (P) benachbarten Bildern (II, 12) verlaufen; für die ermittelten Trajektorien (T, T') jeweils ein Bewertungsmaß bestimmt wird, welches derart ausgestaltet ist, dass eine Trajektorie (T, T') gemäß dem Bewertungsmaß umso höher bewertet wird, je kleiner die Schwankungen der uncodierten Bildpunktwerte (wi, W2) der weiteren Bildpunkte (P') entlang der Trajektorie (T, T') sind; basierend auf den weiteren Bildpunkten (P') der Trajekto- rie (T, T' ) mit der höchsten Bewertung ein Prädiktionswert (w) für den Bildpunktwert des zu codierenden Bildpunkts (P) ermittelt wird.
2. Verfahren nach Anspruch 1, bei dem das Bewertungsmaß von der Summe der betragsmäßigen Abweichungen oder der quadratischen Abweichungen zwischen den Bildpunktwerten (wi, vi2) der weiteren Bildpunkte (P') der Trajektorie (T, T') und dem Mittelwert dieser Bildpunktwerte (wi, vi2) abhängt, wobei eine Trajektorie (T, T') umso höher bewertet wird, je kleiner die betragsmäßigen Abweichungen oder quadratischen Abweichungen sind.
3. Verfahren nach einem der vorhergehenden Ansprüche, bei dem das Bewertungsmaß von den Abständen zwischen den weiteren Bildpunkten (P') der Trajektorie (T, T') abhängt, wobei eine Trajektorie (T, T') umso höher bewertet wird, je größer diese Abstände sind.
4. Verfahren nach einem der vorhergehenden Ansprüche, bei dem das Bewertungsmaß von dem Abstand zwischen dem zu codierenden Bildpunkt (P) zu dem weiteren, am nächsten zu dem zu codie- renden Bildpunkt (P) liegenden Bildpunkt (P') der Trajektorie (T, T') abhängt, wobei eine Trajektorie (T, T') umso höher bewertet wird, je geringer dieser Abstand ist.
5. Verfahren nach einem der vorhergehenden Ansprüche, bei dem bei der Prädiktion Trajektorien (T, T') mit der gleichen Länge und/oder mit unterschiedlichen Längen berücksichtigt werden .
6. Verfahren nach einem der vorhergehenden Ansprüche, bei dem die zulässige Länge der bei der Prädiktion verwendeten Trajektorien (T, T') nach jeder Codierung eines Bildes (II, 12, 13) um einen Bildpunkt erhöht wird und/oder zumindest für eine vorbestimmte Anzahl von aufeinander folgenden Bildern (II, 12, 13) fest gewählt wird.
7. Verfahren nach einem der vorhergehenden Ansprüche, bei dem der Prädiktionswert (w) für den Bildpunktwert des zu codierenden Bildpunkts (P) mittels einer Extrapolation bestimmt wird.
8. Verfahren nach Anspruch 7, bei dem die Extrapolation eine lineare Extrapolation und/oder eine Spline-Extrapolation und/oder eine Polynom-Extrapolation umfasst.
9. Verfahren nach einem der vorhergehenden Ansprüche, bei dem als Prädiktionswert (w) für den Bildpunktwert des zu codierenden Bildpunkts (P) der Mittelwert der Bildpunktwerte (wi, W2) der weiteren Bildpunkte (P') bestimmt wird.
10. Verfahren nach einem der vorhergehenden Ansprüche, bei dem für zumindest einen Teil der Bilder (II, 12, 13) Bildpunkte (P) mittels Trajektorien (T) umfassend Bildpunkte (P') aus dem gleichen Bild und/oder mittels Trajektorien (T) umfassend Bildpunkte (P') aus verschiedenen Bildern prädiziert werden .
11. Verfahren nach einem der vorhergehenden Ansprüche, wobei bei der Initialisierung des Verfahrens zumindest für die ersten beiden Bilder Bildpunkte (P) mittels Trajektorien (T') aus dem gleichen Bild prädiziert werden und/oder basierend auf einer alternativen Codierung codiert werden.
12. Verfahren nach einem der vorhergehenden Ansprüche, bei dem die sich aus der Prädiktion ergebenden Prädiktionsfehler zumindest teilweise durch die Abweichung zwischen dem Bildpunktwert des zu codierenden Bildpunkts (P) und dem prädi- zierten Bildpunktwert repräsentiert werden.
13. Verfahren nach einem der vorhergehenden Ansprüche, bei dem ein Schwellwert vorgegeben ist, wobei die sich aus der Prädiktion ergebenden Prädiktionsfehler beim betragsmäßigen Überschreiten des Schwellwerts durch die Abweichung zwischen dem Bildpunktwert des zu codierenden Bildpunkts (P) und dem prädizierten Bildpunktwert repräsentiert werden und ansonsten auf den Wert Null gesetzt werden, wobei der Bildpunktwert eines Bildpunkts (P) mit einem Prädiktionsfehler von Null vorzugsweise durch den prädizierten Bildpunktwert ersetzt wird.
14. Verfahren nach einem der vorhergehenden Ansprüche, bei dem die Prädiktionsfehler verlustfrei und/oder verlustbehaftet codiert werden.
15. Verfahren nach Anspruch 14, bei dem die Codierung des
Prädiktionsfehlers eine Transformation und/oder eine Quantisierung und/oder eine Entropiecodierung umfasst.
16. Verfahren nach Anspruch 14 oder 15, bei dem im Falle einer verlustbehafteten Codierung eines Prädiktionsfehlers der Bildpunktwert des Bildpunkts (P) , für den der Prädiktionsfehler ermittelt wurde, durch den prädizierten und mit dem deco- dierten Prädiktionsfehler korrigierten Bildpunktwert ersetzt wird.
17. Verfahren nach einem der vorhergehenden Ansprüche, bei dem Seiteninformationen zur Signalisierung des verwendeten Prädiktionsmodus für die codierten Bilder (II, 12, 13) erzeugt werden.
18. Verfahren nach einem der vorhergehenden Ansprüche, bei dem die digitalisierten Bilder (II, 12, 13) medizinische Auf- nahmen sind, insbesondere medizinische Röntgenaufnahmen.
19. Verfahren zum Decodieren einer Folge von mit einem Verfahren nach einem der vorhergehenden Ansprüche codierter Bilder (II, 12, 13), bei dem die Prädiktionsfehler der jeweili- gen Bildpunkte (P, P', P'') decodiert werden und die jeweiligen zu decodierenden Bildpunkte (P) prädiziert werden, wobei sich ein decodierter Bildpunkt (P) aus einer Korrektur eines prädizierten Bildpunkts mit dem decodierten Prädiktionsfehler ergibt, wobei die Prädiktion eines zu decodierenden BiId- punkts (P, P', P'') derart erfolgt, dass: eine Mehrzahl von Trajektorien (T, T') ermittelt wird, wobei die Trajektorien (T, T') jeweils durch den zu decodierenden Bildpunkt (P) und weiteren, bereits decodierten Bildpunkten (P') aus dem Bild (13) des zu decodierenden Bildpunkts (P) und/oder aus einem oder mehreren zeitlich zu dem Bild (13) des zu decodierenden Bildpunkts (P) benachbarten Bildern (II, 12) verlaufen; für die ermittelten Trajektorien (T, T') jeweils ein Bewertungsmaß bestimmt wird, welches derart ausgestaltet ist, dass eine Trajektorie (T, T') gemäß dem Bewertungsmaß umso höher bewertet wird, je kleiner die Schwankungen der decodierten Bildpunktwerte (wi, vi2) der weiteren Bildpunkte (P') entlang der Trajektorie (T, T') sind; basierend auf den weiteren Bildpunkten (P') der Trajekto- rie (T, T' ) mit der höchsten Bewertung ein Prädiktionswert (w) für den Bildpunktwert des zu decodierenden Bildpunkts (P) ermittelt wird.
20. Verfahren zum Übertragen einer Folge von digitalisierten Bildern (II, 12, 13), bei dem die Bilder (II, 12, 13) der Folge mit einem Verfahren nach einem der Ansprüche 1 bis 18 codiert werden, über eine Übertragungsstrecke übertragen wer- den und anschließend mit einem Verfahren nach Anspruch 19 decodiert werden.
21. Encoder zum Codieren einer Folge von digitalisierten Bildern (II, 12, 13) umfassend eine Vielzahl von Bildpunkten (P, P' , P' ' ) mit zugeordneten Bildpunktwerten basierend auf einem Verfahren nach einem der Ansprüche 1 bis 18, wobei der Encoder (1) beinhaltet: ein Prädiktionsmittel (2) zur Prädiktion von zu codierenden Bildpunkten (P, P', P'') der Bilder (II, 12, 13); - ein Codiermittel (3) zum Codieren der sich aus der Prädiktion ergebenden Prädiktionsfehler; wobei das Prädiktionsmittel (2) derart ausgestaltet ist, dass die Prädiktion eines zu codierenden Bildpunkts (P, P' , P' ' ) für zumindest einen Teil der zu codierenden Bildpunkte (P) derart erfolgt, dass: eine Mehrzahl von Trajektorien (T, T') ermittelt wird, wobei die Trajektorien (T, T') jeweils durch den zu codierenden Bildpunkt (P) und weitere, bereits codierte Bildpunkte (P') aus dem Bild (13) des zu codierenden Bildpunkts (P) und/oder aus einem oder mehreren zeitlich zu dem Bild (13) des zu codierenden Bildpunkts (P) benachbarten Bildern (II, 12) verlaufen; für die ermittelten Trajektorien (T, T') jeweils ein Bewertungsmaß bestimmt wird, welches derart ausgestaltet ist, dass eine Trajektorie (T, T') gemäß dem Bewertungsmaß umso höher bewertet wird, je kleiner die Schwankungen der uncodierten Bildpunktwerte (wi, vi2) der weiteren Bildpunkte (P') entlang der Trajektorie (T, T') sind; basierend auf den weiteren Bildpunkten (P') der Trajekto- rie (T, T' ) mit der höchsten Bewertung ein Prädiktionswert (w) für den Bildpunktwert des zu codierenden Bildpunkts (P) ermittelt wird.
22. Decoder zum Decodieren einer Folge von codierten Bildern (II, 12, 13) basierend auf einem Verfahren nach Anspruch 19, wobei der Decoder (4) beinhaltet: ein Decodiermittel (5) zum Decodieren der Prädiktions- fehler der jeweiligen Bildpunkte (P); ein Prädiktionsmittel (6) zur Prädiktion der zu decodierenden Bildpunkte (P), wobei sich ein decodierter Bildpunkt (P) aus einer Korrektur eines prädizierten Bildpunkts mit dem decodierten Prädiktionsfehler ergibt; wobei das Prädiktionsmittel (6) derart ausgestaltet ist, dass die Prädiktion eines zu decodierenden Bildpunkts (P) derart erfolgt, dass: eine Mehrzahl von Trajektorien (T, T') ermittelt wird, wobei die Trajektorien (T, T') jeweils durch den zu deco- dierenden Bildpunkt (P) und weiteren, bereits decodierten Bildpunkten (P') aus dem Bild (13) des zu decodierenden Bildpunkts (P) und/oder aus einem oder mehreren zeitlich zu dem Bild (13) des zu decodierenden Bildpunkts (P) benachbarten Bildern (II, 12) verlaufen; - für die ermittelten Trajektorien (T, T') jeweils ein Bewertungsmaß bestimmt wird, welches derart ausgestaltet ist, dass eine Trajektorie (T, T') gemäß dem Bewertungsmaß umso höher bewertet wird, je kleiner die Schwankungen der decodierten Bildpunktwerte (wi, vi2) der weiteren Bildpunkte (P') entlang der Trajektorie (T, T') sind; basierend auf den weiteren Bildpunkten (P') der Trajektorie (T, T' ) mit der höchsten Bewertung ein Prädiktionswert (w) für den Bildpunktwert des zu decodierenden Bildpunkts (P) ermittelt wird.
23. System, umfassend einen Encoder nach Anspruch 21 und einen Decoder nach Anspruch 22.
PCT/EP2009/060570 2008-08-19 2009-08-14 Verfahren zum codieren einer folge von digitalisierten bildern WO2010020592A1 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2011523399A JP5284471B2 (ja) 2008-08-19 2009-08-14 ディジタル化された一連の画像を符号化する方法
EP09781871A EP2313864A1 (de) 2008-08-19 2009-08-14 Verfahren zum codieren einer folge von digitalisierten bildern
US12/737,814 US8472739B2 (en) 2008-08-19 2009-08-14 Method for encoding a sequence of digitized images
CN200980132218.XA CN102124495B (zh) 2008-08-19 2009-08-14 用于对数字化图像序列进行编码的方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
DE102008038355.4 2008-08-19
DE102008038355 2008-08-19
DE102008058489.4 2008-11-21
DE102008058489A DE102008058489A1 (de) 2008-08-19 2008-11-21 Verfahren zum Codieren einer Folge von digitalisierten Bildern

Publications (1)

Publication Number Publication Date
WO2010020592A1 true WO2010020592A1 (de) 2010-02-25

Family

ID=41228720

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2009/060570 WO2010020592A1 (de) 2008-08-19 2009-08-14 Verfahren zum codieren einer folge von digitalisierten bildern

Country Status (7)

Country Link
US (1) US8472739B2 (de)
EP (1) EP2313864A1 (de)
JP (1) JP5284471B2 (de)
KR (1) KR101618080B1 (de)
CN (1) CN102124495B (de)
DE (1) DE102008058489A1 (de)
WO (1) WO2010020592A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012095350A1 (de) * 2011-01-14 2012-07-19 Siemens Aktiengesellschaft Verfahren und vorrichtungen zur bildung eines prädiktionswertes

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10262426B2 (en) 2014-10-31 2019-04-16 Fyusion, Inc. System and method for infinite smoothing of image sequences
US10726593B2 (en) 2015-09-22 2020-07-28 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US10275935B2 (en) 2014-10-31 2019-04-30 Fyusion, Inc. System and method for infinite synthetic image generation from multi-directional structured image array
US9940541B2 (en) 2015-07-15 2018-04-10 Fyusion, Inc. Artificially rendering images using interpolation of tracked control points
US10176592B2 (en) 2014-10-31 2019-01-08 Fyusion, Inc. Multi-directional structured image array capture on a 2D graph
US9917898B2 (en) 2015-04-27 2018-03-13 Dental Imaging Technologies Corporation Hybrid dental imaging system with local area network and cloud
US10852902B2 (en) 2015-07-15 2020-12-01 Fyusion, Inc. Automatic tagging of objects on a multi-view interactive digital media representation of a dynamic entity
US11006095B2 (en) 2015-07-15 2021-05-11 Fyusion, Inc. Drone based capture of a multi-view interactive digital media
US10750161B2 (en) 2015-07-15 2020-08-18 Fyusion, Inc. Multi-view interactive digital media representation lock screen
US11095869B2 (en) 2015-09-22 2021-08-17 Fyusion, Inc. System and method for generating combined embedded multi-view interactive digital media representations
US10222932B2 (en) 2015-07-15 2019-03-05 Fyusion, Inc. Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations
US10242474B2 (en) 2015-07-15 2019-03-26 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US10698558B2 (en) 2015-07-15 2020-06-30 Fyusion, Inc. Automatic tagging of objects on a multi-view interactive digital media representation of a dynamic entity
US10147211B2 (en) 2015-07-15 2018-12-04 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US11783864B2 (en) 2015-09-22 2023-10-10 Fyusion, Inc. Integration of audio into a multi-view interactive digital media representation
US11202017B2 (en) 2016-10-06 2021-12-14 Fyusion, Inc. Live style transfer on a mobile device
US10437879B2 (en) 2017-01-18 2019-10-08 Fyusion, Inc. Visual search using multi-view interactive digital media representations
US10313651B2 (en) 2017-05-22 2019-06-04 Fyusion, Inc. Snapshots at predefined intervals or angles
US11069147B2 (en) 2017-06-26 2021-07-20 Fyusion, Inc. Modification of multi-view interactive digital media representation
US10592747B2 (en) 2018-04-26 2020-03-17 Fyusion, Inc. Method and apparatus for 3-D auto tagging

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4776029A (en) * 1986-04-18 1988-10-04 Fuji Photo Film Co., Ltd. Method of compressing image signals
US4809350A (en) 1986-02-10 1989-02-28 Elscint Ltd. Data compression system
US5311305A (en) 1992-06-30 1994-05-10 At&T Bell Laboratories Technique for edge/corner detection/tracking in image frames
US20060050972A1 (en) * 2004-07-21 2006-03-09 Amimon Ltd. Interpolation image compression
EP1850599A2 (de) * 2006-04-24 2007-10-31 Fujitsu Limited Bildkompressionsvorrichtung, Bildkompressionsprogramm und Bildkompressionsverfahren
EP1850509A1 (de) 2006-04-24 2007-10-31 NTT DoCoMo Inc. Methode und System zur Funkkanal-Schätzung in einem drahtlosen Kommunikationssystem, Relaisstation und Empfänger

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1776029A (en) * 1926-12-02 1930-09-16 Grasselli Chemical Co Process of making barium sulphide solutions
CA2051939A1 (en) * 1990-10-02 1992-04-03 Gary A. Ransford Digital data registration and differencing compression system
US20050111746A1 (en) * 2003-11-26 2005-05-26 Kumar Bharath S. Progressive medical image volume navigation

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4809350A (en) 1986-02-10 1989-02-28 Elscint Ltd. Data compression system
US4776029A (en) * 1986-04-18 1988-10-04 Fuji Photo Film Co., Ltd. Method of compressing image signals
US5311305A (en) 1992-06-30 1994-05-10 At&T Bell Laboratories Technique for edge/corner detection/tracking in image frames
US20060050972A1 (en) * 2004-07-21 2006-03-09 Amimon Ltd. Interpolation image compression
EP1850599A2 (de) * 2006-04-24 2007-10-31 Fujitsu Limited Bildkompressionsvorrichtung, Bildkompressionsprogramm und Bildkompressionsverfahren
EP1850509A1 (de) 2006-04-24 2007-10-31 NTT DoCoMo Inc. Methode und System zur Funkkanal-Schätzung in einem drahtlosen Kommunikationssystem, Relaisstation und Empfänger

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2313864A1

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012095350A1 (de) * 2011-01-14 2012-07-19 Siemens Aktiengesellschaft Verfahren und vorrichtungen zur bildung eines prädiktionswertes
CN103283232A (zh) * 2011-01-14 2013-09-04 西门子公司 用于形成预测值的方法和装置
US9225985B2 (en) 2011-01-14 2015-12-29 Siemens Aktiengesellschaft Methods and devices for forming a prediction value
CN103283232B (zh) * 2011-01-14 2016-04-13 西门子公司 用于形成预测值的方法和装置

Also Published As

Publication number Publication date
JP5284471B2 (ja) 2013-09-11
US8472739B2 (en) 2013-06-25
KR101618080B1 (ko) 2016-05-04
US20110170789A1 (en) 2011-07-14
DE102008058489A1 (de) 2010-04-15
CN102124495A (zh) 2011-07-13
JP2012500546A (ja) 2012-01-05
CN102124495B (zh) 2014-09-24
EP2313864A1 (de) 2011-04-27
KR20110063768A (ko) 2011-06-14

Similar Documents

Publication Publication Date Title
EP2313864A1 (de) Verfahren zum codieren einer folge von digitalisierten bildern
EP1635578B1 (de) Verfahren und Anordnung zur Videocodierung, wobei die Videocodierung Texturanalyse und Textursynthese sowie Texturverzerrung umfasst, sowie ein entsprechendes Computerprogramm und ein entsprechendes computerlesbares Speichermedium
DE69738494T2 (de) Videokodierungs- und Videodekodierungsvorrichtung
DE69635369T2 (de) Videokodierungsvorrichtung
EP2614647B1 (de) Kompression und dekompression von referenzbildern in einem videokoder
DE10300528B4 (de) Berechnungsverfahren für einen Vorhersage-Bewegungsvektor
DE60027495T2 (de) Video-codierverfahren und video-codiervorrichtung
DE112010004109B4 (de) Verfahren zum Dekodieren eines Bitstroms
DE19704439C2 (de) Verfahren und Vorrichtung zur Bewegungsschätzung in einem digitalen Videocodierer unter Verwendung von Trajektorien
DE19541457C1 (de) Verfahren zur Codierung eines Videodatenstroms einer aus Bildblöcken bestehenden Videosequenz
EP2521357A1 (de) Verfahren und Vorrichtung zur Filterung von kodierten Bildpartitionen
DE10296787B4 (de) Selektive Prädikation für ein Intra-Codieren eines Videodatenblocks
DE10196431B4 (de) Alternative Blockreihenfolgen zur besseren Vorhersage
DE102011006036B4 (de) Verfahren und Vorrichtungen zur Bildung eines Prädiktionswertes
EP1425920B1 (de) Verfahren zur videocodierung und computerprogrammprodukt
DE69926839T2 (de) Digitale Videoverarbeitung
DE69737711T2 (de) Verfahren und Vorrichtung zur Kodierung einer Objektkontur unter Verwendung ihrer Zeitkorrelation
DE102004038110B3 (de) Verfahren zum Codieren und Decodieren, sowie Codier- und Decodiervorrichtung zur Videocodierung
EP2420064A1 (de) Verfahren und vorrichtungen zum erzeugen, decodieren und transcodieren eines codierten videodatenstroms
EP1101196A1 (de) Verfahren und anordnung zur bewegungsschätzung in einem digitalisierten bild mit bildpunkten
DE69909880T2 (de) Dekodierung eines komprimierten digitalen Bildsignals
WO2000011874A1 (de) Verfahren und anordnung zur codierung eines digitalisierten bildes mit anwendung eines objektgesamtbewegungsvektors
EP1285537B1 (de) Verfahren und eine anordnung zur codierung bzw. decodierung einer folge von bildern
DE19644769B4 (de) Vorrichtung und Verfahren zum formadaptiven Codieren von Bildsignalen
DE10225434B4 (de) Verfahren und Vorrichtung zur Videocodierung

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980132218.X

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09781871

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2009781871

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2009781871

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 12737814

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2011523399

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20117006482

Country of ref document: KR

Kind code of ref document: A