WO2001076258A2 - Erzeugung einer stereo-bildfolge aus einer 2d-bildfolge - Google Patents

Erzeugung einer stereo-bildfolge aus einer 2d-bildfolge Download PDF

Info

Publication number
WO2001076258A2
WO2001076258A2 PCT/EP2001/003707 EP0103707W WO0176258A2 WO 2001076258 A2 WO2001076258 A2 WO 2001076258A2 EP 0103707 W EP0103707 W EP 0103707W WO 0176258 A2 WO0176258 A2 WO 0176258A2
Authority
WO
WIPO (PCT)
Prior art keywords
image
sequence
images
approximation
movement
Prior art date
Application number
PCT/EP2001/003707
Other languages
English (en)
French (fr)
Other versions
WO2001076258A3 (de
Inventor
Rolf-Dieter Naske
Original Assignee
Tdv Technologies Corp.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tdv Technologies Corp. filed Critical Tdv Technologies Corp.
Priority to AU52240/01A priority Critical patent/AU783045B2/en
Priority to JP2001573802A priority patent/JP4843753B2/ja
Priority to EP01925518A priority patent/EP1305956A2/de
Priority to CA2404966A priority patent/CA2404966A1/en
Priority to US10/240,556 priority patent/US7254264B2/en
Publication of WO2001076258A2 publication Critical patent/WO2001076258A2/de
Publication of WO2001076258A3 publication Critical patent/WO2001076258A3/de
Priority to US10/338,778 priority patent/US7254265B2/en
Priority to US11/835,104 priority patent/US20070269136A1/en
Priority to US11/835,188 priority patent/US20080085049A1/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
    • H04N13/359—Switching between monoscopic and stereoscopic modes

Definitions

  • the invention relates to a method and a device for generating three-dimensional (3D) images.
  • a particular disadvantage of image sequential transmission in connection with conventional television systems is that the image refresh rate for each eye is reduced to 25 images per second. This results in an unpleasant flicker for the viewer. This limitation does not occur when the image sequences are transmitted via their own (left or right) channel. Problems can arise in the synchronization of the two channels, however, and due to the requirements for the receiver, which must receive and process two separate channels at the same time. This is not possible with the systems commonly used on the market.
  • the invention is based on the object of providing a method and a device of the type mentioned at the outset with which, even when the transmission and / or compression methods mentioned at the outset are used, reproduction of SD images with a particularly natural three-dimensional image impression is possible.
  • Fig. 1 is a schematic block diagram of a circuit arrangement according to the invention.
  • 3a-c are schematic representations for phase control in successive images.
  • Fig. 4 is a schematic block diagram of an application of the device according to the invention in image generation.
  • the essential components of a device according to the invention and their connection fertilize with each other are shown schematically in Figure 1.
  • the arrangement comprises a first input E1, via which the two-dimensional images generated by a camera and transmitted via a transmission link are passed to an A / D converter 10 and digitized.
  • the digitized images are then fed to an image memory 11 and a phase switch 16.
  • the images stored in the image memory 11 are analyzed with a phase analyzer 12, the input of which is connected to the image memory 11 and the output of which is connected to the phase switch 16.
  • a long-term memory 13 is connected to the image memory 11 and is provided for storing images from this memory and the output of which is applied to an image generator 15.
  • the image generator 15 is also connected to a further output of the image memory 11 and a motion analyzer 14 to which images from the image memory 11 are fed.
  • the device also comprises a second input E2 for manual movement control, which is connected to the image generator 15, and a third input E3 for manual phase control, which is applied to the phase switch 16.
  • a right or left stereo image BL, BR is present at two outputs of the phase switch 16, which are connected to a first and second output AI, A2 of the device.
  • a second image sequence is generated from a (first) sequence of two-dimensionally recorded images, which together with the first image sequence enables three-dimensional viewing of the originally two-dimensional images if the first and second image sequences are fed to a left or right eye.
  • the second image sequence is determined in accordance with the following explanations from the image information resulting from the movement in the first image sequence. The following definitions are set:
  • X j be a digitized image at time t with horizontal resolution I and vertical resolution J.
  • the sampling rate is ⁇ t, so that the following formula results for an image scanned at time k and stored in image memory 11:
  • the last K images are located in the image memory 11 with the length K.
  • BL designate the left image currently being visualized and BR the right image currently being visualized.
  • the images x k in the image memory 11 are viewed as samples (sampled image sequence according to curve b in FIG. 2) of a continuous function (actual image sequence according to curve a in FIG. 2).
  • Various approximation methods can be applied to this function.
  • the following explanations in connection with FIG. 2 relate to a linear spline approximation.
  • other approximation methods can also be used in a corresponding manner, for example higher-degree or polynomial approximation methods.
  • Figure 2 shows an image sequence in two-dimensional (I / J) space.
  • the second image sequence is calculated with the image generator 15 as follows: First, ⁇ u is calculated as the largest integer that is less than or equal to ⁇ . Then ⁇ 0 is calculated as the smallest integer that is greater than or equal. It is:
  • image sequence BL for a left viewing channel is calculated by the current actual images of the first image sequence x °, x 1 , etc. and the (second) image sequence B R for a right viewing channel (right eye) by approximation.
  • N is a fixed number with N> M, then:
  • dj be the similarity of the scan image with an equally large partial image from the search area with the shift position 1, where: -N ⁇ 1 ⁇ + N.
  • the value of 1 runs from -N to + N, 1 denoting the current shift position of a field in the search area.
  • a Euclidean distance or an absolute amount can also be selected as a similarity measure.
  • the scan image x s runs like a scanner over the search area (FIG. 3b) of the image x 1 (previous image) and searches for the area that contains the exhibits greatest similarity d ⁇ to the scan image, the similarity dj being calculated for each displacement position 1.
  • an integer ⁇ is defined, which can be referred to as the moment of inertia and with which, according to FIG. 3 c, a fuzzy state is defined. This serves to take into account camera movement, which should not be seen as a shift in the image.
  • the value of ⁇ is approximately -1 ⁇ ⁇ 1.
  • I m i n ⁇ this means that the area of greatest similarity in the search area is shifted to the left, and thus there is a predominant direction of movement in successive images x 1 , x ° of the first image sequence from left to right. This can be done by moving an object in the pictures from left to right or by moving the camera from right to left.
  • an indicator "shift" in the phase switch 16 is set to "left".
  • next image is then read in and the same sequence for this image is repeated, starting with the determination of the minimum value of the similarity measure d m j n .
  • This automatic phase control or switching can also be switched off and replaced, for example, by manual switching with a keyboard via the third input of the device.
  • the embodiment shown in FIG. 1 furthermore includes the motion analyzer 14, by means of which a dynamic movement control or determination prevents the stereo base from becoming too large during fast movements. It also ensures that when the movements are very slow, a certain minimum width of the stereo base is retained before it disappears in images without movement.
  • the long-term memory 13 is provided, from which images are read out and used as images of the second image sequence if the movements are too slow.
  • the similarity measure d k at time t k is defined as follows:
  • This measure of similarity is therefore dependent on the extent to which the entire content of a next picture in a picture sequence differs from the previous picture content and thus represents a measure of the speed of the movement in the pictures. that.
  • a Euclidean distance or an absolute amount can also be selected for the calculation of the similarity measure instead of the cross correlation described.
  • the individual color values of the selected color space RGB or YUV must always be processed separately.
  • d k ⁇ o it means that the movements in successive images are very slow or zero. In this case, the transmission of the values of x k into the long-term memory 13 is stopped, so that images remain there which have a sufficient difference in motion. In addition, images stored in the long-term memory are used to generate the second image sequence, in order to maintain a minimum stereo base width.
  • the value of the approximation variable ⁇ is changed as a function of the size of the similarity measure d k relative to the threshold values ⁇ o, ⁇ i, ⁇ 2 as follows:
  • the new approximation variable ⁇ : ⁇ - s is set.
  • the letter s denotes a step size, which is preferably 0.1, but can also assume other values.
  • This dynamic movement control like the automatic phase control, can also be switched off and replaced by manual input, for example with a keyboard, via the second input of the device.
  • the method described is preferably carried out using a data processing program on a computer, in particular a digital image processing system for generating a three-dimensional reproduction of two-dimensionally transmitted or stored television images.
  • FIG. 4 finally shows a block diagram of a device (stereo decoder or stereo viewer) for generating and reproducing 3D images which are calculated from a sequence of 2D images transmitted over a transmission link or read out from a storage medium.
  • a device stereo decoder or stereo viewer
  • the device comprises a first input 21, at which the 2D images transmitted and demodulated or decompressed in a known manner are applied. Furthermore, a second input 22 is provided, which is connected, for example, to a DVD player, a video recorder or another image source.
  • a driver 28 for shutter glasses 29, a driver 30 for an autostereoscopic monitor 31 and a driver 32 for a stereo projector 33 are shown here as examples.
  • This device is preferably designed as part of a digital image processing system for generating a three-dimensional reproduction of two-dimensionally transmitted or stored television images.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

Es wird ein Verfahren und eine Vorrichtung zur Erzeugung von 3D Bildern beschrieben, mit dem/der zu einem Bild einer zugeführten erste Folge von 2D-Bildern ein Bild einer zweiten Folge von Bildern mit einem durch eine Approximationsvariable (α) vorbestimmbaren zeitlichen Abstand erzeugt wird. Es wird ein Mass der Ähnlichkeit (dK) zwischen aufeinanderfolgenden Bildern der ersten Folge ermittelt und mit schwellwerten (δ0∫δ1∫δ2) verglichen, um in Abhängigkeit davon die Approximationsvariable (α) in der Weise zu verändern, dass die Stereobasisbreite nicht unnatürlich gross wird. Weiterhin wird mit einem Phaseanalysator (12) eine vorherrschende Bewegungsrichtung in aufeinanderfolgenden Bildern der ersten Bildfolge ermittelt sowie mit einem Phasenumschalter (16) eine Zuordnung des Bildes der ersten und zweiten Bildfolge zu einem linken bzw. Rechten Betrachtungskanal in Abhängigkeit von einer vorherrschenden Richtung der Bewegung in aufeinanderfolgenden Bildern der ersten Folge vorgenommen.

Description

Verfahren und Vorrichtung zur Erzeugung von 3D-Bildern
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Erzeugung von dreidimensionalen (3D-) Bildern.
Zur Untersuchung von Objekten bedient man sich insbesondere in der Medizin und Naturwissenschaft vielfach einer dreidimensionalen Bilderzeugung. Auch für den allgemeinen Konsumerbereich sind verschiedene Verfahren entwickelt worden, mit denen insbesondere Fernsehbilder dreidimensional wiedergegeben werden können.
Hierbei unterscheidet man im wesentlichen zwischen einer Bild-sequentiellen Übertragung, bei der die Bilder für das rechte und das linke Auge abwechselnd nacheinander übertragen oder auf einem Speichermedium gespeichert werden, sowie einer parallelen Übertragung, bei der die Bilder auf zwei getrennten Kanälen geführt werden.
Ein besonderer Nachteil der Bild-sequentiellen Übertragung in Verbindung mit herkömmlichen Fernsehsystemen besteht darin, dass die Bildwiederholrate für jedes Auge auf 25 Bilder pro Sekunde reduziert ist. Dadurch ergibt sich für den Betrachter ein unangenehmes Flimmern. Diese Beschränkung tritt zwar bei der Übertragung der Bildfolgen über jeweils einen eigenen (linken bzw. rechten) Kanal nicht auf. Probleme können hierbei jedoch bei der Synchronisation der beiden Kanäle sowie durch die Anforderungen an den Empfänger entstehen, der gleichzeitig zwei getrennte Kanäle empfangen und verarbeiten muss. Dies ist bei den allgemein marktüblichen Systemen nicht möglich.
In zukünftigen Fernsehsystemen soll die Signalübertragung und -Verarbeitung vollständig digital erfolgen. In diesem Fall wird jedes Bild in einzelne Bildpunkte zerlegt, die digitalisiert übertragen werden. Zur Reduzierung der erforderlichen Bandbreite werden dabei entsprechende Komprimierungsverfahren eingesetzt, die jedoch für die Stereoübertragung Probleme aufwerfen.
Bei Blockkodierungsverfahren ist es zum Beispiel bei sinnvoller Kompressionsrate im allgemeinen nicht möglich, jede einzelne Zeile eines Bildes exakt zu rekonstruieren. In- terframe-Kodierungen wie zum Beispiel MPEG-2 ermöglichen es zudem nicht, Stereobilder Bild-sequentiell zu übertragen oder zu speichern, da Bildinformationen aus einem Bild noch in einem anderen Bild enthalten sind und es dadurch zu sogenannten Über- sprech-Effekten kommt, die eine klare Trennung eines rechten von einem linken Bild unmöglich machen.
Andere Verfahren, mit denen aus einer zweidimensionalen Bildfolge eine dreidimensionale Bildfolge erzeugt werden, sind in der DE 35 30 610 und der EP 0 665 697 offenbart. Ein autostereoskopisches System mit einer Interpolation von Bildern wird in der EP 0 520 179 beschrieben, während in "Huang: Image Sequence Analysis" (Springer Verlag) Probleme der Erkennung von Bewegungsbereichen in Bildfolgen erörtert werden.
Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren und eine Vorrichtung der eingangs genannten Art zu schaffen, mit dem / der auch bei Anwendung der eingangs genannten Übertragungs- und / oder Komprimierungsverfahren eine Wiedergabe von SD- Bildern mit einem besonders natürlichen dreidimensionalen Bildeindruck möglich ist.
Gelöst wird diese Aufgabe mit einem Verfahren gemäss Anspruch 1 und einer Vorrichtung gemäß Anspruch 11.
Die Unteransprüche haben vorteilhafte Weiterbildungen der Erfindung zum Inhalt.
Weitere Einzelheiten, Merkmale und Vorteile der Erfindung ergeben sich aus der folgenden Beschreibung einer bevorzugten Ausfuhrungsform anhand der Zeichnung. Es zeigt:
Fig. 1 ein schematisches Blockschaltbild einer erfindungsgemäßen Schaltungsanordnung;
Fig. 2 eine grafische Darstellung eines tatsächlichen Bildablaufs und einer abgetasteten Bildfolge;
Fig. 3a-c schematische Darstellungen zur Phasenkontrolle in aufeinanderfolgenden Bildern; und
Fig. 4 ein schematisches Blockschaltbild einer Anwendung der erfindungsgemäßen Vorrichtung bei der Bilderzeugung.
Die wesentlichen Komponenten einer erfindungsgemäßen Vorrichtung und ihre Verbin- düngen untereinander sind in Figur 1 schematisch dargestellt. Die Anordnung umfasst einen ersten Eingang El, über den die von einer Kamera erzeugten und über eine Übertragungsstrecke übertragenen zweidimensionalen Bilder in einen A/D- Wandler 10 geleitet und digitalisiert werden. Die digitalisierten Bilder werden dann einem Bildspeicher 11 sowie einem Phasenumschalter 16 zugeführt. Mit einem Phasenanalysator 12, dessen Eingang mit dem Bildspeicher 11 und dessen Ausgang mit dem Phasenumschalter 16 verbunden ist, werden die in dem Bildspeicher 11 gespeicherten Bilder analysiert. Weiterhin ist mit dem Bildspeicher 11 ein Langzeitspeicher 13 verbunden, der zur Speicherung von Bildern aus diesem Speicher vorgesehen ist und dessen Ausgang an einem Bildgenerator 15 anliegt. Der Bildgenerator 15 ist ferner auch mit einem weiteren Ausgang des Bildspeichers 11 sowie eines Bewegungsanalysators 14 verbunden, dem Bilder aus dem Bildspeicher 11 zugeführt werden. Die Vorrichtung umfasst auch einen zweiten Eingang E2 zur manuellen Bewegungskontrolle, der mit dem Bildgenerator 15 verbunden ist, sowie einen dritten Eingang E3 zur manuellen Phasenkontrolle, der an dem Phasenumschalter 16 anliegt. An zwei Ausgängen des Phasenumschalters 16, die mit einem ersten bzw. zweiten Ausgang AI, A2 der Vorrichtung verbunden sind, liegt ein rechtes bzw. linkes Stereobild BL, BR an.
Mit dieser Vorrichtung wird aus einer (ersten) Folge von zweidimensional aufgenommenen Bildern eine zweite Bildfolge erzeugt, die zusammen mit der ersten Bildfolge eine dreidimensionale Betrachtung der ursprünglich zweidimensionalen Bilder ermöglicht, wenn die erste und zweite Bildfolge einem linken bzw. rechten Auge zugeführt wird. Die zweite Bildfolge wird gemäß folgender Erläuterungen aus der sich durch die Bewegung in der ersten Bildfolge ergebenden Bildinformation ermittelt. Folgende Definitionen seien festgelegt:
Es sei Xj ein digitalisiertes Bild zum Zeitpunkt t mit der horizontalen Auflösung I und der vertikalen Auflösung J. Die Abtastrate sei Δt, so dass sich für ein zum Zeitpunkt k abgetastetes und in dem Bildspeicher 11 gespeichertes Bild folgende Formel ergibt:
xk := Xij (t - Δt k)
In dem Bildspeicher 11 mit der Länge K befinden sich die letzten K Bilder. Es sei 0 < α < k eine reelle Zahl, die den zeitlichen Abstand von einem aktuellen Bild xk bezeichnet, bei dem ein (synthetisches) Bild der zweiten Bildfolge erzeugt wird ("Approximations- variable"). Weiterhin bezeichnen BL das zur Zeit visualisierte linke Bild und BR das zur Zeit visualisierte rechte Bild.
Es sei angenommen, dass der Wert von α fest gegeben ist. Die Bilder xk in dem Bildspeicher 11 werden als Abtastwerte (abgetastete Bildfolge gemäß Kurve b in Figur 2) einer stetigen Funktion (tatsächlicher Bildablauf gemäß Kurve a in Figur 2) betrachtet. Auf diese Funktion können verschiedene Approximationsverfahren angewendet werden. Die nachfolgenden Erläuterungen beziehen sich in Verbindung mit Figur 2 auf eine lineare Spline- Approximation. Es können jedoch in entsprechender Weise auch andere Approximationsverfahren angewendet werden, wie zum Beispiel höher-gradige oder po- lynomiale Approximationsverfahren.
Figur 2 zeigt eine Bildfolge im zweidimensionalen (I/J-) Raum. Die zweite Bildfolge wird mit dem Bildgenerator 15 wie folgt berechnet: zunächst wird αu als größte ganze Zahl berechnet, die kleiner gleich α ist. Anschließend wird α0 als kleinste ganze Zahl berechnet, die größer gleich ist. Es sei:
BL := x°
BR := xαo (α - αu ) + x u (1 - α + αu)
wobei die Bildfolge BL für einen linken Betrachtungskanal (linkes Auge) durch die momentanen tatsächlichen Bilder der ersten Bildfolge x°, x1, usw. und die (zweite) Bildfolge BR für einen rechten Betrachtungskanal (rechtes Auge) durch Approximation berechnet wird.
Diese Berechnung wird mit dem Bildgenerator 15 für alle Bildpunkte x^ in einem gewählten Farbraum (RGB oder YUV) getrennt durchgeführt, das heißt:
BR := bu <γ.u.V) .s=
(Xij αo (Y) (α - αj + Xij αu (Y) (1 - α + αu), Xij αo (U) (α - αu) + Xij αu (U) (1 - α + αu), xyαo (V) (α - u) + Xij «u (V) (1 - α + α^).
Mit dem Phasenanalysator 12 wird außerdem eine automatische Phasenkontrolle zur Er- mittlung von Bewegungen in aufeinanderfolgenden Bildern der ersten Bildfolge durchgeführt. Es sei angenommen, dass jm := J/2 der horizontale Mittelpunkt eines Bildes ist, so ist Xijm° mit 0 < i < I die mittlere Spalte des Bildes x° zum Zeitpunkt t. Ferner sei M < jm eine gewählte ganze Zahl. Dann wird
Xij 0s := Xjj 0 mit 0 < i < I und jm - M < j < jm + M
als ein Scanbild definiert, das in Figur 3a als vertikaler Streifen dargestellt ist. Dieser besteht aus 2M + 1 Spalten s um den horizontalen Mittelpunkt jm des Bildes x°.
Es sei nun N eine fest gewählte Zahl mit N > M, so wird:
Xij ls mit 0 < i < I und jm - N < j < jm + N
als der Suchbereich (siehe Figur 3b) im Bild x1 definiert, in dem das Teilbild mit der größten Ähnlichkeit mit dem Scanbild Xij 0s gesucht wird.
Es sei dj die Ähnlichkeit des Scanbildes mit einem gleich großen Teilbild aus dem Suchbereich mit der Verschiebungsposition 1, wobei gilt: -N < 1 < +N.
Wird als Ähnlichkeitsmaß die Kreuzkorrelation gewählt, so ergibt sich d\ für die Verschiebungsposition 1:
Formel (1):
Figure imgf000007_0001
Der Wert von 1 läuft dabei von -N bis +N, wobei 1 die momentane Verschiebeposition eines Teilbildes in dem Suchbereich bezeichnet.
Alternativ zu der Kreuzkorrelation kann als Ahnlichkeitsmaß auch ein euklidischer Abstand oder ein Absolutbetrag gewählt werden. Bei diesem Verfahren läuft somit, wie es in den Figuren 3a und b angedeutet ist, das Scanbild xs (Figur 3a) wie ein Scanner über den Suchbereich (Figur 3b) des Bildes x1 (vorheriges Bild) und sucht den Bereich, der die größte Ähnlichkeit d\ mit dem Scanbild aufweist, wobei die Ähnlichkeit dj für jede Verschiebungsposition 1 berechnet wird.
Dabei sei eine ganze Zahl ε definiert, die als Trägheitsmoment bezeichnet werden kann, und mit der gemäß Figur 3 c eine Unscharfe definiert wird. Diese dient dazu, eine Kamerabewegung zu berücksichtigen, die nicht als Verschiebung des Bildes angesehen werden soll. Für den Wert von ε gilt etwa -1 < ε < 1.
Diese Auswertung läuft im wesentlichen wie folgt ab. Zunächst werden mit dem Phasenanalysator 12 alle Ahnlichsmaße d\ für -N < 1 < +N berechnet. Anschließend wird das Ähnlichkeitsmaß dmjn mit dem geringsten Wert gewählt (drajn := min dj) und der Index Imjn dieses Ähnlichkeitsmaßes ermittelt. Mit dem Phasenumschalter 16 werden die Werte Imjn und ε miteinander verglichen, und in Abhängigkeit von dem Vergleichsergebnis schaltet der Phasenumschalter 16 wie folgt:
Wenn Imin < ε ist, so bedeutet dies, dass der Bereich der größten Ähnlichkeit im Suchbereich nach links verschoben ist und somit eine vorherrschende Bewegungsrichtung in aufeinanderfolgenden Bildern x1, x° der ersten Bildfolge von links nach rechts gegeben ist. Dies kann durch eine Bewegung eines Objektes in den Bildern von links nach rechts oder durch einen Kameraschwenk von rechts nach links bewirkt werden. In diesem Fall wird für das linke Bild BL := x° (d.h. das aktuelle Bild der Bildfolge) und für das rechte Bild BR ein berechnetes, synthetisches Bild (zweite Bildfolge) gewählt. Weiterhin wird ein Indikator "shift" in dem Phasenumschalter 16 auf "links" gesetzt.
Wenn Imin > ε ist, so bedeutet dies, dass der Bereich der größten Ähnlichkeit im Suchbereich nach rechts verschoben ist und somit eine vorherrschende Bewegungsrichtung in aufeinanderfolgenden Bildern x1, x° der ersten Bildfolge von rechts nach links gegeben ist. Dies kann durch eine Bewegung eines Objektes in den Bildern von rechts nach links oder durch einen Kameraschwenk von links nach rechts bewirkt werden. In diesem Fall wird für das linke Bild BL ein berechnetes, synthetisches Bild (zweite Bildfolge) und für das rechte Bild BR := x° (d.h. das aktuelle Bild der Bildfolge) gewählt. Weiterhin wird der Indikator "shift" auf "rechts" gesetzt. Wenn | Imjn | < ε und der Indikator auf "rechts" gesetzt ist, so wird für das linke Bild BL ein berechnetes, synthetisches Bild (zweite Bildfolge) und für das rechte Bild BR := x° (d.h. das aktuelle Bild der ersten Bildfolge) gewählt.
Wenn schließlich | Imin | < ε und der Indikator auf "links" gesetzt ist, so wird für das linke Bild BL := x° und für das rechte Bild BR ein berechnetes, synthetisches Bild (zweite Bildfolge) gewählt.
Anschließend wird das nächste Bild eingelesen und der gleiche Ablauf für dieses Bild, beginnend mit der Ermittlung des minimalen Wertes des Ahnlichkeitsmaßes dmjn, wiederholt.
Diese automatische Phasenkontrolle bzw. -Umschaltung kann auch ausgeschaltet und zum Beispiel durch eine manuelle Umschaltung mit einer Tastatur über den dritten Eingang der Vorrichtung ersetzt werden.
Die in Figur 1 gezeigte Ausführungsform umfasst weiterhin den Bewegungsanalysator 14, mit dem durch eine dynamische Bewegungskontrolle bzw. -Ermittlung verhindert wird, dass bei schnellen Bewegungen die Stereobasis zu groß wird. Außerdem wird damit sichergestellt, dass bei sehr langsamen Bewegungen eine bestimmte minimale Breite der Stereobasis erhalten bleibt, bevor diese bei Bildern ohne Bewegung verschwindet. Zu diesem letztgenannten Zweck ist der Langzeitspeicher 13 vorgesehen, aus dem Bilder ausgelesen und als Bilder der zweiten Bildfolge verwendet werden, wenn die Bewegungen zu langsam sind.
Das Ahnlichkeitsmaß dk zum Zeitpunkt tk sei wie folgt definiert:
Formel (2): c : :== I
Figure imgf000009_0001
Dieses Ahnlichkeitsmaß ist somit von dem Umfang abhängig, in dem sich der gesamte Inhalt eines nächsten Bildes in einer Bildfolge von dem vorhergehenden Bildinhalt unterscheidet und stellt somit ein Maß für die Geschwindigkeit der Bewegung in den Bil- dem dar.
Für die Auswertung dieses Ähnlichkeitsmaßes werden Schwellwerte 5Q < δj < δ2 definiert, wobei für ein unverändertes (konstantes) Bild zum Zeitpunkt t im Vergleich zu dem vorherigen Bild zum Zeitpunkt tk+i im Idealfall das Ahnlichkeitsmaß dk = 0 ist. Da jedoch bei der Digitalisierung stets ein gewisses Rauschen gegeben ist, ist für ein unverändertes Bild dk < δo anzusetzen.
Natürlich können auch für die Berechnung des Ähnlichkeitsmaßes anstelle der beschriebenen Kreuzkorrelation ein euklidischer Abstand oder ein Absolutbetrag gewählt werden. Die einzelnen Farbwerte des gewählten Farbraumes RGB oder YUV müssen stets getrennt verarbeitet werden.
Zur Auswertung des Wertes des Ahnlichkeitsmaßes dk (k = 0, 1, ...K) wird dieses zunächst in dem Bewegungsanalysator 14 gespeichert und dann mit den Schwellwerten verglichen.
Wenn dk < δo ist, so bedeutet dies, dass die Bewegungen in aufeinanderfolgenden Bildern sehr langsam oder Null sind. In diesem Fall wird die Übertragung der Werte von xk in den Langzeitspeicher 13 gestoppt, so dass dort Bilder vorhanden bleiben, die einen ausreichenden Bewegungsunterschied aufweisen. Außerdem dienen in dem Langzeitspeicher gespeicherte Bilder zur Erzeugung der zweiten Bildfolge, um somit eine Min- dest-Stereobasisbreite aufrecht zu erhalten.
Wenn dk > δ0 ist, wird der Wert der Approximationsvariablen α in Abhängigkeit von der Größe des Ähnlichkeitsmaßes dk relativ zu den Schwellwerten δo, δi, δ2 wie folgt verändert:
Wenn δo < d^- < δ2 und d^ - d -i ≤ -δj und solange α < k - 1 ist, wird die neue Approximationsvariable α := α + s gesetzt.
Wenn δo < d^ < δ2 und d - dk-i ≥ δi und solange α > 2 ist, wird die neue Approximationsvariable α := α - s gesetzt. Mit dem Buchstaben s ist hierbei eine Schrittweite bezeichnet, die vorzugsweise 0,1 beträgt, jedoch auch andere Werte annehmen kann.
Wenn δo < dk < δ2 und -δj < dk - dk-i < δj ist, so bleibt die Approximationsvariable α := α unverändert, da die Bewegungsgeschwindigkeit im wesentlichen konstant ist. In diesem Fall ist keine Anpassung erforderlich.
Wenn schließlich δ2 < dk ist, so bedeutet dies, dass die Bewegung sehr schnell ist und die Stereobasisbreite zu groß werden würde. In diesem Fall wird die Approximationsvariable α := 1/dk gesetzt.
Diese dynamische Bewegungskontrolle kann ebenso wie die automatische Phasenkontrolle auch ausgeschaltet und durch eine manuelle Eingabe zum Beispiel mit einer Tastatur über den zweiten Eingang der Vorrichtung ersetzt werden.
Das beschriebene Verfahren wird vorzugsweise mit einem Datenverarbeitungsprogramm auf einem Rechner, insbesondere einem digitalen Bildverarbeitungssystem zur Erzeugung einer dreidimensionalen Wiedergabe von zweidimensional übertragenen oder gespeicherten Fernsehbildern durchgeführt.
Nachfolgend wird für die beschriebene Ausführungsform ein bevorzugtes Zahlenbeispiel gegeben. Bei Anwendung der bekannten PAL-Norm gilt für die horizontale Auflösung I = 576 und für die vertikale Auflösung J = 768, während für die NTSC-Norm für die Werte I = 480 und J = 640 festgelegt sind.
Im allgemeinen ist es ausreichend, in dem Bildspeicher 11 die letzten fünf Bilder zu speichern, das heißt K :< 5. Als Anfangswert OCQ der Approximationsvariable wird αo := 2,1 gesetzt. Für eine angemessene Analyse der Bewegung in aufeinanderfolgenden Bildern wird der Wert von M auf 1 oder 2 gesetzt. Der Wert von N sollte so groß gewählt werden, dass auch bei schnellen Bewegungen das Scanbild noch im Suchbereich liegt. Hierfür ist ein Bereich für den Wert von N von 20 < N ≤ 30 (insbesondere N := 25) angemessen. Der Wert von N kann jedoch auch das gesamte Ursprungsbild umfassen, so dass N := J/2 gilt. Zur Definition der Unscharfe wird der Wert von ε := 1 vorgeschlagen, während für die Schwellwerte zur Auswertung des Ahnlichkeitsmaßes bevorzugt folgende Werte gewählt werden: δo := 0,05, δj := 0,6 und δ2 := 0,8.
Mit einer mit diesen Werten realisierten Ausführungsform konnte für eine Bildfolge mit sehr unterschiedlich bewegten Inhalten eine sehr natürliche dreidimensionale Wiedergabe erzielt werden.
Figur 4 zeigt schließlich ein Blockschaltbild einer Vorrichtung (Stereo-Decoder oder Stereo-Viewer) zum Erzeugen und Wiedergeben von 3D-Bildern, die aus einer Folge von über eine Übertragungsstrecke übertragenen oder von einem Speichermedium ausgelesenen 2D-Bildern berechnet werden.
Die Vorrichtung umfasst einen ersten Eingang 21, an dem die über eine Übertragungsstrecke übertragenen und in bekannter Weise demodulierten bzw. dekomprimierten 2D- Bilder anliegen. Weiterhin ist ein zweiter Eingang 22 vorgesehen, der zum Beispiel mit einem DVD-Spieler, einem Videorecorder oder einer anderen Bildquelle verbunden ist.
Diese beiden Eingänge sind mit einer erfindungsgemäßen Vorrichtung 23 gemäß Figur 1 verbunden, mit der gemäß obiger Erläuterungen aus der Folge von 2D Bildern 3D Bilder berechnet werden. Die Ausgänge AI, A2 dieser Vorrichtung, an denen eine Folge von linken bzw. rechten Bildern BL, BR anliegt, sind mit einem Stereospeicher 24, 25 verbunden, in dem die Bilder für jeden Kanal gespeichert werden.
Über einen dritten Eingang 26 können durch Betätigung eines Auswahlschalters 27 schließlich verschiedene Treiberstufen ausgewählt werden, über die eine entsprechende Wiedergabeeinrichtung angesteuert wird. Beispielhaft sind hier ein Treiber 28 für eine Shutterbrille 29, ein Treiber 30 für einen autostereoskopischen Monitor 31 sowie ein Treiber 32 für einen Stereo-Projektor 33 dargestellt.
Diese Vorrichtung ist vorzugsweise als Bestandteil eines digitalen Bildverarbeitungssystems zur Erzeugung einer dreidimensionalen Wiedergabe von zweidimensional übertragenen oder gespeicherten Fernsehbildern ausgebildet.

Claims

Patentansprüche
1. Verfahren zur Erzeugung von 3D Bildern aus einer ersten Folge von 2D Bildern mit folgenden Schritten:
- Ermitteln eines ersten Ähnlichkeitsmaßes (dk) zwischen aufeinanderfolgenden Bildern der ersten Folge und Vergleichen dieses Ahnlichkeitsmaßes mit vorbestimmbaren Schwellwerten (δo < δj < δ2),
- in dem Fall, in dem δi < dk < δ2 ist, Verändern einer voreingestellten Approximationsvariable (α) in der Weise, dass die Stereobasisbreite nicht unnatürlich groß wird, und Berechnen eines Bildes einer zweiten Bildfolge zu einem Bild der ersten Folge mit einem durch die Approximationsvariable (α) bestimmten zeitlichen Abstand aus zu dem Bild der ersten Folge zeitlich benachbarten Bildern, oder
- in dem Fall, in dem dk < δo ist, Auslesen eines zeitlich vorherigen Bildes der ersten Folge aus einem Langzeitspeicher (13) und Verwendung dieses Bildes für die zweite Bildfolge,
- Zuordnung des Bildes der ersten und zweiten Bildfolge zu einem linken bzw. rechten Betrachtungskanal in Abhängigkeit von einer vorherrschenden Richtung der Bewegung in aufeinanderfolgenden Bildern der ersten Folge.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass in dem Fall, in dem δj < d < δ2 und dk -
Figure imgf000013_0001
≤ -δj und solange α < k - 1 ist, die Approximations variable α := α + s gesetzt und in dem Fall, in dem δ] < dk < δ2 und d - d^i ≥ δi und solange α > 2 ist, die Approximationsvariable α := α - s gesetzt wird.
3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Ahnlichkeitsmaß (dk) durch Kreuzkorrelation gemäß Formel (2) oder durch Ermittlung eines euklidischen Abstandes oder eines Absolutbetrages berechnet wird.
4. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Bilder der zweiten Bildfolge durch lineare Spline- Approximation oder eine höher-gradige bzw. polynomiale Approximation sämtlicher Bildpunkte berechnet werden.
5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass zur Ermittlung der vorherrschenden Richtung der Bewegung ein vertikaler mittlerer Bereich eines aktuellen Bildes (x°) der ersten Bildfolge mit verschiedenen vertikalen Bereichen eines vorherigen Bildes (x1) dieser Folge verglichen und ermittelt wird, ob der vertikale Bereich des vorherigen Bildes, der die größte Ähnlichkeit mit dem mittleren Bereich des aktuellen Bildes aufweist, links oder rechts von der Mitte liegt.
6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass zur Ermittlung der vorherrschenden Richtung der Bewegung ein zweites Ahnlichkeitsmaß (di) zwischen den Bildbereichen durch Kreuzkorrelation gemäß Formel (1) oder durch Ermittlung eines euklidischen Abstandes oder eines Absolutbetrages berechnet wird.
7. Verfahren nach Anspruch 5 oder 6, dadurch gekennzeichnet, dass um den mittleren Bereich des aktuellen Bildes (x°) ein Unschärfebereich (ε) festgelegt wird, mit dem kleine Bewegungen unterdrückt werden können.
8. Computerprogramm mit Programmcode-Mitteln zur Ausführung der Schritte des Verfahrens nach einem der Ansprüche 1 bis 7, wenn das Programm auf einem Computer ausgeführt wird.
9. Computerprogramm mit Programmcode-Mitteln zur Ausführung der Schritte des Verfahrens nach einem der Ansprüche 1 bis 7, die auf einem Computer-lesbaren Datenträger gespeichert sind.
10. Computerprogramm-Produkt mit auf einem maschinenlesbaren Träger gespeicherten Programmcode zur Ausführung der Schritte des Verfahrens nach einem der Ansprüche 1 bis 7.
11. Vorrichtung zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 7, gekennzeichnet durch
- einen Bildgenerator (15), mit dem zu einem Bild einer zugeführten erste Folge von 2D-Bildern ein Bild einer zweiten Folge von Bildern mit einem durch eine Approximationsvariable (α) vorbestimmbaren zeitlichen Abstand erzeugt wird, wobei das Bild der zweiten Bildfolge durch Approximation mit zu dem Bild der ersten Folge zeitlich be- nachbarten Bildern berechnet wird,
- einen Phasenanalysator (12), mit dem eine vorherrschende Bewegungsrichtung in aufeinanderfolgenden Bildern der ersten Bildfolge ermittelt wird, sowie
- einen Phasenumschalter (16), mit dem eine Zuordnung des Bildes der ersten und zweiten Bildfolge zu einem linken bzw. rechten Betrachtungskanal in Abhängigkeit von einer vorherrschenden Richtung der Bewegung in aufeinanderfolgenden Bildern der ersten Folge vorgenommen wird.
12. Vorrichtung nach Anspruch 11, gekennzeichnet durch einen Bewegungsanalysator (14), mit dem das Maß der Ähnlichkeit (d ) zwischen aufeinanderfolgenden Bildern der ersten Bildfolge ermittelt und die Approximationsvariable (α) in Abhängigkeit von dem Ergebnis eines Vergleiches mit Schwellwerten (δo < δi < δ2) so verändert werden kann, dass bei schnellen Bewegungen eine Stereobasisbreite nicht unnatürlich groß wird.
13. Vorrichtung nach Anspruch 11 oder 12, gekennzeichnet durch einen Langzeitspeicher (13) zur Speicherung von Bildern der ersten Bildfolge, die auslesbar und zur Erzeugung von Bildern der zweiten Bildfolge verwendbar sind, um bei langsamen Bewegungen in aufeinanderfolgenden Bildern der ersten Folge eine minimale Stereobasisbreite aufrechtzuerhalten.
14. Digitales Bildverarbeitungssystem zur Erzeugung einer dreidimensionalen Wiedergabe von zweidimensional übertragenen oder gespeicherten Fernsehbildern, gekennzeichnet durch eine Vorrichtung nach einem der Ansprüche 11 bis 13.
PCT/EP2001/003707 2000-04-01 2001-04-01 Erzeugung einer stereo-bildfolge aus einer 2d-bildfolge WO2001076258A2 (de)

Priority Applications (8)

Application Number Priority Date Filing Date Title
AU52240/01A AU783045B2 (en) 2000-04-01 2001-04-01 Generation of a sequence of stereoscopic images from a seque nce of 2D images
JP2001573802A JP4843753B2 (ja) 2000-04-01 2001-04-01 三次元画像生成方法及び装置
EP01925518A EP1305956A2 (de) 2000-04-01 2001-04-01 Erzeugung einer stereo-bildfolge aus einer 2d-bildfolge
CA2404966A CA2404966A1 (en) 2000-04-01 2001-04-01 Method and device for generating 3d images
US10/240,556 US7254264B2 (en) 2000-04-01 2001-04-01 Method and device for generating 3D images
US10/338,778 US7254265B2 (en) 2000-04-01 2003-01-08 Methods and systems for 2D/3D image conversion and optimization
US11/835,104 US20070269136A1 (en) 2000-04-01 2007-08-07 Method and device for generating 3d images
US11/835,188 US20080085049A1 (en) 2000-04-01 2007-08-07 Methods and systems for 2d/3d image conversion and optimization

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE10016074A DE10016074B4 (de) 2000-04-01 2000-04-01 Verfahren und Vorrichtung zur Erzeugung von 3D-Bildern
DE10016074.3 2000-04-01

Related Child Applications (4)

Application Number Title Priority Date Filing Date
US10240556 A-371-Of-International 2001-04-01
US10/240,556 A-371-Of-International US7254264B2 (en) 2000-04-01 2001-04-01 Method and device for generating 3D images
US10/338,778 Continuation-In-Part US7254265B2 (en) 2000-04-01 2003-01-08 Methods and systems for 2D/3D image conversion and optimization
US11/835,104 Continuation US20070269136A1 (en) 2000-04-01 2007-08-07 Method and device for generating 3d images

Publications (2)

Publication Number Publication Date
WO2001076258A2 true WO2001076258A2 (de) 2001-10-11
WO2001076258A3 WO2001076258A3 (de) 2002-09-12

Family

ID=7637136

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2001/003707 WO2001076258A2 (de) 2000-04-01 2001-04-01 Erzeugung einer stereo-bildfolge aus einer 2d-bildfolge

Country Status (8)

Country Link
US (2) US7254264B2 (de)
EP (1) EP1305956A2 (de)
JP (1) JP4843753B2 (de)
KR (1) KR100838351B1 (de)
AU (1) AU783045B2 (de)
CA (1) CA2404966A1 (de)
DE (1) DE10016074B4 (de)
WO (1) WO2001076258A2 (de)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003046832A1 (de) * 2001-11-24 2003-06-05 Tdv Technologies Corp. Erzeugung einer stereo-bildfolge aus einer 2d-bildfolge
US7254265B2 (en) 2000-04-01 2007-08-07 Newsight Corporation Methods and systems for 2D/3D image conversion and optimization
US7419618B2 (en) 2001-06-13 2008-09-02 Basf Aktiengesellschaft Coolant comprising azole derivatives for cooling systems in fuel-cell drives
US7620070B1 (en) 2003-06-24 2009-11-17 Nvidia Corporation Packet processing with re-insertion into network interface circuitry

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8396328B2 (en) 2001-05-04 2013-03-12 Legend3D, Inc. Minimal artifact image sequence depth enhancement system and method
US7907793B1 (en) 2001-05-04 2011-03-15 Legend Films Inc. Image sequence depth enhancement system and method
US6773399B2 (en) * 2001-10-20 2004-08-10 Zonare Medical Systems, Inc. Block-switching in ultrasound imaging
US8401336B2 (en) 2001-05-04 2013-03-19 Legend3D, Inc. System and method for rapid image sequence depth enhancement with augmented computer-generated elements
US9286941B2 (en) 2001-05-04 2016-03-15 Legend3D, Inc. Image sequence enhancement and motion picture project management system
WO2008011888A1 (en) * 2006-07-24 2008-01-31 Seefront Gmbh Autostereoscopic system
TR201809177T4 (tr) 2007-04-12 2018-07-23 Dolby Int Ab Video kodlama ve kod çözmede döşeme.
US20090219383A1 (en) * 2007-12-21 2009-09-03 Charles Gregory Passmore Image depth augmentation system and method
CN104768031B (zh) 2009-01-26 2018-02-09 汤姆森特许公司 用于视频解码的装置
KR101605314B1 (ko) 2009-07-06 2016-03-22 삼성전자 주식회사 영상처리장치 및 영상처리방법
US9215445B2 (en) 2010-01-29 2015-12-15 Thomson Licensing Block-based interleaving
US8553072B2 (en) * 2010-11-23 2013-10-08 Circa3D, Llc Blanking inter-frame transitions of a 3D signal
US9983685B2 (en) 2011-01-17 2018-05-29 Mediatek Inc. Electronic apparatuses and methods for providing a man-machine interface (MMI)
US8670023B2 (en) * 2011-01-17 2014-03-11 Mediatek Inc. Apparatuses and methods for providing a 3D man-machine interface (MMI)
US8730232B2 (en) 2011-02-01 2014-05-20 Legend3D, Inc. Director-style based 2D to 3D movie conversion system and method
US9113130B2 (en) 2012-02-06 2015-08-18 Legend3D, Inc. Multi-stage production pipeline system
US9288476B2 (en) 2011-02-17 2016-03-15 Legend3D, Inc. System and method for real-time depth modification of stereo images of a virtual reality environment
US9407904B2 (en) 2013-05-01 2016-08-02 Legend3D, Inc. Method for creating 3D virtual reality from 2D images
US9282321B2 (en) 2011-02-17 2016-03-08 Legend3D, Inc. 3D model multi-reviewer system
US9241147B2 (en) 2013-05-01 2016-01-19 Legend3D, Inc. External depth map transformation method for conversion of two-dimensional images to stereoscopic images
US9007404B2 (en) 2013-03-15 2015-04-14 Legend3D, Inc. Tilt-based look around effect image enhancement method
US9438878B2 (en) 2013-05-01 2016-09-06 Legend3D, Inc. Method of converting 2D video to 3D video using 3D object models
KR101939243B1 (ko) * 2014-06-10 2019-01-16 비트애니메이트 인코포레이티드 입체 깊이 조정 및 초점 조정
US9609307B1 (en) 2015-09-17 2017-03-28 Legend3D, Inc. Method of converting 2D video to 3D video using machine learning
EP3422711A1 (de) * 2017-06-29 2019-01-02 Koninklijke Philips N.V. Vorrichtung und verfahren zur erzeugung eines bildes
US10735707B2 (en) 2017-08-15 2020-08-04 International Business Machines Corporation Generating three-dimensional imagery
US11074700B2 (en) 2018-04-23 2021-07-27 Cognex Corporation Systems, methods, and computer-readable storage media for determining saturation data for a temporal pixel

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4781435A (en) * 1985-09-19 1988-11-01 Deutsche Forschungs- Und Versuchsanstalt Fur Luft- Und Raumfahrt E.V. Method for the stereoscopic representation of image scenes with relative movement between imaging sensor and recorded scene
US4925294A (en) * 1986-12-17 1990-05-15 Geshwind David M Method to convert two dimensional motion pictures for three-dimensional systems
EP0665697A2 (de) * 1994-02-01 1995-08-02 SANYO ELECTRIC Co., Ltd. Verfahren zum Umsetzen von zweidimensionalen Bildern in dreidimensionalen Bilder
EP0714077A2 (de) * 1994-11-22 1996-05-29 Sanyo Electric Co. Ltd Verfahren zur Umwandlung von zweidimensionalen Bildern in dreidimensionalen Bilder
WO1999003068A1 (en) * 1997-07-07 1999-01-21 Reveo, Inc. Method and apparatus for monoscopic to stereoscopic image conversion

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2141605B (en) * 1983-05-09 1987-06-10 Geshwind David M Method for colorizing black and white film footage
DE3530610A1 (de) * 1985-08-27 1987-03-05 Inst Rundfunktechnik Gmbh Verfahren zur erzeugung stereoskopischer bildablaeufe
US5821989A (en) * 1990-06-11 1998-10-13 Vrex, Inc. Stereoscopic 3-D viewing system and glasses having electrooptical shutters controlled by control signals produced using horizontal pulse detection within the vertical synchronization pulse period of computer generated video signals
US6392689B1 (en) * 1991-02-21 2002-05-21 Eugene Dolgoff System for displaying moving images pseudostereoscopically
AU652051B2 (en) * 1991-06-27 1994-08-11 Eastman Kodak Company Electronically interpolated integral photography system
US5680474A (en) * 1992-10-27 1997-10-21 Canon Kabushiki Kaisha Corresponding point extraction method for a plurality of images
US5588067A (en) * 1993-02-19 1996-12-24 Peterson; Fred M. Motion detection and image acquisition apparatus and method of detecting the motion of and acquiring an image of an object
US5510832A (en) * 1993-12-01 1996-04-23 Medi-Vision Technologies, Inc. Synthesized stereoscopic imaging system and method
JPH07226958A (ja) * 1994-02-16 1995-08-22 Sanyo Electric Co Ltd 立体映像表示方式
JP2594235B2 (ja) * 1994-02-01 1997-03-26 三洋電機株式会社 ２次元映像を３次元映像に変換する方法及び３次元映像信号生成装置
JP3214688B2 (ja) * 1994-02-01 2001-10-02 三洋電機株式会社 ２次元映像を３次元映像に変換する方法及び３次元映像信号生成装置
JPH07222203A (ja) * 1994-02-04 1995-08-18 Sanyo Electric Co Ltd ３次元映像ソフト変換方式
JP2975837B2 (ja) * 1994-02-25 1999-11-10 三洋電機株式会社 ２次元画像の一部を３次元画像へ変換する方法
US5739844A (en) * 1994-02-04 1998-04-14 Sanyo Electric Co. Ltd. Method of converting two-dimensional image into three-dimensional image
JP2846840B2 (ja) * 1994-07-14 1999-01-13 三洋電機株式会社 ２次元映像から３次元映像を生成する方法
JP2951230B2 (ja) * 1994-09-22 1999-09-20 三洋電機株式会社 ２次元映像から３次元映像を生成する方法
KR100374463B1 (ko) * 1994-09-22 2003-05-09 산요 덴키 가부시키가이샤 2차원영상을3차원영상으로변환하는방법
KR100381348B1 (ko) * 1995-04-17 2003-07-07 산요 덴키 가부시키가이샤 2차원 영상을 3차원 영상으로 변환하는 방법
US5768415A (en) * 1995-09-08 1998-06-16 Lucent Technologies Inc. Apparatus and methods for performing electronic scene analysis and enhancement
US5953054A (en) * 1996-05-31 1999-09-14 Geo-3D Inc. Method and system for producing stereoscopic 3-dimensional images
KR100445619B1 (ko) * 1996-07-18 2004-08-25 산요덴키가부시키가이샤 2차원 영상을 3차원 영상으로 변환하는 장치 및 방법
US6108005A (en) * 1996-08-30 2000-08-22 Space Corporation Method for producing a synthesized stereoscopic image
KR100255748B1 (ko) * 1997-07-19 2000-05-01 전주범 가중된 블럭 정합 알고리즘에 의한 움직임 추정 방법 및장치
AUPO894497A0 (en) * 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
US6584219B1 (en) * 1997-09-18 2003-06-24 Sanyo Electric Co., Ltd. 2D/3D image conversion system
JP4056154B2 (ja) * 1997-12-30 2008-03-05 三星電子株式会社 ２次元連続映像の３次元映像変換装置及び方法並びに３次元映像の後処理方法
JPH11234703A (ja) * 1998-02-09 1999-08-27 Toshiba Corp 立体表示装置
US6141440A (en) * 1998-06-04 2000-10-31 Canon Kabushiki Kaisha Disparity measurement with variably sized interrogation regions
US6757423B1 (en) * 1999-02-19 2004-06-29 Barnes-Jewish Hospital Methods of processing tagged MRI data indicative of tissue motion including 4-D LV tissue tracking
KR100334722B1 (ko) * 1999-06-05 2002-05-04 강호석 Ｍｐｅｇ 데이터를 이용한 입체영상생성방법 및 그 장치
US6765568B2 (en) * 2000-06-12 2004-07-20 Vrex, Inc. Electronic stereoscopic media delivery system
AUPQ887100A0 (en) * 2000-07-19 2000-08-10 Dynamic Digital Depth Research Pty Ltd Image processing and encoding techniques
GB0105801D0 (en) * 2001-03-09 2001-04-25 Koninkl Philips Electronics Nv Apparatus

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4781435A (en) * 1985-09-19 1988-11-01 Deutsche Forschungs- Und Versuchsanstalt Fur Luft- Und Raumfahrt E.V. Method for the stereoscopic representation of image scenes with relative movement between imaging sensor and recorded scene
US4925294A (en) * 1986-12-17 1990-05-15 Geshwind David M Method to convert two dimensional motion pictures for three-dimensional systems
EP0665697A2 (de) * 1994-02-01 1995-08-02 SANYO ELECTRIC Co., Ltd. Verfahren zum Umsetzen von zweidimensionalen Bildern in dreidimensionalen Bilder
EP0714077A2 (de) * 1994-11-22 1996-05-29 Sanyo Electric Co. Ltd Verfahren zur Umwandlung von zweidimensionalen Bildern in dreidimensionalen Bilder
WO1999003068A1 (en) * 1997-07-07 1999-01-21 Reveo, Inc. Method and apparatus for monoscopic to stereoscopic image conversion

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MATSUMOTO Y ET AL: "Conversion system of monocular image sequence to stereo using motion parallax" STEREOSCOPIC DISPLAYS AND VIRTUAL REALITY SYSTEMS IV, SAN JOSE, CA, USA, 11-14 FEB. 1997, Bd. 3012, Seiten 108-115, XP008000606 Proceedings of the SPIE - The International Society for Optical Engineering, 1997, SPIE-Int. Soc. Opt. Eng, USA ISSN: 0277-786X *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7254265B2 (en) 2000-04-01 2007-08-07 Newsight Corporation Methods and systems for 2D/3D image conversion and optimization
US7419618B2 (en) 2001-06-13 2008-09-02 Basf Aktiengesellschaft Coolant comprising azole derivatives for cooling systems in fuel-cell drives
US7419617B2 (en) 2001-06-13 2008-09-02 Basf Aktiengesellschaft Coolant comprising azole derivatives for cooling systems in fuel-cell drives
WO2003046832A1 (de) * 2001-11-24 2003-06-05 Tdv Technologies Corp. Erzeugung einer stereo-bildfolge aus einer 2d-bildfolge
CN1295655C (zh) * 2001-11-24 2007-01-17 Tdv技术公司 从2d图像序列生成立体图像序列
US7321374B2 (en) 2001-11-24 2008-01-22 Newsight Corporation Method and device for the generation of 3-D images
US7620070B1 (en) 2003-06-24 2009-11-17 Nvidia Corporation Packet processing with re-insertion into network interface circuitry

Also Published As

Publication number Publication date
WO2001076258A3 (de) 2002-09-12
DE10016074B4 (de) 2004-09-30
US20070269136A1 (en) 2007-11-22
DE10016074A1 (de) 2001-10-04
JP4843753B2 (ja) 2011-12-21
US20030098907A1 (en) 2003-05-29
US7254264B2 (en) 2007-08-07
AU783045B2 (en) 2005-09-22
JP2004504736A (ja) 2004-02-12
EP1305956A2 (de) 2003-05-02
AU5224001A (en) 2001-10-15
KR20040010040A (ko) 2004-01-31
KR100838351B1 (ko) 2008-06-16
CA2404966A1 (en) 2001-10-11

Similar Documents

Publication Publication Date Title
DE10016074B4 (de) Verfahren und Vorrichtung zur Erzeugung von 3D-Bildern
DE69908562T2 (de) Bewegungsvektorenextrapolation zur transkodierung von videosequenzen
DE60037485T2 (de) Signalverarbeitungsverfahren und Videosignalprozessor zum Ermitteln und Analysieren eines Bild- und/oder Audiomusters
DE69925033T2 (de) Verfahren und system zur erzeugung von 3d modellen aus sequentiellen 2d bilddaten
DE69836609T2 (de) Umwandlung von in DV-Format kodierten Videodaten in MPEG-Format
DE60119012T2 (de) Verfahren um Überblendung in einer MPEG-Umgebung zu detektieren
WO2003046832A1 (de) Erzeugung einer stereo-bildfolge aus einer 2d-bildfolge
EP0472239B1 (de) Verfahren zur Ermittlung horizontaler Bewegungen in den Bildinhalten eines Fernsehsignals
DE102011056975A1 (de) Digitale Bildstabilisierung
DE19743202B4 (de) Verfahren zum Codieren eines Bewegungsvektors
DE602005003624T2 (de) Bildverarbeitungsvorrichtung und - verfahren
EP2229784A1 (de) Verfahren und vorrichtung zur echtzeit-multiview-erzeugung
DE69910695T2 (de) Verfahren und Apparat zum Filtern von Bildfarbsignalen
DE69909892T2 (de) Verfahren zum Detektieren der relativen Tiefe zweier Objekte in einer Szene ausgehend von zwei Aufnahmen aus verschiedenen Blickrichtungen
DE69915857T2 (de) Videosignalverarbeitung
EP2105883A1 (de) Verfahren zum Testen eines Bewegungsvektors
DE60121443T2 (de) Blockbasierte Bewegungs- oder Tiefenschätzung
EP0639922B1 (de) Schaltung zur Bewegungsdetektion für ein Bildsignal
DE102009001518B4 (de) Verfahren zur Erzeugung einer HDR-Videobildfolge
DE102018113822A1 (de) Konvertieren eines Bildstroms mit stereoskopischen Bildinhalten
DE19617643B4 (de) Verfahren zum Konvertieren von 2D- in 3D-Filme
DE4423467C2 (de) Verfahren zur Reduzierung von Linienflackereffekten bei der Darstellung von Standbildern, wie Testbildern, in Fernsehempfangsgeräten
DE69533891T2 (de) Vorrichtung zur Bewegungsschätzung mit Grenzübereinstimmung
DE19758963B4 (de) Verfahren zum Codieren eines Bewegungsvektors
DE19758964B4 (de) Vorrichtung zum Codieren eines Bewegungsvektors

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A2

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EE ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NO NZ PL PT RO RU SD SE SG SI SK SL TJ TM TR TT TZ UA UG US UZ VN YU ZA ZW

AL Designated countries for regional patents

Kind code of ref document: A2

Designated state(s): GH GM KE LS MW MZ SD SL SZ TZ UG ZW AM AZ BY KG KZ MD RU TJ TM AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE TR BF BJ CF CG CI CM GA GN GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
REG Reference to national code

Ref country code: DE

Ref legal event code: 8642

AK Designated states

Kind code of ref document: A3

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EE ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NO NZ PL PT RO RU SD SE SG SI SK SL TJ TM TR TT TZ UA UG US UZ VN YU ZA ZW

AL Designated countries for regional patents

Kind code of ref document: A3

Designated state(s): GH GM KE LS MW MZ SD SL SZ TZ UG ZW AM AZ BY KG KZ MD RU TJ TM AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE TR BF BJ CF CG CI CM GA GN GW ML MR NE SN TD TG

ENP Entry into the national phase

Ref country code: JP

Ref document number: 2001 573802

Kind code of ref document: A

Format of ref document f/p: F

WWE Wipo information: entry into national phase

Ref document number: 1020027013162

Country of ref document: KR

Ref document number: 2404966

Country of ref document: CA

Ref document number: 10240556

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 52240/01

Country of ref document: AU

WWE Wipo information: entry into national phase

Ref document number: 2001925518

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 2001925518

Country of ref document: EP

DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
WWP Wipo information: published in national office

Ref document number: 1020027013162

Country of ref document: KR

WWG Wipo information: grant in national office

Ref document number: 52240/01

Country of ref document: AU