WO2009082990A1 - Verfahren und vorrichtung zur echtzeit-multiview-erzeugung - Google Patents

Verfahren und vorrichtung zur echtzeit-multiview-erzeugung Download PDF

Info

Publication number
WO2009082990A1
WO2009082990A1 PCT/DE2007/002326 DE2007002326W WO2009082990A1 WO 2009082990 A1 WO2009082990 A1 WO 2009082990A1 DE 2007002326 W DE2007002326 W DE 2007002326W WO 2009082990 A1 WO2009082990 A1 WO 2009082990A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
synthetic images
stereo
stereo image
images
Prior art date
Application number
PCT/DE2007/002326
Other languages
English (en)
French (fr)
Inventor
Rolf-Dieter Naske
Original Assignee
3D Television Systems Gmbh & C
Rolf-Dieter Naske
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 3D Television Systems Gmbh & C, Rolf-Dieter Naske filed Critical 3D Television Systems Gmbh & C
Priority to US12/810,681 priority Critical patent/US8736669B2/en
Priority to DE112007003762T priority patent/DE112007003762A5/de
Priority to PCT/DE2007/002326 priority patent/WO2009082990A1/de
Priority to PL07856161T priority patent/PL2229784T3/pl
Priority to EP07856161.0A priority patent/EP2229784B1/de
Priority to ES07856161T priority patent/ES2727567T3/es
Publication of WO2009082990A1 publication Critical patent/WO2009082990A1/de

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators

Definitions

  • the number of simultaneously perspectives varies, generally between 4 and 32, but may be higher in the future.
  • the set of perspectives displayed simultaneously and generally recorded at the same time t are hereafter referred to as multivefew image.
  • MVP Multivrew-Proftle
  • CA 2212069 proposes a method in which optimal least parity is found by using least-squares-optimization v ⁇ reference blocks in the search range This method is used to encode stereo image sequences However, it is only applied to the luminance values of the image. In addition, parameters of an affine transformation should compensate for possible differences in the calibration of the camera heads, and since the presented method was developed especially for optimum coding and decoding of stereo image sequences, there is a close correlation with the MPEG encoding method.
  • a midway perspective is generated by defining a block in the intermediate perspective and simultaneously shifting this block by a disparity in the right and left images until the absolute sum of the pixel values is at a minimum
  • Intermediate perspective is defined as the mean (generalized "blending") of the found minimum pixel values of the left and right images.
  • the image areas are identified which have not changed between two stereo images of the image sequence.
  • the associated disparity map may not have changed.
  • Fig. 1 is a block diagram of the various process steps and their relationship.
  • FIG. 2 shows the basic principle of multivew coding in the context of the MPEG standard
  • Fig. 3 shows in a line of the disparity map as the assignable pixels of the left stereo image d ⁇ e right pixel assigned.
  • Legal occlusions are indicated by a-1 in the associated field of the left part. Left occlusions result from jumps in the assignment to the right pixels.
  • 4 shows by way of example what a hardware structure with several processing units can look like.
  • FIG. 5 shows a flow chart for the time-to-go multiview generation.
  • Any real-time multiview generation starts by receiving a stereo image in a particular stereo format.
  • the stereo image consists of two thumbnail images of the same scene, taken at the same time from different perspectives. It can have any size.
  • Today's image sizes go up to twice HDTV (1920x1080).
  • the received stereo image is split into a left-hand image L and a right-side image R and scaled to a certain size G (t).
  • the size G (t) is the processing size.
  • G (t) can vary over time. At the end of each real-time multiview generation, the processing time is measured and G ⁇ t) is either increased or decreased.
  • G (t) An initial value for G (t> is set at the start of the process After approximately 2 to 3 real-time multiview generations, G (t) has automatically / adapt ⁇ ve set to an optimum value, scaling being performed by the so-called compressor (1).
  • the areas are searched that have not changed between the current image L ⁇ 1) or R (1 ⁇ and the previous image L ⁇ 0) or R (O). For this, the image is divided into blocks of the same size (eg 16x16) and each block is compared with the same block in the previous image. If the difference is below a bound ⁇ , all pixels of the block are marked as unchanged.
  • the similarity can refer to gray values, RGB values or other values.
  • both distance measures and correlation measures can be used. This recognition of the unchanged areas can be both in the left and also performed in the right image weFde ⁇ . To simplify the following presentation, it should be assumed from now on, without any restriction of the totality, that the constancy detection is carried out in the left-hand image.
  • the identification of the constant blocks is performed by the so-called constant detector (2).
  • the left part e.g. Bold points may be marked for which there is disparity, i. they are also present in the right picture, or those which are not present because of a legal concealment in the right part of the picture. If the constancy detection is carried out in the right Te ⁇ lbi ⁇ d B ⁇ id Vietnamese arise with disparity or U ⁇ ksverdecku ⁇ gen.
  • the result of the constant detector is supplied to the feature extractor ⁇ 3). For pixels that are not marked as constant » the required features are calculated. For pixels that have been marked as constant, the features are already calculated at the previous Mehliview generation time.
  • This feature extraction is performed for both images i (1) and R (1). Large constant ranges significantly reduce processing time.
  • the result of the feature extraction is stored in the memory F L and F R for the left and right field. Since the memory memory F L and F R also has the size G (t), the newly calculated features for the pixels are simply written to the same position. Constant pixels automatically retain their feature vectors unless size G (f) was changed in the previous step.
  • RGB values As features, e.g. the RGB values, edge values or homogeneity values are used. All known feature extraction methods which assign a feature to a pixel can be used.
  • the memories F L and F R are available to the image analyzer (4).
  • the task of the image analyzer is to create the disparity map. For this calculation, eg methods of dynamic programming on the individual lines of the left and right Te ⁇ lfaildes used to determine the optimal allocation
  • DP (1, i, j) is the matrix of disparities at the current time.
  • Dfe environment can be a rectangle or limited by geometric properties such as edges.
  • every norm such as Euclid, Absolute Amount or Correlation offers itself.
  • Features can be additionally weighted in the standard, whereby the weights were read in at the start of the process.
  • the value DP (1, i, J 0) of the segment with the largest j such that K (i, j ⁇ ) 0, is taken as the right end value of the segment.
  • the image analysis creates the matrix DP (1).
  • the image symbol (5) now uses the disparity map DP (I) as well as the sub-images L (1) and R (1) and copies them to 1 (1) and f (n). Only the virtual perspectives 1 (2) to 1 (n-1) are generated.
  • the image synthesizer practically realizes a virtual camera movement from L (1) to R (t) with n-2 breakpoints, if the multiview image should contain n perspectives, n> 2 can be changed by the viewer at any time.
  • (ij) from the left field proceed as follows:
  • a gap mask which is characterized in that I DP ⁇ 1, i,) ⁇ - DP (1, i, j + 1) ⁇ > 1, slowly fades in.
  • the multiview biid with n perspectives for display on the display is available.
  • the processing size G (t) is reduced. This reduces the resolution.
  • the controller may increase the resolution or add additional features for quality improvement. After changing the control parameters, a change is suspended for the next 3-4 time measurements so that the new control parameters can affect the process steps.
  • All sub-steps are designed in such a way that they can be executed by several parallel processing units (multi-core). This is shown in FIG.
  • the constant-state detector which is to locate the constant blocks, is combined with one of the MPEG encoding methods.

Abstract

Es werden Verfahren und Vorrichtungen vorgestellt, bei denen aus einem Stereobild mit mindestens 2 Perspektiven zusätzliche (im Allgemeinen 8 und mehr), virtuelle Perspektiven erzeugt werden, unter der Bedingung, dass die Zeit für den gesamten Erzeugungsprozess kleiner ist als die vorgegebene Bildrate und, dass gleichzeitig die Multiview-Bildqualität maximal ist. Es wird nicht vorausgesetzt, dass eine Disparitätskarte existiert. Im allgemeinen Fall werden einerseits die Bildbereiche identifiziert, die sich zwischen zwei Stereobildern der Bildfolge nicht verändert haben. In diesen Bereichen kann sich auch die zugehörige Disparitätskarte nicht verändert haben. Andererseits werden durch permanente Zeitmessung während der Verarbeitung die Verarbeitungsparameter permanent angepasst, sodass die Qualität immer maximal ist. Es ergibt sich dadurch ein adaptives Verfahren, das auch auf Belastungsschwankungen der zugrunde gelegten Hardware-Vorrichtung reagieren kann.

Description

Verfahren und Vorrichtung zur Echtzeit-Multiview-Erzeugung
Aufgabenstellung
Autostereoskopische Displays, bei denen mehrere Perspektiven gleichzeitig dargestellt werden, und es so vielen Betrachtern an verschiedenen Betrachtungspositionen gleichzeitig ermöglicht wird, ohne optische Hilfsmittel ein dreidimensionales Raumbild zu betrachten, gewinnen seit einigen Jahren Immer mehr an Bedeutung.
Die Anzahl der gleichzeitig dargesteiften Perspektiven schwankt, im Allgemeinen zwischen 4 und 32. Sie kann in Zukunft jedoch auch höher sein.
Die Menge der Perspektiven, die gleichzeitig angezeigt werden und im Allgemeinen auch zum gleichen Zeitpunkt t aufgenommen wurden, soft im Folgenden als Multivfew-Bild bezeichnet werden.
Betrachtet man einmal den gesamten Produktϊonsprozess von der Aufnahme mit der Stereo-Kamera über dfe kodierte Übertragung bis zur Darstellung auf dem autostereoskopischen Display, so ergeben steh unterschiedliche Anforderungen und Randbedingungen:
• Bei der Aufnahme muss die Kamera leicht zu tragen und handhaben sein. Sie sollte also leicht sein und mit nur wenigen Objektiven (z.B. nur 2) ausgestattet sein.
• Bei der Übertragung sollten so wenig Perspektiven wie möglich gesendet werden, damit die Auflösung für jede Perspektive maximal sein kann.
• Bei der Darstellung sollten so viele Perspektiven wie möglich angezeigt werden, damit möglichst viele optimale Betrachtungspositfonen entstehen.
Diese Anforderungen legen den Schluss nahe, dass es am sinnvollsten wäre, möglichst viele Perspektiven am Ort der Darstellung zu erzeugen. Zusätzlich muss darauf geachtet werden, dass die Kapazität unterschiedlicher Vorrichtungen trotzdem zu einer Verarbeitungszeit fuhrt, die Kürzer ist als die Zeit zwischen zwei Stereobildern. Dies soll daher das Ziel des eingereichten Patentes sein.
Stand der Technik
Für die Übertragung von Stereobildern wurde im Rahmen der MPEG-Organsation bereits 1996 ein so genanntes „Multivrew-Proftle" (MVP) verabschiedet, welches es ertaubt, mehr als eine Kameraposition konsistent zu kodieren und zu übertragen. In der Praxis wird dies meistens aus den oben genannten Gründen für 2 Kamera- Positionen verwendet werden.
Neben dem Multiview-PrafH von MPEG1 welches im Bereich der digitalen Übertragungen an Bedeutung gewinnen wird, sind aber auch solche, in allgemeine analoge, Formate relevant, die sich aus historischen Gründen ergeben haben. Hier sind z.B. dasField-Sequential-, Inferiaced, Over/Underoder Side-by-Side aus dem Bereich der Video-Recorder zu nennen. In diesen Fällen gibt es keine Disparitätskarte, die als Informationsquelle genommen werden kann.
In CA 2212069 (Ref.4} wird ein Verfahren vorgestellt, bei <lem durch Least- Squares-Qptimierungvσπ Refereπzblöcken im Suchbereich eine optimale Disparität gefunden wird. Dieses Verfahren wird zur Kodierung von Stereobildfolgen verwendet Es wird jedoch nur auf die Lumϊnaπzwerte des Bildes angewendet. Parameter einer affinen Transformation sollen zusätzlich mögliche Unterschiede in der Kalibrierung der Kameraköpfe kompensieren. Da das vorgestellte Verfahren insbesondere für eine optimale Kodierung und Dekodierung von Stereobildfolgen entwickelt wurde, gibt es einen engen Zusammenhang mit den MPEG-Kodϊerungsverfahreπ.
In CA 2 553473 (Ref. 5} wird aus einer monoskopischen Bifdfόlge durch Analyse der Kanten eine Tiefenkarte erzeugt, durch welche zusammen mit dem Origϊnalbild ein Stereobild synthetisiert wird. Da es jedoch keine Informationen über Verdeckungen und die zugehörige Bildinhalte gibt, ist dieses Verfahren für eine optisch korrekte Multivϊew-Erzeugung hier nicht akzeptabel In US 2007/0104276 Al (Ref.6) wird ein Verfahren und System vorgestellt welches auf dem Standard eines Multiview-Prafils von MPEG beruht Dabei wird so vorgegangen, dass zu einem Referenzbild (z.B. das linke Bild) Disparitätsvektoren zu allen anderen Teilbildem des Multiview-Bildes berechnet werden. Auf der Basis des Referenzbildes und der Disparitätsvektoren werden die TeHbitder rekonstruiert und die Differenz/Korrelation zwischen dem ursprünglichen Teilbild und dem rekonstruierten Teilbild in einer beliebigen Norm bestimmt Der Rekonstruktionsfehler wird zur Definition einer Schatzstruktur verwendet
In WO 2Q077035Ö54 Al (Ref. 7) wird ein Kodieruπgsverfahren vorgestellt weiches dazu dient ein Multiview-Bild von mehreren Kameras möglichst effektiv zu kodieren und dekodieren. Hier wird die Disparität nicht für alle Blöcken berechnet Die Disparität von nicht berechneten Blöcken wird mittels Interpolation auf der Basis einer zugehörige Referenzliste erstellt Dadurch ist es weht erforderlich die Disparität für alle Blöcke zu berechnen. Lineare bzw. kubische zweidimensionale Interpolationsverfahren werden angewendet um die Disparität für nicht berechnete Blöcke zu schätzen.
In US 2005/0185048 Al (Ref. 8} wird eine Zwϊscheπperspekfve dadurch erzeugt, dass in der Zwischeπperspektive ein Block definiert wird und dieser Block im rechten und linken Bild gleichzeitig um eine Disparität verschoben wird bis der Absolutbetrag Summe der Pixelwerte minimal ist Der Bildpunkt der Zwischeπperspektive wird als Mittelwert (verallgemeinert „Überblendung") der gefundenen minimalen Pixeiwerte von linkem und rechtem Bild festgelegt.
in den hier vorgestellten Verfahren und Vorrichtungen sollen aus einem Stereobild mit mindestens 2 Perspektiven zusätzliche (im Allgemeinen 8 und mehr), virtuelle Perspektiven erzeugt werden, unter der Bedingung, dass die Zeit für den gesamten Erzeugungsprozess kleiner ist als die vorgegebene Bifdrate und, dass gleichzeitig die Multiview-Bildqualität maximal Ist. Es wird nicht vorausgesetzt, dass eine Dϊsparitätskarte bereits existiert Sie kann jedoch, falls vorhanden, zu Hilfe genommen werden, um die Verarbeitungsgeschwϊndigkeit zu erhöhen.
Im allgemeinen Fall werden einerseits die Bildbereiche identifiziert, die sich zwischen zwei Stereobildern der Bildfolge nicht verändert haben. In diesen Bereichen kann sich unter der Voraussetzung, dass sich die geometrischen Parameter der Objektive der Stereo-Kamera nicht verändert haben, auch die zugehörige Disparitätskarte nicht verändert haben.
Andererseits werden durch permanente Zeitmessung während der Verarbeitung die Verarbeitungsparameter permanent angepasst, sodass die Qualität immer maximal ist
Es ergibt sich dadurch ein adaptives Verfahren, das auch auf Belastungsschwankuπgen der zugrunde gelegten Hardware-Vorrichtung reagieren kann.
Beschreibung der Zeichnungen
Fig. 1 istern Btockdiagramm der verschiedenen Verfahrensschritte und ihr Zusammenhang.
Fig.2 zeigt das Grundprinzip der Multivϊew-Kodierung im Rahmen des MPEG- Standards
Fig. 3 zeigt in einer Zeile der Disparitätskarte wie den zuordenbaren Bildpunkten des Unken Stereobildesdϊe rechten Bildpunkte zugeordnet werden. Rechtsverdeckungen sind durch eine-1 im zugehörigen Feld des linken Teiibϊfdes angezeigt. Linksverdeckungen ergeben sich durch Sprunge in der Zuordnung zu den rechten Bildpunkten. Fig. 4 zeigt exemplarisch wie eine Hardwarestruktur mit mehreren Verarbeitungseinheiten aussehen kann.
Fig.5 zeigt ein Flussdiagramm zur Eehtzeit-Multiview-Erzeugung.
Verfahrensbeschreibung im Detail
Jede Echtzeit-Multiview-Erzeugung beginnt damit, dass ein Stereobild in einem bestimmten Stereoformat empfangen wird. Das Stereobild besteht aus zwei Teifbildern derselben Szene, die zur selben Zeit aus unterschiedlichen Perspektiven aufgenommen wurden. Es kann Jede beliebige Größe besitzen. Heutige Bildgrößen gehen bis zu zweimal HDTV (1920x1080).
Das empfangene Stereobild wird in ein linkes Teϊfbild L und ein rechtes TeϊJbild R aufgeteilt und auf eine bestimmte Größe G(t) skaliert. Die Größe G(t) ist die Verarbeitungsgröße. Jn Abhängigkeit von der Leistungsfähigkeit und Auslastung der verwendeten Hardwarestruktur kann G(t) zeitlich variieren. Am Ende einer jeden Echtzeit-Multiview-Erzeugung wird die Verarbeitungszeit gemessen und G^t) entweder vergrößert oder verkleinert.
Ein Anfangswert für G(t> wird bei Verfahrensstart gesetzt. Nach ca.2 bis 3 Echtzeit- Multiview-Erzeugungen hat sich G(t) automatisch/adaptϊve auf einen optimalen Wert eingestellt. Die Skalierung wird vom so genannten Kompressor (1) durchgeführt.
Nach der Kompression auf die richtige Verarbeitungsgröße werden die Bereiche gesucht, die sich zwischen dem aktuellen Bild L{1) bzw. R(1 } und dem vorherigen Bild L{0) bzw. R(O) nicht verändert haben. Hierzu wird das Bild in Blöcke gleicher Größe (z.B. 16x16) aufgeteilt und jeder Block mit dem gleichen Block im vorherigen Bild verglichen. Ist der Unterschied unterhalb einer Schranke ε, so werden alle Bildpunkte des Blockes als unverändert markiert. Die Ähnlichkeit kann sich auf Grauwerte, RGB-Werte oder sonstige Werte beziehen. Zur Berechnung der Ähnlichkeit können sowohl Abstandsmaße als auch Korrelationsmaße verwendet werden. Diese Erkennung der unveränderten Bereiche kann sowohl im linken als auch im rechten Bild durchgeführt weFdeπ. Zur Vereinfachung der folgenden Darstellung soll fortan ohne Einschränkung der Allgerπeingülfigkeϊt davon ausgegangen werden, dass die Konstanz-Detektioπ im linken Bild durchgeführt wird.
Die Identifikation der konstanten Blöcke wird vom so genannten Konstanz-Detektor (2) durchgeführt. Im linken Teilfaifd z.B. können Bϊldpunkte markiert werden, für die es eine Disparität gibt, d.h. sie sind auch im rechten Bild vorhanden, oder solche, <d\& wegen einer Rechtsverdeckung im rechten TeilbM nicht vorhanden sind. Wird die Konstanz-Detektion im rechten Teϊlbiϊd durchgeführt, ergeben sich Bϊidpunkt mit Disparität oder Uπksverdeckuπgen.
Das Ergebnis des Konstanz-Detektors wird dem Merkmals-Extrafctor {3) zugeführt. Für Bildpunkte, die nicht als konstant markiert sind» werden nun die erforderlichen Merkmale berechnet. Für Bildpunkte, die als konstant markiert wurden, sind die Merkmale bereits bei der vorherigen Eehlzeit-Muftiview-Erzeugung berechnet.
Diese Merkmal-Extraktion wird für beide Bilder i(1) und R(1) durchgeführt. Große konstante Bereiche reduzieren die Verarbeitungszeit signifikant.
Das Ergebnis der Merkmalextraktion wird im Speicher FL und FR für das ünke und rechte Teilbild gespeichert. Da der Merkmaispeicher FL und FR ebenfalls die Größe G(t) besitzt, werden die neu berechneten Merkmale für die Bildpunkte einfach an die gleiche Position geschrieben. Konstante Bildpunkte behalten automatisch ihre Merkmalsvekforeπ, sofern äie Größe G(f)im vorherigen Schritt nicht verändert wurde.
Als Merkmale können z.B. die RGB-Werte, Kanteπwerte oder Homogenitätswerte verwendet werden. Alle bekannten Merkmafsextraktionsverfahren, welche einem Bildpunkt ein Merkmal zuordnen, können verwendet werden.
Die Speicher FL und FR stehen dem Bild-Aπalysator (4) zur Verfügung. Aufgabe des Bild-Analysators ist es, die Disparitätskarte zu erstellen. Für diese Berechnung werden z.B. Verfahren der dynamischen Programmierung auf die einzelnen Zeilen des linken und rechten Teϊlfaildes zur Feststellung der optimalen Zuordnung angewendet
Eine Anwendung auf dfe Zeilen istfedoch nur zulässig, wenn sich das Stereobild ϊn Stereonormalform befindet Ist dies racht der Fall, so kann dies entweder durch lineare Vor- und Rücktransformatfon erreicht werden, oder durch die Anwendung modifizierter Disparitätsschätzverfahren, die z.B. sich an den Epipolaren orientrerert Zur Vereinfachung der Darstellung sei im Folgenden die Stereonormalform vorausgesetzt
Da dieser Schritt einer der zeitaufwendigsten Teilschritte ist, muss hier besonders auf eine Reduzierung der Verarbeitungszeit geachtet werden. Auch In diesem Schritt steht daher das Ergebnis der Kαnstanz-Detektion zur Verfügung. Der Bild-Anaiysafor hat für jeden Bildpunkt die Information
(ij) sich geändert hat,
Figure imgf000009_0001
Für alle Bildpunkte Q, j), für die K(i, j) = 0 ist, kann όie Disparität DP(O7Ij) nach DP{1 ,i„j) übernommen werden. DP(1 , i, j) ist die Matrix der Disparitäten zum aktuellen Zeitpunkt.
Im Allgemeinen wird für die Ähnlichkeitsberechnung eine Umgebung um die Bfldpuπkte (ϊ, j) mit dem Merkmalsvektor FL(J, j) genommen. Dfe Umgebung kann dabei ein Rechteck sein oder durch geometrische Eigenschaften wie z.B. Kanten eingeschränkt sein. Als Ähnlichkeitsmaß bietet sich jede Norm wie z.B. Euklid, Absolutbetrag oder Korrelation an. Merkmale können in der Norm zusätzlich noch gewichtet werden, wobei die Gewichte beim Verfahrenstart eingelesen wurden.
Die konstanten Disparitäten einer Zeile können dabei zu einer Optimieruπgsaufgabe mit Restriktionen führen, sodass die Disparität nur für diejenigen Bildpunkte {ϊ, j) berechnet wird, für die K(i, ,j) = 1 ist, oder z.B. zu einer segmentierten dynamischen Optimierungsaufgabe führen, wobei die Optimierung immer nur In dem Segment durchgeführt wird, für das alle K(i, j) = 1 sind.
Der Wert DP(I, i, ]u) mit dem kleinsten j eines Segmentes, sodass K(S, ju) = 0 ist, wird als finker Anfangspunkt des Segmentes genommen. Der Wert DP(1 , i, J0) mit dem größten j des Segmentes, sodass K(i, jα) = 0 ist, wird als rechter Endwert des Segmentes genommen.
Eine dynamische Optimierung wird also nur im Segment von ju bis jo vorgenommen. Dabei können sich innerhalb einer Zeile natürlich mehrere Segmente ergeben. Die Matrbc DP(1 , r, ]) ist dann wie folgt definiert
Figure imgf000010_0001
Linksverdeckungen sind in DP(1) daran zu erkennen, dass es eine Lücke zwischen DP(1 , i, j) und DP{1 , i, j+1) gibt. Eine Zeife von DP{1) ist in Fig. 3 dargestellt
Durch die Bild-Analyse wird die Matrix DP(1) erstellt.
Der Bild-Syπthesizσr (5) verwendet nun die Disparitätskarte DP(I) sowie die Teilbilder L(1) und R(1 ) und kopiert sie nach 1(1 ) und f(n). Nur die virtuellen Perspektiven 1(2) bis l(n-l) werden erzeugt.
Der Bild-Synthesizor realisiert praktisch eine virtuelle Kamerafahrt von L(1) nach R(t) mitn-2 Haltepunkten, wenn das Multiview-Bild n Perspektiven enthalten soll, n > 2 kann von Betrachter jederzeit geändert werden. Für alle (ij) aus dem linken Teilbild wird wie folgt vorgegangen:
Ist DP(1 , ϊ, j) = f , so wird Δj* := (f - j)/(n-1> berechnet.
Die virtuelle Kamerafahrt bedeutet für einen Bildpunkt L(I, i, j), dass
l (k, i, j + Δf(k-1)):= L (1) i, j)J k = 1,...n
gesetzt wird.
Der Bereich einer Rechtsverdeckung^ in dem DP(1, i, j) = -1 gilt wird auf dieser Kamerafahrt langsam ausgeblendet bis er in l(n) nicht mehr vorhanden Ist,
Im Gegenzug wird eine Lϊnfcsverdeckuπg, die dadurch gekennzeichnet ist, dass I DP{1, i, )} - DP(1, i, j+1){ > 1 gilt, langsam eingeblendet.
Gibt es für einen Bildpunkt L(1 , i, j) eine Zuordnung j* r so ist damit noch nicht sicher gestefit, dass L(1 , i, j) = R(I, i, ]*) gilt Dies kann z.B. durch unterschiedliches Rauschen oder Kamerakalibrieπing verursacht sein. In diesem Fall kann auf der virtuellen Kamerafahrt Zusätzlich eine Überblendung von L(I, ϊ, ]) nach R(f , L /) durchgeführt werden, sodass l(n, t, f ) = R(1, f, f) sichergestellt ist.
Kommt es durch Rundungsfehler bei der Berechnung j + Δj*(k-1) dazu, dass In einer MuHMew-Perspektive einige Bildpunkte nicht gesetzt wurden, so werden diese Fehlstellen durch geometrische Interpolation der gesetzten Randpunkte eingefügt.
Nach Beendigung der Bild-Synthese steht das Multiview-Biid mit n Perspektiven zur Darstellung auf dem Display zur Verfügung.
Die Steuereinheit (6) misst die Zeit Δt, die seit Eingang des Stereobildes vergangen ist. Für jedes Video-Format ist die Bildfrequenz (PAL = 50Hz, NTSC = 60Hz, HDTV = 100Hz) bekannt. Ist die gesamte Berechnungszeit Δt größer als die Zeit zwischen zwei Stereobildern, soτnodϊfizϊertdϊe Steuereinheit die Verarbeitungsparameter. Hierzu hat die Steuereinheit zwei Möglichkeiten:
1. Es werden einige Merkmale aus dem Merkmafsvektoren FL und FR nicht berechnet, z.B. ein Homogenitätsmaß.
2. Es wird die Verarbeitungsgröße G(t) verkleinert. Dadurch reduziert sich die Auflösung.
Ist andererseits die Berechnungszeit Δt signifikant kleiner als die Zeit zwischen dem Empfang zweier Stereobilder, so kann die Steuereinheit die Auflösung vergrößern oder zusätzliche Merkmale zur Qualitätsverbesserung hinzufügen. Nach der Änderung der Steuerparameter wird für die nächsten 3-4 Zeitmessungen eine Änderung ausgesetzt, damit die neuen Steuerparameter sich auf die Verfahrenschriöe auswirken können.
Insgesamt passt sich das Gesamtsystem dynamisch und adaptiv immer der Hardware-Auslastung an.
Alle Teilschritte sind so konzipiert, dass sie durch mehrere parallel vorhandene Verarbeitungseinheiten (Multi-Core) durchgeführt werden können. Dies ist in Fig.4 dargestellt.
Alle Verarbeitungsschritte sind in Fig. 5 als Flussdiagramm dargestellt.
In einer weiteren Ausführung wird der Konstanz-Detektor, der die konstanten Blöcke lokalisieren soll, mit einem der MPEG-Kodierungsverfahren kombiniert.
Bei diversen MPEG-Kodierungsverfahren werden auch Blöcke (im Allgemeinen der Größe 16x16) identifiziert, die sich nicht verändert haben. Diese Blöcke werden nicht übertragen. Ein integriertes Verfahren könnte also diese Information, beziehungsweise die Zusatz-Information aus dem Enhancement-Layer aufnehmen und für die nachfolgenden Verarbeitungsschritte aufbereiten.
Referenzen:
1. US 2006/01616138 A1 und Nachmeldungen, „Methαd and System for Synthesizing Multiview Videos", 30.11.2005, Jun Xin Qufncy
2. EP 1 175 104 B1 und Nachmelduπgen, „Stereoscopic Image Disparity Measuring System", 15.6.2001, Jeong, Hong etaL
3. US 6,847,72a B2, „Dynamic Depth Recovery froπr Multiple Synchronized Video Streams", 9.12.2002, Hai Tao etal
4. CA 2212069, Optimal Disparity Estimation for Stereoscopic Video Codiπg", 6.8.1996, Chen, Xuemϊπ etaf
5. US 2007/0024614 A1 , "Generating A Depth Map from a Two-dfmensionaf Source Image for Stereoscopic and Multiview ϊmaging", 25,7.2006, Wa James Tarn et al.
6. US 2007/0104276 A1 , "Method and Apparatus for Encoding Multiview Video", 6.11.2006, Ha, Tae-Hyeun
7. WO 2007/035054 A1, "Method of Estϊmatrng Disparity Vector, and Method for Encoding and Decoding Multi-View Movϊng Pϊcture using the Disparity Vector Estimation Method", 22.9.2005, Ha, Tae-Hyeun
8. US 2005/0185048 A1, "3-D Display System, Apparatus, and Method for Reconstrucfing Intermediate-View Video", 27.1.2005, Ha, Tae-Hyeun

Claims

Ansprüche
1. Verfahren zur Erzeugung von m > 0 synthetischen Bildern aus einem Stereobild einer Stereobildfolge mit zwei oder mehr Teilbildern, dergestalt, dass eine Steuereinheit die Verarbeitungszeit mϊsst unά mit vorgegebenen Zielwerten vergleicht und Steuer-Parameter so verändert, das eine maximale Bildgröße und ein minimaler Bildfehler erzeugt werden, wobei <Jie Erzeugung der synthetischen Bilder beendet ist, bevor das nächste Stereobild der Folge empfangen wird.
2. Verfahren nach Anspruch 1, bei dem die Auflösung der synthetischen Bilder in Abhängigkeit von der gemessenen Erzeugungszeϊt der synthetischen Bilder durch den Benutzer verändert werden kann.
3. Verfahren nach Anspruch 1 , bei dem die Auflösung der synthetischen Bilder ϊn Abhängigkeit von der gemessenen Erzeugungszeit der synthetischen Bilder durch automatische Schätzverfahren verändert wird.
4. Verfahren nach einem der vorgenannten Ansprüche, bei dem die Anzahl der verwendeten Merkmale zur Disparitätsschätzung in Abhängigkeit von der gemessenen Erzeugungszeit der synthetischen Bilder durch den Benutzer verändert werden kann.
5. Verfahren nach einem der vorgenannten Ansprüche, bei dem die Anzahl der verwendeten Merkmale zur Disparitätsschätzung in Abhängigkeit von der gemessenen Erzeugungszeit der synthetischen Bilder durch automatische Schätzverfahren verändert wird.
6. Verfahren nach einem der vorgenannten Ansprüche, bei dem Bildbereiche in einem Teilbild des Stereobildes identifiziert werden, weiche sich vom Teilbild des vorherigen Stereobildes um weniger aJs ein festzulegenden Werte unterscheiden und bei denen die im vorherigen Teilbild berechneten Dtsparitätswerte der zugehörigen Bildpunkte übernommen werden.
7. Vorrichtung zur Durchführung des Verfahrens nach einem der vorhergehenden Ansprüche mit einem Kompressor (1) zur Anpassung der empfangenen Bildgröße an die Verarbeitungsgröße, einem Konstanz-Detektor
(2) zur Identifizierung der konstanten Bildbererche, einem JVIerkmal-Extraktor
(3) zur Berechnung der Merkmale der Bildpunkte, einem Bild-Analysator (4) zur Korrespondenzanalyse, einem Bild-Synthesizer (5) zur Erzeugung von zusätzlichen Perspektiven, sowie einer Steuereinheit (6}r welche Steuerparameter so einstellt, dass die Berechnung der zusätzlichen Perspektiven abgeschlossen ist bevor ein neues Stereobild empfangen wurde.
PCT/DE2007/002326 2007-12-27 2007-12-27 Verfahren und vorrichtung zur echtzeit-multiview-erzeugung WO2009082990A1 (de)

Priority Applications (6)

Application Number Priority Date Filing Date Title
US12/810,681 US8736669B2 (en) 2007-12-27 2007-12-27 Method and device for real-time multi-view production
DE112007003762T DE112007003762A5 (de) 2007-12-27 2007-12-27 Verfahren und Vorrichtung zur Echtzeit-Multiview-Erzeugung
PCT/DE2007/002326 WO2009082990A1 (de) 2007-12-27 2007-12-27 Verfahren und vorrichtung zur echtzeit-multiview-erzeugung
PL07856161T PL2229784T3 (pl) 2007-12-27 2007-12-27 Sposób i urządzenie do wytwarzania w czasie rzeczywistym obrazów typu multiview
EP07856161.0A EP2229784B1 (de) 2007-12-27 2007-12-27 Verfahren und vorrichtung zur echtzeit-multiview-erzeugung
ES07856161T ES2727567T3 (es) 2007-12-27 2007-12-27 Procedimiento y dispositivo para la generación de imágenes multivista en tiempo real

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/DE2007/002326 WO2009082990A1 (de) 2007-12-27 2007-12-27 Verfahren und vorrichtung zur echtzeit-multiview-erzeugung

Publications (1)

Publication Number Publication Date
WO2009082990A1 true WO2009082990A1 (de) 2009-07-09

Family

ID=39714233

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2007/002326 WO2009082990A1 (de) 2007-12-27 2007-12-27 Verfahren und vorrichtung zur echtzeit-multiview-erzeugung

Country Status (6)

Country Link
US (1) US8736669B2 (de)
EP (1) EP2229784B1 (de)
DE (1) DE112007003762A5 (de)
ES (1) ES2727567T3 (de)
PL (1) PL2229784T3 (de)
WO (1) WO2009082990A1 (de)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102413353A (zh) * 2011-12-28 2012-04-11 清华大学 立体视频编码过程的多视点视频和深度图的码率分配方法
DE102011008886A1 (de) * 2011-01-19 2012-07-19 Sterrix Technologies UG (haftungsbeschränkt) Verfahren und Vorrichtung zur Stereobasis-Erweiterung von stereoskopischen Bildern und Bildfolgen
EP2469867A3 (de) * 2010-12-22 2013-04-10 Sony Corporation Bildverarbeitungsvorrichtung und Bildverarbeitungsverfahren

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200937313A (en) * 2008-02-18 2009-09-01 Univ Nat Chiao Tung Method and system for increasing license plate detection efficiency in successively inputting image
US9648347B1 (en) * 2012-06-14 2017-05-09 Pixelworks, Inc. Disparity postprocessing and interpolation for motion estimation and motion correction
KR101966920B1 (ko) * 2012-07-10 2019-04-08 삼성전자주식회사 다시점 영상의 시차 정보를 이용하여 영상의 움직임을 추정하는 방법 및 장치
JP5526199B2 (ja) * 2012-08-22 2014-06-18 株式会社東芝 文書分類装置および文書分類処理プログラム
US10212240B2 (en) * 2015-04-22 2019-02-19 Samsung Electronics Co., Ltd. Method for tracking content and electronic device using the same
JP6922369B2 (ja) * 2017-04-14 2021-08-18 富士通株式会社 視点選択支援プログラム、視点選択支援方法及び視点選択支援装置
EP3528496A1 (de) * 2018-02-16 2019-08-21 Ultra-D Coöperatief U.A. Übertastung für eine 3d-anzeige

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020191841A1 (en) * 1997-09-02 2002-12-19 Dynamic Digital Depth Research Pty Ltd Image processing method and apparatus
US20050185048A1 (en) 2004-02-20 2005-08-25 Samsung Electronics Co., Ltd. 3-D display system, apparatus, and method for reconstructing intermediate-view video
WO2007035054A1 (en) 2005-09-22 2007-03-29 Samsung Electronics Co., Ltd. Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
US20070104276A1 (en) 2005-11-05 2007-05-10 Samsung Electronics Co., Ltd. Method and apparatus for encoding multiview video

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2693221B2 (ja) * 1989-04-28 1997-12-24 池上通信機株式会社 立体映像信号変換装置
US6445814B2 (en) * 1996-07-01 2002-09-03 Canon Kabushiki Kaisha Three-dimensional information processing apparatus and method
US5652616A (en) * 1996-08-06 1997-07-29 General Instrument Corporation Of Delaware Optimal disparity estimation for stereoscopic video coding
JP3771973B2 (ja) * 1996-09-26 2006-05-10 オリンパス株式会社 立体映像表示装置
KR100374784B1 (ko) 2000-07-19 2003-03-04 학교법인 포항공과대학교 실시간 입체 영상 정합 시스템
US6847728B2 (en) * 2002-12-09 2005-01-25 Sarnoff Corporation Dynamic depth recovery from multiple synchronized video streams
US7728877B2 (en) * 2004-12-17 2010-06-01 Mitsubishi Electric Research Laboratories, Inc. Method and system for synthesizing multiview videos
CA2553473A1 (en) 2005-07-26 2007-01-26 Wa James Tam Generating a depth map from a tw0-dimensional source image for stereoscopic and multiview imaging
US8644386B2 (en) * 2005-09-22 2014-02-04 Samsung Electronics Co., Ltd. Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
EP1958459B1 (de) * 2005-12-02 2018-06-13 Koninklijke Philips N.V. Tiefenabhängige filterung von bildsignalen
KR101506217B1 (ko) * 2008-01-31 2015-03-26 삼성전자주식회사 스테레오스코픽 영상의 부분 데이터 구간 재생을 위한스테레오스코픽 영상 데이터스트림 생성 방법과 장치, 및스테레오스코픽 영상의 부분 데이터 구간 재생 방법과 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020191841A1 (en) * 1997-09-02 2002-12-19 Dynamic Digital Depth Research Pty Ltd Image processing method and apparatus
US20050185048A1 (en) 2004-02-20 2005-08-25 Samsung Electronics Co., Ltd. 3-D display system, apparatus, and method for reconstructing intermediate-view video
WO2007035054A1 (en) 2005-09-22 2007-03-29 Samsung Electronics Co., Ltd. Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
US20070104276A1 (en) 2005-11-05 2007-05-10 Samsung Electronics Co., Ltd. Method and apparatus for encoding multiview video

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
RUI NABESHIMA ET AL.: "COMPUTER VI-SION - ACCV 2006 LECTURE NOTES IN COMPUTER SCIENCE;LNCS", vol. 3852, 1 January 2005, SPRINGER, article "Frame Rate Stabilization by Variable Resolution Shape Reconstruction for On-Une Free-Viewpoint Video Generation", pages: 81 - 90
RUI NABESHIMA ET AL: "Frame Rate Stabilization by Variable Resolution Shape Reconstruction for On-Line Free-Viewpoint Video Generation", COMPUTER VISION - ACCV 2006 LECTURE NOTES IN COMPUTER SCIENCE;;LNCS, SPRINGER, BERLIN, DE, vol. 3852, 1 January 2005 (2005-01-01), pages 81 - 90, XP019027518, ISBN: 978-3-540-31244-4 *
XI OU ET AL: "Efficient free viewpoint image reconstruction from multi-focus imaging sequences based on dimension reduction", INTELLIGENT SIGNAL PROCESSING AND COMMUNICATION SYSTEMS, 2007. ISPACS 2007. INTERNATIONAL SYMPOSIUM ON, IEEE, PI, 1 November 2007 (2007-11-01), pages 152 - 155, XP031211490, ISBN: 978-1-4244-1446-8 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2469867A3 (de) * 2010-12-22 2013-04-10 Sony Corporation Bildverarbeitungsvorrichtung und Bildverarbeitungsverfahren
DE102011008886A1 (de) * 2011-01-19 2012-07-19 Sterrix Technologies UG (haftungsbeschränkt) Verfahren und Vorrichtung zur Stereobasis-Erweiterung von stereoskopischen Bildern und Bildfolgen
CN102413353A (zh) * 2011-12-28 2012-04-11 清华大学 立体视频编码过程的多视点视频和深度图的码率分配方法

Also Published As

Publication number Publication date
ES2727567T3 (es) 2019-10-17
EP2229784A1 (de) 2010-09-22
DE112007003762A5 (de) 2010-11-25
US8736669B2 (en) 2014-05-27
EP2229784B1 (de) 2019-02-27
US20110025822A1 (en) 2011-02-03
PL2229784T3 (pl) 2019-10-31

Similar Documents

Publication Publication Date Title
EP2229784B1 (de) Verfahren und vorrichtung zur echtzeit-multiview-erzeugung
DE102006055641B4 (de) Anordnung und Verfahren zur Aufnahme und Wiedergabe von Bildern einer Szene und/oder eines Objektes
DE10016074B4 (de) Verfahren und Vorrichtung zur Erzeugung von 3D-Bildern
DE69908562T2 (de) Bewegungsvektorenextrapolation zur transkodierung von videosequenzen
DE60211978T2 (de) Laufbildsystem mit bildinterpolation und variabler bildfrequenz
DE69735488T2 (de) Verfahren und vorrichtung zum ausrichten von bildern
US7321374B2 (en) Method and device for the generation of 3-D images
CN101375315B (zh) 数字重制2d和3d运动画面以呈现提高的视觉质量的方法和系统
DE69531583T2 (de) Bildverarbeitungsverfahren und -gerät
DE102011056977A1 (de) Vorrichtung und Verfahren zur digitalen Bildstabilisierung
WO2011103865A2 (de) Verfahren und autostereoskopische anzeige zur erzeugung von dreidimensionalen bildern
EP1425707A4 (de) Bildsegmentierung mittels zeitlicher parallaxdifferenzinduktion
DE10113880B4 (de) Verfahren zur Komprimierung und Dekomprimierung von Videodaten
DE112011103452T5 (de) Verfahren zum Angleichen von Pixeln einer Entfernungsdarstellung
WO2008135024A2 (de) Verfahren zum verarbeiten eines videodatensatzes
DE602005000425T2 (de) Verfahren und Anordnung zur Erzeugung von Kandidatenvektoren für Bildinterpolierungssysteme, die Bewegungsabschätzung und -kompensation verwenden
DE102011008886A1 (de) Verfahren und Vorrichtung zur Stereobasis-Erweiterung von stereoskopischen Bildern und Bildfolgen
DE60031014T2 (de) Verfahren zur bewegungsschätzung zwischen zwei bildern mit verwaltung der wendung einer masche und entsprechendes kodierungsverfahren
RU2287858C2 (ru) Создание последовательности стереоскопических изображений из последовательности двумерных изображений
DE602005001292T2 (de) Verfahren und Anordnung zur Erzeugung von Kandidatenvektoren für Bildinterpolierungssyteme, die Bewegungsabschätzung und -kompensation verwenden
Redert Visualization of arbitrary-shaped 3D scenes on depth-limited 3D displays
DE102012002442B3 (de) Verfahren und Vorrichtung zur Aufbereitung von Videosignalen für stereoskopische oder Multiview-fähige Mehrsegment-Projektionsanlagen
DE102009001518A1 (de) Verfahren zur Erzeugung einer HDR-Videobildfolge
DE112012002679T5 (de) Vorrichtung und Verfahren zum Codieren/Decodieren von Mehrfachansicht-Bildern
DE102011056997A1 (de) Vorrichtung zur digitalen Bildstabilisierung

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07856161

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2007856161

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 1120070037628

Country of ref document: DE

WWE Wipo information: entry into national phase

Ref document number: 12810681

Country of ref document: US

REF Corresponds to

Ref document number: 112007003762

Country of ref document: DE

Date of ref document: 20101125

Kind code of ref document: P