WO2011103865A2 - Verfahren und autostereoskopische anzeige zur erzeugung von dreidimensionalen bildern - Google Patents

Verfahren und autostereoskopische anzeige zur erzeugung von dreidimensionalen bildern Download PDF

Info

Publication number
WO2011103865A2
WO2011103865A2 PCT/DE2011/000186 DE2011000186W WO2011103865A2 WO 2011103865 A2 WO2011103865 A2 WO 2011103865A2 DE 2011000186 W DE2011000186 W DE 2011000186W WO 2011103865 A2 WO2011103865 A2 WO 2011103865A2
Authority
WO
WIPO (PCT)
Prior art keywords
image
display
perspectives
pixel
perspective
Prior art date
Application number
PCT/DE2011/000186
Other languages
English (en)
French (fr)
Other versions
WO2011103865A3 (de
Inventor
Sigrid Kamins-Naske
Valerie Antonia Naske
Ivo-Henning Naske
Original Assignee
Expert Treuhand Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Expert Treuhand Gmbh filed Critical Expert Treuhand Gmbh
Publication of WO2011103865A2 publication Critical patent/WO2011103865A2/de
Publication of WO2011103865A3 publication Critical patent/WO2011103865A3/de

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/324—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00—Aspects of the constitution of display devices
    • G09G2300/04—Structural and physical details of display devices
    • G09G2300/0439—Pixel structures
    • G09G2300/0452—Details of colour pixel setup, e.g. pixel composed of a red, a blue and two green components
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10T—TECHNICAL SUBJECTS COVERED BY FORMER US CLASSIFICATION
    • Y10T29/00—Metal working
    • Y10T29/49—Method of mechanical manufacture
    • Y10T29/49002—Electrical device making
    • Y10T29/49004—Electrical device making including measuring or testing of device or component part

Definitions

  • the invention relates to a method for generating three-dimensional images for reproduction on an autostereoscopic display, in particular an autostereoscopic display. Furthermore, the invention relates to an autostereoscopic display for generating three-dimensional images.
  • Autostereoscopic visualization systems are intended to allow one or more observers who are in front of an autostereoscopic display to obtain a three-dimensional image without visual aids, such as visual aids. to look at red / blue glasses, shutter or polarization glasses, etc.
  • visual aids such as visual aids. to look at red / blue glasses, shutter or polarization glasses, etc.
  • Parallax barrier systems or lenticular lens systems positioned in front of the display panel. Since one or more observers may be at different angles relative to a direction perpendicular to the display, more than two perspectives must always be generated and fed to the respective left and right eyes in order to provide as natural a three-dimensional image impression as possible for the viewer allow respective viewer.
  • These systems are also referred to as multi-viewer systems or multiview systems.
  • WO 2007/121970 A2 discloses a method and a device for pseudoholographic image generation, according to which, with a relatively large number of perspectives, the requirements on the hardware, in particular on the storage space requirement, are reduced.
  • the known method and the known device that a satisfactory image reproduction is not possible in all presentation scenarios.
  • CONFIRMATION COPY Positioning narrow vertical objects can lead to unnatural three-dimensional image impressions. If a relatively narrow object ⁇ is located relatively close to the camera during image acquisition, a more distant object O 2 can appear to the left of the object O for the left eye, while the right eye sees the object O 2 to the right of O. This effect is referred to below as a cross-over effect and can not be displayed correctly in the known method or the known device.
  • the present invention is therefore based on the object of designing and further developing a method and an autostereoscopic display for generating three-dimensional images such that an improved three-dimensional representation of the largest possible number of perspectives on the autostereoscopic display is possible with as little storage space as possible.
  • a method for generating three-dimensional images for reproduction on an autostereoscopic display in particular an autostereoscopic display, specified, wherein a subpixel of the display, preferably by means of a perspective map, a perspective is assigned, wherein from a supplied input image with a number of M 2 perspectives, a display image is generated for display on the display with a number of N> 3 perspectives, where N> M, and N-M intermediate perspectives are produced by image synthesis using a disparity map, with no monotonicity of the disparities in the image synthesis Is assumed and at least one pixel or subpixel of an intermediate perspective that is not used to render the intermediate perspective on the display is not synthesized.
  • an autostereoscopic display for generating three-dimensional images wherein the display has subpixels with associated perspectives, wherein the display means for generating a display image with a number of N 3 perspectives from a wherein N> M, said means for generating a display image comprising image synthesis means for generating N-M intermediate perspectives by image synthesis using a disparity map, said image synthesis means not being monotone in image synthesis Require disparities in the disparity map, and wherein the image synthesis means does not synthesize at least one pixel or sub-pixels of an intermediate perspective that is not used to render the intermediate perspective on the display.
  • two perspectives corresponding to a left partial image and a right partial image can be supplied with the input image.
  • a stereo image consisting of a left and right partial image can be used as an input image, wherein the left and right partial image are or are rectified for further processing.
  • a disparity estimate can be made to calculate the disparity map, with the disparity estimate from the left and right tiles taking into account extracted features.
  • Conceivable here are a SURF (Speed up Robust Features) feature extraction with respect to prominent pixels or a Sobel feature extraction with respect to edge detection.
  • Each pixel may be augmented by the calculated feature values to ensure association, allowing a disparity estimate in which each pixel can represent a feature vector.
  • a cross-over preprocessing can be carried out, wherein image segments are determined in each line of the left partial image, in which a cross-over effect is present.
  • legal occlusions are therefore identified by the value -1.
  • the values of Wohin (j) are always greater than or equal to 0.
  • j_unten positions and j_oben determined.
  • the position j_unten is determined to be just below j / 3.
  • the position j_oben is chosen so that it is just above j / 3.
  • the N-M intermediate perspectives can be synthesized by a virtual camera travel along the stereo base between a pixel (i, j) of the left field and the corresponding pixel (i ', j') of the right field.
  • a cross-over post-processing can be carried out, with an area in which a cross-over image segment from the left partial image travels via the intermediate perspectives to the right partial image being post-processed.
  • an advantageous embodiment of an overlay is when a sub-pixel j r in a cross-over area in the perspective of P.
  • the described method and the advantageous embodiments relate to a calculation from the left to the right partial image. It should be noted that the calculations can also be performed in the opposite direction, ie from the right field to the left field. The various steps are readily apparent to a person skilled in the art. It is to be understood that this reverse direction of calculation is also to be understood as belonging to the scope of the appended claims.
  • the processing of a line i of the display image from an associated row computing unit is associated with a local memory for performing the machining operations and wherein the row computing unit accesses a global memory.
  • Data such as the input images or the rectified input images, feature vectors and / or the output image are kept in a global memory, which can be accessed in parallel by all the row computation units. Since all units access this data only read-only and / or write only on their associated line of the image and display, there are no synchronization or blocking problems.
  • the row calculation units can be controlled by a control unit for synchronization.
  • a line calculation unit can be assigned to one line of the display image.
  • an application scenario with a disparity map in accordance with the monotony law of stereoscopy an application scenario with a disparity map for processing a cross-over Effect
  • a flow chart illustrating the cross-over preprocessing a flow chart of an embodiment according to a method for displaying the cross-over post-processing according to the invention
  • the continuation of the flowchart for illustrating the cross-over post-processing of Fig. 6 the continuation 7 shows a flow chart of an embodiment according to a method according to the invention, wherein the image synthesis is shown with a cross-over processing, the continuation of the F 9 and the hardware layout of the overall system according to an embodiment of the autostereoscopic display according to the invention.
  • FIG. 1 shows a block diagram for illustrating the overall system according to an exemplary embodiment of the method according to the invention for generating three-dimensional images.
  • the exemplary embodiment according to FIG. 1 relates to a method for generating three-dimensional images for reproduction on an autostereoscopic display, on which a plurality of perspectives, generally more than 100, of a supplied stereo image in any 3D format are displayed in a combed manner.
  • the display consists of an optical element and an image-forming unit.
  • the multitude of perspectives is generated in such a way that only those pixels of a perspective are generated, which also have to be displayed.
  • the imaging unit of the display consists of pixels / subpixels which emit a color, eg red, green or blue.
  • the autostereoscopic display is capable of producing a 3-D image or an SD image sequence in any format, e.g. a stereo image or a stereo image sequence.
  • Other formats, such as Stereo image including a disparity card can also be received and processed.
  • a received stereo image is first rectified, i. brought to stereo normal form or in the epipolar standard configuration. If this is already the case, then the identical figure arises here.
  • the disparity map of the stereo image is calculated. It contains an assignment of the pixels of the left and right field, which are present in both received perspectives. In addition, the left and right occlusions are identified.
  • any number of perspectives are synthesized. This is done so that only those subpixels are synthesized, which must be displayed on the display actually. Thus, for 100 perspectives to be displayed, only 1% of the subpixels are calculated from each perspective.
  • the information about which perspective is to be displayed on which subpixel is defined in the perspective map P.
  • the perspective map is defined and stored in the production of the display by a calibration process between subpixels and optical system. Adjacent subpixels are generally associated with different perspectives. The storage of the various subpixels from the different perspectives in the pseudoholographic image B is referred to below as concealment.
  • the autostereoscopic display is characterized by a panel of subpixels and an upstream optical element.
  • the subpixels are color subpixels, e.g. RGB or CMY.
  • RGB or CMY color subpixels
  • the color information of the subpixels of the perspectives to be displayed is displayed.
  • a pseudoholographic display according to FIG. 1 has at least 10 to 20 times as many subpixels as are present in the received stereo image. This greater number of subpixels makes it possible to represent a larger number of pixels per perspective out of the many perspectives that are synthesized.
  • each so-called row calculation unit is its own small number of Lines of the display assigned. In extreme cases, each row calculation unit could be assigned its own line of the display.
  • the display has e.g. 1080 lines, which corresponds to today's HD format, so the arithmetic unit has 1080 Zeilenrechenticianen. All processors have local memory to perform their operations and can access a global memory in parallel. A control unit ensures the synchronization of the individual processing steps.
  • the hardware layout is shown in FIG.
  • Fig. 2 shows a flow chart of the overall system of Fig. 1. The details will be described below.
  • each pixel is extended by the previously calculated feature values to secure the assignment.
  • a disparity estimate in which each pixel represents a feature vector is the result.
  • the pseudoholographic image synthesis according to WO 2007/121970 A2 is modified in such a way that the monotonicity law of stereoscopy no longer has to be fulfilled in order to calculate the pixels of a perspective to be displayed.
  • a display with a resolution of 19,200 x 10,800 pixels can be considered high-resolution.
  • a stereo HD picture is enlarged ten times horizontally and vertically.
  • a first step the rectification is performed.
  • These methods are known from the literature.
  • nine prominent points which are uniformly distributed over the image are searched for by the SURF method.
  • the coordinate of each prominent point is used as the center of a search block in the right field l r .
  • this search block the most similar point in the right field l r is searched.
  • the rectified sub-images are supplemented by various features.
  • the later calculation of the disparity map is characterized in that it can be carried out very quickly, because the disparities are calculated massively separately in parallel for each line.
  • this has the disadvantage that local features such as e.g. Shapes, textures or edges are not taken into account. Therefore, in the feature extraction phase, various features are described that describe local properties.
  • SURF Speed up Robust Features
  • Sobel Edge Detector method can be used to calculate features.
  • This method is based on approximating the determinant of the Hesse matrix for each pixel.
  • the procedure is as follows.
  • NZ the number of rows
  • NS the number of columns
  • the procedure is such that first of all each row i is assigned a row calculation unit i which calculates the partial sum recursively:
  • Isum, (y): Isum, (j-1) + R r (/, y)
  • D * y J): D LO (/, y) + D m (/, y) ⁇ D RO (/, y) - D LÜ (/, j)
  • M r (/, y, 1): (/, y) ⁇ D n (/, j) - 0.81 ⁇ (/, y) ⁇ (/, y)
  • the Sobel operator is just one of a large number of edge operators and is therefore described as an example.
  • an edge operator is of particular importance, as it helps to assign more importance to edges than to smooth surfaces. Since an edge is always a regional property, this procedure within a row also allows to take into account the properties of local regions.
  • the Sobel-Prewitt operator operates e.g. with 3x3.Matrices, which detect the edges in different directions. Basically, here are horizontal, vertical, left and right diagonal edges to distinguish. For their detection, the following 3x3 matrices are used:
  • An implementation according to an embodiment of the method according to the invention proceeds in such a way that each row i is assigned a row calculation unit i.
  • the computational unit becomes local Field edge (1) to edge (9) from the right rectified field R r as filled:
  • each row calculation unit i calculates for each index j:
  • H 2 : 2 - edge ⁇ 4) + 2 ⁇ edge (5) + 2 ⁇ edge ⁇ 6)
  • H 3 : 2 - edge (7) + 2 ⁇ edge (5) + 2 ⁇ edge ⁇ 3)
  • the disparity map must be created in an intermediate step.
  • (i, j), d (R, (i, j))) the correlation between the point R, (i, j) of the left field and the point R r (i, j -d (R, (i, j))) of the right field, ie, the point of the left field shifted by the disparity d (R, (i, j)).
  • M r (i, j): (M r (i, j, 1), ..., M, (i, j, K)).
  • This may contain, for example, the luminance values and / or the color values and / or the edge operator Sobel and / or the structure operator SURF. Other features can be added accordingly.
  • ⁇ B x denotes the block size of the reference block U by M, (i, j) in horizontal and B y the block size in the vertical direction.
  • p b denotes the points from the reference block by M, (i, j).
  • the a priori probability can not be considered Markov process 1. order
  • the pixels R, (i, j) of the left as well as the right field are projections of space points belonging to certain objects of the scene. Pixels R, (i, j) of a common object therefore have a high correlation with regard to their projection behavior; at least as long as one starts from rigid objects.
  • the method presented here is extended in such a way that first for each pixel R, (i, j) of the partial image R, in an environment Uy, defined by
  • This method is structured both hierarchically and temporally by using the fields R, and R r together with the feature matrices M, and M r in an information pyramid. At the top level, a disparity map calculation is performed iteratively until the left to right mappings and vice versa are consistent.
  • the disparities of the previous partial image R, k 1 are used as initial values of the disparity map, if no so-called "hardcut" is recognized in the image sequence between the current stereo image k and the previous stereo image k-1 disparity
  • D E ': ⁇ o
  • the next step is to perform the pseudoholographic image synthesis shown in FIGS. 9 and 10.
  • the procedure for the image synthesis is to search in a first sub-step in each line those image segments in which there is a cross-over effect. This is called crossover preprocessing.
  • Your goal is to create a field crossover (j) with the following property:
  • the i-th row of the disparity map D is put into an assignment field with Wo (j) ⁇ - j + D (ij).
  • a variable j is first set to 1 and incremented continuously.
  • Crossover (j) is set to 0. If the run variable drifts to a pixel CrossAnf for which Where (CrossAnf) ⁇ Where (CrossAnf - 1) applies, then the crossover image segment starts there and crossover (j) is set to 1 starting there. Now j is incremented until the condition Where (j)> Where (CrossAnf - 1) is fulfilled. From there, crossover (j) is reset to 0 until the next crossover image segment or the end of line i.
  • a flow chart of this cross-over preprocessing is shown in FIG. In a second sub-step, a running variable j r is run over all subpixels of the display image B for each line.
  • each pixel consists of 3 subpixels. Consequently, the transition from the subpixel to the associated pixel is always divided by 3. In the case that a pixel consists of more subpixels, eg 4 subpixels, it must be divided by 4 accordingly.
  • the perspective to be displayed is first fetched from the matrix P. This matrix P indicates for each subpixel of the display which perspective should be displayed there.
  • a variable j is assigned to each line of the left field, which is initially set to 0 (the left edge of the display image B).
  • jl_PositionNeu In connection with the disparity D is a variable jl_PositionNeu can now be calculated which indicates at which position of the pixel P (i, j r) th perspective of the pixel R (i, j,) of the left part of the image would be represented. If this position is greater than j / 3, then j, must be decremented. If this position is smaller than j / 3, then j, must be incremented. This process is continued until a position j_unten is found which is just below j / 3. In the same way, j is incremented or decremented until a position j_oben is found which is just above j / 3.
  • the subpixel can be fetched from R, (i, j_oben) or R, (i, j_unten).
  • the corresponding pixel must be made of R, by interpolation between R, (i, j_unten) and R, (i, j_oben) and Figure on the perspective P (i, j r ) are calculated. From this, the required subpixel is extracted.
  • the corresponding pixel has to be calculated from R r by interpolation between R r (i, Wohin (j_unten)) and R r (i, Wohin (j_oben)) and mapping to the perspective P (i, j r ). From this, the required subpixel is extracted.
  • This case is treated like a left occlusion.
  • the image segment must be displayed from left to right. (See 13 in FIG. 4)
  • the cross-over postprocessing is performed.
  • the left and right input field are set as perspective 0 and M-1 and have been automatically processed correctly.
  • the left edge is labeled pixel position jimin.
  • the right margin is labeled jlmax.
  • this area is indicated by 14a.
  • Wohin (jlmin) and Wohin (jlmax) For each of these variables is given Wohin (jlmin) and Wohin (jlmax).
  • jrmin min (jlmin, Wohin (jlmin)) and
  • jrmax: max (jlmax, where (jlmax)) the pixel indices between which the cross-over image segment from the left field R must travel to the right field R r .
  • a running variable j r now runs from the left subpixel jrmin * 3 to the right subpixel jrmax * 3. For each of these subpixels, the perspective P (i, j r ) to be displayed can again be selected.
  • jrmin_PositionNeu jimin + (Where (jlmin) - jimin) »P (i, j r) / M-1).
  • jrmin_position is new> j / 3
  • j r lies to the left of the cross-over range to be overlaid in the perspective P (i, j r ). In this case, nothing needs to happen.
  • j r can be incremented. This case is marked in Fig. 4 with P1.
  • jrmax_PositionNeu J I max + (Where (J I max) - J I max) "P (i, j r) / M-1) .. be calculated. If jrmax_PositionNew ⁇ j / 3, then j r lies to the right of the cross-over area to be overlaid in the perspective P (i, j r ). In this case, nothing must be done. j r can be incremented. This case is marked P3 in FIG. An overlay only has to be done if jrmin_PositionNew j / 3 ⁇ jrmax_PositionNew applies. In this case, the pixel will crossover pixels with
  • j_scale denotes a variable which defines the cross-over image area between R, (i, jimin) and R
  • (i, jlmax) maps to the cross-over image area of the perspective P (i, j r ), since it is not assumed that jlmax - jimin Wohinfllmax) - where (jlmin).
  • CrossoverPixel transfers the corresponding subpixel to display image B of the interlaced perspectives. This case is indicated in Fig. 4 with P2.
  • a scene without a crossover image segment is shown by way of example in FIG. 3 shows a left scene 1 and a right scene 1 1.
  • the assignment field 2 describes the assignments of the pixels of the left scene 1 and to the pixels of the right scene 11.
  • the left partial image 3 is the image of the left scene 1 and the right partial image 10 is the image of the right scene 11.
  • the intermediate perspectives 4, 5, 6, 7, 8, and 9 must be synthesized or interpolated.
  • In the left part of image 3 is the right cover 12 and in the right part of image 10, the left cover 13.
  • the object 2b is in each case in the left part of image 3 and in the right part of image 10 available.
  • FIG. 4 shows a left scene 1 and a right scene 1 1.
  • the assignment field describing the assignments of the pixels of the left scene 1 and to the pixels of the right scene 1 1 is not shown in FIG.
  • the left partial image 3 is the image of the left scene 1
  • the right partial image 10 is the image of the right scene 1 1.
  • the intermediate perspectives 4, 5, 6, 7, 8, and 9 must be synthesized or interpolated.
  • 4 shows a rear object 2b and a front object 2c, which are respectively present in the left partial image 3 and in the right partial image 10.
  • In the left partial image 3 is the right occlusion 12 and in the right partial image 10 the left occlusion 13.
  • FIG. In the left partial image 3 is still thepieverdeckung 2a of the front object 2c.
  • In the right partial image 10 is the left occlusion 2d of the front object 2c.
  • the object surface of the cross-over object is parallel to the stereo base.
  • the object surface of the cross-over object is facing the left camera with the left partial image.
  • intermediate areas of the cross-over image area are to be treated as legal concealments and have to be in the course of the transition to the right partial image be hidden. The procedure for doing this is described in the step for regular disparity processing.
  • the object surface of the cross-over object faces the right camera with the right field.
  • intermediate areas of the cross-over image area are to be treated as left occlusions and must be superimposed during the transition to the right partial image. The procedure for doing this is described in the step for regular disparity processing.
  • a high-resolution pseudoholographic or autostereoscopic display first receives a stereo image in one of the known formats with a resolution of, for example, 1920 ⁇ 1080 per image. It is then scaled to the resolution of the display, which is assumed to simplify the description at 19,200 x 1080.
  • This received stereo image is analyzed and a very large number of intermediate perspectives, e.g. 1,000 perspectives synthesized therefrom, which are subsequently displayed on the display e.g. be displayed with lenticular lenses.
  • each line of the display is assigned its own processing unit with the required local memory. This is referred to below as a row calculation unit.
  • all units are synchronized by a control and monitoring unit.
  • Data such as the output images, the rectified images, the feature vectors, or the interleaved output image are held in global memory which all of the row computation units can access in parallel. Since all units access this data only read-only or writing only on their associated line of the image and display, there are no synchronization or blocking problems. For a display with a resolution of 19,200 x 1080, at least 1080 row computation units are required. An implementation as a chip or single-board unit are no problem for today's chip technology, since graphics cards already exist with an equal number of processing units, called shaders.
  • each row of the display is assigned a plurality of processing units.
  • each pixel has its own processing unit.
  • the then started search process continues as described.
  • the structure of the pixel-wise assigned row calculation units is shown in FIG. 11.
  • the global memory is divided into the memory for image data, feature data, disparity map and pseudoholographic output image.
  • image data feature data
  • disparity map disparity map
  • pseudoholographic output image the following storage capacity must be calculated:
  • Image data 33 MB Feature data 40 MB
  • the inventive high-resolution pseudo-holographic display therefore has a storage capacity of 256 MB, including various intermediate variables. This display can already display 10 perspectives in high resolution without pixel loss.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Architecture (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

Ein Verfahren zur Erzeugung von dreidimensionalen Bildern zur Wiedergabe auf einer autostereoskopischen Anzeige, insbesondere einem autostereoskopischen Display, wobei einem Subpixel der Anzeige, vorzugsweise mittels einer Perspektivenkarte, eine Perspektive zugeordnet wird, wobei aus einem zugeführten Eingabebild mit einer Anzahl von M ≥ 2 Perspektiven ein Anzeigebild zur Wiedergabe auf der Anzeige mit einer Anzahl von N ≥ 3 Perspektiven erzeugt wird, wobei N > M ist und N - M Zwischenperspektiven durch eine Bildsynthese unter Verwendung einer Disparitätskarte erzeugt werden, wobei bei der Bildsynthese keine Monotonie der Disparitäten in der Disparitätskarte vorausgesetzt wird, und wobei mindestens ein Pixel oder Subpixel einer Zwischenperspektive, das zur Wiedergabe der Zwischenperspektive auf der Anzeige nicht verwendet wird, nicht synthetisiert wird. Des Weiteren ist eine entsprechende autostereoskopische Anzeige angegeben.

Description

VERFAHREN UND AUTOSTEREOSKOPISCHE ANZEIGE ZUR ERZEUGUNG VON DREIDIMENSIONALEN BILDERN
Die Erfindung betrifft ein Verfahren zur Erzeugung von dreidimensionalen Bildern zur Wiedergabe auf einer autostereoskopischen Anzeige, insbesondere einem autostereoskopischen Display. Des Weiteren betrifft die Erfindung eine autostereoskopische Anzeige zur Erzeugung von dreidimensionalen Bildern.
Autostereoskopische Visualisierungssysteme sollen es einem oder mehreren Betrachtern, die sich vor einem autostereoskopischen Display befinden, ermöglichen, ein dreidimensionales Bild ohne Sehhilfen wie z.B. rot/blau-Brillen, Shutter- oder Polarisationsbrillen etc. betrachten zu können. Zu diesem Zweck dienen z.B. Parallaxen-Barriere-Systeme oder Lentikularlinsen-Systeme, die vor dem Display-Panel angeordnet sind. Da sich ein oder mehrere Betrachter in verschiedenen Winkeln relativ zu einer Richtung senkrecht zum Display befinden können, müssen stets mehr als zwei Perspektiven erzeugt und dem jeweiligen linken bzw. rechten Auge zugeführt werden, um in allen Positionen der Betrachter einen möglichst natürlichen dreidimensionalen Bildeindruck für den jeweiligen Betrachter zu ermöglichen. Diese Systeme werden auch als Mehr-Betrachter- Systeme oder Multiview-Systeme bezeichnet.
Verfahren und autostereoskopische Displays der in Rede stehenden Art sind seit Jahren aus der Praxis bekannt. Bei den bekannten autostereoskopischen Displays oder Visualisierungssystemen ist problematisch, dass bei einer größeren Anzahl von zu erzeugenden Perspektiven die erforderlichen Hardware-Kapazitäten erheblich ansteigen und nicht mehr zu realisieren sind. Insbesondere der erforderliche Speicherplatzbedarf ist sehr hoch.
Aus der WO 2007/121970 A2 ist ein Verfahren und eine Vorrichtung zur Pseudoholographischen Bilderzeugung bekannt, wonach bei einer relativ großen Anzahl von Perspektiven die Anforderungen an die Hardware, insbesondere an den Speicherplatzbedarf reduziert sind. Allerdings ist bei dem bekannten Verfahren und der bekannten Vorrichtung problematisch, dass nicht bei allen Darstellungsszenarien eine befriedigende Bildwiedergabe möglich ist. Insbesondere die Dar-
BESTÄTIGUNGSKOPIE Stellung von schmalen vertikalen Objekten kann zu unnatürlichen dreidimensionalen Bildeindrücken führen. Befindet sich ein relativ schmales Objekt Ο bei der Bildaufnahme relativ dicht vor der Kamera, kann für das linke Auge ein weiter entferntes Objekt O2 links von dem Objekt O erscheinen, während das rechte Auge das Objekt O2 rechts von O sieht. Dieser Effekt ist im Folgenden als Cross-Over- Effekt bezeichnet und kann bei dem bekannten Verfahren oder der bekannten Vorrichtung nicht korrekt dargestellt werden.
Der vorliegenden Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren und eine autostereoskopische Anzeige zur Erzeugung von dreidimensionalen Bildern derart auszugestalten und weiterzubilden, dass eine verbesserte dreidimensionale Darstellung einer möglichst großen Anzahl von Perspektiven auf dem autostereo- skopischen Display bei möglichst geringem Speicherplatzbedarf möglich ist.
Erfindungsgemäß ist die voranstehende Aufgabe durch die Merkmale des Patentanspruchs 1 gelöst. Damit ist ein Verfahren zur Erzeugung von dreidimensionalen Bildern zur Wiedergabe auf einer autostereoskopischen Anzeige, insbesondere einem autostereoskopischen Display, angegeben, wobei einem Subpixel der Anzeige, vorzugsweise mittels einer Perspektivenkarte, eine Perspektive zugeordnet wird, wobei aus einem zugeführten Eingabebild mit einer Anzahl von M > 2 Perspektiven ein Anzeigebild zur Wiedergabe auf der Anzeige mit einer Anzahl von N > 3 Perspektiven erzeugt wird, wobei N > M ist und N - M Zwischenperspektiven durch eine Bildsynthese unter Verwendung einer Disparitätskarte erzeugt werden, wobei bei der Bildsynthese keine Monotonie der Disparitäten in der Disparitätskarte vorausgesetzt wird, und wobei mindestens ein Pixel oder Subpixel einer Zwischenperspektive, das zur Wiedergabe der Zwischenperspektive auf der Anzeige nicht verwendet wird, nicht synthetisiert wird.
Des Weiteren ist die voranstehende Aufgabe durch die Merkmale des Patentanspruchs 14 gelöst. Damit ist eine autostereoskopische Anzeige zur Erzeugung von dreidimensionalen Bildern angegeben, wobei die Anzeige Subpixel mit zugeordneten Perspektiven aufweist, wobei die Anzeige Mittel zum Erzeugen eines Anzeigebildes mit einer Anzahl von N 3 Perspektiven aus einem zugeführten Eingabebild mit einer Anzahl von M 2 Perspektiven aufweist, wobei N > M ist, wobei die Mittel zum Erzeugen eines Anzeigebildes Bildsynthesemittel zur Erzeugung von N - M Zwischenperspektiven mittels einer Bildsynthese unter Verwendung einer Disparitätskarte umfassen, wobei die Bildsynthesemittel bei der Bildsynthese keine Monotonie der Disparitäten in der Disparitätskarte voraussetzen, und wobei die Bildsynthesemittel mindestens ein Pixel oder Subpixel einer Zwischenperspektive, das zur Wiedergabe der Zwischenperspektive auf der Anzeige nicht verwendet wird, nicht synthetisieren.
In erfindungsgemäßer Weise ist zunächst einmal erkannt worden, dass es von enormem Vorteil ist, ein Pixel oder Subpixel einer Zwischenperspektive möglichst nur dann zu erzeugen oder zu synthetisieren, wenn es auch zur Darstellung auf dem Anzeigebild benötigt wird. Daher ist es besonders vorteilhaft, wenn mindestens ein Pixel oder Subpixel einer Zwischenperspektive, das zur Wiedergabe der Zwischenperspektive nicht verwendet wird, nicht synthetisiert wird. Die Verwendung eines Pixels oder Subpixels aus der Zwischenperspektive ist von der jeweiligen Perspektivenzuordnung des darzustellenden Subpixels im Anzeigebild abhängig. Ob nun das entsprechend nicht benötigte Pixel oder das entsprechend nicht benötigte Subpixel nicht synthetisiert wird, ist davon abhängig, ob bei der Bildsynthese in der Zwischenperspektive auf Pixel-Ebene oder auf Subpixel-Ebene zugegriffen wird. Jedenfalls werden zur Einsparung von Speicherplatzbedarf und Hardwareressourcen möglichst viele oder alle solcher nicht benötigten Pixel oder Subpixel nicht synthetisiert. In weiter erfindungsgemäßer Weise ist erkannt worden, dass zur Verbesserung der Darstellung von dreidimensionalen Bildern eine Berücksichtigung von Cross-Over-Effekten äußerst vorteilhaft ist. Im Konkreten ist dies ermöglicht, indem bei der Bildsynthese keine Monotonie bzw. monotone Funktion der Disparitäten in der Disparitätskarte vorausgesetzt wird. Das heißt, es wird erfindungsgemäß die Voraussetzung einer Monotonie der Zuordnung zwischen zwei korrespondierenden Punkten aus einer ersten Perspektive des zugeführten Eingabebildes und einer zweiten Perspektive des zugeführten Eingabebildes fallengelassen. Somit können die jeweilig erforderlichen Pixel oder Subpixel der Zwischenperspektiven durch eine Bildsynthese unter Verwendung der Disparitätskarte erzeugt bzw. synthetisiert werden, wobei gleichzeitig Cross-Over-Effekte berücksichtigt werden. Folglich ist mit dem erfindungsgemäßen Verfahren und der erfindungsgemäßen autostereoskopischen Anzeige eine verbesserte dreidimensionale Darstellung mit einer möglichst großen Anzahl von Perspektiven bei möglichst geringem Speicherplatzbedarf möglich.
In vorteilhafter Weise können mit dem Eingabebild zwei Perspektiven zugeführt werden, die einem linken Teilbild und einem rechten Teilbild entsprechen. Somit kann als Eingabebild ein Stereobild bestehend aus einem linken und rechten Teilbild verwendet werden, wobei zur weiteren Verarbeitung das linke und rechte Teilbild rektifiziert sind oder werden.
Hinsichtlich einer qualitativ hochwertigen und dichten Disparitätskarte kann zur Berechnung der Disparitätskarte eine Disparitätsschätzung durchgeführt werden, wobei die Disparitätsschätzung aus dem linken und rechten Teilbild extrahierte Merkmale berücksichtigt. Denkbar sind hierbei eine SURF (Speed up Robust Features) Merkmalsextraktion hinsichtlich markanter Bildpunkte oder eine Sobel Merkmalsextraktion hinsichtlich einer Kantenerkennung. Jeder Pixel kann zur Sicherung der Zuordnung um die berechneten Merkmalswerte erweitert werden, wodurch eine Disparitätsschätzung möglich ist, bei der jeder Pixel einen Merkmalsvektor darstellen kann.
In einer weiter vorteilhaften Ausgestaltung kann eine Cross-Over-Vorverarbeitung durchgeführt werden, wobei in jeder Zeile des linken Teilbildes Bildsegmente bestimmt werden, bei denen ein Cross-Over-Effekt vorliegt.
Hinsichtlich der Erkennung von Cross-Over-Effekten kann zu einer Zeile i des linken Teilbildes ein Feld CrossoverQ) erzeugt werden, wobei CrossoverQ) := 1 ist, wenn der Pixel j einer Zeile i zu einem Cross-Over-Bildsegment gehört, und wobei CrossoverQ) := 0 ist, wenn der Pixel j einer Zeile i nicht zu einem Cross-Over- Bildsegment gehört.
In vorteilhafter Weise kann mit der Disparitätskarte D(i,j) zu jedem Pixel j einer Zeile i des linken Teilbildes ein Zuordnungsfeld WohinQ) erzeugt wird, wobei WohinQ) := j + D(i,j) ist, wenn es einen korrespondierenden Pixel im rechten Teilbild gibt und wobei WohinQ) := -1 ist, wenn eine Rechtsverdeckung vorliegt. In diesem Zuordnungsfeld sind somit Rechtsverdeckungen durch den Wert -1 gekennzeichnet. Ansonsten sind die Werte von Wohin(j) immer größer gleich 0. Im Feld Wohin sind Cross-Over-Effekte dadurch gekennzeichnet, dass Wohin(j) < Wohin (j-1) ist. Dort beginnt ein Cross-Over-Bildsegment und der Index CrossAnf = j wird gespeichert. Das Ende dieses Bildsegmentes ist durch die Eigenschaft WohinQ) > Wohin(CrossAnf - 1) gekennzeichnet.
In besonders vorteilhafter Weise kann zu einem Subpixel jr in einer Zeile i im Anzeigebild mittels einer über die Pixel in der Zeile i des linken Teilbildes laufenden Laufvariablen j, Positionen j_unten und j_oben ermittelt werden. Die Position j_unten wird so ermittelt, dass sie gerade unterhalb von j/3 ist. Die Position j_oben wird hingegen so gewählt, dass sie gerade oberhalb von j/3 ist.
In ganz besonders vorteilhafter Weise kann mittels der Differenz j_oben - j_unten und der Differenz Wohin(i,j_unten) - Wohin(i,j_oben) ermittelt werden, ob zwischen j_unten und j_oben eine reguläre Disparität, eine Linksverdeckung, eine Rechtsverdeckung oder ein Cross-Over-Effekt vorliegt.
Hinsichtlich der Bildsynthese können bei der Bildsynthese die N - M Zwischenperspektiven durch eine virtuelle Kamerafahrt entlang der Stereobasis zwischen einem Pixel (i,j) des linken Teilbildes und dem korrespondierenden Pixel (i',j') des rechten Teilbildes synthetisiert werden.
In vorteilhafter Weise kann eine Cross-Over-Nachbearbeitung durchgeführt werden, wobei ein Bereich in dem ein Cross-Over-Bildsegment vom linken Teilbild über die Zwischenperspektiven zum rechten Teilbild wandert nachbearbeitet werden.
Des Weiteren kann in einer vorteilhaften Ausgestaltung eine Überlagerung durchgeführt werden, wenn sich ein Subpixel jr in einem Cross-Over-Bereich in der Perspektive P(i,jr) befindet. Das beschriebene Verfahren und die vorteilhafte Ausgestaltungen beziehen sich auf eine Berechnung ausgehend vom linken zum rechten Teilbild. Es sei darauf hingewiesen, dass die Berechnungen auch in umgekehrter Richtung, also vom rechten Teilbild zum linken Teilbild durchgeführt werden können. Die verschiedenen Schritte erschließen sich einem Fachmann ohne Weiteres. Es ist selbstverständlich, dass auch diese umgekehrte Berechnungsrichtung als zum Schutzumfang der angehängten Ansprüche gehörend angesehen werden.
Hinsichtlich der Bewältigung der Echtzeitanforderung an die Hardware kann in besonders vorteilhafter Weise die Bearbeitung einer Zeile i des Anzeigebildes von einer zugeordneten Zeilenrecheneinheit durchgeführt werden, wobei der Zeilen recheneinheit ein lokaler Speicher zur Durchführung der Bearbeitungsoperationen zugeordnet ist und wobei die Zeilenrecheneinheit auf einen globalen Speicher zugreift. Daten wie z.B. die Eingabebilder bzw. die rektifizierten Eingabebilder, Merkmalsvektoren und/oder das verkämmte Ausgabebild werden in einem globalen Speicher gehalten, auf welchen alle Zeilenrecheneinheiten parallel zugreifen können. Da alle Einheiten auf diese Daten nur lesend zugreifen und/ oder schreibend nur auf die ihnen zugeordnete Zeile des Bildes und Displays, bestehen keine Synchronisations- oder Blockierungsprobleme.
In vorteilhafter Weise können die Zeilenrecheneinheiten von einer Kontrolleinheit zur Synchronisation gesteuert werden.
In einer weiteren vorteilhaften Ausgestaltung kann einer Zeile des Anzeigebildes eine Zeilenrecheneinheit zugeordnet sein.
Es gibt nun verschiedene Möglichkeiten, die Lehre der vorliegenden Erfindung in vorteilhafter Weise auszugestalten und weiterzubilden. Dazu ist einerseits auf die dem Anspruch 1 nachgeordneten Ansprüche und andererseits auf die nachfolgende Erläuterung eines bevorzugten Ausführungsbeispiels der Erfindung anhand der Zeichnung zu verweisen. In Verbindung mit der Erläuterung des bevorzugten Ausführungsbeispiels der Erfindung anhand der Zeichnung werden auch im Allgemeinen bevorzugte Ausgestaltungen und Weiterbildungen der Lehre erläutert. In der Zeichnung zeigen ein Blockdiagramm zur Darstellung des Gesamtsystems gemäß einem Ausführungsbeispiel des erfindungsgemäßen Verfahrens zur Erzeugung von dreidimensionalen Bildern, ein Flussdiagramm zu dem Gesamtsystem aus Fig. 1 , ein Anwendungsszenario mit einer Disparitätskarte entsprechend dem Monotoniegesetz der Stereoskopie, ein Anwendungsszenario mit einer Disparitätskarte zur Verarbeitung eines Cross-Over-Effektes, ein Flussdiagramm zur Darstellung der Cross-Over- Vorverarbeitung, ein Flussdiagramm eines Ausführungsbeispiels gemäß einem erfindungsgemäßen Verfahrens zur Darstellung der Cross-Over- Nachverarbeitung, die Fortsetzung des Flussdiagramms zur Darstellung der Cross- Over-Nachbearbeitung von Fig. 6, die Fortsetzung des Flussdiagramms zur Darstellung der Cross- Over-Nachbearbeitung von Fig. 7, ein Flussdiagramm eines Ausführungsbeispiels gemäß einem erfindungsgemäßen Verfahrens, wobei die Bildsynthese mit einer Cross-Over-Verarbeitung dargestellt ist, die Fortsetzung des Flussdiagramms von Fig. 9 und das Hardware-Layout des Gesamtsystems gemäß einem Ausführungsbeispiel der erfindungsgemäßen autostereoskopischen Anzeige. Fig. 1 zeigt ein Blockdiagramm zur Darstellung des Gesamtsystems gemäß einem Ausführungsbeispiel des erfindungsgemäßen Verfahrens zur Erzeugung von dreidimensionalen Bildern. Das Ausführungsbeispiel gemäß Fig. 1 betrifft ein Verfahren zur Erzeugung von dreidimensionalen Bildern zur Wiedergabe auf einem autostereoskopischen Display, auf welchem aus einem zugeführten Stereobild in einem beliebigen 3D-Format eine Vielzahl von Perspektiven, im allgemeinen mehr als 100, verkämmt angezeigt werden. Das Display besteht aus einem optischen Element und einer bilderzeugenden Einheit. Die Vielzahl von Perspektiven wird in der Weise erzeugt, dass immer nur diejenigen Pixel einer Perspektive erzeugt werden, welche auch angezeigt werden müssen. Die bilderzeugende Einheit des Displays besteht aus Pixeln/Subpixeln, welche eine Farbe, z.B. Rot, Grün oder Blau, abstrahlen.
Das autostereoskopische Display ist in der Lage ein 3D-Bild oder eine SD- Bildfolge in jedem Format, wie z.B. einem Stereobild oder einer Stereobildfolge, zu empfangen. Andere Formate, wie z.B. Stereobild inklusive einer Disparitätskarte, können ebenso empfangen und verarbeitet werden.
Ein empfangenes Stereobild wird zunächst rektifiziert, d.h. auf Stereo-Normalform bzw. in die epipolare Standardkonfiguration gebracht. Ist dies schon der Fall, so ergibt sich hier die identische Abbildung.
Anschließend werden gemäß Fig. 1 aus den beiden Bildern verschiedene Merkmale, wie z.B. Kanten oder markante Bildpunkte (SURF) identifiziert. Verschiedene Merkmale können hier extrahiert werden. Eine besondere Einschränkung ist nicht gegeben. Diese Merkmale werden für die Berechnung der Disparitätskarte, falls dies erforderlich ist, verwendet.
Wurde die Disparitätskarte bereits mit dem Eingabebild empfangen, so wird der nächste Schritt übersprungen. Ansonsten wird die Disparitätskarte des Stereobildes berechnet. Sie enthält eine Zuordnung der Pixel vom linken und rechten Teilbild, die in beiden empfangenen Perspektiven vorhanden sind. Außerdem werden die Links- und Rechtsverdeckungen identifiziert. Mittels der Disparitätskarte D des empfangenen Stereobildes und der Merkmale werden sodann beliebig viele Perspektiven synthetisiert. Dabei wird so vorgegangen, dass immer nur diejenigen Subpixel synthetisiert werden, die auf dem Display auch tatsächlich angezeigt werden müssen. Folglich werden bei 100 anzuzeigenden Perspektiven aus jeder Perspektive nur 1 % der Subpixel berechnet.
Die Information, welche Perspektive auf welchem Subpixel angezeigt werden soll, ist in der Perspektivenkarte P festgelegt. Die Perspektivenkarte wird bei der Produktion des Displays durch einen Kalibrierungsprozess zwischen Subpixeln und optischem System festgelegt und abgespeichert. Benachbarte Subpixel sind im Allgemeinen unterschiedlichen Perspektiven zugeordnet. Die Speicherung der verschiedenen Subpixel aus den unterschiedlichen Perspektiven im pseudoholographischen Bild B ist im Folgenden als Verkämmung bezeichnet.
Das autostereoskopische Display ist charakterisiert durch ein Panel von Subpixeln und einem vorgeschalteten optischen Element. Die Subpixel sind Farbsubpixel wie z.B. RGB oder CMY. In den Farbsubpixeln wird die Farbinformation der Subpixel der darzustellenden Perspektiven angezeigt.
Zur Verbesserung der Qualität des Bildes B wird zusätzlich die Anzahl der angezeigten Subpixel wesentlich erhöht. Ein pseudoholographisches Display gemäß Fig. 1 besitzt mindestens 10 bis 20 mal so viele Subpixel wie im empfangenen Stereobild vorhanden sind. Diese größere Anzahl der Subpixel ermöglicht es, aus den vielen Perspektiven, die synthetisiert werden, eine größere Anzahl von Pixeln pro Perspektive darzustellen.
Damit die Verfahrensschritte der Rektifizierung, Disparitätsberechnung und Perspektivensynthese in Echtzeit durchgeführt werden können, ist eine angemessene Verarbeitungskapazität vorhanden. Diese wird dadurch sichergestellt, dass eine Vielzahl von Recheneinheiten Bestandteil des Displays sind. Jeder sogenannten Zeilenrecheneinheit ist eine eigene kleine Anzahl von Zeilen des Displays zugeordnet. Im Extremfall könnte jeder Zeilenrecheneinheit eine eigene Zeile des Displays zugeordnet sein.
Des Weiteren sind alle Verfahrensschritte derart implementiert, dass sie zeilenweise unabhängig von einander und parallel durchgeführt werden.
Besitzt das Display z.B. 1080 Zeilen, was dem heutigen HD-Format entspricht, so besitzt die Recheneinheit 1080 Zeilenrecheneinheiten. Alle Recheneinheiten verfügen über einen lokalen Speicher zur Durchführung ihrer Operationen und können parallel auf einen globalen Speicher zugreifen. Eine Kontrolleinheit sorgt für die Synchronisation der einzelnen Verarbeitungsschritte. Das Hardware-Layout ist in Fig. 11 dargestellt.
Fig. 2 zeigt ein Flussdiagramm zu dem Gesamtsystem aus Fig. 1. Die Details werden im Folgenden beschrieben.
Hinsichtlich weiterer Details zur Merkmalsextraktion in Bezug auf z.B. SURF- oder Kanten-Operatoren sei auf H. Bay, T. Tuytelaars and L. V. Gool, "SURF: Speeded Up Robust Features", Computer Vision and Image Understanding, 110(3), 2008 verwiesen.
Hinsichtlich weiterer Details zur Disparitätsschätzung sei z.B. auf M. Bleyer and M. Gelautz, "Temporally Consistent Disparity Maps from uncalibrated Stereo Videos", Proceedings of the 6th International Symposium on Image and Signal Processing and Analysis (ISPA 2009), Special Session on Stereo Analysis and 3D Video/TV, pp. 383-387; oder auf L. Falkenhagen, "Blockbasierte Disparitätsschätzung unter Berücksichtigung statistischer Abhängigkeiten der Disparitäten", 2001 , Fortschritt- Berichte VDI Reihe 10, Nr. 657 ISBN 3-18-365710-4; oder auf O. Faugeras and Q- T Luong, 'The Geometry of Multiple Images", MIT Press, London, 2001 , ISBN 0- 262-06220-8 verwiesen.
Wichtig ist im Rahmen der Disparitätsschätzung der Unterschied zwischen iterativen Verfahren und Verfahren, welche die lineare Programmierung als Basis verwenden. In letzterem Fall wird i.A. eine Monotonie der Zuordnung vorausgesetzt. Dies bedeutet:
Figure imgf000013_0001
Rrii + D(i,j )) < Rr(i,j2 + D(/,/2))
In einer beliebigen Szene, wie sie aus dramaturgischen Gründen erforderlich sein kann, kann diese Voraussetzung jedoch nicht immer erfüllt sein. Ein schmales Objekt im Vordergrund kann leicht zu einer„Inversion" der Zuordnung in der Disparitätskarte führen. Daher soll die Monotonie-Voraussetzung fallen gelassen werden.
Das Ausführungsbeispiel des erfindungsgemäßen Verfahrens soll jedoch nicht auf den Färb- oder Grauwerten der Pixel beruhen. Vielmehr wird jeder Pixel zur Sicherung der Zuordnung um die vorher berechneten Merkmalswerte erweitert. Eine Disparitätsschätzung, bei der jeder Pixel einen Merkmalsvektor darstellt, ist das Ergebnis.
Die pseudoholographische Bildsynthese gemäß der WO 2007/121970 A2 wird derart verändert, dass das Monotoniegesetz der Stereoskopie nicht mehr erfüllt sein muss, um die darzustellenden Pixel einer Perspektive zu berechnen. Ein iteratives, zeilenorientiertes Verfahren, bei welchem immer nur diejenigen Pixel einer Perspektive berechnet werden, die auch tatsächlich auf dem Display angezeigt werden müssen, ist die Folge.
Im Folgenden werden alle Schritte gemäß Fig. 1 und Fig. 2 näher beschrieben. Im Rahmen des Ausführungsbeispiels wird davon ausgegangen, dass durch ein Empfangsmodul z.B. über eine Antenne oder das Internet eine Bildfolge von Stereobildern empfangen, dekodiert und in den Speicherbereichen I, und lr zur Verfügung gestellt wird.
Nach dem Empfang wird das Stereobild auf die Auflösung des angeschlossenen pseudoholographischen Displays vergrößert bzw. verkleinert. Ein Display der Auflösung 19.200 x 10.800 Pixel kann als hochauflösend angenommen werden. In diesem Fall wird z.B. ein Stereo-HD-Bild zehnfach horizontal und vertikal vergrößert.
In einem ersten Schritt wird die Rektifizierung durchgeführt. Diese Verfahren sind aus der Literatur bekannt. Im Ausführungsbeispiel gemäß Fig. 1 und Fig. 2 werden im linken Teilbild I, neun markante Punkte, die gleichmäßig über das Bild verteilt sind, nach dem SURF-Verfahren gesucht. Die Koordinate eines jeden markanten Punktes wird als Mittelpunkt eines Suchblockes im rechten Teilbild lr verwendet. In diesem Suchblock wird der ähnlichste Punkt im rechten Teilbild lr gesucht. Mittels der Disparitäten der neun markanten Punkte wird eine lineare Transformationsmatrix definiert, mit welcher jedes der Teilbilder I, und lr nach R, und Rr rektifiziert wird:
/, -> R, und lr -> Rr
Damit ist die Rektifizierung durchgeführt, sodass nun die Epipolaren parallel zu den Zeilen des Bildes laufen und alle späteren Operationen zeilenweise durchgeführt werden können.
Für eine qualitativ hochwertige dichte Disparitätskarte werden im zweiten Schritt die rektifizierten Teilbilder durch verschiedene Merkmale ergänzt.
Diese Merkmale werden in den folgenden Schritten zur Verbesserung der Sicherheit der berechneten Disparitätskarte verwendet.
Die spätere Berechnung der Disparitätskarte ist dadurch gekennzeichnet, dass sie sehr schnell durchgeführt werden kann, weil die Disparitäten massiv parallel für jede Zeile getrennt berechnet werden. Dies hat jedoch den Nachteil, dass lokale Merkmale wie z.B. Formen, Texturen oder Kanten nicht berücksichtigt werden. Daher werden in der Merkmalextraktionsphase verschiedene Merkmale berechnet, welche lokale Eigenschaften beschreiben.
Zur Berechnung von Merkmalen können z.B. das SURF (Speed up Robust Features) oder das Sobel-Edge-Detector Verfahren angewendet werden. SURF-Merkmalsextraktion:
Dieses Verfahren beruht darauf, dass für jeden Pixel die Determinante der Hesse- Matrix approximiert wird. Dabei wird wie folgt vorgegangen.
In einer Matrix Isum, welche jeweils für das linke und rechte rektifizierte Teilbild erstellt wird, werden für jeden Pixel die Teilsummen der Grauwerte des unteren Bildbereiches gespeichert: =0 y,=o
mit i :=1 ,...NZ und j :=1 ,...NS, wobei NZ die Anzahl der Zeilen und NS die Anzahl der Spalten ist.
In der Berechnung wird so vorgegangen, dass zunächst jeder Zeile i eine Zeilenrecheneinheit i zugeordnet wird, welche die Teilsumme rekursiv berechnet:
Isum, (y) := Isum, (j - 1) + Rr (/, y)
für i := 1 ,...NZ und j := 1...NS und in Isum abspeichert. Danach wird jeder Spalte j eine Recheneinheit j zugeordnet, welche die Spaltensumme rekursiv berechnet: lsum(i, j) := lsum(j - 1, y) + Isum, (y)
für i := 1 ....NZ und j := 1...NS.
Die so berechnete Matrix enthält nun für jedes Teilbild links und rechts die gewünschten Teilsummen. Nun wird jeder Zeile i wieder eine Recheneinheit i (=Zeilenrecheneinheit i) zugeordnet, welche zunächst die folgenden Zwischenwerte berechnet: Dxx i) '■= lsum(i - 4, j - 5) - lsum(i + 2 - 5)
+ lsum(i + 2, j + 4) - lsum(i - 4, / + 4)
- 3 · lsum(i + 2, y + 1) + 3 · /sum(/' + 2 - 2)
+ 3 · lsum(i - 4, y + 1) - 3 · /stvm(/ - 4, y - 2)
(/', y) := lsum(i + 4, y ' + 2) - /si/m(/' + 4, y - 3)
+ lsum(i - 5, y + 2) + /st/m(/ - 5, y - 3)
- 3 · lsum(i + 1, y + 2) + 3 · lsum(i + 1, j - 3)
+ 3 · lsum(i - 2, y ' + 2) - 3 · lsum(i - 2, j - 3)
DR0 (/, j) := lsum(i + 3, y ' + 3) - lsum(i + 3, y)
- Isum(i, y + 3) + lsum(i, j)
DLO (/, j) := lsum(i + 3, / - 1) - lsum(i + 3, y - 4)
- Isum(i, y - 1) + lsum(i, j - 4)
('> y ) ·"= si m( - 1, y - 1) - /sfVA77(/ - 1, y - 4)
- Isum(i - 4, y - 1) + /st m(/' - 4, j - 4)
^RU ('- j) '■= !sum(i - 1, y + 3) - /sivm(/ - 1, j)
- Isum(i - 4, y + 3) + lsum(i - 4, y)
Danach ergibt sich
D*y J) := DLO (/, y ) + Dm (/, y) · DRO (/, y) - DLÜ (/, j)
Die approximierte Determinante der Hessematrix wird sodann für jeden Pixel des rechten Teilbildes in der Merkmalsmatrix Mr(1 ) abgespeichert:
Mr (/, y ,1) := (/, y) · Dn (/, j) - 0,81 · (/, y) · (/, y)
Die gleiche Vorgehensweise wird für jeden Pixel des linken Teilbildes R, durchgeführt und in der Merkmalsmatrix M,(1 ) abgespeichert. Insgesamt ergeben sich die Merkmalsmatrizen Mr(1 ) und M,(1 ). Da auf die rektifizierten Teilbilder Rr und R, von allen Zeilenrecheneinheiten nur lesend zugegriffen wird und alle Zeilenrecheneinheiten i ihr Ergebnis in M(i,j,1 ) abspeichern, gibt es keine Blockierungen und Wartezeiten. Hinsichtlich weiterer Details sei auf H. Bay, T. Tuytelaars and L. V. Gool, "SURF: Speeded Up Robust Features", Computer Vision and Image Understanding, 1 10(3), 2008, pp. 346-359 verwiesen.
Sobel-Merkmalsextraktion:
Der Sobel-Operator ist nur einer aus einer großen Anzahl von Kanten-Operatoren und ist daher exemplarisch beschrieben.
Für die Disparitätskarte ist ein Kanten-Operator von besonderer Bedeutung, da er hilft, dass bei der Zuordnung den Kanten eine höhere Bedeutung zugeteilt wird als den glatten Flächen. Da eine Kante immer auch eine regionale Eigenschaft ist, ermöglicht diese Vorgehensweise innerhalb einer Zeile auch die Eigenschaften von lokalen Regionen mit berücksichtigen zu können.
Der Sobel-Prewitt-Operator arbeitet z.B. mit 3x3.Matrizen, welche die Kanten in verschiedene Richtungen detektieren. Grundsätzlich sind hier horizontale, vertikale, links und rechts diagonale Kanten zu unterscheiden. Zu ihrer Detektion werden die folgenden 3x3-Matrizen verwendet:
Figure imgf000017_0001
Eine Implementierung gemäß einem Ausführungsbeispiel des erfindungsgemäßen Verfahrens geht dabei so vor, dass jeder Zeile i eine Zeilenrecheneinheit i zugeordnet wird. Für alle Zeilen i und Spalten j wird das recheneinheiten-lokale Feld Kante(1 ) bis Kante(9) aus dem rechten rektifizierten Teilbild Rr wie gefüllt:
Kante(1) := Rr (/' - 1, / - 1) Kante(2) := Rr (/ - 1, j)
Kante(3) := Rr (/ - 1, j + 1) Kante(4) := Rr (/', j - 1)
Kante(5) := Rr (/, j) Kanteiß) := Rr (/', j + 1)
Kante(7) := Rr (/' + 1, j - 1) Kanteiß) := Rr (/' + 1, j)
Kante{9) := Rr{i + \j + 1) für i := 1 NZ und j := 1 ,...,NS
Sodann berechnet jede Zeilenrecheneinheit i für jeden Index j:
H, := 2 · Kante(2) + 2■ Kante(5) + 2■ Kante(8)
- Kante( ) - Kante(4) - Kante(7)
- Kante(3) - Kante(6) - Kante{9)
H2 := 2 - Kante{4) + 2■ Kante(5) + 2 · Kante{6)
- Kante{X) - Kante(2) - Kante(3)
- Kante{7) - Kante(8) - Kante(9)
H3 := 2 - Kante(7) + 2■ Kante(5) + 2 · Kante{3)
- Kantet) - Kante(2) - Kante(4)
- Kanteiß) - Kante(9) - Kante{6)
H4 := 2 - Kantet) + 2■ Kante(5) + 2■ Kante{9)
- Kante(2) - Kante(3) - Kanteiß)
- Kante(4) - Kante(7) - Kanteiß)
Mr(i,j,2) ergibt sich dann als Mr(i,j,2) := H1 + H2 + H3 + H4 für i = 1 NZ und j = 1....NS. Dieses Verfahren wird in gleicher Weise für das linke rektifizierte Teilbild R, durchgeführt. Insgesamt ergeben sich die Merkmalsmatrizen Mr(2) und M,(2).
Besteht das empfangene Stereobild nur aus den Teilbildern lr und I, und wurden keine weiteren Zusatzinformationen wie Disparitätskarte oder Tiefenkarte mit übertragen, so muss in einem Zwischenschritt die Disparitätskarte erstellt werden.
Hierfür stehen nun die rektifizierten Bilder Rr und R, und die Merkmalsmatrizen Mr und M, zur Verfügung.
Für jede Zeile i wird nun die Verbundwahrscheinlichkeit des Disparitätsvektors dt maximiert:
Figure imgf000019_0001
Diese Vorgehensweise wird sodann in eine dynamische Optimierungsaufgabe umgeformt: d, := arg min £ S(R, (/, / )) · cocc (R, (/, j)) + (1 - ö(R, (/, y )) · cm (R, (/, j), d, ) + cAd (R, (/, j))) mit
falls R, (/', j) eine Verdeckung ist
Figure imgf000019_0002
falls R, (/', j) keine Verdeckung ist
Figure imgf000019_0003
um den Punkt R|(i,j). Hinsichtlich weiterer Details sei auf L. Falkenhagen, "Blockbasierte Disparitätsschätzung unter Berücksichtigung statistischer Abhängigkeiten der Disparitäten", 2001 , Fortschritt-Berichte VDI Reihe 10, Nr. 657 ISBN 3-18-365710-4 verwiesen.
Demnach bezeichnet cor/;r(R|(i,j) , d(R,(i,j))) die Korrelation zwischen dem Punkt R,(i,j) des linken Teilbildes und dem Punkt Rr(i, j - d(R,(i,j))) des rechter Teilbildes, d.h. des um die Disparität d(R,(i,j)) verschobenen Punktes des linken Teilbildes.
Gemäß einem Ausführungsbeispiel des erfindungsgemäßen Verfahrens werden nun folgenden Veränderungen vorgenommen:
Die einfachen Intensitätswerte Rr und R, der Teilbilder werden für jeden Pixel durch den Merkmalsvektor Mr(i,j) := (Mr(i,j,1 ),..., Mr(i,j,K)) und M,(i,j) := (M,(i,j,1 ),..., M,(i,j,K)) ersetzt. Dieser kann z.B. die Luminanzwerte und/oder die Farbwerte und/oder den Kanten-Operator Sobel und/oder den Struktur-Operator SURF enthalten. Weitere Merkmale können entsprechend hinzugefügt werden.
Damit geht der Kreuzkorrelationskoeffizient corr^R ) , d(R,(i,j))) unter Verwendung einer beliebigen Vektornorm über in:
conrt (M,(i ), d(M , j))) >: y B x B y £ M,(pJ e M b -
Figure imgf000020_0001
Figure imgf000020_0002
Mit
Figure imgf000020_0003
Figure imgf000021_0001
unter Verwendung des Skalarproduktes Θ zweier Vektoren M,( pb ) und Mr(pb - di(Pij)) und des Betragsoperators II · II. Bx bezeichnet die Blockgröße des Referenzblockes U um M,(i,j) in horizontaler und By die Blockgröße in vertikaler Richtung. pb bezeichnet die Punkte aus dem Referenzblock um M,(i,j).
Die a-priori-Wahrscheinlichkeit kann nicht als Markov-Prozess 1 . Ordnung
Figure imgf000021_0002
dargestellt werden.
Die Pixel R,(i, j) des linken als auch des rechten Teilbildes sind Projektionen von Raumpunkten, die zu gewissen Objekten der Szene gehören. Pixel R,(i, j) eines gemeinsamen Objektes haben daher hinsichtlich ihres Projektionsverhaltens eine hohe Korrelation; zumindest solange man von starren Objekten ausgeht.
Die allgemeine empirische Wahrscheinlichkeit einer Disparitätsänderung ist daher entsprechend korreliert mit der Projektion benachbarter Raumpunkte eines gemeinsamen Objektes. Dies geht dabei auch über die Zeilen hinaus und kann nicht unabhängig voneinander berechnet werden.
Das hier vorgestellte Verfahren wird in der Weise erweitert, dass zunächst für jeden Bildpunkt R,(i, j) des Teilbildes R, in einer Umgebung Uy, definiert durch
Uij
Figure imgf000021_0003
< s) mit einer fest gewählten Reichweite s, alle Korrelationskoeffizienten οοηή := ΊροΓΓ(ρή,ρη. )\ p,.r e U9] berechnet werden. In Anlehnung an das vorher beschriebene Skalarprodukt wird corr y, piT) wie folgt definiert:
corr{Pij,p r):= M,(Pij) θ ^/Ι Μ Μ)
Nachdem in einem ersten Schritt eine Disparitätskarte D berechnet wurde mit
D := {d, / = 1,...,M; = 1,...,A/} und djj die Disparität für Pixel R,(i, j) des linken Teilbildes ist, wird im zweiten Schritt eine mit der geometrischen Korrelation gewichtete Glättung durchgeführt:
Figure imgf000022_0001
Alle geglätteten Disparitäten werden in der geglätteten Disparitätskarte D' zusammengefasst.
Dieses Verfahren wird sowohl hierarchisch als auch zeitlich strukturiert, indem die Teilbilder R, und Rr zusammen mit den Merkmalsmatrizen M, und Mr in einer Informationspyramide verwendet werden. Auf der obersten Ebene wird eine Berechnung der Disparitätskarte iterativ solange durchgeführt bis die Zuordnungen von links nach rechts und umgekehrt konsistent sind.
Als Anfangswerte der Disparitätskarte werden dabei die Disparitäten des vorherigen Teilbildes R,k 1 verwendet, sofern kein sogenannter„Hardcut" in der Bildsequenz zwischen dem aktuellen Stereobild k und dem vorherigen Stereobild k-1 erkannt wird. Ist dies jedoch der Fall, wird die identische Disparitätskarte
DE':= {o | / = 1 Λ/Ζ;/ = 1 NS} als Startkarte verwendet. Ansonsten werden zunächst in einer Voranalyse diejenigen Bereiche des linken Teilbildes identifiziert, welche sich nicht verändert haben. Dazu wird z.B. das gesamte linke Teilbild in Blöcke der Größe 16x16 Pixel eingeteilt, wie dies auch bei der MPEG-Kodierung der Fall ist. Liegt die Differenz zwischen dem aktuellen Block und demselben Block des vorherigen Bild unter einer Schwelle sMPEG, so wird der Block als konstant markiert und die vorherigen Disparitätswerte dieses Blockes können übernommen werden. Ist dies nicht der Fall, so müssen in diesem Block die Disparitäten neu berechnet werden.
Im Falle einer MPEG-Kompression kann man sich auf die dabei mit übertragenen Werte konstanter Bereiche beziehen und braucht diese Identifikation nicht noch einmal durchzuführen.
Durch diese Vorgehensweise wird eine gewisse Kontinuität in der Disparitätenkartenfolge erreicht und der sogenannte„Disparity Jitter" vermieden.
Ist auf der obersten Ebene eine konsistente Disparitätskarte erstellt worden, so wird diese auf die nächstniedrigere Ebene expandiert und als Startkarte für die dortige detailliertere Disparitätskarte verwendet. In dieser Weise wird weiter vorgegangen, bis der unterste und damit höchste Detaillierungsgrad erreicht ist.
Ist die Disparitätskarte berechnet oder wurde sie mit dem Eingabebild bereits empfangen, so wird im nächsten Schritt die pseudoholographische Bildsynthese durchgeführt, die in Fig. 9 und Fig. 10 dargestellt ist.
Gemäß Fig. 9 und Fig. 10 wird das in WO 2007/121970 A2 beschriebene Verfahren als Basis verwendet. Dieses Verfahren wird derart erweitert, dass Cross-Over-Effekte behandelt werden können. Bei einem Cross-Over-Effekt wird das Monotonie-Gesetz der Stereoskopie verletzt: f?,(/, < R,{i, j2) Rr(i, j, + D(i, jj) < Rr(i, j2 + D(i, j2 ))
Es kann dann der Fall sein, dass das linke Auge ein entfernteres Objekt O2 links von sieht, während das rechte Auge das Objekt O2 rechts von 0 sieht. In Fig. 6 ist ein solcher Fall mit seiner Auswirkung auf die Disparitätskarte dargestellt. Gemäß einem Ausführungsbeispiel des erfindungsgemäßen Verfahrens wird für die Bildsynthese so vorgegangen, dass in einem ersten Teilschritt in jeder Zeile diejenigen Bildsegmente gesucht werden, bei denen ein Cross-Over-Effekt vorliegt. Dies wird als Cross-Over-Vorverarbeitung bezeichnet. Ihr Ziel ist es, ein Feld Crossover (j) zu erzeugen mit folgender Eigenschaft:
0 , wenn der Pixel j einer Zeile i zu einem
Cross - Over - Bildsegment gehört
Crossover(j) :=
1 , wenn der Pixel j einer Zeile i nicht zu einem
Cross - Over - Bildsegment gehört
Zur Bestimmung der Werte dieses Feldes wird wie folgt vorgegangen:
Zunächst wird die i-te Zeile der Disparitätskarte D in ein Zuordnungsfeld überführt mit Wohin (j)■- j + D(ij).
In diesem Feld sind Rechtsverdeckungen durch den Wert -1 gekennzeichnet. Ansonsten sind die Werte von Wohin immer größer gleich 0.
Im Feld Wohin sind Cross-Over-Effekte dadurch gekennzeichnet, dass Wohin(j) < Wohin ) ist. Dort beginnt ein Cross-Over-Bildsegment und der Index CrossAnf = j wird gespeichert. Das Ende dieses Bildsegmentes ist durch die Eigenschaft Wohin(j) > Wohin(CrossAnf - 1 ) gekennzeichnet.
Daher wird eine Laufvariable j zunächst auf 1 gesetzt und fortlaufend inkrementiert. Crossover (j) wird auf 0 gesetzt. Trift die Laufvariable auf ein Pixel CrossAnf, für welchen gilt Wohin(CrossAnf) < Wohin(CrossAnf - 1) gilt, so beginnt dort das Cross-Over-Bildsegment und Crossover (j) wird dort beginnend auf 1 gesetzt. Nun wird j weiter inkrementiert bis die Bedingung Wohin(j) > Wohin(CrossAnf - 1 ) erfüllt ist. Ab dort wird Crossover(j) wieder auf 0 gesetzt bis zum nächsten Cross-Over-Bildsegment oder dem Ende der Zeile i. Ein Flussdiagramm dieser Cross-Over-Vorverarbeitung ist in Fig. 5 dargestellt. In einem zweiten Teilschritt wird für jede Zeile eine Laufvariable jr über alle Subpixel des Displaybildes B laufen gelassen. Dabei wird im Folgenden angenommen, dass jeder Pixel aus 3 Subpixeln besteht. Folglich wird beim Übergang vom Subpixel auf den zugehörigen Pixel immer durch 3 dividiert. Für den Fall, dass ein Pixel aus mehr Subpixel besteht, z.B. 4 Subpixel, so muss dementsprechend durch 4 dividiert werden. Mittels der oben festgelegten Laufvariablen jr wird zunächst die anzuzeigende Perspektive aus der Matrix P geholt. Diese Matrix P gibt für jeden Subpixel des Displays an, welche Perspektive dort angezeigt werden soll. Demgegenüber ist eine Laufvariable j, jeder Zeile des linken Teilbildes zugeordnet, welche zunächst auf 0 (dem linken Rand des Displaybildes B) gesetzt ist. Im Zusammenhang mit der Disparitätskarte D kann nun eine Variable jl_PositionNeu berechnet werden, welche angibt, auf welcher Pixelposition die P(i,jr)-te Perspektive des Pixels R,(i, j,) des linken Teilbildes dargestellt würde. Ist diese Position größer als j/3, so muss j, dekrementiert werden. Ist diese Position kleiner als j/3, so muss j, inkrementiert werden. Dieses Verfahren wird so lange fortgesetzt bis eine Position j_unten gefunden ist, welche gerade unterhalb von j/3 ist. In gleicher Weise wird j, so lange inkrementiert bzw. dekrementiert bis eine Position j_oben gefunden ist, welche gerade oberhalb von j/3 ist.
In Abhängigkeit von der Differenz j_oben - j_unten und der Differenz Wohin(i,j_unten) - Wohin(i,j_oben) kann herausgefunden werden, ob zwischen j_unten und j_oben eine reguläre Disparität, eine Links-, eine Rechts-Verdeckung oder ein Cross-Over-Effekt vorliegt.
Dabei sind folgenden Fälle zu unterscheiden:
1. j-oben - j_unten < 1 und Wohin(j_oben) - Wohin(j_unten) < 1
Dies ist eine reguläre Disparität. Der Subpixel kann von R,(i,j_oben) bzw. R,(i,j_unten) geholt werden.
2. j-oben - j_unten > 1 und Wohin(j_oben) - WohinQ_unten) < 1
Dies ist eine Rechtsverdeckung. Der zugehörige Pixel muss aus R, durch Interpolation zwischen R,(i,j_unten) und R,(i,j_oben) und Abbildung auf die Perspektive P(i,jr) errechnet werden. Daraus wird sodann der erforderliche Subpixel extrahiert.
3. j-oben -j_unten < 1 und Wohin(j_oben) - Wohin(j_unten) > 1
Dies ist eine Linksverdeckung. Der zugehörige Pixel muss aus Rr durch Interpolation zwischen Rr(i,Wohin(j_unten)) und Rr(i,Wohin(j_oben)) und Abbildung auf die Perspektive P(i,jr) errechnet werden. Daraus wird sodann der erforderliche Subpixel extrahiert.
4. j-oben - j_unten > 1 und Wohin(j_oben) - Wohin(j_unten) > 1
In diesem Fall hat man ein Cross-Over-Bildsegment erreicht. Hier sind zwei Unterfälle zu unterscheiden:
4a. Wohin(iJ) = -1 für j_unten < j < j_oben
Dieser Fall ist wie eine Rechtsverdeckung zu behandeln. Das Bildsegment muss von links nach rechts ausgeblendet werden. (Siehe 12 in Fig. 4)
4b. Wohin(iJ) > 0 für j_unten < j < j_oben
Dieser Fall ist wie eine Linksverdeckung zu behandeln. Das Bildsegment muss von links nach rechts eingeblendet werden. (Siehe 13 in Fig. 4)
Diese Vorgehensweise wird fortgesetzt bis die Laufvariable jr am rechten Rand der i-ten Zeile des Displaybildes B der verkämmten Perspektiven angelangt ist. Cross- Over-Bildsegmente werden in diesem zweiten Teilschritt jedoch ignoriert.
Im dritten Teilschritt wird die Cross-Over-Nachverarbeitung durchgeführt. In diesem Teilschritt brauchen nur die Zwischen Perspektiven bearbeitet zu werden. Das linke und rechte zugeführte Teilbild sind als Perspektive 0 und M-1 gesetzt und sind automatisch richtig bearbeitet worden. Für die Zwischenperspektiven wird wie folgt vorgegangen: Beginnend von links wird mittels einer Variablen j, der Anfang eines Cross-over- Bildsegmentes gesucht. Dieses ist wegen Crossover(j) = 1 leicht zu finden. Der linke Rand sei mit Pixelposition jimin bezeichnet. Der rechte Rand sei mit jlmax bezeichnet. In Fig. 4 ist dieser Bereich mit 14a gekennzeichnet. Für jede dieser Variablen ist Wohin(jlmin) und Wohin(jlmax) gegeben. Somit ist bekannt wohin das Cross-Over-Bildsegment in das rechte Teilbild abgebildet wird. Dieser Bildbereich ist in Fig. 4 als 14b gekennzeichnet. Nun seien: jrmin := min(jlmin, Wohin(jlmin)) und
jrmax := max(jlmax, Wohin(jlmax)) die Pixelindices, zwischen welchen das Cross-Over-Bildsegment vom linken Teilbild R, zum rechten Teilbild Rr wandern muss.
Eine Laufvariable jr läuft nun vom linken Subpixel jrmin*3 bis zum rechten Subpixel jrmax*3. Für jeden dieser Subpixel kann wieder die anzuzeigende Perspektive P(i, jr) gewählt werden.
Ist Perspektive P(i, jr) = 0 oder P(i, jr) = M-1 , so muss dort ein Subpixel aus dem zugeführten linken bzw. rechten Teilbild angezeigt werden. Dieser Fall ist jedoch schon vorher korrekt bearbeitet worden und kann hier ignoriert werden
Mittels der gesuchten Perspektive P(i, jr) kann eine Position jrmin_PositionNeu wie folgt berechnet werden: jrmin_PositionNeu := jimin + (Wohin(jlmin) - jimin)» P(i, jr)/ M-1 ).
Ist jrmin_PositionNeu > j/3, so liegt jr links vom zu überlagernden Cross-Over- Bereich in der Perspektive P(i, jr). In diesem Fall muss nichts geschehen. jr kann inkrementiert werden. Dieser Fall ist in Fig. 4 mit P1 gekennzeichnet.
In gleicher Weise kann jrmax_PositionNeu := jlmax + (Wohin(jlmax) - jlmax)« P(i, jr)/ M-1 ).. berechnet werden. Ist hier jrmax_PositionNeu < j/3, so liegt jr rechts vom zu überlagernden Cross-Over-Bereich in der Perspektive P(i, jr). In diesem Fall muss ebenfalls nichts geschehen. jr kann inkrementiert werden. Dieser Fall ist in Fig. 4 mit P3 gekennzeichnet. Eine Überlagerung muss also nur durchgeführt werden, wenn jrmin_PositionNeu j/3 ^ jrmax_PositionNeu gilt. In diesem Fall wird der Pixel CrossoverPixel mit
CrossoverPixel := jimin + (j/3 - jrminPositionNeu)*j_scale aus dem Cross-Over-Bildsegment R,(i, CrossoverPixel) des linken Teilbildes genommen. j_scale bezeichnet eine Variable, welche den Cross-Over-Bildbereich zwischen R,(i, jimin) und R|(i,jlmax) auf den Cross-Over-Bildbereich der Perspektive P(i, jr) abbildet, denn es ist nicht vorausgesetzt, dass jlmax - jimin = Wohinfllmax) - Wohin(jlmin) ist.
Von CrossoverPixel wird der entsprechende Subpixel ins Displaybild B der verkämmten Perspektiven übertragen. Dieser Fall ist in Fig. 4 mit P2 gekennzeichnet.
Nun wird j, := jlmax + 1 gesetzt und weiter inkrementiert bis zum nächsten Cross- Over-Bildsegment oder das Ende der Zeile mit j, NS -1 erreicht ist. Dies wird solange fortgeführt bis jr > N-1 am rechten Rand des Displaybildes angelangt ist.
Ein Flussdiagramm zu diesem Verfahrensschritt der Cross-Over-Nachverarbeitung ist in Fig. 6, Fig. 7 und Fig. 8 dargestellt.
Eine Szene ohne Cross-Over-Bildsegment ist in Fig. 3 exemplarisch dargestellt. Fig. 3 zeigt eine linke Szene 1 und eine rechte Szene 1 1. Das Zuordnungsfeld 2 beschreibt die Zuordnungen der Pixel der linken Szene 1 und zu den Pixeln der rechten Szene 11 . Das linke Teilbild 3 ist das Bild der linken Szene 1 und das rechte Teilbild 10 ist das Bild der rechten Szene 1 1 . Die Zwischenperspektiven 4, 5, 6, 7, 8, und 9 müssen synthetisiert bzw. interpoliert werden. Im linken Teilbild 3 befindet sich die Rechtsverdeckung 12 und im rechten Teilbild 10 die Linksverdeckung 13. Das Objekt 2b ist jeweils im linken Teilbild 3 und im rechten Teilbild 10 vorhanden.
Eine Szene mit einem Cross-Over-Bildsegement ist in Fig. 4 exemplarisch dargestellt. Fig. 4 zeigt eine linke Szene 1 und eine rechte Szene 1 1. Das Zuordnungsfeld das die Zuordnungen der Pixel der linken Szene 1 und zu den Pixeln der rechten Szene 1 1 beschreibt, ist in Fig. 4 nicht gezeigt. Das linke Teilbild 3 ist das Bild der linken Szene 1 und das rechte Teilbild 10 ist das Bild der rechten Szene 1 1. Die Zwischenperspektiven 4, 5, 6, 7, 8, und 9 müssen synthetisiert bzw. interpoliert werden. Im linken Teilbild 3 befindet sich die Rechtsverdeckung 12 und im rechten Teilbild 10 die Linksverdeckung 13. Fig. 4 zeigt ein hinteres Objekt 2b sowie ein vorderes Objekt 2c, die jeweils im linken Teilbild 3 und im rechten Teilbild 10 vorhanden sind. Im linken Teilbild 3 ist weiterhin die Rechtsverdeckung 2a des vorderen Objekts 2c. Im rechten Teilbild 10 ist die Linksverdeckung 2d des vorderen Objektes 2c.
Mit den Teilschritten 1 bis 3 ist das gesamte Verfahren zur Bildsynthese beschrieben und in Fig. 9 und Fig. 10 als Flussdiagramm dargestellt.
Für die Beziehung zwischen jlmax - jimin und Wohin(ijlmax) - Wohin(i, jimin) kann folgendes festgehalten werden:
1. jlmax - jimin = Wohin(ijlmax) - Wohin(i, jimin)
In diesem Fall ist die Objektfläche des Cross-Over-Objektes parallel zur Stereobasis.
2. jlmax - jimin > Wohin(i Jlmax) - Wohin(i, jimin)
In diesem Fall ist die Objektfläche des Cross-Over-Objektes der linken Kamera mit dem linken Teilbild zugewandt. Hier sind Zwischenbereiche des Cross-Over-Bildbereiches wie Rechtsverdeckungen zu behandeln und müssen im Laufe des Überganges zum rechten Teilbild ausgeblendet werden. Die Vorgehensweise hierfür ist im Schritt für die reguläre Disparitätsverarbeitung beschrieben.
3. jlmax - jimin < Wohin(i,jlmax) - Wohin(i, jimin)
In diesem Fall ist die Objektfläche des Cross-Over-Objektes der rechten Kamera mit dem rechten Teilbild zugewandt. Hier sind Zwischenbereiche des Cross-Over-Bildbereiches wie Linksverdeckungen zu behandeln und müssen im Laufe des Überganges zum rechten Teilbild eingeblendet werden. Die Vorgehensweise hierfür ist im Schritt für die reguläre Disparitätsverarbeitung beschrieben.
Da die Teilschritte 1 bis 3 sich immer nur auf die Zeile i beziehen, eignet sich eine solche Vorgehensweise ganz besonders für eine massiv parallele Verarbeitung.
Gemäß einem weiteren Ausführungsbeispiel der erfindungsgemäßen Anzeige empfängt ein hochauflösendes pseudoholographisches bzw. autostereo- skopisches Display zunächst ein Stereobild in einem der bekannten Formate mit einer Auflösung von beispielsweise 1920 x 1080 je Bild. Es wird sodann auf die Auflösung des Displays skaliert, die hier zur Vereinfachung der Beschreibung mit 19.200 x 1080 angenommen sei.
Dieses empfangene Stereobild wird analysiert und eine sehr große Anzahl von Zwischenperspektiven, z.B. 1.000 Perspektiven, daraus synthetisiert, welche nachfolgend auf dem Display z.B. mit Lentikularlinsen angezeigt werden.
Für die Analyse dieser Stereobilder wird die Durchführung in Echtzeit, d.h. etwa höchstens 20ms gefordert. Dies erfordert eine sehr hohe Verarbeitungskapazität, welche nicht mehr in einer einzigen Verarbeitungseinheit erbracht werden kann.
Entsprechend einer ersten Ausführungsform wird daher jeder Zeile des Displays eine eigene Verarbeitungseinheit mit dem erforderlichen lokalen Speicher zugeordnet. Diese wird im Folgenden als Zeilenrecheneinheit bezeichnet. Neben diesen lokalen Zeilenrecheneinheiten werden alle Einheiten von einer Steuer- und Kontrolleinheit synchronisiert.
Daten wie z.B. die Ausgangsbilder, die rektifizierten Bilder, die Merkmalsvektoren oder das verkämmte Ausgabebild werden in einem globalen Speicher gehalten, auf welchen alle Zeilenrecheneinheiten parallel zugreifen können. Da alle Einheiten auf diese Daten nur lesend zugreifen oder schreibend nur auf die ihnen zugeordnete Zeile des Bildes und Displays bestehen keine Synchronisations- oder Blockierungsprobleme. Für ein Display mit einer Auflösung von 19.200 x 1080 sind also mindestens 1080 Zeilenrecheneinheiten erforderlich. Eine Implementierung als Chip oder Single-Board-Einheit sind für die heutige Chip-Technologie kein Problem, da bereits Grafikkarten mit einer gleichen Anzahl von Recheneinheiten, Shader genannt, existieren.
In einer weiteren Ausführungsform werden jeder Zeile des Displays mehrere Verarbeitungseinheiten zugeordnet. Im Extremfall, der hier nicht ausgeschlossen ist, besitzt jeder Pixel eine eigene Verarbeitungseinheit.
In der Phase der Bildanalyse zur Erzeugung der Disparitätskarte wird in diesem Falle ein iteratives Verfahren implementiert. In der Synthesephase wird die anfängliche Iterationsvariable i, nicht mehr sequentiell für jeden Pixel inkrementiert, sondern es wird für jeden Pixel ir einer Zeile mit einem Startwert i, := ir begonnen. Das sodann gestartete Suchverfahren läuft wie beschrieben weiter.
Die Struktur der pixelweise zugeordneten Zeilenrecheneinheiten ist in Fig. 11 dargestellt.
Der globale Speicher wird in den Speicher für Bilddaten, Merkmalsdaten, für Disparitätskarte und für pseudoholographisches Ausgabebild unterteilt. Im Falle eines empfangenen Stereo-HD-Bildes mit zweimal 1920 x 1080 Pixeln und einem angeschlossenen Display mit der Auflösung 19.200 x 1080 muss mit folgender Speicherkapazität kalkuliert werden:
Bilddaten 33 MB, Merkmalsdaten 40 MB,
Disparitätskarte 80 MB,
Ausgabebild 80 MB.
Dies ergibt einen erforderlichen Speicherbedarf von ca. 233 MB. Insgesamt besitzt das erfindungsgemäße hochauflösende pseudoholographische Display daher inklusive verschiedener Zwischenvariable eine Speicherkapazität von 256 MB. Auf diesem Display lassen sich bereits 10 Perspektiven hochauflösend ohne Pixelverlust darstellen.
Hinsichtlich weiterer vorteilhafter Ausgestaltungen des erfindungsgemäßen Verfahrens oder der erfindungsgemäßen autostereoskopischen Anzeige wird zur Vermeidung von Wiederholungen auf den allgemeinen Teil der Beschreibung sowie auf die beigefügten Ansprüche verwiesen.
Schließlich sei ausdrücklich darauf hingewiesen, dass die voranstehend beschriebenen Ausführungsbeispiele des erfindungsgemäßen Verfahrens und der erfindungsgemäßen autostereoskopischen Anzeige lediglich zur Erörterung der beanspruchten Lehre dienen, diese jedoch nicht auf die Ausführungsbeispiele einschränken.

Claims

A n s p r ü c h e
1. Verfahren zur Erzeugung von dreidimensionalen Bildern zur Wiedergabe auf einer autostereoskopischen Anzeige, insbesondere einem autostereo- skopischen Display,
wobei einem Subpixel der Anzeige, vorzugsweise mittels einer Perspektivenkarte, eine Perspektive zugeordnet wird,
wobei aus einem zugeführten Eingabebild mit einer Anzahl von M > 2 Perspektiven ein Anzeigebild zur Wiedergabe auf der Anzeige mit einer Anzahl von N > 3 Perspektiven erzeugt wird,
wobei N > M ist und N - M Zwischenperspektiven durch eine Bildsynthese unter Verwendung einer Disparitätskarte erzeugt werden,
wobei bei der Bildsynthese keine Monotonie der Disparitäten in der Disparitätskarte vorausgesetzt wird, und
wobei mindestens ein Pixel oder Subpixel einer Zwischenperspektive, das zur Wiedergabe der Zwischenperspektive auf der Anzeige nicht verwendet wird, nicht synthetisiert wird.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass mit dem Eingabebild zwei Perspektiven zugeführt werden, die einem linken Teilbild und einem rechten Teilbild entsprechen.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass zur Berechnung der Disparitätskarte eine Disparitätsschätzung durchgeführt wird, wobei die Disparitätsschätzung aus dem linken und rechten Teilbild extrahierte Merkmale berücksichtigt.
4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass eine Cross-Over-Vorverarbeitung durchgeführt wird, wobei in jeder Zeile des linken Teilbildes Bildsegmente bestimmt werden, bei denen ein Cross-Over-Effekt vorliegt.
5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass zu einer Zeile i des linken Teilbildes ein Feld CrossoverQ erzeugt wird,
wobei CrossoverQ := 1 ist, wenn der Pixel j einer Zeile i zu einem Cross- Over-Bildsegment gehört, und
wobei CrossoverQ) := 0 ist, wenn der Pixel j einer Zeile i nicht zu einem Cross-Over-Bildsegment gehört.
6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass mit der Disparitätskarte D(i,j) zu jedem Pixel j einer Zeile i des linken Teilbildes ein Zuordnungsfeld Wohin(j) erzeugt wird,
wobei Wohin(j) := j + D(i,j) ist, wenn es einen korrespondierenden Pixel im rechten Teilbild gibt und
wobei Wohinfj) := -1 ist, wenn eine Rechtsverdeckung vorliegt.
7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass zu einem Subpixel jr in einer Zeile i im Anzeigebild mittels einer über die Pixel in der Zeile i des linken Teilbildes laufenden Laufvariablen j, Positionen j_unten und j_oben ermittelt werden.
8. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass mittels der Differenz j_oben - j_unten und der Differenz Wohin(i,j_unten) - Wohin(i _oben) ermittelt wird, ob zwischen j_unten und j_oben eine reguläre Disparität, eine Linksverdeckung, eine Rechtsverdeckung oder ein Cross-Over- Effekt vorliegt.
9. Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass bei der Bildsynthese die N - M Zwischenperspektiven durch eine virtuelle Kamerafahrt entlang der Stereobasis zwischen einem Pixel (i,j) des linken Teilbildes und dem korrespondierenden Pixel (i',j') des rechten Teilbildes synthetisiert werden.
10. Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass eine Cross-Over-Nachbearbeitung durchgeführt wird, wobei ein Bereich in dem ein Cross-Over-Bildsegment vom linken Teilbild über die Zwischenperspektiven zum rechten Teilbild wandert nachbearbeitet wird.
1 1. Verfahren nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass eine Überlagerung durchgeführt wird, wenn sich ein Subpixel jr in einem Cross-Over-Bereich in der Perspektive P(i,jr) befindet.
12. Verfahren nach einem der Ansprüche 1 bis 11 , dadurch gekennzeichnet, dass die Bearbeitung einer Zeile i des Anzeigebildes von einer zugeordneten Zeilenrecheneinheit durchgeführt wird, wobei der Zeilenrecheneinheit ein lokaler Speicher zur Durchführung der Bearbeitungsoperationen zugeordnet ist und wobei die Zeilenrecheneinheit auf einen globalen Speicher zugreift.
13. Verfahren nach Anspruch 12, dadurch gekennzeichnet, dass die Zeilenrecheneinheiten von einer Kontrolleinheit gesteuert werden.
14. Autostereoskopische Anzeige zur Erzeugung von dreidimensionalen Bildern, insbesondere zur Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 13,
wobei die Anzeige Subpixel mit zugeordneten Perspektiven aufweist, wobei die Anzeige Mittel zum Erzeugen eines Anzeigebildes mit einer Anzahl von N > 3 Perspektiven aus einem zugeführten Eingabebild mit einer Anzahl von M > 2 Perspektiven aufweist, wobei N > M ist,
wobei die Mittel zum Erzeugen eines Anzeigebildes Bildsynthesemittel zur Erzeugung von N - M Zwischenperspektiven mittels einer Bildsynthese unter Verwendung einer Disparitätskarte umfassen,
wobei die Bildsynthesemittel bei der Bildsynthese keine Monotonie der Disparitäten in der Disparitätskarte voraussetzen, und
wobei die Bildsynthesemittel mindestens ein Pixel oder Subpixel einer Zwischenperspektive, das zur Wiedergabe der Zwischenperspektive auf der Anzeige nicht verwendet wird, nicht synthetisieren.
15. Autostereoskopische Anzeige nach Anspruch 14, dadurch gekennzeichnet, dass einer Zeile des Anzeigebildes eine Zeilenrecheneinheit zugeordnet ist.
PCT/DE2011/000186 2010-02-25 2011-02-25 Verfahren und autostereoskopische anzeige zur erzeugung von dreidimensionalen bildern WO2011103865A2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102010009291.6 2010-02-25
DE102010009291A DE102010009291A1 (de) 2010-02-25 2010-02-25 Verfahren und Vorrichtung für ein anatomie-adaptiertes pseudoholographisches Display

Publications (2)

Publication Number Publication Date
WO2011103865A2 true WO2011103865A2 (de) 2011-09-01
WO2011103865A3 WO2011103865A3 (de) 2012-02-09

Family

ID=44149833

Family Applications (3)

Application Number Title Priority Date Filing Date
PCT/DE2011/000188 WO2011103867A1 (de) 2010-02-25 2011-02-25 Verfahren zur herstellung eines autostereoskopischen displays und autostereoskopisches display
PCT/DE2011/000186 WO2011103865A2 (de) 2010-02-25 2011-02-25 Verfahren und autostereoskopische anzeige zur erzeugung von dreidimensionalen bildern
PCT/DE2011/000187 WO2011103866A2 (de) 2010-02-25 2011-02-25 Verfahren zur visualisierung von dreidimensionalen bildern auf einer 3d-anzeigevorrichtung und 3d-anzeigevorrichtung

Family Applications Before (1)

Application Number Title Priority Date Filing Date
PCT/DE2011/000188 WO2011103867A1 (de) 2010-02-25 2011-02-25 Verfahren zur herstellung eines autostereoskopischen displays und autostereoskopisches display

Family Applications After (1)

Application Number Title Priority Date Filing Date
PCT/DE2011/000187 WO2011103866A2 (de) 2010-02-25 2011-02-25 Verfahren zur visualisierung von dreidimensionalen bildern auf einer 3d-anzeigevorrichtung und 3d-anzeigevorrichtung

Country Status (6)

Country Link
US (4) US9396579B2 (de)
EP (1) EP2540089A2 (de)
JP (3) JP6060329B2 (de)
KR (2) KR101852209B1 (de)
DE (1) DE102010009291A1 (de)
WO (3) WO2011103867A1 (de)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010009291A1 (de) * 2010-02-25 2011-08-25 Expert Treuhand GmbH, 20459 Verfahren und Vorrichtung für ein anatomie-adaptiertes pseudoholographisches Display
US9420268B2 (en) 2011-06-23 2016-08-16 Lg Electronics Inc. Apparatus and method for displaying 3-dimensional image
KR102009049B1 (ko) * 2011-11-11 2019-08-08 소니 주식회사 송신 장치, 송신 방법, 수신 장치 및 수신 방법
DE112011105927T5 (de) * 2011-12-07 2014-09-11 Intel Corporation Grafik-Renderingverfahren für autostereoskopisches dreidimensionales Display
KR101349784B1 (ko) * 2012-05-08 2014-01-16 엘지디스플레이 주식회사 기능성 패널 합착용 지지부재, 이를 구비한 표시소자 및 표시소자 제조방법
TWI637348B (zh) * 2013-04-11 2018-10-01 緯創資通股份有限公司 影像顯示裝置和影像顯示方法
ITTO20130784A1 (it) 2013-09-30 2015-03-31 Sisvel Technology Srl Method and device for edge shape enforcement for visual enhancement of depth image based rendering
CN103680325A (zh) * 2013-12-17 2014-03-26 京东方科技集团股份有限公司 显示基板、显示面板和立体显示装置
CN105787877B (zh) * 2016-02-18 2018-11-23 精实万维软件（北京）有限公司 一种动态多图排版方法和装置
WO2020117841A1 (en) * 2018-12-04 2020-06-11 Sony Interactive Entertainment LLC Fluid display device
US11056081B2 (en) * 2019-08-09 2021-07-06 Wuhan China Star Optoelectronics Semiconductor Display Technology Co., Ltd. Display panel and display device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001021970A1 (fr) 1999-09-17 2001-03-29 Snfa Roulement a billes hybride a contact oblique, et butee axiale le comportant
WO2007121970A2 (de) 2006-04-21 2007-11-01 Expert Treuhand Gmbh Verfahren und vorrichtung zur pseudoholographischen bilderzeugung

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0646461A (ja) * 1992-06-26 1994-02-18 Matsushita Electric Ind Co Ltd 平板型立体画像表示装置およびその製造方法
US5457574A (en) * 1993-05-06 1995-10-10 Dimension Technologies Inc. Autostereoscopic display with high power efficiency
JP2944850B2 (ja) * 1993-05-25 1999-09-06 シャープ株式会社 ３次元ディスプレイ装置
JPH08220477A (ja) * 1995-02-13 1996-08-30 Toppan Printing Co Ltd レンチキュラー・ディスプレイの製造方法および製造装置
JP2000081918A (ja) * 1998-09-04 2000-03-21 Canon Inc 加熱装置
JP3593466B2 (ja) * 1999-01-21 2004-11-24 日本電信電話株式会社 仮想視点画像生成方法およびその装置
ATE328440T1 (de) * 2000-01-25 2006-06-15 Newsight Gmbh Verfahren und anordnung zur räumlichen darstellung
US20020075566A1 (en) * 2000-12-18 2002-06-20 Tutt Lee W. 3D or multiview light emitting display
US7103234B2 (en) * 2001-03-30 2006-09-05 Nec Laboratories America, Inc. Method for blind cross-spectral image registration
GB0119176D0 (en) * 2001-08-06 2001-09-26 Ocuity Ltd Optical switching apparatus
JP2003339060A (ja) * 2002-05-20 2003-11-28 Denso Corp 車両後方・側方画像表示装置
JP2007072476A (ja) * 2002-07-29 2007-03-22 Sharp Corp 視差バリア層付き基板の製造方法
AU2002952874A0 (en) * 2002-11-25 2002-12-12 Dynamic Digital Depth Research Pty Ltd 3D image synthesis from depth encoded source view
JP4042615B2 (ja) * 2003-04-17 2008-02-06 株式会社デンソー 画像処理方法及び画像処理装置
JP2007508573A (ja) * 2003-09-22 2007-04-05 ドルゴフ、ジーン 全方向性レンチキュラーおよびバリアグリッド方式の画像ディスプレイおよびそれらを作成するための方法
JP4839598B2 (ja) * 2003-10-30 2011-12-21 ブラザー工業株式会社 画像表示装置
JP4402578B2 (ja) * 2004-03-31 2010-01-20 独立行政法人科学技術振興機構 三次元ディスプレイ
JP4440066B2 (ja) * 2004-10-14 2010-03-24 キヤノン株式会社 立体画像生成プログラム、立体画像生成システムおよび立体画像生成方法
JP4327758B2 (ja) * 2005-03-24 2009-09-09 株式会社東芝 立体画像表示装置
EP1882234B1 (de) * 2005-05-20 2019-01-02 Samsung Display Co., Ltd. Subpixelwiedergabe mehrerer grundfarben mit metamerer filterung
JP4532372B2 (ja) * 2005-09-02 2010-08-25 トヨタ自動車株式会社 道路区画線検出装置
JP2007081635A (ja) * 2005-09-13 2007-03-29 Sanyo Epson Imaging Devices Corp ディスプレイ装置
JP2007110303A (ja) * 2005-10-12 2007-04-26 Matsushita Electric Ind Co Ltd 輪郭補正装置
US8358330B2 (en) * 2005-10-21 2013-01-22 True Vision Systems, Inc. Stereoscopic electronic microscope workstation
JP4337823B2 (ja) * 2005-11-04 2009-09-30 セイコーエプソン株式会社 プリンタおよび印刷方法
TWI294750B (en) * 2005-11-21 2008-03-11 Whe Yi Chiang Three dimensional organic electroluminescent display
JP5018778B2 (ja) * 2006-08-23 2012-09-05 富士通株式会社 表示素子並びにそれを用いた電子ペーパーおよび電子端末
JP4933553B2 (ja) * 2006-09-07 2012-05-16 シャープ株式会社 画像表示装置、電子機器およびパララックスバリア素子
US20100103175A1 (en) * 2006-10-25 2010-04-29 Tokyo Institute Of Technology Method for generating a high-resolution virtual-focal-plane image
JP2008112060A (ja) * 2006-10-31 2008-05-15 Seiko Epson Corp 表示装置
JP2008216971A (ja) * 2007-02-08 2008-09-18 Seiko Epson Corp 画像表示デバイス
JP5235901B2 (ja) * 2007-02-13 2013-07-10 三星ディスプレイ株式會社 指向性表示装置用のサブピクセルレイアウト及びサブピクセルレンダリング方法及びシステム
GB0708676D0 (en) * 2007-05-04 2007-06-13 Imec Inter Uni Micro Electr A Method for real-time/on-line performing of multi view multimedia applications
JP5263751B2 (ja) * 2007-06-07 2013-08-14 学校法人立命館 一画面表示装置
JP5115840B2 (ja) * 2007-08-23 2013-01-09 国立大学法人東京農工大学 立体表示装置
JP2009080144A (ja) * 2007-09-25 2009-04-16 Toshiba Corp 立体映像表示装置および立体映像表示方法
JP2009162620A (ja) * 2008-01-07 2009-07-23 Toshiba Corp 検査装置及びその方法
US8072448B2 (en) * 2008-01-15 2011-12-06 Google Inc. Three-dimensional annotations for street view data
GB2457692A (en) * 2008-02-21 2009-08-26 Sharp Kk A display device with a plurality of viewing modes
JP4987767B2 (ja) * 2008-03-18 2012-07-25 株式会社東芝 三次元画像表示装置の製造装置及び三次元画像表示装置の製造方法
JP2010033447A (ja) * 2008-07-30 2010-02-12 Toshiba Corp 画像処理装置および画像処理方法
KR101476219B1 (ko) * 2008-08-01 2014-12-24 삼성디스플레이 주식회사 표시 장치의 제조 방법 및 그를 이용한 표시 장치의 제조장치
KR20100033067A (ko) * 2008-09-19 2010-03-29 삼성전자주식회사 2차원과 3차원 겸용 영상 표시 장치 및 방법
JP4625517B2 (ja) * 2008-10-27 2011-02-02 富士フイルム株式会社 ３次元表示装置および方法並びにプログラム
US8301013B2 (en) * 2008-11-18 2012-10-30 Panasonic Corporation Reproduction device, reproduction method, and program for stereoscopic reproduction
CN102292996B (zh) * 2009-01-20 2014-09-17 皇家飞利浦电子股份有限公司 3d图像数据的传输
JP2012518317A (ja) * 2009-02-18 2012-08-09 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ３ｄ観察者メタデータの転送
WO2011007757A1 (ja) * 2009-07-13 2011-01-20 Yoshida Kenji 裸眼立体ディスプレイ用パララックスバリア、裸眼立体ディスプレイおよび裸眼立体ディスプレイ用パララックスバリアの設計方法
DE102010009291A1 (de) * 2010-02-25 2011-08-25 Expert Treuhand GmbH, 20459 Verfahren und Vorrichtung für ein anatomie-adaptiertes pseudoholographisches Display

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001021970A1 (fr) 1999-09-17 2001-03-29 Snfa Roulement a billes hybride a contact oblique, et butee axiale le comportant
WO2007121970A2 (de) 2006-04-21 2007-11-01 Expert Treuhand Gmbh Verfahren und vorrichtung zur pseudoholographischen bilderzeugung

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
H. BAY, T. TUYTELAARS, L. V. GOOL: "SURF: Speeded Up Robust Features", COMPUTER VISION AND IMAGE UNDERSTANDING, vol. 110, no. 3, 2008
H. BAY, T. TUYTELAARS, L. V. GOOL: "SURF: Speeded Up Robust Features", COMPUTER VISION AND IMAGE UNDERSTANDING, vol. 110, no. 3, 2008, pages 346 - 359
L. FALKENHAGEN: "Blockbasierte Disparitätsschätzung unter Berücksichtigung statistischer Abhängigkeiten der Disparitäten", FORTSCHRITT-BERICHTE VDI REIHE 10, 2001
M. BLEYER, M. GELAUTZ: "Temporally Consistent Disparity Maps from uncalibrated Stereo Videos", PROCEEDINGS OF THE 6TH INTERNATIONAL SYMPOSIUM ON IMAGE AND SIGNAL PROCESSING AND ANALYSIS (ISPA 2009), SPECIAL SESSION ON STEREO ANALYSIS AND 3D VIDEO/TV, pages 383 - 387
O. FAUGERAS, Q-T LUONG: "The Geometry of Multiple Images", 2001, MIT PRESS

Also Published As

Publication number Publication date
US20130135720A1 (en) 2013-05-30
US10229528B2 (en) 2019-03-12
JP6142985B2 (ja) 2017-06-07
WO2011103866A3 (de) 2012-03-01
EP2540089A2 (de) 2013-01-02
US9324181B2 (en) 2016-04-26
KR20130036198A (ko) 2013-04-11
US10134180B2 (en) 2018-11-20
US20160205393A1 (en) 2016-07-14
JP2013520890A (ja) 2013-06-06
US9396579B2 (en) 2016-07-19
JP6060329B2 (ja) 2017-01-18
WO2011103865A3 (de) 2012-02-09
JP6278323B2 (ja) 2018-02-14
JP2013527932A (ja) 2013-07-04
JP2017078859A (ja) 2017-04-27
WO2011103867A1 (de) 2011-09-01
KR20130008555A (ko) 2013-01-22
US20130147804A1 (en) 2013-06-13
US20160300517A1 (en) 2016-10-13
WO2011103866A2 (de) 2011-09-01
KR101852209B1 (ko) 2018-04-25
KR101825759B1 (ko) 2018-03-22
DE102010009291A1 (de) 2011-08-25

Similar Documents

Publication Publication Date Title
WO2011103865A2 (de) Verfahren und autostereoskopische anzeige zur erzeugung von dreidimensionalen bildern
DE112017002851B4 (de) Verfahren und Vorrichtung einer Grenzauffüllung für eine VR-Videoverarbeitung
EP2027728B1 (de) Verfahren und vorrichtung zur pseudoholographischen bilderzeugung
DE69735488T2 (de) Verfahren und vorrichtung zum ausrichten von bildern
JP5036132B2 (ja) 裸眼立体表示のための視差画像のクリティカルな位置合わせ
DE69827232T2 (de) Mosaikbildverarbeitungssystem
DE112018000311T5 (de) Stereoskopisches Rendering unter Verwendung von Raymarching und ein Broadcaster für eine virtuelle Ansicht für solches Rendering
DE112016005343T5 (de) Elektronische Anzeigestabilisierung unter Verwendung von Pixelgeschwindigkeiten
DE69531583T2 (de) Bildverarbeitungsverfahren und -gerät
EP3448032B1 (de) Erweiterung von bewegtbildern mit genauen bewegungsinformationen
EP1229741A2 (de) Verfahren zur Korrespondenzanalyse von Bildmerkmalen in korrespondierenden Videobildern in Echtzeit
EP2800350A2 (de) Anordnung und Verfahren zur Aufnahme und Wiedergabe von Bildern einer Szene und/oder eines Objektes
EP3789962B1 (de) Verfahren und vorrichtung zum erzeugen von daten für eine zwei- oder dreidimen-sionale darstellung zumindest eines teils eines objekts und zum erzeugen der zwei- oder dreidimensionalen darstellung zumindest des teils des objekts
US20110211043A1 (en) Method and system for encoding a 3d image signal, encoded 3d image signal, method and system for decoding a 3d image signal
CA2553473A1 (en) Generating a depth map from a tw0-dimensional source image for stereoscopic and multiview imaging
EP2676449B1 (de) Verfahren und vorrichtung zur stereobasis-erweiterung von stereoskopischen bildern und bildfolgen
DE102007021518B4 (de) Verfahren zum Verarbeiten eines Videodatensatzes
WO2009082990A1 (de) Verfahren und vorrichtung zur echtzeit-multiview-erzeugung
DE112012000563T5 (de) Verfahren und Vorrichtung zum Senden/Empfangen eines digitalen Übertragungssignals
DE102010028668B4 (de) Verfahren zur räumlichen Darstellung
DE10056978B4 (de) Verfahren zur Erzeugung eines stereographischen Bildes
AT513369A2 (de) Verfahren zum Erzeugen, Übertragen und Empfangen stereoskopischer Bilder, und zugehörige Geräte
Liu et al. An enhanced depth map based rendering method with directional depth filter and image inpainting
Liu et al. An efficient depth map preprocessing method based on structure-aided domain transform smoothing for 3D view generation
EP2478705A1 (de) Verfahren und vorrichtung zum erzeugen von teilansichten und/oder einer raumbildvorlage aus einer 2d-ansicht für eine stereoskopische wiedergabe

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11720284

Country of ref document: EP

Kind code of ref document: A2

122 Ep: pct application non-entry in european phase

Ref document number: 11720284

Country of ref document: EP

Kind code of ref document: A2