WO2016056735A1 - 다시점 영상 디스플레이 장치 및 그 제어 방법 - Google Patents
다시점 영상 디스플레이 장치 및 그 제어 방법 Download PDFInfo
- Publication number
- WO2016056735A1 WO2016056735A1 PCT/KR2015/007614 KR2015007614W WO2016056735A1 WO 2016056735 A1 WO2016056735 A1 WO 2016056735A1 KR 2015007614 W KR2015007614 W KR 2015007614W WO 2016056735 A1 WO2016056735 A1 WO 2016056735A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- view
- image
- views
- pixel
- pixel value
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
- H04N13/351—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying simultaneously
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
- H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
- H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
- H04N13/317—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using slanted parallax optics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/324—Colour aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/398—Synchronisation thereof; Control thereof
Definitions
- the present invention relates to a multiview image display apparatus and a control method, and more particularly, to an autostereoscopic multiview image display apparatus and a control method thereof.
- the stereoscopic display device may be implemented as various types of display devices such as various monitors, mobile phones, PDAs, PCs, set-top PCs, tablet PCs, electronic photo frames, kiosks, as well as 3D TVs used in homes.
- 3D display technology may be utilized in various fields requiring 3D imaging, such as science, medicine, design, education, advertising, computer games, as well as home use.
- Stereoscopic display systems can be broadly classified into glasses-free systems that can be viewed without glasses and glasses systems that require viewing by wearing glasses.
- the spectacle system can provide a satisfactory three-dimensional effect, but there is an inconvenience that the viewer must use glasses.
- the auto glasses-free system has the advantage of viewing 3D images without glasses, and the development discussion on the auto glasses-free system is continuously made.
- the number of obstacles in providing clear 3D images such as discontinuous view transitions is due to the same number of optical views provided in the user's viewing area and the number of input image views used for generating a multiview image. There was a problem that existed.
- the present invention has been made in accordance with the above-described needs, and the present invention provides a multi-view image display apparatus and a control method for providing a clear 3D image by generating a multi-view image using more input image views than the number of optical views
- the present invention provides a multi-view image display apparatus and a control method for providing a clear 3D image by generating a multi-view image using more input image views than the number of optical views
- a multi-view image display apparatus includes an image input unit for receiving an image and rendering a plurality of views having different views based on depths of the input image.
- the display unit may display a multi-view image generated based on pixel values constituting the plurality of views, and a pixel value of a specific viewpoint view among the plurality of views and a pixel value of an adjacent viewpoint view of the specific viewpoint view.
- a controller configured to generate the multi-view image by mapping the generated mixed pixel value to at least one target pixel region.
- the display unit includes a display panel for displaying the multi-view image, and a viewing area separating unit disposed on the front of the display panel to provide optical views of different views, and used to generate the multi-view image.
- the number of the plurality of views may be greater than the number of the optical views.
- the controller may select the specific viewpoint view to be mapped to the target pixel region according to a predetermined criterion, and the source pixel corresponding to the target pixel region in the selected specific viewpoint view and the adjacent viewpoint view of the specific viewpoint view.
- the mixed pixel value may be calculated by applying a predetermined weight to the set source pixel region.
- the controller may set the pixel area including the pixel area corresponding to the target pixel area and the adjacent pixel area of the pixel area in the selected specific view and the adjacent view as the source pixel area.
- the control unit may further include the source pixel area corresponding to each of the selected specific view and adjacent view in the epipolar domain generated based on an epipolar image composed of the same pixel lines of each of the plurality of views.
- the 3D region including a may be set, and the mixed pixel value may be calculated by applying a predetermined weight to the set 3D region.
- the controller may calculate a mixed pixel value to which the predetermined weight is applied by applying a predetermined filter to the 3D area.
- the predetermined filter may be a bilinear interpolation filter.
- the adjacent viewpoint view of the particular viewpoint view used to calculate the mixed pixel value may include a previous viewpoint view and a subsequent viewpoint view of the specific viewpoint view.
- the control unit may calculate the mixed pixel value in units of one of R, G, and B pixels.
- the control method of the multi-view image display apparatus rendering a plurality of views having different viewpoints based on the depth of the input image, the pixel values constituting the plurality of views Generating a multiview image based on the multiview image; and displaying the generated multiview image, wherein generating the multiview image comprises: specifying a pixel value and a specific value of a specific view of the plurality of views;
- the multi-view image may be generated by mapping the mixed pixel value generated based on the pixel value of the adjacent view of the view to at least one target pixel area.
- the display device includes a display panel for displaying the multi-view image, and a viewing area separating unit disposed in front of the display panel to provide optical views of different viewpoints, and used to generate the multi-view image.
- the number of the plurality of views may be greater than the number of the optical views.
- the generating of the multi-view image may include selecting the specific viewpoint view to be mapped to the target pixel area according to a predetermined criterion, and selecting the target pixel in the selected specific viewpoint view and the adjacent viewpoint view of the specific viewpoint view.
- the mixed pixel value may be calculated by applying a predetermined weight to the set source pixel area.
- the generating of the multi-view image may include: a pixel area including a pixel area corresponding to the target pixel area and an adjacent pixel area of the pixel area in the selected specific view and the adjacent view; Can be set.
- the generating of the multi-view image may include: generating the multi-view image to each of the selected specific viewpoint view and the adjacent viewpoint view in the epipolar domain generated based on an epipolar image composed of the same pixel lines of each of the plurality of views.
- the 3D region including the corresponding source pixel region may be set, and the mixed pixel value may be calculated by applying a predetermined weight to the set 3D region.
- a mixed pixel value to which the predetermined weight is applied may be calculated by applying a predetermined filter to the 3D area.
- the predetermined filter may be a bilinear interpolation filter.
- the mixed pixel value may be calculated by applying a predetermined weight to the three-dimensional area set in each of a plurality of adjacent adjacent frames in time.
- the mixed pixel value may be calculated by applying a predetermined weight to the three-dimensional area set in each of a plurality of adjacent temporal frames.
- the adjacent viewpoint view of the particular viewpoint view used to calculate the mixed pixel value may include a previous viewpoint view and a subsequent viewpoint view of the specific viewpoint view.
- the mixed pixel value may be calculated in units of one of R, G, and B subpixels.
- FIG. 1 is a view for explaining the operation of the multi-view image display device for understanding of the present invention.
- FIGS. 2A to 2C are diagrams for describing a configuration of a multiview image display apparatus according to an exemplary embodiment.
- 3A and 3B are diagrams for describing a pixel mapping method, according to an exemplary embodiment.
- 4A and 4B are diagrams for describing a pixel mapping method according to various embodiments of the present disclosure.
- 5A to 5D are diagrams for describing a pixel mapping method using an epipolar domain according to an embodiment of the present invention.
- 6A and 6B are diagrams for describing an interpolation method according to an embodiment of the present invention.
- FIGS. 7A and 7B are diagrams for describing an interpolation type according to an embodiment of the present invention.
- FIG. 8 is a flowchart illustrating a control method of a multiview image display apparatus according to an exemplary embodiment.
- FIG. 1 is a view for explaining the operation of the multi-view image display device for understanding of the present invention.
- FIG. 1 is a view illustrating an operation of an apparatus for displaying a multiview image and providing a stereoscopic image in an autostereoscopic manner according to an embodiment of the present invention, wherein the multiview image is obtained by photographing the same object from different angles. It may be generated based on a plurality of images. That is, the plurality of images photographed at different viewpoints are refracted at different angles, and the focused image is provided at a position (eg, about 3 m) spaced apart by a predetermined distance called a viewing distance. The position at which such an image is formed is called a viewing area (or optical view). Accordingly, when one eye of the user is located in one first viewing area and the other eye is located in the second viewing area, the user may feel a 3D effect.
- FIG. 1 is a diagram illustrating a display operation of a multiview image of a total of seven viewpoints.
- the autostereoscopic 3D display apparatus may allow light corresponding to one view image of seven views to the left eye and light corresponding to the two view images to the right eye. Accordingly, the user can watch images of different viewpoints in the left eye and the right eye, so that the user can feel a three-dimensional effect.
- FIGS. 2A to 2D are diagrams for describing a configuration of a multi-view image display apparatus according to an exemplary embodiment.
- FIG. 2A is a block diagram illustrating a configuration of a multiview image display apparatus according to an exemplary embodiment.
- the multi-view image display apparatus 100 includes an image input unit 110, a renderer 120, a display 130, and a controller 140.
- the multi-view image display device 100 may be implemented as various types of display devices such as a TV, a monitor, a PC, a kiosk, a tablet PC, an electronic picture frame, a kiosk, a mobile phone, and the like.
- the image input unit 110 receives an image.
- the image input unit 110 may receive an image from various external devices such as an external storage medium, a broadcasting station, a web server, or the like.
- the input image is one of a single view image, a stereo image, and a multiview image.
- the single-view image is an image photographed by a general photographing apparatus
- a stereoscopic image is a 3D video image represented by only a left eye image and a right eye image, and is a stereoscopic image photographed by a stereo photographing apparatus.
- a stereo photographing apparatus is a photographing apparatus having two lenses and is used to photograph a stereoscopic image.
- a multiview image refers to a 3D video image that geometrically corrects images captured by one or more photographing apparatuses and provides a user with various viewpoints in various directions through spatial synthesis.
- the image input unit 110 may receive depth information of an image.
- the depth of an image is a depth value assigned to each pixel of the image.
- an 8-bit depth may have a grayscale value of 0 to 255.
- black (low value) may indicate far away from the viewer
- white (high value) may indicate near to the viewer.
- Depth information is information representing the depth of the 3D image, and is information corresponding to the degree of binocular disparity between the left eye image and the right eye image constituting the 3D image.
- the degree of three-dimensional feeling that a person feels varies. That is, when the depth is large, the left and right binocular parallax becomes large, so that the three-dimensional effect is relatively large, and when the depth is small, the left and right binocular parallax becomes small, and the three-dimensional feeling is relatively small.
- depth information may be obtained through a passive method of obtaining only two-dimensional characteristics of an image, such as stereo matching, and an active method using equipment such as a depth camera. Meanwhile, the depth information may be in the form of a depth map.
- the depth map refers to a table including depth information of each region of an image.
- the region may be divided in units of pixels or may be defined as a predetermined region larger than the units of pixels.
- the depth map may represent a value smaller than 127 or 128 as a negative value, with 127 or 128 as gray values of 0 to 255 as a reference value, that is, 0 (or focal plane). It can be in the form of a positive value.
- the reference value of the focal plane can be arbitrarily selected between 0 and 255.
- -value means sedimentation
- + value means protrusion.
- the renderer 120 may render a plurality of views of different views.
- the renderer 120 may render a plurality of views of different views based on the depth information extracted in the 2D / 3D transform in the case of the 2D image.
- the rendering unit 120 renders a multiview image based on at least one image and depth information among the N views and depth information input. Can be.
- the renderer 120 may extract the depth information from the N views, and then render a multiview image based on the extracted depth information.
- the renderer 120 may select one of the 3D image, that is, the left eye image and the right eye image, as a reference view (or a center view) to generate a leftmost view and a rightmost view that serve as the basis of a multiview image. .
- the renderer 120 may generate the leftmost view and the rightmost view based on the corrected depth information corresponding to one of the left eye image and the right eye image selected as the reference view.
- the renderer 120 When the leftmost view and the rightmost view are generated, the renderer 120 generates a plurality of interpolation views between the center view and the leftmost view, and generates a plurality of interpolation views between the center view and the rightmost view. Render the image.
- the present invention is not limited thereto, and an extrapolation view generated by the extrapolation technique may be generated.
- the multi-view image is rendered based on the 2D image and the depth information, it is a matter of course that the 2D image can be selected as the center view.
- the detailed operation of the rendering unit 120 described above is an example, and the rendering unit 120 may render a plurality of views by various methods in addition to the above-described operation.
- a depth adjustment unit may be further included to adjust the depth of the input image based on depth information according to various criteria.
- the rendering unit 120 may include a depth adjustment unit (not shown). ) Can render a plurality of views based on the image of which the depth is adjusted.
- the display unit 130 functions to provide a plurality of optical views (or viewing areas).
- the display 130 includes a display panel 131 and a viewing area separating unit 132 for providing a plurality of optical views.
- the display panel 131 includes a plurality of pixels composed of a plurality of sub pixels.
- the subpixel may be configured of R (Red), G (Green), and B (Blue). That is, the pixels including R, G, and B subpixels may be arranged in a plurality of rows and columns to form the display panel 131.
- the display panel 131 may include a liquid crystal display panel (LCD panel), a plasma display panel (PDP), an organic light emitting diode (OLED), and a vacuum fluorescent display (VFD). ), A field emission display (FED), an electroluminescence display (ELD), and the like, and various display units.
- LCD panel liquid crystal display panel
- PDP plasma display panel
- OLED organic light emitting diode
- VFD vacuum fluorescent display
- FED field emission display
- ELD electroluminescence display
- the display panel 131 displays an image frame.
- the display panel 131 may display a multiview image frame in which a plurality of views of different views are sequentially and repeatedly arranged.
- the display apparatus 100 forms a backlight unit (not shown) and an image frame for supplying a backlight to the display panel 131.
- a panel driver (not shown) for driving the pixels of the display panel 131 may be further provided according to the pixel value of each pixel.
- the viewing area separator 132 may be disposed in front of the display panel 131 to provide different views, that is, optical views, for each viewing area.
- the viewing region separating unit 132 may be implemented as a lenticular lens or a parallax barrier.
- the viewing region separator 132 may be implemented as a lenticular lens including a plurality of lens regions. Accordingly, the lenticular lens may refract the image displayed on the display panel 131 through the plurality of lens regions.
- Each lens area may be formed to have a size corresponding to at least one pixel, so that light passing through each pixel may be differently distributed for each viewing area.
- the viewing area separator 132 may be implemented as a parallax barrier.
- the parallax barrier is implemented with a transparent slit array comprising a plurality of barrier regions. Accordingly, light may be blocked through slits between barrier regions so that an image of a different viewpoint may be emitted for each viewing region.
- FIG. 2B illustrates an example in which the viewing area separating unit 132 is implemented as a lenticular lens array according to an exemplary embodiment.
- the display unit 130 includes a display panel 131, a lenticular lens array 132 ′, and a backlight unit 133.
- the display panel 131 includes a plurality of pixels divided into a plurality of columns. Images of different views are arranged for each column.
- a plurality of images 1, 2, 3, and 4 at different viewpoints are sequentially and repeatedly arranged. That is, each pixel column is arranged in groups numbered 1, 2, 3, 4.
- the graphic signal applied to the panel is arranged such that pixel column 1 displays the first image and pixel column 2 displays the second image.
- the backlight unit 133 provides light to the display panel 131.
- each of the images 1, 2, 3, and 4 formed on the display panel 131 is projected onto the lenticular lens array 132 ′, and the lenticular lens array 132 ′ is projected.
- the light of each image 1, 2, 3, 4 is distributed and transmitted to the viewer. That is, the lenticular lens array 132 ′ generates exit pupils at the viewer's location, that is, the viewing distance.
- the thickness and diameter of the lenticular lens when implemented with a lenticular lens array and the slit spacing when implemented with a parallax barrier may be designed to separate the exit pupil generated by each row into an average binocular center distance of less than 65 mm. Can be.
- the separated image lights each form a viewing area. That is, as shown in FIG. 2B, when the first to fourth views are formed and the left and right eyes of the user are positioned in the second and third views, the 3D image can be viewed.
- the viewing area separating unit 132 may operate by tilting at an angle to improve the image quality.
- the controller 140 may divide each of the plurality of views rendered by the renderer 120 based on an angle at which the viewing area separator 132 is inclined, and combine them to generate a multiview image frame for output. Accordingly, the user may not view an image displayed in the vertical direction or the horizontal direction on the subpixel of the display panel 131, but may view an area inclined in a specific direction. Thus, the viewer can watch a portion of each subpixel rather than one complete subpixel.
- the output image may be rendered such that at least some of the plurality of subpixels output pixel values corresponding to the plurality of views, respectively, as shown in FIG. 2D.
- the viewer's right eye views a one-view image and the left eye views a two-view image
- the viewer's right eye has an inclined region 10 corresponding to one view
- the left eye has an inclined region corresponding to two views.
- an example of the rendered image of FIG. 2D is illustrated, and the number of the plurality of views, the rendering pitch, and the like may be variously changed according to an implementation example.
- the controller 140 controls the overall operation of the display apparatus 100.
- the controller 140 generates a multiview image to be displayed on the display 130 based on the subpixel values constituting the plurality of views of different views rendered by the renderer 120.
- the controller 140 may include a mixed pixel value in which pixel values of a specific viewpoint view and pixel values of an adjacent viewpoint view of the specific viewpoint view are mixed among a plurality of views having different viewpoints rendered by the rendering unit 120.
- a multiview image may be generated by mapping to at least one target pixel area.
- the controller 140 may calculate a mixed pixel value in units of one of R, G, and B pixels, and generate a multiview image by mapping the calculated mixed pixel value to at least one target subpixel area. have.
- the controller 140 includes at least two sub-pixels corresponding to at least two view. By mixing values and mapping the values to specific sub-pixel areas, a multi-view image for output to the display 130 may be generated.
- control unit 140 calculates a mixed pixel value to be mapped to an R subpixel at a position (1, 1) of a multiview image to be displayed on the display unit 130
- the control unit 140 calculates (1) of the selected first viewpoint view. , 1) may be calculated by mixing the R subpixel value of the position and the R subpixel value of the (1, 1) position of the at least one adjacent viewpoint view.
- the controller 140 selects a specific viewpoint view to be mapped to the target pixel region according to a predetermined criterion, and sets a source pixel region corresponding to the target pixel region in the selected specific viewpoint view and the adjacent viewpoint view of the specific viewpoint view.
- the mixed pixel value may be calculated by applying a predetermined weight to the set source pixel region.
- the controller 140 when a second view is selected as a view to be mapped to a predetermined target subpixel area of a multiview image among a total of seven view views, the controller 140 is 1 which is an adjacent view of the selected 2 view and the 2 view.
- the mixed pixel value to be mapped to the target subpixel area may be calculated by applying a predetermined weight to the corresponding subpixel area of the viewpoint view and the three viewpoint views.
- the predetermined weight may be applied in the form of a Laplacian filter, a Gaussian filter, a smoothing filter, or the like.
- controller 140 may set a pixel area including the pixel area corresponding to the target pixel area and the adjacent pixel area of the pixel area as the source pixel area in the selected specific view and adjacent view.
- the control unit 140 calculates a mixed pixel value to be mapped to an R subpixel at a position (1, 1) of a multiview image to be displayed on the display unit 130
- the control unit 140 calculates (1) of the selected first viewpoint view.
- R subpixels corresponding to not only the R subpixel at position 1, but also a pixel region including the R subpixel at position (1, 2), an R subpixel at position (2, 1), and a plurality of adjacent viewpoint views, respectively.
- the mixed pixel value may be calculated by applying a predetermined weight to the region.
- the controller 140 sets a three-dimensional region in the epipolar domain generated based on the epipolar image composed of the same pixel lines of each of the plurality of rendered views, and sets a predetermined weight to the set three-dimensional region. Can be applied to yield a mixed pixel value. That is, based on the characteristics of the epipolar domain, if the 3D region is set based on a specific subpixel region of the specific viewpoint view selected in the epipolar domain, a source pixel region corresponding to each of the specific viewpoint view and the adjacent viewpoint view is selected. The area to be included can be set. Detailed description thereof will be described later with reference to the accompanying drawings.
- the controller 140 may calculate a mixed pixel value to which a predetermined weight is applied by applying a preset filter to a 3D region set in the epipolar domain.
- the preset filter may be in the form of Bilinear Interpolation, but is not limited thereto.
- the controller 140 may set a source pixel area in each of a plurality of adjacent temporal frames and generate a multiview image by mapping the source pixel area to at least one target pixel area.
- the controller 140 may calculate the mixed pixel value by applying a preset weight to the three-dimensional area set in the above-described manner in each of a plurality of adjacent adjacent frames in time. That is, the controller 140 may calculate the mixed pixel value by considering the pixel values of other adjacent frames such as the previous frame and the next frame, not merely based on the current frame, and the source pixel area may be set according to the above-described various methods. Can be.
- the number of frames on which the mixed pixel value is calculated may be variously considered.
- 3A and 3B are diagrams for describing a pixel mapping method, according to an exemplary embodiment.
- 3A is a diagram for describing a pixel mapping method according to an embodiment of the present invention.
- the number of the plurality of views and the pitch of the lenticular lens may be the reference.
- the view assigned to the pixel (i, j) position may be calculated based on the scheme disclosed in the references “Cees van Derkel,” Image Preparation for 3D-LCD ", Electronic Imaging '99'.
- 3B is a diagram for describing a subpixel value calculation method according to an exemplary embodiment.
- FIG. 3B for convenience of description, a case where there are seven views 311 to 317 at different views will be described.
- the sub-pixel values constituting the multi-view image 320 to be displayed may not be calculated based on one viewpoint image, but may be calculated based on a plurality of views having different viewpoints.
- the two viewpoint views and the seven viewpoint views that are adjacent viewpoint views as well as the pixel values of the one viewpoint view may be calculated based on the pixel value of.
- the mixed pixel value to be mapped to the first G subpixel 322 may be calculated based on the value.
- the pixels of the two viewpoints and the four viewpoints, which are adjacent viewpoints, as well as the pixel values of the three viewpoints may be calculated based on the value.
- pixel mapping may be performed on the remaining subpixel regions constituting the multiview image 320 in the same manner.
- 4A and 4B are diagrams for describing a pixel mapping method according to various embodiments of the present disclosure.
- the first R subpixel 441 which is a target pixel region of the multiview output image 440 according to a preset criterion (for example, the aforementioned reference). If it is determined that the pixel values of the first viewpoint view 410 are mapped to the pixel values of the first viewpoint view 410 as well as the pixel values of the two viewpoint views 420 and the seven viewpoint views 430 that are adjacent viewpoint views, The mixed pixel values may be mapped to the first R sub pixel 441 of the output image 440. That is, the first R subpixel 441 includes the first R subpixel value 411 of the first view 410, the first R subpixel value 421 of the second view 420, and the seventh view 430. The first R subpixel value 431 of the mixed pixel value is mapped according to a predetermined weight.
- one view of the first view of the first R subpixel 441 of the output image 440 according to a predetermined criterion (for example, Equation 1). If it is determined that the pixel value of 410 is mapped, then the adjacent viewpoint, based on the pixel region 410-1 including the subpixel and the adjacent subpixel as well as the particular subpixel value of the one viewpoint view 410.
- the mixed pixel values may be calculated based on the pixel regions 420-1 and 430-1 corresponding to the views of the two viewpoints 420 and the seven viewpoints 430.
- the first R subpixel 441 has a specific R sub pixel area 410-1 of the first view 410, a specific R sub pixel area 420-1 of the second view 420, and a seven view point of view. Pixel values mixed with the R pixel values of the specific R subpixel area 430-1 according to a predetermined weight are mapped.
- 5A to 5C are diagrams for describing a pixel mapping method using an epipolar domain according to an embodiment of the present invention.
- the epipolar domain 510 has a plurality of views having different rendered viewpoints, each of which is listed as a Y axis, and the width and height of each view are XZ axes.
- the same pixel line in each of the plurality of views may configure the Y axis, that is, the view axis.
- a first subpixel of a specific view is displayed in a target subpixel area of the multiview image 520 to be output, for example, the first subpixel 521.
- the multi-view point at which the mixed pixel values in which the pixel values of the corresponding subpixel 512 and the pixel values of the first subpixels 511 and 513 of the adjacent view are mixed according to a preset weight are output. It may be mapped to the first sub pixel 521 of the image 520.
- a two-dimensional region including corresponding subpixels 511, 512, and 513 may be set in the epipolar domain 510, and a mixed weight value may be calculated by applying a preset weight filter to the set two-dimensional region. .
- the corresponding subpixels 511, 512, and 513 in the epipolar domain 510 and adjacent pixels 514 to 519 in the horizontal direction of the corresponding R subpixels 511, 512, and 513 are included.
- the two-dimensional region may be set, and a predetermined weight filter may be applied to the set two-dimensional region to calculate a mixed pixel value.
- the subpixel value of may also be the basis for calculating the mixed pixel value.
- adjacent pixels 514 to 519 in the horizontal and vertical directions of the corresponding sub pixels 511, 512, 513 and corresponding R sub pixels 511, 512, 513 in the epipolar domain 510 are selected.
- the three-dimensional region including the image may be set, and the mixed pixel value may be calculated by applying a predetermined weight filter to the set three-dimensional region.
- not only the pixel value of the current frame but also the pixel value of another temporally adjacent frame may be the basis for calculating the mixed pixel value.
- the mixed pixel value may be calculated by applying a predetermined weight filter to the 3D area set in each frame.
- 6A and 6B are diagrams for describing an interpolation method according to an embodiment of the present invention.
- FIG. 6A illustrates a forward mapping (or source-to-target mapping) according to an embodiment.
- the new coordinates may be calculated for all pixels of the input image, and the pixel values may be copied to the new location.
- a corresponding target position may be calculated in the output image by applying a geometric transformation T to each pixel position in the input image.
- the target positions x ', y' are not separate raster points, and pixel values in the input image can be copied to one of the adjacent target pixels.
- FIG. 6B is a diagram for describing backward mapping (or target-to-source mapping) according to another embodiment.
- Inverse mapping function T ⁇ 1 corresponding to successive positions in an input image for each pixel position in an output image is illustrated. Can be calculated by application. The new pixel value may be calculated by interpolation at adjacent pixels of (x, y) in the input image.
- new pixel values can be calculated even when the resolution of the image and the resolution of the display are different.
- FIGS. 7A and 7B are diagrams for describing an interpolation type according to an embodiment of the present invention.
- bilinear interpolation may be applied to an area set for sub pixel mapping in the epipolar domain.
- a mixed pixel value may be calculated by performing bilinear interpolation using a function of the type shown in FIGS. 7A and 7B, but is not limited thereto.
- FIG. 8 is a flowchart illustrating a control method of a multiview image display apparatus according to an exemplary embodiment.
- a plurality of views having different viewpoints are rendered based on the depth of the input image (S810).
- a multi-view image is generated based on pixel values constituting the plurality of rendered views (S820).
- the mixed pixel value generated based on the pixel value of the specific viewpoint view and the pixel value of the adjacent viewpoint view of the specific viewpoint view among the plurality of rendered views may be mapped to at least one target pixel region.
- An image can be generated.
- the mixed pixel value may be calculated in units of one of R, G, and B pixels.
- the display apparatus includes a display panel for displaying a multi-view image and a viewing area separating unit disposed at the front of the display panel to provide optical views of different views in the viewing area of the user, and the multi-view image is displayed in step S820.
- the number of the plurality of views used to generate may be greater than the number of optical views provided in the viewing area of the user.
- a specific viewpoint view to be mapped to the target pixel region is selected according to a predetermined criterion, and a source corresponding to the target pixel region in the selected specific viewpoint view and the adjacent viewpoint view of the specific viewpoint view is selected.
- a mixed pixel value to be mapped to the target pixel area may be calculated by applying a predetermined weight to the set source pixel area.
- the adjacent view of the particular view used to calculate the mixed pixel value may include a previous view and a after view of the image specific view.
- a pixel area including a pixel area corresponding to the target pixel area and an adjacent pixel area of the pixel area may be set as the source pixel area in the selected specific view and adjacent view.
- a source corresponding to each of a specific viewpoint view and an adjacent viewpoint view selected from an epipolar domain generated based on an epipolar image composed of the same pixel lines of each of the plurality of views is generated.
- the 3D area including the pixel area may be set, and the mixed pixel value may be calculated by applying a predetermined weight to the set 3D area.
- a mixed pixel value to which a predetermined weight is applied may be calculated by applying a predetermined filter to a three-dimensional region set in the epipolar domain.
- the predetermined filter may be a bilinear interpolation filter.
- a mixed pixel value may be calculated by applying a predetermined weight to a three-dimensional region set in each of a plurality of adjacent temporal frames.
- a smooth view transition is generated by mapping a multi-view image generated based on a number of input view images larger than the number of optical views provided in a viewing area of a user to a display.
- Angular Aliasing due to Quantization Error can be eliminated. Accordingly, it is possible to service a clear 3D image to the user.
- the multi-view image display method according to the above-described various embodiments may be implemented as a program and provided to a display device.
- a non-transitory computer readable medium may be provided that stores a program that performs a configuration of mapping the generated mixed pixel value to at least one target pixel region to generate a multiview image.
- the non-transitory readable medium refers to a medium that stores data semi-permanently and is readable by a device, not a medium storing data for a short time such as a register, a cache, a memory, and the like.
- a non-transitory readable medium such as a CD, a DVD, a hard disk, a Blu-ray disk, a USB, a memory card, a ROM, or the like.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
다시점 영상 디스플레이 장치가 개시된다. 다시점 영상 디스플레이 장치는, 영상을 입력받는 영상 입력부, 상기 입력된 영상의 뎁스에 기초하여 서로 다른 시점을 갖는 복수의 뷰를 렌더링하는 렌더링부, 상기 복수의 뷰를 구성하는 픽셀 값에 기초하여 생성된 다시점 영상을 디스플레이하는 디스플레이부 및, 상기 복수의 뷰 중 특정 시점 뷰의 픽셀 값 및 상기 특정 시점 뷰의 인접 시점 뷰의 픽셀 값에 기초하여 생성된 혼합 픽셀 값을, 적어도 하나의 타겟 픽셀 영역에 매핑하여 상기 다시점 영상을 생성하는 제어부를 포함한다.
Description
본 발명은 다시점 영상 디스플레이 장치 및 제어 방법에 관한 것으로, 더욱 상세하게는 무안경식 다시점 영상 디스플레이 장치 및 그 제어 방법에 관한 것이다.
전자 기술의 발달에 힘입어 다양한 유형의 전자기기가 개발 및 보급되고 있다. 특히, 일반 가정에서 가장 많이 사용되고 있는 가전 제품 중 하나인 TV와 같은 디스플레이 장치는 최근 수년 간 급속도로 발전하고 있다.
디스플레이 장치의 성능이 고급화되면서, 디스플레이 장치에서 디스플레이하는 컨텐츠의 종류도 다양하게 증대되었다. 특히, 최근에는 3D 컨텐츠까지 시청할 수 있는 입체 디스플레이 시스템이 개발되어 보급되고 있다.
입체 디스플레이 장치는 일반 가정에서 사용되는 3D 텔레비젼 뿐만 아니라, 각종 모니터, 휴대폰, PDA, PC, 셋탑 PC, 태블릿 PC, 전자 액자, 키오스크 등과 같은 다양한 유형의 디스플레이 장치로 구현될 수 있다. 또한, 3D 디스플레이 기술은, 가정 내 사용 뿐만 아니라 과학, 의약, 디자인, 교육, 광고, 컴퓨터 게임 등과 같이 3D 이미징이 필요한 다양한 분야에 활용될 수 있다.
입체 디스플레이 시스템은 크게 안경 없이 시청 가능한 무안경식 시스템과, 안경을 착용하여 시청하여야 하는 안경식 시스템으로 분류할 수 있다.
안경식 시스템은 만족스러운 입체감을 제공할 수 있으나, 시청자가 반드시 안경을 사용하여야만 한다는 불편함이 있었다. 이에 비해, 무안경식 시스템은 안경 없이도 3D 이미지를 시청할 수 있다는 장점이 있어, 무안경식 시스템에 대한 개발 논의가 지속적으로 이루어지고 있다.
한편, 기존의 무안경식 시스템의 경우 사용자의 시청 영역에서 제공되는 광학 뷰와 다시점 영상 생성에 이용되는 입력 영상 뷰의 개수가 동일함으로 인해 불연속 view transition과 같은 선명한 3D 영상을 제공하는데 장애가 되는 요소가 존재한다는 문제점이 있었다.
본 발명은 상술한 필요성에 따라 안출된 것으로, 본 발명은 광학 뷰 수보다 많은 입력 영상 뷰를 이용하여 다시점 영상을 생성함으로써 선명한 3D 영상을 제공하는 다시점 영상 디스플레이 장치 및 그 제어 방법을 제공하는 것을 목적으로 한다.
본 발명의 상술한 목적을 달성하기 위한 일 실시 예에 따르면 다시점 영상 디스플레이 장치는, 영상을 입력받는 영상 입력부, 상기 입력된 영상의 뎁스에 기초하여 서로 다른 시점을 갖는 복수의 뷰를 렌더링하는 렌더링부, 상기 복수의 뷰를 구성하는 픽셀 값에 기초하여 생성된 다시점 영상을 디스플레이하는 디스플레이부 및, 상기 복수의 뷰 중 특정 시점 뷰의 픽셀 값 및 상기 특정 시점 뷰의 인접 시점 뷰의 픽셀 값에 기초하여 생성된 혼합 픽셀 값을, 적어도 하나의 타겟 픽셀 영역에 매핑하여 상기 다시점 영상을 생성하는 제어부를 포함한다.
이 경우, 상기 디스플레이부는, 상기 다시점 영상을 디스플레이하는 디스플레이 패널 및, 상기 디스플레이 패널의 전면에 배치되어 서로 다른 시점의 광학 뷰를 제공하는 시역 분리부를 포함하며, 상기 다시점 영상을 생성하기 위해 이용되는 상기 복수의 뷰의 개수는 상기 광학 뷰의 개수보다 많을 수 있다.
또한, 상기 제어부는, 기설정된 기준에 따라 상기 타겟 픽셀 영역에 매핑할 상기 특정 시점 뷰를 선택하고, 상기 선택된 특정 시점 뷰 및 상기 특정 시점 뷰의 인접 시점 뷰에서 상기 타겟 픽셀 영역에 대응되는 소스 픽셀 영역을 설정한 후 설정된 소스 픽셀 영역에 기설정된 가중치를 적용하여 상기 혼합 픽셀 값을 산출할 수 있다.
또한, 상기 제어부는, 상기 선택된 특정 시점 뷰 및 상기 인접 시점 뷰에서 상기 타겟 픽셀 영역에 대응되는 픽셀 영역 및 상기 픽셀 영역의 인접 픽셀 영역을 포함하는 픽셀 영역을 상기 소스 픽셀 영역으로 설정할 수 있다.
또한, 상기 제어부는, 상기 복수의 뷰 각각의 동일한 픽셀 라인으로 구성된 에피폴라(epipolar) 이미지에 기초하여 생성된 에피폴라 도메인에서 상기 선택된 특정 시점 뷰 및 상기 인접 시점 뷰 각각에 대응되는 상기 소스 픽셀 영역을 포함하는 3차원 영역을 설정하고, 설정된 3차원 영역에 기설정된 가중치를 적용하여 상기 혼합 픽셀 값을 산출할 수 있다.
또한, 상기 제어부는, 상기 3차원 영역에 기설정된 필터를 적용하여 상기 기설정된 가중치가 적용된 혼합 픽셀 값을 산출할 수 있다.
여기서, 상기 기설정된 필터는, Bilinear Interpolation filter가 될 수 있다.
또한, 상기 혼합 픽셀 값 산출에 이용되는 상기 특정 시점 뷰의 인접 시점 뷰는 상기 특정 시점 뷰의 이전 시점 뷰 및 이후 시점 뷰를 포함할 수 있다.
또한, 상기 제어부는, R, G, B 중 하나의 서브 픽셀 단위로 상기 혼합 픽셀 값을 산출할 수 있다.
한편, 본 발명의 일 실시 예에 따른 다시점 영상 디스플레이 장치의 제어 방법은, 입력된 영상의 뎁스에 기초하여 서로 다른 시점을 갖는 복수의 뷰를 렌더링하는 단계, 상기 복수의 뷰를 구성하는 픽셀 값에 기초하여 다시점 영상을 생성하는 단계 및, 상기 생성된 다시점 영상을 디스플레이하는 단계를 포함하며, 상기 다시점 영상을 생성하는 단계는, 상기 복수의 뷰 중 특정 시점 뷰의 픽셀 값 및 상기 특정 시점 뷰의 인접 시점 뷰의 픽셀 값에 기초하여 생성된 혼합 픽셀 값을, 적어도 하나의 타겟 픽셀 영역에 매핑하여 상기 다시점 영상을 생성할 수 있다.
여기서, 상기 디스플레이 장치는, 상기 다시점 영상을 디스플레이하는 디스플레이 패널 및, 상기 디스플레이 패널의 전면에 배치되어 서로 다른 시점의 광학 뷰를 제공하는 시역 분리부를 포함하며, 상기 다시점 영상을 생성하기 위해 이용되는 상기 복수의 뷰의 개수는 상기 광학 뷰의 개수보다 많을 수 있다.
또한, 상기 다시점 영상을 생성하는 단계는, 기설정된 기준에 따라 상기 타겟 픽셀 영역에 매핑할 상기 특정 시점 뷰를 선택하고, 상기 선택된 특정 시점 뷰 및 상기 특정 시점 뷰의 인접 시점 뷰에서 상기 타겟 픽셀 영역에 대응되는 소스 픽셀 영역을 설정한 후 설정된 소스 픽셀 영역에 기설정된 가중치를 적용하여 상기 혼합 픽셀 값을 산출할 수 있다.
또한, 상기 다시점 영상을 생성하는 단계는, 상기 선택된 특정 시점 뷰 및 상기 인접 시점 뷰에서 상기 타겟 픽셀 영역에 대응되는 픽셀 영역 및 상기 픽셀 영역의 인접 픽셀 영역을 포함하는 픽셀 영역을 상기 소스 픽셀 영역으로 설정할 수 있다.
또한, 상기 다시점 영상을 생성하는 단계는, 상기 복수의 뷰 각각의 동일한 픽셀 라인으로 구성된 에피폴라(epipolar) 이미지에 기초하여 생성된 에피폴라 도메인에서 상기 선택된 특정 시점 뷰 및 상기 인접 시점 뷰 각각에 대응되는 상기 소스 픽셀 영역을 포함하는 3차원 영역을 설정하고, 설정된 3차원 영역에 기설정된 가중치를 적용하여 상기 혼합 픽셀 값을 산출할 수 있다.
또한, 상기 다시점 영상을 생성하는 단계는, 상기 3차원 영역에 기설정된 필터를 적용하여 상기 기설정된 가중치가 적용된 혼합 픽셀 값을 산출할 수 있다.
여기서, 상기 기설정된 필터는, Bilinear Interpolation filter가 될 수 있다.
또한, 상기 다시점 영상을 생성하는 단계는, 시간적으로 인접한 복수 개의 인접 프레임 각각에서 설정된 상기 3차원 영역에 기설정된 가중치를 적용하여 상기 혼합 픽셀 값을 산출할 수 있다.
상기 다시점 영상을 생성하는 단계는, 시간적으로 인접한 복수 개의 인접 프레임 각각에서 설정된 상기 3차원 영역에 기설정된 가중치를 적용하여 상기 혼합 픽셀 값을 산출할 수 있다.
또한, 상기 혼합 픽셀 값 산출에 이용되는 상기 특정 시점 뷰의 인접 시점 뷰는 상기 특정 시점 뷰의 이전 시점 뷰 및 이후 시점 뷰를 포함할 수 있다.
또한, 상기 다시점 영상을 생성하는 단계는, R, G, B 중 하나의 서브 픽셀 단위로 상기 혼합 픽셀 값을 산출할 수 있다.
이상과 같이 본 발명의 다양한 실시 예에 따르면, 무안경식 디스플레이 시스템에서 제공되는 3D 영상의 화질을 개선시킬 수 있게 된다.
도 1은 본 발명의 이해를 돕기 위한 다시점 영상 디스플레이 장치의 동작을 설명하기 위한 도면이다.
도 2a 내지 도 2c는 본 발명의 일 실시 예에 따른 다시점 영상 디스플레이 장치의 구성을 설명하기 위한 도면들이다.
도 3a 및 도 3b는 본 발명의 일 실시 예에 따른 픽셀 맵핑 방법을 설명하기 위한 도면들이다.
도 4a 및 도 4b는 본 발명의 다양한 실시 예에 따른 픽셀 맵핑 방법을 상세히 설명하기 위한 도면들이다.
도 5a 내지 도 5d는 본 발명의 일 실시 예에 따른 에피폴라 도메인을 이용한 픽셀 맵핑 방법을 설명하기 위한 도면들이다.
도 6a 및 도 6b는 본 발명의 일 실시 예에 따른 Interpolation 방법을 설명하기 위한 도면들이다.
도 7a 및 도 7b는 본 발명의 일 실시 예에 따른 Interpolation 타입을 설명하기 위한 도면들이다.
도 8은 본 발명의 일 실시 예에 따른 다시점 영상 디스플레이 장치의 제어 방법을 설명하기 위한 흐름도이다.
-
이하 본 발명의 다양한 실시 예를 첨부된 도면을 참조하여 상세히 설명한다.
도 1은 본 발명의 이해를 돕기 위한 다시점 영상 디스플레이 장치의 동작을 설명하기 위한 도면이다.
도 1은 본 발명의 일 실시 예에 따라 다시점 영상을 디스플레이하여 무안경 방식으로 입체 영상을 제공하는 장치의 동작 방식을 나타내는 것으로, 여기에서, 다시점 영상은 동일한 오브젝트를 서로 다른 각도에서 촬영한 복수의 영상에 기초하여 생성될 수 있다. 즉, 서로 다른 시점에서 촬영한 복수의 영상을 서로 다른 각도로 굴절시키고, 소위 시청 거리라 하는 일정한 거리만큼 떨어진 위치(가령, 약 3m)에 포커스된 영상을 제공한다. 이러한 영상이 형성되는 위치를 시청 영역(또는 광학 뷰)이라 한다. 이에 따라, 사용자의 한 쪽 눈이 하나의 제1 시청 영역에 위치하고, 다른 쪽 눈이 제2 시청 영역에 위치하면 입체감을 느낄 수 있게 된다.
일 예로, 도 1은 총 7 시점의 다시점 영상의 디스플레이 동작을 설명하는 도면이다. 도 1에 따르면, 무안경 3D 디스플레이 장치는 좌안에는 7 시점 중 1 시점 영상에 해당하는 광이, 우안에는 2 시점 영상에 해당하는 광이 투사되도록 할 수 있다. 이에 따라, 사용자는 좌안 및 우안에서 서로 다른 시점의 영상을 시청하게 되어 입체감을 느낄 수 있게 된다.
도 2a 내지 도 2d는 본 발명의 일 실시 예에 따른 다시점 영상 디스플레이 장치의 구성을 설명하기 위한 도면들이다.
도 2a는 본 발명의 일 실시 예에 따른 다시점 영상 디스플레이 장치의 구성을 나타내는 블럭도이다.
도 2a에 따르면, 다시점 영상 디스플레이 장치(100)는 영상 입력부(110), 렌더링부(120), 디스플레이부(130) 및 제어부(140)를 포함한다.
다시점 영상 디스플레이 장치(100)는 TV, 모니터, PC, 키오스크, 태블릿 PC, 전자 액자, 키오스크, 휴대폰 등과 같은 다양한 유형의 디스플레이 장치로 구현될 수 있다.
영상 입력부(110)는 영상을 입력받는다. 구체적으로, 영상 입력부(110)는 외부의 저장 매체, 방송국, 웹 서버 등과 같은 각종 외부 장치로부터 영상을 입력받을 수 있다. 여기서, 입력되는 영상은 단일 시점 영상, 스테레오(Stero) 영상, 다시점 영상 중 어느 하나의 영상이다. 단일 시점 영상은 일반적인 촬영 장치에 의해 촬영된 영상이며, 스테레오 영상(Stereoscopic image)은 좌안 영상과 우안 영상만으로 표현된 3차원 비디오 영상으로, 스테레오 촬영 장치에 의해 촬영된 입체 영상이다. 일반적으로 스테레오 촬영 장치는 2개의 렌즈를 구비한 촬영 장치로 입체 영상을 촬영하는데 사용된다. 그리고, 다시점 영상(Multiview image)은 한대 이상의 촬영 장치를 통해 촬영된 영상들을 기하학적으로 교정하고 공간적인 합성 등을 통하여 여러 방향의 다양한 시점을 사용자에게 제공하는 3차원 비디오 영상을 의미한다.
또한, 영상 입력부(110)는 영상의 뎁스 정보를 수신할 수 있다. 일반적으로 영상의 뎁스(Depth)는 영상의 각각 픽셀별로 부여된 깊이 값으로, 일 예로, 8bit의 뎁스는 0~255까지의 그레이 스케일(grayscale) 값을 가질 수 있다. 예를 들어, 흑/백을 기준으로 나타낼 때, 검은색(낮은 값)이 시청자로부터 먼 곳을 나타내며, 흰색(높은 값)이 시청자로부터 가까운 곳을 나타낼 수 있다.
뎁스(depth) 정보란 3D 영상의 뎁스를 나타내는 정보로, 3D 영상을 구성하는 좌안 영상과 우안 영상 사이의 양안 시차 정도에 대응되는 정보이다. 뎁스 정보에 따라 사람이 느끼는 입체감의 정도가 달라진다. 즉, 뎁스가 큰 경우 좌우 양안 시차가 크게 되므로 입체감이 상대적으로 크게 느껴지고, 뎁스가 작은 경우 좌우 양안 시차가 작게 되므로 입체감이 상대적으로 작게 느껴지게 된다. 뎁스 정보는 일반적으로, 스테레오 정합(Stereo matching) 등과 같이 영상의 2차원적 특성만을 가지고 얻는 수동적인 방법과 깊이 카메라(Depth camera)와 같은 장비를 이용하는 능동적 방법을 통하여 획득될 수 있다. 한편, 뎁스 정보는 뎁스 맵 형태가 될 수 있다. 뎁스 맵(Depth map)이란 영상의 각 영역 별 뎁스 정보를 포함하고 있는 테이블을 의미한다. 영역은 픽셀 단위로 구분될 수도 있고, 픽셀 단위보다 큰 기설정된 영역으로 정의될 수도 있다. 일 예에 따라 뎁스 맵은 0~255까지의 그레이 스케일(grayscale) 값 중 127 또는 128을 기준 값 즉, 0(또는 포컬 플레인)으로 하여 127 또는 128 보다 작은 값을 - 값으로 나타내고, 큰 값을 + 값으로 나타내는 형태가 될 수 있다. 포컬 플레인의 기준값은 0~255 사이에서 임의로 선택할 수 있다. 여기서, - 값은 침강을 의미하며, + 값은 돌출을 의미한다.
렌더링부(120)는 서로 다른 시점의 복수의 뷰를 렌더링할 수 있다.
구체적으로, 렌더링부(120)는 2D 영상의 경우, 2D/3D 변환에 추출된 뎁스 정보를 기초로 서로 다른 시점의 복수의 뷰를 렌더링할 수 있다. 또는 렌더링부(120)는 서로 다른 시점의 N 개의 뷰 및 대응되는 N 개의 뎁스 정보가 입력되는 경우 입력된 N 개의 뷰 및 뎁스 정보 중 적어도 하나의 영상 및 뎁스 정보에 기초하여 다시점 영상을 렌더링할 수 있다. 또는 렌더링부(120)는 서로 다른 시점의 N 개의 뷰 만 입력되는 경우, N 개의 뷰로부터 뎁스 정보 추출 후, 추출된 뎁스 정보에 기초하여 다시점 영상을 렌더링할 수 있다.
일 예로, 렌더링부(120)는 3D 영상, 즉 좌안 영상 및 우안 영상 중 하나를 기준 뷰(또는 센터 뷰)로 선택하여 다시점 영상의 기초가 되는 최좌측 뷰 및 최우측 뷰를 생성할 수 있다. 이 경우, 렌더링부(120)는 기준 뷰로 선택된 좌안 영상 및 우안 영상 중 하나에 대응되는 보정된 뎁스 정보를 기초로 최좌측 뷰 및 최우측 뷰를 생성할 수 있다. 렌더링부(120)는 최좌측 뷰 및 최우측 뷰가 생성되면, 센터 뷰와 최좌측 뷰 사이에서 복수 개의 보간 뷰를 생성하고, 센터 뷰와 최우측 뷰 사이에서 복수 개의 보간 뷰를 생성함으로써 다시점 영상을 렌더링할 수 있다. 다만, 이에 한정되는 것은 아니며, 보외 기법에 의해 생성되는 보외 뷰(Extrapolation View)를 생성하는 것도 가능하다. 한편, 2D 영상 및 뎁스 정보를 기초로 다시점 영상을 렌더링하는 경우 2D 영상을 센터 뷰로 선택할 수 있음을 물론이다.
다만, 상술한 렌더링부(120)의 상세 동작은 일 예를 든 것이며, 렌더링부(120)는 상술한 동작 외에 다양한 방법에 의해 복수의 뷰를 렌더링할 수 있음은 물론이다.
한편, 도면에는 도시되지 않았지만, 뎁스 정보에 기초하여 입력된 영상의 뎁스를 다양한 기준에 따라 조정하는 뎁스 조정부(미도시)가 더 포함될 수 있으며, 이 경우 렌더링부(120)는 뎁스 조정부(미도시)에서 뎁스가 조정된 영상에 기초하여 복수의 뷰를 렌더링할 수 있다.
디스플레이부(130)는, 복수의 광학 뷰(또는 시청 영역)를 제공하는 기능을 한다. 이를 위해, 디스플레이부(130)는 복수의 광학 뷰 제공을 위한 디스플레이 패널(131) 및 시역 분리부(132)를 포함한다.
디스플레이 패널(131)은 복수의 서브 픽셀로 구성된 복수의 픽셀을 포함한다. 여기에서, 서브 픽셀은 R(Red), G(Green), B(Blue)로 구성될 수 있다. 즉, R, G, B의 서브 픽셀로 구성된 픽셀이 복수의 행 및 열 방향으로 배열되어 디스플레이 패널(131)을 구성할 수 있다. 이 경우, 디스플레이 패널(131)는 액정 디스플레이 패널(Liquid Crystal Display Panel: LCD Panel), 플라즈마 디스플레이 패널(Plasma Display Panel: PDP), 유기발광 소자(Organic Light Emitting Diode, OLED), VFD(Vacuum Fluorescent Display), FED(Field Emission Display), ELD(Electro Luminescence Display) 등과 같은 다양한 디스플레이 유닛으로 구현될 수 있다.
디스플레이 패널(131)은 영상 프레임을 디스플레이한다. 구체적으로, 디스플레이 패널(131)은 서로 다른 시점의 복수의 뷰가 순차적으로 반복 배치된 다시점 영상 프레임을 디스플레이할 수 있다.
한편, 도 2a에 도시하지 않았지만, 디스플레이 패널(131)이 LCD 패널로 구현되는 경우, 디스플레이 장치(100)는 디스플레이 패널(131)에 백라이트를 공급하는 백라이트부(미도시) 및 영상 프레임을 구성하는 각 픽셀들의 픽셀 값에 따라 디스플레이 패널(131)의 픽셀들을 구동하는 패널 구동부(미도시)를 더 구비할 수 있다.
시역 분리부(132)는 디스플레이 패널(131)의 전면에 배치되어 시청 영역 별로 상이한 시점 즉, 광학 뷰를 제공할 수 있다. 이 경우, 시역 분리부(132)는 렌티큘러 렌즈(Lenticular lens) 또는, 패러랙스 배리어(Parallax Barrier)로 구현될 수 있다.
예를 들어, 시역 분리부(132)는 복수의 렌즈 영역을 포함하는 렌티큘러 렌즈로 구현될 수 있다. 이에 따라, 렌티큘러 렌즈는 복수의 렌즈 영역을 통해 디스플레이 패널(131)에서 디스플레이되는 영상을 굴절시킬 수 있다. 각 렌즈 영역은 적어도 하나의 픽셀에 대응되는 크기로 형성되어, 각 픽셀을 투과하는 광을 시청 영역별로 상이하게 분산시킬 수 있다.
다른 예로, 시역 분리부(132)는 패러랙스 배리어로 구현될 수 있다. 패러랙스 배리어는 복수의 배리어 영역을 포함하는 투명 슬릿 어레이로 구현된다. 이에 따라, 배리어 영역 간의 슬릿(slit)을 통해 광을 차단하여 시청 영역 별로 상이한 시점의 영상이 출사되도록 할 수 있다.
도 2b는 본 발명의 일 실시 예에 따라 시역 분리부(132)가 렌티큘러 렌즈 어레이로 구현된 경우를 예를 들어 설명하도록 한다.
도 2b에 따르면, 디스플레이부(130)는 디스플레이 패널(131), 렌티큘러 렌즈 어레이(132') 및 백라이트 유닛(133)을 포함한다.
도 2b에 따르면, 디스플레이 패널(131)은 복수의 열(column)로 구분되는 복수의 픽셀을 포함한다. 각 열 별로 상이한 시점의 이미지가 배치된다. 도 2c에 따르면, 서로 다른 시점의 복수의 이미지 1, 2, 3, 4가 순차적으로 반복 배치되는 형태를 나타낸다. 즉, 각 픽셀 열은 1, 2, 3, 4로 넘버링된 그룹으로 배열된다. 패널로 인가되는 그래픽 신호는 픽셀열 1이 첫 번째 이미지를 디스플레이하고, 픽셀열 2가 두 번째 이미지를 디스플레이하도록 배열된다.
백라이트 유닛(133)은 디스플레이 패널(131)로 광을 제공한다. 백라이트 유닛(133)으로부터 제공되는 광에 의해, 디스플레이 패널(131)에 형성되는 각 이미지 1, 2, 3, 4는 렌티큘러 렌즈 어레이(132')로 투사되고, 렌티큘러 렌즈 어레이(132')는 투사되는 각 이미지 1, 2, 3, 4의 광을 분산시켜 시청자 방향으로 전달한다. 즉, 렌티큘러 렌즈 어레이(132')는 시청자의 위치, 즉, 시청 거리에 출구동공(exit pupils)을 생성한다. 도시된 바와 같이 렌티큘러 렌즈 어레이로 구현되었을 경우 렌티큘러 렌즈의 두께 및 직경, 패러랙스 배리어로 구현되었을 경우 슬릿의 간격 등은 각 열에 의해 생성되는 출구 동공이 65mm 미만의 평균 양안 중심 거리로 분리되도록 설계될 수 있다. 분리된 이미지 광들은 각각 시청 영역을 형성한다. 즉, 도 2b에 도시된 바와 같이 제1 내지 제4 뷰가 형성되고 사용자의 좌안 및 우안이 각각 제2 뷰 및 제3 뷰에 위치하게 되는 경우, 3D 영상을 시청할 수 있게 된다.
한편, 시역 분리부(132)는 화질 개선을 위하여 일정한 각도로 기울어져서 동작할 수 있다. 제어부(140)는 렌더링부(120)에서 렌더링된 복수의 뷰 각각을 시역 분리부(132)가 기울어진 각도에 기초하여 분할하고, 이들을 조합하여 출력을 위한 다시점 영상 프레임을 생성할 수 있다. 이에 따라, 사용자는 디스플레이 패널(131)의 서브 픽셀에 수직 방향 또는 수평 방향으로 디스플레이된 영상을 시청하는 것이 아니라, 특정 방향으로 기울어진 영역을 시청할 수 있다. 이에 따라, 시청자는 하나의 완전한 서브 픽셀이 아닌 각 서브 픽셀의 일부를 시청할 수 있다. 예를 들어, 총 7 개의 시점을 제공한다고 가정할 때, 출력 영상은 도 2d에 도시된 바와 같이 복수의 서브 픽셀 중 적어도 일부가 각각 복수의 뷰에 대응되는 픽셀값을 출력하도록 렌더링될 수 있다. 이 경우, 시청자의 우안이 1 시점 영상을 시청하고 좌안이 2 시점 영상을 시청하는 경우, 시청자의 우안은 1 시점에 대응하는 기울어진 영역(10)을, 좌안은 2 시점에 대응하는 기울어진 영역(20)을 시청할 수 있다. 다만 도 2d의 렌더링 영상을 일 예를 도시한 것이며, 복수의 뷰의 개수 및 렌더링 피치 등은 구현 예에 따라 다양하게 변경될 수 있다.
제어부(140)는 디스플레이 장치(100)의 전반적인 동작을 제어한다.
특히, 제어부(140)는 렌더링부(120)에서 렌더링된 서로 다른 시점의 복수의 뷰를 구성하는 서브 픽셀 값에 기초하여 디스플레이부(130)에 디스플레이할 다시점 영상을 생성한다.
구체적으로, 제어부(140)는 렌더링부(120)에서 렌더링된 서로 다른 시점을 갖는 복수의 뷰 중 특정 시점 뷰의 픽셀 값 및 해당 특정 시점 뷰의 인접 시점 뷰의 픽셀 값이 혼합된 혼합 픽셀 값을 적어도 하나의 타겟 픽셀 영역에 매핑하여 다시점 영상을 생성할 수 있다. 이 경우, 제어부(140)는 R, G, B 중 하나의 서브 픽셀 단위로 혼합 픽셀 값을 산출하고, 산출된 혼합 픽셀 값을 적어도 하나의 타겟 서브 픽셀 영역에 매핑하여 다시점 영상을 생성할 수 있다.
즉, 제어부(140)는 하나의 시점 뷰의 서브 픽셀 값을 특정 서브 픽셀 영역에 매핑하여 출력을 위한 다시점 영상을 생성하는 기존의 방식과 달리 적어도 두 개의 시점 뷰에 대응되는 적어도 두 개의 서브 픽셀 값을 혼합하여 특정 서브 픽셀 영역에 매핑함으로써 디스플레이부(130)에 출력하기 위한 다시점 영상을 생성할 수 있다.
예를 들어, 제어부(140)는 디스플레이부(130)에 디스플레이할 다시점 영상의 (1, 1) 위치의 R 서브 픽셀에 매핑할 혼합 픽셀 값을 산출하는 경우, 선택된 제1 시점 뷰의 (1, 1) 위치의 R 서브 픽셀 값 및 적어도 하나의 인접 시점 뷰의 (1, 1) 위치의 R 서브 픽셀 값을 혼합하여 산출할 수 있다.
이 경우, 제어부(140)는 기설정된 기준에 따라 타겟 픽셀 영역에 매핑할 특정 시점 뷰를 선택하고, 선택된 특정 시점 뷰 및 특정 시점 뷰의 인접 시점 뷰에서 타겟 픽셀 영역에 대응되는 소스 픽셀 영역을 설정한 후 설정된 소스 픽셀 영역에 기설정된 가중치를 적용하여 혼합 픽셀 값을 산출할 수 있다. 여기서, 혼합 픽셀 값 산출에 관여되는 특정 시점 뷰의 인접 시점 뷰는 복수 개가 될 수 있다.
예를 들어, 제어부(140)는 총 7개의 시점 뷰 중 다시점 영상의 기설정된 타겟 서브 픽셀 영역에 매핑할 뷰로 2 시점 뷰가 선택되는 경우, 선택된 2 시점 뷰 및 2 시점 뷰의 인접 시점 뷰인 1 시점 뷰 및 3 시점 뷰의 대응되는 서브 픽셀 영역에 기설정된 가중치를 적용하여 타겟 서브 픽셀 영역에 매핑할 혼합 픽셀 값을 산출할 수 있다. 여기서, 기설정된 가중치는 라플라시안(Laplacian) 필터, 가우시안(Gaussian) 필터, 스무싱(Smoothing) 필터 등의 형태로 적용될 수 있다.
또한, 제어부(140)는 선택된 특정 시점 뷰 및 인접 시점 뷰에서 타겟 픽셀 영역에 대응되는 픽셀 영역 및 해당 픽셀 영역의 인접 픽셀 영역을 포함하는 픽셀 영역을 소스 픽셀 영역으로 설정할 수 있다.
예를 들어, 제어부(140)는 디스플레이부(130)에 디스플레이할 다시점 영상의 (1, 1) 위치의 R 서브 픽셀에 매핑할 혼합 픽셀 값을 산출하는 경우, 선택된 제1 시점 뷰의 (1, 1) 위치의 R 서브 픽셀 뿐 아니라, (1, 2) 위치의 R 서브 픽셀, (2, 1) 위치의 R 서브 픽셀을 포함하는 픽셀 영역 및 복수의 인접 시점 뷰 각각에서도 대응되는 R 서브 픽셀 영역에 대해 기설정된 가중치를 적용하여 혼합 픽셀 값을 산출할 수 있다.
이 경우, 제어부(140)는 렌더링된 복수의 뷰 각각의 동일한 픽셀 라인으로 구성된 에피폴라(epipolar) 이미지에 기초하여 생성된 에피폴라 도메인에서 3차원 영역을 설정하고 설정된 3차원 영역에 기설정된 가중치를 적용하여 혼합 픽셀 값을 산출할 수 있다. 즉, 에피폴라 도메인의 특성에 기초할 때, 에피폴라 도메인에서 선택된 특정 시점 뷰의 특정 서브 픽셀 영역을 기준으로 3차원 영역을 설정하게 되면 특정 시점 뷰 및 인접 시점 뷰 각각에 대응되는 소스 픽셀 영역을 포함하는 영역을 설정할 수 있게 된다. 이에 대한 자세한 설명은 도면을 참조하여 후술하도록 한다.
제어부(140)는 에피폴라 도메인에서 설정된 3차원 영역에 기설정된 필터를 적용하여 기설정된 가중치가 적용된 혼합 픽셀 값을 산출할 수 있다. 여기서, 기설정된 필터는 Bilinear Interpolation 형태가 될 수 있으나, 이에 한정되는 것은 아니다.
또한, 제어부(140)는 시간적으로 인접한 복수 개의 인접 프레임 각각에서 소스 픽셀 영역을 설정하고, 이를 적어도 하나의 타겟 픽셀 영역에 매핑하여 다시점 영상을 생성할 수 있다. 예를 들어, 제어부(140)는 시간적으로 인접한 복수 개의 인접 프레임 각각에서 상술한 방식으로 설정된 3차원 영역에 기설정된 가중치를 적용하여 상기 혼합 픽셀 값을 산출할 수 있다. 즉 제어부(140)는 단순히 현재 프레임에 기초하는 것이 아니라, 이전 프레임, 다음 프레임 등 인접한 다른 프레임의 픽셀 값을 고려하여 혼합 픽셀 값을 산출할 수 있으며, 소스 픽셀 영역은 상술한 다양한 방식에 따라 설정될 수 있다. 또한, 혼합 픽셀 값 산출에 기초가 되는 프레임 개수는 다양하게 고려될 수 있다.
도 3a 및 도 3b는 본 발명의 일 실시 예에 따른 픽셀 맵핑 방법을 설명하기 위한 도면들이다.
도 3a는 본 발명의 일 실시 예에 따른 픽셀 맵핑 방식을 설명하기 위한 도면이다.
본 발명의 일 실시 예에 따르면, 렌더링된 서로 다른 시점을 갖는 복수의 뷰로부터 디스플레이를 위한 다시점 영상을 생성하기 위하여 복수의 뷰의 개수 및 렌티큘러 렌즈의 피치(pitch)가 기준이 될 수 있다.
도 3a에서는 설명의 편의를 위하여 서로 다른 시점을 갖는 복수의 뷰(311, 312...)가 M 개이고, 렌티큘러 렌즈의 피치가 4.6 개의 서브 픽셀을 덮는 경우를 가정하도록 한다. 이 경우, 픽셀 (i, j) 위치에 할당되는 뷰는 참고문헌 “Cees van Derkel, “Image Preparation for 3D-LCD”, Electronic Imaging ‘99”에 개시된 방식에 기반하여 산출될 수 있다.
도 3b는 본 발명의 일 실시 예에 따른 서브 픽셀 값 산출 방법을 설명하기 위한 도면이다.
도 3b에서는 설명의 편의를 위하여 서로 다른 시점의 복수의 뷰가 7개(311 내지 317)인 경우를 상정하여 설명하도록 한다.
도 3b에 도시된 바와 같이 디스플레이되는 다시점 영상(320)을 구성하는 서브 픽셀 값은 하나의 시점 영상에 기초하여 산출되는 것이 아니라, 서로 다른 시점을 갖는 복수의 뷰에 기초하여 산출될 수 있다.
예를 들어, 첫번째 타겟 픽셀 영역인 제1 R 서브 픽셀(321)에 1 시점 뷰의 픽셀 값이 맵핑되는 것으로 결정된 경우, 단지 1 시점 뷰의 픽셀 값 뿐 아니라 인접 시점 뷰인 2 시점 뷰 및 7 시점 뷰의 픽셀 값에 기초하여 제1 R 서브 픽셀(321)에 맵핑될 혼합 픽셀 값이 산출될 수 있다.
또한, 두번째 타겟 픽셀 영역인 제1 G 서브 픽셀(322)에 2 시점 뷰의 픽셀 값이 맵핑되는 것으로 결정된 경우, 단지 2 시점 뷰의 픽셀 값 뿐 아니라 인접 시점 뷰인 1 시점 뷰 및 3 시점 뷰의 픽셀 값에 기초하여 제1 G 서브 픽셀(322)에 맵핑될 혼합 픽셀 값이 산출될 수 있다.
또한, 세번째 타겟 픽셀 영역인 제1 B 서브 픽셀(323)에 3 시점 뷰의 픽셀 값이 맵핑되는 것으로 결정된 경우, 단지 3 시점 뷰의 픽셀 값 뿐 아니라 인접 시점 뷰인 2 시점 뷰 및 4 시점 뷰의 픽셀값에 기초하여 제1 B 서브 픽셀(323)에 맵핑될 혼합 픽셀 값이 산출될 수 있다.
또한, 다시점 영상(320)을 구성하는 나머지 서브 픽셀 영역에 대해서는 동일한 방식으로 픽셀 맵핑이 이루어질 수 있다.
이하에서, 도면을 참조하여 다시점 출력 영상에 픽셀 값을 맵핑하는 방법에 대해 자세히 설명하도록 한다.
도 4a 및 도 4b는 본 발명의 다양한 실시 예에 따른 픽셀 맵핑 방법을 상세히 설명하기 위한 도면들이다.
본 발명의 일 실시 예에 따르면, 도 4a에 도시된 바와 같이 기설정된 기준(예를 들어, 상술한 참고 문헌)에 따라 다시점 출력 영상(440)의 타겟 픽셀 영역인 제1 R 서브 픽셀(441)에 1 시점 뷰(410)의 픽셀 값이 맵핑되는 것으로 결정된 경우, 단지 1 시점 뷰(410)의 픽셀 값 뿐 아니라 인접 시점 뷰인 2 시점 뷰(420) 및 7 시점 뷰(430)의 픽셀 값이 혼합된 픽셀값이 출력 영상(440)의 제1 R 서브 픽셀(441)에 맵핑될 수 있다. 즉, 제1 R 서브 픽셀(441)에는 1 시점 뷰(410)의 첫번째 R 서브 픽셀 값(411), 2 시점 뷰(420)의 제1 R 서브 픽셀 값(421) 및 7 시점 뷰(430)의 제1 R 서브 픽셀 값(431)이 기설정된 가중치에 따라 혼합된 픽셀 값이 맵핑되게 된다.
또한, 본 발명의 다른 실시 예에 따르면, 도 4b에 도시된 바와 같이 기설정된 기준(예를 들어, 수학식 1)에 따라 출력 영상(440)의 제1 R 서브 픽셀(441)에 1 시점 뷰(410)의 픽셀 값이 맵핑되는 것으로 결정된 경우, 단지 1 시점 뷰(410)의 특정 서브 픽셀 값 뿐 아니라 해당 서브 픽셀 및 인접 서브 픽셀을 포함하는 픽셀 영역(410-1)을 기준으로, 인접 시점 뷰인 2 시점 뷰(420) 및 7 시점 뷰(430)에 대응서도 대응되는 픽셀 영역(420-1, 430-1)을 기준으로 혼합 픽셀 값을 산출할 수 있다. 즉, 제1 R 서브 픽셀(441)에는 1 시점 뷰(410)의 특정 R 서브 픽셀 영역(410-1), 2 시점 뷰(420)의 특정 R 서브 픽셀 영역(420-1) 및 7 시점 뷰(430)의 특정 R 서브 픽셀 영역(430-1)의 R 픽셀 값이 기설정된 가중치에 따라 혼합된 픽셀 값이 맵핑되게 된다.
도 5a 내지 도 5c는 본 발명의 일 실시 예에 따른 에피폴라 도메인을 이용한 픽셀 맵핑 방법을 설명하기 위한 도면들이다.
도 5a에 도시된 바에 따르면 에피폴라 도메인(510)은 렌더링된 서로 다른 시점을 갖는 복수의 뷰 각각이 Y 축(view 축)으로 나열되고 각 뷰의 너비 및 높이가 X-Z 축(width 축-height 축)을 구성하는 형태가 될 수 있다. 즉, 복수의 뷰 각각의 동일한 픽셀 라인이 조합된 이미지가 X-Y 축 즉, width-height 축을 구성하는 형태가 될 수 있다. 예를 들어, 복수의 뷰 각각에서 동일한 픽셀 라인이 Y 축 즉, view 축을 구성할 수 있다.
한편, 본 발명의 일 실시 예에 따르면, 도 5a에 도시된 바와 같이 출력될 다시점 영상(520)의 타겟 서브 픽셀 영역, 예를 들어 제1 서브 픽셀(521)에 특정 view의 첫번째 서브 픽셀(512)의 값이 맵핑되도록 결정된 경우, 해당 서브 픽셀(512)의 픽셀 값 및 인접 뷰의 첫번째 서브 픽셀(511, 513)의 픽셀 값이 기설정된 가중치에 따라 혼합된 혼합 픽셀 값이 출력될 다시점 영상(520)의 첫번째 서브 픽셀(521)에 맵핑될 수 있다. 이 경우 에피폴라 도메인(510)에서 해당 서브 픽셀들(511, 512, 513)을 포함하는 2차원 영역이 설정되고, 설정된 2차원 영역에 기설정된 가중치 필터가 적용되어 혼합 픽셀 값이 산출될 수 있다.
또한, 본 발명의 다른 실시 예에 따르면, 도 5b에 도시된 바와 같이 기준 뷰 및 인접 뷰에서 대응되는 서브 픽셀 영역의 서브 픽셀 값 뿐 아니라, 각 뷰에서 수평 방향으로의 인접 서브 픽셀 영역의 서브 픽셀 값 또한 혼합 픽셀 값을 산출하는 기초가 될 수 있다. 이 경우 에피폴라 도메인(510)에서 대응되는 서브 픽셀들(511, 512, 513) 및 해당 R 서브 픽셀들(511, 512, 513)의 수평 방향으로의 인접 픽셀들(514 내지 519)를 포함하는 2차원 영역이 설정되고, 설정된 2차원 영역에 기설정된 가중치 필터가 적용되어 혼합 픽셀 값이 산출될 수 있다.
또한, 본 발명의 또 다른 실시 예에 따르면, 도 5c에 도시된 바와 같이 기준 뷰 및 인접 뷰에서 대응되는 서브 픽셀 영역의 서브 픽셀 값 뿐 아니라, 각 뷰에서 수평 및 수직 방향으로의 인접 서브 픽셀 영역의 서브 픽셀 값 또한 혼합 픽셀 값을 산출하는 기초가 될 수 있다. 이 경우 에피폴라 도메인(510)에서 대응되는 서브 픽셀들(511, 512, 513) 및 해당 R 서브 픽셀들(511, 512, 513)의 수평 및 수직 방향으로의 인접 픽셀들(514 내지 519)를 포함하는 3차원 영역이 설정되고, 설정된 3차원 영역에 기설정된 가중치 필터가 적용되어 혼합 픽셀 값이 산출될 수 있다.
또한, 본 발명의 또 다른 실시 예에 따르면, 도 5d에 도시된 바와 같이 단지 현재 프레임의 픽셀 값 뿐 아니라, 시간적으로 인접한 다른 프레임의 픽셀 값이 혼합 픽셀 값을 산출하는 기초가 될 수 있다. 이 경우, 예를 들어 인접한 2k+1개의 frame 각각에서 대응되는 서브 픽셀들 및 해당 픽셀들의 수평 및 수직 방향 중 적어도 하나로의 인접 픽셀들을 포함하는 3차원 영역(530, 540, 550)이 설정되고, 각 프레임에서 설정된 3차원 영역에 기설정된 가중치 필터가 적용되어 혼합 픽셀 값이 산출될 수 있다.
도 6a 및 도 6b는 본 발명의 일 실시 예에 따른 Interpolation 방법을 설명하기 위한 도면들이다.
도 6a는 일 실시 예에 따른 forward mapping(또는 source-to-target mapping)을 설명하기 위한 것으로, 입력 영상의 모든 픽셀에 대해 새로운 좌표를 산출하고, 새로운 위치로 픽셀 값을 카피할 수 있다. 예를 들어, 도시된 바와 같이 입력 영상에서 각 픽셀 위치에 대해 지오메트릭 변환 T를 적용하여 대응되는 타겟 위치가 출력 영상에서 산출될 수 있다. 일반적으로, 타겟 위치(x', y')는 별개의 래스터 포인트가 되지 않고, 입력 이미지에서 픽셀 값은 인접한 타겟 픽셀 중 하나로 카피될 수 있다.
도 6b는 다른 실시 예에 따른 backward mapping(또는 target-to-source mapping)을 설명하기 위한 것으로, 출력 영상에서 각 픽셀 위치에 대해 입력 영상에서의 연속적인 위치가 대응되는 인버스 맵핑 함수 T-1을 적용함에 의해 산출될 수 있다. 새로운 픽셀 값은 입력 영상에서 (x, y)의 인접 픽셀에서 Interpolation에 의해 산출될 수 있다.
도 6a 및 도 6b에 도시된 바와 같은 Interpolation을 이용하여, 영상의 해상도와 디스플레이의 해상도가 다른 경우에도 새로운 픽셀값 계산이 가능하다.
도 7a 및 도 7b는 본 발명의 일 실시 예에 따른 Interpolation 타입을 설명하기 위한 도면들이다.
본 발명의 일 실시 예에 따르면, 에피폴라 도메인에서 서브 픽셀 맵핑을 위해 설정된 영역에 대해 Bilinear interpolation이 적용될 수 있다.
예를 들어, 도 7a 및 도 7b에 도시된 바와 같은 형태의 함수를 이용하여 Bilinear interpolation을 수행함으로써 혼합 픽셀 값을 산출할 수 있으나, 이에 한정되는 것은 아니다.
도 8은 본 발명의 일 실시 예에 따른 다시점 영상 디스플레이 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 8에 도시된 다시점 영상 디스플레이 장치의 제어 방법에 따르면, 우선,
입력된 영상의 뎁스에 기초하여 서로 다른 시점을 갖는 복수의 뷰를 렌더링한다(S810).
이어서, 렌더링된 복수의 뷰를 구성하는 픽셀 값에 기초하여 다시점 영상을 생성한다(S820). 이 경우, S820 단계에서는 렌더링된 복수의 뷰 중 특정 시점 뷰의 픽셀 값 및 특정 시점 뷰의 인접 시점 뷰의 픽셀 값에 기초하여 생성된 혼합 픽셀 값을, 적어도 하나의 타겟 픽셀 영역에 매핑하여 다시점 영상을 생성할 수 있다. 이 경우, R, G, B 중 하나의 서브 픽셀 단위로 혼합 픽셀 값을 산출할 수 있다.
이 후, 생성된 다시점 영상을 디스플레이한다(S830).
여기서, 디스플레이 장치는,다시점 영상을 디스플레이하는 디스플레이 패널 및, 디스플레이 패널의 전면에 배치되어 사용자의 시청 영역에서 서로 다른 시점의 광학 뷰를 제공하는 시역 분리부를 포함하며, S820 단계에서 다시점 영상을 생성하기 위해 이용되는 복수의 뷰의 개수는 사용자의 시청 영역에서 제공되는 광학 뷰의 개수보다 많을 수 있다.
또한, 다시점 영상을 생성하는 S820 단계에서는, 기설정된 기준에 따라 타겟 픽셀 영역에 매핑할 특정 시점 뷰를 선택하고, 선택된 특정 시점 뷰 및 특정 시점 뷰의 인접 시점 뷰에서 타겟 픽셀 영역에 대응되는 소스 픽셀 영역을 설정한 후 설정된 소스 픽셀 영역에 기설정된 가중치를 적용하여 타겟 픽셀 영역에 맵핑할 혼합 픽셀 값을 산출할 수 있다. 여기서, 혼합 픽셀 값 산출에 이용되는 특정 시점 뷰의 인접 시점 뷰는 상특정 시점 뷰의 이전 시점 뷰 및 이후 시점 뷰를 포함할 수 있다.
또한, 다시점 영상을 생성하는 S820 단계에서는, 선택된 특정 시점 뷰 및 인접 시점 뷰에서 타겟 픽셀 영역에 대응되는 픽셀 영역 및 픽셀 영역의 인접 픽셀 영역을 포함하는 픽셀 영역을 소스 픽셀 영역으로 설정할 수 있다.
또한, 다시점 영상을 생성하는 S820 단계에서는, 복수의 뷰 각각의 동일한 픽셀 라인으로 구성된 에피폴라(epipolar) 이미지에 기초하여 생성된 에피폴라 도메인에서 선택된 특정 시점 뷰 및 인접 시점 뷰 각각에 대응되는 소스 픽셀 영역을 포함하는 3차원 영역을 설정하고, 설정된 3차원 영역에 기설정된 가중치를 적용하여 혼합 픽셀 값을 산출할 수 있다.
이 경우, 다시점 영상을 생성하는 S820 단계에서는, 에피폴라 도메인에서 설정된 3차원 영역에 기설정된 필터를 적용하여 기설정된 가중치가 적용된 혼합 픽셀 값을 산출할 수 있다. 여기서, 기설정된 필터는, Bilinear Interpolation filter가 될 수 있다.
또한, 다시점 영상을 생성하는 S820 단계에서는, 시간적으로 인접한 복수 개의 인접 프레임 각각에서 설정된 3차원 영역에 기설정된 가중치를 적용하여 혼합 픽셀 값을 산출할 수 있다.
이상과 같이 본 발명의 다양한 실시 예에 따르면, 사용자의 시청 영역에서 제공되는 광학 뷰 수보다 많은 수의 입력 뷰 영상에 기초하여 생성된 다시점 영상을 디스플레이에 맵핑하여 스무스한(smooth) view transition을 제공하고, Quantization Error에 의한 Angular Aliasing 제거할 수 있게 된다. 이에 따라 사용자에게 선명한 3D 영상을 서비스할 수 있게 된다.
상술한 다양한 실시 예에 따른 다시점 영상 디스플레이 방법은 프로그램으로 구현되어 디스플레이 장치에 제공될 수 있다.
일 예로, 입력된 영상의 뎁스에 기초하여 서로 다른 시점을 갖는 복수의 뷰를 렌더링하는 단계, 렌더링된 복수의 뷰 중 특정 시점 뷰의 픽셀 값 및 특정 시점 뷰의 인접 시점 뷰의 픽셀 값에 기초하여 생성된 혼합 픽셀 값을, 적어도 하나의 타겟 픽셀 영역에 매핑하여 다시점 영상을 생성하는 구성을 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
Claims (15)
- 다시점 영상 디스플레이 장치에 있어서,영상을 입력받는 영상 입력부;상기 입력된 영상의 뎁스에 기초하여 서로 다른 시점을 갖는 복수의 뷰를 렌더링하는 렌더링부;상기 복수의 뷰를 구성하는 픽셀 값에 기초하여 생성된 다시점 영상을 디스플레이하는 디스플레이부; 및상기 복수의 뷰 중 특정 시점 뷰의 픽셀 값 및 상기 특정 시점 뷰의 인접 시점 뷰의 픽셀 값에 기초하여 생성된 혼합 픽셀 값을, 적어도 하나의 타겟 픽셀 영역에 매핑하여 상기 다시점 영상을 생성하는 제어부;를 포함하는 다시점 영상 디스플레이 장치.
- 제1항에 있어서,상기 디스플레이부는,상기 다시점 영상을 디스플레이하는 디스플레이 패널 및, 상기 디스플레이 패널의 전면에 배치되어 사용자의 시청 영역에서 서로 다른 시점의 광학 뷰를 제공하는 시역 분리부를 포함하며,상기 다시점 영상을 생성하기 위해 이용되는 상기 복수의 뷰의 개수는 상기 광학 뷰의 개수보다 많은 것을 특징으로 하는 다시점 영상 디스플레이 장치.
- 제1항에 있어서,상기 제어부는,기설정된 기준에 따라 상기 타겟 픽셀 영역에 매핑할 상기 특정 시점 뷰를 선택하고, 상기 선택된 특정 시점 뷰 및 상기 특정 시점 뷰의 인접 시점 뷰에서 상기 타겟 픽셀 영역에 대응되는 소스 픽셀 영역을 설정한 후 설정된 소스 픽셀 영역에 기설정된 가중치를 적용하여 상기 혼합 픽셀 값을 산출하는 것을 특징으로 하는 다시점 영상 디스플레이 장치.
- 제3항에 있어서,상기 제어부는,상기 선택된 특정 시점 뷰 및 상기 인접 시점 뷰에서 상기 타겟 픽셀 영역에 대응되는 픽셀 영역 및 상기 픽셀 영역의 인접 픽셀 영역을 포함하는 픽셀 영역을 상기 소스 픽셀 영역으로 설정하는 것을 특징으로 하는 다시점 영상 디스플레이 장치.
- 제4항에 있어서,상기 제어부는,상기 복수의 뷰 각각의 동일한 픽셀 라인으로 구성된 에피폴라(epipolar) 이미지에 기초하여 생성된 에피폴라 도메인에서 상기 선택된 특정 시점 뷰 및 상기 인접 시점 뷰 각각에 대응되는 상기 소스 픽셀 영역을 포함하는 3차원 영역을 설정하고, 설정된 3차원 영역에 기설정된 가중치를 적용하여 상기 혼합 픽셀 값을 산출하는 것을 특징으로 하는 다시점 영상 디스플레이 장치.
- 제5항에 있어서,상기 제어부는,상기 3차원 영역에 기설정된 필터를 적용하여 상기 기설정된 가중치가 적용된 혼합 픽셀 값을 산출하는 것을 특징으로 하는 다시점 영상 디스플레이 장치.
- 제6항에 있어서,상기 기설정된 필터는,Bilinear Interpolation filter 인 것을 특징으로 하는 다시점 영상 디스플레이 장치.
- 제5항에 있어서,상기 제어부는,시간적으로 인접한 복수 개의 인접 프레임 각각에서 설정된 상기 3차원 영역에 기설정된 가중치를 적용하여 상기 혼합 픽셀 값을 산출하는 것을 특징으로 하는 다시점 영상 디스플레이 장치.
- 제1항에 있어서,상기 혼합 픽셀 값 산출에 이용되는 상기 특정 시점 뷰의 인접 시점 뷰는 상기 특정 시점 뷰의 이전 시점 뷰 및 이후 시점 뷰를 포함하는 것을 특징으로 하는 다시점 영상 디스플레이 장치.
- 제1항에 있어서,상기 제어부는,R, G, B 중 하나의 서브 픽셀 단위로 상기 혼합 픽셀 값을 산출하는 것을 특징으로 하는 다시점 영상 디스플레이 장치.
- 다시점 영상 디스플레이 장치의 제어 방법에 있어서,입력된 영상의 뎁스에 기초하여 서로 다른 시점을 갖는 복수의 뷰를 렌더링하는 단계;상기 렌더링된 복수의 뷰를 구성하는 픽셀 값에 기초하여 다시점 영상을 생성하는 단계; 및상기 생성된 다시점 영상을 디스플레이하는 단계;를 포함하며,상기 다시점 영상을 생성하는 단계는,상기 복수의 뷰 중 특정 시점 뷰의 픽셀 값 및 상기 특정 시점 뷰의 인접 시점 뷰의 픽셀 값에 기초하여 생성된 혼합 픽셀 값을, 적어도 하나의 타겟 픽셀 영역에 매핑하여 상기 다시점 영상을 생성하는 것을 특징으로 하는 제어 방법.
- 제11항에 있어서,상기 디스플레이 장치는,상기 다시점 영상을 디스플레이하는 디스플레이 패널 및, 상기 디스플레이 패널의 전면에 배치되어 사용자의 시청 영역에서 서로 다른 시점의 광학 뷰를 제공하는 시역 분리부를 포함하며,상기 다시점 영상을 생성하기 위해 이용되는 상기 복수의 뷰의 개수는 상기 광학 뷰의 개수보다 많은 것을 특징으로 하는 제어 방법.
- 제11항에 있어서,상기 다시점 영상을 생성하는 단계는,기설정된 기준에 따라 상기 타겟 픽셀 영역에 매핑할 상기 특정 시점 뷰를 선택하고, 상기 선택된 특정 시점 뷰 및 상기 특정 시점 뷰의 인접 시점 뷰에서 상기 타겟 픽셀 영역에 대응되는 소스 픽셀 영역을 설정한 후 설정된 소스 픽셀 영역에 기설정된 가중치를 적용하여 상기 혼합 픽셀 값을 산출하는 것을 특징으로 하는 제어 방법.
- 제13항에 있어서,상기 다시점 영상을 생성하는 단계는,상기 선택된 특정 시점 뷰 및 상기 인접 시점 뷰에서 상기 타겟 픽셀 영역에 대응되는 픽셀 영역 및 상기 픽셀 영역의 인접 픽셀 영역을 포함하는 픽셀 영역을 상기 소스 픽셀 영역으로 설정하는 것을 특징으로 하는 제어 방법.
- 제14항에 있어서,상기 다시점 영상을 생성하는 단계는,상기 복수의 뷰 각각의 동일한 픽셀 라인으로 구성된 에피폴라(epipolar) 이미지에 기초하여 생성된 에피폴라 도메인에서 상기 선택된 특정 시점 뷰 및 상기 인접 시점 뷰 각각에 대응되는 상기 소스 픽셀 영역을 포함하는 3차원 영역을 설정하고, 설정된 3차원 영역에 기설정된 가중치를 적용하여 상기 혼합 픽셀 값을 산출하는 것을 특징으로 하는 제어 방법.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP15848701.7A EP3182702B1 (en) | 2014-10-10 | 2015-07-22 | Multiview image display device and control method therefor |
US15/514,572 US10805601B2 (en) | 2014-10-10 | 2015-07-22 | Multiview image display device and control method therefor |
CN201580054990.XA CN106797462B (zh) | 2014-10-10 | 2015-07-22 | 多视图图像显示设备及其控制方法 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2014-0136549 | 2014-10-10 | ||
KR1020140136549A KR101975246B1 (ko) | 2014-10-10 | 2014-10-10 | 다시점 영상 디스플레이 장치 및 그 제어 방법 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2016056735A1 true WO2016056735A1 (ko) | 2016-04-14 |
Family
ID=55653315
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/KR2015/007614 WO2016056735A1 (ko) | 2014-10-10 | 2015-07-22 | 다시점 영상 디스플레이 장치 및 그 제어 방법 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10805601B2 (ko) |
EP (1) | EP3182702B1 (ko) |
KR (1) | KR101975246B1 (ko) |
CN (1) | CN106797462B (ko) |
WO (1) | WO2016056735A1 (ko) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102534875B1 (ko) | 2016-12-08 | 2023-05-22 | 한국전자통신연구원 | 카메라 어레이와 다중 초점 영상을 이용하여 임의 시점의 영상을 생성하는 방법 및 장치 |
EP3422708A1 (en) * | 2017-06-29 | 2019-01-02 | Koninklijke Philips N.V. | Apparatus and method for generating an image |
US11172190B2 (en) * | 2018-07-10 | 2021-11-09 | Google Llc | Stereo weaving for head-tracked autostereoscopic displays |
US11270474B2 (en) * | 2018-12-05 | 2022-03-08 | Sony Corporation | Screen-tone look generator |
CN111757088A (zh) * | 2019-03-29 | 2020-10-09 | 刁鸿浩 | 一种分辨率无损的裸眼立体显示系统 |
CN112929636A (zh) * | 2019-12-05 | 2021-06-08 | 北京芯海视界三维科技有限公司 | 3d显示设备、3d图像显示方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005086414A (ja) * | 2003-09-08 | 2005-03-31 | Toshiba Corp | 立体表示装置および画像表示方法 |
KR20120062477A (ko) * | 2010-12-06 | 2012-06-14 | 광주과학기술원 | 다시점 깊이 영상 생성 방법 및 장치 |
KR20120068126A (ko) * | 2010-12-17 | 2012-06-27 | 한국과학기술연구원 | 입체영상 표시장치 및 그 구동 방법 |
KR20140035065A (ko) * | 2012-09-13 | 2014-03-21 | 전자부품연구원 | 다시점 비디오 인코딩 및 디코딩 방법 및 이를 이용한 인코딩 및 디코딩 장치 |
KR20140089860A (ko) * | 2013-01-07 | 2014-07-16 | 삼성전자주식회사 | 디스플레이 장치 및 그 디스플레이 방법 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003337303A (ja) * | 2002-05-17 | 2003-11-28 | Canon Inc | 立体画像表示装置および立体画像表示システム |
FR2873824B1 (fr) | 2004-07-30 | 2006-10-27 | Pierre Allio | Procede d'affichage d'une image autostereoscopique a n points de vue |
KR101297249B1 (ko) | 2006-12-28 | 2013-08-19 | 엘지디스플레이 주식회사 | 입체영상표시장치 |
KR101629479B1 (ko) * | 2009-11-04 | 2016-06-10 | 삼성전자주식회사 | 능동 부화소 렌더링 방식 고밀도 다시점 영상 표시 시스템 및 방법 |
JP4712898B1 (ja) | 2010-03-05 | 2011-06-29 | 健治 吉田 | 中間画像生成方法、中間画像ファイル、中間画像生成装置、立体画像生成方法、立体画像生成装置、裸眼立体画像表示装置、立体画像生成システム |
KR20120010404A (ko) | 2010-07-26 | 2012-02-03 | 삼성전자주식회사 | 색유지형 선택적 부화소 렌더링을 이용한 다시점 디스플레이 시스템 및 방법 |
JP5279795B2 (ja) | 2010-10-29 | 2013-09-04 | 三菱電機株式会社 | 裸眼立体表示装置 |
KR101202014B1 (ko) | 2011-02-18 | 2012-11-15 | 주식회사 넥서스칩스 | 영상 처리장치, 입체영상 디스플레이 장치 및 이를 이용한 영상 처리방법 |
US8681182B2 (en) * | 2011-04-19 | 2014-03-25 | Deluxe 3D Llc | Alternate viewpoint rendering |
TWI420152B (zh) | 2011-04-26 | 2013-12-21 | Unique Instr Co Ltd | A Method of Multi - view Three - dimensional Image Display |
EP2708029B1 (en) | 2011-05-12 | 2016-06-08 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung | An autostereoscopic screen and method for reproducing image information |
KR101380517B1 (ko) * | 2012-09-28 | 2014-04-01 | 엘지디스플레이 주식회사 | 멀티 뷰 무안경 입체 영상 표시장치와 그 최적 시청 거리 제어 방법 |
KR102076598B1 (ko) * | 2013-05-24 | 2020-03-02 | 삼성전자주식회사 | 디스플레이 장치 및 그의 다시점 영상 디스플레이 방법 |
-
2014
- 2014-10-10 KR KR1020140136549A patent/KR101975246B1/ko active IP Right Grant
-
2015
- 2015-07-22 US US15/514,572 patent/US10805601B2/en active Active
- 2015-07-22 WO PCT/KR2015/007614 patent/WO2016056735A1/ko active Application Filing
- 2015-07-22 EP EP15848701.7A patent/EP3182702B1/en active Active
- 2015-07-22 CN CN201580054990.XA patent/CN106797462B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005086414A (ja) * | 2003-09-08 | 2005-03-31 | Toshiba Corp | 立体表示装置および画像表示方法 |
KR20120062477A (ko) * | 2010-12-06 | 2012-06-14 | 광주과학기술원 | 다시점 깊이 영상 생성 방법 및 장치 |
KR20120068126A (ko) * | 2010-12-17 | 2012-06-27 | 한국과학기술연구원 | 입체영상 표시장치 및 그 구동 방법 |
KR20140035065A (ko) * | 2012-09-13 | 2014-03-21 | 전자부품연구원 | 다시점 비디오 인코딩 및 디코딩 방법 및 이를 이용한 인코딩 및 디코딩 장치 |
KR20140089860A (ko) * | 2013-01-07 | 2014-07-16 | 삼성전자주식회사 | 디스플레이 장치 및 그 디스플레이 방법 |
Non-Patent Citations (1)
Title |
---|
See also references of EP3182702A4 * |
Also Published As
Publication number | Publication date |
---|---|
US20170230647A1 (en) | 2017-08-10 |
EP3182702A1 (en) | 2017-06-21 |
KR20160042535A (ko) | 2016-04-20 |
EP3182702B1 (en) | 2023-06-07 |
CN106797462A (zh) | 2017-05-31 |
US10805601B2 (en) | 2020-10-13 |
KR101975246B1 (ko) | 2019-05-07 |
EP3182702A4 (en) | 2017-09-13 |
CN106797462B (zh) | 2018-11-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2016056735A1 (ko) | 다시점 영상 디스플레이 장치 및 그 제어 방법 | |
KR102185130B1 (ko) | 다시점 영상 디스플레이 장치 및 그 제어 방법 | |
KR102140080B1 (ko) | 다시점 영상 디스플레이 장치 및 제어 방법 | |
WO2015037796A1 (en) | Display device and method of controlling the same | |
KR102121389B1 (ko) | 무안경 3d 디스플레이 장치 및 그 제어 방법 | |
US9848184B2 (en) | Stereoscopic display system using light field type data | |
WO2016010234A1 (en) | Curved multi-view image display apparatus and control method thereof | |
WO2014107099A1 (en) | Display apparatus and display method thereof | |
WO2014046522A1 (en) | Multiview image generating method and multi view image display apparatus | |
WO2016021925A1 (en) | Multiview image display apparatus and control method thereof | |
KR102174258B1 (ko) | 무안경 3d 디스플레이 장치 및 그 제어 방법 | |
US20120019628A1 (en) | Three-dimensional (3d) display method and system | |
US8723920B1 (en) | Encoding process for multidimensional display | |
US10939092B2 (en) | Multiview image display apparatus and multiview image display method thereof | |
KR102143463B1 (ko) | 다시점 영상 디스플레이 장치 및 그 제어 방법 | |
US20120081513A1 (en) | Multiple Parallax Image Receiver Apparatus | |
KR101980275B1 (ko) | 다시점 영상 디스플레이 장치 및 디스플레이 방법 | |
EP3025497A1 (en) | Multi view image processing apparatus and image processing method thereof | |
WO2024010174A1 (ko) | 3d 영상을 제공하는 디스플레이 장치 및 그 제어 방법 | |
KR100763398B1 (ko) | 휴대용 영상 표시장치를 이용한 입체영상의 표시방법 | |
KR20190010060A (ko) | 디스플레이 장치 및 그 제어 방법 | |
KR20120000893A (ko) | 디스플레이 장치 및 디스플레이 장치의 영상 제어 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 15848701 Country of ref document: EP Kind code of ref document: A1 |
|
REEP | Request for entry into the european phase |
Ref document number: 2015848701 Country of ref document: EP |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2015848701 Country of ref document: EP |
|
NENP | Non-entry into the national phase |
Ref country code: DE |