WO2013094841A1 - 다수의 관찰자에 적용가능한 동적 시역 확장을 이용한 다시점 3차원 영상표시장치 및 그 방법 - Google Patents

다수의 관찰자에 적용가능한 동적 시역 확장을 이용한 다시점 3차원 영상표시장치 및 그 방법 Download PDF

Info

Publication number
WO2013094841A1
WO2013094841A1 PCT/KR2012/006273 KR2012006273W WO2013094841A1 WO 2013094841 A1 WO2013094841 A1 WO 2013094841A1 KR 2012006273 W KR2012006273 W KR 2012006273W WO 2013094841 A1 WO2013094841 A1 WO 2013094841A1
Authority
WO
WIPO (PCT)
Prior art keywords
view
viewpoint
image
image display
observer
Prior art date
Application number
PCT/KR2012/006273
Other languages
English (en)
French (fr)
Inventor
김성규
윤기혁
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to CN201280070504.XA priority Critical patent/CN104137538B/zh
Priority to EP12859608.7A priority patent/EP2797328B1/en
Priority to US14/367,467 priority patent/US10237543B2/en
Publication of WO2013094841A1 publication Critical patent/WO2013094841A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/368—Image reproducers using viewer tracking for two or more viewers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/30—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H04N13/125—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues for crosstalk reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • H04N13/315—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers the parallax barriers being time-variant
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/376—Image reproducers using viewer tracking for tracking left-right translational head movements, i.e. lateral movements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes

Definitions

  • the present invention relates to the field of three-dimensional display, improves the brightness uniformity of each field of view, minimize crosstalk phenomenon, and can adjust the field of view to dynamically optimize the entire field of view even when the observer moves in the three-dimensional space.
  • the present invention relates to a multi-view 3D image display device and a method thereof applicable to a plurality of observers.
  • the autostereoscopic 3D image display apparatus may include a method using an optical plate such as a lenticular lens or a parallax barrier, or a method using a line light source array for viewing.
  • an optical plate such as a lenticular lens or a parallax barrier
  • a line light source array for viewing may be in principle crosstalk where the light distribution due to eye movement and an image of an adjacent viewing area are partially overlapped even within the same viewing area. ) Phenomenon occurs. Therefore, it is difficult for an observer to implement a natural three-dimensional image, causing inconvenience to the observer.
  • FIG. 1 shows a distribution of brightness of a viewing area for each viewpoint as a horizontal position shifts from an optimal observation position of a conventional autostereoscopic 3D image display device using a parallax barrier.
  • the interval between the viewpoints of FIG. 1 is equal to the interval ( ⁇ 65 mm) of the pupil of both eyes of the observer, the observer is in front of the 3D display at the optimal viewing position, and the left eye of the observer is located at the center of the first viewing field (A position).
  • the right eye is located at the center (C position) of the second visual field, the observer's eyes are out of the A and C spots, respectively, and the image brightness of the corresponding visual field is rapidly darkened. Lowers.
  • the interval between viewpoints is designed according to the pupillary of both eyes of the average observer, so that even when the pupillary of both eyes of the observer who observes the 3D image is out of the average, the visual field of FIG. In the brightness distribution of, a problem may occur in which an optimal bright image on the left and right sides cannot be observed.
  • FIG. 2 to 5 are diagrams for explaining an example of an autostereoscopic 3D image display device using a conventional 4-view parallax barrier.
  • OTD optical observation position
  • the visual fields of each viewpoint are well separated as shown in FIG. 1, but for example, the observer is out of the position of the Optimum Viewing Distance (OVD) in the depth direction and is P1 (0.5 times the OVD).
  • ODD Optimum Viewing Distance
  • P1 0.5 times the OVD
  • the field of view of the viewpoints of the left eye and the right eye is not properly separated, unlike at the optimal observation distance (OVD), and overlapping with the adjacent field of view, the 3D image cannot be seen properly (P1). See also FIG. 4 for viewing distribution at the location.
  • FIGS. 7 and 8 are distribution maps of individual openings.
  • the individual openings defining the viewing area distribution of these individual openings are defined as 3D pixel lines.
  • the 3D pixel line is a respective cylindrical lens in the case of the lenticular method, and a line light source in the case of a line light source.
  • the results of FIG. 4 analytically indicate that the amount of crosstalk is large.
  • the shape of the viewing area is changed for the same reason as in FIG. 4, thereby increasing the crosstalk. 4 will be described in more detail with reference to FIG. 2.
  • the opening of the center is opened. 3 can see the 3D image near the center, but the 3D image coming in from the left opening is located at the boundary between the 1 and 2 views, and experiences the maximum crosstalk situation.
  • the 3D image coming in from the right opening is at the boundary between the 4th and the 3rd Bushings, although not exactly shown in the figure, so you experience the greatest crosstalk and reversed situation.
  • a conventional autostereoscopic 3D image display apparatus is generally designed to view a 3D image for one observer, and to a plurality of observers at a specific position within the optimal observation position. Only multiple observers can see the 3D image at their location.
  • the present invention has been made to solve the above problems, and an object of the present invention is to improve brightness uniformity of each viewing area corresponding to each of the positions of binocular pupils in a real-time pupil tracking situation, and to minimize crosstalk phenomenon in a three-dimensional space.
  • an object of the present invention is to improve brightness uniformity of each viewing area corresponding to each of the positions of binocular pupils in a real-time pupil tracking situation, and to minimize crosstalk phenomenon in a three-dimensional space.
  • an object of the present invention is to implement a multi-view three-dimensional image display device and method for one person or a plurality of people.
  • One aspect of the present invention for achieving the above object is a multi-view three-dimensional image display device, an image display panel for displaying a 3D image, a control unit for controlling the viewpoint image of each of the 3D pixel lines, and tracking the pupil position of both observers
  • each of the 3D pixel lines provides a multi-view of at least four views or more
  • the control unit uses the three-dimensional coordinate values of the pupil positions of both observers determined by the pupil position tracking system of both observers, Selecting a first viewpoint and a second viewpoint close to the center of each observer's pupils for each viewing area formed by 3D pixel lines, providing a viewpoint image of one of the observers' both eyes at the first viewpoint, and the observer at the second viewpoint. It provides a viewpoint image of the other of both eyes.
  • the image display panel uses a parallax barrier or a lenticular lens as a parallax separating means, or displays a 3D image using a line light source, and the 3D pixel lines include an opening of the parallax barrier, the lenticular lens, or a line light source. And pixels on the image display panel providing respective viewpoint images.
  • the controller generates a first merge view by providing the same view image as the first view to at least one view adjacent to the first view, and creates the first merge view and the same view image with the second view at one or more views adjacent to the second view. It is desirable to create a second merge point by providing.
  • the controller may adjust brightnesses of the respective views forming the first merged time or the second merged time so that the brightness of the central portion of each of the viewpoint merged regions formed by the first merged time and the second merged time is flat. It is desirable to adjust.
  • the control unit adjusts the opening width of the parallax barrier, the focal length of the lenticular lens, or the line width of the line light source so that the central portion of the merged view is flat when the shapes of the respective view fields formed from the 3D pixel lines merge. desirable.
  • the controller reduces the viewing area brightness of an even time point from a start time point of each of the time points forming the merged time point. It is preferable to make the center portion of the viewing field plane flat.
  • the controller may minimize crosstalk by removing image data at the at least one intermediate point.
  • the controller determines a limit of the amount of movement in the depth direction in consideration of the size of the width of the viewing area corresponding to each viewpoint when the observer moves in the depth direction, and adds a width corresponding to the total viewing area that is reduced according to the limit.
  • the first merging time and the second merging time It is desirable to make
  • the first merging point and the second merging point are made of viewpoints of the time zone and bushing points of view that do not overlap.
  • the controller may be configured such that, when the observer moves in the depth direction, the ratio of the width of the unit of view formed by one viewpoint at the maximum proximity to the 3D image display device decreases or the maximum distance to the 3D image display device.
  • the first merge point and the second merge point are maintained so that the width of the merge view of the first merge point and the second merge point can be maintained. It is preferable to change the number of viewpoints forming the viewpoint.
  • the observer pupil position tracking system can track the position of a plurality of observers, it is preferable to deliver the information of the number of observers and pupil positions of the plurality of observers by tracking each pupil position.
  • the control unit uses the 3D information of the pupil positions of the plurality of observers tracked in real time by the observer pupil position tracking system, and the viewpoint close to the center of each observer binocular pupil for each viewing area formed by 3D pixel lines. And merging one or more adjacent viewpoints for each of the selected viewpoints to provide a field of view formed by the merged viewpoints in both eyes of the plurality of observers.
  • the controller may minimize crosstalk by removing image data of the at least one intermediate point when there are at least one intermediate point between each merge point provided in both eyes of the plurality of observers.
  • the length of the 3D pixel line is greater than or equal to one pixel unit and less than or equal to the sum of the pixels displaying the viewpoint image, it is preferable to give an effect of the 3D pixel point.
  • Another aspect of the present invention for achieving the above object is an image display panel for displaying a 3D image, a control unit for controlling a viewpoint image of each of the 3D pixel lines providing a multi-view of at least four views and the pupil position of both observers
  • a method of displaying a multiview 3D image using a 3D image display device including a tracking system comprising: obtaining a 3D coordinate value of a pupil position of both observers through a pupil position tracking system of both observers; By using the three-dimensional coordinate values of the pupil position of the observer both eyes obtained from the pupil position tracking system through the control unit, the first viewpoint and the second viewpoint close to the center of each observer pupil of each pupil of each viewpoint formed by the 3D pixel lines Selecting and providing a viewpoint image of one of the observer's both eyes to the first viewpoint through the controller, and the second viewpoint And both eyes of an observer comprising the step of providing a different one of the viewpoint image.
  • the image display panel uses a parallax barrier or a lenticular lens, which is a parallax separating means, or displays a 3D image using a line light source, and the 3D pixel lines include an opening of the parallax barrier, the lenticular lens, or a line light source. And pixels on the image display panel for providing respective viewpoint images.
  • the method may further include creating a second merged view by providing the same view image as the two views.
  • the brightness of each of the viewpoints forming the first merged time or the second merged time is adjusted so that the brightness of the center portion of each viewpoint merged area formed by the first merged time and the second merged time is flat through the control unit. It is desirable to adjust.
  • the problem of the prior art can be solved and the observer can move freely and comfortably without fatigue, ie cross between binocular viewpoints It is possible to implement a three-dimensional display device that can minimize the torque and see a clear three-dimensional image even in the depth movement.
  • the three-dimensional display device of the present invention Provides the same image at the binocular view corresponding to the pupil and at least one adjacent view thereof, and expands the viewing area where crosstalk does not occur by changing the image brightness of the required view or viewpoints of the merged binocular views.
  • the three-dimensional display device of the present invention has an advantage that a clear three-dimensional image can be seen even if an observer having a different distance between the average eyes is formed by forming an optimal viewing field where the crosstalk phenomenon does not occur sufficiently.
  • the three-dimensional display device of the present invention controls the merged point of 3D pixel lines, so that the observer moves in the depth direction. There is an advantage that can continuously see a clear three-dimensional image.
  • the multi-view three-dimensional image display apparatus and the method of the autostereoscopic method of the present invention has the effect that can be applied not only to a single person but also a large number of observers.
  • FIG. 1 is a conceptual diagram illustrating a general viewing area distribution at an observer position of a conventional autostereoscopic 3D image display device.
  • FIG. 2 is a conceptual view illustrating a problem occurring when an observer moves in a depth direction of a 3D image display apparatus using a conventional parallax barrier.
  • FIG. 3 is a view illustrating an optimal observation position in a 3D image display apparatus using a conventional parallax barrier. 4 shows an increase in crosstalk due to the disparity of each viewing area when the observer moves to the P1 position (1/2 distance of the OVD depth) in the depth direction, and
  • FIG. 5 shows an OVD 1.5 times longer than the OVD distance.
  • Figure 6 shows the increase in crosstalk occurring in Figure 6, and Figure 6 shows the distribution of the viewing area in the OVD for each 3D pixel line when the viewing area is considered for each individual 3D pixel line, and Figure 7 shows a shift in P1 in the depth direction (1/2 of OVD). 8 shows the viewing distribution for each 3D pixel line, and FIG. 8 shows a simulation result of the viewing distribution for each 3D pixel line when 1.5 times the OVD depth distance is moved in a direction away from the OVD.
  • FIG. 9 is a block diagram illustrating a multiview 3D image display device according to an exemplary embodiment of the present invention.
  • 10 and 11 are conceptual diagrams for explaining a 3D pixel line concept when using a parallax barrier.
  • FIGS. 12 and 13 are conceptual views illustrating the brightness distribution and the viewing area arrangement of a preferred viewing area to be implemented in the present invention.
  • 14 to 24 and 25 are exemplary views showing an extended viewing area according to an embodiment of the present invention.
  • FIG. 26 is a diagram for comparing (a) and (b) a case in which there is one or more viewpoints between the merged time points of the two eyes for the extended viewing region according to an embodiment of the present invention.
  • 27 is a diagram illustrating an example of odd-numbered time points merged for an extended view according to an embodiment of the present invention.
  • FIG. 28 is a diagram illustrating an example of even-numbered time mergers for an extended view according to an embodiment of the present invention.
  • FIG. 28 is a diagram illustrating an example of even-numbered time mergers for an extended view according to an embodiment of the present invention.
  • 29 and 30 are views illustrating a case in which the observer moves in the depth direction in the multi-view three-dimensional image display apparatus according to an embodiment of the present invention when there is only one observer.
  • 31 is a diagram illustrating a case where a flattened merge point is allocated to each observer in the multi-view three-dimensional image display apparatus according to an embodiment of the present invention when there are two observers.
  • FIG. 32 is a conceptual view showing only the image display panel of FIG. 10 and the parallax barrier formed in front thereof
  • FIG. 33 is a conceptual view illustrating that the concept of the present invention can be applied to discontinuous 3D pixel lines for each pixel of a row. .
  • the 3D image display apparatus 100 includes a 3D image display panel 130 and a controller 120 that controls a viewpoint image of each of the 3D pixel lines.
  • Each of these 3D pixel lines preferably provides a multiview of at least four views.
  • the 3D image display apparatus 100 may further include an observer's pupil position tracking system 110 which determines the pupil position of the observer and transmits the position information to the controller 120.
  • the control unit 120 rearranges the left eye field and the right eye field for each 3D pixel line according to the position of the observer's eye using the position information transmitted from the pupil position tracking system 110, and provides specific image information to each field.
  • the image display panel 130 is controlled to do so.
  • the controller 120 controls the operation of the pupil position tracking system 110 and the image display panel 130 as a whole.
  • the controller selects a viewpoint close to the center of each observer's pupils for each viewing area formed by 3D pixel lines by using three-dimensional coordinate values of pupil positions of both observers determined by the pupil position tracking system of both observers.
  • a corresponding viewpoint image is provided at each viewpoint.
  • the image display panel 130 may use a parallax barrier or a lenticular lens as a parallax separating means or a line light source to display a 3D image.
  • a parallax barrier or a lenticular lens which is a means for disparity separation, is an optical plate that alternately forms images of left and right eyes so that an observer can observe three-dimensional images at a certain viewing distance.
  • a parallax barrier is formed by alternately forming a barrier and an aperture, and a lenticular lens may be formed by periodically forming a cylindrical lens, for example.
  • the parallax separating means is not limited to this, and various means may be used to achieve the object of the present invention, such as an optical plate on which micro prisms are periodically disposed.
  • the linear light sources also include all kinds of linear light sources including point light sources for displaying a 3D image.
  • the concept of 3D pixel lines is used for the parallax barrier or the lenticular lens optical plate and the case where the line light source array is used as the light source for viewing field.
  • a 3D pixel line is composed of an opening of a parallax barrier, a lenticular lens, or a line light source, and pixels on an image display panel providing respective viewpoint images.
  • FIG. 10 is a conceptual diagram illustrating the concept of 3D pixel lines in the case of using a parallax barrier.
  • FIG. 10 illustrates a case where vertical 3D pixel lines are used
  • FIG. 11 illustrates a case where inclined 3D pixel lines are used.
  • the reason for using the 3D pixel line concept is that the conventional 3D image display apparatus properly separates the viewpoint image only at a specific observer position (optimal position), and thus the viewing position in the depth direction is limited.
  • the 3D pixel line concept discussed above as the observer position changes in the depth direction, the pixels that make up the 3D pixel line are paired with the opening of the same parallax barrier, and the control is performed for each 3D pixel line according to the position of the observer eye.
  • the viewing area may be formed even when the viewer moves in the depth direction in a form similar to the distribution of the viewing area at the OVD position of FIG. 3.
  • one 3D pixel line becomes a minimum unit for providing a viewpoint image to an observer, and a stereoscopic image of the entire screen can be viewed by a plurality of all 3D pixel lines. Therefore, considering the viewing area for each 3D pixel line, even when the viewer moves in the depth direction, the viewing separation is not properly performed as shown in FIG. 4, and thus, the 3D image cannot be properly viewed. Even when the 3D pixel line-of-view is formed, cross-talk between the binocular viewpoints and brightness uniformity of the 3D image may occur in the field-view at the OVD position of FIG. 3, which is related to the pupil by using the binocular pupil position information of the observer.
  • the merits of viewpoint merging (that is, minimizing crosstalk and forming a uniform visual field brightness distribution) can be obtained.
  • the control and viewpoint merging method according to the 3D pixel line can be applied to general field design and IP (Integral Photography) method. This will be described with reference to FIG. 14.
  • FIGS. 10 and 11 there is a bushing zone consisting of four viewing zones adjacent to the viewing zone.
  • This bushing region is formed by a 3D pixel line consisting of pixels that make up the right-time view, adjacent pixels (in this case, four adjacent pixels) and an opening.
  • the position of both eyes of the observer is determined in real time to select an opening and pair of pixels forming an appropriate 3D pixel line. Both eyes can be included in the on-time station.
  • a viewer may provide a viewpoint image by using a method of tracking an observer's position and reconstructing pixels of an image display panel allocated to an appropriate 3D pixel line. It can be adjusted to be in the area.
  • FIG. 12 is a conceptual diagram illustrating a light intensity distribution of an ideal image without interference between adjacent unit views at an observation position
  • FIG. 13 is a conceptual diagram illustrating a trapezoidal view to be implemented in the present invention.
  • the light intensity distribution of an ideal image without interference between adjacent unit viewing areas has a boundary between the first viewing area and the second viewing area that is adjacent to each other when moving horizontally at a certain observation position.
  • the light intensity distribution of each viewing region is also constant within the same viewing region.
  • the field of view as in FIG. 1 is vulnerable to crosstalk. Therefore, it is ideal to form the viewing area of the rectangle as shown in FIG. 12, but in reality, it is difficult to make it as shown in FIG. 12 even if various methods are used, and it is possible to form the viewing area close to the trapezoid as shown in FIG. In this case, compared with FIG. 1, crosstalk can be reduced, and brightness distribution in the viewing area can also be maintained uniformly.
  • the present invention expands the region where the light intensity uniformly expresses the image within one viewing area generated by each 3D pixel line as much as possible, and overlaps between viewing areas of two viewpoints corresponding to both eyes of the observer. Minimize the area that occurs to minimize the occurrence of crosstalk between binocular points.
  • the viewing area is formed to form the viewing area formed by each 3D pixel line in the form as close as possible to FIGS. 12 to 13.
  • a preferred embodiment of the present invention provides a method of combining the viewpoints by adjusting the image brightness of the corresponding pupil center and the viewpoint or neighboring viewpoints and providing the same data as the image applied to the corresponding pupil of both eyes. I use it.
  • the same image as the corresponding pupil viewpoint image is provided to the viewpoint corresponding to each pupil of the pupil and the neighboring viewpoints, and the brightness weight of the viewpoints giving the same image is applied or the shape of the visual field is simply merged.
  • this method is defined as view merging.
  • the viewpoint merging is applied for each 3D pixel line described with reference to FIGS. 10 to 11.
  • the brightness of each viewing area and the viewing area is applied so that the view-view merged viewing area may have a rectangular or substantially near rectangular shape.
  • the brightness distribution of the display has a Lambertian shape or similar distribution according to the angle.
  • the brightness control may be adjusted so as not to have a brightness gradient within each viewpoint merge or the brightness of each of the two viewpoint merges corresponding to the two eyes. Additional brightness adjustments can be made to avoid differences.
  • viewpoint merging is selected for each 3D pixel line to form the entire screen. This selection of viewpoints also applies similarly to the movement in the observer's depth direction.
  • FIG. 14 and 25 are exemplary views showing an extended viewing area according to an embodiment of the present invention.
  • image signal processing is performed to input the same image information to two adjacent unit views, and when the view fields of the two views generated by the 3D pixel line are combined, the center portions are flattened.
  • the viewing area By designing the viewing area, the area UR of the viewing area where the light intensity is uniform in each viewing area of both eyes can be widened, and the image overlapping area OR where the crosstalk phenomenon occurs can be reduced.
  • the center of view area when combined without needing to adjust the brightness change of each view except for the overall brightness change such as Lambertian The viewpoint merges are applied by designing the viewpoints of the viewpoint so as to flatten. Therefore, the same applies when the number of viewpoints applied to the viewpoint merge is even, for example, 2, 4, 6, 8...
  • a method of combining two or more adjacent unit views to form a flat merge view may vary according to the type of 3D pixel line.
  • the 3D pixel line is formed of an opening of the parallax barrier and pixels of an image display panel that provides a viewpoint image, as shown in FIG. 14, two adjacent unit viewpoints are combined to form a merge point and ensure uniformity of the merge point.
  • the opening width of the parallax barrier can be adjusted.
  • Point-to-point spacing 32.5 mm
  • Tilt angle of 3D pixel line Rad Tan-1 (1/3) Radians.
  • FIG. 15 shows that when the opening width of the parallax barrier is 0.0897 mm (normal opening width)
  • FIG. 16 shows that when the opening width of the parallax barrier is 0.08 mm
  • FIG. 17 shows that the opening width of the parallax barrier is 0.06 mm
  • 18 shows the case where the opening width of the parallax barrier is 0.04 mm
  • FIG. 19 shows the case where the opening width of the parallax barrier is 0.02 mm.
  • the opening width of the parallax barrier constituting the 3D pixel line is reduced from the normal opening width (in the case of FIG. 15), the area of the uniform viewing area can be widened in the center of two adjacent view-view merged viewing areas. .
  • the lenticular lens is a component of the 3D pixel line, it is possible to widen the uniform area of the merged point of the 3D pixel lines by the parallax barrier type by changing the focal length of the lenticular lens.
  • the computer simulation conditions and results of 3D pixel lines using lenticular lenses are as follows.
  • Point-to-point spacing 32.5 mm
  • Tilt angle of 3D pixel line Rad Tan-1 (1/3) Radians.
  • FIG. 20 illustrates a case in which the focal length of the lenticular lens is 2.4 mm
  • FIG. 21 illustrates a case where the focal length of the lenticular lens is 2.8 mm
  • FIG. 22 illustrates a case where the focal length of the lenticular lens is 3.2 mm
  • 23 illustrates a case where the focal length of the lenticular lens is 3.6 mm
  • FIG. 24 illustrates a case where the focal length of the lenticular lens is 4.5 mm.
  • the line width of the line light source may be adjusted to broaden the uniform field of view of the merge point.
  • the viewing area of the viewpoints may be designed such that the central viewing area may be flattened without brightness adjustment, such as the initial even viewpoint merge. Flattening can be performed by adjusting the brightness of the center view of the three views.
  • the odd-numbered viewpoint from the beginning of the viewpoint applied to the viewpoint merge is an even-numbered brightness without changing the brightness except for considering the overall brightness variation such as Lambertian.
  • the center of view area can be flattened, such as merging of three views.
  • the pupil position of the initial observation position is located at the center of the visual field of both the left eye and the right eye (the position of the solid eye).
  • the eye moves a certain distance to the right (dotted eye position), and if the initial viewing position is fixed, it will experience crosstalk, which is an overlap between the binocular viewpoints. .
  • the observer position tracking system confirms the three-dimensional movement direction of both observers, and the unit of view of each viewing area is synchronized with the movement direction of both observers.
  • the eyes of each observer are located near the center of the merged field of view, and the crosstalk area with adjacent (merge) field of view is the position of each eye. Get out of the way. Through this, it is possible to not experience the region during the inverted stereoscopic movement of the eye, to minimize the crosstalk phenomenon, and to form a clear three-dimensional image through the field of view where the continuous motion parallax and the brightness change are minimized.
  • an image of a viewpoint existing between respective viewpoint merge points corresponding to both eyes may be removed. This process is applied to each 3D pixel line individually, and this process is applied to the same principle even if the pupils of both eyes move in the depth direction.
  • the present invention is a sum of at least two or more unit views of each viewing area providing a viewpoint image of each observer's eyes.
  • the observer's eyes are always near the center of each corresponding merged view according to or including only the unit view which is outside of the merged view providing the viewpoint image of both observers when the observer moves. It can be located in the advantage that can form a natural three-dimensional image.
  • the parallax image corresponding to the eye is reflected in real time from the tracking information according to the movement of the eye, it is possible to implement a continuous motion parallax without a sudden parallax change.
  • FIG. 26 is a diagram for comparing (a) and (b) a case in which there is one or more viewpoints between the merged time points of the two eyes for the extended viewing region according to an embodiment of the present invention.
  • each eye corresponds to two viewpoints, and there is one viewpoint between each merge point, where each merge point
  • the crosstalk amount can be reduced (diagonally) by removing the video information.
  • each of the viewing zones can be flattened so that the shape of the viewing zone combined with the two can be flattened.
  • each eye corresponds to three viewpoints, and there is no viewpoint between each merge viewpoint. Therefore, as shown in Fig. 26A, the amount of crosstalk is larger than when two viewpoints are merged (diagonal lines).
  • FIG. 27 is a diagram illustrating an example of odd-numbered viewpoint merges for an extended field of view according to an exemplary embodiment of the present invention.
  • FIG. 27 illustrates a case where three viewpoints of each eye are merged.
  • the viewing uniformity of the merge point can be secured by reducing the image brightness of the center view among three viewpoints forming the merge point. That is, when the number of viewpoints forming the merge point is an odd number of 3 or more points, it is preferable to reduce the viewing area brightness at an even point from the start of the viewpoint applied to the viewpoint merge.
  • FIG. 28 is a diagram illustrating an example of even-numbered viewpoint merging for an extended field of view according to an exemplary embodiment of the present invention, and illustrates a case where four viewpoints of each eye are merged.
  • the amount of crosstalk can be reduced by removing an image at one viewpoint between merge points.
  • the brightness of the four viewpoints forming the merged point is the same, and as shown in the example of FIG. 14, the visual field shape of each viewpoint is designed so as to be flattened when merging. It can be secured.
  • control unit 120 of FIG. 9 sets a limit of the movement amount in the depth direction in consideration of the size of the width of the viewing area corresponding to each viewpoint in the application to the change in the depth direction, and reduces the total amount corresponding to this limit. Additional viewpoints corresponding to the width of the field of view may be prepared to minimize the point of view merging and crosstalk even when moving in the depth direction.
  • the controller 120 may maintain the merge view width of the merge view in consideration of the rate at which the observer decreases the width of the unit view formed by one view at the maximum proximity to the 3D image display apparatus 100.
  • the number of points of time forming the first merged point and the second merged point may be changed.
  • 29 and 30 are views illustrating a method of applying 3D pixel-line viewpoint merging in consideration of the binocular position of an observer when the observer moves in the depth direction when there is only one observer.
  • the interval between viewpoints increases or decreases, and when approaching the display side, the interval between viewpoints becomes narrower, and considering the binocular distance, the number of viewpoints required increases.
  • the method of forming a flat field of view using the field of view of the viewpoints generated by each 3D pixel line and minimizing crosstalk when the position is moved can be equally applied.
  • FIG. 29 illustrates a three-dimensional image display apparatus using a parallax barrier designed at 6 o'clock, and a binocular viewpoint interval of 2 o'clock at the optimal observation position.
  • the same viewpoint image is provided at the fourth time point and the fifth time point to form a merged view of the viewpoints, and the same viewpoint image is at the second time point and the third time point.
  • the left eye image and the right eye image of each observer can provide a binocular viewpoint image with a flat, crosstalk minimized.
  • the first and sixth view images which are not used as binocular views may be removed.
  • FIG. 29 provides the same image at the second, third, and fourth time points such that when the observer is located at the second position, both observers are located near the center of the merged field of view; In this case, the same image is provided at the 5th and 6th time points, so as to be the binocular viewpoints of the observers, respectively.
  • the present invention can change the position at which the viewing area is formed according to the observer position for each 3D pixel line. As shown in FIG.
  • the 3D pixel line is paired with the opening.
  • the merged gaze is formed by providing the same image at the fourth eye point to the sixth time point at the observer's left eye position, and the merged by providing the same image at the first point to the third time point at the observer's right eye position.
  • the view and field of view are designed so that the number of viewpoints can be provided in advance as necessary for both eyes, so that crosstalk is always minimized even when moving in the depth direction.
  • Image brightness may be kept flat.
  • the pupil position tracking system 110 of FIG. 9 can track the positions of a plurality of observers, and track each pupil position to the controller 120 of the number of observers and the plurality of observers. It is desirable to convey information of pupil positions.
  • each of the plurality of observer binocular pupils for each viewing area formed by the 3D pixel lines may be selected for each of the selected viewpoints, thereby providing a field of view formed by the merged viewpoints in both eyes of the plurality of observers. In this way, a plurality of observers can provide a viewing area with minimum crosstalk and a uniform brightness distribution.
  • FIG. 31 is a diagram illustrating a case in which a flattened view point is assigned to each observer in the multi-view three-dimensional image display device according to an embodiment of the present invention when two observers are provided. Formed by merging viewpoints, each observer uses four unit views. As a result, both eyes of the two observers are in a uniform viewing position formed by the merged viewpoints of the binocular positions, so that the crosstalk is minimized and the brightness images are uniform. And this method is equally applicable to three or more people.
  • the method of allocating the flattened viewpoint to the plurality of observers described with reference to FIG. 31 may also be applied to a situation where the plurality of observers each move in the depth direction as in the case of FIG. 29.
  • the distance between the binoculars is set to two unit viewpoint intervals at the optimal observation position, and the binocular viewpoints are each formed by two viewpoint merges at the optimal observation position.
  • each of the binocular viewpoints may be formed of three or more viewpoint merges at the optimal observation position.
  • the embodiment of the present invention has been described using only a multi-view three-dimensional image display device using a parallax barrier as an example, the concept of the present invention is to display an image in space, such as a multi-view three-dimensional image display device using a lenticular lens.
  • the present invention is also applicable to various autostereoscopic 3D image displays forming a gaze by the viewpoint images of the panel.
  • FIG. 32 is a plan view illustrating only the liquid crystal display panel of FIG. 10 and the parallax barrier formed in front thereof, as shown in FIG. 32. As shown in FIG. 32, when the openings are continuously present from the top to the bottom, the pixels that form the 3D pixel line by pairing with each opening are indicated by dotted lines in the drawing.
  • the four pixels adjacent to the openings located on the right side of the dotted line also form 3D pixel lines in the form of continuous lines from top to bottom, respectively.
  • the minimum unit of viewing form in the form of such a continuous continuous line is called 3D pixel line in mind.
  • the concept of the present invention is not used only in this conventional form, but the concept of the present invention can also be applied to discontinuous 3D pixel lines for each pixel of a row as shown in FIG.
  • the pixels in each dotted line in FIG. 33 and the opening of the parallax barrier become the minimum unit forming the viewing area of the observation position, and the minimum unit is moved to the right by the size of one subpixel for each pixel of the row.
  • the 3D image display apparatus comprises an image display panel for displaying a 3D image, a control unit for controlling a viewpoint image of each of the 3D pixel lines providing a multiview of at least 4 viewpoints, and a pupil position tracking system for both observers.
  • a three-dimensional image display apparatus first, a three-dimensional coordinate value of a pupil position of both observers is obtained through a pupil position tracking system of both observers.
  • first and second viewpoints close to the center of each observer's pupils for each viewing area formed by 3D pixel lines using the three-dimensional coordinate values of pupil positions of both observers obtained from the pupil position tracking system through the control unit.
  • the controller provides a viewpoint image of one of the observers both eyes at the first viewpoint and a view image of the other of both observers at the second viewpoint.
  • a first merge view is created by providing the same view image as the first view to at least one view adjacent to the first view through the controller, and the same view image as the second view is provided to one or more views adjacent to the second view. It is preferable to further include the step of creating a second merging point.
  • the brightness of each viewpoint forming the first merged time or the second merged time is adjusted so that the brightness of the center portion of each viewpoint merged area formed by the first merged time and the second merged time is flat through the control unit.
  • the number of viewpoints forming the first merge point or the second merge point is an even number of two or more points
  • the brightness of each view point forming the merge point is the same and the shape of the view point of view is adjusted by design change
  • the merge point is
  • the center of the viewing area is flat and the number of viewpoints forming the first merging point or the second merging point is an odd number of 3 or more points
  • the viewing area brightness at an even point from the start point of the starting point of each merging point It is desirable that the center portion of the merged view is flattened by reducing the. Since a detailed description of the viewpoint merging is the same as described above with reference to FIGS. 14-28, the same applies to the method of displaying a multiview 3D image performed in the 3D image display apparatus according to the present invention

Abstract

본 발명은 다수의 관찰자에 적용가능한 동적 시역 확장을 이용한 다시점 3차원 영상표시장치 및 그 방법에 관한 것으로, 3D 영상을 표시하는 영상표시패널과, 3D 화소선들 각각의 시점영상을 제어하는 제어부와, 관찰자 양안의 동공위치 추적시스템을 포함하되, 상기 3D 화소선들 각각은 적어도 4시점 이상의 다시점을 제공하고, 상기 제어부는 상기 관찰자 양안의 동공위치 추적시스템에 의해 판단된 관찰자 양안의 동공위치의 3차원 좌표값을 이용하여, 3D 화소선들별로 형성된 시점의 시역마다 관찰자 양안 동공 각각의 중심과 가까운 제1 시점과 제2 시점을 선택하며, 상기 제1 시점에 관찰자 양안 중 하나의 시점영상을 제공한다.

Description

다수의 관찰자에 적용가능한 동적 시역 확장을 이용한 다시점 3차원 영상표시장치 및 그 방법
본 발명은 3차원 디스플레이 분야에 관한 것으로, 각 시역의 밝기 균일도를 향상시키고 크로스토크(crosstalk) 현상을 최소화하고 시역의 확대 조절로 3차원 공간에서 관찰자가 이동시에도 동적으로 전체 시역을 최적화할 수 있으며, 다수의 관찰자들에게도 적용 가능한 다시점 3차원 영상표시장치 및 그 방법에 관한 것이다.
무안경 방식의 3차원 영상표시장치는 렌티큐라 렌즈(Lenticular lens)나 시차장벽(Parallax Barrier) 등의 광학판을 이용하는 방식 또는 시역형성용 선광원 배열을 이용하는 방식이 있다. 그런데, 시차장벽, 렌티큘러 렌즈 및 시역형성용 선광원 배열을 사용한 3차원 영상표시장치는 원리적으로 동일한 시역 내에서도 눈의 이동에 따른 빛의 분포와 인접 시역의 이미지가 일부 겹쳐지게 되는 크로스토크(crosstalk) 현상이 발생한다. 따라서 관찰자가 이동시 자연스러운 3차원 영상을 구현하기 어려워 관찰자에게 불편함을 유발한다.
도 1은 종래의 시차장벽을 사용한 무안경식 3차원 영상표시장치의 최적관찰위치에서의 수평위치 이동에 따라 각 시점별 시역의 밝기 분포를 나타낸다. 도 1의 시점간 간격이 관찰자의 양안의 동공사이 간격(~65mm)과 동일하다고 할 때, 최적 관찰위치에서 관찰자가 3D 디스플레이 앞에 있고, 제1시역의 중심(A위치)에 관찰자의 왼쪽눈이 위치하고, 오른쪽 눈이 제2시역의 중심(C위치)에 위치할 경우에, 관찰자의 양안이 각각 A지점과 C지점을 벗어나면서 각 시점의 해당 시역의 영상 밝기가 급격히 어두워지는 현상으로 영상의 화질을 저하시킨다. 또한, 제2시역에의 중심에 좌안이 위치한 경우에도 제1시역에 배치된 영상의 일부와 제 3시역의 우안 영상 일부가 들어오며, 제 3시역에 우안 중심이 위치한 상태에도 제 2시역의 좌안 영상일부와 제 4시역 영상의 일부가 들어온다. 따라서 최적 위치에서도 일정량의 크로스토크가 발생하며 최적 위치를 벗어나면 그 양은 증가한다. 특히, 제1시역과 제2시역의 중간위치(B지점)에 관찰자의 왼쪽눈이 위치하고 오른쪽 눈이 제2시역과 제3시역 사이에 위치할 때 가장 큰 크로스토크를 경험하게 되는 문제가 있다. 또한, 관찰자가 정지해 있는 경우에도 시점간 간격은 평균 관찰자의 양안의 동공사이에 맞추어 설계되어 있으므로, 3차원 영상을 관찰하는 관찰자의 양안의 동공사이 간격이 평균에서 벗어나게 되는 경우에도 도 1의 시역의 밝기 분포에서는 좌우의 최적의 밝은 영상을 관측할 수 없는 문제가 발생할 수 있다.
상기의 문제점들은 관찰자가 최적관찰위치에서 크게 벗어나지 않고 3차원 영상을 정지하거나 이동하면서 보는 경우에서의 종래의 무안경방식의 3차원 영상표시장치에서 발생하는 현상이고, 이에 추가하여 관찰자가 깊이방향으로 이동시에 3D 영상을 제대로 볼 수 없는 보다 근본적인 문제점이 있다. 이에 대한 설명은 도 2~5를 참조하여 설명한다.
도 2~5는 종래의 4시점 시차장벽을 이용한 무안경식 3차원 영상표시장치의 일예를 설명하기 위한 도면이다. 최적관찰 위치(OVD)에서는 각 시점의 시역들이 도 1과 같이 분리가 잘되지만, 예를 들어 관찰자가 깊이방향으로 최적관찰거리(Optimum Viewing Distance; OVD) 위치를 벗어나 P1(OVD의 0.5배 거리)의 위치로 이동하면, 최적관찰거리(OVD)에서와 다르게 좌안과 우안의 해당시점의 시역들의 시역분리가 제대로 이루어지지 않고, 인접시역과 중첩되게 되어 제대로 된 3차원 영상을 볼 수 없게 된다(P1 위치에서의 시역분포는 도 4 참조). 여기에서 인접 시역과 중첩되게 표현된 것은 각각의 개구별 시역이 정확히 일치하지 않음으로 해서 동일 시점용 영상들을 모두 합하여 시뮬레이션한 모습이 도 4로 나타난다. 즉 개별 개구의 시역이 개별적으로 커지지는 않는다. 이러한 결과는 개별 개구의 시역 분포도인 도 7와 8로 확인할 수 있다. 이러한 개별 개구의 시역 분포도를 정의하는 개별 개구를 3D화소선이라 정의한다. 이러한 3D화소선은 렌티큐라 방식의 경우 각각의 실린드리컬(cylindrical) 렌즈, 선광원의 경우 각각의 선광원이 된다. 또한 이러한 도 4의 결과는 해석적으로 크로스토크 양이 큼을 나타낸다. 또한 도 2에 도시하지는 않았지만 OVD의 1.5배 거리로 관찰자가 이동하여도 도 5에서와 같이 도 4와 유사한 이유로 시역형성 모양이 달라지게 되어 크로스토크가 증가한다. 이 내용을 도 4의 경우를 들어 좀더 자세히 설명하면 도 2의 P1위치 점선이내의 시역들 경계선 교차 상황을 보면 P1의 깊이 위치에서, 예를 들어 e1의 위치에 동공이 오게 되면, 중앙의 개구를 통해 3번 시역은 중심 부근으로 3D영상을 볼 수 있지만 좌측 개구로부터 들어오는 3D영상은 1번 시역과 2번 시역의 경계에 있음으로 해서 최대 크로스토크 상황을 경험하게 된다. 또한 우측 개구로부터 들어오는 3D 영상은 그림에 정확히 도시되지는 않았지만 4번 시역과 부시역의 1번 시역의 경계에 있으므로, 최대의 크로스토크와 역시역 상황을 경험하게 된다. 따라서 모든 개구를 고려하면 어느 한 화소의 시역의 중심에 동공하나가 존재하여도 경우에 따라 다른 개구의 시역중 동공 중심에 가장 가까운 시역을 골라도 시역들의 경계선에 동공이 존재하는 경우 전체 개구를 고려하면 다수 존재할 수 있다. 이러한 상황에서는 앞에 설명한 것처럼 개구별 크로스토크 최대 또는 이와 근접하는 경우를 다수 경험할 수 밖에 없다. 따라서 평균적으로 크로스토크가 증가한다. 이러한 상황은 OVD보다 멀어지는 경우에도 발생한다. 따라서 OVD를 많이 벗어나면 어느 위치에서도 크로스토크가 많은 양 발생할 수 밖에 없다.
마지막으로, 종래의 무안경방식 3차원 영상표시장치는 일반적으로 1인의 관찰자에 대해 3차원 영상을 볼 수 있게 설계되어져 있고, 복수의 관찰자에 대해서는 한정된 위치 즉, 최적관찰위치 내에서의 특정위치에 있는 복수의 관찰자에게만 각자 위치에서의 3차원 영상을 볼 수 있다.
따라서 상기에 거론된 4가지 문제점에 대한 해결책을 제시하여 복수의 관찰자가 자유롭게 움직이면서도, 자연스러운 3차원 영상을 볼 수 있는 무안경식 3차원 영상표시장치가 요망되어 왔다.
본 발명은 전술한 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 실시간 동공추적 상황에서 양안 동공의 위치 각각에 해당하는 각 시역의 밝기 균일도를 향상시키고 크로스토크(crosstalk) 현상을 최소화하여 3차원 공간에서 관찰자가 이동시에도 동적으로 전체 시역을 최적화할 수 있는 동공추적 방식의 무안경 방식의 다시점 3차원 영상표시장치 및 그 방법을 제공하는데 있다.
아울러, 이러한 다시점 3차원 영상표시장치 및 방법을 1인용 또는 다수인 용으로 구현하는 것을 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 일측면은 다시점 3차원 영상표시장치에 있어서, 3D 영상을 표시하는 영상표시패널, 3D 화소선들 각각의 시점영상을 제어하는 제어부 및, 관찰자 양안의 동공위치 추적시스템을 포함하되, 상기 3D 화소선들 각각은 적어도 4시점 이상의 다시점을 제공하고, 상기 제어부는 상기 관찰자 양안의 동공위치 추적시스템에 의해 판단된 관찰자 양안의 동공위치의 3차원 좌표값을 이용하여, 3D 화소선들별로 형성된 시점의 시역마다 관찰자 양안 동공 각각의 중심과 가까운 제1 시점과 제2 시점을 선택하며, 상기 제1 시점에 관찰자 양안 중 하나의 시점영상을 제공하고, 상기 제2 시점에 관찰자 양안 중 다른 하나의 시점영상을 제공한다.
이러한 영상표시패널은, 시차분리수단인 시차장벽 또는 렌티큐라 렌즈를 이용하거나, 선광원을 이용하여 3D 영상을 표시하고, 상기 3D 화소선들은, 상기 시차장벽의 개구부, 상기 렌티큐라 렌즈 또는 선광원들과, 각각의 시점영상을 제공하는 상기 영상표시패널상의 화소들로 이루어지는 것이 바람직하다.
상기 제어부는, 상기 제1 시점에 인접한 하나 이상의 시점에 상기 제1 시점과 동일 시점영상을 제공하여 제1 병합시점을 만들고, 상기 제2 시점에 인접한 하나 이상의 시점에 상기 제2 시점과 동일 시점영상을 제공하여 제2 병합시점을 만드는 것이 바람직하다.
상기 제어부는, 상기 제1 병합시점과 상기 제2 병합시점에 의해 형성된 각각의 시점병합 시역의 중앙부위 밝기가 평탄하도록, 상기 제1 병합시점 또는 상기 제2 병합시점을 이루는 각각의 시점들의 밝기를 조절하는 것이 바람직하다.
상기 제어부는, 3D화소선으로부터 형성되는 각각의 시점 시역의 형태가 병합하였을 때 병합시역의 중앙부가 평탄하도록, 시차장벽의 개구폭, 렌티큐라 렌즈의 초점거리, 또는 선광원의 선폭을 조절하는 것이 바람직하다.
상기 제어부는, 상기 제1 병합시점 또는 상기 제2 병합시점을 이루는 각각의 시점들의 개수가 3시점 이상의 홀수인 경우, 병합시점을 이루는 각 시점 중 시작 시점으로부터 짝수 번째의 시점의 시역 밝기를 줄여서 병합시점 시역의 중앙부가 평탄하도록 하는 것이 바람직하다.
상기 제어부는, 상기 제1 병합시점과 제2 병합시점 사이에 적어도 하나의 중간시점들이 존재할 경우, 상기 적어도 하나의 중간시점들에 영상데이터를 제거하여 크로스토크를 최소화하는 것이 바람직하다.
상기 제어부는, 관찰자가 깊이방향으로 이동할 때 각각의 시점에 해당하는 시역의 폭이 줄어드는 크기를 고려하여 깊이방향으로 이동량의 한계를 정하고, 이러한 한계에 해당하여 축소되는 총 시역의 폭에 해당하는 추가 시점을 제공하여, 깊이방향의 이동에도 시점병합과 크로스토크의 최소화가 가능하게 함이 바람직하다.
상기 관찰자 양안의 동공위치추적시스템에 의해 판단된 관찰자 양안위치정보를 이용하여 관찰자의 양안이 정시역에 모두 포함되도록 3D 화소선을 이루는 화소들을 설정한 후에, 상기 제1 병합시점과 제2 병합시점을 만드는 것이 바람직하다.
상기 제1 병합시점과 제2 병합시점은 정시역의 시점들과 이와 중첩되지 않는 부시역의 시점들로 만드는 것이 바람직하다.
상기 제어부는, 관찰자가 깊이방향으로 이동할 때, 상기 3차원 영상표시장치와의 최대 근접거리에서의 한 개의 시점에 의해 형성되는 단위시역의 폭이 줄어드는 비율 또는 상기 3차원 영상표시장치와의 최대 원거리에서의 한 개의 시점에 의해 형성되는 단위시역의 폭이 늘어나는 비율을 고려하여, 상기 제1 병합시점과 제2 병합시점의 병합시역의 폭이 유지될 수 있도록, 상기 제1 병합시점과 제2 병합시점을 이루는 시점의 개수를 변경하는 것이 바람직하다.
상기 관찰자의 동공위치 추적시스템은 복수의 관찰자의 위치를 추적할 수 있으며, 각각의 동공위치를 추적하여 상기 제어부에 관찰자의 인원과 복수의 관찰자의 동공 위치들의 정보를 전달하는 것이 바람직하다.
상기 제어부는 상기 관찰자의 동공위치 추적시스템에 의해서 실시간으로 추적된 복수의 관찰자의 동공위치의 3차원 정보들을 이용하여, 3D 화소선들별로 형성된 시점의 시역마다 복수의 관찰자 양안 동공 각각의 중심과 가까운 시점들을 선택하며, 상기 선택된 각 시점들마다 하나이상의 인접시점들을 병합하여 복수의 관찰자의 양안에 각각 병합시점에 의해 형성된 시역을 제공하는 것이 바람직하다.
상기 제어부는, 복수의 관찰자의 양안에 제공되는 각 병합시점 사이에 적어도 하나의 중간시점들이 존재할 경우, 상기 적어도 하나의 중간시점들의 영상데이터를 제거하여 크로스토크를 최소화하는 것이 바람직하다.
상기 3D화소선의 길이가 한 화소단위 크기 이상이며, 시점영상을 표시하는 화소들을 합한 크기 이하이어서, 3D화소점의 효과를 줌이 바람직하다.
상기 목적을 달성하기 위한 본 발명의 다른 측면은, 3D 영상을 표시하는 영상표시패널과, 적어도 4시점 이상의 다시점을 제공하는 3D 화소선들 각각의 시점영상을 제어하는 제어부와, 관찰자 양안의 동공위치 추적시스템을 포함하는 3차원 영상표시장치를 이용하여 다시점 3차원 영상을 표시하는 방법으로서, 상기 관찰자 양안의 동공위치 추적시스템을 통해 관찰자 양안의 동공위치의 3차원 좌표값을 획득하는 단계, 상기 제어부를 통해 상기 동공위치 추적시스템으로부터 획득된 관찰자 양안의 동공위치의 3차원 좌표값을 이용하여, 3D 화소선들별로 형성된 시점의 시역마다 관찰자 양안 동공 각각의 중심과 가까운 제1 시점과 제2 시점을 선택하는 단계 및, 상기 제어부를 통해 상기 제1 시점에 관찰자 양안 중 하나의 시점영상을 제공하고, 상기 제2 시점에 관찰자 양안 중 다른 하나의 시점영상을 제공하는 단계를 포함한다.
상기 영상표시패널은 시차분리수단인 시차장벽 또는 렌티큐라 렌즈를 이용하거나, 선광원을 이용하여 3D 영상을 표시하고, 상기 3D 화소선들은, 상기 시차장벽의 개구부, 상기 렌티큐라 렌즈 또는 선광원들과, 각각의 시점영상을 제공하는 상기 영상표시패널상의 화소들로 이루어지는 것이 바람직하다.
상기 제어부를 통해 상기 제1 시점에 인접한 하나 이상의 시점에 상기 제1 시점과 동일 시점영상을 제공하여 제1 병합시점을 만드는 단계 및 상기 제어부를 통해 상기 제2 시점에 인접한 하나 이상의 시점들에 상기 제2 시점과 동일 시점영상을 제공하여 제2 병합시점을 만드는 단계를 더 포함하는 것이 바람직하다.
상기 제어부를 통해 상기 제1 병합시점과 상기 제2 병합시점에 의해 형성된 각각의 시점병합 시역의 중앙부위 밝기가 평탄하도록, 상기 제1 병합시점 또는 상기 제2 병합시점을 이루는 각각의 시점들의 밝기를 조절하는 것이 바람직하다.
이상에서 설명한 바와 같은 본 발명의 무안경 방식의 다시점 3차원 영상표시장치 및 그 방법에 따르면, 종래 기술의 문제점을 해결하고 관찰자가 자유롭게 움직이면서 피로감 없이 편안하게 시청할 수 있는, 즉 양안시점 사이의 크로스토크가 최소화되고 깊이방향이동에도 선명한 3차원영상을 볼 수 있는, 3차원 디스플레이 장치를 구현할 수 있다.
이를 구체적으로 살펴보면, 첫째로, 종래 기술에서 최적의 관찰위치에서도 3차원 영상을 볼 때 관찰자의 양안시점의 시역이 일부 중첩되어 크로스토크 현상이 발생하지만, 본 발명의 3차원 디스플레이 장치는 관찰자 양안의 동공에 해당하는 양안시점과 그의 하나 이상의 인접시점에 동일 영상을 제공하고, 이렇게 병합된 양안의 시점들 중 필요한 시점 또는 시점들의 영상 밝기를 변경시킴으로써 크로스토크 현상이 발생하지 않는 시역을 확장시키고, 병합된 시역 내에서 밝기변화가 최소화되게 함으로써, 관찰자의 눈이 해당시점 시역의 중심위치에 있지 않은 경우 또는 관찰자의 눈의 3차원 공간상에서 이동하여도 크로스토크 현상이나 영상의 밝기 변화가 최소화된 선명한 3차원 영상을 관찰할 수 있다.
둘째로, 관찰자의 양안사이의 거리가 평균적인 양안 사이의 거리(약 65mm 정도)보다 커지거나 작아지는 경우에는 종래 기술의 3차원 영상을 관찰할 경우 아무리 조정해도 최적의 3차원 영상을 볼 수 없는 문제가 있으나, 본 발명의 3차원 디스플레이 장치는 크로스토크 현상이 발생하지 않는 최적 관찰시역을 충분히 넓게 형성하여 평균 양안 사이의 거리가 상이한 관찰자가 관찰하더라도 선명한 3차원 영상을 볼 수 있는 이점이 있다.
세째로, 종전에는 최적관찰위치에서 벗어나서 관찰자가 깊이방향으로 이동시에 선명한 3차원 영상을 관찰할 수 없었지만, 본 발명의 3차원 디스플레이 장치는 3D 화소선별 병합시점을 제어하여 관찰자가 깊이방향으로 움직이더라도 선명한 3차원 영상을 계속적으로 볼 수 있는 이점이 있다.
넷째로, 본 발명의 무안경 방식의 다시점 3차원 영상표시장치 및 그 방법은 1인용 뿐만 아니라 관찰자가 다수인 경우에도 적용할 수 있는 효과가 있다.
도 1은 종래의 무안경식 3차원 영상표시장치의 관찰자 위치에서의 일반적인 시역 분포를 설명하기 위한 개념도이다.
도 2는 종래의 시차장벽을 이용한 3차원 영상표시장치의 깊이방향의 관찰자 이동시에 발생되는 문제점을 설명하기 위한 개념도로서, 도 3는 종래의 시차장벽을 이용한 3차원 영상표시장치에서 최적관찰위치에서의 시역분포를 나타내고, 도 4는 관찰자가 깊이방향으로 P1위치로(OVD 깊이의 1/2거리) 이동시 시역별 불일치로 인한 크로스토크 증가를 나타내고, 도 5는 OVD거리보다 더 먼 OVD 1.5배 거리에서 발생하는 크로스토크 증가를 나타내고, 도 6는 개별 3D화소선 별로 시역을 고려하는 경우에 개별 3D화소선별 OVD에서의 시역분포를 나타내고, 도 7는 깊이 방향으로 P1으로 이동시(OVD의 1/2)의 개별 3D화소선별 시역분포를 나타내고, 도 8는 OVD에서 멀어지는 방향으로 OVD깊이 거리의 1.5배 이동한 경우의 개별 3D화소선별 시역분포를 시뮬레이션한 결과이다.
도 9은 본 발명의 바람직한 실시예에 따른 다시점 3차원 영상표시장치를 설명하기 위한 블록도이다.
도 10 및 도 11는 시차장벽을 이용하는 경우의 3D 화소선 개념을 설명하기 위한 개념도이다.
도 12 및 도 13는 본 발명에서 구현하고자 하는 바람직한 시역의 밝기 분포와 시역 배치에 관해 설명하기 위한 개념도이다.
도 14~24 및 도 25은 본 발명의 실시예에 따른 확장된 시역을 보이는 예시도이다.
도 26은 본 발명의 실시예에 따른 확장된 시역에 대해 양안의 병합시점 사이에 하나 이상의 시점이 있는 경우(a)와 없는 경우(b)를 비교하기 위한 도면이다.
도 27는 본 발명의 실시예에 따른 확장된 시역에 대해 홀수개 시점병합의 일 예를 나타낸 도면이다.
도 28은 본 발명의 실시예에 따른 확장된 시역에 대해 짝수개 시점병합의 일 예를 나타낸 도면이다.
도 29 및 도 30는 관찰자가 한 명인 경우 본 발명의 일 실시예에 의한 다시점 3차원 영상표시장치에서 관찰자가 깊이 방향으로 이동하는 경우를 예시하는 도면이다.
도 31는 관찰자가 두 명인 경우 본 발명의 일 실시예에 의한 다시점 3차원 영상표시장치에서 관찰자 각각에 평탄화된 병합시점이 할당되는 경우를 예시하는 도면이다.
도 32는 도 10의 영상표시패널과 그 앞에 형성된 시차장벽만을 나타내어 평면적으로 표현한 개념도, 도 33는 행의 화소들별로 불연속적인 3D화소선에도 본 발명의 개념을 적용할 수 있음 설명하기 위한 개념도이다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세하게 설명하기로 한다. 그러나, 이하의 실시예는 이 기술분야에서 통상적인 지식을 가진 자에게 본 발명이 충분히 이해되도록 제공되는 것으로서 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 다음에 기술되는 실시예에 한정되는 것은 아니다.
도 9을 참조하여 본 발명의 바람직한 실시예에 의한 무안경식 3차원 영상표시장치에 대해 설명한다.
도 9은 본 발명의 바람직한 실시예에 따른 3차원 영상표시장치를 설명하기 위한 블록도이다. 본 발명의 바람직한 실시예에 따른 3차원 영상표시장치(100)는 3차원 영상표시패널(130) 및, 3D화소선들 각각의 시점영상을 제어하는 제어부(120)를 포함한다. 이러한 3D화소선들 각각은 4시점 이상의 다시점을 제공하는 것이 바람직하다.
본 발명의 바람직한 실시예에 따른 3차원 영상표시장치(100)는 관찰자의 동공위치를 판단하여 제어부(120)에 위치정보를 전달해주는 관찰자의 동공위치 추적시스템(110)을 더 구비할 수 있다. 제어부(120)는 동공위치 추적시스템(110)으로부터 전달된 위치 정보를 이용하여 관찰자의 눈의 위치에 따라 각각의 3D화소선별로 좌안 시역과 우안 시역을 재배치하고, 각 시역에 특정 영상 정보를 제공할 수 있도록 영상표시패널(130)을 제어한다. 그리고, 제어부(120)는 동공위치 추적시스템(110), 영상표시패널(130)을 전체적으로 동작을 제어한다. 즉, 제어부는 관찰자 양안의 동공위치 추적시스템에 의해 판단된 관찰자 양안의 동공위치의 3차원 좌표값을 이용하여, 3D 화소선들별로 형성된 시점의 시역마다 관찰자 양안 동공 각각의 중심과 가까운 시점을 선택하며, 그 각 시점에 해당 시점영상을 제공한다.
영상표시패널(130)은 3차원 영상을 표시하기 위해 시차분리 수단인 시차장벽 또는 렌티큐라 렌즈를 이용하거나, 선광원을 이용할 수 있다. 시차분리 수단인 시차장벽 또는 렌티큐라 렌즈는 좌안 및 우안의 영상을 일정한 관찰거리에서 관찰자가 3차원 영상을 관찰할 수 있도록 좌안 및 우안의 영상을 분리시켜 교대로 형성될 수 있도록 하는 광학판이다. 시차장벽(Parallax barrier)은 차광부(barrier)와 개구부(aperture)가 교대로 형성된 것이며, 렌티큐라 렌즈(lenticular lens)는 예를 들어 실린드리컬 형태의 렌즈가 주기적으로 형성된 것을 이용할 수 있다. 하지만 시차분리 수단은 이것에 한정되지 않으며, 마이크로 프리즘(micro prism)이 주기적으로 배치된 광학판 등 본 발명의 목적을 달성하기 위해 다양한 수단을 이용할 수 있음은 물론이다. 선광원도 3차원 영상을 표시하기 위한 점광원으로 이루어진 선광원 등 여러가지 종류를 모두 포함한다.
본 발명에서 동적으로 시역을 재구성하기 위하여, 시차장벽 또는 렌티큐라 렌즈 광학판의 경우와 선광원 배열을 시역형성용 광원으로 사용하는 경우에 대해 3D화소선의 개념을 이용한다. 3D화소선이란 시차장벽의 개구부, 렌티큐라 렌즈, 또는 선광원들과, 각각의 시점영상을 제공하는 영상표시패널상의 화소들로 이루어진다. 도 10는 시차장벽을 이용하는 경우의 3D화소선 개념을 설명하기 위한 개념도인데, 도 10는 수직한 3D 화소선이 사용된 경우를 나타내고, 도 11는 경사진 3D 화소선이 사용된 경우를 나타낸다.
도 10 및 도 11를 참조하면, 다시점을 제공하는 무안경식 3D 영상표시장치에서 시차장벽을 사용하면 각각의 화소선 마다 필요한 다시점 수의 시점에 해당하는 시역을 생성하는데, 도 10 및 도 11에서는 4시점이므로 4개의 단위 시역이 생성됨을 보여준다.
이렇게 3D화소선 개념을 이용하는 이유는 통상적인 3D 영상표시장치는 특정관찰자 위치(최적 위치)에서만 시점영상의 분리가 제대로 이루어지므로, 깊이 방향의 관찰위치가 제한되기 때문이다. 상기에 논의한 3D화소선 개념을 사용하여 관찰자 위치가 깊이방향으로 변함에 따라 동일한 시차장벽의 개구부와 쌍을 이루어 3D 화소선을 만드는 화소들을 변경하고, 관찰자 눈의 위치에 따라 3D화소선 마다 제어하게 되면, 도 3의 OVD 위치에서의 시역 분포와 유사한 형태로 관찰자의 깊이방향 이동시에도 시역이 형성되게 할 수 있다. 이렇게 하나의 3D화소선은 관찰자에게 시점영상을 제공하는 최소단위가 되고, 복수개의 전체 3D화소선에 의해 전체화면의 입체영상을 볼 수 있다. 따라서 이러한 3D화소선 별 시역을 고려하면 깊이 방향의 관찰자 이동에서도 도 4와 같이 시역분리가 제대로 이루어지지 않아 3차원 영상을 제대로 볼 수 없는 문제를 해결 할 수 있다. 3D 화소선별 시역을 형성한다고 하더라도, 도 3의 OVD 위치에서의 시역모양에서는 양안 시점간의 크로스토크와 3차원 영상의 밝기 균일도 문제가 발생할 수 있는데, 이것에 대해서는 관찰자의 양안 동공위치 정보를 이용하여 동공위치의 중심과 가장 가까운 3D 화소선별 시점을 선택하고, 선택된 시점과 인접 단위시점을 병합하여 시점병합의 이점(즉 크로스토크를 최소화하고 균일한 시역의 밝기분포를 형성)을 얻을 수 가 있다. 또한 이러한 3D 화소선에 따른 제어와 시점병합 방법은 일반적인 시역 설계 및 IP(Integral Photography) 방식에도 적용 가능하다. 이에 대해서는 도 14 이하 도면과 함께 설명할 것이다.
또한, 도 10와 도 11에는 3D 화소선 마다 형성되는 4개 시역으로 이루어진 정시역만을 표시하였으나, 상기 정시역 옆에 인접한 4개 시역으로 이루어진 부시역이 존재한다. 이 부시역은 정시역을 만드는 화소들과 인접한 화소들(이 경우에는 인접한 4개의 화소들)과 개구부로 이루어진 3D 화소선에 의해 형성된다. 관찰자 양안이 정시역 영역에 있다가, 미도시된 부시역 영역에 오거나, 정시역과 부시역 사이에 오게 되면, 관찰자 양안의 위치를 실시간으로 파악하여 적절한 3D 화소선을 이루는 개구부와 화소들의 쌍을 선택하여 양안이 정시역에 모두 포함되도록 할 수 있다. 결국, 종래의 무안경식 3차원 영상표시장치와 다르게, 관찰자 위치를 추적하여 적절한 3D 화소선에 할당되는 영상표시 패널의 화소들을 재구성하는 방법을 이용하여 시점영상을 제공함으로써, 관찰자가 항시 정시역의 영역에 있도록 조정할 수 있다.
도 12는 관찰위치에서의 인접 단위시역간에 간섭이 없는 이상적인 영상의 빛의 세기 분포를 설명하기 위한 개념도이고, 도 13는 본 발명에서 구현하고자 하는 사다리꼴 형상의 시역을 설명하기 위한 개념도이다.
도 12 및 도 13를 참조하면, 도 12와 같이 인접 단위시역간에 간섭이 없는 이상적인 영상의 빛의 세기 분포는, 일정한 관찰위치에서 수평이동시에 제1 시역과 인접 시역인 제2 시역간의 경계가 명확하여 순간적으로 시역 이동이 있으며, 각 시역의 빛의 세기 분포 역시 동일 시역내에서 일정하다.
하지만, 이러한 이상적인 시역 대역을 구현하기는 현실적으로 한계가 있고, 도 13에 도시된 바와 같은 인접 시역간의 일부 겹침현상이 발생할 수 있으나, 도 1과 비교하면 각 시역내의 영상의 빛의 세기를 균일하게 형성하는 것은 가능하다.
일반적으로는 도 1에서와 같은 시역은 크로스토크에 취약하다. 그러므로, 도 12와 같은 사각형의 시역을 형성하는 것이 이상적이나 현실적으로는 여러 가지 방법을 사용하여도 도 12와 같이 만들기는 어렵고, 도 13와 같은 사다리꼴에 가까운 시역을 형성하게 할 수는 있다. 이러한 경우 도 1과 비교하여 크로스토크를 줄일 수 있고 시역내의 밝기 분포도 균일하게 유지할 수 있어 장점을 갖게 된다.
즉, 본 발명은 상기와 같이 각각의 3D 화소선에 의해 생성되는 한 시역 내의 영상을 표현하는 빛의 세기가 균일한 영역을 가급적 확장시키고, 관찰자 양안 동공에 해당하는 두 시점 각각의 시역간의 겹침이 발생하는 영역을 최소화하여 양안시점간의 크로스토크의 발생을 최소화 한다. 목적상으로 시역의 형태로는 도 12 내지 도 13에 최대한 가까운 형태로 각각의 3D 화소선에 의해 형성되는 시역을 형성하는 것이다.
따라서 본 발명의 바람직한 실시예는 양안 동공 중심 해당 시점과 이 시점들과 이웃하는 시점 또는 시점들의 영상 밝기를 조절하고 양안 중 해당하는 동공에 적용되는 영상과 동일한 데이터를 제공하여 시점들을 합치는 방법을 이용한다.
이렇게 양안의 동공 각각에 해당하는 시점과 그 주변 시점들에 해당 동공 시점 영상과 동일한 영상을 제공하고, 이렇게 동일한 영상을 주는 시점들의 밝기 가중치를 적용하거나 시역의 모양이 단순히 병합이 되었을 때 도 14 (a) 또는 (f)의 예에서와 같이 평탄화 되도록 설계 하여 시역의 밝기가 평탄화된 영역을 넓힐 수 있으며, 이러한 방법을 시점 병합이라 정의한다. 이러한 시점병합을 도 10 내지 도 11와 함께 설명한 3D 화소선 별로 적용한다.
이와 같이 시역의 밝기를 평탄화시키고 크로스토크를 최소화시키기 위하여 시점병합된 시역이 직사각형 또는 실질적으로는 직사각형에 가까운 형태를 가질 수 있도록 단위 시역과 시역별 밝기조절을 적용한다.
여기에서 디스플레이의 밝기 분포가 각도에 따라 램버시안 형태 또는 이와 유사한 분포를 갖게 되는데, 이러한 상황에서 밝기조절은 각 시점병합 내에서 밝기 기울기를 가지지 않도록 조절할 수도 있고 양안에 해당하는 두 시점병합 각각의 밝기 차가 발생하지 않도록 밝기조절을 추가로 적용할 수 있다.
이러한 시점병합을 생성할 때 좌안에 해당하는 시점병합에 포함된 시점과 우안의 시점병합에 포함된 시점들이 서로 겹치는 경우가 없도록 조절하는 것이 바람직하다. 그리고, 이러한 시점병합은 각각의 3D 화소선 마다 선택하여 전체 화면을 구성한다. 또한, 이러한 시점의 선택은 관찰자의 깊이 방향에 대한 이동에도 유사하게 적용한다.
이하 도 14 내지 도 28을 참조하여 시점병합에 대해 더욱 상세하게 설명한다.
도 14 및 도 25은 본 발명의 실시예에 따른 확장된 시역을 보이는 예시도이다.
도 14를 참조하면, 일 예로 두 개의 인접한 단위시역에 동일한 영상 정보를 입력하도록 영상신호처리를 수행하고, 3D 화소선에 의해 생성되는 두 시점의 시역이 합쳐질 때 중앙부위가 평탄해지도록 두 시점의 시역을 설계하면, 양안 각각의 각 시역에서 빛의 세기가 균일한 시역의 영역(UR)을 넓힐 수 있고 상대적으로 크로스토크 현상이 발생하는 영상 겹침 영역(OR)을 감소시킬 수 있다.
도 14에 도시된 바와 같이, 한쪽 눈에 해당하는 시역을 짝수의 시점병합으로 생성할 때 램버시안과 같은 전체적 밝기변화를 제외하고는 각 시점의 밝기변화를 조정할 필요가 없이 합쳐졌을 때 시역 중앙부가 평탄화시킬 수 있도록 시점의 시역들을 설계하여 시점병합을 적용한다. 따라서, 시점병합에 적용되는 시점 수가 2, 4, 6, 8... 등 짝수일 경우 동일하게 적용한다.
도 14에 도시된 바와 같이 인접한 2개 이상의 단위시역을 합쳐서 평탄한 병합시역을 형성하도록 하는 방법은 3D 화소선의 종류에 따라 달라질 수 있다.
우선, 3D 화소선이 시차장벽의 개구부와 시점영상을 제공하는 영상표시패널의 화소들로 구성되는 경우에, 도 14와 같이 2개의 인접 단위시점을 합쳐서 병합시점을 형성하고 병합시점의 균일도를 확보하기 위해서는, 시차장벽의 개구폭을 조절할 수 있다. 이의 구체적인 전산모사의 조건과 그 결과는 다음과 같다.
<전산모사 조건>
영상표시패널 화소폭 0.1mm,
시점수: 4시점,
시점간 간격: 32.5mm,
최적관찰위치: 1000mm
시차장벽과 영상표시패널 사이거리: 3.0769 mm
3D 화소선의 경사각도(Rad): Tan-1(1/3) Radians.
상기와 같은 조건에서 도 15는 시차장벽의 개구폭이 0.0897mm (통상적인 개구폭)인 경우, 도 16는 시차장벽의 개구폭이 0.08 mm 인 경우, 도 17는 시차장벽의 개구폭이 0.06 mm 인 경우, 도 18는 시차장벽의 개구폭이 0.04 mm 인 경우, 도 19는 시차장벽의 개구폭이 0.02 mm 인 경우를 나타낸 것이다.
상기 3D 화소선을 이루는 시차장벽의 개구폭을 통상적인 개구폭(도 15의 경우) 보다 줄여주게 되면, 인접 2개의 시점병합된 시역의 중심부에 균일한 시역부분의 영역을 넓혀 줄 수 있음을 보여준다.
만약 렌티큐라 렌즈가 3D화소선의 구성요소일 경우에는 렌티큐라 렌즈의 초점거리를 변경함에 따라 시차장벽 방식의 3D화소선별 병합시점의 균일한 영역을 넓혀줄 수 있다. 렌티큐라 렌즈를 사용하는 3D화소선의 전산모사 조건과 그 결과는 다음과 같다.
<전산모사 조건>
영상표시패널 화소폭 0.1mm,
시점수: 4시점,
시점간 간격: 32.5mm,
최적관찰위치: 1000mm
렌티큐라 렌즈와 영상표시패널 사이거리: 3.0769 mm
3D 화소선의 경사각도(Rad): Tan-1(1/3) Radians.
상기와 같은 조건에서 도 20는 렌티큐라 렌즈의 초점거리가 2.4 mm 인 경우, 도 21는 렌티큐라 렌즈의 초점거리가 2.8 mm 인 경우, 도 22는 렌티큐라 렌즈의 초점거리가 3.2 mm 인 경우, 도 23는 렌티큐라 렌즈의 초점거리가 3.6 mm 인 경우, 도 24는 렌티큐라 렌즈의 초점거리가 4.5 mm 인 경우이다.
도 20~24를 참조하면, 상기 3D 화소선을 이루는 렌티큐라 렌즈의 초점거리를 변경하여 인접 2개의 시점병합된 시역의 중심부에 균일한 시역부분의 영역을 넓혀 줄 수 있음을 보여준다. 상기 전산모사 조건에서는, 렌티큐라 렌즈의 초점거리가 렌티큐라 렌즈와 영상표시패널 사이 간격과 유사할 경우 병합시점의 균일영역이 커지게 되고, 이로부터 벗어나게 될수록 균일시역이 줄어들게 됨을 보여준다.
또한, 시차장벽의 개구부, 렌티큐라 렌즈의 초점거리 조정과 같이, 선광원이 3D 화소선의 구성요소인 경우에는 선광원의 선폭을 조절하여 병합시점의 균일시역을 넓혀 줄 수 있다.
도 25의 실시예는 3D 화소선에 의해 생성되는 3개의 단위시역이 합쳐져서 형성된 좌안과 우안의 시역을 보여주고 있다. 여기에서 도 25과 같이 3개 시점의 시점병합에 의한 시역 평탄화를 위하여 초기 짝수 시점의 시점병합과 같이 밝기 조절 없이 중앙시역을 평탄화시킬 수 있도록 시점들의 시역을 설계할 수도 있고, 도 27에 보여지듯이 3시점 중 중앙 시점의 밝기를 조절함으로써 평탄화를 실행할 수 있다.
이렇게 시점병합에 적용되는 시점수가 3시점 이상 홀수인 경우 시점병합에 적용되는 시점의 시작으로부터 홀수 번째의 시점은 램버시안과 같은 전체 밝기 변화의 고려를 제외하고는 밝기변화를 주지 않고 짝수 번째의 밝기변화를 적용함으로써 3시점의 시점병합과 같이 시역 중앙부의 평탄화를 이룰 수 있다. 이러한 적용은 각각의 눈에 해당하는 시점병합에 개별적으로 적용할 수 있다.
한편, 도 25의 예에서 초기 관찰위치의 동공 위치는 왼쪽 눈과 오른쪽 눈 모두 시역의 중앙부분에 위치한다(실선인 눈의 위치). 이때, 관찰자의 눈이 이동하는 예로 눈이 오른쪽으로 일정거리 이동하고(점선인 눈의 위치), 초기의 시역위치가 고정되어 있는 경우에는 양안시점의 시역간 겹침현상인 크로스토크를 경험하게 될 것이다.
이에 본 발명은 관찰자위치추적 시스템에 의해 관찰자 양안의 3차원적 이동방향을 확인하고, 관찰자 양안의 이동방향에 동기되어 좌안과 우안 각각의 시역에 포함되어 있는 각각의 3D 화소선별로 단위시역의 영상정보를 순차적으로 변경하여, 관찰자 양안의 위치가 3차원적으로 이동하더라도 관찰자 각각의 눈이 해당 병합시역의 중심 근처에 위치하게되고, 인접한 (병합)시역과의 크로스토크 영역이 각각의 눈의 위치에서 벗어나게 된다. 이를 통하여 눈의 이동시 역입체시 영역을 경험하지 않을 수 있고, 크로스토크 현상도 최소화되고, 연속적인 운동시차와 밝기 변화가 최소화된 시역을 통하여 선명한 3차원 영상을 형성할 수 있다.
그리고, 크로스토크를 최소화하기 위하여 양안에 해당하는 각각의 시점병합 시점들 사이에 존재하는 시점의 영상을 제거할 수 있다. 이러한 과정은 각각의 3D 화소선 모두에 개별적으로 적용하며 이러한 과정은 양안의 동공이 깊이방향으로 움직여도 같은 원리로 적용한다.
한편, 위치추적센서를 이용한 동공위치 추적시스템이 종래의 3차원 영상표시장치에 사용된 경우도 있지만, 본 발명은 관찰자 양안 각각의 시점영상을 제공하는 각각의 시역이 적어도 2개 이상의 단위시역의 합으로 구현되어 있으므로, 관찰자의 이동시에 관찰자 양안의 시점영상을 제공하는 병합된 시역의 외곽에 있는 단위시역만을 병합시역에 포함시키거나 뺌에 따라, 관찰자 양안이 항상 각각의 해당 병합된 시역의 중심부 근처에 위치할 수 있도록 하여 자연스러운 3차원 영상을 형성할 수 있다는 장점이 있다. 또한, 눈의 이동에 따른 추적 정보로부터 그 눈에 해당하는 시차 영상을 실시간 반영하면 급격한 시차 변화가 없는 연속적 운동시차를 구현할 수 있다.
도 26은 본 발명의 실시예에 따른 확장된 시역에 대해 양안의 병합시점 사이에 하나 이상의 시점이 있는 경우(a)와 없는 경우(b)를 비교하기 위한 도면이다.
도 26의 (a)를 참조하면, 시점병합에 적용되는 시점수가 6시점일 경우, 각 눈에 해당시점은 2개로 시점병합되고, 각 병합시점 사이에 하나의 시점이 있으며, 이 때 각 병합시점 사이 시점에는 영상정보를 제거함으로써 크로스토크 양을 감소(사선부분)할 수 있다. 한편, 2개로 시점병합의 경우 각각의 시역을 적절히 설계하면 둘을 합친 시역의 모양이 사다리꼴에 가깝도록 상부를 평탄화시킬 수 있다.
도 26의 (b)를 참조하면, 시점병합에 적용되는 시점수가 6시점일 경우, 각 눈에 해당시점은 3개로 시점병합되고, 각 병합시점 사이에 시점이 없다. 따라서, 도 26의 (a)에 도시된 바와 같이, 2개로 시점병합할 때 보다 크로스토크 양이 더 크다(사선부분).
도 27는 본 발명의 실시예에 따른 확장된 시역에 대해 홀수개 시점병합의 일 예를 나타낸 도면으로서, 각 눈의 해당시점을 3개로 시점병합한 경우를 나타낸 것이다.
도 27를 참조하면, 각 병합시점 사이에 시점은 없으며, 병합시점을 이루는 3개의 시점 중에서 가운데 시점의 영상 밝기를 줄여서 병합시점의 시역균일도를 확보할 수 있다. 즉, 병합시점을 이루는 각각의 시점들의 개수가 3시점 이상의 홀수인 경우, 시점병합에 적용되는 시점의 시작으로부터 짝수 번째의 시점의 시역 밝기를 줄이는 것이 바람직하다.
도 28은 본 발명의 실시예에 따른 확장된 시역에 대해 짝수개 시점병합의 일 예를 나타낸 도면으로서, 각 눈의 해당시점을 4개로 시점병합한 경우를 나타낸 것이다.
도 28을 참조하면, 각 병합시점 사이에 1개의 시점이 있으며, 병합시점 사이의 1개의 시점에 영상을 제거함으로써 크로스토크 양을 감소시킬 수 있다. 아울러, 병합시점을 이루는 4개의 시점의 밝기는 동일하게 하고, 병합시 평탄화되도록 도 14의 예에서와 같이 각 시점의 시역 모양을 설계하여 시점영상간의 중첩되는 양의 조절로 병합시점의 시역균일도를 확보할 수 있다.
더욱이, 도 9의 제어부(120)는 깊이방향으로의 변화에 대한 적용에서 각각의 시점에 해당하는 시역의 폭이 줄어드는 크기를 고려하여 깊이방향으로 이동량의 한계를 정하고 이러한 한계에 해당하여 축소되는 총 시역의 폭에 해당하는 추가 시점을 준비하여 깊이방향의 이동에도 시점병합과 크로스토크의 최소화가 가능할 수도 있다.
또한, 제어부(120)는 관찰자가 3차원 영상표시장치(100)와의 최대 근접거리에서의 한 개의 시점에 의해 형성되는 단위시역의 폭이 줄어드는 비율을 고려하여, 병합시점의 병합시역 폭이 유지될 수 있도록, 제1 병합시점과 제2 병합시점을 이루는 시점의 개수를 변경할 수도 있다.
도 29 및 도 30는 관찰자가 한 명인 경우 본 발명의 일 실시예에 따라 관찰자가 깊이방향으로 이동시에 관찰자의 양안 위치를 고려하여 3D 화소선별 시점병합을 적용하는 방법을 예시하는 도면이다.
도 29 및 도 30를 참조하면, 관찰자가 최적 깊이를 벗어나 앞뒤로 움직일 경우 시점간 간격이 커지거나 줄어들게 되어 디스플레이 쪽으로 가까이 다가서는 경우 시점간 간격이 좁아져서 양안 거리를 고려하면 필요한 시점수가 증가하게 된다. 그러나, 각각의 3D 화소선에 의해 생성되는 시점들의 시역들을 이용하여 평탄한 시역을 형성하고 위치의 이동시 크로스토크를 최소화시키는 방법은 동일하게 적용할 수 있다.
한 예로, 도 29는 6시점으로 설계된 시차장벽을 이용한 3차원 영상표시장치로서 최적관찰위치에서 양안시점 간격이 2시점인 경우이다. 이 경우에 최적관찰위치 근처의 관찰자가 제1 위치에 있을 때 제4시점과 제5시점에 동일한 시점영상을 제공하여 시점병합된 병합시역을 형성하고, 제2시점과 제3시점에 동일한 시점영상을 제공하여 시점병합된 병합시역을 형성하여, 각각 관찰자의 좌안영상과 우안영상을 제공함으로써 평탄하면서 크로스토크가 최소화된 양안시점영상을 제공해줄 수 있다. 이때, 양안시점으로 사용되지 않는 제1시점과 제6시점 영상은 제거될 수 있다. 관찰자가 깊이방향으로 상당히 이동하여 제2위치에 위치하게 되었을 때, 최적관찰위치와 같이 크로스토크가 최소화 되고, 균일한 시역의 밝기를 형성하기 위해 고려해야 할 사항은 다음과 같다. 첫 번째로 최적관찰위치로부터 깊이방향으로 이동시에 최적관찰위치에서 설계된 시점간 간격이 줄어들게 되어, 관찰자의 양안이 각각 2개 시점의 병합으로 부족하게 된다. 이 경우에 최적관찰위치에서 여분으로 준비한 시점까지 사용하여 양안시점을 각각 3개 시점병합으로 형성한다면, 위와 같은 문제를 해결할 수 있다. 도 29의 제2 위치에 있을 경우는 양안시점 각각 3개의 시점병합으로 양안이 각각의 병합된 시점에 의해 생성된 시역의 균일한 영역에 위치되게 됨을 보여준다. 두 번째로, 부시역과 정시역을 같이 이용하여 관찰자 양안위치 각각의 병합시점을 만들거나, 3D 화소선을 이루는 화소들의 조합을 변경하여 관찰자 양안위치가 항시 정시역범위 안에 들게 하여 관찰자 양안위치 각각의 병합시점을 만들 수도 있다. 도 29는 관찰자가 제2 위치에 위치할 때, 관찰자 양안이 병합된 시역의 중심근처에 위치하도록, 제2,3,그리고 제4 시점에 동일한 영상을 제공하고, 제1 시점과 부시역의 제5시점과 제6시점에 동일한 영상을 제공하여, 각각 관찰자의 양안시점이 되도록 하는 방법이다. 이러한 방법뿐 아니라, 본 발명은 3D 화소선 별로 관찰자 위치에 따라 시역이 형성되는 위치를 바꿀 수 있으므로, 도 30에 보여지듯이, 관찰자가 제2 위치에 위치할 때, 개구부와 쌍을 이루어 3D화소선을 이루는 화소들을 적절히 선택하여 관찰자의 양안이 정시역 범위 안에 들도록 선택할 수 있다. 이 경우에는 관찰자의 왼쪽눈 위치에는 제4시점 내지 제6시점에 동일영상을 제공 하여 병합된 시역을 형성하고, 관찰자의 오른쪽눈 위치에는 제1시점 내지 제3시점에 동일영상을 제공하여 병합된 시역을 형성하여, 항상 3D화소선의 정시역 영역에 관찰자가 위치하게 하면서도 양안시점에 병합시점을 제공할 수도 있다.
이러한 방법을 시점병합을 필요로 하는 최소 4시점 또는 그 이상의 시점의 경우에 적용하면 시점수를 양안에 필요한 만큼 미리 제공 가능하도록 시점과 시역을 설계하여 깊이 방향으로 움직여도 항상 크로스토크가 최소화되고 시역의 영상 밝기가 평탄하도록 유지시킬 수 있다.
본 발명의 바람직한 실시예에 의한 도 9의 동공위치 추적시스템(110)은 복수의 관찰자의 위치를 추적할 수 있으며, 각각의 동공위치를 추적하여 제어부(120)에 관찰자의 인원과 복수의 관찰자의 동공 위치들의 정보를 전달함이 바람직하다.
또한, 동공위치 추적시스템(110)에 의해서 실시간으로 추적된 복수의 관찰자의 동공위치의 3차원 정보들을 이용하여, 제어부(120)를 통해 3D화소선들별로 형성된 시점의 시역마다 복수의 관찰자 양안 동공 각각의 중심과 가까운 시점들을 선택하며, 이렇게 선택된 각 시점들마다 하나이상의 인접시점들을 병합하여 복수의 관찰자의 양안에 각각 병합된 시점에 의해 형성된 시역을 제공할 수도 있다. 이렇게 하여 복수의 관찰자에게 크로스토크가 최소화되고 밝기분포가 균일한 시역을 제공 할 수 있다.
도 31는 관찰자가 두 명인 경우 본 발명의 일 실시예에 의한 다시점 3차원 영상표시장치에서 관찰자 각각에 평탄화된 시점이 할당되는 경우를 예시하는 도면으로서, 한 관찰자 마다 양안시점이 각각 2개의 단위시점 병합에 의해 형성되어 각 관찰자는 4개의 단위시점을 사용하게 된다. 결과적으로, 두 관찰자의 양쪽눈은 양안위치의 병합된 시점에 의해 형성된 균일한 시역위치에 있게 되어 크로스토크가 최소화되고 밝기가 균일한 시점영상을 볼 수 있게 된다. 그리고 이러한 방법은 3인 이상에도 동일하게 적용가능하다. 또한, 도 31를 이용하여 설명한 다수의 관찰자에게 평탄화된 시점을 할당하는 방법은 도 29의 경우와 같이 복수 관찰자가 각각 깊이방향으로 움직이는 상황의 경우에도 적용될 수 있다.
도 29 내지 도 31에서는 양안사이 간격이 최적관찰위치에서 2개의 단위시점 간격으로 설정하여, 최적관찰위치에서 양안시점 각각이 2개의 시점병합으로 형성되는 것을 예로 들었지만, 양안사이 간격을 최적관찰위치에서 3개 이상의 단위시점 간격으로 설정하여, 최적관찰위치에서 양안시점 각각이 3개 이상의 시점병합으로 형성되게 할 수도 있다.
또한, 본 발명의 실시예는 시차장벽을 이용한 다시점 3차원 영상표시장치만을 예로 들어서 설명하였지만, 본 발명의 개념은 렌티큐라렌즈를 이용한 다시점 3차원 영상표시장치등과 같이 공간상에 영상표시패널의 시점영상들에 의해 시역을 형성하는 다양한 무안경식 3차원영상표시에도 적용가능하다.
또한, 본 발명의 실시예는 도 10 및 도 11에 보이듯이, 영상표시패널의 상부에 위치한 시차장벽의 개구부가 연속적으로 영상표시패널의 하부까지 이어져 선형태의 3D 화소선을 갖는 경우가 전형적인 경우이지만, 이러한 연속적인 선형태의 3D 화소선에만 본 발명의 실시예가 국한되는 것은 아니다. 도 10의 액정표시패널과 그 앞에 형성된 시차장벽만을 나타내어 평면적으로 표현한 도면은 도 32와 같다. 도 32에서 보듯이, 개구부가 상부로부터 하부까지 연속적으로 존재하는 경우에는 각 개구부와 쌍을 이루어 3D 화소선을 형성하는 만드는 화소들은 도면에 점선으로 표시하였다. 도면에 표시는 안되었지만, 점선의 오른편에 위치한 개구부들과 인접한 4개의 화소들 역시 상부에서 하부로 연속적인 선의 형태로 3D화소선을 각각 형성한다. 이러한 통상적인 연속적인 선의 형태의 시역형성의 최소 단위를 염두에 두고 3D화소선이라고 명명을 하게 된 것이다. 그러나, 이러한 통상적인 형태에만, 본 발명의 개념이 사용되는 것이 아니고, 도 33와 같이 행의 화소들별로 불연속적인 3D화소선에도 본 발명의 개념을 적용할 수 있다. 도 33의 각 점선안의 화소들과 시차장벽의 개구부는 관찰위치의 시역을 형성하는 최소단위가 되고, 이러한 최소단위가 행의 화소들별로 하나의 서브화소 크기만큼 오른편으로 이동하게 된다. 이러한 경우 역시 본 발명의 관찰자위치에 따라 3D화소선별 시점영상을 제어하여, 크로스토크 최소화와 밝기균일도를 확보할 수 있다. 다만, 개구부의 위치가 화소들의 행별로 일정위치 수평이동(이 경우는 하나의 서브위치 크기만큼의 수평이동함)함에 따라, 행별로 불연속적인 3D 화소선이 형성된 것만 앞의 실시예와 차이가 있다. 이러한 경우 시역형성을 하는 최소단위가 연속적인 선형태가 아니므로, 3D 화소선이란 표현보다는 3D 화소점이라 명명하는 것이 더 바람직하다. 도 33는 실질적으로 도 11와 동일한 경사시역을 형성하게 된다. 또한, 본 발명에서는 규칙적인 3D화소선 또는 3D화소점만을 실시예로 사용하였지만, 보다 자유로운 형태의 3D화소선 또는 3D화소점 형태에 본 발명의 개념이 사용될 수 있다.
이하, 본 발명에 의한 3차원 영상표시장치에서 수행되는 다시점 3차원 영상을 표시하는 방법에 대해 설명한다.
본 발명에 의한 3차원 영상표시장치는 3D 영상을 표시하는 영상표시패널과, 적어도 4시점 이상의 다시점을 제공하는 3D 화소선들 각각의 시점영상을 제어하는 제어부와, 관찰자 양안의 동공위치 추적시스템을 포함한다. 이러한 3차원 영상표시장치에서, 먼저 관찰자 양안의 동공위치 추적시스템을 통해 관찰자 양안의 동공위치의 3차원 좌표값을 획득한다. 이어서, 제어부를 통해 동공위치 추적시스템으로부터 획득된 관찰자 양안의 동공위치의 3차원 좌표값을 이용하여, 3D 화소선들별로 형성된 시점의 시역마다 관찰자 양안 동공 각각의 중심과 가까운 제1 시점과 제2 시점을 선택한다. 그리고, 제어부를 통해 제1 시점에 관찰자 양안 중 하나의 시점영상을 제공하고, 제2 시점에 관찰자 양안 중 다른 하나의 시점영상을 제공한다.
특히, 제어부를 통해 제1 시점에 인접한 하나 이상의 시점에 제1 시점과 동일 시점영상을 제공하여 제1 병합시점을 만들고, 제2 시점에 인접한 하나 이상의 시점들에 제2 시점과 동일 시점영상을 제공하여 제2 병합시점을 만드는 단계를 더 포함하는 것이 바람직하다.
아울러 제어부를 통해 제1 병합시점과 제2 병합시점에 의해 형성된 각각의 시점병합 시역의 중앙부위 밝기가 평탄하도록, 제1 병합시점 또는 제2 병합시점을 이루는 각각의 시점들의 밝기를 조절한다. 만약, 제1 병합시점 또는 제2 병합시점을 이루는 각각의 시점들의 개수가 2시점 이상의 짝수인 경우, 병합시점을 이루는 각 시점의 밝기를 동일하게 하고 시점 시역의 형태를 설계변경으로 조절하여 병합시점 시역의 중앙부가 평탄하도록 하고, 제1 병합시점 또는 제2 병합시점을 이루는 각각의 시점들의 개수가 3시점 이상의 홀수인 경우에는, 병합시점을 이루는 각 시점 중 시작 시점으로부터 짝수 번째의 시점의 시역 밝기를 줄여서 병합시점 시역의 중앙부가 평탄하도록 하는 것이 바람직하다. 이러한 시점병합에 대한 자세한 설명은 도 14-28을 참조하여 상기에서 설명한 것과 동일하므로, 본 발명에 의한 3차원 영상표시장치에서 수행되는 다시점 3차원 영상을 표시하는 방법에도 동일하게 적용된다.
이상 본 발명에 따른 다수의 관찰자에 적용가능한 동적 시역 확장을 이용한 다시점 3차원 영상표시장치 및 그 방법에 대한 바람직한 실시예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 특허청구범위와 발명의 상세한 설명 및 첨부한 도면의 범위 안에서 여러 가지로 변형하여 실시하는 것이 가능하고 이 또한 본 발명에 속한다.

Claims (20)

  1. 3D 영상을 표시하는 영상표시패널;
    3D 화소선들 각각의 시점영상을 제어하는 제어부; 및
    관찰자 양안의 동공위치 추적시스템을 포함하되,
    상기 3D 화소선들 각각은 적어도 4시점 이상의 다시점을 제공하고,
    상기 제어부는 상기 관찰자 양안의 동공위치 추적시스템에 의해 판단된 관찰자 양안의 동공위치의 3차원 좌표값을 이용하여, 3D 화소선들별로 형성된 시점의 시역마다 관찰자 양안 동공 각각의 중심과 가까운 제1 시점과 제2 시점을 선택하며, 상기 제1 시점에 관찰자 양안 중 하나의 시점영상을 제공하고, 상기 제2 시점에 관찰자 양안 중 다른 하나의 시점영상을 제공하는 것을 특징으로 하는 다시점 3차원 영상표시장치.
  2. 제1 항에 있어서,
    상기 영상표시패널은,
    시차분리수단인 시차장벽 또는 렌티큐라 렌즈를 이용하거나, 또는 선광원을 이용하여 3D 영상을 표시하는 것을 특징으로 하는 다시점 3차원 영상표시장치.
  3. 제2 항에 있어서,
    상기 3D 화소선들은,
    상기 시차장벽의 개구부, 상기 렌티큐라 렌즈 또는 선광원들과,
    각각의 시점영상을 제공하는 상기 영상표시패널상의 화소들로 이루어지는 것을 특징으로 하는 다시점 3차원 영상표시장치.
  4. 제1 항에 있어서,
    상기 제어부는, 상기 제1 시점에 인접한 하나 이상의 시점에 상기 제1 시점과 동일 시점영상을 제공하여 제1 병합시점을 만들고, 상기 제2 시점에 인접한 하나 이상의 시점에 상기 제2 시점과 동일 시점영상을 제공하여 제2 병합시점을 만드는 것을 특징으로 하는 다시점 3차원 영상표시장치.
  5. 제4 항에 있어서,
    상기 제어부는, 상기 제1 병합시점과 상기 제2 병합시점에 의해 형성된 각각의 시점병합 시역의 중앙부위 밝기가 평탄하도록, 상기 제1 병합시점 또는 상기 제2 병합시점을 이루는 각각의 시점들의 밝기를 조절하는 것을 특징으로 하는 다시점 3차원 영상표시장치.
  6. 제4 항에 있어서,
    상기 제어부는, 3D화소선으로부터 형성되는 각각의 시점 시역의 형태가 병합하였을 때 병합시역의 중앙부가 평탄하도록, 시차장벽의 개구폭, 렌티큐라 렌즈의 초점거리, 또는 선광원의 선폭을 조절하는 것을 특징으로 하는 다시점 3차원 영상표시장치.
  7. 제5 항에 있어서,
    상기 제어부는, 상기 제1 병합시점 또는 상기 제2 병합시점을 이루는 각각의 시점들의 개수가 3시점 이상의 홀수인 경우, 병합시점을 이루는 각 시점 중 시작 시점으로부터 짝수 번째의 시점의 시역 밝기를 줄여서 병합시점 시역의 중앙부가 평탄하도록 하는 것을 특징으로 하는 다시점 3차원 영상표시장치.
  8. 제4 항에 있어서,
    상기 제어부는, 상기 제1 병합시점과 제2 병합시점 사이에 적어도 하나의 중간시점들이 존재할 경우, 상기 적어도 하나의 중간시점들의 영상데이터를 제거하여 크로스토크를 최소화하는 것을 특징으로 하는 다시점 3차원 영상표시장치.
  9. 제4 항에 있어서,
    상기 제어부는, 관찰자가 깊이방향으로 이동할 때 각각의 시점에 해당하는 시역의 폭이 줄어드는 크기를 고려하여 깊이방향으로 이동량의 한계를 정하고, 이러한 한계에 해당하여 축소되는 총 시역의 폭에 해당하는 추가 시점을 제공하여, 깊이방향의 이동에도 시점병합과 크로스토크의 최소화가 가능하게 함을 특징으로 하는 다시점 3차원 영상표시장치.
  10. 제4 항에 있어서,
    상기 관찰자 양안의 동공위치추적시스템에 의해 판단된 관찰자 양안위치정보를 이용하여 관찰자의 양안이 정시역에 모두 포함되도록 3D 화소선을 이루는 화소들을 설정한 후에, 상기 제1 병합시점과 제2 병합시점을 만드는 것을 특징으로 하는 다시점 3차원 영상표시장치.
  11. 제4 항에 있어서,
    상기 제1 병합시점과 제2 병합시점은 정시역의 시점들과 이와 중첩되지 않는 부시역의 시점들로 만드는 것을 특징으로 하는 다시점 3차원 영상표시장치.
  12. 제4 항에 있어서,
    상기 제어부는, 관찰자가 깊이방향으로 이동할 때, 상기 3차원 영상표시장치와의 최대 근접거리에서의 한 개의 시점에 의해 형성되는 단위시역의 폭이 줄어드는 비율 또는 상기 3차원 영상표시장치와의 최대 원거리에서의 한 개의 시점에 의해 형성되는 단위시역의 폭이 늘어나는 비율을 고려하여, 상기 제1 병합시점과 제2 병합시점의 병합시역의 폭이 유지될 수 있도록, 상기 제1 병합시점과 제2 병합시점을 이루는 시점의 개수를 변경하는 것을 특징으로 하는 다시점 3차원 영상표시장치.
  13. 제1 항에 있어서,
    상기 관찰자의 동공위치 추적시스템은 복수의 관찰자의 위치를 추적할 수 있으며, 각각의 동공위치를 추적하여 상기 제어부에 관찰자의 인원과 복수의 관찰자의 동공 위치들의 정보를 전달하는 것을 특징으로 하는 다시점 3차원 영상표시장치.
  14. 제13 항에 있어서,
    상기 제어부는 상기 관찰자의 동공위치 추적시스템에 의해서 실시간으로 추적된 복수의 관찰자의 동공위치의 3차원 정보들을 이용하여, 3D 화소선들별로 형성된 시점의 시역마다 복수의 관찰자 양안 동공 각각의 중심과 가까운 시점들을 선택하며, 상기 선택된 각 시점들마다 하나이상의 인접시점들을 병합하여 복수의 관찰자의 양안에 각각 병합시점에 의해 형성된 시역을 제공하는 것을 특징으로 하는 다시점 3차원 영상표시장치.
  15. 제14 항에 있어서,
    상기 제어부는, 복수의 관찰자의 양안에 제공되는 각 병합시점 사이에 적어도 하나의 중간시점들이 존재할 경우, 상기 적어도 하나의 중간시점들의 영상데이터를 제거하여 크로스토크를 최소화하는 것을 특징으로 하는 다시점 3차원 영상표시장치.
  16. 제1 항에 있어서,
    상기 3D화소선의 길이가 한 화소단위 크기 이상이며, 시점영상을 표시하는 화소들을 합한 크기 이하이어서, 3D화소점의 효과를 줌을 특징으로 하는 다시점 3차원 영상표시장치.
  17. 3D 영상을 표시하는 영상표시패널과, 적어도 4시점 이상의 다시점을 제공하는 3D 화소선들 각각의 시점영상을 제어하는 제어부와, 관찰자 양안의 동공위치 추적시스템을 포함하는 3차원 영상표시장치를 이용하여 다시점 3차원 영상을 표시하는 방법으로서,
    상기 관찰자 양안의 동공위치 추적시스템을 통해 관찰자 양안의 동공위치의 3차원 좌표값을 획득하는 단계;
    상기 제어부를 통해 상기 동공위치 추적시스템으로부터 획득된 관찰자 양안의 동공위치의 3차원 좌표값을 이용하여, 3D 화소선들별로 형성된 시점의 시역마다 관찰자 양안 동공 각각의 중심과 가까운 제1 시점과 제2 시점을 선택하는 단계; 및
    상기 제어부를 통해 상기 제1 시점에 관찰자 양안 중 하나의 시점영상을 제공하고, 상기 제2 시점에 관찰자 양안 중 다른 하나의 시점영상을 제공하는 단계를 포함하는 것을 특징으로 하는 다시점 3차원 영상표시방법.
  18. 제17 항에 있어서,
    상기 영상표시패널은 시차분리수단인 시차장벽 또는 렌티큐라 렌즈를 이용하거나, 선광원을 이용하여 3D 영상을 표시하고,
    상기 3D 화소선들은, 상기 시차장벽의 개구부, 상기 렌티큐라 렌즈 또는 선광원들과, 각각의 시점영상을 제공하는 상기 영상표시패널상의 화소들로 이루어지는 것을 특징으로 하는 다시점 3차원 영상표시방법.
  19. 제17 항에 있어서,
    상기 제어부를 통해 상기 제1 시점에 인접한 하나 이상의 시점에 상기 제1 시점과 동일 시점영상을 제공하여 제1 병합시점을 만드는 단계; 및
    상기 제어부를 통해 상기 제2 시점에 인접한 하나 이상의 시점들에 상기 제2 시점과 동일 시점영상을 제공하여 제2 병합시점을 만드는 단계를 더 포함하는 것을 특징으로 하는 다시점 3차원 영상표시방법.
  20. 제19 항에 있어서,
    상기 제어부를 통해 상기 제1 병합시점과 상기 제2 병합시점에 의해 형성된 각각의 시점병합 시역의 중앙부위 밝기가 평탄하도록, 상기 제1 병합시점 또는 상기 제2 병합시점을 이루는 각각의 시점들의 밝기를 조절하는 것을 특징으로 하는 다시점 3차원 영상표시방법.
PCT/KR2012/006273 2011-12-23 2012-08-08 다수의 관찰자에 적용가능한 동적 시역 확장을 이용한 다시점 3차원 영상표시장치 및 그 방법 WO2013094841A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201280070504.XA CN104137538B (zh) 2011-12-23 2012-08-08 可应用于多个观察者的用于使用动态视区扩展来显示多视点3d图像的装置及其方法
EP12859608.7A EP2797328B1 (en) 2011-12-23 2012-08-08 Device for displaying multi-view 3d image using dynamic visual field expansion applicable to multiple observers and method for same
US14/367,467 US10237543B2 (en) 2011-12-23 2012-08-08 Device for displaying multi-view 3D image using dynamic viewing zone expansion applicable to multiple observers and method for same

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20110141170 2011-12-23
KR10-2011-0141170 2011-12-23
KR1020120072384A KR101322910B1 (ko) 2011-12-23 2012-07-03 다수의 관찰자에 적용가능한 동적 시역 확장을 이용한 다시점 3차원 영상표시장치 및 그 방법
KR10-2012-0072384 2012-07-03

Publications (1)

Publication Number Publication Date
WO2013094841A1 true WO2013094841A1 (ko) 2013-06-27

Family

ID=48988157

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/006273 WO2013094841A1 (ko) 2011-12-23 2012-08-08 다수의 관찰자에 적용가능한 동적 시역 확장을 이용한 다시점 3차원 영상표시장치 및 그 방법

Country Status (5)

Country Link
US (1) US10237543B2 (ko)
EP (1) EP2797328B1 (ko)
KR (1) KR101322910B1 (ko)
CN (1) CN104137538B (ko)
WO (1) WO2013094841A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104469341A (zh) * 2013-09-16 2015-03-25 三星电子株式会社 显示装置及其控制方法
EP3202141A1 (en) * 2014-09-30 2017-08-09 Koninklijke Philips N.V. Autostereoscopic display device and driving method
CN110335224A (zh) * 2019-07-05 2019-10-15 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备及存储介质

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6195607B2 (ja) * 2012-04-03 2017-09-13 フラウンホファー−ゲゼルシャフト ツア フェデルンク デア アンゲヴァンテン フォルシュンク エーファウ ３ｄ画像を再生するための自動立体視スクリーンおよび方法
CN104104934B (zh) * 2012-10-04 2019-02-19 陈笛 无眼镜多观众三维显示的组件与方法
KR20140054532A (ko) * 2012-10-29 2014-05-09 삼성디스플레이 주식회사 능동 배리어 패널의 구동 방법 및 이를 수행하기 위한 표시 장치
US9269022B2 (en) * 2013-04-11 2016-02-23 Digimarc Corporation Methods for object recognition and related arrangements
TWI489149B (zh) * 2013-08-23 2015-06-21 Au Optronics Corp 立體顯示裝置及儲存媒體
US10291907B2 (en) * 2014-01-23 2019-05-14 Telefonaktiebolaget Lm Ericsson (Publ) Multi-view display control for channel selection
CN103945208B (zh) * 2014-04-24 2015-10-28 西安交通大学 一种针对多视点裸眼3d显示的并行同步缩放引擎及方法
KR102214355B1 (ko) * 2014-06-16 2021-02-09 삼성디스플레이 주식회사 입체 영상 표시 장치
US9716879B2 (en) * 2014-07-15 2017-07-25 Shenzhen China Star Optoelectronics Technology Co., Ltd Image display method and device for multi-view stereoscopic display
CN105469773B (zh) * 2014-09-03 2018-03-09 富泰华工业（深圳）有限公司 显示屏亮度调节方法及系统
CN105676475B (zh) 2014-11-18 2018-04-10 华为技术有限公司 成像系统
KR101618463B1 (ko) * 2014-12-09 2016-05-04 한국과학기술연구원 무안경식 3차원 영상표시장치의 시역특성 측정 시스템 및 방법
EP3038357A1 (en) * 2014-12-23 2016-06-29 Thomson Licensing A method, apparatus and system for reducing crosstalk of auto stereoscopic displays
CN104601980A (zh) * 2014-12-30 2015-05-06 深圳市亿思达科技集团有限公司 基于眼镜追踪的全息显示装置、系统及方法
CN104601975B (zh) * 2014-12-31 2016-11-16 深圳超多维光电子有限公司 广视角裸眼立体图像显示方法及显示设备
CN104717488B (zh) * 2015-03-30 2019-02-05 联想(北京)有限公司 显示设备和显示方法
KR101691292B1 (ko) * 2015-04-28 2016-12-30 광운대학교 산학협력단 Table-top 3D 디스플레이 시스템 및 그 방법
KR102415502B1 (ko) 2015-08-07 2022-07-01 삼성전자주식회사 복수의 사용자를 위한 라이트 필드 렌더링 방법 및 장치
KR102121389B1 (ko) * 2015-10-16 2020-06-10 삼성전자주식회사 무안경 3d 디스플레이 장치 및 그 제어 방법
KR102444311B1 (ko) * 2015-10-26 2022-09-16 엘지디스플레이 주식회사 무안경 입체 영상 표시 장치 및 이의 구동 방법
CN105353512B (zh) * 2015-12-10 2018-06-29 联想(北京)有限公司 一种图像显示方法和图像显示装置
TWI646845B (zh) * 2016-05-19 2019-01-01 晨星半導體股份有限公司 條件式存取晶片、其內建自我測試電路及測試方法
KR101763250B1 (ko) * 2016-06-22 2017-08-01 한국과학기술연구원 다시점 3차원 디스플레이 장치
CN108307187B (zh) * 2016-09-28 2024-01-12 擎中科技（上海）有限公司 裸眼3d显示设备及其显示方法
US10353946B2 (en) * 2017-01-18 2019-07-16 Fyusion, Inc. Client-server communication for live search using multi-view digital media representations
CN106843492B (zh) * 2017-02-08 2023-08-29 大连海事大学 一种多人视点校准系统及方法
KR101963392B1 (ko) * 2017-08-16 2019-03-28 한국과학기술연구원 무안경식 3차원 영상표시장치의 동적 최대 시역 형성 방법
US11002958B2 (en) 2017-08-24 2021-05-11 International Business Machines Corporation Dynamic control of parallax barrier configuration
FR3071625B1 (fr) * 2017-09-26 2019-09-27 Alioscopy Systeme et procede d'affichage d'une image autostereoscopique a 2 points de vue sur un ecran d'affichage autostereoscopique a n points de vue et procede de controle d'affichage sur un tel ecran d'affichage
US10768431B2 (en) 2017-12-20 2020-09-08 Aperture In Motion, LLC Light control devices and methods for regional variation of visual information and sampling
US10175490B1 (en) * 2017-12-20 2019-01-08 Aperture In Motion, LLC Light control devices and methods for regional variation of visual information and sampling
NL2020216B1 (en) * 2017-12-30 2019-07-08 Zhangjiagang Kangde Xin Optronics Mat Co Ltd Method for reducing crosstalk on an autostereoscopic display
EP3511910A1 (en) * 2018-01-12 2019-07-17 Koninklijke Philips N.V. Apparatus and method for generating view images
CN108805856B (zh) * 2018-02-28 2019-03-12 怀淑芹 近视度现场验证系统
KR20200140822A (ko) * 2018-04-06 2020-12-16 에씰로 앙터나시오날 가상 이미지를 생성하도록 구성된 머리 장착형 장치의 커스터마이징 방법
CN112368629B (zh) * 2018-06-29 2022-10-11 镭亚股份有限公司 具有可动态地重新配置多视图像素的多视图显示器和方法
EP3903147A4 (en) * 2018-12-27 2022-08-24 LEIA Inc. MULTI-VIEW DISPLAY, SYSTEM AND METHOD HAVING DYNAMIC COLOR SUB-PIXEL REMAPPING
JP7324605B2 (ja) * 2019-04-05 2023-08-10 日本放送協会 立体画像生成装置及びそのプログラム
WO2020256154A1 (ja) * 2019-06-21 2020-12-24 京セラ株式会社 ３次元表示装置、３次元表示システム、および移動体
US10855965B1 (en) 2019-06-28 2020-12-01 Hong Kong Applied Science and Technology Research Institute Company, Limited Dynamic multi-view rendering for autostereoscopic displays by generating reduced number of views for less-critical segments based on saliency/depth/eye gaze map
WO2021038422A2 (en) * 2019-08-26 2021-03-04 Evolution Optiks Limited Binocular light field display, adjusted pixel rendering method therefor, and vision correction system and method using same
TW202234208A (zh) * 2021-02-26 2022-09-01 美商內數位專利控股公司 節能多區顯示器及用於在多區顯示器中節能的方法
CN115398889A (zh) * 2021-04-30 2022-11-25 纵深视觉科技(南京)有限责任公司 基于人眼跟踪的显示处理方法、装置、设备及存储介质
CN113376860A (zh) * 2021-06-23 2021-09-10 南方科技大学 一种立体显示装置
CN113660480B (zh) * 2021-08-16 2023-10-31 纵深视觉科技(南京)有限责任公司 一种环视功能实现方法、装置、电子设备及存储介质
US20230237730A1 (en) * 2022-01-21 2023-07-27 Meta Platforms Technologies, Llc Memory structures to support changing view direction

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08110495A (ja) * 1994-08-19 1996-04-30 Sanyo Electric Co Ltd 立体表示装置
WO2008132724A1 (en) * 2007-04-26 2008-11-06 Mantisvision Ltd. A method and apparatus for three dimensional interaction with autosteroscopic displays
KR20100085753A (ko) * 2009-01-21 2010-07-29 한국과학기술연구원 입체 영상표시장치

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19640936C2 (de) 1996-10-04 1999-06-10 Siegbert Prof Dr Ing Hentschke Positionsadaptiver Autostereoskoper Monitor (PAM)
DE10359403B4 (de) * 2003-12-18 2005-12-15 Seereal Technologies Gmbh Autostereoskopisches Multi-User-Display
FR2887999B1 (fr) * 2005-07-04 2008-05-16 Xavier Jean Francois Levecq Procede et dispositif de visualisation autostereoscopique avec adaptation de la distance de vision optimale
GB0709134D0 (en) * 2007-05-11 2007-06-20 Surman Philip Multi-user autostereoscopic Display
DE102007026071A1 (de) * 2007-05-24 2008-11-27 Seereal Technologies S.A. Richtungsgesteuerte Beleuchtungseinheit für ein autostereoskopisches Display
CN101546043B (zh) * 2008-03-26 2011-06-08 陈意辉 平面立体混合兼容型视差微镜平板与背投自由立体视频显示器
CN101931823A (zh) 2009-06-24 2010-12-29 夏普株式会社 显示3d图像的方法和设备
KR101073512B1 (ko) * 2010-05-20 2011-10-17 한국과학기술연구원 시역 확장을 이용한 3차원 영상 표시 장치
CN102176755B (zh) 2010-12-24 2013-07-31 海信集团有限公司 基于眼动三维显示角度的控制方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08110495A (ja) * 1994-08-19 1996-04-30 Sanyo Electric Co Ltd 立体表示装置
WO2008132724A1 (en) * 2007-04-26 2008-11-06 Mantisvision Ltd. A method and apparatus for three dimensional interaction with autosteroscopic displays
KR20100085753A (ko) * 2009-01-21 2010-07-29 한국과학기술연구원 입체 영상표시장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2797328A4 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104469341A (zh) * 2013-09-16 2015-03-25 三星电子株式会社 显示装置及其控制方法
CN104469341B (zh) * 2013-09-16 2018-03-09 三星电子株式会社 显示装置及其控制方法
EP3202141A1 (en) * 2014-09-30 2017-08-09 Koninklijke Philips N.V. Autostereoscopic display device and driving method
CN110335224A (zh) * 2019-07-05 2019-10-15 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备及存储介质
CN110335224B (zh) * 2019-07-05 2022-12-13 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
US10237543B2 (en) 2019-03-19
KR20130073799A (ko) 2013-07-03
CN104137538B (zh) 2017-09-29
KR101322910B1 (ko) 2013-10-29
EP2797328A4 (en) 2015-08-26
EP2797328A1 (en) 2014-10-29
US20150029317A1 (en) 2015-01-29
CN104137538A (zh) 2014-11-05
EP2797328B1 (en) 2019-06-26

Similar Documents

Publication Publication Date Title
WO2013094841A1 (ko) 다수의 관찰자에 적용가능한 동적 시역 확장을 이용한 다시점 3차원 영상표시장치 및 그 방법
WO2013115444A1 (ko) 시역 평탄화 및 동적 크로스토크 최소화를 위한 무안경식 3차원 영상표시장치
WO2012093849A2 (ko) 3d 디스플레이 장치 및 그 방법
CN102695073B (zh) 显示器
US8610711B2 (en) Device for three-dimensional image display using viewing zone enlargement
KR101306245B1 (ko) 시간 분할 방식의 무안경식 3차원 영상표시장치
RU2447467C2 (ru) Автостереоскопический дисплей
KR101320052B1 (ko) 시역폭 확대를 이용한 무안경식 3차원 영상표시장치
US20120092470A1 (en) Stereoscopic display device and stereoscopic display method
WO2012176445A1 (ja) 映像表示装置
CN103024407A (zh) 立体图像显示设备及其驱动方法
US20120113510A1 (en) Display device and display method
US10021375B2 (en) Display device and method of driving the same
KR20080003073A (ko) 화면이 분할된 입체영상 표시장치
JP5621500B2 (ja) 立体表示装置および立体表示方法
KR101471654B1 (ko) 변형 델타 화소구조를 갖는 3차원 영상표시장치
JPH08334730A (ja) 立体像再生装置
KR101190050B1 (ko) 입체영상 표시장치 및 그 구동 방법
KR100596240B1 (ko) 절환 가능한 엘시디 셔터를 이용한 입체 표시 장치 및 방법
KR100858021B1 (ko) 엘시디 셔터를 이용한 입체 표시 방법 및 그 방법을 위한입체 표시 장치
JPH05207520A (ja) 立体映像装置
JP2013011675A (ja) 観察用光学機器

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12859608

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14367467

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2012859608

Country of ref document: EP