WO2016209030A1 - 복시를 해소한 양안시차 기반 3차원 디스플레이 장치의 증강정보 표시 방법 - Google Patents

복시를 해소한 양안시차 기반 3차원 디스플레이 장치의 증강정보 표시 방법 Download PDF

Info

Publication number
WO2016209030A1
WO2016209030A1 PCT/KR2016/006777 KR2016006777W WO2016209030A1 WO 2016209030 A1 WO2016209030 A1 WO 2016209030A1 KR 2016006777 W KR2016006777 W KR 2016006777W WO 2016209030 A1 WO2016209030 A1 WO 2016209030A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
user
eye
information
augmentation information
Prior art date
Application number
PCT/KR2016/006777
Other languages
English (en)
French (fr)
Inventor
김석중
Original Assignee
(주)브이터치
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)브이터치 filed Critical (주)브이터치
Publication of WO2016209030A1 publication Critical patent/WO2016209030A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
    • H04N13/359—Switching between monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/158—Switching image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background

Definitions

  • the present invention relates to a method for displaying augmented information of a binocular parallax-based three-dimensional display device that eliminates diplopia, and more particularly, to display augmented information in a three-dimensional space without a problem of diplopia in a binocular parallax-based three-dimensional display device. It relates to a method of displaying augmented information.
  • the human eye becomes obscurely aware of objects at locations that are out of focus.
  • the human eye looks at one of two objects having different convergence distances, the so-called double vision problem occurs in which the other objects overlap in two. This is due to the presence of binocular disparity between the human eyes.
  • FIG. 1 is a diagram illustrating a problem of a conventional binocular parallax based three-dimensional display device.
  • FIG. 1 illustrates a visual perception state of a car 12 and a speedometer 10 having different viewing distances through a virtual reality (VR) display screen.
  • the speedometer 10 is provided to the user as "augmentation information”.
  • the speedometer 103 when the user gazes at the vehicle 12 in the front landscape, the speedometer 103 is positioned at the right side of the vehicle 102 in the left eye 100 due to binocular disparity 101, and the right eye ( In 110, the speedometer 113 is located at the left side of the vehicle 112 (111). Therefore, the driver gazing at the front landscape shows speedometers 123 and 124, respectively, on the left and right of the vehicle 122 in the front landscape.
  • the augmentation information should be easily distinguishable from (real or virtual) objects or content.
  • conventional binocular parallax-based three-dimensional display technology has no method of easily distinguishing augmented information from (real or virtual) objects or contents.
  • the present invention was conceived to solve the above problems, and an object of the present invention is to provide an augmentation information display method in which augmentation information can be displayed on a three-dimensional space without a problem of double vision in a binocular disparity-based three-dimensional display device. .
  • the augmented information display method of the binocular disparity-based three-dimensional display device that eliminates diplopia, the first visible to each of the eyes of the user to provide a three-dimensional image to the user using binocular disparity Generating an image and a second image; Generating an image including augmentation information; And displaying an image including the augmentation information on only one of a display screen displaying the first image and a display screen displaying the second image.
  • the method may further include selecting an image to be displayed together with the image including the augmentation information from the first image and the second image after generating the image including the augmentation information.
  • the image to be displayed together with the image including the augmentation information may be an image displayed on the dominant eye side of the user.
  • the method may further include determining the predominant eye of the user.
  • the determining of the dominant eye may include: displaying a reference point on a display screen; Obtaining coordinates of the first body part arranged by the user to coincide with the reference point; Generating two straight lines connecting the first body part and the eyes of the user, respectively; And determining, as the predominant eye, an eye that meets a straight line passing through the coordinates of the first body part among the two straight lines.
  • the first body part when the distance between the coordinates of the first body part and one of the two straight lines is smaller than a predetermined threshold value, the first body part may be regarded as substantially meeting the straight line.
  • binocular parallax-based three-dimensional display device that eliminates diplopia, augmented information generation unit for generating augmented information to be included in the image in the form of a 2D image;
  • a 3D image generating unit generating a first image and a second image for providing a 3D image to a user;
  • an augmentation information overlayer for overlaying augmentation information with only one of the first image and the second image.
  • the body coordinate acquisition unit for obtaining the coordinates of each body part of the user;
  • a dominant eye determining unit configured to determine a dominant eye based on the coordinates of the two eyes of the user obtained by the body coordinate obtaining unit and the first body coordinate of the user.
  • the augmented information overlay unit may further include the first image and An image of the side of the second image shown in the dominant eye may be displayed together with the augmentation information.
  • the predominant eye determination unit may further include a straight line generator configured to generate two straight lines connecting the reference point and the two eyes, respectively; And a distance measuring unit measuring a distance between the first body part and the two straight lines arranged by the user to match the reference point.
  • the binocular parallax-based three-dimensional display device there is an effect that the user can easily distinguish the augmentation information from the real (or virtual) object or content by a simple operation of closing the eyes of the side on which the augmentation information is displayed.
  • FIG. 1 is a diagram illustrating a problem of a conventional binocular parallax based three-dimensional display device.
  • FIG. 2 is a diagram illustrating a state in which augmentation information is displayed in a binocular disparity-based 3D display device that eliminates diplopia.
  • FIG. 3 is a flowchart illustrating an example of a method of displaying augmented information of a binocular disparity based three-dimensional display device that eliminates double vision.
  • FIG. 4 is a flowchart illustrating another example of a method of displaying augmented information of a binocular disparity based 3D display device that eliminates double vision.
  • FIG. 5 is a flowchart illustrating an example of a method of determining a predominant eye.
  • FIG. 6 is a diagram illustrating a visual recognition state of a user when a method of displaying augmented information of a binocular disparity based 3D display device that eliminates double vision is used.
  • FIG. 7 is a diagram illustrating a method of determining a dominant eye in a virtual reality (VR) device and an augmented reality (AR) device.
  • VR virtual reality
  • AR augmented reality
  • FIG. 8 is a diagram illustrating a method of determining the dominant eye in the 3D television.
  • FIG. 9 is a block diagram illustrating an example of a binocular disparity-based three-dimensional display device that eliminates diplopia.
  • FIG. 10 is a block diagram illustrating another example of a binocular parallax-based 3D display device that eliminates double vision.
  • FIG. 11 is a block diagram illustrating in detail the predominant eye determination unit of FIG. 10.
  • FIG. 2 is a diagram illustrating a state in which augmentation information is displayed in a binocular disparity-based 3D display device that eliminates diplopia.
  • the binocular parallax based three-dimensional display apparatus has two screens, a left eye display screen 20 and a right eye display screen 21. These display screens 20 and 21 display minutely different images so that the user perceives them as three-dimensional images.
  • the augmentation information 200 and 210 are displayed on only one of the left eye display screen 20 and the right eye display screen 21. 2 illustrates a case in which augmentation information 200 and 210 are displayed through the right eye display screen 21.
  • the user accepts the display screens 20 and 21 through both eyes, and recognizes that the augmentation information 200 and 210 are displayed as a single image in the 3D image.
  • FIG. 3 is a flowchart illustrating an example of a method of displaying augmented information of a binocular disparity based three-dimensional display device that eliminates double vision.
  • the augmentation information display method of the binocular parallax-based three-dimensional display device that eliminates diplopia may include augmentation information only in one image among two three-dimensional display images shown through the left eye and the right eye, respectively. This is done by performing the step of including 300.
  • the 2D image layer including the augmentation information may be overlaid on one layer of the 3D display image.
  • the augmentation information may be synthesized in a single layer of one 3D display image.
  • FIG. 4 is a flowchart illustrating another example of a method of displaying augmented information of a binocular disparity based 3D display device that eliminates double vision.
  • the eye that is unconsciously selected when performing a task with only one eye is the predominant eye.
  • the augmentation information is displayed on the dominant eye side display screen in the binocular parallax based 3D display apparatus.
  • the step 40 of determining the user's predominant eye is performed, and if the eye is determined as the predominant eye, including the augmentation information only in the image displayed toward the predominant eye among the two 3D display images (41). ) Is performed.
  • the user can expect the effect to recognize the augmentation information more clearly.
  • FIG. 5 is a flowchart illustrating an example of a method of determining a predominant eye.
  • a reference point is first displayed on the display screen in the binocular disparity based 3D display device (400).
  • the user points the reference point to match the “first body part” (eg a specific fingertip) with the reference point. Accordingly, the coordinates of the first body region are obtained through a device capable of acquiring the coordinates of the body part of the user, for example, a 3D camera photographing the user (410).
  • a device capable of acquiring the coordinates of the body part of the user, for example, a 3D camera photographing the user (410).
  • the eye on the side through which the straight line passes becomes the dominant eye.
  • the distance between the coordinates of the first body part and a straight line is smaller than a predetermined threshold value, the body part is actually considered to meet the straight line (430).
  • the distance between the coordinates of the first body part and the straight line may be obtained through various calculation methods. At this time, the distance can also be obtained as follows.
  • the coordinate on the space of the first body part Q is called (p, q, r) in the rectangular coordinate system.
  • the coordinates of the point P may be represented by (a 1 t + b 1 , a 2 t + b 2 , a 3 t + b 3 ).
  • the length of the line segment PQ is minimum. This length is the distance between the first body part Q and the straight line.
  • Equation 2 When the length of PQ is obtained for the value of t that satisfies this, Equation 2 is obtained.
  • FIG. 6 is a diagram illustrating a visual recognition state of a user when a method of displaying augmented information of a binocular disparity based 3D display device that eliminates double vision is used.
  • an image of the speedometer 60 provided as augmentation information is recognized as one.
  • the augmentation information 603 is displayed only on one screen 601 of the two screens 601 and 611 constituting the 3D display device. 6 illustrates a case in which the augmentation information 603 is displayed on the left eye screen 601.
  • the vehicle 62 which is an object viewed in three dimensions, is reflected in binocular disparity in each of the screens 601 and 611, and is displayed as images 602 and 612 of different vehicles.
  • the user recognizes that the speedometer 624, which is displayed as a single image next to the three-dimensional car 622, is further provided as augmentation information (620).
  • FIG. 7 is a diagram illustrating a method of determining a dominant eye in a virtual reality (VR) device and an augmented reality (AR) device.
  • VR virtual reality
  • AR augmented reality
  • the virtual reality device or augmented reality device includes two display screens 71 and 72. Two display screens 71 and 72 are shown in one eye 76 and 77 respectively.
  • the left eye reference point 710 is first displayed on the left eye display screen 71 and the right eye reference point 720 on the right eye display screen 72 in the binocular parallax based three-dimensional display device. .
  • the user recognizes the reference points 710 and 720 as one three-dimensional reference point 730.
  • the user points the “first body part” (eg, a specific fingertip) 75 to match the reference point 730.
  • first body part e.g, a specific fingertip
  • the coordinates of the first body part are obtained through a device capable of acquiring the coordinates of the body part, for example, the 3D camera 70 photographing the user.
  • two straight lines 73 and 74 are formed to connect the reference point 730 and the eyes 76 and 77 of the user, respectively.
  • the eye on the side through which the straight line passes becomes the dominant eye.
  • the error must be taken into account, so that if the distance between the coordinates of the first body part and a straight line is smaller than a predetermined threshold, the body part is considered to actually meet the straight line.
  • the three-dimensional camera 70 is a means for providing the coordinates of each body part of the user from the outside of the device, as long as it can collect the coordinates of each body part of the user may be arranged in any position. Furthermore, any device other than the 3D camera can be replaced with any device as long as it can collect and provide coordinates of each body part of the user.
  • the 3D camera 70 may be a device such as a 3D camera (ToF, Structured Light, Stereo, Dual Aperture), Radar, or Lidar that detects the position of the user's body coordinate from the outside.
  • the external device that provides the coordinates of each user's body in place of the three-dimensional camera, GPS (Global Positioning System), IPS (Indoor Positioning System), RSSI that detects the three-dimensional coordinates of the body from the sensor worn by the user (Received Signal Strength Indication), gyro sensor, acceleration sensor, magnetic field sensor.
  • FIG. 8 is a diagram illustrating a method of determining the dominant eye in the 3D television.
  • the 3D television comprises one display screen 81.
  • the image shown in the left eye 86 and the image shown in the right eye 87 are slightly different.
  • the left eye reference point 810 and the right eye reference point 820 are first displayed on the display screen 81.
  • the user may see the left eye reference point 810 as the left eye only and the right eye reference point 820 as the right eye due to the characteristics of the 3D television.
  • the reference points 810 and 820 are recognized as one three-dimensional reference point 830.
  • the user points the “first body part” (eg, a specific fingertip) 85 to match the reference point 830.
  • first body part e.g, a specific fingertip
  • the coordinates of the first body part are obtained through a device capable of acquiring the coordinates of the body part, for example, the 3D camera 80 photographing the user.
  • two straight lines 83 and 84 are formed to connect the reference point 830 and the eyes 86 and 87 of the user, respectively.
  • the eye on the side through which the straight line passes becomes the dominant eye.
  • the error must be taken into account, so that if the distance between the coordinates of the first body part and a straight line is smaller than a predetermined threshold, the body part is considered to actually meet the straight line.
  • FIG. 9 is a block diagram illustrating an example of a binocular disparity-based three-dimensional display device that eliminates diplopia.
  • the binocular parallax-based three-dimensional display apparatus 90 that eliminates the diplopia illustrated in FIG. 9 includes an augmentation information generator 900, a three-dimensional image generator 910, an augmentation information overlayer 920, and an image output unit ( 930).
  • the augmentation information generator 900 generates augmentation information to be included in an image in the form of a 2D image.
  • the 3D image generator 910 generates a left eye image and a right eye image, respectively, for providing a 3D image to a user.
  • the 3D image generator 910 may further include a first image generator 912 for generating a left eye image and a second image generator 914 for generating a right eye image.
  • the augmentation information overlayer 920 includes the augmentation information in the form of the 2D image generated by the augmentation information generator 900 only in one of the left eye image and the right eye image. Through this, the augmentation information may be further displayed on the 3D image.
  • the image output unit 930 is an input / output interface that allows a 3D image including augmentation information to be displayed on an external device such as a display panel.
  • FIG. 10 is a block diagram illustrating another example of a binocular parallax-based 3D display device that eliminates double vision.
  • the augmentation information may be displayed on the user's right side screen.
  • 10 is a display device for this purpose.
  • the binocular parallax-based 3D display apparatus 1000 that eliminates the diplopia illustrated in FIG. 10 may include an augmentation information generator 1010, a 3D image generator 1020, an augmentation information overlay unit 1030, and body coordinate acquisition unit. 1040, a dominant eye determination unit 1050, and an image output unit 1060.
  • the augmentation information generator 1010 generates augmentation information to be included in the image in the form of a 2D image.
  • the 3D image generator 1020 generates a left eye image and a right eye image, respectively, for providing a 3D image to a user.
  • the 3D image generator 1020 may further include a first image generator 1022 for generating a left eye image and a second image generator 1024 for generating a right eye image.
  • the body coordinate obtaining unit 1040 obtains coordinates of each body part of the user from an external device such as a 3D camera photographing the user.
  • the body coordinate acquisition unit 1040 coordinates each body part of the user provided by a device such as a 3D camera (ToF, Structured Light, Stereo, Dual Aperture), Radar, or Lidar that detects the position of the user's body coordinate from the outside. Acquire. Or, external GPS (Global Positioning System), IPS (Indoor Positioning System), RSSI (Received Signal Strength Indication), Gyro Sensor, Acceleration Sensor, Magnetic Field Sensor to detect 3D coordinates of the body from the sensor worn by the user. Coordinates of respective body parts of the user provided by the back may be obtained.
  • the dominant eye determination unit 1050 determines the dominant eye of the user by using the coordinates of the two eyes of the user, the coordinates of a specific fingertip, etc. acquired by the body coordinate acquisition unit 1040.
  • the augmentation information overlay unit 1030 includes the augmentation information in the form of the 2D image generated by the augmentation information generation unit 1010 only in the image shown in the user's dominant side. Through this, the augmentation information may be further displayed on the 3D image.
  • the image output unit 1060 is an input / output interface for allowing a 3D image including augmentation information to be displayed on an external device such as a display panel.
  • FIG. 11 is a block diagram illustrating in detail the predominant eye determination unit of FIG. 10.
  • the dominant eye judging unit determines the dominant eye of the user based on the foregoing description with reference to FIG. 5 and the descriptions of Equations 1 and 2 above.
  • the straight line generator 1052 generates two straight lines connecting the reference point and the two eyes by using the coordinates of the two eyes of the user.
  • the distance measuring unit 1054 measures a distance between two straight lines and a first body coordinate (that is, a coordinate of a body part indicating a reference point).
  • the straight line passes exactly through the first body coordinate. Furthermore, when the calculated distance is smaller than the predetermined threshold value close enough to zero, it can be considered that the straight line passes the first body coordinate.
  • the reference point and the straight line connecting the oennun (l 1) and the length of the first body coordinates (d 1) and a straight line (l 2) connecting the right eye and the reference point and the length of the first body coordinates (d 2) In comparison, the straight line on the side with the smaller of the two distances d 1 , d 2 always passes the dominant eye.
  • the augmentation information can be easily distinguished from other (real or virtual) objects or contents.
  • augmentation information is always displayed on only one screen. Therefore, in order to distinguish it from other objects or content displayed on both screens, it is sufficient to close only the eye on which the augmentation information is displayed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

양안시차 기반 3차원 디스플레이 장치에서 증강정보가 3차원 공간 상에 복시의 문제없이 표시되도록 하는 복시를 해소한 양안시차 기반 3차원 디스플레이 장치의 증강정보 표시 방법이 개시된다. 발명의 일 측면에 따르면, 복시를 해소한 양안시차 기반 3차원 디스플레이 장치의 증강정보 표시 방법은, 양안시차를 이용하여 사용자에게 3차원 영상을 제공하기 위하여, 사용자의 두 눈에 각각 보여지는 제1 영상 및 제2 영상을 생성하는 단계; 증강정보를 포함하는 영상을 생성하는 단계; 및 상기 증강정보를 포함하는 영상이 상기 제1 영상을 표시하는 디스플레이 화면과 상기 제2 영상을 표시하는 디스플레이 화면 중 하나에만 표시되는 단계;를 포함한다.

Description

복시를 해소한 양안시차 기반 3차원 디스플레이 장치의 증강정보 표시 방법
본 발명은 복시를 해소한 양안시차 기반 3차원 디스플레이 장치의 증강정보 표시 방법에 관한 것으로서, 보다 상세하게는 양안시차 기반 3차원 디스플레이 장치에서 증강정보가 3차원 공간 상에 복시의 문제없이 표시되도록 하는 증강정보 표시 방법에 관한 것이다.
사람의 눈은 초점거리(Focal Distance)가 맞지 않는 위치의 사물은 흐릿하게 인지하게 된다. 한편, 사람의 눈은 주시 거리(Convergence Distance)가 서로 다른 두 사물 중 어느 하나를 주시할 때에는 다른 사물은 둘로 겹쳐 보이는, 이른바 복시(Double Vision) 문제가 발생한다. 이는 사람의 두 눈 사이에 양안시차(Binocular Disparity)가 존재하기 때문이다.
종래의 양안시차 기반 3차원 디스플레이 장치에서 증강정보를 제공하는 경우에는, 사용자가 특정 물체에 초점을 맞추는 경우, 초점이 맞지 않는 증강정보에 나타나는 복시의 문제를 해결하지 못하였다. 따라서 증강정보를 정상적으로 인지하지 못하는 문제가 있었다.
도 1은 종래의 양안시차 기반 3차원 디스플레이 장치의 문제점을 예시한 도면이다.
도 1은 사용자에게 가상현실(VR) 디스플레이 화면을 통하여 서로 다른 주시거리를 갖는, 자동차(12) 및 속도계(10)의 시각적 인지 상태를 나타낸다. 여기에서 속도계(10)는 사용자에게 "증강정보"로서 제공된다.
도 1에서 나타낸 바와 같이, 사용자가 전방 풍경의 자동차(12)를 응시하는 경우에는 양안시차로 인하여 왼눈(100)에서는 속도계(103)가 자동차(102)의 우측에 위치하고(101), 오른눈(110)에서는 속도계(113)가 자동차(112)의 좌측에 위치한다(111). 따라서 전방 풍경을 응시하는 운전자는 전방 풍경의 자동차(122)의 좌우에 각각 속도계(123,124)가 나타나, 속도 정보를 잘 알아볼 수 없게 되는 문제가 생긴다.
나아가, 증강정보는 (현실 또는 가상의) 물체 또는 콘텐트로부터 쉽게 구별 가능하여야 한다. 그러나 종래의 양안시차 기반 3차원 디스플레이 기술로는 증강정보를 (현실 또는 가상의) 물체 또는 콘텐트로부터 쉽게 구별할 수 있는 방법이 없었다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 착안된 것으로서, 양안시차 기반 3차원 디스플레이 장치에서 증강정보가 3차원 공간 상에 복시의 문제없이 표시될 수 있는 증강정보 표시 방법을 제공하는 것을 목적으로 한다.
발명의 일 측면에 따르면, 복시를 해소한 양안시차 기반 3차원 디스플레이 장치의 증강정보 표시 방법은, 양안시차를 이용하여 사용자에게 3차원 영상을 제공하기 위하여, 사용자의 두 눈에 각각 보여지는 제1 영상 및 제2 영상을 생성하는 단계; 증강정보를 포함하는 영상을 생성하는 단계; 및 상기 증강정보를 포함하는 영상이 상기 제1 영상을 표시하는 디스플레이 화면과 상기 제2 영상을 표시하는 디스플레이 화면 중 하나에만 표시되는 단계;를 포함한다.
이 때, 상기 증강정보를 포함하는 영상을 생성하는 단계 후에, 상기 제1 영상 및 상기 제2 영상 중 어느 하나에 상기 증강정보를 포함하는 영상이 오버레이되는 단계;를 더 포함할 수 있다.
또한, 상기 증강정보를 포함하는 영상을 생성하는 단계 후에, 상기 증강정보를 포함하는 영상과 함께 표시될 영상을 상기 제1 영상과 상기 제2 영상 중에서 선택하는 단계;를 더 포함할 수 있다.
이 때, 상기 증강정보를 포함하는 영상과 함께 표시될 영상은, 상기 사용자의 우세안측에 보여지는 영상일 수 있다.
나아가, 상기 사용자의 상기 우세안을 결정하는 단계;를 더 포함할 수 있다.
더 나아가, 상기 우세안을 결정하는 단계는, 기준포인트가 디스플레이 화면에 표시되는 단계; 사용자가 기준포인트와 일치하도록 배치한 제1 신체부위의 좌표를 획득하는 단계; 상기 제1 신체부위 및 상기 사용자의 두 눈을 각각 잇는 두 개의 직선을 생성하는 단계; 상기 두 개의 직선 중 실질적으로 상기 제1 신체부위의 좌표를 지나가는 직선과 만나는 눈을 상기 우세안으로 결정하는 단계;를 더 포함할 수 있다.
또한, 상기 제1 신체부위의 좌표와 상기 두 개의 직선 중 어느 한 직선 사이의 거리가 소정의 임계값보다 작다면, 상기 제1 신체부위가 실질적으로 상기 직선과 만나는 것으로 간주할 수 있다.
발명의 다른 측면에 따르면, 복시를 해소한 양안시차 기반 3차원 디스플레이 장치는, 영상에 포함하고자 하는 증강정보를 2D 영상의 형태로 생성하는 증강정보 생성부; 사용자에게 3차원 영상을 제공하기 위한 제1 영상 및 제2 영상을 생성하는 3차원 영상 생성부; 및 증강정보를 상기 제1 영상 및 상기 제2 영상 중 하나와만 오버레이하는 증강정보 오버레이부;를 포함한다.
또한, 사용자의 각 신체부위의 좌표를 획득하는 신체좌표 획득부; 상기 신체좌표 획득부가 획득한 상기 사용자의 두 눈의 좌표 및 상기 사용자의 제1 신체좌표에 기초하여 우세안을 결정하는 우세안 판단부;를 더 포함하고, 상기 증강정보 오버레이부는, 상기 제1 영상 및 상기 제2 영상 중 상기 우세안에 보여지는 쪽의 영상을 상기 증강정보와 함께 표시할 수 있다.
또한, 상기 우세안 판단부는, 기준포인트와 상기 두 눈을 각각 잇는 두 개의 직선을 생성하는 직선생성부; 및 상기 사용자가 상기 기준포인트와 일치하도록 배치한 제1 신체부위와 상기 두 개의 직선 사이의 거리를 측정하는 거리 측정부;를 더 포함할 수 있다.
양안시차 기반 3차원 디스플레이 장치에서, 증강정보가 3차원 공간 상에 복시의 문제없이 표시될 수 있는 효과가 있다.
또한, 양안시차 기반 3차원 디스플레이 장치에서, 사용자가 증강정보가 표시되는 쪽의 눈을 감는 간단한 동작만으로 현실(또는 가상의) 물체 또는 콘텐트로부터 증강정보를 쉽게 구별할 수 있는 효과가 있다.
도 1은 종래의 양안시차 기반 3차원 디스플레이 장치의 문제점을 예시한 도면이다.
도 2는 복시를 해소한 양안시차 기반 3차원 디스플레이 장치에서 증강정보가 표시된 모습을 예시한 도면이다.
도 3은 복시를 해소한 양안시차 기반 3차원 디스플레이 장치의 증강정보 표시 방법의 일례를 나타낸 흐름도이다.
도 4는 복시를 해소한 양안시차 기반 3차원 디스플레이 장치의 증강정보 표시 방법의 다른 예를 나타낸 흐름도이다.
도 5는 우세안을 결정하는 방법의 일례를 나타낸 흐름도이다.
도 6은 복시를 해소한 양안시차 기반 3차원 디스플레이 장치의 증강정보 표시 방법을 이용한 경우 사용자의 시각적 인지 상태를 예시한 도면이다.
도 7은 가상현실(VR) 장치 및 증강현실(AR) 장치에서 우세안을 판단하는 방법을 예시한 도면이다.
도 8은 3D 텔레비전에서 우세안을 판단하는 방법을 예시한 도면이다.
도 9는 복시를 해소한 양안시차 기반 3차원 디스플레이 장치의 일례를 나타낸 블록도이다.
도 10은 복시를 해소한 양안시차 기반 3차원 디스플레이 장치의 다른 예를 나타낸 블록도이다.
도 11은 도 10의 우세안 판단부를 더욱 상세히 나타낸 블록도이다.
이하 도면 및 다양한 실시예를 바탕으로 복시를 해소한 양안시차 기반 3차원 디스플레이 장치의 증강정보 표시 방법을 설명한다.
도 2는 복시를 해소한 양안시차 기반 3차원 디스플레이 장치에서 증강정보가 표시된 모습을 예시한 도면이다.
도 2에서 나타낸 바와 같이, 양안시차 기반 3차원 디스플레이 장치는 왼눈쪽 표시화면(20)과 오른눈쪽 표시화면(21)의 두 화면을 갖는다. 이들 표시화면(20,21)은 미세하게 다른 영상을 표시함으로써, 사용자가 3차원 영상인 것으로 인지하도록 한다.
이러한 양안시차 기반 3차원 디스플레이 장치에서 복시를 해소하기 위하여, 증강정보(200,210)는 왼눈쪽 표시화면(20)과 오른눈쪽 표시화면(21) 중 어느 하나에만 표시된다. 도 2의 실시예에서는 오른눈쪽 표시화면(21)을 통해서 증강정보(200,210)가 표시되는 경우를 예시하였다.
사용자는 두 눈을 통하여 표시화면(20,21)을 각각 받아들인 후, 3차원 영상 내에서 증강정보(200,210)가 각각 단일한 상으로 표시되는 것으로 인지하게 된다.
도 3은 복시를 해소한 양안시차 기반 3차원 디스플레이 장치의 증강정보 표시 방법의 일례를 나타낸 흐름도이다.
도 3에서 나타낸 바와 같이, 복시를 해소한 양안시차 기반 3차원 디스플레이 장치의 증강정보 표시 방법은, 각각 왼눈과 오른눈을 통하여 보여지는 두 개의 3차원 디스플레이용 영상 중에서, 하나의 영상에만 증강정보를 포함시키는 단계를 수행하여 이루어진다(300).
이 단계(300)에서, 3차원 디스플레이용 영상에 증강정보를 포함시키는 구체적인 방법은 이미 알려진 다양한 기법이 널리 적용될 수 있다. 예컨대, 증강정보가 포함된 2차원 영상 레이어를 한쪽의 3차원 디스플레이용 영상의 레이어에 오버레이될 수 있다. 또는, 증강정보가 한쪽의 3차원 디스플레이용 영상의 단일 레이어 내에 합성이 되도록 할 수도 있다.
도 4는 복시를 해소한 양안시차 기반 3차원 디스플레이 장치의 증강정보 표시 방법의 다른 예를 나타낸 흐름도이다.
사람은 한쪽 눈만 사용하는 작업을 할 경우에 일반적으로 두 눈 중 정해진 눈을 사용하는 경향이 있다. 이처럼 주로 사용되는 눈을 우세안(dominant eye)이라고 한다. 다른쪽 눈을 비우세안 또는 열세안이라고 부르기도 한다.
예컨대, 작은 구멍을 들여다 본다든가 사격을 하기 위하여 조준경을 주시할 때 또는 렌즈가 하나인 현미경을 관찰할 때 등 한쪽 눈만으로 작업을 수행할 때 무의식으로 선택되는 눈이 우세안이다.
도 4의 실시예에서는 양안시차 기반 3차원 디스플레이 장치에서 우세안측 디스플레이 화면에 증강정보가 표시되도록 한다.
이를 위하여, 사용자의 우세안을 판단하는 단계(40)가 수행되고, 어느쪽 눈이 우세안인지 결정되면, 두 개의 3차원 디스플레이용 영상중 우세안쪽으로 표시되는 영상에만 증강정보를 포함시키는 단계(41)가 수행된다.
이처럼 우세안측 디스플레이 화면에 증강정보가 표시되도록 하면, 사용자가 증강정보를 더욱 분명하게 인지할 수 있는 효과를 기대할 수 있다.
도 5는 우세안을 결정하는 방법의 일례를 나타낸 흐름도이다.
도 5에서 나타낸 바와 같이, 우세안을 결정하기 위해서 먼저 양안시차 기반 3차원 디스플레이 장치에서 기준포인트가 디스플레이 화면에 표시된다(400).
다음으로, 사용자는 기준포인트를 "제1 신체부위"(예컨대 특정 손가락 끝)를 기준포인트에 일치하도록 가리킨다. 이에 따라, 사용자를 신체부위의 좌표를 획득할 수 있는 장치, 예컨대 사용자를 촬영하고 있는 3차원 카메라를 통하여 제1 신체부위의 좌표가 획득된다(410).
다음으로, 기준포인트와 사용자의 두 눈을 잇는 두 개의 직선이 각각 생성된다(420).
만약 두 직선 중 어느 하나의 직선이 제1 신체부위와 만난다면, 그 직선이 지나가는 쪽의 눈이 우세안이 된다. 실제로는 오차를 고려하여야 하므로, 제1 신체부위의 좌표와 어느 한 직선 간의 거리가 소정의 임계값보다 작다면, 사실상 그 신체부위가 그 직선과 만나는 것으로 간주하게 된다(430).
한편, 제1 신체부위의 좌표와 직선 간의 거리는 다양한 계산방법을 통하여 구할 수 있다. 이 때, 다음과 같이 거리를 구할 수도 있다.
먼저, 제1 신체부위(Q)의 공간 상에서의 좌표를 직교좌표계로 (p, q, r)라고 한다. 또한, 직선 위의 점(P)을 t로 매개화할 때, 점(P)의 좌표는 (a1t+b1, a2t+b2, a3t+b3)로 나타낼 수 있다.
직선의 방향벡터(a1, a2, a3)와 벡터PQ가 직교할 때, 선분 PQ의 길이가 최소가 된다. 이 길이가 바로 제1 신체부위(Q)와 직선 사이의 거리가 된다.
PQ벡터를 (a1t+p', a2t+q', a3t+r')라 하면, 직선의 방향벡터(a1, a2, a3)와 벡터PQ가 직교할 때 수학식 1이 성립한다.
[수학식 1]
Figure PCTKR2016006777-appb-I000001
이를 만족하는 t값에 대해 PQ의 길이를 구하면 수학식 2와 같다.
[수학식 2]
Figure PCTKR2016006777-appb-I000002
도 6은 복시를 해소한 양안시차 기반 3차원 디스플레이 장치의 증강정보 표시 방법을 이용한 경우 사용자의 시각적 인지 상태를 예시한 도면이다.
도 1의 경우와 달리, 복시를 해소한 양안시차 기반 3차원 디스플레이 장치의 증강정보 표시 방법이 적용된 도 6에서는 증강정보로 제공되는 속도계(60)의 상이 하나로 인식된다.
이처럼 복시를 해소하기 위하여, 3차원 디스플레이 장치를 이루는 두 화면(601,611) 중 하나의 화면(601)에만 증강정보(603)가 표시되도록 한다. 도 6의 실시예에서는 왼눈쪽 화면(601)에 증강정보(603)가 표시되는 경우를 나타내었다.
3차원으로 보여지는 대상인 자동차(62)는 각각의 화면(601,611) 내에서 양안시차가 반영되어 미세하게 다른 자동차의 영상(602,612)으로 표시된다.
사용자는, 3차원의 자동차(622)의 옆에 단일한 상으로 표시되는 속도계(624)가 증강정보로서 더 제공되는 것으로 인지하게 된다(620).
도 7은 가상현실(VR) 장치 및 증강현실(AR) 장치에서 우세안을 판단하는 방법을 예시한 도면이다.
가상현실 장치나 증강현실 장치는 두 개의 디스플레이 화면(71,72)을 포함하여 이루어진다. 두 개의 디스플레이 화면(71,72)은 각각 한쪽 눈(76,77)에 보여진다.
우세안을 결정하기 위해서 먼저 양안시차 기반 3차원 디스플레이 장치에서 왼눈쪽 기준포인트(710)가 왼눈쪽 디스플레이 화면(71)에, 오른눈쪽 기준포인트(720)가 오른눈쪽 디스플레이 화면(72)에 각각 표시된다. 사용자는 기준포인트(710,720)를 하나의 3차원 기준포인트(730)로 인지하게 된다.
다음으로, 사용자는 "제1 신체부위"(예컨대 특정 손가락 끝)(75)를 기준포인트(730)에 일치하도록 가리킨다.
이때, 사용자를 신체부위의 좌표를 획득할 수 있는 장치, 예컨대 사용자를 촬영하고 있는 3차원 카메라(70)를 통하여 제1 신체부위의 좌표가 획득된다.
다음으로, 기준포인트(730)와 사용자의 두 눈(76,77)을 잇는 두 개의 직선(73,74)이 각각 생성된다.
만약 두 직선 중 어느 하나의 직선이 제1 신체부위와 만난다면, 그 직선이 지나가는 쪽의 눈이 우세안이 된다.
도 7의 실시예에서는 오른눈(77)과 기준포인트(730)를 잇는 직선(74)이 제1 신체부위(75)와 만나므로, 오른눈(77)이 우세안이 된다.
실제로는 오차를 고려하여야 하므로, 제1 신체부위의 좌표와 어느 한 직선 간의 거리가 소정의 임계값보다 작다면, 사실상 그 신체부위가 그 직선과 만나는 것으로 간주하게 된다.
한편, 3차원 카메라(70)는 기기 외부로부터 사용자의 각 신체부위의 좌표를 제공하는 수단으로서, 사용자의 각 신체부위의 좌표를 수집할 수 있는 것이라면 어떠한 위치에 배치되어도 무방하다. 나아가, 3차원 카메라가 아닌 외부 기기라도 사용자의 각 신체부위의 좌표를 수집하여 제공할 수 있는 것이라면 어떠한 기기로도 대체 가능하다.
예컨대, 3차원 카메라(70)는, 외부에서 사용자의 신체좌표의 위치를 검출하는 3D 카메라(ToF, Structured Light, Stereo, Dual Aperture), Radar, Lidar 등의 장치가 될 수 있다. 또한, 3차원 카메라를 대체하여 사용자의 각 신체의 좌표를 제공하는 외부기기는, 사용자가 착용한 센서로부터 신체의 3차원 좌표를 검출하는 GPS(Global Positioning System), IPS(Indoor Positioning System), RSSI(Received Signal Strength Indication), 자이로 센서, 가속도 센서, 자기장 센서 등이 될 수도 있다.
도 8은 3D 텔레비전에서 우세안을 판단하는 방법을 예시한 도면이다.
3D 텔레비전은 하나의 디스플레이 화면(81)을 포함하여 이루어진다. 다만, 3D 텔레비전의 특성 상 왼눈(86)에 보여지는 영상과 오른눈(87)에 보여지는 영상은 미세하게 차이가 생긴다.
우세안을 결정하기 위해서 먼저 디스플레이 화면(81)에 왼눈쪽 기준포인트(810)와 오른눈쪽 기준포인트(820)가 표시된다. 사용자는 3D 텔레비전의 특성상 왼눈쪽 기준포인트(810)는 왼눈으로만, 오른눈쪽 기준포인트(820)는 오른눈으로만 볼 수 있다. 그 결과, 기준포인트(810,820)를 하나의 3차원 기준포인트(830)로 인지하게 된다.
다음으로, 사용자는 "제1 신체부위"(예컨대 특정 손가락 끝)(85)를 기준포인트(830)에 일치하도록 가리킨다.
이때, 사용자를 신체부위의 좌표를 획득할 수 있는 장치, 예컨대 사용자를 촬영하고 있는 3차원 카메라(80)를 통하여 제1 신체부위의 좌표가 획득된다.
다음으로, 기준포인트(830)와 사용자의 두 눈(86,87)을 잇는 두 개의 직선(83,84)이 각각 생성된다.
만약 두 직선 중 어느 하나의 직선이 제1 신체부위와 만난다면, 그 직선이 지나가는 쪽의 눈이 우세안이 된다.
도 8의 실시예에서는 오른눈(87)과 기준포인트(830)를 잇는 직선(84)이 제1 신체부위(85)와 만나므로, 오른눈(87)이 우세안이 된다.
실제로는 오차를 고려하여야 하므로, 제1 신체부위의 좌표와 어느 한 직선 간의 거리가 소정의 임계값보다 작다면, 사실상 그 신체부위가 그 직선과 만나는 것으로 간주하게 된다.
도 9는 복시를 해소한 양안시차 기반 3차원 디스플레이 장치의 일례를 나타낸 블록도이다.
도 9에서 예시하는 복시를 해소한 양안시차 기반 3차원 디스플레이 장치(90)는, 증강정보 생성부(900), 3차원 영상 생성부(910), 증강정보 오버레이부(920) 및 영상출력부(930)를 포함하여 이루어진다.
증강정보 생성부(900)는 영상에 포함하고자 하는 증강정보를 2D 영상의 형태로 생성한다.
3차원 영상 생성부(910)는 사용자에게 3차원 영상을 제공하기 위한 왼눈쪽 영상 및 오른눈쪽 영상을 각각 생성한다. 이를 위하여, 3차원 영상 생성부(910)는 왼눈쪽 영상을 생성하는 제1 영상 생성부(912)와 오른눈쪽 영상을 생성하는 제2 영상 생성부(914)를 더 포함할 수 있다.
증강정보 오버레이부(920)는 증강정보 생성부(900)에서 생성된 2D 영상의 형태의 증강정보를 왼눈쪽 영상과 오른눈쪽 영상 중 어느 하나에만 포함시킨다. 이를 통하여, 3차원 영상에 증강정보가 더 표시될 수 있게 된다.
영상출력부(930)는 증강정보가 포함된 3차원 영상이 외부 기기, 예컨대 디스플레이 패널에 표시될 수 있도록 하는 입출력 인터페이스이다.
도 10은 복시를 해소한 양안시차 기반 3차원 디스플레이 장치의 다른 예를 나타낸 블록도이다.
앞서 도 4의 실시예에서 설명하였듯이, 증강정보가 사용자의 우세안쪽 화면에 표시되도록 할 수 있다. 도 10은 이를 위한 디스플레이 장치이다.
도 10에서 예시하는 복시를 해소한 양안시차 기반 3차원 디스플레이 장치(1000)는, 증강정보 생성부(1010), 3차원 영상 생성부(1020), 증강정보 오버레이부(1030), 신체좌표 획득부(1040), 우세안 판단부(1050) 및 영상출력부(1060)를 포함하여 이루어진다.
증강정보 생성부(1010)는 영상에 포함하고자 하는 증강정보를 2D 영상의 형태로 생성한다.
3차원 영상 생성부(1020)는 사용자에게 3차원 영상을 제공하기 위한 왼눈쪽 영상 및 오른눈쪽 영상을 각각 생성한다. 이를 위하여, 3차원 영상 생성부(1020)는 왼눈쪽 영상을 생성하는 제1 영상 생성부(1022)와 오른눈쪽 영상을 생성하는 제2 영상 생성부(1024)를 더 포함할 수 있다.
신체좌표 획득부(1040)는 사용자를 촬영하는 3D 카메라 등의 외부 기기로부터 사용자의 각 신체부위의 좌표를 획득한다. 신체좌표 획득부(1040)는 외부에서 사용자의 신체좌표의 위치를 검출하는 3D 카메라(ToF, Structured Light, Stereo, Dual Aperture), Radar, Lidar 등의 장치가 제공하는 사용자의 각 신체부위의 좌표를 획득한다. 또는 사용자가 착용한 센서로부터 신체의 3차원 좌표를 검출할 수 있도록, 외부의 GPS(Global Positioning System), IPS(Indoor Positioning System), RSSI(Received Signal Strength Indication), 자이로 센서, 가속도 센서, 자기장 센서등이 제공하는 사용자의 각 신체부위의 좌표를 획득할 수도 있다.
우세안 판단부(1050)는 신체좌표 획득부(1040)가 획득한 사용자의 두 눈의 좌표, 특정 손가락 끝의 좌표 등을 이용하여, 사용자의 우세안을 결정한다.
증강정보 오버레이부(1030)는 증강정보 생성부(1010)에서 생성된 2D 영상의 형태의 증강정보를 사용자의 우세안쪽에 보여지는 영상에만 포함시킨다. 이를 통하여, 3차원 영상에 증강정보가 더 표시될 수 있게 된다.
영상출력부(1060)는 증강정보가 포함된 3차원 영상이 외부 기기, 예컨대 디스플레이 패널에 표시될 수 있도록 하는 입출력 인터페이스이다.
도 11은 도 10의 우세안 판단부를 더욱 상세히 나타낸 블록도이다.
우세안 판단부는 앞서 도 5 및 이에 관한 설명과 수학식 1 및 수학식 2에서 설명한 내용에 기초하여 사용자의 우세안을 판단한다.
이를 위하여, 직선생성부(1052)는 사용자의 두 눈의 좌표를 이용하여, 기준포인트와 두 눈을 잇는 두 개의 직선을 생성한다.
거리 측정부(1054)는, 두 개의 직선과 제1 신체좌표(즉, 기준포인트를 가리킨 신체부위의 좌표) 사이의 거리를 측정한다.
직선과 제1 신체좌표 사이의 거리가 0이라는 것은 정확하게 제1 신체좌표를 직선이 지나감을 의미한다. 나아가, 0에 충분히 가까운 소정의 임계값보다 계산된 거리가 작은 경우에는, 직선이 제1 신체좌표를 지나가는 것으로 간주할 수 있다.
또한, 기준포인트와 왼눈을 잇는 직선(l1)과 제1 신체좌표의 거리(d1)와, 기준포인트와 오른눈을 잇는 직선(l2)과 제1 신체좌표의 거리(d2)를 비교할 때, 두 거리(d1,d2) 중에서 작은 값을 갖는 쪽의 직선은 언제나 우세안을 지난다.
한편, 복시를 해소한 양안시차 기반 3차원 디스플레이 장치의 증강정보 표시 방법 및 장치에서는 증강정보가 그 밖의 (현실 또는 가상의) 물체 또는 콘텐트로부터 쉽게 구별 가능하다.
발명에 따르면 증강정보는 언제나 한쪽 화면에만 표시된다. 따라서, 양쪽 화면에 모두 표시되는 그 밖의 물체 또는 콘텐트로부터 구별하기 위해서는 단지 증강정보가 표시되는 쪽의 눈만 감는 것으로 충분하다.
이상과 같이 발명의 상세한 내용을 도면 및 다양한 실시예를 통하여 살펴보았다.
그러나, 이와 같은 내용은 발명을 설명하기 위한 예시에 불과한 것이다. 즉, 발명은 도면과 실시예들의 경우만으로 한정되는 것이 아니며, 특허청구범위에 속하는 실시예 및 그 밖의 어떠한 변형 실시예도 발명의 권리범위에 속하는 것은 자명하다.

Claims (10)

  1. 양안시차를 이용하여 사용자에게 3차원 영상을 제공하기 위하여, 사용자의 두 눈에 각각 보여지는 제1 영상 및 제2 영상을 생성하는 단계;
    증강정보를 포함하는 영상을 생성하는 단계; 및
    상기 증강정보를 포함하는 영상이 상기 제1 영상을 표시하는 디스플레이 화면과 상기 제2 영상을 표시하는 디스플레이 화면 중 하나에만 표시되는 단계;를 포함하는, 복시를 해소한 양안시차 기반 3차원 디스플레이 장치의 증강정보 표시 방법.
  2. 제1항에 있어서,
    상기 증강정보를 포함하는 영상을 생성하는 단계 후에,
    상기 제1 영상 및 상기 제2 영상 중 어느 하나에 상기 증강정보를 포함하는 영상이 오버레이되는 단계;를 더 포함하는, 복시를 해소한 양안시차 기반 3차원 디스플레이 장치의 증강정보 표시 방법.
  3. 제1항에 있어서,
    상기 증강정보를 포함하는 영상을 생성하는 단계 후에,
    상기 증강정보를 포함하는 영상과 함께 표시될 영상을 상기 제1 영상과 상기 제2 영상 중에서 선택하는 단계;를 더 포함하는, 복시를 해소한 양안시차 기반 3차원 디스플레이 장치의 증강정보 표시 방법.
  4. 제3항에 있어서,
    상기 증강정보를 포함하는 영상과 함께 표시될 영상은, 상기 사용자의 우세안측에 보여지는 영상인, 복시를 해소한 양안시차 기반 3차원 디스플레이 장치의 증강정보 표시 방법.
  5. 제4항에 있어서,
    상기 사용자의 상기 우세안을 결정하는 단계;를 더 포함하는, 복시를 해소한 양안시차 기반 3차원 디스플레이 장치의 증강정보 표시 방법.
  6. 제5항에 있어서,
    상기 우세안을 결정하는 단계는,
    기준포인트가 디스플레이 화면에 표시되는 단계;
    사용자가 기준포인트와 일치하도록 배치한 제1 신체부위의 좌표를 획득하는 단계;
    상기 제1 신체부위 및 상기 사용자의 두 눈을 각각 잇는 두 개의 직선을 생성하는 단계;
    상기 두 개의 직선 중 실질적으로 상기 제1 신체부위의 좌표를 지나가는 직선과 만나는 눈을 상기 우세안으로 결정하는 단계;를 더 포함하는, 복시를 해소한 양안시차 기반 3차원 디스플레이 장치의 증강정보 표시 방법.
  7. 제6항에 있어서,
    상기 제1 신체부위의 좌표와 상기 두 개의 직선 중 어느 한 직선 사이의 거리가 소정의 임계값보다 작다면, 상기 제1 신체부위가 실질적으로 상기 직선과 만나는 것으로 간주하는, 복시를 해소한 양안시차 기반 3차원 디스플레이 장치의 증강정보 표시 방법.
  8. 영상에 포함하고자 하는 증강정보를 2D 영상의 형태로 생성하는 증강정보 생성부;
    사용자에게 3차원 영상을 제공하기 위한 제1 영상 및 제2 영상을 생성하는 3차원 영상 생성부; 및
    증강정보를 상기 제1 영상 및 상기 제2 영상 중 하나와만 오버레이하는 증강정보 오버레이부;를 포함하는, 복시를 해소한 양안시차 기반 3차원 디스플레이 장치.
  9. 제8항에 있어서,
    사용자의 각 신체부위의 좌표를 획득하는 신체좌표 획득부;
    상기 신체좌표 획득부가 획득한 상기 사용자의 두 눈의 좌표 및 상기 사용자의 제1 신체좌표에 기초하여 우세안을 결정하는 우세안 판단부;를 더 포함하고,
    상기 증강정보 오버레이부는, 상기 제1 영상 및 상기 제2 영상 중 상기 우세안에 보여지는 쪽의 영상을 상기 증강정보와 함께 표시하는, 복시를 해소한 양안시차 기반 3차원 디스플레이 장치.
  10. 제9항에 있어서,
    상기 우세안 판단부는,
    기준포인트와 상기 두 눈을 각각 잇는 두 개의 직선을 생성하는 직선생성부; 및
    상기 사용자가 상기 기준포인트와 일치하도록 배치한 제1 신체부위와 상기 두 개의 직선 사이의 거리를 측정하는 거리 측정부;를 더 포함하는, 복시를 해소한 양안시차 기반 3차원 디스플레이 장치.
PCT/KR2016/006777 2015-06-24 2016-06-24 복시를 해소한 양안시차 기반 3차원 디스플레이 장치의 증강정보 표시 방법 WO2016209030A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2015-0089929 2015-06-24
KR20150089929 2015-06-24

Publications (1)

Publication Number Publication Date
WO2016209030A1 true WO2016209030A1 (ko) 2016-12-29

Family

ID=57586665

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/006777 WO2016209030A1 (ko) 2015-06-24 2016-06-24 복시를 해소한 양안시차 기반 3차원 디스플레이 장치의 증강정보 표시 방법

Country Status (2)

Country Link
KR (1) KR20170000808A (ko)
WO (1) WO2016209030A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007034628A (ja) * 2005-07-26 2007-02-08 Canon Inc 画像処理方法及び装置
JP2008294530A (ja) * 2007-05-22 2008-12-04 Fujifilm Corp 撮像装置、画像再生装置、撮像方法、画像再生方法及びプログラム
JP2009033538A (ja) * 2007-07-27 2009-02-12 Sea Phone Co Ltd 立体映像表示装置及び立体映像表示方法
KR20100076039A (ko) * 2007-11-22 2010-07-05 가부시끼가이샤 도시바 표시 장치, 표시 방법 및 헤드-업 디스플레이
JP2014192550A (ja) * 2013-03-26 2014-10-06 Seiko Epson Corp 頭部装着型表示装置および頭部装着型表示装置の制御方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7091929B2 (en) * 2001-03-16 2006-08-15 Hewlett-Packard Development Company, L.P. Method and apparatus for displaying images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007034628A (ja) * 2005-07-26 2007-02-08 Canon Inc 画像処理方法及び装置
JP2008294530A (ja) * 2007-05-22 2008-12-04 Fujifilm Corp 撮像装置、画像再生装置、撮像方法、画像再生方法及びプログラム
JP2009033538A (ja) * 2007-07-27 2009-02-12 Sea Phone Co Ltd 立体映像表示装置及び立体映像表示方法
KR20100076039A (ko) * 2007-11-22 2010-07-05 가부시끼가이샤 도시바 표시 장치, 표시 방법 및 헤드-업 디스플레이
JP2014192550A (ja) * 2013-03-26 2014-10-06 Seiko Epson Corp 頭部装着型表示装置および頭部装着型表示装置の制御方法

Also Published As

Publication number Publication date
KR20170000808A (ko) 2017-01-03

Similar Documents

Publication Publication Date Title
WO2017082539A1 (ko) 사용자 스타일링을 위한 증강현실 제공 장치 및 방법
WO2009125988A2 (en) Fast multi-view three-dimensinonal image synthesis apparatus and method
WO2015108232A1 (en) Portable device and method for controlling the same
WO2020185029A1 (ko) 전자 장치 및 증강 현실 기반의 공유 정보 표시 방법
WO2018097632A1 (en) Method and device for providing an image
JP5173395B2 (ja) 視機能検査装置
WO2014148673A1 (en) 3d display device and method for controlling the same
EP3251584A1 (en) Line-of-sight detector and line-of-sight detection method
EP0921694A3 (en) Stereoscopic image pick-up apparatus
US20190043245A1 (en) Information processing apparatus, information processing system, information processing method, and program
US10969579B2 (en) Augmented reality glasses, method for determining a pose of augmented reality glasses, and transportation vehicle suitable for using the augmented reality glasses or the method
WO2013051786A1 (en) Apparatus and method for measuring road flatness
WO2011129488A1 (ko) 평행축 입체카메라
CN111033573A (zh) 信息处理装置、系统、图像处理方法、计算机程序及存储介质
KR20070061091A (ko) 관찰자 위치 결정 방법과 그를 이용한 관찰자 추적형 3차원디스플레이 시스템 및 그 방법
KR100934904B1 (ko) 거리 추정 장치 및 추정 방법
WO2010058927A2 (ko) 안면 영상 촬영장치
EP3545387A1 (en) Method and device for providing an image
JP4708590B2 (ja) 複合現実感システム、ヘッドマウントディスプレイ装置、複合現実感実現方法及びプログラム
JP3103478B2 (ja) 複眼撮像装置
WO2016209030A1 (ko) 복시를 해소한 양안시차 기반 3차원 디스플레이 장치의 증강정보 표시 방법
WO2019098421A1 (ko) 모션 정보를 이용한 객체 복원 장치 및 이를 이용한 객체 복원 방법
WO2018101746A2 (ko) 도로면 폐색 영역 복원 장치 및 방법
JP2006013851A (ja) 撮像表示装置および撮像表示方法
WO2019045174A1 (ko) Hmd에 위치 보정 영상을 제공하는 방법 및 hmd에 위치 보정 영상을 표시하는 방법, 그리고 이를 이용한 위치 보정 영상을 표시하는 hmd

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16814743

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16814743

Country of ref document: EP

Kind code of ref document: A1