KR102083963B1 - Head Mounted Display device and controlling method for eye-gaze calibration - Google Patents
Head Mounted Display device and controlling method for eye-gaze calibration Download PDFInfo
- Publication number
- KR102083963B1 KR102083963B1 KR1020130152828A KR20130152828A KR102083963B1 KR 102083963 B1 KR102083963 B1 KR 102083963B1 KR 1020130152828 A KR1020130152828 A KR 1020130152828A KR 20130152828 A KR20130152828 A KR 20130152828A KR 102083963 B1 KR102083963 B1 KR 102083963B1
- Authority
- KR
- South Korea
- Prior art keywords
- hmd device
- user
- gaze
- hand
- detect
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000003190 augmentative effect Effects 0.000 claims description 17
- 230000004044 response Effects 0.000 claims description 8
- 238000005516 engineering process Methods 0.000 claims description 2
- 210000001747 pupil Anatomy 0.000 description 57
- 238000010586 diagram Methods 0.000 description 15
- 238000005259 measurement Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 210000003462 vein Anatomy 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000003811 finger Anatomy 0.000 description 1
- 210000004905 finger nail Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0176—Head mounted characterised by mechanical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/02—Viewing or reading apparatus
- G02B27/022—Viewing apparatus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
본 명세서의 일 실시예에 따른 HMD 디바이스 제어 방법은 카메라 유닛을 이용하여, HMD의 전면 방향의 주변환경(surroundings)의 이미지를 센싱하는 단계, 이미지 처리 유닛을 이용하여, 센싱된 주변환경(surroundings)의 이미지 중에서 레퍼런스 오브젝트를 디텍팅하는 단계, 시선 디텍팅 유닛을 이용하여, 디텍팅된 레퍼런스 오브젝트를 바라보는 사용자의 시선 방향을 디텍팅하는 단계, 컨트롤러를 이용하여, 디텍팅된 레퍼런스 오브젝트 및 디텍팅된 사용자의 시선 방향에 기초하여 시선 캘리브레이션하는 단계를 포함하고, 여기서 레퍼런스 오브젝트를 디텍팅하는 단계는, 센싱된 주변환경의 이미지에 포함된 적어도 하나의 오브젝트를 제1 오브젝트로서 디텍팅하는 단계, 센싱된 주변환경의 이미지에 포함된 사용자의 손을 제2 오브젝트로서 디텍팅하는 단계, 제1 오브젝트에 대한 제2 오브젝트의 이벤트를 디텍팅하는 단계, 및 이벤트가 디텍팅된 제1 오브젝트를 레퍼런스 오브젝트로 결정하는 단계를 포함할 수 있다.HMD device control method according to an embodiment of the present specification, using the camera unit, sensing the image of the surrounding environment (surroundings) in the front direction of the HMD, using the image processing unit, the sensed surroundings (surroundings) Detecting a reference object from among images of the image, detecting a user's gaze direction looking at the detected reference object using a gaze detecting unit, and detecting a reference object and detecting using a controller Comprising a gaze calibration based on the gaze direction of the user, wherein detecting the reference object, detecting at least one object included in the image of the sensed environment as a first object, sensing Detecting a user's hand included in the image of the surrounding environment as a second object , Detecting an event of the second object with respect to the first object, and determining a first object with the event detected as a reference object.
Description
본 명세서는 헤드 마운트 디스플레이(Head Mounted Display, HMD) 디바이스에 대한 것으로, 특히 사용자의 시선 방향에 대한 캘리브레이션을 제공하는 헤드 마운트 디스플레이 디바이스 및 그의 제어 방법에 대한 것이다.The present specification relates to a head mounted display (HMD) device, and more particularly, to a head mounted display device that provides calibration for a user's gaze direction and a control method thereof.
헤드 마운트 디스플레이(Head Mounted Display, HMD) 디바이스는 사용자가 안경처럼 착용할 수 있다. 사용자는 HMD 디바이스에 디스플레이되는 디지털 정보를 제공받을 수 있다. HMD 디바이스는 사용자의 시선 방향을 캘리브레이션하여 사용자가 어느 곳을 응시하고 있는지 디텍팅할 수 있다. 이를 통해 HMD 디바이스는 사용자의 시선 방향에 대응하여 디스플레이되는 디지털 정보의 위치를 조절하고, 디스플레이 위치가 조절된 디지털 정보를 사용자에게 제공할 수 있다. HMD 디바이스는 시선 캘리브레이션을 실행하기 위해 사용자에게 시선 캘리브레이션 스크린을 디스플레이해야 한다. 또한 사용자는 HMD 디바이스를 사용하기 전에 시선 캘리브레이션을 위한 프로세스를 실시해야 한다. 따라서 사용자에게는 HMD 디바이스의 시선 캘리브레이션을 위한 별도의 시간을 할애해야 하는 번거로움이 존재하였다.A head mounted display (HMD) device can be worn by a user like glasses. The user may be provided with digital information displayed on the HMD device. The HMD device may calibrate a user's gaze direction to detect where the user is staring. Through this, the HMD device may adjust the position of the displayed digital information in response to the user's gaze direction, and provide the user with the digital information whose display position is adjusted. The HMD device must display the gaze calibration screen to the user in order to perform gaze calibration. In addition, the user must implement a process for gaze calibration before using the HMD device. Therefore, there was a hassle for the user to spend a separate time for eye gaze calibration of the HMD device.
본 명세서는, 시선 캘리브레이션을 제공하는 헤드 마운트 디스플레이(Head Mounted Display, HMD) 디바이스 및 그의 제어 방법을 제공하고자 한다. 특히, 본 명세서에서 HMD 디바이스는 사용자의 시선 방향을 캘리브레이팅하기 위한 별도의 시간을 소요하지 않는 시선 캘리브레이션 방법을 사용자에게 제공할 필요가 있다. This specification is intended to provide a head mounted display (HMD) device providing a gaze calibration and a control method thereof. In particular, in this specification, the HMD device needs to provide a user with a gaze calibration method that does not take a separate time for calibrating the user's gaze direction.
본 명세서의 일 실시예에 따른 헤드 마운트 디스플레이(Head Mounted Display, HMD) 디바이스는 HMD 디바이스의 전면 방향의 주변환경의 이미지를 센싱하는 카메라 유닛, 센싱된 주변환경의 이미지 중에서 레퍼런스 오브젝트를 디텍팅하는 이미지 처리 유닛, 디텍팅된 레퍼런스 오브젝트를 바라보는 사용자의 시선 방향을 디텍팅하는 시선 디텍팅 유닛, 디텍팅된 레퍼런스 오브젝트 및 디텍팅된 사용자의 시선 방향에 기초하여 시선 캘리브레이션하는 컨트롤러를 포함하고, 여기서 이미지 처리 유닛은, 센싱된 주변환경의 이미지에 포함된 적어도 하나의 오브젝트를 제1 오브젝트로서 디텍팅하고, 센싱된 주변환경의 이미지에 포함된 사용자의 손을 제2 오브젝트로서 디텍팅하고, 제1 오브젝트에 대한 제2 오브젝트의 이벤트를 디텍팅하여, 이벤트가 디텍팅된 제1 오브젝트를 레퍼런스 오브젝트로서 결정할 수 있다. A head mounted display (HMD) device according to an embodiment of the present specification is a camera unit that senses an image of the surrounding environment in the front direction of the HMD device, an image that detects a reference object among the sensed surrounding images It includes a processing unit, a gaze detecting unit that detects a user's gaze direction looking at the detected reference object, a controller that calibrates gaze based on the detected reference object and the detected user's gaze direction, wherein the image The processing unit detects at least one object included in the sensed environment image as a first object, detects a user's hand included in the sensed environment image as a second object, and the first object By detecting the event of the second object for the first, the event is detected The object can be determined as a reference object.
또한 본 명세서의 일 실시예에 따른 HMD 디바이스 제어 방법은 카메라 유닛을 이용하여, HMD의 전면 방향의 주변환경(surroundings)의 이미지를 센싱하는 단계, 이미지 처리 유닛을 이용하여, 센싱된 주변환경(surroundings)의 이미지 중에서 레퍼런스 오브젝트를 디텍팅하는 단계, 시선 디텍팅 유닛을 이용하여, 디텍팅된 레퍼런스 오브젝트를 바라보는 사용자의 시선 방향을 디텍팅하는 단계, 컨트롤러를 이용하여, 디텍팅된 레퍼런스 오브젝트 및 디텍팅된 사용자의 시선 방향에 기초하여 시선 캘리브레이션하는 단계를 포함하고, 여기서 레퍼런스 오브젝트를 디텍팅하는 단계는, 센싱된 주변환경의 이미지에 포함된 적어도 하나의 오브젝트를 제1 오브젝트로서 디텍팅하는 단계, 센싱된 주변환경의 이미지에 포함된 사용자의 손을 제2 오브젝트로서 디텍팅하는 단계, 제1 오브젝트에 대한 제2 오브젝트의 이벤트를 디텍팅하는 단계, 및 이벤트가 디텍팅된 제1 오브젝트를 레퍼런스 오브젝트로 결정하는 단계를 포함할 수 있다.In addition, the HMD device control method according to an embodiment of the present specification, using the camera unit, sensing the image of the surrounding environment (surroundings) in the front direction of the HMD, using the image processing unit, sensing the surrounding environment (surroundings ) Detecting a reference object among images, using a gaze detecting unit, detecting a gaze direction of a user looking at the detected reference object, using a controller, and detecting the reference object and the detector Comprising a gaze calibration based on the gaze direction of the detected user, wherein detecting the reference object, detecting at least one object included in the image of the sensed surrounding environment as a first object, Detecting the user's hand included in the sensed surrounding image as a second object The method may include detecting a second object event for the first object, and determining a first object in which the event is detected as a reference object.
본 명세서에 따르면, 헤드 마운트 디스플레이(Head Mounted Display, HMD) 디바이스는 사용자가 HMD 디바이스를 사용하는 동안 시선 캘리브레이션을 실시할 수 있다. According to the present specification, a head mounted display (HMD) device may perform gaze calibration while a user uses the HMD device.
또한, 본 명세서에 따르면, HMD 디바이스는 주변환경에 포함된 리얼 오브젝트를 시선 캘리브레이션의 레퍼런스 포인트로 사용할 수 있다.Further, according to the present specification, the HMD device may use a real object included in the surrounding environment as a reference point for gaze calibration.
또한, 본 명세서에 따르면, HMD 디바이스는 사용자의 신체 일부를 인식하여 시선 캘리브레이션의 레퍼런스 포인트로 사용할 수 있다.In addition, according to the present specification, the HMD device may recognize a user's body part and use it as a reference point for gaze calibration.
또한, 본 명세서에 따르면, HMD 디바이스는 사용자의 손을 시선 캘리브레이션의 레퍼런스 포인트로 사용할 수 있다.Further, according to the present specification, the HMD device may use the user's hand as a reference point for gaze calibration.
또한, 본 명세서에 따르면, HMD 디바이스는 리얼 오브젝트에 대한 이벤트를 디텍팅하고, 리얼 오브젝트를 시선 캘리브레이션의 레퍼런스 포인트로 사용할 수 있다.Further, according to the present specification, the HMD device may detect an event for the real object and use the real object as a reference point for gaze calibration.
또한, 본 명세서에 따르면, HMD 디바이스는 사용자의 시선 방향을 디텍팅하여 시선 캘리브레이션에 이용할 수 있다.In addition, according to the present specification, the HMD device may detect a user's gaze direction and use the gaze calibration.
또한, 본 명세서에 따르면, HMD 디바이스는 레퍼런스 포인트까지의 거리를 측정하고, 이에 대응하여 HMD 디바이스에 디스플레이되는 버추얼 오브젝트의 깊이감(depth)를 결정할 수 있다.In addition, according to the present specification, the HMD device may measure the distance to the reference point and correspondingly determine the depth of the virtual object displayed on the HMD device.
도 1은 일 실시예에 따른 HMD 디바이스의 시선 캘리브레이션 방법을 나타낸 도면이다.
도 2a 및 2b는 일 실시예에 따른 레퍼런스 포인트를 이용한 HMD 디바이스의 시선 캘리브레이션 방법을 나타낸 도면이다.
도 3a 및 3b는 일 실시예에 따른 레퍼런스 오브젝트 및 레퍼런스 포인트의 예를 나타낸 도면이다.
도 4a 및 4b는 다른 실시예에 따른 레퍼런스 오브젝트 및 레퍼런스 포인트의 예를 나타낸 도면이다.
도 5a 및 5b는 일 실시예에 따른 시선 캘리브레이션을 이용한 증강 현실(AR) 메시지를 디스플레이하는 방법을 나타낸 도면이다.
도 6a 및 6b는 일 실시예에 따른 HMD 디바이스의 교차지점을 보정 방법을 나타낸 도면이다.
도 7은 일 실시예에 따른 HMD 디바이스를 나타낸 블록도이다.
도 8은 일 실시예에 따른 시선 캘리브레이션의 방법을 나타낸 순서도이다.
도 9는 일 실시예에 따른 레퍼런스 오브젝트를 결정하는 방법을 나타낸 순서도이다.
도 10은 다른 실시예에 따른 레퍼런스 오브젝트를 결정하는 방법을 나타낸 순서도이다.1 is a view showing a gaze calibration method of an HMD device according to an embodiment.
2A and 2B are diagrams illustrating a method of eye gaze calibration of an HMD device using a reference point according to an embodiment.
3A and 3B are diagrams illustrating examples of reference objects and reference points according to an embodiment.
4A and 4B are diagrams illustrating examples of reference objects and reference points according to another embodiment.
5A and 5B are diagrams illustrating a method of displaying an augmented reality (AR) message using gaze calibration according to an embodiment.
6A and 6B are diagrams illustrating a method of correcting an intersection point of an HMD device according to an embodiment.
7 is a block diagram illustrating an HMD device according to an embodiment.
8 is a flowchart illustrating a method of eye gaze calibration according to an embodiment.
9 is a flowchart illustrating a method of determining a reference object according to an embodiment.
10 is a flowchart illustrating a method of determining a reference object according to another embodiment.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 실시 예를 상세하게 설명하지만, 청구하고자 하는 범위는 실시 예들에 의해 제한되거나 한정되는 것은 아니다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings and the contents described in the accompanying drawings, but the scope to be claimed is not limited or limited by the embodiments.
본 명세서에서 사용되는 용어는 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 명세서의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.The terminology used in the present specification has been selected as a general terminology that is currently widely used while considering functions, but this may be changed according to intentions or customs of a person skilled in the art or the appearance of new technologies. Also, in certain cases, some terms are arbitrarily selected by the applicant, and in this case, their meanings will be described in the description of the corresponding specification. Therefore, the terms used in the present specification are intended to clarify that the terms should be interpreted based on the actual meaning of the terms and the contents of the present specification, not simply the names of the terms.
본 명세서에서 헤드 마운트 디스플레이(Head Mounted Display, HMD) 디바이스는 사용자의 머리에 착용하는 착용식 컴퓨터(wearable computer)를 포함할 수 있다. 본 명세서에서 버추얼 오브젝트는 HMD 디바이스의 디스플레이 유닛 상에 디스플레이되는 오브젝트를 의미할 수 있다. 예를 들어 HMD 디바이스는 어플리케이션의 아이콘, 알람 메시지, 증강현실(Augmented Reality, AR) 메시지, 내비게이션 방향 지시자 및 노티피케이션 메시지 등의 버추얼 오브젝트를 디스플레이 유닛에 디스플레이할 수 있다. In this specification, a head mounted display (HMD) device may include a wearable computer worn on a user's head. In this specification, a virtual object may mean an object displayed on the display unit of the HMD device. For example, the HMD device may display a virtual object such as an application icon, an alarm message, an augmented reality (AR) message, a navigation direction indicator, and a notification message on the display unit.
또한 명세서에서 리얼 오브젝트는 HMD 디바이스의 카메라 유닛이 센싱하는 주변환경에 포함된 오브젝트를 의미할 수 있다. 예를 들어 리얼 오브젝트는 사용자가 HMD 디바이스를 착용한 상태에서 사용자의 시야에 포함된 다양한 오브젝트를 포함할 수 있다. HMD 디바이스는 카메라 유닛을 이용하여 사용자의 시선 범위와 동일한 영역을 이미지로 센싱할 수 있으며, 이미지 처리 유닛을 이용하여 센싱된 이미지 내에 포함된 오브젝트들을 구별할 수 있다. In addition, in the specification, the real object may mean an object included in the surrounding environment sensed by the camera unit of the HMD device. For example, the real object may include various objects included in the user's field of view while the user wears the HMD device. The HMD device may sense an area equal to a user's gaze range as an image using the camera unit, and distinguish objects included in the sensed image using the image processing unit.
또한 명세서에서 레퍼런스 오브젝트는 HMD 디바이스가 사용자의 시선 방향을 캘리브레이션하는 때, 사용자가 응시하고 있는 오브젝트를 의미할 수 있다. 레퍼런스 오브젝트는 시선 캘리브레이션을 하기 위한 기준점 중의 하나가 될 수 있다. 또한 레퍼런스 포인트는 레퍼런스 오브젝트의 일부분을 의미할 수 있으며, 시선 캘리브레이션의 정확도를 높이기 위해 이용될 수 있다. Also, in the specification, when the HMD device calibrates a user's gaze direction, the reference object may mean an object that the user is staring at. The reference object may be one of the reference points for performing eye calibration. In addition, the reference point may mean a part of the reference object, and may be used to increase the accuracy of gaze calibration.
도 1은 일 실시예에 따른 HMD 디바이스의 시선 캘리브레이션 방법을 나타낸 도면이다. HMD 디바이스는 시선 캘리브레이션의 기준점이 되는 레퍼런스 오브젝트 및 사용자의 시선 방향을 디텍팅하여 시선 캘리브레이션을 실시할 수 있다. 실시예에 따라 HMD 디바이스는 레퍼런스 오브젝트 대신 레퍼런스 포인트를 기준점으로 결정할 수 있다. HMD 디바이스는 이미지 처리 유닛을 이용하여 주변 환경에 포함된 적어도 하나의 리얼 오브젝트 및 사용자의 신체의 일부를 디텍팅할 수 있다. HMD 디바이스는 리얼 오브젝트에 대한 이벤트를 디텍팅할 수 있다. HMD 디바이스는 사용자가 리얼 오브젝트를 제어하거나 지시하는 동작을 리얼 오브젝트에 대한 이벤트로서 디텍팅할 수 있다. HMD 디바이스는 이벤트가 디텍팅된 리얼 오브젝트를 시선 캘리브레이션의 레퍼런스 오브젝트로 결정할 수 있다. HMD 디바이스는 레퍼런스 오브젝트의 위치와 레퍼런스 오브젝트를 응시하는 사용자의 시선 방향에 기초하여 시선 캘리브레이션을 실시할 수 있다. 1 is a view showing a gaze calibration method of an HMD device according to an embodiment. The HMD device may perform gaze calibration by detecting a reference object that is a reference point of gaze calibration and a user's gaze direction. According to an embodiment, the HMD device may determine the reference point as the reference point instead of the reference object. The HMD device may detect at least one real object included in the surrounding environment and a part of the user's body using the image processing unit. The HMD device can detect an event for a real object. The HMD device may detect an operation for controlling or instructing a real object as an event for the real object. The HMD device may determine the real object on which the event has been detected as a reference object for gaze calibration. The HMD device may perform gaze calibration based on the position of the reference object and the gaze direction of the user gazing at the reference object.
HMD 디바이스(10)는 주변 환경에 포함된 적어도 하나의 리얼 오브젝트(11-1, 11-2)를 디텍팅할 수 있다. 또한 HMD 디바이스(10)는 사용자의 신체의 일부를 디텍팅 할 수 있다. 도 1에서는 신체의 일부에 대한 예로 사용자의 손(12)을 도시하였다. HMD 디바이스(10)는 사용자의 손모양 및 제스쳐 중 적어도 하나를 이용하여 다른 사람의 손과 사용자의 손을 구별할 수 있다. HMD 디바이스(10)는 사용자의 손에 의한 리얼 오브젝트에 대한 이벤트를 디텍팅할 수 있다. HMD 디바이스(10)는 사용자의 손이 리얼 오브젝트를 터치하거나 지시하는 동작을 리얼 오브젝트에 대한 이벤트로 디텍팅할 수 있다. HMD 디바이스(10)는 이벤트가 디텍팅된 리얼 오브젝트(11-1)를 시선 캘리브레이션의 레퍼런스 오브젝트로 결정할 수 있다. 또한 HMD 디바이스(10)는 이벤트가 디텍팅된 레퍼런스 오브젝트의 일부분을 레퍼런스 포인트로 결정할 수 있다. HMD 디바이스(10)는 사용자의 시선 방향을 디텍팅할 수 있다. HMD 디바이스(10)는 사용자의 동공(13)의 위치를 디텍팅하여 사용자가 응시하는 시선 방향을 디텍팅할 수 있다. The
HMD 디바이스(10)는 결정된 레퍼런스 오브젝트의 위치 및 사용자의 동공의 위치에 기초하여 시선 캘리브레이션을 실시할 수 있다. 또는 HMD 디바이스(10)는 결정된 레퍼런스 포인트의 위치 및 사용자의 동공의 위치에 기초하여 시선 캘리브레이션을 실시할 수 있다. HMD 디바이스(10)가 레퍼런스 포인트의 위치를 이용하여 시선 캘리브레이션을 실시하는 경우 레퍼런스 오브젝트의 위치를 이용하는 경우에 비해 정확도가 높은 시선 캘리브레이션을 실시할 수 있다.The
HMD 디바이스(10)는 사용자의 동공(13)과 레퍼런스 오브젝트를 잇는 버추얼 라인을 설정하고, 버추얼 라인과 HMD 디바이스의 교차 지점(14)을 계산할 수 있다. 또는, HMD 디바이스(10)는 사용자의 동공(13)과 레퍼런스 포인트를 잇는 버추얼 라인을 설정하고, 버추얼 라인과 HMD 디바이스의 교차 지점(14)을 계산할 수 있다. HMD 디바이스(10)는 계산된 교차 지점(14)의 위치를 기준으로 HMD 디바이스 상에 디스플레이될 디지털 인포메이션의 위치를 결정할 수 있다. The
이와 같이 HMD 디바이스(10)는 별도의 캘리브레이션 스크린 또는 캘리브레이션 타임을 사용하지 않고, 사용자가 HMD 디바이스(10)를 착용하고 사용하는 동안 시선 캘리브레이션을 실시할 수 있는 효과가 있다. As described above, the
도 2a 및 2b는 일 실시예에 따른 레퍼런스 포인트를 이용한 HMD 디바이스의 시선 캘리브레이션 방법을 나타낸 도면이다. HMD 디바이스(10)는 레퍼런스 오브젝트의 일부분을 레퍼런스 포인트로 결정하여 시선 캘리브레이션에 이용할 수 있다. HMD 디바이스(10)는 사용자의 손에 의한 레퍼런스 오브젝트에 대한 이벤트를 디텍팅할 수 있다. HMD 디바이스(10)는 레퍼런스 오브젝트 상에서 이벤트가 발생된 지점을 레퍼런스 포인트로 결정할 수 있다. 2A and 2B are diagrams illustrating a method of eye gaze calibration of an HMD device using a reference point according to an embodiment. The
도 2a에서 HMD 디바이스(10)는 도 1에서 설명한 바와 같이 레퍼런스 오브젝트(11)를 결정할 수 있다. HMD 디바이스(10)는 사용자의 손(12)을 디텍팅하고, 사용자의 손(12)이 레퍼런스 오브젝트(11)의 우측 상단을 터치하는 제1 이벤트를 디텍팅할 수 있다. HMD 디바이스(10)는 카메라 유닛(21) 및 이미지 처리 유닛을 이용하여 제1 이벤트가 발생한 레퍼런스 오브젝트의 우측 상단을 제1 레퍼런스 포인트(23-1)로 결정할 수 있다. HMD 디바이스(10)는 시선 디텍팅 유닛(22)을 이용하여 제1 레퍼런스 포인트(23-1)를 응시하는 사용자의 시선 방향을 결정할 수 있다. HMD 디바이스(10)는 사용자의 동공(13)의 위치를 디텍팅하여 사용자의 시선 방향을 결정할 수 있다. HMD 디바이스(10)는 사용자의 동공(13)과 제1 레퍼런스 포인트(23-1)를 잇는 버추얼 라인(25)을 설정하고, 버추얼 라인(25)과 HMD 디바이스의 제1 교차 지점(24-1)을 계산할 수 있다. 즉, HMD 디바이스(10)는 사용자의 동공(13)의 위치 및 제1 레퍼런스 포인트(23-1)의 위치에 기초하여 시선 캘리브레이션을 실시하고 시선 캘리브레이션의 결과로 위에서 언급한 제1 교차 지점(24-1)을 계산할 수 있다. HMD 디바이스(10)는 계산된 제1 교차 지점(24-1)의 위치를 기준으로 HMD 디바이스 상에 디스플레이될 버추얼 오브젝트의 위치를 결정할 수 있다. In FIG. 2A, the
디텍팅된 사용자의 손의 위치가 변경되는 경우, HMD 디바이스(10)는 이를 기존의 이벤트와 다른, 별개의 이벤트로 디텍팅할 수 있다. 도 2b에서 HMD 디바이스(10)는 사용자의 손(12)이 레퍼런스 오브젝트(11)의 중앙 하단을 터치하는 제2 이벤트를 디텍팅할 수 있다. HMD 디바이스(10)는 카메라 유닛(21) 및 이미지 처리 유닛을 이용하여 제2 이벤트가 발생한 레퍼런스 오브젝트(11)의 중앙 하단을 제2 레퍼런스 포인트(23-2)로 결정할 수 있다. HMD 디바이스(10)는 시선 디텍팅 유닛(22)을 이용하여 제2 레퍼런스 포인트(23-2)를 응시하는 사용자의 시선 방향을 결정할 수 있다. HMD 디바이스(10)는 사용자의 동공(13)의 위치를 디텍팅하여 사용자의 시선 방향을 결정할 수 있다. HMD 디바이스(10)는 사용자의 동공(13)과 제2 레퍼런스 포인트(23-2)를 잇는 버추얼 라인(25)을 설정하고, 버추얼 라인(25)과 HMD 디바이스의 제2 교차 지점(24-2)의 위치를 계산할 수 있다. 즉, HMD 디바이스(10)는 사용자의 동공(13)의 위치 및 제2 레퍼런스 포인트(23-2)의 위치에 기초하여 시선 캘리브레이션을 실시하고 시선 캘리브레이션의 결과로 위에서 언급한 제2 교차 지점(24-2)의 위치를 계산할 수 있다. HMD 디바이스(10)는 계산된 제2 교차 지점(24-2)의 위치를 기준으로 HMD 디바이스 상에 디스플레이될 버추얼 오브젝트의 위치를 결정할 수 있다. When the position of the detected user's hand is changed, the
도 3a 및 3b는 일 실시예에 따른 레퍼런스 오브젝트 및 레퍼런스 포인트의 예를 나타낸 도면이다. HMD 디바이스(10)는 리얼 오브젝트 및 사용자의 손을 디텍팅할 수 있다. HMD 디바이스(10)는 사용자의 손에 의한 리얼 오브젝트에 대한 이벤트를 디텍팅할 수 있다. HMD 디바이스(10)는 이벤트가 디텍팅된 리얼 오브젝트를 레퍼런스 오브젝트로 결정할 수 있다. HMD 디바이스(10)는 레퍼런스 오브젝트 중 이벤트가 디텍팅된 지점을 레퍼런스 포인트로 결정할 수 있다. HMD 디바이스(10)는 결정된 레퍼런스 오브젝트 및 레퍼런스 포인트 중 적어도 하나를 시선 캘리브레이션에 이용할 수 있다. 3A and 3B are diagrams illustrating examples of reference objects and reference points according to an embodiment. The
도 3a는 사용자가 펜을 이용하여 필기하는 동작을 이용하여 시선 캘리브레이션을 하는 방법을 나타낸다. HMD 디바이스(10)는 카메라 유닛(21) 및 이미지 처리 유닛을 이용하여 펜(31) 및 노트(32)를 리얼 오브젝트로서 디텍팅할 수 있다. 또한 HMD 디바이스(10)는 펜(31)을 잡고 필기하는 사용자의 손(12)을 디텍팅할 수 있다. HMD 디바이스(10)는 사용자의 손(12)이 펜(31)을 잡고 필기하는 동작을 이벤트로 디텍팅할 수 있다. 이를 통해 HMD 디바이스(10)는 펜(31)을 레퍼런스 오브젝트로 결정할 수 있으며 노트(32)와 맞닿은 펜(31)의 끝부분 또는 펜촉을 레퍼런스 포인트로 결정할 수 있다. 3A illustrates a method of performing gaze calibration by using a user's pen-writing operation. The
레퍼런스 오브젝트를 이용하여 시선 캘리브레이션하는 경우, HMD 디바이스(10)는 레퍼런스 오브젝트인 펜(31)의 위치 및 사용자의 시선 방향을 이용하여 시선 캘리브레이션을 실시할 수 있다. HMD 디바이스(10)는 시선 디텍팅 유닛(22)을 이용하여 사용자의 동공(13)의 위치를 디텍팅하고 이를 기초로 사용자의 시선 방향을 결정할 수 있다. HMD 디바이스(10)는 사용자의 동공(13)과 레퍼런스 오브젝트(31)를 잇는 버추얼 라인(35)을 설정하고, 버추얼 라인(35)과 HMD 디바이스의 교차 지점(34)의 위치를 계산할 수 있다. 즉, HMD 디바이스(10)는 사용자의 동공(13)의 위치 및 레퍼런스 오브젝트(31)의 위치에 기초하여 시선 캘리브레이션을 실시하고 시선 캘리브레이션의 결과로 위에서 언급한 교차 지점(34)의 위치를 계산할 수 있다. HMD 디바이스(10)는 계산된 교차 지점(34)의 위치를 기준으로 HMD 디바이스 상에 디스플레이될 버추얼 오브젝트의 위치를 결정할 수 있다. When the gaze calibration is performed using the reference object, the
레퍼런스 포인트를 이용하여 시선 캘리브레이션하는 경우, HMD 디바이스(10)는 레퍼런스 오브젝트인 펜(31)의 끝부분 또는 펜촉을 레퍼런스 포인트(33)로 결정할 수 있다. HMD 디바이스(10)는 레퍼런스 포인트의 위치 및 사용자의 시선 방향을 이용하여 시선 캘리브레이션을 실시할 수 있다. HMD 디바이스(10)는 시선 디텍팅 유닛(22)을 이용하여 사용자의 동공(13)의 위치를 디텍팅하고 이를 기초로 사용자의 시선 방향을 결정할 수 있다. HMD 디바이스(10)는 사용자의 동공(13)과 레퍼런스 포인트(33)를 잇는 버추얼 라인(35)을 설정하고, 버추얼 라인(35)과 HMD 디바이스의 교차 지점(34)의 위치를 계산할 수 있다. 즉, HMD 디바이스(10)는 사용자의 동공(13)의 위치 및 레퍼런스 포인트(33)의 위치에 기초하여 시선 캘리브레이션을 실시하고 시선 캘리브레이션의 결과로 위에서 언급한 교차 지점(34)의 위치를 계산할 수 있다. HMD 디바이스(10)는 계산된 교차 지점(34)의 위치를 기준으로 HMD 디바이스 상에 디스플레이될 버추얼 오브젝트의 위치를 결정할 수 있다. When gaze calibration is performed using the reference point, the
도 3b는 사용자가 포터블 디바이스를 제어하는 동작을 이용하여 시선 캘리브레이션을 하는 방법을 나타낸다. HMD 디바이스(10)는 카메라 유닛(21) 및 이미지 처리 유닛을 이용하여 포터블 디바이스(36)를 리얼 오브젝트로서 디텍팅할 수 있다. 또한 HMD 디바이스(10)는 포터블 디바이스(36)를 그립한 사용자의 손(12-2) 및 포터블 디바이스(36)를 터치하는 사용자의 손(12-1)을 디텍팅할 수 있다. HMD 디바이스(10)는 사용자의 손(12-1)이 포터블 디바이스(36)를 터치하는 동작 및 사용자의 손(12-2)이 포터블 디바이스(36)를 그립하는 동작 중 적어도 하나를 이벤트로 디텍팅할 수 있다. 이를 통해 HMD 디바이스(10)는 포터블 디바이스(36)를 레퍼런스 오브젝트로 결정할 수 있으며, 포터블 디바이스(36) 상에서 사용자의 손(12-1)이 터치한 부분을 레퍼런스 포인트로 결정할 수 있다. 3B illustrates a method of performing gaze calibration by a user using an operation of controlling a portable device. The
레퍼런스 오브젝트를 이용하여 시선 캘리브레이션하는 경우, HMD 디바이스(10)는 레퍼런스 오브젝트인 포터블 디바이스(36)의 위치 및 사용자의 시선 방향을 이용하여 시선 캘리브레이션을 실시할 수 있다. HMD 디바이스(10)는 시선 디텍팅 유닛(22)을 이용하여 사용자의 동공(13)의 위치를 디텍팅하고 이를 기초로 사용자의 시선 방향을 결정할 수 있다. HMD 디바이스(10)는 사용자의 동공(13)과 레퍼런스 오브젝트(36)를 잇는 버추얼 라인(39)을 설정하고, 버추얼 라인(39)과 HMD 디바이스의 교차 지점(38)의 위치를 계산할 수 있다. 즉, HMD 디바이스(10)는 사용자의 동공(13)의 위치 및 레퍼런스 오브젝트(36)의 위치에 기초하여 시선 캘리브레이션을 실시하고 시선 캘리브레이션의 결과로 위에서 언급한 교차 지점(38)의 위치를 계산할 수 있다. HMD 디바이스(10)는 계산된 교차 지점(38)의 위치를 기준으로 HMD 디바이스 상에 디스플레이될 버추얼 오브젝트의 위치를 결정할 수 있다.When the gaze calibration is performed using the reference object, the
레퍼런스 포인트를 이용하여 시선 캘리브레이션하는 경우, HMD 디바이스(10)는 레퍼런스 오브젝트인 포터블 디바이스(36) 중 이벤트가 발생한 지점을 레퍼런스 포인트(37)로 결정할 수 있다. 예를 들어, 사용자의 손이 포터블 디바이스(36)에 디스플레이된 오브젝트를 터치한 경우, 사용자의 터치가 입력된 지점을 레퍼런스 포인트(37)로 결정할 수 있다. HMD 디바이스(10)는 레퍼런스 포인트의 위치 및 사용자의 시선 방향을 이용하여 시선 캘리브레이션을 실시할 수 있다. HMD 디바이스(10)는 시선 디텍팅 유닛(22)을 이용하여 사용자의 동공(13)의 위치를 디텍팅하고 이를 기초로 사용자의 시선 방향을 결정할 수 있다. HMD 디바이스(10)는 사용자의 동공(13)과 레퍼런스 포인트(37)를 잇는 버추얼 라인(39)을 설정하고, 버추얼 라인(39)과 HMD 디바이스의 교차 지점(38)의 위치를 계산할 수 있다. 즉, HMD 디바이스(10)는 사용자의 동공(13)의 위치 및 레퍼런스 포인트(37)의 위치에 기초하여 시선 캘리브레이션을 실시하고 시선 캘리브레이션의 결과로 위에서 언급한 교차 지점(38)의 위치를 계산할 수 있다. HMD 디바이스(10)는 계산된 교차 지점(38)의 위치를 기준으로 HMD 디바이스 상에 디스플레이될 버추얼 오브젝트의 위치를 결정할 수 있다. When gaze calibration is performed using the reference point, the
도 4a 및 4b는 다른 실시예에 따른 레퍼런스 오브젝트 및 레퍼런스 포인트의 예를 나타낸 도면이다. HMD 디바이스(10)는 리얼 오브젝트 및 사용자의 손을 디텍팅할 수 있다. HMD 디바이스(10)는 사용자의 손에 의한 리얼 오브젝트에 대한 이벤트를 디텍팅할 수 있다. HMD 디바이스(10)는 이벤트가 디텍팅된 리얼 오브젝트를 레퍼런스 오브젝트로 결정할 수 있다. HMD 디바이스(10)는 레퍼런스 오브젝트 중 이벤트가 디텍팅된 지점을 레퍼런스 포인트로 결정할 수 있다. HMD 디바이스(10)는 결정된 레퍼런스 오브젝트 및 레퍼런스 포인트 중 적어도 하나를 시선 캘리브레이션에 이용할 수 있다. 또한 HMD 디바이스(10)는 사용자의 손을 리얼 오브젝트로서 디텍팅할 수 있다. HMD 디바이스(10)는 사용자의 손에 의한 제스쳐 및 손의 모양 중 적어도 하나를 디텍팅할 수 있으며, 기설정된 제스쳐 또는 모양과 함께 디텍팅된 사용자의 손을 레퍼런스 오브젝트로 결정할 수 있다. 또한 HMD 디바이스(10)는 사용자의 손의 일부분을 레퍼런스 포인트로 결정할 수 있다. 4A and 4B are diagrams illustrating examples of reference objects and reference points according to another embodiment. The
도 4a는 사용자가 스위치를 제어하는 동작을 이용하여 시선 캘리브레이션을 하는 방법을 나타낸다. HMD 디바이스(10)는 카메라 유닛(21) 및 이미지 처리 유닛을 이용하여 스위치(41)를 리얼 오브젝트로서 디텍팅할 수 있다. 또한 HMD 디바이스(10)는 스위치(41)를 제어하는 사용자의 손(12)을 디텍팅할 수 있다. HMD 디바이스(10)는 사용자의 손(12)이 스위치(41)를 제어하는 동작을 이벤트로 디텍팅할 수 있다. 이를 통해 HMD 디바이스(10)는 스위치(41)을 레퍼런스 오브젝트로 결정할 수 있으며 사용자의 손(12)이 터치한 스위치의 일부분을 레퍼런스 포인트로 결정할 수 있다. 4A illustrates a method of performing gaze calibration by using an operation in which a user controls a switch. The
레퍼런스 오브젝트를 이용하여 시선 캘리브레이션하는 경우, HMD 디바이스(10)는 레퍼런스 오브젝트인 스위치(41)의 위치 및 사용자의 시선 방향을 이용하여 시선 캘리브레이션을 실시할 수 있다. HMD 디바이스(10)는 시선 디텍팅 유닛(22)을 이용하여 사용자의 동공(13)의 위치를 디텍팅하고 이를 기초로 사용자의 시선 방향을 결정할 수 있다. HMD 디바이스(10)는 사용자의 동공(13)과 레퍼런스 오브젝트(41)를 잇는 버추얼 라인(43)을 설정하고, 버추얼 라인(43)과 HMD 디바이스의 교차 지점(44)의 위치를 계산할 수 있다. 즉, HMD 디바이스(10)는 사용자의 동공(13)의 위치 및 레퍼런스 오브젝트(41)의 위치에 기초하여 시선 캘리브레이션을 실시하고 시선 캘리브레이션의 결과로 위에서 언급한 교차 지점(44)의 위치를 계산할 수 있다. HMD 디바이스(10)는 계산된 교차 지점(44)의 위치를 기준으로 HMD 디바이스 상에 디스플레이될 버추얼 오브젝트의 위치를 결정할 수 있다. When the gaze calibration is performed using the reference object, the
레퍼런스 포인트를 이용하여 시선 캘리브레이션하는 경우, HMD 디바이스(10)는 레퍼런스 오브젝트인 스위치(31) 상에서 사용자의 손이 터치한 부분을 레퍼런스 포인트(42)로 결정할 수 있다. HMD 디바이스(10)는 레퍼런스 포인트의 위치 및 사용자의 시선 방향을 이용하여 시선 캘리브레이션을 실시할 수 있다. HMD 디바이스(10)는 시선 디텍팅 유닛(22)을 이용하여 사용자의 동공(13)의 위치를 디텍팅하고 이를 기초로 사용자의 시선 방향을 결정할 수 있다. HMD 디바이스(10)는 사용자의 동공(13)과 레퍼런스 포인트(42)를 잇는 버추얼 라인(43)을 설정하고, 버추얼 라인(43)과 HMD 디바이스의 교차 지점(44)의 위치를 계산할 수 있다. 즉, HMD 디바이스(10)는 사용자의 동공(13)의 위치 및 레퍼런스 포인트(42)의 위치에 기초하여 시선 캘리브레이션을 실시하고 시선 캘리브레이션의 결과로 위에서 언급한 교차 지점(44)의 위치를 계산할 수 있다. HMD 디바이스(10)는 계산된 교차 지점(44)의 위치를 기준으로 HMD 디바이스 상에 디스플레이될 버추얼 오브젝트의 위치를 결정할 수 있다. When gaze calibration is performed using the reference point, the
또한 HMD 디바이스(10)는 사용자의 손을 리얼 오브젝트로서 디텍팅할 수 있다. HMD 디바이스(10)는 사용자의 손에 의한 제스쳐 및 손의 모양 중 적어도 하나를 디텍팅할 수 있으며, 기설정된 제스쳐 및 모양 중 적어도 하나와 함께 디텍팅된 사용자의 손을 레퍼런스 오브젝트로 결정할 수 있다. 또한 HMD 디바이스(10)는 사용자의 손의 일부분을 레퍼런스 포인트로 결정할 수 있다. Also, the
도 4b는 사용자의 손을 레퍼런스 오브젝트로 이용하여 시선 캘리브레이션을 하는 방법을 나타낸다. HMD 디바이스(10)는 카메라 유닛(21) 및 이미지 처리 유닛을 이용하여 사용자의 손(12)을 리얼 오브젝트로서 디텍팅할 수 있다. HMD 디바이스(10)는 사용자의 손(12)이 인디케이트하는 제스쳐 및 모양 중 적어도 하나를 이벤트로서 디텍팅할 수 있다. 여기서 HMD 디바이스(10)는 시선 캘리브레이션을 위한 사용자의 제스쳐 및 손모양 중 적어도 하나를 사전에 저장할 수 있다. HMD 디바이스(10)는 저장된 제스쳐와 사용자의 손(12)이 인디케이트하는 제스쳐를 비교하여 이벤트의 발생 여부를 결정할 수 있다. HMD 디바이스(10)는 저장된 제스쳐와 사용자의 손(12)이 인디케이트하는 제스쳐가 매칭되는 경우, 이를 이벤트의 발생으로서 디텍팅할 수 있다. 또한 HMD 디바이스(10)는 저장된 손모양과 사용자의 손(12)이 인디케이트하는 손모양을 비교하여 이벤트의 발생 여부를 결정할 수 있다. HMD 디바이스(10)는 저장된 손모양와 사용자의 손(12)이 인디케이트하는 손모양이 매칭되는 경우, 이를 이벤트의 발생으로서 디텍팅할 수 있다.4B shows a method of performing gaze calibration using a user's hand as a reference object. The
사용자의 손(12)의 제스쳐 또는 손모양에 의해 HMD 디바이스(10)가 이벤트를 디텍팅하면, HMD 디바이스(10)는 사용자의 손(12)을 레퍼런스 오브젝트로 결정할 수 있으며 사용자의 손(12) 중 일부분을 레퍼런스 포인트(45)로 결정할 수 있다. 예를 들어, 사용자의 손끝을 레퍼런스 포인트(45)로 결정할 수 있다. HMD 디바이스(10)는 복수의 제스쳐 또는 손모양에 대해 각각 사용자의 손 중 어느 부분이 레퍼런스 포인트가 될 것인지를 결정할 수 있다. 즉, HMD 디바이스(10)는 제1 제스쳐가 디텍팅된 경우에 사용자의 손 중 제1 부분을 레퍼런스 포인트로 결정하고, 제2 제스쳐가 디텍팅된 경우에 사용자의 손 중 제2 부분을 레퍼런스 포인트로 결정할 수 있다. 또한 HMD 디바이스(10)는 제1 손모양이 디텍팅된 경우에 사용자의 손 중 제1 부분을 레퍼런스 포인트로 결정하고, 제2 손모양이 디텍팅된 경우에 사용자의 손 중 제2 부분을 레퍼런스 포인트로 결정할 수 있다. 예를 들어, 도 4b와 같이 HMD 디바이스(10)에 의해 'V'모양의 손이 디텍팅된 경우에 검지 손가락의 끝부분을 레퍼런스 포인트로 결정하고, 엄지 손가락만을 세운 손이 디텍팅된 경우에 엄지 손가락의 손톱 부분을 레퍼런스 포인트로 결정할 수 있다. When the
HMD 디바이스(10)는 레퍼런스 포인트의 위치 및 사용자의 시선 방향을 이용하여 시선 캘리브레이션을 실시할 수 있다. HMD 디바이스(10)는 시선 디텍팅 유닛(22)을 이용하여 사용자의 동공(13)의 위치를 디텍팅하고 이를 기초로 사용자의 시선 방향을 결정할 수 있다. HMD 디바이스(10)는 사용자의 동공(13)과 레퍼런스 포인트(45)를 잇는 버추얼 라인(46)을 설정하고, 버추얼 라인(46)과 HMD 디바이스의 교차 지점(47)의 위치를 계산할 수 있다. 즉, HMD 디바이스(10)는 사용자의 동공(13)의 위치 및 레퍼런스 포인트(45)의 위치에 기초하여 시선 캘리브레이션을 실시하고 시선 캘리브레이션의 결과로 위에서 언급한 교차 지점(47)의 위치를 계산할 수 있다. HMD 디바이스(10)는 계산된 교차 지점(47)의 위치를 기준으로 HMD 디바이스 상에 디스플레이될 버추얼 오브젝트의 위치를 결정할 수 있다.The
도 5a 및 5b는 일 실시예에 따른 시선 캘리브레이션을 이용한 증강 현실(AR) 메시지를 디스플레이하는 방법을 나타낸 도면이다. HMD 디바이스는 시선 캘리브레이션을 이용하여 증강 현실 메시지를 디스플레이할 수 있다. HMD 디바이스는 좌안(left eye) 및 우안(right eye)에 각각 레프트-이미지(left-image)와 라이트-이미지(right-image)를 제공하여 깊이감(depth)을 갖는 이미지를 디스플레이할 수 있다. 즉, HMD 디바이스는 레프트-이미지와 라이트-이미지에 의한 양안 시차(binocular disparity)를 이용하여 3차원 이미지를 사용자에게 제공할 수 있다. 5A and 5B are diagrams illustrating a method of displaying an augmented reality (AR) message using gaze calibration according to an embodiment. The HMD device may display an augmented reality message using gaze calibration. The HMD device may provide a left-image and a right-image to the left eye and right eye, respectively, to display an image having a depth. That is, the HMD device can provide the user with a three-dimensional image using binocular disparity due to left-image and light-image.
HMD 디바이스는 사용자의 손에 의해 레퍼런스 포인트가 결정되면, 거리 측정 유닛을 이용하여 HMD 디바이스로부터 레퍼런스 포인트까지의 거리를 측정할 수 있다. HMD 디바이스는 측정된 거리에 대응하여 증강 현실 메시지의 깊이감을 결정할 수 있다. 결과적으로 HMD 디바이스는 레퍼런스 포인트의 깊이감에 대응하여 증강 현실 메시지를 디스플레이할 수 있다. When the reference point is determined by the user's hand, the HMD device may measure the distance from the HMD device to the reference point using a distance measurement unit. The HMD device may determine the depth of augmented reality message in response to the measured distance. As a result, the HMD device can display the augmented reality message in response to the depth of reference point.
도 5a는 사용자의 양안에 대해 레퍼런스 포인트를 이용하여 시선 캘리브레이션을 실시하는 방법을 나타낸 도면이다. HMD 디바이스는 사용자의 좌안에 그래픽 유저 인터페이스를 제공하는 좌측 서브유닛(10-1) 및 사용자의 우안에 그래픽 유저 인터페이스를 제공하는 우측 서브유닛(10-2)을 포함할 수 있다. HMD 디바이스의 각 서브유닛은 각각 카메라 유닛 및 시선 디텍팅 유닛을 포함할 수 있다. 아래에서 좌측 서브유닛 및 우측 서브유닛에 공통된 설명은 HMD 디바이스를 주체로 하여 설명하도록 한다. 5A is a diagram illustrating a method of performing gaze calibration using a reference point for both eyes of a user. The HMD device may include a left subunit 10-1 providing a graphical user interface to the user's left side and a right subunit 10-2 providing a graphical user interface to the user's right side. Each subunit of the HMD device may include a camera unit and a gaze detecting unit, respectively. Hereinafter, descriptions common to the left subunit and the right subunit will be described mainly using the HMD device.
HMD 디바이스(10-1,10-2)는 레퍼런스 오브젝트(51)과 사용자의 손(12)을 디텍팅할 수 있다. HMD 디바이스(10-1,10-2)는 사용자의 손(12)이 레퍼런스 오브젝트(51)의 일부분을 터치하는 이벤트를 디텍팅할 수 있다. HMD 디바이스(10-1,10-2)는 카메라 유닛 및 이미지 처리 유닛을 이용하여 레퍼런스 오브젝트 상에서 이벤트가 발생한 위치를 레퍼런스 포인트(52)로 결정할 수 있다. HMD 디바이스(10-1,10-2)는 시선 디텍팅 유닛을 이용하여 레퍼런스 포인트(52)를 응시하는 사용자의 시선 방향을 결정할 수 있다. HMD 디바이스(10)는 사용자의 동공(13)의 위치를 디텍팅하여 사용자의 시선 방향을 결정할 수 있다. The HMD devices 10-1 and 10-2 may detect the
HMD 디바이스의 좌측 서브유닛(10-1)은 사용자의 좌안의 동공(13-1)과 레퍼런스 포인트(52)를 잇는 제1 버추얼 라인(54-1)을 설정하고, 제1 버추얼 라인(54-1)과 좌측 서브유닛(10-1)의 제1 교차 지점(53-1)을 계산할 수 있다. 즉, HMD 디바이스는 사용자의 좌안의 동공(13-1)의 위치 및 레퍼런스 포인트(52)의 위치에 기초하여 시선 캘리브레이션을 실시하고 시선 캘리브레이션의 결과로 위에서 언급한 제1 교차 지점(53-1)을 계산할 수 있다. HMD 디바이스는 계산된 제1 교차 지점(53-1)의 위치를 기준으로 좌측 서브유닛(10-1)에 디스플레이될 레프트-이미지의 위치를 결정할 수 있다. The left subunit 10-1 of the HMD device sets the first virtual line 54-1 connecting the pupil 13-1 of the user's left eye and the
HMD 디바이스의 우측 서브유닛(10-2)은 사용자의 우안의 동공(13-2)과 레퍼런스 포인트(52)를 잇는 제2 버추얼 라인(54-2)을 설정하고, 제2 버추얼 라인(54-2)과 우측 서브유닛(10-2)의 제2 교차 지점(53-2)을 계산할 수 있다. 즉, HMD 디바이스는 사용자의 우안의 동공(13-2)의 위치 및 레퍼런스 포인트(52)의 위치에 기초하여 시선 캘리브레이션을 실시하고 시선 캘리브레이션의 결과로 위에서 언급한 제2 교차 지점(53-2)을 계산할 수 있다. HMD 디바이스는 계산된 제2 교차 지점(53-2)의 위치를 기준으로 우측 서브유닛(10-2)에 디스플레이될 라이트-이미지의 위치를 결정할 수 있다. The right subunit 10-2 of the HMD device sets the second virtual line 54-2 connecting the pupil 13-2 of the user's right eye and the
HMD 디바이스는 거리 측정 유닛을 이용하여 HMD 디바이스로부터 레퍼런스 포인트까지의 거리를 측정할 수 있다. 거리 측정 유닛은 초음파 센서, 레이저 센서 및 적외선 센서 중 적어도 하나를 이용하여 레퍼런스 포인트까지의 거리를 측정할 수 있다. HMD 디바이스는 측정된 레퍼런스 포인트까지의 거리에 기초하여 증강 현실 메시지의 깊이감(depth)을 결정할 수 있다. 예를 들어, HMD 디바이스는 증강 현실 메시지의 깊이감을 레퍼런스 포인트의 깊이감과 동일하게 설정하여, 레퍼런스 포인트와 증강현실 메시지가 동일 평면상에 위치하도록 증강현실 메시지를 디스플레이할 수 있다. The HMD device can measure the distance from the HMD device to the reference point using a distance measurement unit. The distance measuring unit may measure a distance to a reference point using at least one of an ultrasonic sensor, a laser sensor, and an infrared sensor. The HMD device can determine the depth of the augmented reality message based on the measured distance to the reference point. For example, the HMD device may set the depth of the augmented reality message to be the same as the depth of the reference point, and display the augmented reality message such that the reference point and the augmented reality message are on the same plane.
도 5b는 레프트-이미지 및 라이트-이미지의 양안시차를 이용하여 증강현실 메시지를 디스플레이하는 방법을 나타낸 도면이다. HMD 디바이스의 좌측 서브유닛(10-1)은 레프트-이미지를 디스플레이하고 우측 서브유닛(10-2)은 라이트-이미지를 디스플레이할 수 있다. 여기서 HMD 디바이스는 제1 교차 지점(53-1)에 대응하여 레프트-이미지를 디스플레이하고, 제2 교차 지점(53-2)에 대응하여 라이트-이미지를 디스플레이할 수 있다. 5B is a diagram illustrating a method for displaying an augmented reality message using binocular parallax of a left-image and a light-image. The left subunit 10-1 of the HMD device may display the left-image and the right subunit 10-2 may display the light-image. Here, the HMD device may display a left-image in response to the first intersection point 53-1 and a light-image in response to the second intersection point 53-2.
HMD 디바이스는 디스플레이하는 증강현실 메시지에 대해 깊이감(depth)을 부여할 수 있다. 즉, HMD 디바이스는 디스플레이하는 증강현실 메시지를 레프트-이미지 및 라이트-이미지로 생성하고, 레프트-이미지 및 라이트-이미지 사이에 양안시차를 부여하여 3차원 이미지로 변환할 수 있다. 이를 통해, HMD 디바이스는 깊이감이 있는 증강현실 메시지(55)를 디스플레이할 수 있으며, 예를 들어 레퍼런스 포인트와 동일 평면에 위치한 증강현실 메시지(55)를 사용자에게 제공할 수 있다. The HMD device may give a depth to the augmented reality message to be displayed. That is, the HMD device may generate an augmented reality message to be displayed as a left-image and a light-image, and convert a 3D image to a binocular parallax between the left-image and light-image. Through this, the HMD device can display the augmented
도 6a 및 6b는 일 실시예에 따른 HMD 디바이스의 교차지점을 보정 방법을 나타낸 도면이다. 도 6a에서 HMD 디바이스(10)는 레퍼런스 오브젝트(61)과 사용자의 손(12)을 디텍팅할 수 있다. HMD 디바이스(10)는 사용자의 손(12)이 레퍼런스 오브젝트(61)의 일부분을 터치하는 이벤트를 디텍팅할 수 있다. HMD 디바이스(10)는 카메라 유닛(21) 및 이미지 처리 유닛을 이용하여 레퍼런스 오브젝트 상에서 이벤트가 발생한 위치를 레퍼런스 포인트(62)로 결정할 수 있다. HMD 디바이스(10)는 시선 디텍팅 유닛(22)을 이용하여 레퍼런스 포인트(62)를 응시하는 사용자의 시선 방향을 결정할 수 있다. HMD 디바이스(10)는 사용자의 동공(13)의 위치를 디텍팅하여 사용자의 시선 방향을 결정할 수 있다. 6A and 6B are diagrams illustrating a method of correcting an intersection point of an HMD device according to an embodiment. In FIG. 6A, the
HMD 디바이스(10)는 사용자의 동공(13)과 레퍼런스 포인트(62)를 잇는 제1 버추얼 라인(63-1)을 설정하고, 제1 버추얼 라인(63-1)과 HMD 디바이스(10)의 제1 교차 지점(64-1)을 계산할 수 있다. 즉, HMD 디바이스는 사용자의 동공(13)의 위치 및 레퍼런스 포인트(62)의 위치에 기초하여 시선 캘리브레이션을 실시하고 시선 캘리브레이션의 결과로 제1 교차 지점(64-1)을 계산할 수 있다. HMD 디바이스는 계산된 제1 교차 지점(64-1)의 위치를 기준으로 HMD 디바이스(10)에 디스플레이될 버추얼 오브젝트의 위치를 결정할 수 있다.The
HMD 디바이스(10)는 사용자의 움직임에 의해 사용자의 동공에 대한 상대적인 위치가 변경될 수 있다. 이 경우, HMD 디바이스(10)는 시선 캘리브레이션을 실시하거나 갱신해야하는 것으로 디텍팅할 수 있다. HMD 디바이스(10)는 사용자의 동공에 대한 상대적인 위치 변경을 디텍팅하여 시선 캘리브레이션에 의한 교차 지점의 위치를 보정할 수 있다. HMD 디바이스(10)는 카메라 유닛(22)을 이용하여 사용자의 동공에 대한 HMD 디바이스(10)의 상대적인 위치가 변경되었음을 디텍팅할 수 있다. 이 경우, HMD 디바이스(10)는 시선 캘리브레이션을 통해 교차 지점의 위치를 보정할 수 있다. 또한 보정된 교차 지점의 위치에 기초하여 디스플레이되는 버추얼 오브젝트의 위치도 변경할 수 있다. The
도 6b에서 사용자 동공에 대한 HMD 디바이스(10)의 상대적인 위치는 도 6a와 비교하여 아래쪽으로 이동되었다. HMD 디바이스(10)의 상대적인 위치가 변경된 경우, HMD 디바이스(10)는 사용자의 동공(13)과 레퍼런스 포인트(62)를 잇는 제2 버추얼 라인(63-2)을 설정하고, 제2 버추얼 라인(63-2)과 HMD 디바이스(10)의 제2 교차 지점(64-2)을 계산할 수 있다. 즉, HMD 디바이스는 사용자의 동공(13)의 위치 및 레퍼런스 포인트(62)의 위치에 기초하여 시선 캘리브레이션을 실시하고 시선 캘리브레이션의 결과로 제2 교차 지점(64-2)을 계산할 수 있다. HMD 디바이스는 계산된 제2 교차 지점(64-2)의 위치를 기준으로 HMD 디바이스(10)에 디스플레이되는 버추얼 오브젝트의 위치를 결정할 수 있다. 이러한 과정을 통해 HMD 디바이스(10)는 교차 지점의 위치를 제1 교차 지점(64-1)에서 제2 교차 지점(64-2)으로 보정하여 디스플레이되는 버추얼 오브젝트의 위치를 사용자의 시선에 대응하여 결정할 수 있다. 따라서 사용자 동공에 대한 HMD 디바이스의 상대적인 위치에 따라 적응적으로 버추얼 오브젝트의 위치를 결정할 수 있는 효과가 있다. The relative position of the
도 7은 일 실시예에 따른 HMD 디바이스를 나타낸 블록도이다. HMD 디바이스는 카메라 유닛(101), 이미지 처리 유닛(102), 시선 디텍팅 유닛(103), 디스플레이 유닛(104) 및 컨트롤러(105)를 포함할 수 있다. 이에 더하여 HMD 디바이스는 거리 측정 유닛을 더 포함할 수 있다.7 is a block diagram illustrating an HMD device according to an embodiment. The HMD device may include a
카메라 유닛(101)은 HMD 디바이스의 전면 방향에 위치한 주변환경의 이미지를 센싱할 수 있다. 카메라 유닛은 이미지 센서를 포함할 수 있으며 이미지 센서는 광학 신호를 전기적 신호로 전환할 수 있다. 카메라 유닛(101)은 센싱한 주변환경의 이미지를 전기적 신호로 전환하여 컨트롤러에 전달할 수 있다. 카메라 유닛(101)은 사용자의 시야에 대응하는 범위의 이미지를 센싱할 수 있다. 따라서 HMD 디바이스는 센싱된 이미지와 사용자의 동공의 위치에 기초하여 사용자가 주변환경에 포함된 리얼 오브젝트들 중에서 어느 리얼 오브젝트를 응시하는지 결정할 수 있다. The
이미지 처리 유닛(102)은 센싱된 주변환경의 이미지 중에서 리얼 오브젝트를 구별할 수 있다. 이미지 처리 유닛(102)은 주변환경의 이미지에 포함된 적어도 하나의 리얼 오브젝트를 오브젝트 단위로 디텍팅할 수 있다. 또한 이미지 처리 유닛(102)은 센싱된 주변환경의 이미지에서 사용자의 손을 디텍팅할 수 있다. 이미지 처리 유닛(102)은 사용자의 손모양 및 제스쳐 중 적어도 하나를 이용하여 다른 사람의 손과 사용자의 손을 구별할 수 있다. 이미지 처리 유닛은 리얼 오브젝트에 대한 사용자의 손의 이벤트를 디텍팅하고, 이벤트가 디텍팅된 리얼 오브젝트를 레퍼런스 오브젝트로 결정할 수 있다. 또한 이미지 처리 유닛(102)은 레퍼런스 오브젝트 상에서 이벤트가 디텍팅된 지점을 레퍼런스 포인트로 결정할 수 있다. 이미지 처리 유닛(102)은 결정된 레퍼런스 오브젝트 및 레퍼런스 포인트 중 적어도 하나에 대한 정보를 컨트롤러로 전달할 수 있다. The
시선 디텍팅 유닛(103)은 사용자의 시선 방향을 디텍팅할 수 있다. 시선 디텍팅 유닛(103)은 사용자의 동공의 움직임에 대응하여 사용자의 시선 방향을 디텍팅할 수 있다. 또한 시선 디텍팅 유닛(103)은 HMD 디바이스에 대한 사용자의 동공의 상대적인 위치에 따라 시선 캘리브레이션을 갱신해야 하는지를 디텍팅할 수 있다. 시선 디텍팅 유닛(103)은 사용자의 시선 방향에 대한 정보를 컨트롤러에 제공할 수 있다.The
디스플레이 유닛(104)은 버추얼 오브젝트를 디스플레이할 수 있다. 버추얼 오브젝트는 디스플레이 유닛에 의해 사용자에게 제공되는 그래픽 유저 인터페이스를 포함할 수 있다. 디스플레이 유닛은 사용자의 좌안 및 우안에 각각 레프트-이미지 및 라이트-이미지를 디스플레이할 수 있다. 디스플레이 유닛(104)은 양안 시차를 이용하여 깊이감(depth)을 갖는 버추얼 오브젝트를 디스플레이할 수 있다. 디스플레이 유닛(104)은 시선 캘리브레이션의 결과에 따라 버추얼 오브젝트가 디스플레이된 위치를 제어하고 디스플레이할 수 있다. 디스플레이 유닛(104)은 광학적 씨-스루(see-through) 디스플레이 유닛을 포함할 수 있다. 따라서 사용자는 디스플레이 유닛(104)을 통해 투과되는 가시광선으로부터 주변환경을 인식할 수 있다. The
거리 측정 유닛은 HMD 디바이스로부터 레퍼런스 오브젝트까지의 거리를 측정할 수 있다. 또한 거리 측정 유닛은 HMD 디바이스로부터 레퍼런스 포인트까지의 거리를 측정할 수 있다. HMD 디바이스는 거리 측정 유닛에 의해 측정된 거리에 대응하여 디스플레이되는 버추얼 오브젝트의 깊이감을 결정할 수 있다. 거리 측정 유닛은 초음파 센서, 레이저 센서 및 적외선 센서 중 적어도 하나를 이용하여 거리를 측정할 수 있다. 거리 측정 유닛은 측정된 거리에 대한 정보를 컨트롤러로 전달할 수 있다. 본 명세서의 실시예에서 거리 측정 유닛은 HMD 디바이스의 옵셔널한 구성이 될 수 있다.The distance measurement unit can measure the distance from the HMD device to the reference object. Also, the distance measurement unit can measure the distance from the HMD device to the reference point. The HMD device may determine a sense of depth of the virtual object displayed corresponding to the distance measured by the distance measuring unit. The distance measuring unit may measure a distance using at least one of an ultrasonic sensor, a laser sensor, and an infrared sensor. The distance measuring unit may transmit information on the measured distance to the controller. In the embodiments of the present specification, the distance measuring unit may be an optional configuration of the HMD device.
컨트롤러(105)는 애플리케이션을 실행하고, HMD 디바이스 내부의 데이터를 프로세싱할 수 있다. 컨트롤러(105)는 상술한 카메라 유닛(101), 이미지 처리 유닛(102), 시선 디텍팅 유닛(103) 및 디스플레이 유닛(104)을 제어할 수 있으며, 유닛들 간의 데이터 송수신을 매니지할 수 있다. 본 명세서에서 컨트롤러(105)는 카메라 유닛(101)으로부터 주변환경의 이미지를 제공받을 수 있다. 또한 컨트롤러(105)는 이미지 처리 유닛(102)으로부터 레퍼런스 오브젝트, 레퍼런스 포인트, 이벤트의 발생 및 사용자의 손의 위치에 대한 정보를 제공받을 수 있다. 또한 컨트롤러(105)는 시선 디텍팅 유닛(103)으로부터 사용자의 시선 방향에 대한 정보를 제공받을 수 있다. 컨트롤러(105)는 레퍼런스 오브젝트 및 사용자의 시선 방향에 대한 정보를 이용하여 시선 캘리브레이션을 실시할 수 있다. 또한 컨트롤러(105)는 레퍼런스 포인트 및 사용자의 시선 방향에 대한 정보를 이용하여 시선 캘리브레이션을 실시할 수 있다. 컨트롤러(105)는 시선 캘리브레이션의 결과에 따라 디스플레이 유닛(104)에 디스플레이되는 버추얼 오브젝트의 위치를 제어할 수 있다. The
도 7은 일 실시예에 따른 블록도로서, 분리하여 표시한 블록들은 HMD 디바이스의 엘러먼트들을 논리적으로 구별하여 도시한 것이다. 따라서 상술한 HMD 디바이스의 엘러먼트들은 HMD 디바이스의 설계에 따라 하나의 칩으로 또는 복수의 칩으로 장착될 수 있다.FIG. 7 is a block diagram according to an embodiment, and blocks separately displayed are logically distinguished elements of an HMD device. Accordingly, the above-described elements of the HMD device may be mounted as one chip or as a plurality of chips depending on the design of the HMD device.
도 8은 일 실시예에 따른 시선 캘리브레이션의 방법을 나타낸 순서도이다. HMD 디바이스는 카메라 유닛을 이용하여, HMD 디바이스의 전면 방향의 주변환경(surroundings)의 이미지를 센싱할 수 있다(S10). HMD 디바이스는 사용자의 시야에 대응하는 범위를 센싱할 수 있다. 8 is a flowchart illustrating a method of eye gaze calibration according to an embodiment. The HMD device may sense an image of surroundings in the front direction of the HMD device using the camera unit (S10). The HMD device may sense a range corresponding to the user's field of view.
HMD 디바이스는 이미지 처리 유닛을 이용하여, 센싱된 주변환경(surroundings)의 이미지 중에서 레퍼런스 오브젝트를 디텍팅할 수 있다(S20). 도 1 내지 4에서 설명한 바와 같이 HMD 디바이스는 센싱된 주변환경의 이미지에 포함된 적어도 하나의 리얼 오브젝트를 오브젝트 단위로 구별할 수 있다. HMD 디바이스는 오브젝트 단위로 구별된 적어도 하나의 리얼 오브젝트 중에서 레퍼런스 오브젝트를 디텍팅할 수 있다. HMD 디바이스가 레퍼런스 오브젝트를 디텍팅하는 방법은 도 9 및 도 10에서 자세히 설명하도록 한다. 또한 HMD 디바이스는 레퍼런스 오브젝트의 일부 영역인 레퍼런스 포인트를 디텍팅할 수 있다. 이 경우, HMD 디바이스는 정확한 시선 캘리브레이션을 실행하기 위해, 레퍼런스 오브젝트의 위치 대신 레퍼런스 포인트의 위치를 시선 캘리브레이션에 이용할 수 있다. The HMD device may detect the reference object among the images of the sensed surroundings using the image processing unit (S20). As described with reference to FIGS. 1 to 4, the HMD device may distinguish at least one real object included in an image of the sensed surrounding environment on an object basis. The HMD device may detect a reference object among at least one real object distinguished in units of objects. How the HMD device detects the reference object will be described in detail in FIGS. 9 and 10. Also, the HMD device may detect a reference point that is a partial area of the reference object. In this case, the HMD device may use the position of the reference point for gaze calibration, instead of the position of the reference object, in order to perform accurate gaze calibration.
HMD 디바이스는 시선 디텍팅 유닛을 이용하여, 디텍팅된 레퍼런스 오브젝트를 바라보는 사용자의 시선 방향을 디텍팅할 수 있다(S30). HMD 디바이스는 HMD 디바이스를 착용한 사용자의 동공의 위치를 디텍팅하여 사용자의 시선 방향을 디텍팅할 수 있다. HMD 디바이스는 사용자의 동공에 대한 HMD 디바이스의 상대적인 위치 및 사용자의 동공과 HMD 디바이스 사이의 거리 중 적어도 하나에 기초하여, 디텍팅된 사용자의 시선 방향을 보정할 수 있다.The HMD device may detect a user's gaze direction looking at the detected reference object using the gaze detecting unit (S30). The HMD device may detect the user's gaze direction by detecting the position of the pupil of the user wearing the HMD device. The HMD device may correct the detected gaze direction of the detected user based on at least one of the relative position of the HMD device with respect to the user's pupil and the distance between the user's pupil and the HMD device.
HMD 디바이스는 컨트롤러를 이용하여, 디텍팅된 레퍼런스 오브젝트 및 디텍팅된 사용자의 시선 방향에 기초하여 시선 캘리브레이션할 수 있다(S40). 도 1 내지 4에서 설명한 바와 같이 레퍼런스 오브젝트를 이용하여 시선 캘리브레이션하는 경우, HMD 디바이스는 디텍팅된 레퍼런스 오브젝트의 위치 및 디텍팅된 사용자의 시선 방향을 이용하여 사용자의 동공과 레퍼런스 오브젝트를 잇는 버추얼 라인을 설정할 수 있다. HMD 디바이스는 버추얼 라인과 HMD 디바이스의 교차 지점의 위치를 계산할 수 있다. 즉, HMD 디바이스는 사용자의 동공의 위치 및 레퍼런스 오브젝트의 위치에 기초하여 시선 캘리브레이션을 실시하고 시선 캘리브레이션의 결과로 위에서 언급한 교차 지점의 위치를 계산할 수 있다. HMD 디바이스는 계산된 교차 지점의 위치를 기준으로 HMD 디바이스 상에 디스플레이될 버추얼 오브젝트의 위치를 결정할 수 있다.The HMD device may calibrate the gaze based on the detected reference object and the detected gaze direction of the detected user using the controller (S40). As described with reference to FIGS. 1 to 4, when gaze calibration is performed using a reference object, the HMD device uses a position of the detected reference object and a detected user's gaze direction to display a virtual line connecting the user's pupil and the reference object. Can be set. The HMD device can calculate the position of the intersection of the virtual line and the HMD device. That is, the HMD device may perform gaze calibration based on the position of the pupil of the user and the position of the reference object, and calculate the position of the intersection point mentioned above as a result of gaze calibration. The HMD device can determine the position of the virtual object to be displayed on the HMD device based on the calculated position of the intersection point.
다른 실시예로서, 레퍼런스 포인트를 이용하여 시선 캘리브레이션하는 경우, HMD 디바이스는 디텍팅된 레퍼런스 포인트의 위치 및 디텍팅된 사용자의 시선 방향을 이용하여 사용자의 동공과 레퍼런스 포인트를 잇는 버추얼 라인을 설정할 수 있다. HMD 디바이스는 버추얼 라인과 HMD 디바이스의 교차 지점의 위치를 계산할 수 있다. 즉, HMD 디바이스는 사용자의 동공의 위치 및 레퍼런스 포인트의 위치에 기초하여 시선 캘리브레이션을 실시하고 시선 캘리브레이션의 결과로 위에서 언급한 교차 지점의 위치를 계산할 수 있다. HMD 디바이스는 계산된 교차 지점의 위치를 기준으로 HMD 디바이스 상에 디스플레이될 버추얼 오브젝트의 위치를 결정할 수 있다.As another embodiment, when the gaze calibration is performed using the reference point, the HMD device may set a virtual line connecting the pupil of the user and the reference point using the position of the detected reference point and the direction of the detected user's gaze. . The HMD device can calculate the position of the intersection of the virtual line and the HMD device. That is, the HMD device may perform gaze calibration based on the position of the pupil of the user and the position of the reference point, and calculate the position of the intersection point mentioned above as a result of gaze calibration. The HMD device can determine the position of the virtual object to be displayed on the HMD device based on the calculated position of the intersection point.
버추얼 오브젝트는 HMD 디바이스의 디스플레이 유닛 상에 디스플레이되는 오브젝트를 포함할 수 있다. 예를 들어 HMD 디바이스는 도 5에서 설명한 증강현실(Augmented Reality, AR) 메시지를 비롯하여, 어플리케이션의 아이콘, 알람 메시지, 내비게이션의 방향 지시자 및 노티피케이션 메시지 등의 버추얼 오브젝트를 디스플레이 유닛에 디스플레이할 수 있다. The virtual object may include an object displayed on the display unit of the HMD device. For example, the HMD device may display a virtual object such as an augmented reality (AR) message described in FIG. 5, an application icon, an alarm message, a navigation direction indicator, and a notification message on the display unit. .
실시예에 따라서, HMD 디바이스는 레퍼런스 오브젝트의 방향과 레퍼런스 오브젝트를 바라보는 사용자의 시선 방향의 차이가 오차 허용범위 내에 포함되는 경우에 한하여 시선 캘리브레이션을 실행할 수 있다. 레퍼런스 오브젝트의 방향과 레퍼런스 오브젝트를 바라보는 사용자의 시선 방향의 차이가 오차 허용범위를 초과하는 경우, HMD 디바이스는 시선 캘리브레이션의 오류를 방지하기 위해 시선 캘리브레이션의 실시를 보류할 수 있다.According to an embodiment, the HMD device may perform gaze calibration only when the difference between the direction of the reference object and the user's gaze direction looking at the reference object is included in an error tolerance. When the difference between the direction of the reference object and the user's gaze direction looking at the reference object exceeds an allowable error range, the HMD device may suspend the gaze calibration in order to prevent an error in the eye calibration.
도 9는 일 실시예에 따른 레퍼런스 오브젝트를 결정하는 방법을 나타낸 순서도이다. HMD 디바이스는 센싱된 주변환경의 이미지에 포함된 적어도 하나의 오브젝트를 제1 오브젝트로서 디텍팅할 수 있다(S110). 도 1 내지 4에서 설명한 바와 같이, HMD 디바이스는 이미지 처리 유닛을 이용하여 주변환경의 이미지로부터 적어도 하나의 리얼 오브젝트를 추출할 수 있다. HMD 디바이스는 추출된 적어도 하나의 리얼 오브젝트를 제1 오브젝트로서 디텍팅할 수 있다. 여기서, HMD 디바이스는 두 개 이상의 리얼 오브젝트들을 각각 제1 오브젝트로서 디텍팅할 수도 있다. 9 is a flowchart illustrating a method of determining a reference object according to an embodiment. The HMD device may detect at least one object included in the sensed environment image as a first object (S110). 1 to 4, the HMD device may extract at least one real object from an image of the surrounding environment using an image processing unit. The HMD device may detect the extracted at least one real object as a first object. Here, the HMD device may detect two or more real objects as a first object, respectively.
HMD 디바이스는 센싱된 주변환경의 이미지에 포함된 사용자의 손을 제2 오브젝트로서 디텍팅할 수 있다(S120). 도 1 내지 4에서 설명한 바와 같이, HMD 디바이스는 이미지 처리 유닛을 이용하여 주변환경의 이미지로부터 사용자의 손을 디텍팅할 수 있다. 또한 HMD 디바이스는 디텍팅된 사용자의 손을 제2 오브젝트로서 디텍팅할 수 있다. HMD 디바이스는 사용자의 손모양 및 제스쳐 중 적어도 하나를 이용하여 다른 사람의 손과 사용자의 손을 구별할 수 있다. 예를 들어 HMD 디바이스는 사용자의 손이 'V' 모양으로 디텍팅되었을 때, 사용자의 손을 제2 오브젝트로서 디텍팅할 수 있다. 또한 다른 실시예로서, HMD 디바이스는 사용자의 손금 또는 손등에 나타난 정맥의 모양에 기초하여 다른 사람의 손과 사용자의 손을 구별할 수 있다. The HMD device may detect the user's hand included in the sensed surrounding image as a second object (S120). 1 to 4, the HMD device may detect a user's hand from an image of a surrounding environment using an image processing unit. Also, the HMD device may detect the hand of the detected user as the second object. The HMD device may distinguish a user's hand from another person's hand using at least one of a user's hand shape and gesture. For example, the HMD device may detect the user's hand as a second object when the user's hand is detected in a 'V' shape. In addition, as another embodiment, the HMD device may distinguish a user's hand from another person's hand based on the shape of a vein on the user's palm or the back of the user.
HMD 디바이스는 제1 오브젝트에 대한 제2 오브젝트의 이벤트를 디텍팅할 수 있다(S130). 도 1 내지 4에서 설명한 바와 같이, HMD 디바이스는 이미지 처리 유닛을 이용하여 제2 오브젝트로서 디텍팅된 사용자의 손이 제1 오브젝트로서 디텍팅된 리얼 오브젝트를 제어하는 동작을 디텍팅할 수 있다. HMD 디바이스는 상술한 동작을 제1 오브젝트에 대한 제2 오브젝트의 이벤트로서 디텍팅할 수 있다. The HMD device may detect the event of the second object with respect to the first object (S130). As described with reference to FIGS. 1 to 4, the HMD device may detect an operation in which the user's hand detected as the second object controls the real object detected as the first object using the image processing unit. The HMD device may detect the above-described operation as an event of the second object for the first object.
예를 들어, HMD 디바이스는 외부 디바이스를 제1 오브젝트로서 디텍팅하고, 사용자의 손가락 끝부분을 제2 오브젝트로서 디텍팅할 수 있다. 제1 오브젝트가 키보드 입력 장치인 경우, HMD 디바이스는 키보드의 자판을 누르는 동작을 이벤트로서 디텍팅할 수 있다. 또한 제1 오브젝트가 펜인 경우, HMD 디바이스는 펜을 이용하여 필기하는 동작을 이벤트로서 디텍팅할 수 있다. 또한 제1 오브젝트가 터치 센서티브 디스플레이를 포함하는 디바이스인 경우, HMD 디바이스는 터치 센서티브 디스플레이를 터치하는 동작을 이벤트로서 디텍팅할 수 있다. 또한 제1 오브젝트가 전자기기인 경우, HMD 디바이스는 전자기기의 컨트롤 버튼을 제어하는 동작을 이벤트로서 디텍팅할 수 있다. 여기서 전자기기의 컨트롤 버튼은 전원 버튼, 볼륨 컨트롤 버튼 및 채널 컨트롤 버튼 중 적어도 하나를 포함할 수 있다. For example, the HMD device may detect the external device as the first object and the user's fingertip as the second object. When the first object is a keyboard input device, the HMD device may detect an operation of pressing a keyboard key as an event. In addition, when the first object is a pen, the HMD device may detect an action of writing using the pen as an event. Further, when the first object is a device including a touch sensitive display, the HMD device may detect an operation of touching the touch sensitive display as an event. In addition, when the first object is an electronic device, the HMD device may detect an operation of controlling a control button of the electronic device as an event. Here, the control button of the electronic device may include at least one of a power button, a volume control button, and a channel control button.
HMD 디바이스는 이벤트가 디텍팅된 제1 오브젝트를 레퍼런스 오브젝트로 결정할 수 있다(S140). 도 1 내지 4에서 설명한 바와 같이, HMD 디바이스는 이미지 처리 유닛을 이용하여 이벤트가 디텍팅된 제1 오브젝트를 레퍼런스 오브젝트로 결정할 수 있다. 즉, HMD 디바이스는 디텍팅된 적어도 하나의 제1 오브젝트 중에서 이벤트가 디텍팅된 제1 오브젝트를 레퍼런스 오브젝트로 디텍팅할 수 있다. The HMD device may determine the first object in which the event has been detected as a reference object (S140). As described with reference to FIGS. 1 to 4, the HMD device may determine the first object in which the event is detected as a reference object using an image processing unit. That is, the HMD device may detect the first object in which the event is detected, among the at least one first object detected as a reference object.
예를 들어, 사용자가 키보드의 자판을 누르는 경우, HMD 디바이스는 키보드를 레퍼런스 오브젝트로서 디텍팅할 수 있다. 또한 사용자가 펜을 이용하여 필기하는 경우, HMD 디바이스는 펜을 레퍼런스 오브젝트로서 디텍팅할 수 있다. 또한 사용자가 터치 센서티브 디스플레이를 터치하는 경우, HMD 디바이스는 터치 센서티브 디스플레이를 포함하는 디바이스를 레퍼런스 오브젝트로서 디텍팅할 수 있다. 또한 사용자가 전자기기의 컨트롤 버튼을 제어하는 경우, HMD 디바이스는 전자기기를 레퍼런스 오브젝트로서 디텍팅할 수 있다.For example, when the user presses a keyboard key, the HMD device can detect the keyboard as a reference object. In addition, when a user writes using a pen, the HMD device may detect the pen as a reference object. In addition, when the user touches the touch sensitive display, the HMD device may detect a device including the touch sensitive display as a reference object. In addition, when the user controls the control button of the electronic device, the HMD device may detect the electronic device as a reference object.
또한 HMD 디바이스는 레퍼런스 오브젝트 상에서 이벤트가 발생한 위치를 레퍼런스 포인트로 디텍팅할 수 있다. 이 경우, HMD 디바이스는 정확한 시선 캘리브레이션을 실행하기 위해, 레퍼런스 오브젝트의 위치 대신 레퍼런스 포인트의 위치를 시선 캘리브레이션에 이용할 수 있다. In addition, the HMD device can detect the location of the event on the reference object as a reference point. In this case, the HMD device may use the position of the reference point for gaze calibration, instead of the position of the reference object, in order to perform accurate gaze calibration.
예를 들어, 레퍼런스 오브젝트가 키보드 입력 장치인 경우, HMD 디바이스는 키보드 상에서 사용자가 누르는 키를 레퍼런스 포인트로서 디텍팅할 수 있다. 또한 레퍼런스 오브젝트가 펜인 경우, HMD 디바이스는 사용자가 그립하고 있는 펜의 펜촉을 레퍼런스 포인트로서 디텍팅할 수 있다. 또한 레퍼런스 오브젝트가 터치 센서티브 디스플레이를 포함하는 디바이스인 경우, HMD 디바이스는 사용자가 터치한 터치 센서티브 디스플레이 상의 소프트 버튼을 레퍼런스 포인트로서 디텍팅할 수 있다. 또한 레퍼런스 오브젝트가 전자기기인 경우, HMD 디바이스는 사용자가 제어한 전자기기의 컨트롤 버튼을 레퍼런스 포인트로서 디텍팅할 수 있다.For example, when the reference object is a keyboard input device, the HMD device may detect a key pressed by a user on the keyboard as a reference point. In addition, when the reference object is a pen, the HMD device may detect the pen tip of the pen that the user is gripping as a reference point. In addition, when the reference object is a device including a touch sensitive display, the HMD device may detect a soft button on the touch sensitive display touched by the user as a reference point. Also, when the reference object is an electronic device, the HMD device may detect a control button of the electronic device controlled by the user as a reference point.
HMD 디바이스는 디텍팅된 레퍼런스 오브젝트 및 레퍼런스 포인트 중 적어도 하나를 이용하여 시선 캘리브레이션을 실시할 수 있다.The HMD device may perform gaze calibration using at least one of the detected reference object and reference point.
도 10은 다른 실시예에 따른 레퍼런스 오브젝트를 결정하는 방법을 나타낸 순서도이다. HMD 디바이스는 센싱된 주변환경의 이미지에 포함된 사용자의 손을 제1 오브젝트로서 디텍팅할 수 있다(S210). HMD 디바이스는 리얼 오브젝트를 디텍팅하기에 앞서 사용자의 손을 먼저 디텍팅할 수 있다. 도 1 내지 4에서 설명한 바와 같이, HMD 디바이스는 이미지 처리 유닛을 이용하여 주변환경의 이미지로부터 사용자의 손을 디텍팅할 수 있다. 또한 HMD 디바이스는 디텍팅된 사용자의 손을 제1 오브젝트로서 디텍팅할 수 있다. HMD 디바이스는 사용자의 손모양 및 제스쳐 중 적어도 하나를 이용하여 다른 사람의 손과 사용자의 손을 구별할 수 있다. 예를 들어 HMD 디바이스는 사용자의 손이 'V' 모양으로 디텍팅되었을 때, 사용자의 손을 제1 오브젝트로서 디텍팅할 수 있다. 또한 다른 실시예로서, HMD 디바이스는 사용자의 손금 또는 손등에 나타난 정맥의 모양에 기초하여 다른 사람의 손과 사용자의 손을 구별할 수 있다. 10 is a flowchart illustrating a method of determining a reference object according to another embodiment. The HMD device may detect a user's hand included in the sensed surrounding image as a first object (S210). The HMD device may detect the user's hand before detecting the real object. 1 to 4, the HMD device may detect a user's hand from an image of a surrounding environment using an image processing unit. Also, the HMD device may detect the detected user's hand as the first object. The HMD device may distinguish a user's hand from another person's hand using at least one of a user's hand shape and gesture. For example, the HMD device may detect the user's hand as a first object when the user's hand is detected in a 'V' shape. In addition, as another embodiment, the HMD device may distinguish a user's hand from another person's hand based on the shape of a vein on the user's palm or the back of the user.
HMD 디바이스는 센싱된 주변환경의 이미지에 포함된 적어도 하나의 오브젝트를 제2 오브젝트로서 디텍팅할 수 있다(S220). 도 1 내지 4에서 설명한 바와 같이, HMD 디바이스는 이미지 처리 유닛을 이용하여 주변환경의 이미지로부터 적어도 하나의 리얼 오브젝트를 추출할 수 있다. HMD 디바이스는 추출된 적어도 하나의 리얼 오브젝트를 제2 오브젝트로서 디텍팅할 수 있다. 여기서, HMD 디바이스는 두 개 이상의 리얼 오브젝트들을 각각 제2 오브젝트로서 디텍팅할 수도 있다.The HMD device may detect at least one object included in the sensed environment image as a second object (S220). 1 to 4, the HMD device may extract at least one real object from an image of the surrounding environment using an image processing unit. The HMD device may detect the extracted at least one real object as a second object. Here, the HMD device may detect two or more real objects as a second object, respectively.
HMD 디바이스는 제2 오브젝트에 대한 제1 오브젝트의 이벤트를 디텍팅할 수 있다(S230). 도 1 내지 4에서 설명한 바와 같이, HMD 디바이스는 이미지 처리 유닛을 이용하여 제1 오브젝트로서 디텍팅된 사용자의 손이 제2 오브젝트로서 디텍팅된 리얼 오브젝트를 제어하는 동작을 디텍팅할 수 있다. HMD 디바이스는 상술한 동작을 제2 오브젝트에 대한 제1 오브젝트의 이벤트로서 디텍팅할 수 있다. The HMD device may detect the event of the first object for the second object (S230). As described with reference to FIGS. 1 to 4, the HMD device may detect an operation in which the user's hand detected as the first object controls the real object detected as the second object using the image processing unit. The HMD device may detect the above-described operation as an event of the first object for the second object.
예를 들어, HMD 디바이스는 사용자의 손가락 끝부분을 제1 오브젝트로서 디텍팅하고 외부 디바이스를 제2 오브젝트로서 디텍팅할 수 있다. 제2 오브젝트가 키보드 입력 장치인 경우, HMD 디바이스는 키보드의 자판을 누르는 동작을 이벤트로서 디텍팅할 수 있다. 또한 제2 오브젝트가 펜인 경우, HMD 디바이스는 펜을 이용하여 필기하는 동작을 이벤트로서 디텍팅할 수 있다. 또한 제2 오브젝트가 터치 센서티브 디스플레이를 포함하는 디바이스인 경우, HMD 디바이스는 터치 센서티브 디스플레이를 터치하는 동작을 이벤트로서 디텍팅할 수 있다. 또한 제2 오브젝트가 전자기기인 경우, HMD 디바이스는 전자기기의 컨트롤 버튼을 제어하는 동작을 이벤트로서 디텍팅할 수 있다. 여기서 전자기기의 컨트롤 버튼은 전원 버튼, 볼륨 컨트롤 버튼 및 채널 컨트롤 버튼 중 적어도 하나를 포함할 수 있다. For example, the HMD device may detect the user's fingertip as the first object and the external device as the second object. When the second object is a keyboard input device, the HMD device may detect an operation of pressing a keyboard key as an event. In addition, when the second object is a pen, the HMD device may detect an action of writing using the pen as an event. In addition, when the second object is a device including a touch sensitive display, the HMD device may detect an operation of touching the touch sensitive display as an event. In addition, when the second object is an electronic device, the HMD device may detect an operation of controlling a control button of the electronic device as an event. Here, the control button of the electronic device may include at least one of a power button, a volume control button, and a channel control button.
HMD 디바이스는 이벤트가 디텍팅된 제2 오브젝트를 레퍼런스 오브젝트로 결정할 수 있다(S240). 도 1 내지 4에서 설명한 바와 같이, HMD 디바이스는 이미지 처리 유닛을 이용하여 이벤트가 디텍팅된 제2 오브젝트를 레퍼런스 오브젝트로 결정할 수 있다. 즉, HMD 디바이스는 디텍팅된 적어도 하나의 제2 오브젝트 중에서 이벤트가 디텍팅된 제2 오브젝트를 레퍼런스 오브젝트로 디텍팅할 수 있다. The HMD device may determine the second object in which the event has been detected as a reference object (S240). As described with reference to FIGS. 1 to 4, the HMD device may determine the second object in which the event is detected as the reference object using the image processing unit. That is, the HMD device may detect the second object in which the event is detected, among the at least one second object detected as a reference object.
예를 들어, 사용자가 키보드의 자판을 누르는 경우, HMD 디바이스는 키보드를 레퍼런스 오브젝트로서 디텍팅할 수 있다. 또한 사용자가 펜을 이용하여 필기하는 경우, HMD 디바이스는 펜을 레퍼런스 오브젝트로서 디텍팅할 수 있다. 또한 사용자가 터치 센서티브 디스플레이를 터치하는 경우, HMD 디바이스는 터치 센서티브 디스플레이를 포함하는 디바이스를 레퍼런스 오브젝트로서 디텍팅할 수 있다. 또한 사용자가 전자기기의 컨트롤 버튼을 제어하는 경우, HMD 디바이스는 전자기기를 레퍼런스 오브젝트로서 디텍팅할 수 있다.For example, when the user presses a keyboard key, the HMD device can detect the keyboard as a reference object. In addition, when a user writes using a pen, the HMD device may detect the pen as a reference object. In addition, when the user touches the touch sensitive display, the HMD device may detect a device including the touch sensitive display as a reference object. In addition, when the user controls the control button of the electronic device, the HMD device may detect the electronic device as a reference object.
또한 HMD 디바이스는 레퍼런스 오브젝트 상에서 이벤트가 발생한 위치를 레퍼런스 포인트로 디텍팅할 수 있다. 이 경우, HMD 디바이스는 정확한 시선 캘리브레이션을 실행하기 위해, 레퍼런스 오브젝트의 위치 대신 레퍼런스 포인트의 위치를 시선 캘리브레이션에 이용할 수 있다. In addition, the HMD device can detect the location of the event on the reference object as a reference point. In this case, the HMD device may use the position of the reference point for gaze calibration, instead of the position of the reference object, in order to perform accurate gaze calibration.
예를 들어, 레퍼런스 오브젝트가 키보드 입력 장치인 경우, HMD 디바이스는 키보드 상에서 사용자가 누르는 키를 레퍼런스 포인트로서 디텍팅할 수 있다. 또한 레퍼런스 오브젝트가 펜인 경우, HMD 디바이스는 사용자가 그립하고 있는 펜의 펜촉을 레퍼런스 포인트로서 디텍팅할 수 있다. 또한 레퍼런스 오브젝트가 터치 센서티브 디스플레이를 포함하는 디바이스인 경우, HMD 디바이스는 사용자가 터치한 터치 센서티브 디스플레이 상의 소프트 버튼을 레퍼런스 포인트로서 디텍팅할 수 있다. 또한 레퍼런스 오브젝트가 전자기기인 경우, HMD 디바이스는 사용자가 제어한 전자기기의 컨트롤 버튼을 레퍼런스 포인트로서 디텍팅할 수 있다.For example, when the reference object is a keyboard input device, the HMD device may detect a key pressed by a user on the keyboard as a reference point. In addition, when the reference object is a pen, the HMD device may detect the pen tip of the pen that the user is gripping as a reference point. In addition, when the reference object is a device including a touch sensitive display, the HMD device may detect a soft button on the touch sensitive display touched by the user as a reference point. Also, when the reference object is an electronic device, the HMD device may detect a control button of the electronic device controlled by the user as a reference point.
HMD 디바이스는 디텍팅된 레퍼런스 오브젝트 및 레퍼런스 포인트 중 적어도 하나를 이용하여 시선 캘리브레이션을 실시할 수 있다.The HMD device may perform gaze calibration using at least one of the detected reference object and reference point.
10: HMD 디바이스 11: 리얼 오브젝트
21: 카메라 유닛 22: 시선 디텍팅 유닛
23: 레퍼런스 포인트 101: 카메라 유닛
102: 이미지 처리 유닛 103: 시선 디텍팅 유닛
104: 디스플레이 유닛 105: 컨트롤러10: HMD device 11: Real Object
21: camera unit 22: eye detection unit
23: Reference point 101: Camera unit
102: image processing unit 103: gaze detecting unit
104: display unit 105: controller
Claims (21)
상기 센싱된 주변환경(surroundings)의 이미지 중에서 레퍼런스 오브젝트를 디텍팅하는 이미지 처리 유닛;
상기 디텍팅된 레퍼런스 오브젝트를 바라보는 사용자의 시선 방향을 디텍팅하는 시선 디텍팅 유닛;
상기 디텍팅된 레퍼런스 오브젝트 및 상기 디텍팅된 사용자의 시선 방향에 기초하여 시선 캘리브레이션하는 컨트롤러를 포함하는 HMD 디바이스로서,
여기서 상기 이미지 처리 유닛은,
상기 센싱된 주변환경의 이미지에 포함된 적어도 하나의 오브젝트를 제1 오브젝트로서 디텍팅하고,
상기 센싱된 주변환경의 이미지에 포함된 상기 사용자의 손을 제2 오브젝트로서 디텍팅하고,
상기 제1 오브젝트에 대한 상기 제2 오브젝트의 이벤트를 디텍팅하여,
상기 이벤트가 디텍팅된 상기 제1 오브젝트를 상기 레퍼런스 오브젝트로서 결정하되,
상기 컨트롤러는
상기 레퍼런스 오브젝트의 방향과 상기 레퍼런스 오브젝트를 바라보는 상기 사용자의 시선 방향의 차이가 오차 허용범위 내에 포함되는 경우에 한하여 상기 시선 캘리브레이션을 실행하고,
상기 이미지 처리 유닛은
상기 센싱된 주변환경의 이미지에 다른 사람의 손이 포함된 경우,
기 저장된 사용자의 손 모양 및 제스쳐에 기초하여, 상기 센싱된 주변환경의 이미지에 포함된 다른 사람의 손과 상기 사용자의 손을 구별하여 상기 사용자의 손을 제2 오브젝트로서 디텍팅하는 HMD 디바이스.A camera unit that senses an image of surroundings in the front direction of a head mounted display (HMD) device;
An image processing unit that detects a reference object among the sensed surroundings images;
A gaze detecting unit detecting a gaze direction of a user looking at the detected reference object;
An HMD device comprising a controller that calibrates gaze based on the detected reference object and the detected gaze direction of the user,
Here, the image processing unit,
At least one object included in the sensed environment image is detected as a first object,
The hand of the user included in the image of the sensed surrounding environment is detected as a second object,
By detecting the event of the second object for the first object,
The first object in which the event is detected is determined as the reference object,
The controller
The gaze calibration is executed only when the difference between the direction of the reference object and the user's gaze direction looking at the reference object is within an error tolerance range,
The image processing unit
When another person's hand is included in the image of the sensed surrounding environment,
The HMD device detects the hand of the user as a second object by distinguishing the hand of the user from the hand of the other person included in the image of the sensed environment, based on the pre-stored user's hand shape and gesture.
상기 제1 오브젝트는 외부 디바이스이고,
상기 제2 오브젝트는 상기 사용자의 손가락의 끝부분이고,
상기 제1 오브젝트에 대한 상기 제2 오브젝트의 이벤트는 상기 외부 디바이스를 컨트롤하는 동작을 포함하는 HMD 디바이스.According to claim 1,
The first object is an external device,
The second object is the tip of the user's finger,
The event of the second object with respect to the first object includes an operation of controlling the external device.
상기 제1 오브젝트는 키보드이고,
상기 제1 오브젝트에 대한 상기 제2 오브젝트의 이벤트는 상기 키보드의 자판을 누르는 동작을 포함하는 HMD 디바이스.According to claim 2,
The first object is a keyboard,
The event of the second object with respect to the first object includes an operation of pressing a keyboard key of the keyboard.
상기 컨트롤러는
상기 디텍팅된 레퍼런스 오브젝트 상에 위치한 레퍼런스 포인트에 기초하여 상기 시선 캘리브레이션을 실시하고,
상기 레퍼런스 포인트는 상기 제1 오브젝트를 컨트롤하는 상기 제2 오브젝트에 의해 컨택트된 제1 오브젝트의 일부 영역인, HMD 디바이스.According to claim 1,
The controller
The eye gaze calibration is performed based on a reference point located on the detected reference object,
The reference point is an HMD device that is a partial region of the first object contacted by the second object that controls the first object.
상기 레퍼런스 오브젝트가 전자 기기인 때,
상기 레퍼런스 포인트는 상기 전자 기기의 컨트롤 버튼을 포함하고
상기 이벤트는 상기 전자 기기의 컨트롤 버튼을 제어하는 동작을 포함하는 HMD 디바이스.The method of claim 4,
When the reference object is an electronic device,
The reference point includes a control button of the electronic device
The event is an HMD device including an operation of controlling a control button of the electronic device.
상기 전자 기기의 컨트롤 버튼은
전원 버튼, 볼륨 컨트롤 버튼 및 채널 컨트롤 버튼 중 적어도 하나를 포함하는 HMD 디바이스.The method of claim 5,
The control button of the electronic device
An HMD device comprising at least one of a power button, a volume control button and a channel control button.
상기 레퍼런스 오브젝트가 터치 센서티브 디스플레이를 포함하는 디바이스인 때,
상기 레퍼런스 포인트는 상기 터치 센서티브 디스플레이에 디스플레이된 소프트 버튼을 포함하는 HMD 디바이스.The method of claim 4,
When the reference object is a device including a touch sensitive display,
The reference point is an HMD device including a soft button displayed on the touch sensitive display.
상기 제1 오브젝트가 펜(pen)일 때,
상기 제1 오브젝트에 대한 상기 제2 오브젝트의 이벤트는 상기 펜을 이용하여 필기하는 동작을 포함하고,
상기 레퍼런스 포인트는 상기 펜의 펜촉으로 결정되는 HMD 디바이스.The method of claim 4,
When the first object is a pen,
The event of the second object with respect to the first object includes an operation of writing using the pen,
The reference point is an HMD device determined by the nib of the pen.
상기 HMD 디바이스는 버추얼 오브젝트를 디스플레이하는 디스플레이 유닛을 더 포함하고,
상기 디스플레이 유닛은 상기 시선 캘리브레이션의 결과에 따라 상기 디스플레이된 버추얼 오브젝트의 위치를 제어하고,
상기 버추얼 오브젝트는 상기 디스플레이 유닛에 의해 사용자에게 제공되는 그래픽 유저 인터페이스인, HMD 디바이스.According to claim 1,
The HMD device further includes a display unit for displaying the virtual object,
The display unit controls the position of the displayed virtual object according to the result of the gaze calibration,
Wherein the virtual object is a graphical user interface provided to the user by the display unit.
상기 디스플레이 유닛은 AR(Augmented Reality) 기술을 이용하여 상기 레퍼런스 오브젝트의 위치에 대응하여 상기 버추얼 오브젝트를 디스플레이하는 HMD 디바이스.The method of claim 9,
The display unit uses an AR (Augmented Reality) technology to display the virtual object in response to the position of the reference object HMD device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130152828A KR102083963B1 (en) | 2013-12-10 | 2013-12-10 | Head Mounted Display device and controlling method for eye-gaze calibration |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130152828A KR102083963B1 (en) | 2013-12-10 | 2013-12-10 | Head Mounted Display device and controlling method for eye-gaze calibration |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020130002558 Division | 2013-01-09 | 2013-01-09 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20140090549A KR20140090549A (en) | 2014-07-17 |
KR102083963B1 true KR102083963B1 (en) | 2020-04-14 |
Family
ID=51738150
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020130152828A KR102083963B1 (en) | 2013-12-10 | 2013-12-10 | Head Mounted Display device and controlling method for eye-gaze calibration |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102083963B1 (en) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102232419B1 (en) | 2014-08-26 | 2021-03-26 | 엘지전자 주식회사 | Wearable display device and controlling method thereof |
WO2016032052A1 (en) * | 2014-08-26 | 2016-03-03 | Lg Electronics Inc. | Wearable display device and method of controlling therefor |
KR20160033376A (en) * | 2014-09-18 | 2016-03-28 | (주)에프엑스기어 | Head-mounted display controlled by line of sight, method for controlling the same and computer program for controlling the same |
KR102194787B1 (en) * | 2014-09-24 | 2020-12-24 | 삼성전자주식회사 | Apparatus and method for user based sensor data acquiring |
WO2016209010A1 (en) * | 2015-06-24 | 2016-12-29 | 주식회사 브이터치 | Method, system and non-temporary computer-readable recording medium for determining reference viewpoint of user |
KR101712350B1 (en) * | 2015-10-15 | 2017-03-07 | 한국과학기술연구원 | Near-eye display device for selecting virtual object, method for selecting virtual object using the device and recording medium for performing the method |
US10108260B2 (en) | 2016-04-01 | 2018-10-23 | Lg Electronics Inc. | Vehicle control apparatus and method thereof |
KR102662708B1 (en) * | 2016-10-17 | 2024-05-03 | 엘지전자 주식회사 | Head mounted display device |
KR20190043362A (en) | 2017-10-18 | 2019-04-26 | 고등기술연구원연구조합 | System and method for providing customized virtual reality space |
KR102028376B1 (en) * | 2018-01-05 | 2019-10-04 | 동국대학교 산학협력단 | Calibration method of leap motion-HMD using bundle adjustment algorithm and method thereof |
KR102576422B1 (en) * | 2018-10-18 | 2023-09-08 | 주식회사 메디씽큐 | Method of displaying on a head mounted display apparatus and apparatus using the same |
US11340462B2 (en) | 2019-06-13 | 2022-05-24 | Lg Electronics Inc. | Electronic device |
WO2023153611A1 (en) * | 2022-02-11 | 2023-08-17 | 삼성전자주식회사 | Method and device for obtaining image of object |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030227470A1 (en) * | 2002-06-06 | 2003-12-11 | Yakup Genc | System and method for measuring the registration accuracy of an augmented reality system |
JP2007034628A (en) * | 2005-07-26 | 2007-02-08 | Canon Inc | Method and system for image processing |
JP2009284175A (en) * | 2008-05-21 | 2009-12-03 | Nippon Telegr & Teleph Corp <Ntt> | Calibration method and apparatus of display |
US20100053555A1 (en) * | 2008-08-27 | 2010-03-04 | Locarna Systems, Inc. | Method and apparatus for tracking eye movement |
-
2013
- 2013-12-10 KR KR1020130152828A patent/KR102083963B1/en active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030227470A1 (en) * | 2002-06-06 | 2003-12-11 | Yakup Genc | System and method for measuring the registration accuracy of an augmented reality system |
JP2007034628A (en) * | 2005-07-26 | 2007-02-08 | Canon Inc | Method and system for image processing |
JP2009284175A (en) * | 2008-05-21 | 2009-12-03 | Nippon Telegr & Teleph Corp <Ntt> | Calibration method and apparatus of display |
US20100053555A1 (en) * | 2008-08-27 | 2010-03-04 | Locarna Systems, Inc. | Method and apparatus for tracking eye movement |
Also Published As
Publication number | Publication date |
---|---|
KR20140090549A (en) | 2014-07-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102191870B1 (en) | Head Mounted Display and controlling method for eye-gaze calibration | |
KR102083963B1 (en) | Head Mounted Display device and controlling method for eye-gaze calibration | |
EP2943835B1 (en) | Head mounted display providing eye gaze calibration and control method thereof | |
US9619021B2 (en) | Head mounted display providing eye gaze calibration and control method thereof | |
US11513605B2 (en) | Object motion tracking with remote device | |
KR102165444B1 (en) | Apparatus and Method for Portable Device displaying Augmented Reality image | |
US9189088B2 (en) | Electronic device and touch operating method thereof | |
US10126854B2 (en) | Providing touch position information | |
US20150002475A1 (en) | Mobile device and method for controlling graphical user interface thereof | |
US11009949B1 (en) | Segmented force sensors for wearable devices | |
US20120299848A1 (en) | Information processing device, display control method, and program | |
US20150153832A1 (en) | Visual feedback by identifying anatomical features of a hand | |
CN105829948B (en) | Wearable display input system | |
WO2012154001A3 (en) | Touch recognition method in a virtual touch device that does not use a pointer | |
US20180267688A1 (en) | Interaction method and device for controlling virtual object | |
US20160104322A1 (en) | Apparatus for generating a display control signal and a method thereof | |
KR20150068276A (en) | Head Mounted Display and controlling method | |
US11392237B2 (en) | Virtual input devices for pressure sensitive surfaces | |
US10852849B2 (en) | Enhancing input on small displays with a finger mounted stylus | |
KR101588021B1 (en) | An input device using head movement | |
KR20160149403A (en) | Wearable data input device and method thereof | |
US10691250B2 (en) | Information processing device, information processing method, and program for preventing reflection of an operation in an output | |
US20140320419A1 (en) | Touch input device | |
US20170139545A1 (en) | Information processing apparatus, information processing method, and program | |
KR20150003694A (en) | Touch sensing device utilizing assist device and method for operating the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A107 | Divisional application of patent | ||
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E90F | Notification of reason for final refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |