KR101857466B1 - Head mounted display and method for calibrating the same - Google Patents
Head mounted display and method for calibrating the same Download PDFInfo
- Publication number
- KR101857466B1 KR101857466B1 KR1020170076695A KR20170076695A KR101857466B1 KR 101857466 B1 KR101857466 B1 KR 101857466B1 KR 1020170076695 A KR1020170076695 A KR 1020170076695A KR 20170076695 A KR20170076695 A KR 20170076695A KR 101857466 B1 KR101857466 B1 KR 101857466B1
- Authority
- KR
- South Korea
- Prior art keywords
- marker
- display unit
- transparency
- head
- displaying
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
본 발명의 실시예는 헤드 마운트 디스플레이 기술과 관련된다.Embodiments of the invention relate to head mounted display technology.
헤드 마운트 디스플레이(Head Mounted Display)는 사용자의 머리에 착용한 상태에서 영상을 디스플레이 하는 장치이다. 최근, 헤드 마운트 디스플레이를 사용하여 가상 현실 또는 증강 현실의 콘텐츠를 제공하는 기술이 증가하고 있다. 한편, 헤드 마운트 디스플레이는 그 자체의 무게 때문에 시간이 지날수록 점점 아래로 내려오게 된다. 이 경우, 헤드 마운트 디스플레이의 시선 추적 수단(예를 들어, 카메라 등)의 위치가 변경되어 사용자의 시선 위치 값에 오차가 발생하는 바, 이를 캘리브레이션 해 줄 필요가 있다.A head mounted display (head mounted display) is a device for displaying an image while wearing on a user's head. Recently, techniques for providing contents of virtual reality or augmented reality using head-mounted displays are increasing. On the other hand, the head-mounted display will gradually descend over time because of its own weight. In this case, since the position of the line-of-sight tracking means (e.g., camera, etc.) of the head-mounted display is changed and an error occurs in the line-of-sight position value of the user, it needs to be calibrated.
본 발명의 실시예는 헤드 마운트 디스플레이의 흘러 내림에 의한 오차를 용이하게 캘리브레이션 해 줄 수 있는 헤드 마운트 디스플레이 및 그 캘리브레이션 방법을 제공하기 위한 것이다.An embodiment of the present invention is to provide a head mount display and a method of calibrating the head mount display, which can easily calibrate an error caused by flowing down of the head mount display.
개시되는 일 실시예에 따른 헤드 마운트 디스플레이의 캘리브레이션 방법은, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 헤드 마운트 디스플레이에서 수행되는 방법으로서, 복수 개의 기준점에 대한 사용자의 시선 위치 정보를 각각 획득하고, 각 기준점의 좌표와 해당 기준점에 대응하는 시선 위치 정보를 매칭하여 저장하는 단계; 상기 헤드 마운트 디스플레이의 흘러 내림에 의한 캘리브레이션 이벤트가 발생하는지 여부를 확인하는 단계; 상기 캘리브레이션 이벤트가 발생하는 경우, 캘리브레이션을 위한 마커를 디스플레이부에 표시하는 단계; 상기 마커를 응시하는 사용자의 시선 위치 정보를 산출하는 단계; 및 상기 마커를 응시하는 사용자의 시선 위치 정보 및 상기 하나 이상의 기준점에 대응하는 시선 위치 정보를 기반으로 상기 헤드 마운트 디스플레이의 흘러 내림에 따른 캘리브레이션 값을 산출하는 단계를 포함한다.A method of calibrating a head mounted display in accordance with one disclosed embodiment is a method performed in a head mounted display having one or more processors and a memory storing one or more programs executed by the one or more processors, Acquiring gaze position information of the user with respect to each of the reference points, storing coordinates of each reference point and gaze position information corresponding to the reference point, and storing the coordinates; Confirming whether or not a calibration event due to flow-down of the head-mounted display occurs; Displaying a marker for calibration on the display unit when the calibration event occurs; Calculating gaze position information of a user gazing at the marker; And calculating a calibration value according to the flow of the head-mounted display based on the line-of-sight position information of the user gazing at the marker and the line-of-sight position information corresponding to the one or more reference points.
상기 캘리브레이션 이벤트가 발생하는지 여부를 확인하는 단계는, 상기 헤드 마운트 디스플레이의 위치 변화가 발생하는 경우, 상기 위치 변화가 기 설정된 제1 변화 범위 미만인지 여부를 확인하는 단계; 상기 위치 변화가 기 설정된 제1 변화 범위 미만인 경우, 기 설정된 시간 동안 상기 헤드 마운트 디스플레이의 위치 변화가 기 설정된 제2 변화 범위를 초과하는지 여부를 확인하는 단계; 및 상기 위치 변화가 기 설정된 제2 변화 범위를 초과하는 경우, 캘리브레이션 이벤트 신호를 발생시키는 단계를 포함한다.Wherein the step of confirming whether or not the calibration event occurs comprises the steps of: confirming whether the positional change is less than a predetermined first change range when a positional change of the head-mounted display occurs; Confirming whether the positional change of the head-mounted display exceeds a predetermined second change range for a preset time, when the positional change is less than a predetermined first change range; And generating a calibration event signal when the position change exceeds a predetermined second change range.
상기 헤드 마운트 디스플레이의 캘리브레이션 방법은, 상기 위치 변화가 기 설정된 제1 변화 범위 이상인 경우, 상기 위치 변화가 사용자의 머리 자세 변화에 의한 것으로 판단하는 단계를 더 포함할 수 있다.The method of calibrating the head mount display may further include determining that the positional change is due to a change in the user's head posture when the positional change is equal to or greater than a predetermined first change range.
상기 마커를 디스플레이부에 표시하는 단계는, 상기 디스플레이부에 표시되는 콘텐츠의 투명도를 조절한 상태에서 상기 마커를 상기 디스플레이부에 표시할 수 있다.The step of displaying the marker on the display unit may display the marker on the display unit while adjusting the transparency of the content displayed on the display unit.
상기 마커를 디스플레이부에 표시하는 단계는, 상기 캘리브레이션을 위한 마커의 화면은 제1 투명도로 표시하고, 상기 콘텐츠의 화면은 상기 제1 투명도보다 낮은 제2 투명도로 표시할 수 있다.The step of displaying the marker on the display unit may display the screen of the marker for the calibration with a first transparency and the screen of the content with a second transparency lower than the first transparency.
상기 마커를 디스플레이부에 표시하는 단계는, 상기 디스플레이부에 표시되는 콘텐츠의 일 구성 요소를 상기 마커로 사용하여 표시할 수 있다.The step of displaying the marker on the display unit may be performed by using one component of the content displayed on the display unit as the marker.
상기 마커를 디스플레이부에 표시하는 단계는, 상기 콘텐츠 중 상기 마커로 사용되는 구성 요소의 투명도와 상기 콘텐츠 중 상기 마커를 제외한 다른 구성 요소의 투명도를 달리하여 표시할 수 있다.The step of displaying the marker on the display unit may display the transparency of the component used as the marker among the contents and the transparency of the other components of the content except for the marker.
상기 마커를 디스플레이부에 표시하는 단계는, 상기 콘텐츠 중 상기 마커로 사용되는 구성 요소는 제1 투명도로 표시하고, 상기 마커를 제외한 다른 구성 요소는 상기 제1 투명도 보다 낮은 제2 투명도로 표시할 수 있다.The step of displaying the marker on the display unit may include displaying the component using the marker as a first transparency and the other components except the marker as a second transparency lower than the first transparency have.
상기 마커를 디스플레이부에 표시하는 단계는, 상기 마커를 상기 디스플레이부에서 상기 복수 개의 기준점 중 어느 하나의 기준점과 동일한 위치에 표시할 수 있다.The step of displaying the marker on the display unit may display the marker on the display unit at the same position as any one of the plurality of reference points.
개시되는 일 실시예에 따른 헤드 마운트 디스플레이는, 하나 이상의 프로세서들; 메모리; 및 하나 이상의 프로그램들을 포함하는 헤드 마운트 디스플레이 이고, 상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며, 상기 하나 이상의 프로그램들은, 복수 개의 기준점에 대한 사용자의 시선 위치 정보를 각각 획득하고, 각 기준점의 좌표와 해당 기준점에 대응하는 시선 위치 정보를 매칭하여 저장하기 위한 명령; 상기 헤드 마운트 디스플레이의 흘러 내림에 의한 캘리브레이션 이벤트가 발생하는지 여부를 확인하기 위한 명령; 상기 캘리브레이션 이벤트가 발생하는 경우, 캘리브레이션을 위한 마커를 디스플레이부에 표시하기 위한 명령; 상기 마커를 응시하는 사용자의 시선 위치 정보를 산출하기 위한 명령; 및 상기 마커를 응시하는 사용자의 시선 위치 정보 및 상기 하나 이상의 기준점에 대응하는 시선 위치 정보를 기반으로 상기 헤드 마운트 디스플레이의 흘러 내림에 따른 캘리브레이션 값을 산출하기 위한 명령을 포함한다.A head-mounted display in accordance with one disclosed embodiment includes one or more processors; Memory; And one or more programs configured to be stored in the memory and configured to be executed by the one or more processors, wherein the one or more programs are stored in the memory of the user's gaze position Instructions for matching the coordinate of each reference point with the gaze position information corresponding to the corresponding reference point and storing the information; A command for confirming whether or not a calibration event due to flow-down of the head-mounted display occurs; A command for displaying a marker for calibration on the display unit when the calibration event occurs; An instruction to calculate gaze position information of a user gazing at the marker; And instructions for calculating a calibration value according to the flow of the head-mounted display based on the line-of-sight position information of the user staring the marker and the line-of-sight position information corresponding to the one or more reference points.
상기 캘리브레이션 이벤트가 발생하는지 여부를 확인하기 위한 명령은, 상기 헤드 마운트 디스플레이의 위치 변화가 발생하는 경우, 상기 위치 변화가 기 설정된 제1 변화 범위 미만인지 여부를 확인하기 위한 명령; 상기 위치 변화가 기 설정된 제1 변화 범위 미만인 경우, 기 설정된 시간 동안 상기 헤드 마운트 디스플레이의 위치 변화가 기 설정된 제2 변화 범위를 초과하는지 여부를 확인하기 위한 명령; 및 상기 위치 변화가 기 설정된 제2 변화 범위를 초과하는 경우, 캘리브레이션 이벤트 신호를 발생시키기 위한 명령을 포함할 수 있다.Wherein the command for confirming whether or not the calibration event is generated includes a command for confirming whether the position change is less than a predetermined first change range when a position change of the head mount display occurs; A command for confirming whether or not the positional change of the head-mounted display exceeds a predetermined second change range for a predetermined time, when the positional change is less than a predetermined first change range; And generating a calibration event signal when the position change exceeds a predetermined second change range.
상기 하나 이상의 프로그램들은, 상기 위치 변화가 기 설정된 제1 변화 범위 이상인 경우, 상기 위치 변화가 사용자의 머리 자세 변화에 의한 것으로 판단하기 위한 명령을 더 포함할 수 있다.The one or more programs may further include instructions for determining that the positional change is due to a change in the head posture of the user when the positional change is equal to or greater than a predetermined first change range.
상기 마커를 디스플레이부에 표시하기 위한 명령은, 상기 디스플레이부에 표시되는 콘텐츠의 투명도를 조절한 상태에서 상기 마커를 상기 디스플레이부에 표시하기 위한 명령을 포함할 수 있다.The instruction to display the marker on the display unit may include an instruction to display the marker on the display unit while adjusting the transparency of the content displayed on the display unit.
상기 마커를 디스플레이부에 표시하기 위한 명령은, 상기 캘리브레이션을 위한 마커의 화면은 제1 투명도로 표시하고, 상기 콘텐츠의 화면은 상기 제1 투명도보다 낮은 제2 투명도로 표시하기 위한 명령을 포함할 수 있다.The instructions for displaying the marker on the display unit may include a command for displaying the screen of the marker for the calibration with a first transparency and the screen of the content with a second transparency lower than the first transparency have.
상기 마커를 디스플레이부에 표시하기 위한 명령은, 상기 디스플레이부에 표시되는 콘텐츠의 일 구성 요소를 상기 마커로 사용하여 표시하기 위한 명령을 포함할 수 있다.The instruction to display the marker on the display unit may include an instruction to display using the one component of the content displayed on the display unit as the marker.
상기 마커를 디스플레이부에 표시하기 위한 명령은, 상기 콘텐츠 중 상기 마커로 사용되는 구성 요소의 투명도와 상기 콘텐츠 중 상기 마커를 제외한 다른 구성 요소의 투명도를 달리하여 표시하기 위한 명령을 포함할 수 있다.The instruction for displaying the marker on the display unit may include instructions for displaying the transparency of a component used as the marker among the contents and the transparency of another component of the content except for the marker.
상기 마커를 디스플레이부에 표시하기 위한 명령은, 상기 콘텐츠 중 상기 마커로 사용되는 구성 요소는 제1 투명도로 표시하고, 상기 마커를 제외한 다른 구성 요소는 상기 제1 투명도 보다 낮은 제2 투명도로 표시하기 위한 명령을 포함할 수 있다.Wherein the command for displaying the marker on the display unit includes a step of displaying a component used as the marker in the content with a first transparency and a component other than the marker in a second transparency lower than the first transparency, ≪ / RTI >
상기 마커를 디스플레이부에 표시하기 위한 명령은, 상기 마커를 상기 디스플레이부에서 상기 복수 개의 기준점 중 어느 하나의 기준점과 동일한 위치에 표시하기 위한 명령을 포함할 수 있다.The instruction to display the marker on the display unit may include an instruction to display the marker on the display unit at the same position as any one of the plurality of reference points.
개시되는 실시예에 의하면, 헤드 마운트 디스플레이의 흘러 내림에 의해 캘리브레이션 이벤트가 발생하는 경우, 캘리브레이션을 위한 하나의 마커를 디스플레이부에 표시하고, 이를 기반으로 캘리브레이션을 수행함으로써, 사용자가 헤드 마운트 디스플레이를 통해 콘텐츠를 감상하는 중에도 용이하고 신속하게 캘리브레이션을 수행할 수 있으며, 사용자의 콘텐츠 감상 방해를 최소화 할 수 있게 된다.According to the disclosed embodiment, when a calibration event is generated by the falling of the head-mounted display, one marker for calibration is displayed on the display unit, and calibration is performed based on the marker, It is possible to perform the calibration easily and quickly while listening to the contents, and it is possible to minimize interference of the user's appreciation of the contents.
도 1은 본 발명의 일 실시예에 따른 헤드 마운트 디스플레이 나타낸 도면
도 2는 본 발명의 일 실시예에 따른 헤드 마운트 디스플레이의 구성을 나타낸 블록도
도 3은 본 발명의 일 실시예에 따른 헤드 마운트 디스플레이에서 복수 개의 기준점을 표시하는 상태를 나타낸 도면
도 4은 본 발명의 일 실시예에 따른 헤드 마운트 디스플레이의 캘리브레이션 방법을 설명하기 위한 흐름도
도 5는 본 발명의 일 실시예에 따른 헤드 마운트 디스플레이에서 캘리브레이션을 위한 마커를 디스플레이부에 표시하는 상태를 나타낸 도면
도 6은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도1 is a view of a head mount display according to an embodiment of the present invention;
2 is a block diagram showing the configuration of a head mount display according to an embodiment of the present invention.
3 is a view illustrating a state in which a plurality of reference points are displayed in a head mount display according to an embodiment of the present invention;
4 is a flowchart illustrating a method of calibrating a head-mounted display according to an embodiment of the present invention.
5 is a view showing a state in which a marker for calibration is displayed on a display unit in a head mount display according to an embodiment of the present invention
6 is a block diagram illustrating and illustrating a computing environment including a computing device suitable for use in the exemplary embodiments.
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.Hereinafter, specific embodiments of the present invention will be described with reference to the drawings. The following detailed description is provided to provide a comprehensive understanding of the methods, apparatus, and / or systems described herein. However, this is merely an example and the present invention is not limited thereto.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description, well-known functions or constructions are not described in detail since they would obscure the invention in unnecessary detail. The following terms are defined in consideration of the functions of the present invention, and may be changed according to the intention or custom of the user, the operator, and the like. Therefore, the definition should be based on the contents throughout this specification. The terms used in the detailed description are intended only to describe embodiments of the invention and should in no way be limiting. Unless specifically stated otherwise, the singular forms of the expressions include plural forms of meanings. In this description, the expressions "comprising" or "comprising" are intended to indicate certain features, numbers, steps, operations, elements, parts or combinations thereof, Should not be construed to preclude the presence or possibility of other features, numbers, steps, operations, elements, portions or combinations thereof.
이하의 설명에 있어서, 신호 또는 정보의 "전송", "통신", "송신", "수신" 기타 이와 유사한 의미의 용어는 일 구성요소에서 다른 구성요소로 신호 또는 정보가 직접 전달되는 것뿐만이 아니라 다른 구성요소를 거쳐 전달되는 것도 포함한다. 특히 신호 또는 정보를 일 구성요소로 "전송" 또는 "송신"한다는 것은 그 신호 또는 정보의 최종 목적지를 지시하는 것이고 직접적인 목적지를 의미하는 것이 아니다. 이는 신호 또는 정보의 "수신"에 있어서도 동일하다. 또한 본 명세서에 있어서, 2 이상의 데이터 또는 정보가 "관련"된다는 것은 하나의 데이터(또는 정보)를 획득하면, 그에 기초하여 다른 데이터(또는 정보)의 적어도 일부를 획득할 수 있음을 의미한다. In the following description, terms such as " transmission ", "transmission "," transmission ", "reception ", and the like, of a signal or information refer not only to the direct transmission of signals or information from one component to another But also through other components. In particular, "transmitting" or "transmitting" a signal or information to an element is indicative of the final destination of the signal or information and not a direct destination. This is the same for "reception" of a signal or information. Also, in this specification, the fact that two or more pieces of data or information are "related" means that when one piece of data (or information) is acquired, at least a part of the other data (or information) can be obtained based thereon.
한편, 상측, 하측, 일측, 타측 등과 같은 방향성 용어는 개시된 도면들의 배향과 관련하여 사용된다. 본 발명의 실시예의 구성 요소는 다양한 배향으로 위치 설정될 수 있으므로, 방향성 용어는 예시를 목적으로 사용되는 것이지 이를 제한하는 것은 아니다.On the other hand, directional terms such as the top, bottom, one side, the other, and the like are used in connection with the orientation of the disclosed figures. Since the elements of the embodiments of the present invention can be positioned in various orientations, directional terms are used for illustrative purposes and not limitation.
또한, 제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.Also, the terms first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The terms may be used for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.
도 1은 본 발명의 일 실시예에 따른 헤드 마운트 디스플레이 나타낸 도면이다.1 is a view of a head mount display in accordance with an embodiment of the present invention.
도 1을 참조하면, 헤드 마운트 디스플레이(100)는 디스플레이부(102), 프레임(104), 및 헤드 장착부(106)를 포함할 수 있다. Referring to FIG. 1, the head mounted
디스플레이부(102)는 콘텐츠를 시각적으로 표시하는 부분이다. 콘텐츠는 동영상, 이미지, 게임, 웹 페이지, 가상 현실, 증강 현실 등 디스플레이부(102)를 통하여 화면 상에 시각적으로 표시할 수 있는 다양한 형태의 콘텐츠를 포함할 수 있다. 디스플레이부(102)는 제1 디스플레이(102-1) 및 제2 디스플레이(102-2)를 포함할 수 있다. 제1 디스플레이(102-1)는 사용자의 두 눈 중 어느 한쪽 눈(예를 들어, 오른쪽 눈)과 대응하여 마련될 수 있다. 제2 디스플레이(102-2)는 사용자의 두 눈 중 다른 쪽 눈(예를 들어, 왼쪽 눈)과 대응하여 마련될 수 있다. 제1 디스플레이(102-1) 및 제2 디스플레이(102-2)는 시스루(See Through) 형태로 마련될 수도 있다. The
프레임(104)은 디스플레이부(102)와 결합되어 마련될 수 있다. 프레임(104)은 디스플레이부(102)를 고정시키는 역할을 할 수 있다. 또한, 프레임(104)은 헤드 마운트 디스플레이(100)의 각종 부품들이 장착되는 공간을 제공하도록 마련될 수 있다. The
헤드 장착부(106)는 헤드 마운트 디스플레이(100)가 사용자의 헤드 부분에 장착되도록 마련될 수 있다. 예시적인 실시예에서, 헤드 장착부(106)는 제1 헤드 장착부(106-1) 및 제2 헤드 장착부(106-2)를 포함할 수 있다. 제1 헤드 장착부(106-1)는 프레임(104)의 일측에서 후방으로 마련될 수 있다. 제2 헤드 장착부(106-2)는 프레임(104)의 타측에서 후방으로 마련될 수 있다. 제1 헤드 장착부(106-1) 및 제2 헤드 장착부(106-2)는 사용자의 헤드 부분을 감싸며 마련될 수 있다. 제1 헤드 장착부(106-1) 및 제2 헤드 장착부(106-2)는 착용이 용이하도록 플렉서블 한 재질로 이루어질 수 있다. 여기서는, 헤드 장착부(106)가 제1 헤드 장착부(106-1) 및 제2 헤드 장착부(106-2)를 포함하는 것으로 도시하였으나, 이에 한정되는 것은 아니며 헤드 장착부(106)는 프레임(104)의 일측과 타측을 연결하며 일체로 형성될 수도 있다. The
헤드 마운트 디스플레이(100)는 헤드 마운트 디스플레이(100)의 자체 무게에 의해 헤드 마운트 디스플레이(100)가 사용자의 머리 부분에서 조금씩 흘러 내림에 따라, 시선 추적 수단(예를 들어, 카메라 등)의 위치가 변경되어 발생되는 오차를 캘리브레이션(Calibration) 해 줄 수 있다. The
도 2는 본 발명의 일 실시예에 따른 헤드 마운트 디스플레이의 구성을 나타낸 블록도이다. 2 is a block diagram showing a configuration of a head mount display according to an embodiment of the present invention.
도 2를 참조하면, 헤드 마운트 디스플레이(100)는 이벤트 검출부(111), 마커 표시부(113), 시선 추적부(115), 및 캘리브레이션부(117)를 포함할 수 있다. 이벤트 검출부(111), 마커 표시부(113), 시선 추적부(115), 및 캘리브레이션부(117)는 프레임(104) 또는 헤드 장착부(106) 등에 마련될 수 있다. Referring to FIG. 2, the
이벤트 검출부(111)는 캘리브레이션 이벤트가 발생하는지 여부를 검출할 수 있다. 여기서, 캘리브레이션 이벤트는 사용자가 헤드 마운트 디스플레이(100)를 헤드 부분에 착용한 상태에서, 헤드 마운트 디스플레이(100)의 자체 무게에 의해 헤드 마운트 디스플레이(100)가 조금씩 흘러 내리는 것에 기반하여 발생될 수 있다. 즉, 캘리브레이션 이벤트는 헤드 마운트 디스플레이(100)가 시간이 지남에 따라 조금씩 흘러 내려 헤드 마운트 디스플레이(100)에 장착된 시선 추적부(115)의 위치(즉, 공간 상의 좌표)가 변경되는 것에 의해 발생될 수 있다. The
구체적으로, 헤드 마운트 디스플레이(100)가 사용자의 헤드 부분에 장착된 경우, 헤드 마운트 디스플레이(100)는 시간이 지남에 따라 헤드 마운트 디스플레이(100)의 자체 무게에 의해 조금씩 흘러 내리게 된다. 이때, 시선 추적부(115)는 헤드 마운트 디스플레이(100)에서 사용자의 눈 전방에 위치하는 프레임(104)에 장착되므로, 시선 추적부(115)도 위치 변화가 발생하여 원 위치에서 조금씩 내려오게 된다. Specifically, when the head mounted
이벤트 검출부(111)는 헤드 마운트 디스플레이(100)의 흘러 내림에 의한 시선 추적부(115)(또는 디스플레이부(102))의 위치 변화를 검출하여 캘리브레이션 이벤트의 발생 여부를 검출할 수 있다. 이벤트 검출부(111)는 캘리브레이션 이벤트가 검출되는 경우, 캘리브레이션 이벤트 신호를 발생시킬 수 있다. 이벤트 검출부(111)는 자이로 센서 또는 가속도 센서 등을 통해 시선 추적부(115)의 위치 변화를 검출할 수 있다. The
이벤트 검출부(111)는 기 설정된 시간 동안 헤드 마운트 디스플레이(100)의 흘러 내림에 의한 시선 추적부(115)의 위치 변화가 기 설정된 변화 범위를 초과하는 경우, 캘리브레이션 이벤트 신호를 발생시킬 수 있다. 한편, 개시되는 실시예에서는, 헤드 마운트 디스플레이(100)의 흘러 내림에 의한 시선 추적부(115)의 위치 변화를 검출하여야 하므로, 사용자의 머리 부분의 자세 변화에 의한 위치 변화는 배제시킬 필요가 있다. 이벤트 검출부(111)가 캘리브레이션 이벤트의 발생 여부를 검출하는 동작에 대한 자세한 설명은 후술하기로 한다. The
마커 표시부(113)는 이벤트 검출부(111)에서 캘리브레이션 이벤트 신호가 발생하는 경우, 디스플레이부(102)에 캘리브레이션을 위한 마커를 표시할 수 있다. 마커 표시부(113)는 해당 마커가 캘리브레이션을 위한 마커임을 사용자에게 안내하면서 마커를 디스플레이부(102)에 표시할 수 있다. 이때, 마커 표시부(113)는 제1 디스플레이(102-1) 및 제2 디스플레이(102-2) 중 하나 이상에 마커를 표시할 수 있다. 예시적인 실시예에서, 마커 표시부(113)는 마커를 디스플레이부(102)에 표시하면서 사용자가 마커를 응시할 것을 안내해 줄 수 있다. 마커는 사용자가 한 곳을 응시하기에 용이한 형태로 마련될 수 있다. 상기 마커는 1점 시선 캘리브레이션을 위한 마커일 수 있다. The
마커 표시부(113)는 디스플레이부(102)에 표시되는 콘텐츠를 종료시키고 캘리브레이션을 위한 마커를 표시할 수 있다. 또한, 마커 표시부(113)는 디스플레이부(102)에 표시되는 콘텐츠의 투명도를 조절한 상태에서 캘리브레이션을 위한 마커를 표시할 수 있다. 예를 들어, 마커 표시부(113)는 디스플레이부(102)에 표시되는 콘텐츠의 투명도를 마커의 투명도 보다 낮게 조절할 수 있다. 즉, 콘텐츠를 종료시키지 않고 사용자로 하여금 콘텐츠(투명도가 낮아진 콘텐츠)를 그대로 즐기면서 마커를 응시하도록 할 수도 있다. 마커 표시부(113)는 콘텐츠 화면과 캘리브레이션을 위한 마커 화면을 오버레이(Overlay)하여 표시할 수 있다. 이때, 마커 표시부(113)는 캘리브레이션을 위한 마커 화면은 제1 투명도로 하고, 콘텐츠 화면은 제1 투명도 보다 투명도가 낮은 제2 투명도를 갖도록 할 수 있다. The
또한, 마커 표시부(113)는 디스플레이부(102)에 표시되는 콘텐츠의 일 구성 요소를 캘리브레이션을 위한 마커로 사용할 수 있다. 이때, 마커 표시부(113)는 콘텐츠 화면에서 상기 마커로 사용되는 구성 요소의 투명도를 다른 구성 요소들의 투명도와 다르게 구성할 수 있다. 즉, 마커 표시부(113)는 콘텐츠 화면에서 마커로 사용되는 구성 요소는 제1 투명도를 갖도록 하고, 마커로 사용되는 구성 요소 이외의 다른 구성 요소는 제1 투명도 보다 낮은 제2 투명도를 갖도록 할 수 있다. In addition, the
시선 추적부(115)는 디스플레이부(102)에 표시되는 마커에 대응하는 사용자의 시선 위치를 산출하여 시선 위치 정보를 생성할 수 있다. 시선 추적부(115)는 헤드 마운트 디스플레이(100)의 프레임(104)에 장착될 수 있다. 시선 추적부(115)는 사용자의 동공을 센싱하는 센서 또는 사용자의 동공을 촬영하는 카메라 등을 포함할 수 있다. The
캘리브레이션부(117)는 마커에 대응하는 시선 위치 정보 및 기 설정된 기준점에 대응하는 시선 위치 정보를 기반으로 헤드 마운트 디스플레이(100)의 흘러 내림에 따른 캘리브레이션 값을 산출할 수 있다. The
구체적으로, 캘리브레이션부(117)는 사용자가 헤드 마운트 디스플레이(100)를 최초 착용하는 경우, 디스플레이부(102)의 화면에 복수 개의 기준점을 표시하고, 각 기준점의 좌표와 그에 대응하는 시선 위치 정보를 매칭하여 저장할 수 있다. 예를 들어, 도 3에 도시된 바와 같이, 캘리브레이션부(117)는 디스플레이부(102)의 화면을 9개의 영역으로 구분한 후, 9개의 각 영역의 중심에 기준점(a1 ~ a9)을 순차적으로 표시(예를 들어, a1부터 a9까지 순차적으로 표시)하면서 해당 기준점을 응시하는 사용자의 시선 위치 정보를 획득할 수 있다. 그리고, 캘리브레이션부(117)는 각 기준점(a1 ~ a9)의 좌표와 그에 대응하는 시선 위치 정보를 매칭하여 각각 저장할 수 있다. 여기서는, 디스플레이부(102)의 화면을 9개의 영역으로 구분한 후 9개의 각 영역의 중심을 기준점으로 하였으나, 기준점의 개수 및 위치가 이에 한정되는 것은 아니다. 헤드 마운트 디스플레이(100)는 각 기준점(a1 ~ a9)에 대응하는 시선 위치 정보를 최초 캘리브레이션 값(또는 기준 캘리브레이션 값)으로 설정할 수 있다. Specifically, when the user wears the
한편, 마커 표시부(113)는 캘리브레이션 이벤트 신호 발생 시, 캘리브레이션을 위한 마커를 디스플레이부(102)의 화면에서 복수 개의 기준점(a1 ~ a9) 중 어느 하나의 기준점과 동일한 위치에 표시할 수 있다. 예를 들어, 마커 표시부(113)는 기준점(a5)과 동일한 위치에 마커를 표시하고, 시선 추적부(115)는 상기 마커를 응시하는 사용자의 시선 위치를 산출하여 시선 위치 정보를 생성할 수 있다. The
여기서, 캘리브레이션부(117)는 마커(기준점(a5)과 동일한 위치에 표시된 마커)에 대응하는 시선 위치 정보(헤드 마운트 디스플레이(100)가 흘러 내린 후 시선 위치 값) 및 기 설정된 기준점(즉, 기준점(a5))에 대응하는 시선 위치 정보(헤드 마운트 디스플레이(100)가 흘러 내리기 전의 시선 위치 값)의 차이에 해당하는 값을 캘리브레이션 값으로 산출할 수 있다. 캘리브레이션부(117)는 산출한 캘리브레이션 값을 각 기준점(a1 ~ a9)들에 적용하여 그에 대응하는 시선 위치 정보를 각각 갱신함으로써, 헤드 마운트 디스플레이(100)의 흘러 내림에 따른 캘리브레이션을 수행 할 수 있다. Here, the
개시되는 실시예에 의하면, 헤드 마운트 디스플레이(100)의 흘러 내림에 의해 캘리브레이션 이벤트가 발생하는 경우, 캘리브레이션을 위한 하나의 마커를 디스플레이부(102)에 표시하고, 이를 기반으로 캘리브레이션을 수행함으로써, 사용자가 헤드 마운트 디스플레이(100)를 통해 콘텐츠를 감상하는 중에도 용이하고 신속하게 캘리브레이션을 수행할 수 있으며, 사용자의 콘텐츠 감상 방해를 최소화 할 수 있게 된다.According to the disclosed embodiment, when a calibration event is generated by the falling of the
한편, 여기서는 마커 표시부(113)가 복수 개의 기준점(a1 ~ a9) 중 어느 하나의 기준점과 동일한 위치에 마커를 표시하는 것으로 설명하였으나, 이에 한정되는 것은 아니며 복수 개의 기준점(a1 ~ a9)들과 다른 위치에 마커를 표시할 수도 있다. The
예를 들어, 도 3에서 마커 표시부(113)가 마커(M)를 기준점(a5, a6, a8, a9)으로 둘러 싸인 영역의 내부 중앙에 표시하였다고 하면, 캘리브레이션부(117)는 마커(M)의 위치를 기준점으로 하는 경우 그에 대응하는 시선 위치 정보(기준점 시선 위치 정보)를 산출한 후, 마커(M)에 대응하는 시선 위치 정보(마커 시선 위치 정보)와 기준점 시선 위치 정보를 기반으로 헤드 마운트 디스플레이(100)의 흘러 내림에 따른 캘리브레이션 값을 산출할 수도 있다. 이때, 캘리브레이션부(117)는 디스플레이부(102)의 화면에서 기준점(a5)(또는 기준점(a8))에 대응하는 시선 위치 정보 및 기준점(a6)(또는 기준점(a9))에 대응하는 시선 위치 정보를 기반으로 x축 방향의 기준점 시선 위치 정보를 산출할 수 있다. 또한, 캘리브레이션부(117)는 디스플레이부(102)의 화면에서 기준점(a5)(또는 기준점(a6))에 대응하는 시선 위치 정보 및 기준점(a8)(또는 기준점(a9))에 대응하는 시선 위치 정보를 기반으로 y축 방향의 기준점 시선 위치 정보를 산출할 수 있다.For example, if the
헤드 마운트 디스플레이(100)에는 헤드 마운트 디스플레이(100)의 흘러 내림에 따라 캘리브레이션을 수행하기 위한 어플리케이션이 설치될 수 있다. 헤드 마운트 디스플레이(100)는 프로세서 및 그 프로세서에 의해 액세스 가능한 메모리와 같은 컴퓨터 판독 가능 저장 매체를 포함할 수 있다. 상기 어플리케이션은 컴퓨터 판독 가능 저장 매체에 상주할 수 있다. 상기 어플리케이션은 프로세서에 의해 실행 가능한 명령어의 소정의 집합을 포함한다. 상기 어플리케이션의 명령어들은 프로세서에 의해 실행되는 경우, 프로세서로 하여금 예시적인 실시예에 따른 동작을 수행하게 할 수 있다. The
도 4은 본 발명의 일 실시예에 따른 헤드 마운트 디스플레이의 캘리브레이션 방법을 설명하기 위한 흐름도이다. 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.4 is a flowchart illustrating a method of calibrating a head-mounted display according to an exemplary embodiment of the present invention. In the illustrated flow chart, the method is described as being divided into a plurality of steps, but at least some of the steps may be performed in reverse order, combined with other steps, performed together, omitted, divided into detailed steps, One or more steps may be added and performed.
도 4를 참조하면, 헤드 마운트 디스플레이(100)는 복수 개의 기준점에 대한 시선 위치 정보를 획득하고, 각 기준점의 좌표와 그에 대응하는 시선 위치 정보를 매칭하여 저장한다(S 101). Referring to FIG. 4, the
다음으로, 헤드 마운트 디스플레이(100)는 캘리브레이션 이벤트가 발생하는지 여부를 확인한다(S 103). 구체적으로, 헤드 마운트 디스플레이(100)는 시선 추적부(115)(또는 디스플레이부(102))의 위치 변화가 발생한 경우, 시선 추적부(115)의 위치 변화가 기 설정된 제1 변화 범위 미만인지 여부를 확인한다. 여기서, 시선 추적부(115)의 위치 변화가 기 설정된 제1 변화 범위 이상인 경우, 헤드 마운트 디스플레이(100)는 시선 추적부(115)의 위치 변화가 사용자의 머리 부분의 자세 변화(예를 들어, 사용자가 고개를 좌우 또는 상하로 움직이는 것에 따른 변화)에 의한 것으로 판단할 수 있다. Next, the
한편, 시선 추적부(115)의 위치 변화가 기 설정된 제1 변화 범위 미만(즉, 사용자가 머리를 고정하고 있는 상태에서 헤드 마운트 디스플레이(100)의 무게에 의해 흘러내리는 위치 변화)이고, 기 설정된 시간 동안 시선 추적부(115)의 누적된 위치 변화가 기 설정된 제2 변화 범위를 초과하는 경우, 헤드 마운트 디스플레이(100)는 캘리브레이션 이벤트가 발생한 것으로 판단하여 캘리브레이션 이벤트 신호를 발생시킬 수 있다. 제2 변화 범위는 제1 변화 범위 보다 작게 설정될 수 있다. On the other hand, when the position change of the
단계 S 103의 확인 결과, 캘리브레이션 이벤트가 발생하는 경우, 헤드 마운트 디스플레이(100)는 디스플레이부(102)에 캘리브레이션을 위한 마커를 표시한다(S 105). If it is determined in step S 103 that a calibration event has occurred, the
다음으로, 헤드 마운트 디스플레이(100)는 사용자의 시선을 추적하여 마커를 응시하는 사용자의 시선 위치 정보를 산출한다(S 107). Next, the
다음으로, 헤드 마운트 디스플레이(100)는 마커에 대응하는 시선 위치 정보와 기 설정된 하나 이상의 기준점에 대응하는 시선 위치 정보를 기반으로 헤드 마운트 디스플레이(100)의 흘러 내림에 따른 캘리브레이션 값을 산출한다(S 109). Next, the
다음으로, 헤드 마운트 디스플레이(100)는 산출한 캘리브레이션 값을 각 기준점들에 적용하여 그에 대응하는 시선 위치 정보를 각각 갱신한다(S 111).Next, the
도 5는 본 발명의 일 실시예에 따른 헤드 마운트 디스플레이에서 캘리브레이션을 위한 마커를 디스플레이부에 표시하는 상태를 나타낸 도면이다. FIG. 5 is a view illustrating a state where a marker for calibration is displayed on a display unit in a head mount display according to an embodiment of the present invention.
도 5의 (a)를 참조하면, 마커 표시부(113)는 디스플레이부(102)에 표시되는 콘텐츠를 종료시킨 후, 마커(M)를 표시할 수 있다. 이때, 마커 표시부(113)는 “Look at the point to go next”라는 안내 문구를 표시하여 사용자가 마커(M)를 응시하도록 할 수 있다. Referring to FIG. 5A, the
도 5의 (b)를 참조하면, 마커 표시부(113)는 디스플레이부(102)에 표시되는 콘텐츠(여기서는 키보드로 도시됨)의 투명도를 원래의 투명도보다 낮도록 조절한 후, 마커(M) 및 안내 문구를 표시할 수 있다. 5B, the
도 6은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술되는 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.FIG. 6 is a block diagram illustrating and illustrating a
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 헤드 마운트 디스플레이(예를 들어, 헤드 마운트 디스플레이(100))일 수 있다.The illustrated
컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.The
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.The computer-
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.The
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, . Therefore, the scope of the present invention should not be limited to the above-described embodiments, but should be determined by equivalents to the appended claims, as well as the appended claims.
100 : 헤드 마운트 디스플레이
102 : 디스플레이부
102-1 : 제1 디스플레이
102-2 : 제2 디스플레이
104 : 프레임
106 : 헤드 장착부
106-1 : 제1 헤드 장착부
106-2 : 제2 헤드 장착부
111 : 이벤트 검출부
113 : 마커 표시부
115 : 시선 추적부
117 : 캘리브레이션부100: Head mount display
102:
102-1: First display
102-2: Second display
104: frame
106: Head mounting portion
106-1: first head mounting portion
106-2: second head mounting portion
111: Event detection unit
113: marker display section
115: eye tracking unit
117: Calibration part
Claims (18)
상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 헤드 마운트 디스플레이에서 수행되는 방법으로서,
복수 개의 기준점에 대한 사용자의 시선 위치 정보를 각각 획득하고, 각 기준점의 좌표와 해당 기준점에 대응하는 시선 위치 정보를 매칭하여 저장하는 단계;
상기 헤드 마운트 디스플레이의 흘러 내림에 의한 캘리브레이션 이벤트가 발생하는지 여부를 확인하는 단계;
상기 캘리브레이션 이벤트가 발생하는 경우, 캘리브레이션을 위한 마커를 디스플레이부에 표시하는 단계;
상기 마커를 응시하는 사용자의 시선 위치 정보를 산출하는 단계; 및
상기 마커를 응시하는 사용자의 시선 위치 정보 및 상기 하나 이상의 기준점에 대응하는 시선 위치 정보를 기반으로 상기 헤드 마운트 디스플레이의 흘러 내림에 따른 캘리브레이션 값을 산출하는 단계를 포함하고,
상기 캘리브레이션 이벤트가 발생하는지 여부를 확인하는 단계는,
상기 헤드 마운트 디스플레이의 위치 변화가 발생하는 경우, 상기 위치 변화가 기 설정된 제1 변화 범위 미만인지 여부를 확인하는 단계;
상기 위치 변화가 기 설정된 제1 변화 범위 미만인 경우, 기 설정된 시간 동안 상기 헤드 마운트 디스플레이의 위치 변화가 상기 제1 변화 범위 보다 작게 설정된 제2 변화 범위를 초과하는지 여부를 확인하는 단계; 및
상기 위치 변화가 기 설정된 제2 변화 범위를 초과하는 경우, 상기 헤드 마운트 디스플레이의 자체 무게에 의한 흘러 내림으로 판단하여 캘리브레이션 이벤트 신호를 발생시키는 단계를 포함하는, 헤드 마운트 디스플레이의 캘리브레이션 방법.
One or more processors, and
A method performed on a head mounted display having a memory for storing one or more programs executed by the one or more processors,
Acquiring gaze position information of a user with respect to a plurality of reference points, storing coordinates of each reference point and sight line position information corresponding to the reference point in a matching manner;
Confirming whether or not a calibration event due to flow-down of the head-mounted display occurs;
Displaying a marker for calibration on the display unit when the calibration event occurs;
Calculating gaze position information of a user gazing at the marker; And
Calculating a calibration value according to the flow of the head-mounted display based on the line-of-sight position information of the user gazing at the marker and the line-of-sight position information corresponding to the one or more reference points,
Wherein the step of verifying whether the calibration event occurs comprises:
Determining whether the positional change is less than a predetermined first change range when a change in position of the head-mounted display occurs;
Confirming whether the position change of the head-mounted display exceeds a second change range set to be smaller than the first change range, for a predetermined time, when the position change is less than the predetermined first change range; And
And generating a calibration event signal by determining that the head-mounted display is caused to flow by its own weight when the positional change exceeds a predetermined second change range.
상기 헤드 마운트 디스플레이의 캘리브레이션 방법은,
상기 위치 변화가 기 설정된 제1 변화 범위 이상인 경우, 상기 위치 변화가 사용자의 머리 자세 변화에 의한 것으로 판단하는 단계를 더 포함하는, 헤드 마운트 디스플레이의 캘리브레이션 방법.
The method according to claim 1,
A method of calibrating a head-mounted display,
Further comprising the step of determining that the positional change is due to a change in the head posture of the user when the positional change is equal to or greater than a predetermined first change range.
상기 마커를 디스플레이부에 표시하는 단계는,
상기 디스플레이부에 표시되는 콘텐츠의 투명도를 조절한 상태에서 상기 마커를 상기 디스플레이부에 표시하는, 헤드 마운트 디스플레이의 캘리브레이션 방법.
The method according to claim 1,
The step of displaying the marker on the display unit includes:
And displaying the marker on the display unit while adjusting the transparency of the content displayed on the display unit.
상기 마커를 디스플레이부에 표시하는 단계는,
상기 캘리브레이션을 위한 마커의 화면은 제1 투명도로 표시하고, 상기 콘텐츠의 화면은 상기 제1 투명도보다 낮은 제2 투명도로 표시하는, 헤드 마운트 디스플레이의 캘리브레이션 방법.
The method of claim 4,
The step of displaying the marker on the display unit includes:
Wherein the screen of the marker for the calibration is displayed with a first transparency and the screen of the content is displayed with a second transparency lower than the first transparency.
상기 마커를 디스플레이부에 표시하는 단계는,
상기 디스플레이부에 표시되는 콘텐츠의 일 구성 요소를 상기 마커로 사용하여 표시하는, 헤드 마운트 디스플레이의 캘리브레이션 방법.
The method according to claim 1,
The step of displaying the marker on the display unit includes:
And displaying one component of the content displayed on the display unit as the marker.
상기 마커를 디스플레이부에 표시하는 단계는,
상기 콘텐츠 중 상기 마커로 사용되는 구성 요소의 투명도와 상기 콘텐츠 중 상기 마커를 제외한 다른 구성 요소의 투명도를 달리하여 표시하는, 헤드 마운트 디스플레이의 캘리브레이션 방법.
The method of claim 6,
The step of displaying the marker on the display unit includes:
Wherein the display of the content is different from the transparency of the component used as the marker and the transparency of the other components of the content except the marker.
상기 마커를 디스플레이부에 표시하는 단계는,
상기 콘텐츠 중 상기 마커로 사용되는 구성 요소는 제1 투명도로 표시하고, 상기 마커를 제외한 다른 구성 요소는 상기 제1 투명도 보다 낮은 제2 투명도로 표시하는, 헤드 마운트 디스플레이의 캘리브레이션 방법.
The method of claim 7,
The step of displaying the marker on the display unit includes:
Wherein the component used as the marker in the content is represented by a first transparency and the other components except the marker are represented by a second transparency lower than the first transparency.
상기 마커를 디스플레이부에 표시하는 단계는,
상기 마커를 상기 디스플레이부에서 상기 복수 개의 기준점 중 어느 하나의 기준점과 동일한 위치에 표시하는, 헤드 마운트 디스플레이의 캘리브레이션 방법.
The method according to claim 1,
The step of displaying the marker on the display unit includes:
Wherein the marker is displayed on the display unit at the same position as any one of the plurality of reference points.
메모리; 및
하나 이상의 프로그램들을 포함하는 헤드 마운트 디스플레이 이고,
상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며,
상기 하나 이상의 프로그램들은,
복수 개의 기준점에 대한 사용자의 시선 위치 정보를 각각 획득하고, 각 기준점의 좌표와 해당 기준점에 대응하는 시선 위치 정보를 매칭하여 저장하기 위한 명령;
상기 헤드 마운트 디스플레이의 흘러 내림에 의한 캘리브레이션 이벤트가 발생하는지 여부를 확인하기 위한 명령;
상기 캘리브레이션 이벤트가 발생하는 경우, 캘리브레이션을 위한 마커를 디스플레이부에 표시하기 위한 명령;
상기 마커를 응시하는 사용자의 시선 위치 정보를 산출하기 위한 명령; 및
상기 마커를 응시하는 사용자의 시선 위치 정보 및 상기 하나 이상의 기준점에 대응하는 시선 위치 정보를 기반으로 상기 헤드 마운트 디스플레이의 흘러 내림에 따른 캘리브레이션 값을 산출하기 위한 명령을 포함하고,
상기 캘리브레이션 이벤트가 발생하는지 여부를 확인하기 위한 명령은,
상기 헤드 마운트 디스플레이의 위치 변화가 발생하는 경우, 상기 위치 변화가 기 설정된 제1 변화 범위 미만인지 여부를 확인하기 위한 명령;
상기 위치 변화가 기 설정된 제1 변화 범위 미만인 경우, 기 설정된 시간 동안 상기 헤드 마운트 디스플레이의 위치 변화가 상기 제1 변화 범위 보다 작게 설정된 제2 변화 범위를 초과하는지 여부를 확인하기 위한 명령; 및
상기 위치 변화가 기 설정된 제2 변화 범위를 초과하는 경우, 상기 헤드 마운트 디스플레이의 자체 무게에 의한 흘러 내림으로 판단하여 캘리브레이션 이벤트 신호를 발생시키기 위한 명령을 포함하는, 헤드 마운트 디스플레이.
One or more processors;
Memory; And
A head mount display comprising one or more programs,
Wherein the one or more programs are stored in the memory and configured to be executed by the one or more processors,
The one or more programs,
Acquiring gaze position information of a user with respect to a plurality of reference points, storing coordinates of each reference point and gaze position information corresponding to the reference point, and storing the coordinates;
A command for confirming whether or not a calibration event due to flow-down of the head-mounted display occurs;
A command for displaying a marker for calibration on the display unit when the calibration event occurs;
An instruction to calculate gaze position information of a user gazing at the marker; And
Instructions for calculating a calibration value according to flow of the head-mounted display based on line-of-sight position information of a user staring the marker and line-of-sight position information corresponding to the one or more reference points,
Wherein the instruction to determine whether the calibration event occurs comprises:
When the position change of the head mount display occurs, determining whether the position change is less than a predetermined first change range;
Determining whether a position change of the head-mounted display exceeds a second change range set to be smaller than the first change range, for a predetermined time, when the position change is less than a predetermined first change range; And
And generating a calibration event signal by determining that the head-mounted display is caused to flow by its own weight when the positional change exceeds a predetermined second change range.
상기 하나 이상의 프로그램들은,
상기 위치 변화가 기 설정된 제1 변화 범위 이상인 경우, 상기 위치 변화가 사용자의 머리 자세 변화에 의한 것으로 판단하기 위한 명령을 더 포함하는, 헤드 마운트 디스플레이.
The method of claim 10,
The one or more programs,
Further comprising instructions for determining that the position change is due to a user's head posture change if the position change is greater than or equal to a predetermined first change range.
상기 마커를 디스플레이부에 표시하기 위한 명령은,
상기 디스플레이부에 표시되는 콘텐츠의 투명도를 조절한 상태에서 상기 마커를 상기 디스플레이부에 표시하기 위한 명령을 포함하는, 헤드 마운트 디스플레이.
The method of claim 10,
The command for displaying the marker on the display unit includes:
And displaying the marker on the display unit while adjusting the transparency of the content displayed on the display unit.
상기 마커를 디스플레이부에 표시하기 위한 명령은,
상기 캘리브레이션을 위한 마커의 화면은 제1 투명도로 표시하고, 상기 콘텐츠의 화면은 상기 제1 투명도보다 낮은 제2 투명도로 표시하기 위한 명령을 포함하는, 헤드 마운트 디스플레이.
14. The method of claim 13,
The command for displaying the marker on the display unit includes:
Wherein the screen of the marker for the calibration is displayed with a first transparency and the screen of the content is displayed with a second transparency lower than the first transparency.
상기 마커를 디스플레이부에 표시하기 위한 명령은,
상기 디스플레이부에 표시되는 콘텐츠의 일 구성 요소를 상기 마커로 사용하여 표시하기 위한 명령을 포함하는, 헤드 마운트 디스플레이.
The method of claim 10,
The command for displaying the marker on the display unit includes:
And displaying, using the one component of the content displayed on the display unit, as the marker.
상기 마커를 디스플레이부에 표시하기 위한 명령은,
상기 콘텐츠 중 상기 마커로 사용되는 구성 요소의 투명도와 상기 콘텐츠 중 상기 마커를 제외한 다른 구성 요소의 투명도를 달리하여 표시하기 위한 명령을 포함하는, 헤드 마운트 디스플레이.
16. The method of claim 15,
The command for displaying the marker on the display unit includes:
And displaying the transparency of a component of the content that is used as the marker and the transparency of another component of the content other than the marker.
상기 마커를 디스플레이부에 표시하기 위한 명령은,
상기 콘텐츠 중 상기 마커로 사용되는 구성 요소는 제1 투명도로 표시하고, 상기 마커를 제외한 다른 구성 요소는 상기 제1 투명도 보다 낮은 제2 투명도로 표시하기 위한 명령을 포함하는, 헤드 마운트 디스플레이.
18. The method of claim 16,
The command for displaying the marker on the display unit includes:
Wherein the marking comprises at least one of a first transparency, a second transparency, and a second transparency, the second transparency being indicative of a first transparency component of the content.
상기 마커를 디스플레이부에 표시하기 위한 명령은,
상기 마커를 상기 디스플레이부에서 상기 복수 개의 기준점 중 어느 하나의 기준점과 동일한 위치에 표시하기 위한 명령을 포함하는, 헤드 마운트 디스플레이.The method of claim 10,
The command for displaying the marker on the display unit includes:
And displaying the marker at the same position as any one of the plurality of reference points on the display unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170076695A KR101857466B1 (en) | 2017-06-16 | 2017-06-16 | Head mounted display and method for calibrating the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170076695A KR101857466B1 (en) | 2017-06-16 | 2017-06-16 | Head mounted display and method for calibrating the same |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101857466B1 true KR101857466B1 (en) | 2018-05-15 |
Family
ID=62186963
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020170076695A KR101857466B1 (en) | 2017-06-16 | 2017-06-16 | Head mounted display and method for calibrating the same |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101857466B1 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180083252A (en) * | 2015-08-15 | 2018-07-20 | 구글 엘엘씨 | System and method for biomechanically based eye signals for interacting with real and virtual objects |
CN111190482A (en) * | 2018-11-15 | 2020-05-22 | 托比股份公司 | Method and apparatus for calibrating an eye tracker |
KR20200059509A (en) * | 2018-11-21 | 2020-05-29 | 네이버웹툰 주식회사 | Method for providing user interface using gaze recognition and user apparatus using the same |
US20200183488A1 (en) * | 2018-12-10 | 2020-06-11 | Samsung Electronics Co., Ltd. | Compensating For A Movement of A Sensor Attached To A Body Of A User |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002229730A (en) * | 2000-11-30 | 2002-08-16 | Mixed Reality Systems Laboratory Inc | Information processing unit, complex reality providing device and method thereof, and storage medium |
JP2016018213A (en) * | 2014-07-10 | 2016-02-01 | セイコーエプソン株式会社 | Hmd calibration with direct geometric modeling |
KR20160071139A (en) * | 2014-12-11 | 2016-06-21 | 삼성전자주식회사 | Method for calibrating a gaze and electronic device thereof |
WO2016098406A1 (en) * | 2014-12-17 | 2016-06-23 | ソニー株式会社 | Information processing apparatus, information processing method and program |
-
2017
- 2017-06-16 KR KR1020170076695A patent/KR101857466B1/en active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002229730A (en) * | 2000-11-30 | 2002-08-16 | Mixed Reality Systems Laboratory Inc | Information processing unit, complex reality providing device and method thereof, and storage medium |
JP2016018213A (en) * | 2014-07-10 | 2016-02-01 | セイコーエプソン株式会社 | Hmd calibration with direct geometric modeling |
KR20160071139A (en) * | 2014-12-11 | 2016-06-21 | 삼성전자주식회사 | Method for calibrating a gaze and electronic device thereof |
WO2016098406A1 (en) * | 2014-12-17 | 2016-06-23 | ソニー株式会社 | Information processing apparatus, information processing method and program |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180083252A (en) * | 2015-08-15 | 2018-07-20 | 구글 엘엘씨 | System and method for biomechanically based eye signals for interacting with real and virtual objects |
KR102196975B1 (en) * | 2015-08-15 | 2020-12-30 | 구글 엘엘씨 | System and method for biomechanical-based eyeball signals to interact with real and virtual objects |
CN111190482A (en) * | 2018-11-15 | 2020-05-22 | 托比股份公司 | Method and apparatus for calibrating an eye tracker |
CN111190482B (en) * | 2018-11-15 | 2024-01-26 | 托比股份公司 | Method and apparatus for calibrating an eye tracker |
KR20200059509A (en) * | 2018-11-21 | 2020-05-29 | 네이버웹툰 주식회사 | Method for providing user interface using gaze recognition and user apparatus using the same |
KR102216020B1 (en) * | 2018-11-21 | 2021-02-17 | 네이버웹툰 유한회사 | Method for providing user interface using gaze recognition and user apparatus using the same |
US20200183488A1 (en) * | 2018-12-10 | 2020-06-11 | Samsung Electronics Co., Ltd. | Compensating For A Movement of A Sensor Attached To A Body Of A User |
WO2020122318A1 (en) * | 2018-12-10 | 2020-06-18 | Samsung Electronics Co., Ltd. | Compensating for a movement of a sensor attached to a body of a user |
US10990168B2 (en) | 2018-12-10 | 2021-04-27 | Samsung Electronics Co., Ltd. | Compensating for a movement of a sensor attached to a body of a user |
CN113164040A (en) * | 2018-12-10 | 2021-07-23 | 三星电子株式会社 | Compensating for movement of a sensor attached to a user's body |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11693476B2 (en) | Menu navigation in a head-mounted display | |
US10096167B2 (en) | Method for executing functions in a VR environment | |
KR101857466B1 (en) | Head mounted display and method for calibrating the same | |
US10317680B1 (en) | Optical aberration correction based on user eye position in head mounted displays | |
KR102038379B1 (en) | Focus Adjusting Virtual Reality Headset | |
US9223402B2 (en) | Head mounted display and method of controlling digital device using the same | |
MX2021010979A (en) | Reality-guided roaming in virtual reality. | |
US10115235B2 (en) | Method for controlling head mounted display, and system for implemeting the method | |
US20170220119A1 (en) | Object motion tracking with remote device | |
US20150097772A1 (en) | Gaze Signal Based on Physical Characteristics of the Eye | |
US10845595B1 (en) | Display and manipulation of content items in head-mounted display | |
US10368059B2 (en) | Method and apparatus for individualized three dimensional display calibration | |
JP2023509823A (en) | Focus-adjustable Magnification Correction Optical System | |
EP3695622B1 (en) | Adaptation of presentation speed | |
KR20170037692A (en) | Apparatus and method for 3-dimensional display | |
KR102198867B1 (en) | Method for user input and user interface device executing the method | |
US11442543B1 (en) | Electronic devices with monocular gaze estimation capabilities | |
JP2017033465A (en) | Method and program | |
KR20240100021A (en) | Head mounted display apparatus and operating method thereof | |
JP2024031946A (en) | headset adjustment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |