KR20150098361A - Hmd 및 그 제어 방법 - Google Patents

Hmd 및 그 제어 방법 Download PDF

Info

Publication number
KR20150098361A
KR20150098361A KR1020140019522A KR20140019522A KR20150098361A KR 20150098361 A KR20150098361 A KR 20150098361A KR 1020140019522 A KR1020140019522 A KR 1020140019522A KR 20140019522 A KR20140019522 A KR 20140019522A KR 20150098361 A KR20150098361 A KR 20150098361A
Authority
KR
South Korea
Prior art keywords
mode
augmented reality
reality image
external device
line
Prior art date
Application number
KR1020140019522A
Other languages
English (en)
Other versions
KR102182161B1 (ko
Inventor
조은형
김종호
이도영
김지환
천시내
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020140019522A priority Critical patent/KR102182161B1/ko
Priority to US14/254,497 priority patent/US9239618B2/en
Priority to PCT/KR2014/004165 priority patent/WO2015126007A1/en
Priority to EP14883433.6A priority patent/EP3108289B1/en
Priority to US15/114,022 priority patent/US9990036B2/en
Priority to CN201480073675.7A priority patent/CN105917268B/zh
Publication of KR20150098361A publication Critical patent/KR20150098361A/ko
Application granted granted Critical
Publication of KR102182161B1 publication Critical patent/KR102182161B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 명세서의 일 실시예에 따른 HMD의 제어 방법은 외부 디바이스를 디텍트하는 단계, 증강현실 이미지를 제 1 모드로 디스플레이하는 단계, 제 1 모드에서 증강현실 이미지에 대한 사용자의 시선이 디텍트되면, 제 1 모드를 제 2 모드로 변경하는 단계, 및 제 2 모드에서 증강현실 이미지 및 외부 디바이스가 정렬되면, 증강현실 이미지의 펑션을 실행하는 단계를 포함할 수 있다. 여기서, 상기 제 1 모드는 상기 증강현실 이미지의 디스플레이 위치가 상기 외부 디바이스의 위치에 의존하는 모드이고, 제 2 모드는 외부 디바이스의 위치가 변경되는 경우에도 증강현실 이미지가 디스플레이된 위치를 고정하는 모드일 수 있다.

Description

HMD 및 그 제어 방법{HEAD MOUNTED DISPLAY AND METHOD FOR CONTROLLING THE SAME}
본 명세서는 HMD에 관한 것으로, 보다 상세하게는 증강현실 이미지를 디스플레이하는 HMD 및 그 제어 방법에 관한 것이다.
증강현실 서비스는 사용자가 현실 이미지와 증강현실 이미지를 함께 볼 수 있도록 하여 사용자에게 현실 정보와 가상 정보를 함께 제공한다. 그리고, 최근 기술이 발전함에 따라, HMD도 증강현실 서비스를 제공하는 디바이스로 사용되고 있다.
HMD를 사용하여 증강현실 서비스를 제공하는 경우, 증강현실 이미지에 대응하는 펑션을 실행하기 위한 보다 편한 입력 방법이 필요하다.
이에, 본 명세서는, 외부 디바이스 및 증강현실 이미지의 정렬 또는 외부 디바이스에 디스플레이된 컨텐츠 이미지 및 증강현실 이미지의 정렬에 따라 증강현실 이미지에 대응하는 펑션을 실행하는 HMD 및 HMD의 제어 방법을 제공하고자 한다.
본 명세서의 일 실시예에 따른 HMD는 외부 디바이스를 디텍트하는 카메라 유닛; 증강현실 이미지를 디스플레이하는 디스플레이 유닛; 사용자의 시선을 디텍트하는 시선 디텍트 유닛; 및 상기 카메라 유닛, 상기 디스플레이 유닛 및 상기 시선 디텍트 유닛을 제어하는 프로세서를 포함하며, 상기 프로세서는, 상기 외부 디바이스를 디텍트하고, 상기 증강현실 이미지를 제 1 모드로 디스플레이하되, 상기 제 1 모드는 상기 증강현실 이미지의 디스플레이 위치가 상기 외부 디바이스의 위치에 의존하는 모드임, 상기 제 1 모드에서 상기 증강현실 이미지에 대한 상기 사용자의 시선이 디텍트되면, 상기 제 1 모드를 제 2 모드로 변경하되, 상기 제 2 모드는 상기 외부 디바이스의 위치가 변경되는 경우에도 상기 증강현실 이미지가 디스플레이된 위치를 고정하는 모드임, 상기 제 2 모드에서 상기 증강현실 이미지 및 상기 외부 디바이스가 정렬되면, 상기 증강현실 이미지에 대응하는 펑션을 실행할 수 있다.
또한, 본 명세서의 일 실시예에 따른 HMD의 제어 방법은 외부 디바이스를 디텍트하는 단계; 상기 증강현실 이미지를 제 1 모드로 디스플레이하는 단계; 상기 제 1 모드는 상기 외부 디바이스의 위치가 변경되면 상기 변경된 외부 디바이스의 위치에 기초하여 상기 증강현실 이미지가 디스플레이된 위치를 변경하는 모드임, 상기 제 1 모드에서 상기 증강현실 이미지에 대한 상기 사용자의 시선이 디텍트되면, 상기 제 1 모드를 제 2 모드로 변경하는 단계; 상기 제 2 모드는 상기 외부 디바이스의 위치가 변경되는 경우에도 상기 증강현실 이미지가 디스플레이된 위치를 고정하는 모드임, 및 상기 제 2 모드에서 상기 증강현실 이미지 및 상기 외부 디바이스가 정렬되면, 상기 증강현실 이미지의 펑션을 실행하는 단계를 포함할 수 있다.
본 명세서에 따르면, HMD는 증강현실 이미지를 외부 디바이스의 위치에 의존적인지 여부에 따라 두 가지 모드, 즉 제 1 모드 또는 제 2 모드로 디스플레이할 수 있다.
또한, 본 명세서에 따르면, HMD는 증강현실 이미지에 대한 사용자의 시선에 따라 제 1 모드에서 제 2 모드로 변경하거나, 제 2 모드에서 제 1 모드로 변경할 수 있다.
또한, 본 명세서에 따르면, HMD는 외부 디바이스 및 증강현실 이미지가 정렬되거나, 또는 외부 디바이스의 컨텐츠 이미지 및 증강현실 이미지가 정렬되는 경우, 증강현실 이미지에 대응하는 펑션을 실행할 수 있다. 이를 통해, HMD는 보다 편리한 입력방법으로 증강현실 이미지에 대응하는 펑션을 실행할 수 있어 사용자 친화적인 증강현실 서비스를 사용자에게 제공할 수 있다.
도 1은 본 명세서의 일 실시예에 따른 HMD가 외부 디바이스 및 사용자의 시선을 디텍트하고, 증강현실 이미지를 디스플레이하는 방법을 나타낸다.
도 2는 본 명세서의 일 실시예에 따른 HMD가 증강현실 이미지를 제 1 모드 또는 제 2 모드로 디스플레이하는 방법을 나타낸다.
도 3은 본 명세서의 일 실시예에 따른 HMD가 증강현실 이미지 및 외부 디바이스의 정렬에 따라 증강현실 이미지에 대응하는 펑션을 실행하는 방법을 나타낸다.
도 4a 및 도 4b는 본 명세서의 다른 실시예에 따른 HMD가 증강현실 이미지 및 외부 디바이스의 정렬에 따라 증강현실 이미지에 대응하는 펑션을 실행하는 방법을 나타낸다.
도 5는 본 명세서의 일 실시예에 따른 HMD가 증강현실 이미지에 대응하는 펑션의 실행화면을 제공하는 방법을 나타낸다.
도 6은 본 명세서의 일 실시예에 따른 HMD가 증강현실 이미지에 대응하는 펑션의 실행 종료에 따라 증강현실 이미지를 디스플레이하는 방법을 나타낸다.
도 7은 본 명세서의 일 실시예에 따른 HMD가 시선 유지 영역을 디스플레이하는 방법을 나타낸다.
도 8은 본 명세서의 일 실시예에 따른 HMD의 구성도를 나타낸다.
도 9는 본 명세서의 일 실시예에 따른 HMD의 제어방법에 대한 순서도를 나타낸다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 실시 예를 상세하게 설명하지만, 청구하고자 하는 범위는 실시 예들에 의해 제한되거나 한정되는 것은 아니다.
본 명세서에서 사용되는 용어는 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 명세서의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
본 명세서에서 HMD는 유저의 신체에 착용되어 시각정보를 디스플레이하는 웨어러블 디바이스를 의미할 수 있다. 예를 들면, HMD는 유저의 머리에 착용되어 증강현실 이미지를 디스플레이하는 웨어러블 디바이스일 수 있다. 또한, 본 명세서에서 증강현실 이미지는 가상의 이미지로서, 그래픽 이미지, 텍스트, 기호 및 이모티콘을 포함할 수 있다.
도 1은 본 명세서의 일 실시예에 따른 HMD가 외부 디바이스 및 사용자의 시선을 디텍트하고, 증강현실 이미지를 디스플레이하는 방법을 나타낸다.
보다 상세하게, 도 1의 상단은 HMD(100)가 카메라 유닛(110)을 이용하여 외부 디바이스(200)를 디텍트하는 방법을 나타내고, 도 1의 하단은 HMD(100)가 디스플레이 유닛을 이용하여 증강현실 이미지(10)를 디스플레이하고, 시선 디텍트 유닛을 이용하여 사용자의 시선(20)을 디텍트하는 방법을 나타낸다.
도 1의 상단에 도시된 바와 같이, HMD(100)는 카메라 유닛(110)을 이용하여 외부 디바이스(200)를 디텍트할 수 있다. 또한, HMD(100)는 카메라 유닛(110)을 이용하여 외부 디바이스(200)의 위치 변화을 디텍트할 수 있다. 보다 상세하게, HMD(100)는 카메라 유닛(110)에 의해 캡쳐링된 이미지로부터 외부 디바이스(200) 및 외부 디바이스(200)의 위치 변화를 디텍트할 수 있다. 여기서, 외부 디바이스(200)는 디스플레이 디바이스로서, 적어도 하나의 컨텐츠 이미지를 디스플레이할 수 있다.
도 1의 하단에 도시된 바와 같이, HMD(100)는 디스플레이 유닛을 이용하여 증강현실 이미지(10)를 디스플레이할 수 있다. 디스플레이 유닛이 광학적 씨스루 디스플레이 패널로 구성된 경우, HMD(100)는 사용자가 씨스루 디스플레이 패널을 통해 바라보는 현실 세계의 외부 디바이스(200) 주변에 증강현실 이미지(10)를 디스플레이할 수 있다.
이때, HMD(100)는 외부 디바이스(200)에 대응하는 증강현실 이미지(10)를 디스플레이할 수 있다. 예를 들면, HMD(100)는 외부 디바이스(200)의 디스플레이 기능에 대응하는 증강현실 이미지(10)를 디스플레이할 수 있다. 즉, HMD(100)는 외부 디바이스(200)의 동영상 재생버튼 등에 대응하는 증강현실 이미지(10)를 디스플레이할 수 있다. 또한, HMD(100)는 HMD(100)에 대응하는 증강현실 이미지(10)를 디스플레이할 수 있다. 예를 들면, HMD(100)는 HMD(100)의 전화 기능 또는 메시지 전송 기능에 대응하는 증강현실 이미지(10)일 수 있다. 다만, 상술한 실시예들은 증강현실 이미지(10)의 일 실시예일뿐, 본 명세서의 HMD(100)는 실시예에 의해 제한되지 않는다.
도 1의 하단에 도시된 바와 같이, HMD(100)는 시선 디텍트 유닛을 이용하여 사용자의 시선(20)을 디텍트할 수 있다. 예를 들면, HMD(100)는 시선 디텍트 유닛을 이용하여 증강현실 이미지(10)에 대한 사용자의 시선(20)을 디텍트할 수 있다. 또한, HMD(100)는 시선 디텍트 유닛을 이용하여 사용자의 시선(20)의 위치 변화를 디텍트할 수 있다.
도 2는 본 명세서의 일 실시예에 따른 HMD가 증강현실 이미지를 제 1 모드 또는 제 2 모드로 디스플레이하는 방법을 나타낸다.
도 2의 상단에 도시된 바와 같이, HMD는 증강현실 이미지(10)를 제 1 모드로 디스플레이할 수 있다. 여기서, 제 1 모드는 증강현실 이미지(10)의 디스플레이 위치가 외부 디바이스(200)의 위치에 의존하는 모드를 의미할 수 있다. 즉, 제 1 모드는 외부 디바이스(200)의 위치가 변경되면 변경된 외부 디바이스(200)의 위치에 기초하여 증강현실 이미지(10)가 디스플레이된 위치를 변경하는 모드일 수 있다. 예를 들면, 도 2의 상단에 도시된 바와 같이, 외부 디바이스(200)의 위치가 왼쪽에서 오른쪽으로 변경된 경우, HMD는 변경된 외부 디바이스(200)의 위치에 기초하여 제 1 모드로 디스플레이된 증강현실 이미지(10)의 위치를 왼쪽에서 오른쪽으로 변경할 수 있다. 이를 통해, HMD는 외부 디바이스(200)에 묶여 외부 디바이스(200)와 함께 이동하는 증강현실 이미지(10)를 사용자에게 제공할 수 있다.
도 2의 하단에 도시된 바와 같이, HMD는 증강현실 이미지(10)를 제 2 모드로 디스플레이할 수 있다. 여기서, 제 2 모드는 외부 디바이스(200)의 위치가 변경되는 경우에도 증강현실 이미지(10)가 디스플레이된 위치를 고정하는 모드를 의미할 수 있다. 예를 들면, 도 2의 하단에 도시된 바와 같이, 외부 디바이스(200)의 위치가 왼쪽에서 오른쪽으로 변경되는 경우에도, HMD는 제 2 모드로 디스플레이된 증강현실 이미지(10)의 위치를 고정하여 디스플레이할 수 있다. 이를 통해, HMD는 외부 디바이스(200)에 묶이지 않는 증강현실 이미지(10)를 사용자에게 제공할 수 있다.
이때, HMD는 제 2 모드로 디스플레이된 증강현실 이미지(10)를 HMD의 디스플레이 영역 상에 고정시킬 수 있다. 즉, HMD는 제 2 모드로 디스플레이된 증강현실 이미지(10)를 HMD의 디스플레이 영역 내의 특정 위치(예를 들면, 디스플레이 유닛 상의 특정 좌표)에 고정시킬 수 있다. 이 경우, HMD를 착용한 사용자는 HMD의 위치가 변경되더라도 HMD의 디스플레이 영역 내의 특정 위치에서 증강현실 이미지(10)를 계속 관찰할 수 있다. 또한, HMD는 제 2 모드로 디스플레이된 증강현실 이미지(10)를 HMD 주변의 공간 상에 고정시킬 수 있다. 즉, HMD는 제 2 모드로 디스플레이된 증강현실 이미지(10)를 HMD 주변의 공간 상의 특정 위치(예를 들면, 공간 상의 특정 좌표)에 고정시킬 수 있다. 이 경우, HMD를 착용한 사용자가 증강현실 이미지(10)를 관찰하던 중 HMD의 위치를 변경하면 증강현실 이미지(10)를 계속하여 관찰할 수 없지만, HMD를 다시 원래의 위치로 되돌리면 증강현실 이미지(10)를 다시 관찰할 수 있다.
도 3은 본 명세서의 일 실시예에 따른 HMD가 증강현실 이미지 및 외부 디바이스의 정렬에 따라 증강현실 이미지에 대응하는 펑션을 실행하는 방법을 나타낸다.
도 3의 좌측 상단에 도시된 바와 같이, HMD는 증강현실 이미지(10)를 제 1 모드로 디스플레이할 수 있다. 예를 들면, 도시된 바와 같이, HMD는 증강현실 이미지(10)를 외부 디바이스(200)의 상단 주변에 제 1 모드로 디스플레이할 수 있다. HMD는 외부 디바이스(200)가 디텍트되면 증강현실 이미지(10)를 제 1 모드로 디스플레이할 수 있다. 또한, HMD는 외부 디바이스(200)에 대한 사용자의 시선(20)이 디텍트되면, 증강현실 이미지(10)를 제 1 모드로 디스플레이할 수 있다.
도 3의 우측 상단에 도시된 바와 같이, HMD는 제 1 모드에서 증강현실 이미지(10)에 대한 사용자의 시선(20)이 디텍트되면, 제 1 모드를 제 2 모드로 변경할 수 있다. 보다 상세하게, HMD는 제 1 모드에서 증강현실 이미지(10)의 제 1 시선 영역에 대한 사용자의 제 1 시선이 디텍트되면, 제 1 모드를 제 2 모드로 변경할 수 있다. 여기서, 제 1 시선 영역은 증강현실 이미지(10)가 디스플레이된 영역과 동일한 영역일 수 있다. 또한, 제 1 시선 영역은 증강현실 이미지(10)가 디스플레이된 영역보다 더 큰 영역일 수 있다. 예를 들면, 제 1 시선 영역은 증강현실 이미지(10)가 디스플레이된 영역을 포함하는 영역일 수 있다.
또한, HMD는 제 1 모드에서 증강현실 이미지(10)의 제 1 시선 영역에 대한 사용자의 제 1 시선이 디텍트되면, 제 1 시선의 디텍트가 유지되는 제 1 시선 유지 기간을 획득할 수 있다. 제 1 시선 유지 기간이 제 1 기간 이상이면, HMD는 제 1 모드를 제 2 모드로 변경할 수 있다. 제 1 시선 유지 기간이 제 1 기간 미만이면, HMD는 제 1 모드를 유지할 수 있다. 이를 통해, HMD는 사용자의 시선이 증강현실 이미지(10)를 잠깐 스치고 지나간 경우에는 모드를 변경하지 않을 수 있다.
또한, HMD는 제 2 모드에서 제 1 시선 영역의 외부 영역에 대한 사용자의 제 2 시선이 디텍트되면, 제 2 시선의 디텍트가 유지되는 제 2 시선 유지 기간을 획득할 수 있다. 제 2 시선 유지 기간이 제 2 기간 이상이면, HMD는 제 2 모드를 제 1 모드로 재변경할 수 있다. 제 2 시선 유지 기간이 제 2 기간 미만이면, HMD는 제 2 모드를 유지할 수 있다. 이를 통해, HMD는 사용자의 시선이 증강현실 이미지(10)로부터 벗어나면 외부 디바이스에 엮인 증강현실 이미지(10)를 다시 제공할 수 있다.
여기서, 제 1 시선 유지 기간과 상기 제 2 시선 유지 기간은 서로 다른 기간일 수 있다. 또한, 제 1 시선 유지 기간은 상기 제 2 시선 유지 기간보다 긴 기간일 수 있다.
도 3의 우측 하단에 도시된 바와 같이, HMD는 제 2 모드에서 증강현실 이미지(10) 및 외부 디바이스(200)의 정렬을 디텍트할 수 있다. 보다 상세하게, HMD는 제 2 모드에서 외부 디바이스(200)의 위치 변화를 디텍트하고, 외부 디바이스(200)의 위치 변화에 따른 증강현실 이미지(10) 및 외부 디바이스(200)의 정렬을 디텍트할 수 있다. 이때, HMD는 카메라 유닛에 의해 캡쳐링된 이미지로부터 외부 디바이스(200)의 위치 변화를 디텍트할 수 있다.
증강현실 이미지(10) 및 외부 디바이스(200)의 정렬은 기 설정된 조건을 만족하는 실질적인 정렬일 수 있다. 예를 들면, HMD는 증강현실 이미지(10)가 디스플레이된 영역의 90% 정도가 외부 디바이스(200)의 영역과 오버랩되면, 증강현실 이미지(10) 및 외부 디바이스(200)의 정렬을 디텍트할 수 있다.
또한, HMD는 제 2 모드에서 증강현실 이미지(10) 및 외부 디바이스(200)가 정렬되면, 증강현실 이미지(10)에 대응하는 펑션을 실행할 수 있다. 여기서, 증강현실 이미지(10)에 대응하는 펑션은 HMD 또는 외부 디바이스에 연관된 다양한 기능을 의미할 수 있다. 예를 들면, 증강현실 이미지(10)가 HMD의 메시지 전송 기능에 대응하는 이미지인 경우, HMD는 제 2 모드에서 증강현실 이미지(10) 및 외부 디바이스(200)가 정렬되면 HMD의 메시지 전송 기능을 실행할 수 있다.
또한, HMD는 제 2 모드에서 증강현실 이미지(10), 외부 디바이스(200) 및 증강현실 이미지에 대한 사용자의 시선(20)이 정렬되면, 증강현실 이미지(10)에 대응하는 펑션을 실행할 수 있다. 즉, HMD는 사용자의 시선(20)이 더 정렬되는 경우에 증강현실 이미지(10)에 대응하는 펑션을 실행할 수 있다.
또한, HMD는 제 2 모드에서 기 설정된 시간 동안, 증강현실 이미지(10) 및 외부 디바이스(200)가 정렬되면, 증강현실 이미지(10)에 대응하는 펑션을 실행할 수 있다. 이를 통해, HMD가 사용자의 의도와 관계없이 증강현실 이미지(10)에 대응하는 펑션을 실행하는 오류를 막을 수 있다.
도 3의 좌측 하단에 도시된 바와 같이, HMD는 증강현실 이미지(10)에 대응하는 펑션이 실행되면, 펑션의 실행화면을 제공하는 실행 증강현실 이미지(30)를 디스플레이할 수 있다. 예를 들면, 증강현실 이미지(10)가 HMD의 메시지 전송 기능에 대응하는 이미지인 경우, HMD는 메시지 전송 화면을 제공하는 실행 증강현실 이미지(10)를 디스플레이할 수 있다. 이때, 실행 증강현실 이미지(30)의 디스플레이 위치는 증강현실 이미지(10)의 디스플레이 위치에 의존할 수 있다. 즉, HMD는 증강현실 이미지(10)의 디스플레이 위치가 변경되면, 변경된 증강현실 이미지(10)의 위치에 기초하여 실행 증강현실 이미지(30)의 디스플레이 위치를 변경할 수 있다.
도 4a 및 도 4b는 본 명세서의 다른 실시예에 따른 HMD가 증강현실 이미지 및 외부 디바이스의 정렬에 따라 증강현실 이미지에 대응하는 펑션을 실행하는 방법을 나타낸다.
보다 상세하게, 도 4a 및 도 4b는 증강현실 이미지(10) 및 외부 디바이스(200)에 디스플레이된 컨텐츠 이미지가 정렬되면, HMD가 증강현실 이미지(10)에 대응하는 펑션을 실행하는 방법을 나타낸다.
도 4a 및 도 4b의 좌측 상단에 도시된 바와 같이, HMD는 증강현실 이미지(10)를 제 1 모드로 디스플레이할 수 있다. 예를 들면, 도 4a에 도시된 바와 같이, 외부 디바이스(200)가 디텍트되면, HMD는 증강현실 이미지(10)를 외부 디바이스(200)의 상단 주변에 제 1 모드로 디스플레이할 수 있다. 여기서, 증강현실 이미지(10)는, 도 4b에 도시된 바와 같이, 선택(select) 펑션에 대응되는 증강현실 이미지일 수 있다.
이때, 외부 디바이스(200)는 적어도 하나의 컨텐츠 이미지를 디스플레이할 수 있다. 예를 들면, 도 4a에 도시된 바와 같이, 외부 디바이스(200)는 제 1 컨텐츠 이미지(210) 및 제 2 컨텐츠 이미지(220)를 디스플레이할 수 있다. 여기서, 컨텐츠 이미지는 비디오 컨텐츠 이미지, 사진 컨텐츠 이미지 및 오디오 컨텐츠 이미지를 포함할 수 있다. 예를 들면, 도 4b에 도시된 바와 같이, 제 1 컨텐츠 이미지(210)는 비디오 컨텐츠 이미지이고, 제 2 컨텐츠 이미지(220)는 사진 컨텐츠 이미지일 수 있다. 다만, 컨텐츠 이미지는 상술한 실시예에 제한되지 않는다.
도 4a 및 도 4b의 우측 상단에 도시된 바와 같이, HMD는 제 1 모드에서 증강현실 이미지(10)에 대한 사용자의 시선(20)이 디텍트되면, 제 1 모드를 제 2 모드로 변경할 수 있다. 즉, 이는 도 3의 우측 상단에서 상술한 내용과 동일하므로 상세한 설명을 생략한다.
도 4a 및 도 4b의 우측 하단에 도시된 바와 같이, HMD는 제 2 모드에서 증강현실 이미지(10)와, 외부 디바이스(200)에 디스플레이된 적어도 하나의 컨텐츠 이미지 중 어느 하나와의 정렬을 디텍트할 수 있다. 예를 들면, 도시된 바와 같이, 외부 디바이스(200)에 제 1 컨텐츠 이미지(210) 및 제 2 컨텐츠 이미지(220)가 디스플레이된 경우, HMD는 증강현실 이미지(10)와 제 1 컨텐츠 이미지(210) 및 제 2 컨텐츠 이미지(220) 중 어느 하나와의 정렬을 디텍트할 수 있다.
이때, 증강현실 이미지(10) 및 외부 디바이스(200)에 디스플레이된 컨텐츠 이미지(이하 컨텐츠 이미지)의 정렬은 기 설정된 조건을 만족하는 실질적인 정렬일 수 있다. 예를 들면, 증강현실 이미지(10)가 디스플레이된 영역과 컨텐츠 이미지가 디스플레이된 영역이 90% 오버랩되는 경우, HMD는 증강현실 이미지(10) 및 컨텐츠 이미지의 정렬을 디텍트할 수 있다.
증강현실 이미지(10)와 컨텐츠 이미지의 정렬이 디텍트되는 경우, HMD는 증강현실 이미지(10)에 대응하는 펑션을 실행할 수 있다. 예를 들면, 도 4a에 도시된 바와 같이, 증강현실 이미지(10)와 제 1 컨텐츠 이미지(210)의 정렬이 디텍트되면, HMD는 증강현실 이미지(10)에 대응하는 펑션을 실행할 수 있다. 즉, 도 4b에 도시된 바와 같이, 증강현실 이미지(10)와 제 1 컨텐츠 이미지(210)의 정렬이 디텍트되면, HMD는 증강현실 이미지(10)에 대응하는 선택 펑션을 실행할 수 있다.
도 4a 및 도 4b의 좌측 하단에 도시된 바와 같이, HMD는 증강현실 이미지(10)에 대응하는 펑션이 실행되면 펑션의 실행화면을 제공하는 실행 증강현실 이미지(30)를 디스플레이할 수 있다. 이때, HMD는 정렬된 컨텐츠 이미지에 연관된, 펑션의 실행화면을 제공하는 실행 증강현실 이미지(30)를 디스플레이할 수 있다. 예를 들면, 도 4b에 도시된 바와 같이, 증강현실 이미지(10)가 선택 펑션에 대응되는 이미지이고, 제 1 컨텐츠 이미지(210)가 비디오 컨텐츠 이미지인 경우, HMD는 비디오 컨텐츠를 선택하여 재생하는 실행화면을 제공하는 실행 증강현실 이미지(30)를 디스플레이할 수 있다. 다른 예를 들면, 증강현실 이미지(10)가 HMD의 메시지 전송 기능에 대응되는 이미지이고, 제 1 컨텐츠 이미지(210)가 사진 컨텐츠 이미지인 경우, HMD는 사진 컨텐츠 이미지가 첨부된 메시지 전송 화면을 제공하는 실행 증강현실 이미지(30)를 디스플레이할 수 있다. 이때, 실행 증강현실 이미지(30)의 디스플레이 위치는 증강현실 이미지(10)의 디스플레이 위치에 의존할 수 있다. 즉, 외부 디바이스(200)의 위치가 변경되는 경우에도 실행 증강현실 이미지(30)의 디스플레이 위치는 변경되지 않을 수 있다.
도 5는 본 명세서의 일 실시예에 따른 HMD가 증강현실 이미지에 대응하는 펑션의 실행화면을 제공하는 방법을 나타낸다.
보다 상세하게, 도 5는 HMD가 증강현실 이미지(10)에 대응하는 펑션의 실행화면을 설정에 따라 실행 증강현실 이미지(30)로 제공하거나, 또는 외부 디바이스(200)에 디스플레이된 실행 이미지(40)로 제공하는 방법을 나타낸다.
도 5의 좌측에 도시된 바와 같이, HMD는 제 2 모드에서 증강현실 이미지(10) 및 외부 디바이스(200)의 정렬이 디텍트되면, 증강현실 이미지(10)에 대응하는 펑션을 실행할 수 있다. 이는 도 3의 우측 하단에서 상술한 내용과 동일하므로 상세한 설명은 생략하도록 한다.
도 5의 우측 상단에 도시된 바와 같이, HMD는 증강현실 이미지(10)에 대응하는 펑션이 실행되면 펑션의 실행화면을 제공하는 실행 증강현실 이미지(30)를 디스플레이할 수 있다. 이는 도 3의 우측 좌측 하단에서 상술한 내용과 동일하므로 상세한 설명은 생략하도록 한다.
도 5의 우측 상단에 도시된 바와 같이, HMD는 증강현실 이미지(10)에 대응하는 펑션이 실행되면 외부 디바이스(200)가 디스플레이 유닛 상에 펑션의 실행 이미지(40)을 디스플레이하도록 할 수 있다.
보다 상세히 설명하면, 증강현실 이미지(10)에 대응하는 펑션이 실행되는 경우, HMD는 커뮤티케이션 유닛을 이용하여 외부 디바이스(200)가 펑션의 실행 이미지(40)을 디스플레이하도록 하는 제어 정보를 외부 디바이스(200)로 송신할 수 있다. 그리고, 외부 디바이스(200)는 제어 정보를 이용하여 증강현실 이미지(10)에 대응하는 펑션의 실행 이미지(40)을 외부 디바이스(200)의 디스플레이 유닛 상에 디스플레이할 수 있다.
또한, HMD는 외부 디바이스(200)에 실행 이미지(40)가 디스플레이되면 증강현실 이미지의 디스플레이를 종료할 수 있다.
도 6은 본 명세서의 일 실시예에 따른 HMD가 증강현실 이미지에 대응하는 펑션의 실행 종료에 따라 증강현실 이미지를 디스플레이하는 방법을 나타낸다.
보다 상세하게, 도 6의 상단의 두 도면은 실행 증강현실 이미지(30)가 디스플레이된 경우에 HMD가 펑션의 실행 종료에 따라 증강현실 이미지(10)를 디스플레이하는 방법을 나타내고, 도 6의 상단의 두 도면은 외부 디바이스(200)에 실행 이미지(40)가 디스플레이된 경우에 HMD가 펑션의 실행 종료에 따라 증강현실 이미지(10)를 디스플레이하는 방법을 나타낸다.
도 6의 왼쪽 상단에 도시된 바와 같이, 실행 증강현실 이미지(30)가 디스플레이된 경우, HMD는 증강현실 이미지(10)에 대응하는 펑션의 실행이 종료되면 실행 증강현실 이미지(10)의 디스플레이를 종료할 수 있다.
도 6의 오른쪽 상단에 도시된 바와 같이, 실행 증강현실 이미지(30)의 디스플레이가 종료되면, HMD는 제 2 모드를 제 1 모드로 재변경할 수 있다.
도 6의 왼쪽 하단에 도시된 바와 같이, 외부 디바이스(200)에 실행 이미지(40)가 디스플레이된 경우, HMD는 증강현실 이미지(10)에 대응하는 펑션의 실행이 종료되면 외부 디바이스(200)에 디스플레이된 실행 이미지(40)의 디스플레이를 종료할 수 있다. 보다 상세하게, 펑션의 실행이 종료되는 경우, HMD는 커뮤티케이션 유닛을 이용하여 외부 디바이스(200)가 디스플레이된 실행 이미지(40)의 디스플레이를 종료하도록 하는 제어 정보를 외부 디바이스(200)로 송신할 수 있다. 그리고, 외부 디바이스(200)는 제어 정보를 이용하여 실행 이미지(40)의 디스플레이를 종료할 수 있다.
도 6의 왼쪽 하단에 도시된 바와 같이, 외부 디바이스의 실행 이미지(40)의 디스플레이가 종료되면, HMD는 증강현실 이미지(10)를 제 1 모드로 다시 디스플레이할 수 있다.
도 7은 본 명세서의 일 실시예에 따른 HMD가 시선 유지 영역을 디스플레이하는 방법을 나타낸다.
도 7의 왼쪽 상단에 도시된 바와 같이, HMD는 제 1 모드에서 증강현실 이미지(10)의 제 1 시선 영역에 대한 사용자의 시선(20)이 디텍트되면, 제 1 모드를 제 2 모드로 변경할 수 있다. 여기서, 제 1 시선 영역은 증강현실 이미지(10)가 디스플레이된 영역과 동일할 수 있다. 이는 도 3의 우측 상단에서 상술한 내용과 동일하므로 자세한 설명은 생략한다.
도 7의 오른쪽 상단에 도시된 바와 같이, HMD는 제 2 모드로 변경되면 증강현실 이미지(10)의 제 2 시선 영역(50)을 디스플레이할 수 있다. 여기서, 제 2 시선 영역(50)은 제 2 모드가 유지되는 시선 유지 영역을 의미할 수 있다.
즉, 도 7의 오른쪽 하단에 도시된 바와 같이, 제 2 모드에서 제 2 시선 영역(50)에 대한 사용자의 시선(20)이 디텍트되면, HMD는 제 2 모드를 유지할 수 있다. 여기서, 제 2 시선 영역(50)은 제 1 시선 영역보다 넓은 영역일 수 있다. 예를 들면, 제 2 시선 영역(50)은 제 1 시선 영역을 포함하는 영역일 수 있다.
이와 달리, 도 7의 왼쪽 하단에 도시된 바와 같이, 제 2 모드에서 제 2 시선 영역(50)의 외부 영역에 대한 사용자의 시선(20)이 디텍트되면, HMD는 제 2 모드를 상기 제 1 모드로 재변경할 수 있다. 또한, HMD는 제 2 모드가 제 1 모드로 재변경되면, 증강현실 이미지(10)의 제 2 시선 영역(50)의 디스플레이를 종료할 수 있다.
도 8은 본 명세서의 일 실시예에 따른 HMD의 구성도를 나타낸다. 본 구성도에서는 도 1 내지 도 7에서 상술한 HMD(800)에 대한 설명과 유사하거나 중복되는 부분에 대한 상세한 설명은 생략하기로 한다.
또한, 이하에서 설명할 프로세서(850)의 동작들은 각 도면들을 참조하여 상술한 HMD(800)의 동작에 대한 설명들에 대응된다. 즉, 본 명세서에서는 프로세서(850)와 HMD를 동일시하여 설명할 수 있다.
도 8을 참조하면, HMD(800)는 카메라 유닛(810), 디스플레이 유닛(820), 시선 디텍트 유닛(830), 커뮤니케이션 유닛(840) 및 프로세서(850)를 포함한다. 여기서, 커뮤니케이션 유닛(840)은 옵셔널한 구성일 수 있다.
카메라 유닛(810)는 화각 영역 내의 이미지를 캡쳐링할 수 있다. 본 명세서에서 카메라 유닛(810)은 외부 디바이스를 디텍트할 수 있다. 보다 상세하게, 카메라 유닛(810)은 HMD(800)의 전면 방향의 이미지를 캡쳐링하고, 캡쳐링된 이미지를 프로세서(850)에 전달할 수 있다. 이때, 캡쳐링된 이미지는 외부 디바이스의 이미지를 포함할 수 있다. 그리고, 프로세서(850)는 캡쳐링된 이미지로부터 외부 디바이스를 디텍트할 수 있다.
디스플레이 유닛(820)은 이미지를 디스플레이할 수 있다. 본 명세서에서 디스플레이 유닛(820)은 증강현실 이미지를 디스플레이할 수 있다. 본 명세서에서 증강현실 이미지는 외부 디바이스에 연관되거나, 또는 HMD(800)에 연관된 가상의 이미지일 수 있다.
시선 디텍트 유닛(830)은 사용자의 시선을 디텍팅할 수 있다. 보다 상세하게, 시선 디텍트 유닛(830)은 사용자의 시선을 디텍팅하고, 디텍팅된 결과를 프로세서(850)에 전달할 수 있다. 또한, 시선 디텍트 유닛(830)은 사용자의 시선 변화를 디텍팅할 수 있다. 이때, 시선 디텍트 유닛(830)은 HMD(800)의 후면에 구비되고 시선 이미지를 캡쳐링하는 후면 카메라 유닛(810)일 수 있다. 다만, 이는 시선 디텍트 유닛(830)의 일 실시예일뿐, 본 명세서의 HMD(800)는 실시예에 제한되지 않는다.
커뮤니케이션 유닛(840)은 외부 디바이스와의 데이터의 송/수신을 수행할 수 있다. 본 명세서에서 커뮤니케이션 유닛(840)은 HMD(800)와 외부 디바이스간에 페어링을 수행할 수 있다. 여기서, 페어링이란 HMD(800)와 외부 디바이스를 유/무선으로 연결하는 것을 의미할 수 있다. 이때, HMD(800)와 외부 디바이스가 유/무선으로 연결되는 방식은 제한되지 않는다.
또한, 본 명세서에서 커뮤니케이션 유닛(840)은 외부 디바이스에서 실행 이미지를 디스플레이하거나, 실행 이미지의 디스플레이를 종료하기 위한 제어 정보를 외부 디바이스로 송신할 수 있다.
프로세서(850)는 HMD(800)에 구비된 적어도 하나의 유닛을 제어할 수 있다. 보다 상세하게는, 프로세서(850)는 상술한 각 유닛들을 제어하며, 각 유닛들간의 데이터 송신 및/또는 수신을 제어할 수 있다.
본 명세서에서 프로세서(850)는, 도 1에 설명된 바와 같이, 외부 디바이스를 디텍트할 수 있다. 프로세서(850)는 카메라 유닛(810)을 이용하여 외부 디바이스를 디텍트할 수 있다. 또한, 프로세서(850)는 카메라 유닛(810)을 이용하여 외부 디바이스의 위치 변화을 디텍트할 수 있다. 보다 상세하게, 프로세서(850)는 카메라 유닛(810)에 의해 캡쳐링된 이미지로부터 외부 디바이스 및 외부 디바이스의 위치 변화를 디텍트할 수 있다.
또한, 프로세서(850)는, 도 2에 설명된 바와 같이, 증강현실 이미지를 제 1 모드 또는 제 2 모드로 디스플레이할 수 있다. 여기서, 제 1 모드는 증강현실 이미지의 디스플레이 위치가 외부 디바이스의 위치에 의존하는 모드일 수 있다. 즉, 제 1 모드는 외부 디바이스의 위치가 변경되면 변경된 외부 디바이스의 위치에 기초하여 증강현실 이미지가 디스플레이된 위치를 변경하는 모드를 의미할 수 있다. 여기서, 제 2 모드는 외부 디바이스의 위치가 변경되는 경우에도 증강현실 이미지가 디스플레이된 위치를 고정하는 모드를 의미할 수 있다. 이때, 제 2 모드에서 프로세서(850)는 증강현실 이미지를 HMD(800)의 디스플레이 영역 상에 고정시킬 수 있다. 또한, 제 2 모드에서 프로세서(850)는 증강현실 이미지를 HMD(800) 주변의 공간 상에 고정시킬 수 있다.
또한, 프로세서(850)는, 도 3의 우측 상단에 설명된 바와 같이, 제 1 모드에서 증강현실 이미지에 대한 사용자의 시선이 디텍트되면, 제 1 모드를 제 2 모드로 변경할 수 있다. 보다 상세하게, 프로세서(850)는 제 1 모드에서 증강현실 이미지의 제 1 시선 영역에 대한 사용자의 제 1 시선이 디텍트되면, 제 1 모드를 제 2 모드로 변경할 수 있다. 여기서, 제 1 시선 영역은 증강현실 이미지가 디스플레이된 영역과 동일한 영역일 수 있다. 또한, 제 1 시선 영역은 증강현실 이미지가 디스플레이된 영역보다 더 큰 영역일 수 있다.
또한, 프로세서(850)는, 도 3의 우측 하단에 설명된 바와 같이, 제 2 모드에서 증강현실 이미지 및 외부 디바이스의 정렬을 디텍트할 수 있다. 보다 상세하게, 프로세서(850)는 제 2 모드에서 외부 디바이스의 위치 변화를 디텍트하고, 외부 디바이스의 위치 변화에 따른 증강현실 이미지 및 외부 디바이스의 정렬을 디텍트할 수 있다.
또한, 프로세서(850)는, 도 4a 및 도 4b의 우측 하단에 설명된 바와 같이, 제 2 모드에서 증강현실 이미지와, 외부 디바이스에 디스플레이된 적어도 하나의 컨텐츠 이미지 중 어느 하나와의 정렬을 디텍트할 수 있다.
또한, 프로세서(850)는, 도 5의 좌측에 설명된 바와 같이, 제 2 모드에서 증강현실 이미지 및 외부 디바이스의 정렬이 디텍트되거나, 또는 증강현실 이미지 및 외부 컨텐츠 이미지의 정렬이 디텍트되면, 증강현실 이미지에 대응하는 펑션을 실행할 수 있다. 또한, 프로세서(850)는, 도 5의 우측 상단에 설명된 바와 같이, 증강현실 이미지에 대응하는 펑션이 실행되면 펑션의 실행화면을 제공하는 실행 증강현실 이미지를 디스플레이할 수 있다. 또한, 프로세서(850)는, 도 5의 우측 하단에 설명된 바와 같이, 증강현실 이미지에 대응하는 펑션이 실행되면 외부 디바이스가 디스플레이 유닛(820) 상에 펑션의 실행 이미지을 디스플레이하도록 할 수 있다.
또한, 프로세서(850)는, 도 6에 설명된 바와 같이, 증강현실 이미지에 대응하는 펑션의 실행이 종료되면 실행 증강현실 이미지 또는 실행 이미지의 디스플레이를 종료할 수 있다.
도 9는 본 명세서의 일 실시예에 따른 HMD의 제어방법에 대한 순서도를 나타낸다. 본 순서도에서는 도 1 내지 도 8에서 상술한 설명과 유사하거나 중복되는 부분에 대한 상세한 설명은 생략하기로 한다.
도 9를 참조하면, HMD는 증강현실 이미지를 제 1 모드로 디스플레이할 수 있다. 여기서, 제 1 모드는 증강현실 이미지의 디스플레이 위치가 외부 디바이스의 위치에 의존하는 모드를 의미할 수 있다. 즉, 제 1 모드는 외부 디바이스의 위치가 변경되면 변경된 외부 디바이스의 위치에 기초하여 증강현실 이미지가 디스플레이된 위치를 변경하는 모드일 수 있다. 이를 통해, HMD는 외부 디바이스에 묶여 외부 디바이스와 함께 이동하는 증강현실 이미지를 사용자에게 제공할 수 있다.
일 실시예에 따르면, HMD는 외부 디바이스가 디텍트되면 증강현실 이미지를 제 1 모드로 디스플레이할 수 있다(S910). 다른 실시예에 따르면, HMD는 외부 디바이스에 대한 사용자의 시선이 디텍트되면, 증강현실 이미지를 제 1 모드로 디스플레이할 수 있다.
다음으로, HMD는 제 1 모드에서 증강현실 이미지에 대한 사용자의 시선이 디텍트되는지 여부를 결정할 수 있다(S920). 일 실시예에 따르면, HMD는 제 1 모드에서 증강현실 이미지의 제 1 시선 영역에 대한 사용자의 제 1 시선이 디텍트되는지 여부를 결정할 수 있다. 여기서, 제 1 시선 영역은 증강현실 이미지가 디스플레이된 영역과 동일한 영역일 수 있다. 또한, 제 1 시선 영역은 증강현실 이미지가 디스플레이된 영역보다 더 큰 영역일 수 있다. 예를 들면, 제 1 시선 영역은 증강현실 이미지가 디스플레이된 영역을 포함하는 영역일 수 있다.
다음으로, HMD는 제 1 모드에서 증강현실 이미지에 대한 사용자의 시선이 디텍트되면, 제 1 모드를 제 2 모드로 변경할 수 있다(S930). 보다 상세하게, HMD는 제 1 모드에서 증강현실 이미지의 제 1 시선 영역에 대한 사용자의 제 1 시선이 디텍트되면, 제 1 모드를 제 2 모드로 변경할 수 있다. 여기서, 제 1 시선 영역은 증강현실 이미지가 디스플레이된 영역과 동일한 영역일 수 있다. 또한, 제 1 시선 영역은 증강현실 이미지가 디스플레이된 영역보다 더 큰 영역일 수 있다.
여기서, 제 2 모드는 외부 디바이스의 위치가 변경되는 경우에도 증강현실 이미지가 디스플레이된 위치를 고정하는 모드를 의미할 수 있다. 이를 통해, HMD는 외부 디바이스에 묶이지 않는 증강현실 이미지를 사용자에게 제공할 수 있다.
또한, HMD는 제 1 모드에서 증강현실 이미지의 제 1 시선 영역에 대한 사용자의 제 1 시선이 디텍트되면, 제 1 시선의 디텍트가 유지되는 제 1 시선 유지 기간을 획득할 수 있다. 제 1 시선 유지 기간이 제 1 기간 이상이면, HMD는 제 1 모드를 제 2 모드로 변경할 수 있다. 제 1 시선 유지 기간이 제 1 기간 미만이면, HMD는 제 1 모드를 유지할 수 있다. 이를 통해, HMD는 사용자의 시선이 증강현실 이미지를 잠깐 스치고 지나간 경우에는 모드를 변경하지 않을 수 있다.
또한, HMD는 제 2 모드에서 제 1 시선 영역의 외부 영역에 대한 사용자의 제 2 시선이 디텍트되면, 제 2 시선의 디텍트가 유지되는 제 2 시선 유지 기간을 획득할 수 있다. 제 2 시선 유지 기간이 제 2 기간 이상이면, HMD는 제 2 모드를 제 1 모드로 재변경할 수 있다. 제 2 시선 유지 기간이 제 2 기간 미만이면, HMD는 제 2 모드를 유지할 수 있다. 이를 통해, HMD는 사용자의 시선이 증강현실 이미지로부터 벗어나면 외부 디바이스에 엮인 증강현실 이미지를 다시 제공할 수 있다.
이때, 제 1 시선 유지 기간과 상기 제 2 시선 유지 기간은 서로 다른 기간일 수 있다. 또한, 제 1 시선 유지 기간은 상기 제 2 시선 유지 기간보다 긴 기간일 수 있다.
다음으로, HMD는 제 2 모드에서 증강현실 이미지 및 외부 디바이스의 정렬을 디텍트할 수 있다(S940). 보다 상세하게, HMD는 제 2 모드에서 외부 디바이스의 위치 변화를 디텍트하고, 외부 디바이스의 위치 변화에 따른 증강현실 이미지 및 외부 디바이스의 정렬을 디텍트할 수 있다. 이때, HMD는 카메라 유닛에 의해 캡쳐링된 이미지로부터 외부 디바이스의 위치 변화를 디텍트할 수 있다. 증강현실 이미지 및 외부 디바이스의 정렬은 기 설정된 조건하에서의 실질적인 정렬일 수 있다. 예를 들면, HMD는 증강현실 이미지가 디스플레이된 영역의 90% 정도가 외부 디바이스의 영역과 오버랩되면, 증강현실 이미지 및 외부 디바이스의 정렬을 디텍트할 수 있다. 이는 도 3에서 상술한 내용과 동일하다.
또한, 외부 디바이가 적어도 하나의 컨텐츠 이미지를 디스플레이하는 경우, HMD는 제 2 모드에서 증강현실 이미지와, 외부 디바이스에 디스플레이된 적어도 하나의 컨텐츠 이미지 중 어느 하나와의 정렬을 디텍트할 수 있다. 이때, 증강현실 이미지 및 외부 디바이스에 디스플레이된 컨텐츠 이미지(이하 컨텐츠의 정렬은 기 설정된 조건을 만족하는 실질적인 정렬일 수 있다. 예를 들면, 증강현실 이미지가 디스플레이된 영역과 컨텐츠 이미지가 디스플레이된 영역이 90% 오버랩되는 경우, HMD는 증강현실 이미지 및 컨텐츠 이미지의 정렬을 디텍트할 수 있다. 이는 도 4a 및 도 4b에 상술한 내용과 동일하다.
다음으로, 제 2 모드에서 증강현실 이미지 및 외부 디바이스가 정렬되면, 증강현실 이미지에 대응하는 펑션을 실행할 수 있다(S950). 또한, HMD는 증강현실 이미지에 대응하는 펑션이 실행되면 펑션의 실행화면을 제공하는 실행 증강현실 이미지를 디스플레이할 수 있다. 이때, 실행 증강현실 이미지의 디스플레이 위치는 증강현실 이미지의 디스플레이 위치에 의존할 수 있다. 이는 도 3에서 상술한 내용과 동일하다.
또한, 외부 디바이가 적어도 하나의 컨텐츠 이미지를 디스플레이하는 경우, HMD는 제 2 모드에서 증강현실 이미지 및 컨텐츠 이미지가 정렬되면, 증강현실 이미지에 대응하는 펑션을 실행할 수 있다. 이는 도 4a 및 도 4b에 상술한 내용과 동일하다.
또한, 이상에서는 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 명세서는 상술한 특정의 실시예에 한정되지 아니하며, 청구 범위에서 청구하는 요지를 벗어남이 없이 당해 명세서가 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 명세서의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
또한, 본 명세서의 HMD 및 그 제어 방법은 네트워크 디바이스에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, 자기 테이프, 플로피디스크, 광 데이터 저장 장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
또한, 본 명세서에서의 각도, 거리 및 방향은 정확한 값을 의미할 뿐 아니라, 일정 범위의 실질적인 각도, 거리 및 방향을 포함하는 것으로 볼 수 있다. 즉, 본 명세서의 각도, 거리 및 방향은 실질적인 각도, 거리 및 방향을 나타낼 수 있고, 일정 범위의 오차가 존재할 수 있다.
또한, 본 명세서에서는 물건 발명과 방법 발명이 모두 설명되고 있으며, 필요에 따라 양 발명의 설명은 보충적으로 적용될 수 있다.
10: 증강현실 이미지 100: HMD
110: 카메라 유닛 200: 외부 디바이스

Claims (20)

  1. HMD(head mounted display) 에 있어서,
    외부 디바이스를 디텍트하는 카메라 유닛;
    증강현실 이미지를 디스플레이하는 디스플레이 유닛;
    사용자의 시선을 디텍트하는 시선 디텍트 유닛; 및
    상기 카메라 유닛, 상기 디스플레이 유닛 및 상기 시선 디텍트 유닛을 제어하는 프로세서를 포함하며,
    상기 프로세서는,
    상기 외부 디바이스를 디텍트하고,
    상기 증강현실 이미지를 제 1 모드로 디스플레이하되, 상기 제 1 모드는 상기 증강현실 이미지의 디스플레이 위치가 상기 외부 디바이스의 위치에 의존하는 모드임,
    상기 제 1 모드에서 상기 증강현실 이미지에 대한 상기 사용자의 시선이 디텍트되면, 상기 제 1 모드를 제 2 모드로 변경하되, 상기 제 2 모드는 상기 외부 디바이스의 위치가 변경되는 경우에도 상기 증강현실 이미지가 디스플레이된 위치를 고정하는 모드임,
    상기 제 2 모드에서 상기 증강현실 이미지 및 상기 외부 디바이스가 정렬되면, 상기 증강현실 이미지에 대응하는 펑션을 실행하는, HMD.
  2. 제 1 항에 있어서,
    상기 외부 디바이스는 적어도 하나의 컨텐츠 이미지를 디스플레이하고,
    상기 프로세서는,
    상기 제 2 모드에서 상기 증강현실 이미지 및 상기 외부 디바이스에 디스플레이된 적어도 하나의 컨텐츠 이미지 중 어느 하나가 정렬되면, 상기 증강현실 이미지에 대응하는 펑션을 실행하는, HMD.
  3. 제 1 항에 있어서,
    상기 프로세서는,
    상기 증강현실 이미지에 대응하는 펑션이 실행되는 경우, 상기 펑션의 실행화면을 제공하는 실행 증강현실 이미지를 디스플레이하는, HMD.
  4. 제 2 항에 있어서,
    상기 프로세서는,
    상기 증강현실 이미지에 대응하는 펑션이 실행되는 경우, 상기 정렬된 컨텐츠 이미지에 연관된 상기 펑션의 실행화면을 제공하는 상기 실행 증강현실 이미지를 디스플레이하는, HMD.
  5. 제 3 항에 있어서,
    상기 실행 증강현실 이미지의 디스플레이 위치는 상기 증강현실 이미지의 디스플레이 위치에 의존하는, HMD.
  6. 제 1 항에 있어서,
    상기 프로세서는,
    상기 제 2 모드에서 상기 증강현실 이미지, 상기 외부 디바이스, 및 상기 증강현실 이미지에 대한 상기 사용자의 시선이 정렬되면, 상기 증강현실 이미지의 펑션을 실행하는, HMD.
  7. 제 1 항에 있어서,
    상기 프로세서는,
    기 설정된 기간 동안, 상기 제 2 모드에서 상기 증강현실 이미지 및 상기 외부 디바이스가 정렬되면, 상기 증강현실 이미지의 펑션을 실행하는, HMD.
  8. 제 1 항에 있어서,
    상기 외부 디바이스와의 데이터의 송/수신을 수행하는 커뮤니케이션 유닛을 더 포함하고,
    상기 프로세서는,
    상기 증강현실 이미지에 대응하는 펑션이 실행되는 경우, 상기 외부 디바이스가 디스플레이 유닛 상에 상기 펑션의 실행화면을 디스플레이하도록 하는 제어 정보를, 상기 커뮤니케이션 유닛을 이용하여 상기 외부 디바이스로 송신하는, HMD.
  9. 제 1 항에 있어서,
    상기 프로세서는,
    상기 펑션의 실행이 종료되면, 상기 제 1 모드로 재변경하는, HMD.
  10. 제 1 항에 있어서,
    상기 프로세서는,
    상기 외부 디바이스에 대한 상기 사용자의 시선이 디텍트될 때, 상기 증강현실 이미지를 상기 제 1 모드로 디스플레이하는, HMD.
  11. 제 1 항에 있어서,
    상기 프로세서는,
    상기 제 1 모드에서 상기 증강현실 이미지의 제 1 시선 영역에 대한 상기 사용자의 제 1 시선이 디텍트되면, 상기 제 1 시선의 디텍트가 유지되는 제 1 시선 유지 기간을 획득하고,
    상기 제 1 시선 유지 기간이 제 1 기간 이상이면, 상기 제 1 모드를 상기 제 2 모드로 변경하고,
    상기 제 1 시선 유지 기간이 상기 제 1 기간 미만이면, 상기 제 1 모드를 유지하는, HMD.
  12. 제 11 항에 있어서,
    상기 증강현실 이미지의 상기 제 1 시선 영역은 상기 증강현실 이미지가 디스플레이된 영역보다 큰, HMD.
  13. 제 11 항에 있어서,
    상기 프로세서는,
    상기 제 2 모드에서 상기 제 1 시선 영역의 외부 영역에 대한 상기 사용자의 제 2 시선이 디텍트되면, 상기 제 2 시선의 디텍트가 유지되는 제 2 시선 유지 기간을 획득하고,
    상기 제 2 시선 유지 기간이 제 2 기간 이상이면, 상기 제 2 모드를 상기 제 1 모드로 재변경하고,
    상기 제 2 시선 유지 기간이 상기 제 2 기간 미만이면, 상기 제 2 모드를 유지하는, HMD.
  14. 제 13 항에 있어서,
    상기 제 1 시선 유지 기간과 상기 제 2 시선 유지 기간은 서로 다른, HMD.
  15. 제 13 항에 있어서,
    상기 제 1 시선 유지 기간은 상기 제 2 시선 유지 기간보다 긴, HMD.
  16. 제 11 항에 있어서,
    상기 프로세서는,
    상기 제 2 모드로 변경되는 경우, 상기 증강현실 이미지의 제 2 시선 영역을 디스플레이하는, HMD.
  17. 제 16 항에 있어서,
    상기 제 2 시선 영역은 상기 제 1 시선 영역보다 넓은, HMD.
  18. 제 16 항에 있어서,
    상기 프로세서는,
    상기 제 2 모드에서 상기 제 2 시선 영역에 대한 상기 사용자의 시선이 디텍트되면, 상기 제 2 모드를 유지하고,
    상기 제 2 모드에서 상기 제 2 시선 영역의 외부 영역에 대한 상기 사용자의 시선이 디텍트되면, 상기 제 2 모드를 상기 제 1 모드로 재변경하는, HMD.
  19. 제 16 항에 있어서,
    상기 프로세서는,
    상기 제 2 모드가 상기 제 1 모드로 재변경되는 경우, 상기 제 2 시선 영역의 디스플레이를 종료하는, HMD.
  20. HMD(head mounted display)의 제어 방법에 있어서,
    외부 디바이스를 디텍트하는 단계;
    상기 증강현실 이미지를 제 1 모드로 디스플레이하는 단계; 상기 제 1 모드는 상기 증강현실 이미지의 디스플레이 위치가 상기 외부 디바이스의 위치에 의존하는 모드임,
    상기 제 1 모드에서 상기 증강현실 이미지에 대한 상기 사용자의 시선이 디텍트되면, 상기 제 1 모드를 제 2 모드로 변경하는 단계; 상기 제 2 모드는 상기 외부 디바이스의 위치가 변경되는 경우에도 상기 증강현실 이미지가 디스플레이된 위치를 고정하는 모드임, 및
    상기 제 2 모드에서 상기 증강현실 이미지 및 상기 외부 디바이스가 정렬되면, 상기 증강현실 이미지의 펑션을 실행하는 단계를 포함하는, HMD의 제어 방법.
KR1020140019522A 2014-02-20 2014-02-20 Hmd 및 그 제어 방법 KR102182161B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020140019522A KR102182161B1 (ko) 2014-02-20 2014-02-20 Hmd 및 그 제어 방법
US14/254,497 US9239618B2 (en) 2014-02-20 2014-04-16 Head mounted display for providing augmented reality and interacting with external device, and method for controlling the same
PCT/KR2014/004165 WO2015126007A1 (en) 2014-02-20 2014-05-09 Head mounted display and method for controlling the same
EP14883433.6A EP3108289B1 (en) 2014-02-20 2014-05-09 Head mounted display and method for controlling the same
US15/114,022 US9990036B2 (en) 2014-02-20 2014-05-09 Head mounted display and method for controlling the same
CN201480073675.7A CN105917268B (zh) 2014-02-20 2014-05-09 头戴式显示器及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140019522A KR102182161B1 (ko) 2014-02-20 2014-02-20 Hmd 및 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20150098361A true KR20150098361A (ko) 2015-08-28
KR102182161B1 KR102182161B1 (ko) 2020-11-24

Family

ID=53798115

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140019522A KR102182161B1 (ko) 2014-02-20 2014-02-20 Hmd 및 그 제어 방법

Country Status (5)

Country Link
US (2) US9239618B2 (ko)
EP (1) EP3108289B1 (ko)
KR (1) KR102182161B1 (ko)
CN (1) CN105917268B (ko)
WO (1) WO2015126007A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180125349A (ko) 2017-05-15 2018-11-23 경희대학교 산학협력단 증강현실 헤드마운트 디스플레이 시스템
KR101941880B1 (ko) 2017-07-18 2019-01-24 경희대학교 산학협력단 자유 초점 디스플레이 장치
KR20200046089A (ko) * 2017-09-29 2020-05-06 애플 인크. 프라이버시 스크린
WO2021221341A1 (ko) * 2020-04-29 2021-11-04 삼성전자 주식회사 증강 현실 장치 및 그 제어 방법

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US9939934B2 (en) 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US20170017323A1 (en) * 2015-07-17 2017-01-19 Osterhout Group, Inc. External user interface for head worn computing
US11003246B2 (en) 2015-07-22 2021-05-11 Mentor Acquisition One, Llc External user interface for head worn computing
US9865091B2 (en) * 2015-09-02 2018-01-09 Microsoft Technology Licensing, Llc Localizing devices in augmented reality environment
US10684478B2 (en) 2016-05-09 2020-06-16 Mentor Acquisition One, Llc User interface systems for head-worn computers
US10466491B2 (en) 2016-06-01 2019-11-05 Mentor Acquisition One, Llc Modular systems for head-worn computers
US10824253B2 (en) 2016-05-09 2020-11-03 Mentor Acquisition One, Llc User interface systems for head-worn computers
EP3242228A1 (en) * 2016-05-02 2017-11-08 Artag SARL Managing the display of assets in augmented reality mode
US10198874B2 (en) * 2016-05-13 2019-02-05 Google Llc Methods and apparatus to align components in virtual reality environments
US10345925B2 (en) * 2016-08-03 2019-07-09 Google Llc Methods and systems for determining positional data for three-dimensional interactions inside virtual reality environments
US11172005B2 (en) * 2016-09-09 2021-11-09 Nokia Technologies Oy Method and apparatus for controlled observation point and orientation selection audiovisual content
US20180095635A1 (en) * 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
US11094017B1 (en) 2016-12-01 2021-08-17 Wells Fargo Bank, N.A. Visualizing investment changes using augmented reality
KR102656425B1 (ko) * 2016-12-07 2024-04-12 삼성전자주식회사 영상을 표시하는 전자 장치 및 방법
US10437343B2 (en) 2017-01-06 2019-10-08 Samsung Electronics Co., Ltd. Augmented reality control of internet of things devices
KR101874111B1 (ko) * 2017-03-03 2018-07-03 클릭트 주식회사 가상현실영상 재생방법 및 이를 이용한 프로그램
CN106970467B (zh) * 2017-03-28 2020-03-24 联想(北京)有限公司 信息显示方法及头戴式显示设备
US11494986B2 (en) * 2017-04-20 2022-11-08 Samsung Electronics Co., Ltd. System and method for two dimensional application usage in three dimensional virtual reality environment
CN107291266B (zh) * 2017-06-21 2018-08-31 腾讯科技（深圳）有限公司 图像显示的方法和装置
US10216333B2 (en) * 2017-06-30 2019-02-26 Microsoft Technology Licensing, Llc Phase error compensation in single correlator systems
CN110869880B (zh) * 2017-08-24 2024-10-01 麦克赛尔株式会社 头戴式显示装置
US10338766B2 (en) * 2017-09-06 2019-07-02 Realwear, Incorporated Audible and visual operational modes for a head-mounted display device
US10732826B2 (en) * 2017-11-22 2020-08-04 Microsoft Technology Licensing, Llc Dynamic device interaction adaptation based on user engagement
CN108038916B (zh) * 2017-12-27 2022-12-02 上海徕尼智能科技有限公司 一种增强现实的显示方法
KR20200110771A (ko) 2018-01-18 2020-09-25 삼성전자주식회사 증강 현실 콘텐츠 조정 방법 및 장치
CN108415386A (zh) * 2018-03-12 2018-08-17 范业鹏 用于智能车间的增强现实系统及其工作方法
KR102638956B1 (ko) 2018-11-26 2024-02-22 삼성전자주식회사 전자 장치 및 증강 현실 서비스를 제공하는 증강 현실 장치와 그 동작 방법
KR20200098034A (ko) * 2019-02-11 2020-08-20 삼성전자주식회사 가상 현실 유저 인터페이스를 제공하기 위한 전자 장치 및 그의 동작 방법
JP7238456B2 (ja) * 2019-02-21 2023-03-14 セイコーエプソン株式会社 表示システム、情報処理装置の制御プログラム、及び情報処理装置の制御方法
CN111913562B (zh) * 2019-05-07 2024-07-02 广东虚拟现实科技有限公司 虚拟内容的显示方法、装置、终端设备及存储介质
CN114527864B (zh) * 2020-11-19 2024-03-15 京东方科技集团股份有限公司 增强现实文字显示系统、方法、设备及介质
KR102513434B1 (ko) 2021-03-18 2023-03-22 충북대학교 산학협력단 홀로그램 광학 소자 마이크로 미러 어레이를 이용한 3차원 홀로그래픽 도파관 타입 증강현실 디스플레이 시스템
WO2023092375A1 (en) * 2021-11-25 2023-06-01 Citrix Systems, Inc. Computing device with live background and related method
US11861801B2 (en) * 2021-12-30 2024-01-02 Snap Inc. Enhanced reading with AR glasses
KR102642625B1 (ko) 2021-12-30 2024-02-29 충북대학교 산학협력단 홀로그램 프린터에서의 홀로그래픽 광학 소자 렌즈 어레이 제작 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130007767A (ko) * 2011-07-11 2013-01-21 한국과학기술연구원 착용형 디스플레이 장치 및 컨텐츠 디스플레이 방법
US20130187835A1 (en) * 2012-01-25 2013-07-25 Ben Vaught Recognition of image on external display
US20130321390A1 (en) * 2012-05-31 2013-12-05 Stephen G. Latta Augmented books in a mixed reality environment

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3407383B2 (ja) 1993-06-15 2003-05-19 オリンパス光学工業株式会社 頭部装着型ディスプレイシステム
GB2377147A (en) * 2001-06-27 2002-12-31 Nokia Corp A virtual reality user interface
JP4203279B2 (ja) 2002-07-26 2008-12-24 独立行政法人科学技術振興機構 注目判定装置
JP5235122B2 (ja) 2008-10-17 2013-07-10 みずほ情報総研株式会社 解析支援システム、解析支援方法及び解析支援プログラム
JP5236423B2 (ja) * 2008-10-17 2013-07-17 Ｋｄｄｉ株式会社 表示システム、表示方法およびプログラム
US8860729B2 (en) 2009-07-22 2014-10-14 Imagemovers Digital Llc Gaze intent estimation for retargeting of characters
JP5494153B2 (ja) * 2010-04-08 2014-05-14 ソニー株式会社 頭部装着型ディスプレイにおける画像表示方法
KR101252169B1 (ko) * 2011-05-27 2013-04-05 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US20130083003A1 (en) * 2011-09-30 2013-04-04 Kathryn Stone Perez Personal audio/visual system
US9286711B2 (en) * 2011-09-30 2016-03-15 Microsoft Technology Licensing, Llc Representing a location at a previous time period using an augmented reality display
US8611015B2 (en) 2011-11-22 2013-12-17 Google Inc. User interface
US20130147686A1 (en) * 2011-12-12 2013-06-13 John Clavin Connecting Head Mounted Displays To External Displays And Other Communication Networks
US9202313B2 (en) * 2013-01-21 2015-12-01 Microsoft Technology Licensing, Llc Virtual interaction with image projection
US20140282220A1 (en) * 2013-03-14 2014-09-18 Tim Wantland Presenting object models in augmented reality images
JP2014191718A (ja) * 2013-03-28 2014-10-06 Sony Corp 表示制御装置、表示制御方法および記録媒体
US20150123966A1 (en) * 2013-10-03 2015-05-07 Compedia - Software And Hardware Development Limited Interactive augmented virtual reality and perceptual computing platform

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130007767A (ko) * 2011-07-11 2013-01-21 한국과학기술연구원 착용형 디스플레이 장치 및 컨텐츠 디스플레이 방법
US20130187835A1 (en) * 2012-01-25 2013-07-25 Ben Vaught Recognition of image on external display
US20130321390A1 (en) * 2012-05-31 2013-12-05 Stephen G. Latta Augmented books in a mixed reality environment

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180125349A (ko) 2017-05-15 2018-11-23 경희대학교 산학협력단 증강현실 헤드마운트 디스플레이 시스템
KR101941880B1 (ko) 2017-07-18 2019-01-24 경희대학교 산학협력단 자유 초점 디스플레이 장치
KR20200046089A (ko) * 2017-09-29 2020-05-06 애플 인크. 프라이버시 스크린
US11243734B2 (en) 2017-09-29 2022-02-08 Apple Inc. Privacy screen
US11768956B2 (en) 2017-09-29 2023-09-26 Apple Inc. Privacy screen
WO2021221341A1 (ko) * 2020-04-29 2021-11-04 삼성전자 주식회사 증강 현실 장치 및 그 제어 방법

Also Published As

Publication number Publication date
EP3108289A1 (en) 2016-12-28
CN105917268A (zh) 2016-08-31
EP3108289B1 (en) 2018-12-12
EP3108289A4 (en) 2017-11-15
US9990036B2 (en) 2018-06-05
US20160342204A1 (en) 2016-11-24
US9239618B2 (en) 2016-01-19
WO2015126007A1 (en) 2015-08-27
CN105917268B (zh) 2019-03-12
US20150234456A1 (en) 2015-08-20
KR102182161B1 (ko) 2020-11-24

Similar Documents

Publication Publication Date Title
KR20150098361A (ko) Hmd 및 그 제어 방법
US10579320B2 (en) Display system, display device, information display method, and program
KR102292192B1 (ko) 증강 현실 이미지를 디스플레이 하는 디스플레이 시스템 및 그 제어 방법
TWI610097B (zh) 電子系統、可攜式顯示裝置及導引裝置
US10534428B2 (en) Image processing device and image processing method, display device and display method, and image display system
US8872735B2 (en) Head mounted display for adjusting audio output and video output in relation to each other and method for controlling the same
JP4927631B2 (ja) 表示装置、その制御方法、プログラム、記録媒体および集積回路
EP3486760B1 (en) Preview picture presentation method, device and terminal
KR102182162B1 (ko) Hmd 및 그 제어 방법
JP2017537368A (ja) 視線によって制御されるヘッドマウント型ディスプレイ装置、その制御方法、及びその制御のためのコンピュータプログラム
KR20150034558A (ko) 헤드 마운트 디스플레이 및 제어 방법
KR101969351B1 (ko) 헤드 마운트 디스플레이 및 그 출력 제어 방법
KR102088020B1 (ko) 헤드 마운트 디스플레이 및 제어 방법
US10642348B2 (en) Display device and image display method
CN111630477A (zh) 提供增强现实服务的设备及其操作方法
KR20160026323A (ko) 움직임에 기반하여 알림 정보를 제어하는 방법 및 장치
KR20150085610A (ko) 포터블 디바이스 및 그 제어 방법
KR20150001425A (ko) 헤드 마운트 디스플레이 장치 및 그 동작방법
JP5464130B2 (ja) 情報表示システム、装置、方法及びプログラム
KR20170013737A (ko) 헤드 마운트 디스플레이 장치 및 그 동작방법
KR101603551B1 (ko) 차량에서 웨어러블 기기를 이용한 기능 실행 방법 및 이를 수행하는 차량
EP3702008A1 (en) Displaying a viewport of a virtual space
JP2012058353A (ja) 画像表示装置、及びその制御方法
JP2018018315A (ja) 表示システム、表示装置、情報表示方法、及び、プログラム
JP6442619B2 (ja) 情報処理装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant