KR102182162B1 - Hmd 및 그 제어 방법 - Google Patents

Hmd 및 그 제어 방법 Download PDF

Info

Publication number
KR102182162B1
KR102182162B1 KR1020140019523A KR20140019523A KR102182162B1 KR 102182162 B1 KR102182162 B1 KR 102182162B1 KR 1020140019523 A KR1020140019523 A KR 1020140019523A KR 20140019523 A KR20140019523 A KR 20140019523A KR 102182162 B1 KR102182162 B1 KR 102182162B1
Authority
KR
South Korea
Prior art keywords
augmented reality
external device
image
reality image
hmd
Prior art date
Application number
KR1020140019523A
Other languages
English (en)
Other versions
KR20150098362A (ko
Inventor
조은형
김종호
이도영
김지환
천시내
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020140019523A priority Critical patent/KR102182162B1/ko
Priority to US14/254,577 priority patent/US9007401B1/en
Priority to EP14882848.6A priority patent/EP3111272B1/en
Priority to PCT/KR2014/004163 priority patent/WO2015126006A1/en
Publication of KR20150098362A publication Critical patent/KR20150098362A/ko
Application granted granted Critical
Publication of KR102182162B1 publication Critical patent/KR102182162B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G06F3/04895—Guidance during keyboard input operation, e.g. prompting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/161—Indexing scheme relating to constructional details of the monitor
    • G06F2200/1614—Image rotation following screen orientation, e.g. switching from landscape to portrait mode

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 명세서의 일 실시예에 따른 HMD의 제어 방법은 컨텐츠 이미지가 디스플레이된 외부 디바이스를 디텍트하는 단계, 외부 디바이스에 연관된 제 1 타입 증강현실 이미지를 디스플레이하는 단계, 외부 디바이스에 디스플레이된 컨텐츠 이미지에 연관된 제 2 타입 증강현실 이미지를 디스플레이하는 단계, 외부 디바이스의 회전에 따라 제 1 타입 증강현실 이미지의 디스플레이 위치를 변경하여 디스플레이하는 단계 및 컨텐츠 이미지의 회전에 따라 제 2 타입 증강현실 이미지의 디스플레이 위치를 변경하여 디스플레이하는 단계를 포함할 수 있다. 이때, 컨텐츠 이미지가 회전되지 않는 경우, 외부 디바이스가 회전되어도 상기 제 2 타입 증강현실 이미지의 디스플레이 위치는 유지될 수 있다.

Description

HMD 및 그 제어 방법{HEAD MOUNTED DISPLAY AND METHOD FOR CONTROLLING THE SAME}
본 명세서는 HMD에 관한 것으로, 보다 상세하게는 증강현실 이미지를 디스플레이하는 HMD 및 그 제어 방법에 관한 것이다.
증강현실 서비스는 사용자가 현실 이미지와 증강현실 이미지를 함께 볼 수 있도록 하여 사용자에게 현실 정보와 가상 정보를 함께 제공한다. 그리고, 최근 기술이 발전함에 따라, HMD도 증강현실 서비스를 제공하는 디바이스로 사용되고 있다.
HMD를 사용하여 증강현실 서비스를 제공하는 경우, 리얼 오브젝트(예를 들면, 외부 디바이스)에 대응하는 증강현실 이미지 및 리얼 오브젝트의 일정 파트에 대응하는 증강현실 이미지를 함께 디스플레이할 필요가 존재한다.
또한, 리얼 오브젝트의 회전에 따라 리얼 오브젝트에 대응하는 증강현실 이미지 및 리얼 오브젝트의 일정 파트에 대응하는 증강현실 이미지의 디스플레이 방법을 다르게 설정할 필요도 존재한다.
이에, 본 명세서는, 외부 디바이스에 연관된 제 1 타입 증강현실 이미지 및 외부 디바이스에 디스플레이된 컨텐츠 이미지에 연관된 제 2 타입 증강현실 이미지를 함께 디스플레이하고, 외부 디바이스의 회전 또는 컨텐츠 이미지의 회전에 따라 제 1 타입 증강현실 이미지 및 제 2 타입 증강현실 이미지의 디스플레이 방법을 다르게 설정하는 HMD 및 HMD의 제어 방법을 제공하고자 한다.
본 명세서의 일 실시예에 따른 HMD는 외부 디바이스를 디텍트하는 카메라 유닛; 증강현실 이미지를 디스플레이하는 디스플레이 유닛; 및 상기 카메라 유닛 및 상기 디스플레이 유닛을 제어하는 프로세서를 포함하며, 상기 프로세서는, 상기 외부 디바이스를 디텍트하되, 상기 외부 디바이스는 컨텐츠 이미지를 디스플레이하고, 상기 외부 디바이스에 연관된 제 1 타입 증강현실 이미지를 디스플레이하고, 상기 외부 디바이스에 디스플레이된 컨텐츠 이미지에 연관된 제 2 타입 증강현실 이미지를 디스플레이하고, 상기 외부 디바이스의 회전에 따라 상기 제 1 타입 증강현실 이미지의 디스플레이 위치를 변경하여 디스플레이하고, 상기 컨텐츠 이미지의 회전에 따라 상기 제 2 타입 증강현실 이미지의 디스플레이 위치를 변경하여 디스플레이할 수 있다. 이때, 상기 컨텐츠 이미지가 회전되지 않는 경우, 상기 외부 디바이스가 회전되어도 상기 제 2 타입 증강현실 이미지의 디스플레이 위치는 유지될 수 있다.
또한, 본 명세서의 일 실시예에 따른 HMD의 제어 방법은 상기 외부 디바이스를 디텍트하는 단계; 상기 외부 디바이스는 컨텐츠 이미지를 디스플레이하고, 상기 외부 디바이스에 연관된 제 1 타입 증강현실 이미지를 디스플레이하는 단계; 상기 외부 디바이스에 디스플레이된 컨텐츠 이미지에 연관된 제 2 타입 증강현실 이미지를 디스플레이하는 단계; 상기 외부 디바이스의 회전에 따라 상기 제 1 타입 증강현실 이미지의 디스플레이 위치를 변경하여 디스플레이하는 단계; 및 상기 컨텐츠 이미지의 회전에 따라 상기 제 2 타입 증강현실 이미지의 디스플레이 위치를 변경하여 디스플레이하는 단계를 포함할 수 있다. 이때, 상기 컨텐츠 이미지가 회전되지 않는 경우, 상기 외부 디바이스가 회전되어도 상기 제 2 타입 증강현실 이미지의 디스플레이 위치는 유지될 수 있다.
본 명세서에 따르면, HMD는 컨텐츠 이미지가 디스플레이된 외부 디바이스를 디텍트하고, 외부 디바이스에 연관된 제 1 타입 증강현실 이미지 및 컨텐츠 이미지에 연관된 제 2 타입 증강현실 이미지를 디스플레이할 수 있다.
또한, 본 명세서에 따르면, HMD는 외부 디바이스 또는 컨텐츠 이미지의 회전을 디텍트하고, 외부 디바이스의 회전에 따라 제 1 타입 증강현실 이미지의 디스플레이 위치를 변경하여 디스플레이하고, 컨텐츠 이미지의 회전에 따라 제 2 타입 증강현실 이미지의 디스플레이 위치를 변경하여 디스플레이할 수 있다. 이를 통해, HMD는 외부 디바이스 및 컨텐츠 이미지의 회전에 대해 서로 다른 위치 속성을 가지는 증강현실 이미지를 사용자에게 제공할 수 있다.
또한, 본 명세서에 따르면, HMD는 외부 디바이스의 회전에 따라 제 1 타입 증강현실 이미지의 디스플레이 방향을 변경하여 디스플레이하고, 컨텐츠 이미지의 회전에 따라 제 2 타입 증강현실 이미지의 디스플레이 방향을 변경하여 디스플레이할 수 있다. 이를 통해, HMD는 외부 디바이스 및 컨텐츠 이미지의 회전에 대해 서로 다른 방향 속성을 가지는 증강현실 이미지를 사용자에게 제공할 수 있다.
도 1은 본 명세서의 일 실시예에 따른 HMD가 외부 디바이스를 디텍트하고, 증강현실 이미지를 디스플레이하는 방법을 나타낸다.
도 2는 본 명세서의 일 실시예에 따른 HMD가 외부 디바이스의 회전에 따라 제 1 타입 증강현실 이미지 및 제 2 타입 증강현실 이미지를 디스플레이하는 방법을 나타낸다.
도 3은 본 명세서의 다른 실시예에 따른 HMD가 외부 디바이스의 회전에 따라 제 1 타입 증강현실 이미지 및 제 2 타입 증강현실 이미지를 디스플레이하는 방법을 나타낸다.
도 4는 본 명세서의 일 실시예에 따른 HMD가 컨텐츠 이미지의 회전에 따라 제 1 타입 증강현실 이미지 및 제 2 타입 증강현실 이미지를 디스플레이하는 방법을 나타낸다.
도 5는 본 명세서의 일 실시예에 따른 HMD가 컨텐츠 이미지의 회전에 따라 제 1 타입 증강현실 이미지 및 제 2 타입 증강현실 이미지를 디스플레이하는 방법을 나타낸다.
도 6은 본 명세서의 일 실시예에 따른 HMD가 외부 디바이스의 회전에 따라 제 1 타입 증강현실 이미지 내지 제 3 타입 증강현실 이미지를 디스플레이하는 방법을 나타낸다.
도 7은 본 명세서의 일 실시예에 따른 HMD의 구성도를 나타낸다.
도 8는 본 명세서의 일 실시예에 따른 HMD의 제어방법에 대한 순서도를 나타낸다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 실시 예를 상세하게 설명하지만, 청구하고자 하는 범위는 실시 예들에 의해 제한되거나 한정되는 것은 아니다.
본 명세서에서 사용되는 용어는 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 명세서의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
본 명세서에서 HMD는 유저의 신체에 착용되어 시각정보를 디스플레이하는 웨어러블 디바이스를 의미할 수 있다. 예를 들면, HMD는 유저의 머리에 착용되어 증강현실 이미지를 디스플레이하는 웨어러블 디바이스일 수 있다. 또한, 본 명세서에서 증강현실 이미지는 가상의 이미지로서, 그래픽 이미지, 텍스트, 기호 및 이모티콘을 포함할 수 있다.
도 1은 본 명세서의 일 실시예에 따른 HMD가 외부 디바이스를 디텍트하고, 증강현실 이미지를 디스플레이하는 방법을 나타낸다.
보다 상세하게, 도 1의 왼쪽은 HMD(100)가 카메라 유닛(110)을 이용하여 컨텐츠 이미지가 디스플레이된 외부 디바이스(200)를 디텍트하는 방법을 나타내고, 도 1의 오른쪽은 HMD(100)가 디스플레이 유닛을 이용하여 외부 디바이스(200)에 연관된 제 1 타입 증강현실 이미지(10) 및 외부 디바이스(200)에 디스플레이된 컨텐츠 이미지(210)에 연관된 제 2 타입 증강현실 이미지(20)를 디스플레이하는 방법을 나타낸다.
도 1의 왼쪽에 도시된 바와 같이, HMD(100)는 카메라 유닛(110)을 이용하여 외부 디바이스(200)를 디텍트할 수 있다. 즉, HMD(100)는 카메라 유닛(110)에 의해 캡쳐링된 이미지로부터 외부 디바이스(200)를 디텍트할 수 있다. 여기서, 외부 디바이스(200)는 디스플레이 디바이스로서, 컨텐츠 이미지(210)를 디스플레이하는 디바이스를 의미할 수 있다. 여기서, 컨텐츠 이미지(210)는 외부 디바이스(200)에 디스플레이되는 컨텐츠에 대응하는 이미지를 의미할 수 있다. 컨텐츠 이미지(210)는 비디오 컨텐츠 이미지, 사진 컨텐츠 이미지를 포함할 수 있다.
외부 디바이스(200)가 디텍트되는 경우, HMD(100)는 외부 디바이스 정보를 획득할 수 있다. 여기서, 외부 디바이스 정보는 외부 디바이스(200)에 대한 다양한 정보를 통칭하는 의미일 수 있다. 디바이스 정보는 외부 디바이스(200)의 종류에 대한 종류 정보, 외부 디바이스(200)에 구비된 구성에 대한 구성 정보, 외부 디바이스(200)의 위치 정보 및 방향 정보를 포함할 수 있다.
HMD(100)는 카메라 유닛(110)에 의해 캡쳐링된 이미지로부터 외부 디바이스 정보를 획득할 수 있다. 즉, HMD(100)는 카메라 유닛(110)에 의해 캡쳐링된 이미지로부터 외부 디바이스 이미지를 디텍트하고, 디텍트된 외부 디바이스 이미지로부터 외부 디바이스 정보를 획득할 수 있다. 이때, HMD(100)는 기 저장된 이미지 분석 알고리즘 등을 이용하여 캡처링된 이미지로부터 외부 디바이스 정보를 획득할 수 있다. 또한, HMD(100)와 외부 디바이스(200)가 페어링 된 경우, HMD(100)는 커뮤니케이션 유닛을 통해 페어링된 외부 디바이스(200)로부터 외부 디바이스 정보를 수신할 수도 있다.
외부 디바이스(200)가 디텍트되는 경우, HMD(100)는 컨텐츠 정보를 획득할 수 있다. 여기서, 컨텐츠 정보는 외부 디바이스(200)에 디스플레이된 컨텐츠 이미지(210)에 대한 다양한 정보를 통칭하는 의미일 수 있다. 컨텐츠 정보는 컨텐츠의 내용에 대한 내용 정보, 컨텐츠 이미지(210)의 위치 정보 및 방향 정보를 포함할 수 있다.
HMD(100)는 카메라 유닛(110)을 이용하여 컨텐츠 정보를 획득할 수 있다. 즉, HMD(100)는 카메라 유닛(110)에 의해 캡쳐링된 이미지로부터 외부 디바이스(200)에 디스플레이된 컨텐츠 이미지(210)를 디텍트하고, 디텍트된 컨텐츠 이미지(210)로부터 컨텐츠 정보를 획득할 수 있다. 이때, HMD(100)는 기 저장된 이미지 분석 알고리즘 등을 이용하여 컨텐츠 이미지(210)를 디텍트하고, 디텍트된 컨텐츠 이미지(210)로부터 컨텐츠 정보를 획득할 수 있다. 또한, HMD(100)와 외부 디바이스(200)가 페어링 된 경우, HMD(100)는 커뮤니케이션 유닛을 통해 페어링된 외부 디바이스(200)로부터 컨텐츠 정보를 수신할 수도 있다.
도 1의 오른쪽에 도시된 바와 같이, HMD(100)는 디스플레이 유닛을 이용하여 제 1 타입 증강현실 이미지(10) 및 제 2 타입 증강현실 이미지(20)를 디스플레이할 수 있다.
여기서, 제 1 타입 증강현실 이미지(10)는 외부 디바이스(200)에 연관된 증강현실 이미지일 수 있다. 예를 들면, 제 1 타입 증강현실 이미지(10)는 외부 디바이스(200)에 구비된 구성(예를 들면, 파워버튼, 홈버튼, 볼륨버튼과 같은 제어버튼)에 연관된 증강현실 이미지일 수 있다. 다만, 상술한 증강현실 이미지는 제 1 타입 증강현실 이미지(10)의 일 실시예일뿐, 본 명세서의 HMD(100)는 실시예에 의해 제한되지 않는다.
HMD(100)는 외부 디바이스 정보에 기초하여 제 1 타입 증강현실 이미지(10)를 획득하고, 디스플레이 유닛에 디스플레이할 수 있다. 이 경우, 디스플레이 유닛이 광학적 씨스루 디스플레이 패널로 구성된 경우, HMD는 사용자가 씨스루 디스플레이 패널을 통해 바라보는 현실 세계의 외부 디바이스(200) 주변에 제 1 타입 증강현실 이미지(10)를 디스플레이할 수 있다. 이때, HMD(100)는 내부 스토리지 유닛으로부터 제 1 타입 증강현실 이미지(10)를 획득하거나, 커뮤니케이션 유닛을 통해 외부 서버로부터 제 1 타입 증강현실 이미지(10)를 획득할 수 있다.
여기서, 제 2 타입 증강현실 이미지(20)는 외부 디바이스(200)에 디스플레이된 컨텐츠 이미지(210)에 연관된 증강현실 이미지일 수 있다. 예를 들면, 제 2 타입 증강현실 이미지(20)는 컨텐츠 이미지(210)에 대응하는 컨텐츠의 내용에 연관된 증강현실 이미지일 수 있다. 다만, 상술한 증강현실 이미지는 제 2 타입 증강현실 이미지(20)의 일 실시예일뿐, 본 명세서의 HMD(100)는 실시예에 의해 제한되지 않는다.
HMD(100)는 컨텐츠 정보에 기초하여 제 2 타입 증강현실 이미지(20)를 획득하고, 디스플레이 유닛에 디스플레이할 수 있다. 이 경우, 디스플레이 유닛이 광학적 씨스루 디스플레이 패널로 구성된 경우, HMD는 사용자가 씨스루 디스플레이 패널을 통해 바라보는 현실 세계의 컨텐츠 이미지(210) 주변에 제 2 타입 증강현실 이미지(20)를 디스플레이할 수 있다. 이때, HMD(100)는 내부 스토리지 유닛으로부터 제 2 타입 증강현실 이미지(20)를 획득하거나, 커뮤니케이션 유닛을 통해 외부 서버로부터 제 2 타입 증강현실 이미지(20)를 획득할 수 있다.
이하에서는 HMD가 외부 디바이스 또는 컨텐츠 이미지의 회전에 따라 제 1 타입 증강현실 이미지 내지 제 3 타입 증강현실 이미지를 디스플레이하는 방법을 설명하도록 한다. 이때, 설명의 편의를 위해, 도 2 내지 도 6에서는 위치를 나타내는 점과 방향을 나타내는 화살표를 추가적으로 도시하였다. 예를 들면, 외부 디바이스의 우측 상단에 도시된 점과 화살표는 각각 외부 디바이스의 위치 및 방향을 나타내고, 컨텐츠 이미지의 우측 상단에 도시된 점과 화살표는 각각 컨텐츠 이미지의 위치 및 방향을 나타내고, 제 1 타입 증강현실 이미지 내지 제 3 타입 증강현실 이미지에 도시된 점과 화살표는 각각 제 1 증강현실 이미지 내지 제 3 증강현실 이미지의 디스플레이 위치 및 디스플레이 방향을 나타낸다. 다만, 도 2 내지 도 6에 도시된 점과 화살표는 설명의 편의를 위해 도시된 가상의 점과 화살표로서, HMD의 디스플레이 유닛에 실제로 디스플레이되는 점과 화살표는 아니다.
도 2는 본 명세서의 일 실시예에 따른 HMD가 외부 디바이스의 회전에 따라 제 1 타입 증강현실 이미지 및 제 2 타입 증강현실 이미지를 디스플레이하는 방법을 나타낸다.
도 2의 왼쪽에 도시된 바와 같이, 컨텐츠 이미지(210)가 디스플레이된 외부 디바이스(200)가 디텍트되는 경우, HMD는 제 1 타입 증강현실 이미지(10) 및 제 2 타입 증강현실 이미지(20)를 디스플레이할 수 있다.
HMD는 기 설정된 디스플레이 방법에 기초하여 제 1 타입 증강현실 이미지(10)를 디스플레이할 수 있다. 예를 들면, 도시된 바와 같이, HMD는 제 1 위치에 외부 디바이스(200)의 방향과 동일한 방향으로 제 1 타입 증강현실 이미지(10)를 디스플레이할 수 있다.
HMD는 기 설정된 디스플레이 방법에 기초하여 제 2 타입 증강현실 이미지(20)를 디스플레이할 수 있다. 예를 들면, 도시된 바와 같이, HMD는 제 2 위치에 컨텐츠 이미지(210)의 방향과 동일한 방향으로 제 2 타입 증강현실 이미지(20)를 디스플레이할 수 있다.
또한, HMD는 외부 디바이스(200) 및 컨텐츠 이미지(210)의 회전을 디텍트할 수 있다. 본 명세서에서, 외부 디바이스(200) 및 컨텐츠 이미지(210)의 회전은 HMD를 기준으로 하는 외부 디바이스(200) 및 컨텐츠 이미지(210)의 회전을 의미할 수 있다. 즉, 외부 디바이스(200)를 기준으로 하는 컨텐츠 이미지(210)의 회전 또는 컨텐츠 이미지(210)를 기준으로 하는 외부 디바이스(200)의 회전을 의미하지 않는다. 이러한, 외부 디바이스(200) 및 컨텐츠 이미지(210)의 회전은 서로 독립적일 수 있다. 예를 들면, 외부 디바이스(200)가 회전되지 않는 경우에도, 외부 디바이스(200)의 디스플레이 모드가 가로 모드(landscape mode)에서 세로 모드(portrait mode)로 변경되거나, 또는 세로 모드에서 가로 모드로 변경되는 경우, HMD는 독립적인 컨텐츠 이미지의 회전을 디텍트할 수 있다. 또한, 컨텐츠 이미지(210)의 회전은 외부 디바이스(200)의 회전에 종속적일 수 있다.
일 실시예에 따르면, HMD는 카메라 유닛에 의해 캡쳐링된 이미지로부터 외부 디바이스(200) 및 컨텐츠 이미지(210)의 회전을 디텍트할 수 있다. 다른 실시예에 따르면, HMD는 카메라 유닛에 의해 캡쳐링된 이미지로부터 외부 디바이스(200)의 회전을 디텍트하고, 커뮤니케이션 유닛에 의해 외부 디바이스(200)로부터 수신된 컨텐츠 정보에 기초하여 컨텐츠 이미지(210)의 회전을 디텍트할 수 있다.
도 2의 오른쪽 상단 및 하단에 도시된 바와 같이, 외부 디바이스(200)의 회전이 디텍트된 경우, HMD는 외부 디바이스(200)의 회전에 따라 제 1 타입 증강현실 이미지(10)의 디스플레이 위치를 변경하여 디스플레이할 수 있다. 예를 들면, 도 2의 오른쪽 상단 및 하단과 같이, 외부 디바이스(200)가 반시계 방향으로 90도 회전된 경우, HMD는 제 1 타입 증강현실 이미지(10)의 디스플레이 위치를 제 1 위치에서 제 3 위치로 변경하여 디스플레이할 수 있다. 이때, HMD는 외부 디바이스(200)의 회전에도 불구하고 제 1 타입 증강현실 이미지(10)의 디스플레이 방향을 유지할 수 있다.
도 2의 오른쪽 상단에 도시된 바와 같이, 컨텐츠 이미지(210)의 회전이 디텍트된 경우, HMD는 컨텐츠 이미지(210)의 회전에 따라 제 2 타입 증강현실 이미지(20)의 디스플레이 위치를 변경하여 디스플레이할 수 있다. 예를 들면, 도 2의 오른쪽 상단과 같이, 컨텐츠 이미지(210)가 반시계 방향으로 90도 회전된 경우, HMD는 제 2 타입 증강현실 이미지(20)의 디스플레이 위치를 제 2 위치에서 제 4 위치로 변경하여 디스플레이할 수 있다. 이때, HMD는 컨텐츠 이미지(210)의 회전에도 불구하고 제 2 타입 증강현실 이미지(20)의 디스플레이 방향을 유지할 수 있다.
도 2의 오른쪽 하단에 도시된 바와 같이, 컨텐츠 이미지(210)의 회전이 디텍트되지 않는 경우, HMD는 외부 디바이스(200)가 회전되어도 제 2 타입 증강현실 이미지(20)의 디스플레이 위치를 유지하여 디스플레이할 수 있다. 예를 들면, 도 2의 오른쪽 하단과 같이, 외부 디바이스(200)가 반시계 방향으로 90도 회전되었으나 컨텐츠 이미지(210)가 회전되지 않는 경우, HMD는 외부 디바이스(200)의 회전에도 불구하고 제 2 타입 증강현실 이미지(20)의 디스플레이 위치를 제 2 위치로 유지하여 디스플레이할 수 있다. 이때, HMD는 제 2 타입 증강현실 이미지(20)의 디스플레이 방향도 유지할 수 있다.
상술한 바와 같이, 제 1 타입 증강현실 이미지(10)의 디스플레이 위치의 변경은 외부 디바이스(200)의 회전에 종속적일 수 있다. 그리고, 제 2 타입 증강현실 이미지(20)의 디스플레이 위치의 변경은 컨텐츠 이미지(210)의 회전에 종속적이나, 외부 디바이스(200)의 회전에 독립적일 수 있다.
도 3은 본 명세서의 다른 실시예에 따른 HMD가 외부 디바이스의 회전에 따라 제 1 타입 증강현실 이미지 및 제 2 타입 증강현실 이미지를 디스플레이하는 방법을 나타낸다.
보다 상세하게, 도 3은 HMD가 외부 디바이스(200)의 회전에 따라 제 1 타입 증강현실 이미지의 제 1 서브타입(11), 제 1 타입 증강현실 이미지의 제 2 서브타입(12) 및 제 2 타입 증강현실 이미지(20)를 디스플레이하는 방법을 나타낸다. 또한, 도 3에서는 도 2에서 상술한 설명과 유사하거나 중복되는 부분에 대한 상세한 설명은 생략하기로 한다.
여기서, 제 1 타입 증강현실 이미지의 제 1 서브타입(11)(이하 제 1 서브타입 증강현실 이미지(11))은 외부 디바이스(200)에 연관된 증강현실 이미지로서, 외부 디바이스(200)의 회전에 따라 디스플레이 위치 및 디스플레이 방향이 함께 변경되어 디스플레이되는 증강현실 이미지를 의미할 수 있다. 일 실시예에 따르면, 외부 디바이스(200)에 연관된 증강현실 이미지 중, 방향성을 갖지 않는 이미지로 구성된 증강현실 이미지들이 제 1 서브타입 증강현실 이미지(11)로 설정될 수 있다.
여기서, 제 1 타입 증강현실 이미지의 제 2 서브타입(12)(이하 제 2 서브타입 증강현실 이미지(12))은 외부 디바이스(200)에 연관된 증강현실 이미지로서, 외부 디바이스(200)의 회전에 따라 디스플레이 위치가 변경되어 디스플레이되고, 디스플레이 방향은 유지되는 증강현실 이미지를 의미할 수 있다. 일 실시예에 따르면, 외부 디바이스(200)에 연관된 증강현실 이미지 중, 방향성을 갖는 이미지로 구성된 증강현실 이미지들이 제 2 서브타입 증강현실 이미지(12)로 설정될 수 있다.
도 3에 도시된 바와 같이, 외부 디바이스(200)는 스마트폰일 수 있다. 그리고, 제 1 서브타입 증강현실 이미지(11)는 외부 디바이스(200)의 볼륨증가버튼에 연관된 증강현실 이미지로서, 방향성을 갖지 않는 “+”기호를 포함하는 증강현실 이미지일 수 있다. 그리고, 제 2 서브타입 증강현실 이미지는 외부 디바이스(200)의 볼륨감소버튼에 연관된 증강현실 이미지로서, 방향성을 갖는 “-”기호를 포함하는 증강현실 이미지일 수 있다.
도 3의 왼쪽에 도시된 바와 같이, 컨텐츠 이미지(210)가 디스플레이된 외부 디바이스(200)가 디텍트되는 경우, HMD는 기 설정된 디스플레이 방법에 기초하여 제 1 서브타입 증강현실 이미지(11), 제 2 서브타입 증강현실 이미지(12) 및 제 2 타입 증강현실 이미지(20)를 디스플레이할 수 있다.
예를 들면, 도 3의 왼쪽과 같이, HMD는 외부 디바이스(200)의 볼륨증가버튼(201)의 위치에 기초하여 제 1 위치에 제 1 서브타입 증강현실 이미지(11)를 디스플레이하고, 외부 디바이스(200)의 볼륨감소버튼의 위치에 기초하여 제 2 위치에 제 2 서브타입 증강현실 이미지(12)를 디스플레이할 수 있다. 즉, HMD는 외부 디바이스(200)의 볼륨증가버튼(201)의 위치와 인접한 위치에 제 1 서브타입 증강현실 이미지(11)를 디스플레이하고, 외부 디바이스(200)의 볼륨감소버튼(202)의 위치와 인접한 위치에 제 2 서브타입 증강현실 이미지(12)를 디스플레이할 수 있다.
예를 들면, 도 3의 왼쪽과 같이, HMD는 제 3 위치에 제 2 타입 증강현실 이미지(20)를 디스플레이할 수 있다.
도 3의 오른쪽에 도시된 바와 같이, 외부 디바이스(200)의 회전이 디텍트된 경우, HMD는 외부 디바이스(200)의 회전에 따라 제 1 서브타입 증강현실 이미지(11)의 디스플레이 위치 및 방향을 변경하여 디스플레이할 수 있다. 예를 들면, 도 3의 오른쪽과 같이, 외부 디바이스(200)가 반시계 방향으로 90도 회전된 경우, HMD는 외부 디바이스(200)의 변경된 위치에 기초하여 제 1 서브타입 증강현실 이미지(11)의 디스플레이 위치를 제 1 위치에서 제 4 위치로 변경하고, 외부 디바이스(200)의 변경된 방향에 기초하여 제 1 서브타입 증강현실 이미지(11)의 디스플레이 방향을 변경하여 디스플레이할 수 있다. 즉, HMD는 외부 디바이스(200)의 변경된 위치와 인접한 위치에 변경된 방향에 대응하는 방향으로 제 1 서브타입 증강현실 이미지(11)를 디스플레이할 수 있다.
도 3의 오른쪽에 도시된 바와 같이, 외부 디바이스(200)의 회전이 디텍트된 경우, HMD는 외부 디바이스(200)의 회전에 따라 제 2 서브타입 증강현실 이미지(12)의 디스플레이 위치를 변경하여 디스플레이하고, 제 2 서브타입 증강현실 이미지(12)의 디스플레이 방향을 유지할 수 있다. 예를 들면, 도 3의 오른쪽과 같이, 외부 디바이스(200)가 반시계 방향으로 90도 회전된 경우, HMD는 외부 디바이스(200)의 변경된 위치에 기초하여 제 2 서브타입 증강현실 이미지(12)의 디스플레이 위치를 제 2 위치에서 제 5 위치로 변경하여 디스플레이하고, 제 2 서브타입 증강현실 이미지(12)의 디스플레이 방향을 유지할 수 있다. 즉, HMD는 외부 디바이스(200)의 변경된 위치와 인접한 위치에 제 2 서브타입 증강현실 이미지(12)를 디스플레이하되, 제 2 서브타입 증강현실 이미지(12)의 디스플레이 방향은 유지할 수 있다.
도 3의 오른쪽에 도시된 바와 같이, 컨텐츠 이미지(210)의 회전이 디텍트되지 않는 경우, HMD는 외부 디바이스(200)가 회전되어도 제 2 타입 증강현실 이미지(20)의 디스플레이 방향을 유지하여 디스플레이할 수 있다. 예를 들면, 도 3의 오른쪽에 도시된 바와 같이, 외부 디바이스(200)가 반시계 방향으로 90도 회전되었으나 컨텐츠 이미지(210)가 회전되지 않는 경우, HMD는 외부 디바이스(200)의 회전에도 불구하고 제 2 타입 증강현실 이미지(20)의 디스플레이 방향을 유지하여 디스플레이할 수 있다. 이때, HMD는 외부 디바이스(200)의 위치에 기초하여 제 2 타입 증강현실 이미지(20)의 디스플레이 위치를 제 3 위치에서 제 6 위치로 변경할 수도 있다. 예를 들면, HMD는 외부 디바이스(200)의 회전에 따라 외부 디바이스(200)와 제 2 타입 증강현실 이미지(20)가 겹쳐지면 제 2 타입 증강현실 이미지(20)의 디스플레이 위치를 변경할 수도 있다.
상술한 바와 같이, 제 1 서브타입 증강현실 이미지(11)의 디스플레이 위치 및 방향의 변경은 외부 디바이스(200)의 회전에 종속적일 수 있다. 그리고, 제 2 서브타입 증강현실 이미지(12)의 디스플레이 위치의 변경은 외부 디바이스(200)의 회전에 종속적이나, 제 2 서브타입 증강현실 이미지(12)의 디스플레이 방향의 변경은 외부 디바이스(200)의 회전에 독립적일 수 있다.
도 4는 본 명세서의 일 실시예에 따른 HMD가 컨텐츠 이미지의 회전에 따라 제 1 타입 증강현실 이미지 및 제 2 타입 증강현실 이미지를 디스플레이하는 방법을 나타낸다.
도 4에 도시된 바와 같이, 외부 디바이스(200)는 스마트폰일 수 있고, 컨텐츠 이미지(210)는 “John이 jogging”하는 내용에 대한 비디오 이미지일 수 있다. 그리고, 제 2 타입 증강현실 이미지(20)는 컨텐츠 이미지(210)의 내용에 연관된 증강현실 이미지로서, “John jogging”이라는 문자를 포함하는 증강현실 이미지일 수 있다.
도 4의 왼쪽에 도시된 바와 같이, 컨텐츠 이미지(210)가 디스플레이된 외부 디바이스(200)가 디텍트되는 경우, HMD는 기 설정된 방법에 기초하여 제 1 타입 증강현실 이미지(10) 및 제 2 타입 증강현실 이미지(20)를 디스플레이할 수 있다.
예를 들면, 도 4의 왼쪽과 같이, HMD는 제 1 위치에 외부 디바이스(200)의 방향과 다른 방향으로 제 1 타입 증강현실 이미지(10)를 디스플레이할 수 있다.
예를 들면, 도 4의 왼쪽과 같이, HMD는 제 2 위치에 컨텐츠 이미지(210)의 방향과 같은 방향으로 제 2 타입 증강현실 이미지(20)를 디스플레이할 수 있다.
도 4의 오른쪽에 도시된 바와 같이, 컨텐츠 이미지(210)의 회전이 디텍트된 경우, HMD는 컨텐츠 이미지(210)의 회전에 따라 제 2 타입 증강현실 이미지(20)의 디스플레이 위치를 변경하여 디스플레이할 수 있다. 예를 들면, 도 2의 오른쪽과 같이, 컨텐츠 이미지(210)가 시계 방향으로 90도 회전된 경우, HMD는 컨텐츠 이미지(210)의 변경된 위치에 기초하여 제 2 타입 증강현실 이미지(20)의 디스플레이 위치를 제 2 위치에서 제 3 위치로 변경하여 디스플레이할 수 있다. 나아가, HMD는 컨텐츠 이미지(210)의 변경된 방향과 같은 방향으로 제 2 타입 증강현실 이미지(20)의 디스플레이 방향을 더 변경하여 디스플레이할 수 있다. 이를 통해, HMD는 컨텐츠 이미지(210)의 회전에도 불구하고 컨텐츠 이미지(210)와 동일한 방향으로 디스플레이된 제 2 타입 증강현실 이미지(20)를 계속하여 사용자에게 제공할 수 있다.
도 4의 오른쪽에 도시된 바와 같이, 외부 디바이스(200)의 회전이 디텍트되지 않는 경우, HMD는 컨텐츠 이미지(210)가 회전되어도 제 1 타입 증강현실 이미지(10)의 디스플레이 위치를 유지하여 디스플레이할 수 있다. 예를 들면, 도 4의 오른쪽과 같이, 컨텐츠 이미지(210)가 시계 방향으로 90도 회전되었으나 외부 디바이스(200)가 회전되지 않는 경우, HMD는 컨텐츠 이미지(210)의 회전에도 불구하고 제 2 타입 증강현실 이미지(20)의 디스플레이 위치를 유지하여 디스플레이할 수 있다. 이때, HMD는 제 1 타입 증강현실 이미지(10)의 디스플레이 방향도 유지할 수 있다. 이를 통해, HMD는 컨텐츠 디바이스에 회전에도 불구하고 동일한 위치 및 방향을 갖는 제 1 타입 증강현실 이미지(10)를 사용자에게 제공할 수 있다.
상술한 바와 같이, 제 2 타입 증강현실 이미지(20)의 디스플레이 위치의 변경은 컨텐츠 이미지(210)의 회전에 종속적이나, 제 1 타입 증강현실 이미지(10)의 디스플레이 위치의 변경은 컨텐츠 이미지(210)의 회전에 독립적일 수 있다.
도 5는 본 명세서의 일 실시예에 따른 HMD가 컨텐츠 이미지의 회전에 따라 제 1 타입 증강현실 이미지 및 제 2 타입 증강현실 이미지를 디스플레이하는 방법을 나타낸다.
보다 상세하게, 도 5는 HMD가 외부 디바이스(200)의 회전에 따라 제 1 타입 증강현실 이미지의 제 1 서브타입(11)(이하 제 1 서브타입 증강현실 이미지(11)), 제 1 타입 증강현실 이미지의 제 2 서브타입(12)(이하 제 2 서브타입 증강현실 이미지(12)), 제 1 타입 증강현실 이미지의 제 3 서브타입(13) 및 제 2 타입 증강현실 이미지(20)를 디스플레이하는 방법을 나타낸다. 또한, 도 5에서는 도 1 내지 도 4에서 상술한 설명과 유사하거나 중복되는 부분에 대한 상세한 설명은 생략하기로 한다.
여기서, 제 1 타입 증강현실 이미지의 제 3 서브타입(13)(이하 제 3 서브타입 증강현실 이미지(13))은 외부 디바이스(200)에 연관된 증강현실 이미지로서, 컨텐츠 이미지(210)의 회전에 따라 디스플레이 방향을 변경하여 디스플레이되는 증강현실 이미지를 의미할 수 있다. 일 실시예에 따르면, 외부 디바이스(200)에 연관된 증강현실 이미지 중, 컨텐츠 디스플레이에 관련된 이미지를 포함하는 증강현실 이미지들이 제 3 서브타입 증강현실 이미지(13)로 설정될 수 있다.
도 5에 도시된 바와 같이, 외부 디바이스(200)는 스마트폰일 수 있다. 그리고, 제 1 서브타입 증강현실 이미지(11) 및 제 2 서브타입 증강현실 이미지(12)는 도 3에서 상술한 제 1 서브타입 증강현실 이미지(11) 및 제 2 서브타입 증강현실 이미지(12)와 동일하므로 상세한 설명은 생략한다. 그리고, 제 3 서브타입 증강현실 이미지(13)는 외부 디바이스(200)의 컨텐츠재생버튼에 연관된 증강현실 이미지로서, 컨텐츠의 재생을 나타내는 아이콘을 포함하는 증강현실 이미지일 수 있다. 그리고, 제 2 타입 증강현실 이미지(20)는 도 4에서 상술한 제 2 타입 증강현실 이미지(20)와 동일하므로 상세한 설명은 생략한다.
도 5의 왼쪽에 도시된 바와 같이, 컨텐츠 이미지(210)가 디스플레이된 외부 디바이스(200)가 디텍트되는 경우, HMD는 기 설정된 디스플레이 방법에 기초하여 제 1 서브타입 증강현실 이미지(11), 제 2 서브타입 증강현실 이미지(12), 제 3 서브타입 증강현실 이미지(13) 및 제 2 타입 증강현실 이미지(20)를 디스플레이할 수 있다.
예를 들면, 도 5의 왼쪽과 같이, HMD는 외부 디바이스(200)의 볼륨증가버튼의 위치에 기초하여 제 1 위치에 제 1 서브타입 증강현실 이미지(11)를 디스플레이하고, 외부 디바이스(200)의 볼륨감소버튼의 위치에 기초하여 제 2 위치에 제 2 서브타입 증강현실 이미지(12)를 디스플레이할 수 있다. 또한, HMD는 제 3 위치에 컨텐츠 이미지(210)의 방향과 동일한 방향으로 제 3 서브타입 증강현실 이미지(13)를 디스플레이할 수 있다.
예를 들면, 도 5의 왼쪽과 같이, HMD는 제 4 위치에 제 2 타입 증강현실 이미지(20)를 디스플레이할 수 있다.
도 5의 오른쪽에 도시된 바와 같이, 컨텐츠 이미지(210)의 회전이 디텍트된 경우, HMD는 컨텐츠 이미지(210)의 회전에 따라 제 2 타입 증강현실 이미지(20)의 디스플레이 위치를 변경하여 디스플레이할 수 있다. 예를 들면, 도 2의 오른쪽과 같이, 컨텐츠 이미지(210)가 시계 방향으로 90도 회전된 경우, HMD는 컨텐츠 이미지(210)의 변경된 위치에 기초하여 제 2 타입 증강현실 이미지(20)의 디스플레이 위치를 제 4 위치에서 제 5 위치로 변경하여 디스플레이할 수 있다. 나아가, HMD는 컨텐츠 이미지(210)의 변경된 방향과 같은 방향으로 제 2 타입 증강현실 이미지(20)의 디스플레이 방향을 더 변경하여 디스플레이할 수 있다.
도 5의 오른쪽에 도시된 바와 같이, 외부 디바이스(200)의 회전이 디텍트되지 않는 경우, HMD는 컨텐츠 이미지(210)가 회전되어도 제 1 서브타입 증강현실 및 이미지 제 2 서브타입 증강현실 이미지(12)의 디스플레이 위치를 유지하여 디스플레이할 수 있다. 예를 들면, 도 5의 오른쪽과 같이, 컨텐츠 이미지(210)가 시계 방향으로 90도 회전되었으나 외부 디바이스(200)가 회전되지 않는 경우, HMD는 컨텐츠 이미지(210)의 회전에도 불구하고 제 1 서브타입 증강현실 이미지(11)를 제 1 위치에 계속하여 디스플레이하고, 제 2 서브타입 증강현실 이미지(12)를 제 2 위치에 계속하여 디스플레이할 수 있다. 나아가, HMD는 제 1 서브타입 증강현실 이미지(11) 및 제 2 서브타입 증강현실 이미지(12)의 디스플레이 방향도 유지할 수 있다.
도 5의 오른쪽에 도시된 바와 같이, 외부 디바이스(200)의 회전이 디텍트되지 않아도 컨텐츠 이미지(210)의 회전이 디텍트된 경우, HMD는 컨텐츠 이미지(210)의 회전에 따라 제 3 서브타입 증강현실 이미지(13)의 디스플레이 방향을 변경하여 디스플레이할 수 있다. 예를 들면, 도 5의 오른쪽과 같이, 컨텐츠 이미지(210)가 시계 방향으로 90도 회전되었으나 외부 디바이스(200)가 회전되지 않는 경우, HMD는 외부 디바이스(200)가 회전되지 않았음에도 컨텐츠 이미지(210)의 변경된 방향에 기초하여 제 3 서브타입 증강현실 이미지(13)의 디스플레이 방향을 변경하여 디스플레이할 수 있다. HMD는 컨텐츠 이미지(210)의 변경된 방향과 같은 방향으로 제 3 서브타입 증강현실 이미지(13)의 디스플레이 방향을 변경하여 디스플레이할 수 있다. 이때, 제 3 서브타입 증강현실 이미지(13)의 디스플레이 위치는 제 3 위치로 유지될 수 있다.
상술한 바와 같이, 제 1 타입 증강현실 이미지(10)의 디스플레이 위치의 변경은 서브 타입에 관계없이 컨텐츠 이미지(210)의 회전에 독립적이나, 제 1 타입 증강현실 이미지(10) 중 제 3 서브타입의 디스플레이 방향의 변경은 컨텐츠 이미지(210)의 회전에 종속적일 수 있다.
도 6은 본 명세서의 일 실시예에 따른 HMD가 외부 디바이스의 회전에 따라 제 1 타입 증강현실 이미지 내지 제 3 타입 증강현실 이미지를 디스플레이하는 방법을 나타낸다.
여기서, 제 3 타입 증강현실 이미지(30)는 컨텐츠 이미지(210)에 연관된 증강현실 이미지로서, 컨텐츠 이미지(210)가 회전되지 않는 경우에도 외부 디바이스(200)의 회전에 따라 디스플레이 위치 및 디스플레이 방향 중 적어도 하나가 변경되어 디스플레이되는 증강현실 이미지를 의미할 수 있다.
도 6에서, 외부 디바이스(200)는 스마트폰이고, 컨텐츠 이미지(210)는 “John이 jogging”하는 내용에 대한 비디오 이미지일 수 있다. 그리고, 제 1 타입 증강현실 이미지(10)는 외부 디바이스(200)의 파워버튼에 연관된 증강현실 이미지로서, “power”라는 문자를 포함하는 증강현실 이미지일 수 있다. 그리고, 제 2 타입 증강현실 이미지(20)는 컨텐츠 이미지(210)의 내용에 연관된 증강현실 이미지로서, “John jogging”이라는 문자를 포함하는 증강현실 이미지일 수 있다. 그리고, 제 3 타입 증강현실 이미지(30)는 컨텐츠 이미지(210)의 종류에 연관된 증강현실 이미지로서, “video contents”라는 문자를 포함하는 증강현실 이미지일 수 있다.
도 6의 왼쪽에 도시된 바와 같이, 컨텐츠 이미지(210)가 디스플레이된 외부 디바이스(200)가 디텍트되는 경우, HMD는 기 설정된 디스플레이 방법에 기초하여 제 1 타입 증강현실 이미지(10), 제 2 타입 증강현실 이미지(20) 및 제 3 타입 증강현실 이미지(30)를 디스플레이할 수 있다.
예를 들면, 도 6의 왼쪽과 같이, HMD는 외부 디바이스(200)의 파워버튼(203)의 위치에 기초하여 제 1 위치에 제 1 타입 증강현실 이미지(10)를 디스플레이할 수 있다. 그리고, HMD는 제 2 위치에 제 2 타입 증강현실 이미지(20)를 디스플레이하고, 제 3 위치에 제 3 타입 증강현실 이미지(30)를 디스플레이할 수 있다. 이때, HMD는 제 3 타입 증강현실 이미지(30)와 컨텐츠 이미지(210)를 연결하는 인디케이터를 더 디스플레이할 수 있다.
도 6의 오른쪽에 도시된 바와 같이, 외부 디바이스(200)의 회전이 디텍트된 경우, HMD는 외부 디바이스(200)의 회전에 따라 제 1 타입 증강현실 이미지(10)의 디스플레이 위치를 변경하여 디스플레이할 수 있다. 예를 들면, 도 3의 오른쪽과 같이, 외부 디바이스(200)가 반시계 방향으로 90도 회전된 경우, HMD는 외부 디바이스(200)의 변경된 위치에 기초하여 제 1 타입 증강현실 이미지(10)의 디스플레이 위치를 제 1 위치에서 제 4 위치로 변경할 수 있다.
도 6의 오른쪽에 도시된 바와 같이, 컨텐츠 이미지(210)의 회전이 디텍트되지 않는 경우, HMD는 외부 디바이스(200)가 회전되어도 제 2 타입 증강현실 이미지(20)의 디스플레이 위치를 유지하여 디스플레이할 수 있다. 예를 들면, 도 3의 오른쪽에 도시된 바와 같이, 외부 디바이스(200)가 반시계 방향으로 90도 회전되었으나 컨텐츠 이미지(210)가 회전되지 않는 경우, HMD는 외부 디바이스(200)의 회전에도 불구하고 제 2 타입 증강현실 이미지(20)의 디스플레이 위치를 제 2 위치로 유지하여 디스플레이할 수 있다. 이때, HMD는 제 2 타입 증강현실 이미지(20)의 디스플레이 방향도 유지할 수 있다.
도 6의 오른쪽에 도시된 바와 같이, 컨텐츠 이미지(210)의 회전이 디텍트되지 않아도 외부 디바이스(200)의 회전이 디텍트된 경우, HMD는 외부 디바이스(200)의 회전에 따라 제 3 타입 증강현실 이미지(30)의 디스플레이 위치를 변경하여 디스플레이 할 수 있다. 예를 들면, 도 6의 오른쪽과 같이, 외부 디바이스(200)가 반시계 방향으로 90도 회전되었으나 컨텐츠 이미지(210)가 회전되지 않는 경우, HMD는 외부 디바이스(200)의 변경된 위치에 기초하여 제 3 타입 증강현실 이미지(30)의 디스플레이 위치를 제 3 위치에서 제 5 위치로 변경하여 디스플레이할 수 있다. 또한, HMD는 외부 디바이스(200)의 회전에 따라 제 3 타입 증강현실 이미지(30)의 디스플레이 방향도 변경할 수 있다.
상술한 바와 같이, 제 2 타입 증강현실 이미지(20) 및 제 3 타입 증강현실 이미지(30)는 모두 컨텐츠 이미지(210)에 연관된 증강현실 이미지이지만, 제 2 타입 증강현실 이미지(20)의 디스플레이 위치 및 방향의 변경은 외부 디바이스(200)의 회전에 독립적이나, 제 3 타입 증강현실 이미지(30)의 디스플레이 위치 및 방향의 변경은 외부 디바이스(200)의 회전에 종속적일 수 있다.
도 7은 본 명세서의 일 실시예에 따른 HMD의 구성도를 나타낸다. 도 7에서는 도 1 내지 도 6에서 상술한 설명과 유사하거나 중복되는 부분에 대한 상세한 설명은 생략하기로 한다.
또한, 이하에서 설명할 프로세서(740)의 동작들은 각 도면들을 참조하여 상술한 HMD의 동작에 대한 설명들에 대응된다. 즉, 본 명세서에서는 프로세서(740)와 HMD를 동일시하여 설명할 수 있다.
도 7을 참조하면, HMD는 카메라 유닛(710), 디스플레이 유닛(720), 커뮤니케이션 유닛(730) 및 프로세서(740)를 포함할 수 있다. 여기서, 커뮤니케이션 유닛(730)은 옵셔널한 구성일 수 있다.
카메라 유닛(710)은 화각 영역 내의 이미지를 캡쳐링할 수 있다. 본 명세서에서 카메라 유닛(710)은 HMD의 전면 방향의 이미지를 캡쳐링하고, 캡쳐링된 이미지를 프로세서(740)에 전달할 수 있다. 이때, 캡쳐링된 이미지는 외부 디바이스의 이미지 및 외부 디바이스에 디스플레이된 컨텐츠의 이미지를 포함할 수 있다.
디스플레이 유닛(720)은 이미지를 디스플레이할 수 있다. 본 명세서에서 디스플레이 유닛(720)은 증강현실 이미지를 디스플레이할 수 있다. 본 명세서에서 증강현실 이미지는 외부 디바이스에 연관된 제 1 타입 증강현실 이미지, 외부 디바이스에 디스플레이된 컨텐츠 이미지에 연관된 제 2 타입 증강현실 이미지 및 제 3 타입 증강현실 이미지를 포함할 수 있다. 여기서, 제 1 타입 증강현실 이미지는 외부 디바이스 또는 컨텐츠 이미지의 회전에 따라 디스플레이 위치 및 방향이 변경되는 방법의 차이에 의해 제 1 서브 타입, 제 2 서브 타입 및 제 3 서브 타입으로 나누어질 수 있다.
디스플레이 유닛(720)은 광학적 씨스루 디스플레이 패널로 구성될 수 있다. 디스플레이 유닛(720)이 광학적 씨스루 디스플레이 패널로 구성된 경우, HMD는 사용자가 씨스루 디스플레이 패널을 통해 바라보는 외부 디바이스 주변에 증강현실 이미지를 디스플레이할 수 있다.
커뮤니케이션 유닛(730)은 외부 디바이스와의 데이터 송/수신을 수행할 수 있다. 본 명세서, 커뮤니케이션 유닛(730)은 HMD와 외부 디바이스를 페어링할 수 있다. 보다 상세하게, 커뮤니케이션 유닛(730)은 HMD와 외부 디바이스를 페어링하기 위한 페어링 정보를 송/수신하고, 페어링 정보에 기초하여 HMD와 외부 디바이스를 페어링할 수 있다. 여기서, 페어링이란 HMD와 외부 디바이스를 유/무선으로 연결하는 것을 의미할 수 있다. 이때, HMD와 외부 디바이스가 유/무선으로 연결되는 방식은 제한되지 않는다.
또한, 커뮤니케이션 유닛(730)은 HMD에 페어링된 외부 디바이스로부터 외부 디바이스 정보 및 컨텐츠 정보를 수신할 수 있다. 여기서, 외부 디바이스 정보는 외부 디바이스에 대한 다양한 정보를 통칭하는 의미일 수 있다. 외부 디바이스 정보는 외부 디바이스의 종류에 대한 종류 정보, 외부 디바이스에 구비된 구성에 대한 구성 정보, 외부 디바이스의 위치 정보 및 방향 정보를 포함할 수 있다. 여기서, 컨텐츠 정보는 외부 디바이스에 디스플레이된 컨텐츠 이미지에 대한 다양한 정보를 통칭하는 의미일 수 있다. 컨텐츠 정보는 컨텐츠의 내용에 대한 내용 정보, 컨텐츠 이미지의 위치 정보 및 방향 정보를 포함할 수 있다.
프로세서(740)는 HMD에 구비된 적어도 하나의 유닛을 제어할 수 있다. 보다 상세하게는, 프로세서(740)는 상술한 각 유닛들을 제어하며, 각 유닛들간의 데이터 송신 및/또는 수신을 제어할 수 있다.
본 명세서에서 프로세서(740)는 외부 디바이스를 디텍트할 수 있다. 프로세서(740)는 카메라 유닛(710)에 의해 캡쳐링된 이미지로부터 외부 디바이스를 디텍트할 수 있다. 외부 디바이스가 디텍트되면, 프로세서(740)는 외부 디바이스 정보 또는 컨텐츠 정보를 획득할 수 있다. 이 경우, 프로세서(740)는 카메라 유닛(710)에 의해 캡쳐링된 이미지로부터 외부 디바이스 정보 및 컨텐츠 정보를 획득할 수 있다. 또한, HMD와 외부 디바이스가 페어링 된 경우, 프로세서(740)는 커뮤니케이션 유닛(730)을 통해 페어링된 외부 디바이스로부터 외부 디바이스 정보 및 컨텐츠 정보를 수신할 수도 있다. 또한, 프로세서(740)는 카메라 유닛(710)에 의해 캡쳐링된 이미지로부터 외부 디바이스 정보를 획득하고, 커뮤니케이션 유닛(730)을 통해 페어링된 외부 디바이스로부터 컨텐츠 정보를 획득할 수도 있다.
또한, 프로세서(740)는 외부 디바이스에 연관된 제 1 타입 증강현실 이미지를 디스플레이하고, 컨텐츠 이미지에 연관된 제 2 타입 증강현실 이미지를 디스플레이할 수 있다. 이때, 프로세서(740)는 외부 디바이스 정보에 기초하여 제 1 타입 증강현실 이미지를 디스플레이하고, 컨텐츠 정보에 기초하여 제 2 타입 증강현실 이미지를 디스플레이할 수 있다. 즉, 프로세서(740)는 외부 디바이스의 위치 또는 방향에 기초하여 제 1 타입 증강현실 이미지를 디스플레이하고, 컨텐츠 이미지의 위치 또는 방향에 기초하여 제 2 타입 증강현실 이미지를 디스플레이할 수 있다. 예를 들면, 프로세서(740)는 외부 디바이스의 위치와 인접한 위치에 제 1 타입 증강현실 이미지를 디스플레이하고, 컨텐츠 이미지의 방향과 동일한 방향으로 제 2 타입 증강현실 이미지를 디스플레이할 수 있다.
또한, 프로세서(740)는 외부 디바이스 및 컨텐츠 이미지의 회전을 디텍트할 수 있다. 이때, 프로세서(740)는 카메라 유닛(710)에 의해 캡쳐링된 이미지로부터 외부 디바이스 및 컨텐츠 이미지의 회전을 디텍트할 수 있다. 또한, 프로세서(740)는 카메라 유닛(710)에 의해 캡쳐링된 이미지로부터 외부 디바이스의 회전을 디텍트하고, 커뮤니케이션 유닛(730)에 의해 외부 디바이스로부터 수신된 컨텐츠 정보에 기초하여 컨텐츠 이미지의 회전을 디텍트할 수 있다.
또한, 외부 디바이스의 회전이 디텍트된 경우, 프로세서(740)는 외부 디바이스의 회전에 따라 제 1 타입 증강현실 이미지의 디스플레이 위치 및 디스플레이 방향 중 적어도 하나를 변경하여 디스플레이할 수 있다. 예를 들면, 제 1 타입 증강현실 이미지의 제 1 서브타입인 경우, 프로세서(740)는 외부 디바이스의 회전에 따라 디스플레이 위치 및 디스플레이 방향을 함께 변경하여 디스플레이할 수 있다. 다른 예를 들면, 제 1 타입 증강현실 이미지의 제 2 서브타입인 경우, 프로세서(740)는 외부 디바이스의 회전에 따라 디스플레이 위치를 변경하여 디스플레이하고, 디스플레이 방향을 유지할 수 있다.
또한, 컨텐츠 이미지의 회전이 디텍트된 경우, 프로세서(740)는 컨텐츠 이미지의 회전에 따라 제 2 타입 증강현실 이미지의 디스플레이 위치 및 디스플레이 방향 중 적어도 하나를 변경하여 디스플레이할 수 있다. 예를 들면, 프로세서(740)는 외부 디바이스의 회전에 따라 컨텐츠 이미지의 변경된 위치에 기초하여 제 2 타입 증강현실 이미지의 디스플레이 위치를 변경하여 디스플레이하고, 컨텐츠 이미지의 변경된 방향과 동일한 방향으로 제 2 타입 증강현실 이미지의 디스플레이 방향을 변경하여 디스플레이할 수 있다.
도 8는 본 명세서의 일 실시예에 따른 HMD의 제어방법에 대한 순서도를 나타낸다. 본 순서도에서는 도 1 내지 도 7에서 상술한 설명과 유사하거나 중복되는 부분에 대한 상세한 설명은 생략하기로 한다.
도 8을 참조하면, HMD는 외부 디바이스를 디텍트할 수 있다(S810). 이때, HMD는 카메라 유닛을 이용하여 외부 디바이스를 디텍트할 수 있다. 즉, HMD는 카메라 유닛에 의해 캡쳐링된 이미지로부터 외부 디바이스를 디텍트할 수 있다. 여기서, 외부 디바이스는 디스플레이 디바이스로서, 컨텐츠 이미지를 디스플레이하는 디바이스를 의미할 수 있다. 여기서, 컨텐츠 이미지는 외부 디바이스에 디스플레이되는 컨텐츠에 대응하는 이미지를 의미할 수 있다.
외부 디바이스가 디텍트되는 경우, HMD는 외부 디바이스 정보를 획득할 수 있다. 여기서, 외부 디바이스 정보는 외부 디바이스에 대한 다양한 정보를 통칭하는 의미일 수 있다. 디바이스 정보는 외부 디바이스의 종류에 대한 종류 정보, 외부 디바이스에 구비된 구성에 대한 구성 정보, 외부 디바이스의 위치 정보 및 방향 정보를 포함할 수 있다. HMD가 외부 디바이스 정보를 획득하는 방법에 대한 설명은 도 1에서 상술한 내용과 동일하므로 상세한 설명은 생략한다.
외부 디바이스가 디텍트되는 경우, HMD는 컨텐츠 정보를 획득할 수 있다. 여기서, 컨텐츠 정보는 외부 디바이스에 디스플레이된 컨텐츠 이미지에 대한 다양한 정보를 통칭하는 의미일 수 있다. 컨텐츠 정보는 컨텐츠의 내용에 대한 내용 정보, 컨텐츠 이미지의 위치 정보 및 방향 정보를 포함할 수 있다. HMD가 컨텐츠 정보를 획득하는 방법에 대한 설명은 도 1에서 상술한 내용과 동일하므로 상세한 설명은 생략한다.
다음으로, HMD는 외부 디바이스에 연관된 제 1 타입 증강현실 이미지를 디스플레이할 수 있다(S820). 이때, HMD는 디스플레이 유닛을 이용하여 제 1 타입 증강현실 이미지를 디스플레이할 수 있다. 여기서, 제 1 타입 증강현실 이미지는 외부 디바이스에 연관된 증강현실 이미지일 수 있다. 일 실시예에 따르면, HMD는 외부 디바이스 정보에 기초하여 제 1 타입 증강현실 이미지를 획득하고, 디스플레이 유닛에 디스플레이할 수 있다. 이때, HMD는 내부 스토리지 유닛으로부터 제 1 타입 증강현실 이미지를 획득하거나, 커뮤니케이션 유닛을 통해 외부 서버로부터 제 1 타입 증강현실 이미지를 획득할 수 있다.
다음으로, HMD는 컨텐츠 이미지에 연관된 제 2 타입 증강현실 이미지를 디스플레이할 수 있다(S830). 이때, HMD는 디스플레이 유닛을 이용하여 제 2 타입 증강현실 이미지를 디스플레이할 수 있다. 여기서, 제 2 타입 증강현실 이미지는 외부 디바이스에 디스플레이된 컨텐츠 이미지에 연관된 증강현실 이미지일 수 있다. 일 실시예에 따르면, HMD는 컨텐츠 정보에 기초하여 제 2 타입 증강현실 이미지를 획득하고, 디스플레이 유닛에 디스플레이할 수 있다. 이때, HMD는 내부 스토리지 유닛으로부터 제 2 타입 증강현실 이미지를 획득하거나, 커뮤니케이션 유닛을 통해 외부 서버로부터 제 2 타입 증강현실 이미지를 획득할 수 있다.
다음으로, HMD는 외부 디바이스 또는 컨텐츠 이미지의 회전을 디텍트할 수 있다(S840). 본 명세서에서, 외부 디바이스 및 컨텐츠 이미지의 회전은 HMD를 기준으로 하는 외부 디바이스 및 컨텐츠 이미지의 회전을 의미할 수 있다. 즉, 외부 디바이스를 기준으로 하는 컨텐츠 이미지의 회전 또는 컨텐츠 이미지(210)를 기준으로 하는 외부 디바이스의 회전을 의미하지 않는다. 이러한, 외부 디바이스 및 컨텐츠 이미지의 회전은 서로 독립적일 수 있다. 또한, 컨텐츠 이미지의 회전은 외부 디바이스의 회전에 종속적일 수 있다.
일 실시예에 따르면, HMD는 카메라 유닛에 의해 캡쳐링된 이미지로부터 외부 디바이스 및 컨텐츠 이미지의 회전을 디텍트할 수 있다. 다른 실시예에 따르면, HMD는 카메라 유닛에 의해 캡쳐링된 이미지로부터 외부 디바이스의 회전을 디텍트하고, 커뮤니케이션 유닛에 의해 외부 디바이스로부터 수신된 컨텐츠 정보에 기초하여 컨텐츠 이미지의 회전을 디텍트할 수 있다.
다음으로, 외부 디바이스의 회전이 디텍트된 경우, HMD는 외부 디바이스의 회전에 따라 제 1 타입 증강현실 이미지의 디스플레이 위치를 변경하여 디스플레이할 수 있다(S850). 이 경우, HMD는 도 2의 오른쪽 상단 및 하단에 도시된 바와 같이, 외부 디바이스의 회전에도 불구하고 제 1 타입 증강현실 이미지의 디스플레이 방향을 유지할 수 있다. 또한, HMD는 도 3에 도시된 바와 같이, 외부 디바이스의 회전에 따라 제 1 타입 증강현실 이미지의 디스플레이 방향을 더 변경하여 디스플레이할 수 있다.
다음으로, 컨텐츠 이미지의 회전이 디텍트된 경우, HMD는 컨텐츠 이미지의 회전에 따라 제 2 타입 증강현실 이미지의 디스플레이 위치를 변경하여 디스플레이할 수 있다(S860). 이 경우, HMD는 도 2의 오른쪽 상단에 도시된 바와 같이, 컨텐츠 이미지의 회전에도 불구하고 제 2 타입 증강현실 이미지의 디스플레이 방향을 유지할 수 있다. 또한, HMD는 도 4에 도시된 바와 같이, 컨텐츠 이미지의 회전에 따라 제 2 타입 증강현실 이미지의 디스플레이 방향을 더 변경하여 디스플레이할 수 있다.
또한, 도 2의 오른쪽 하단에 도시된 바와 같이, 컨텐츠 이미지의 회전이 디텍트되지 않는 경우, HMD는 외부 디바이스가 회전되어도 제 2 타입 증강현실 이미지의 디스플레이 위치를 유지하여 디스플레이할 수 있다. 이 경우, HMD는 제 2 타입 증강현실 이미지의 디스플레이 방향도 유지할 수 있다.
또한, 이상에서는 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 명세서는 상술한 특정의 실시예에 한정되지 아니하며, 청구 범위에서 청구하는 요지를 벗어남이 없이 당해 명세서가 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 명세서의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
또한, 본 명세서의 HMD 및 그 제어 방법은 네트워크 디바이스에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, 자기 테이프, 플로피디스크, 광 데이터 저장 장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
또한, 본 명세서에서의 각도, 거리 및 방향은 정확한 값을 의미할 뿐 아니라, 일정 범위의 실질적인 각도, 거리 및 방향을 포함하는 것으로 볼 수 있다. 즉, 본 명세서의 각도, 거리 및 방향은 실질적인 각도, 거리 및 방향을 나타낼 수 있고, 일정 범위의 오차가 존재할 수 있다.
또한, 본 명세서에서는 물건 발명과 방법 발명이 모두 설명되고 있으며, 필요에 따라 양 발명의 설명은 보충적으로 적용될 수 있다.
10: 제 1 타입 증강현실 이미지 20: 제 2 타입 증강현실 이미지
30: 제 3 타입 증강현실 이미지 100: HMD
200: 외부 디바이스

Claims (20)

  1. HMD(head mounted display)에 있어서,
    상기 HMD의 전면 방향의 이미지를 캡쳐링하는 카메라 유닛;
    증강현실 이미지를 디스플레이하는 디스플레이 유닛; 및
    상기 카메라 유닛 및 상기 디스플레이 유닛을 제어하는 프로세서를 포함하며,
    상기 프로세서는,
    외부 디바이스를 디텍트하되, 상기 외부 디바이스는 컨텐츠 이미지를 디스플레이하고,
    상기 외부 디바이스에 연관된 제 1 타입 증강현실 이미지를 디스플레이하고,
    상기 외부 디바이스에 디스플레이된 컨텐츠 이미지에 연관된 제 2 타입 증강현실 이미지를 디스플레이하고,
    상기 외부 디바이스의 회전에 따라 상기 제 1 타입 증강현실 이미지의 디스플레이 위치를 변경하여 디스플레이하고,
    상기 컨텐츠 이미지의 회전에 따라 상기 제 2 타입 증강현실 이미지의 디스플레이 위치를 변경하여 디스플레이하되,
    상기 컨텐츠 이미지가 회전되지 않는 경우, 상기 외부 디바이스가 회전되어도 상기 제 2 타입 증강현실 이미지의 디스플레이 위치는 유지되는, HMD.
  2. 제 1 항에 있어서,
    상기 외부 디바이스가 회전되지 않는 경우, 상기 컨텐츠 이미지가 회전되어도 상기 제 1 타입 증강현실 이미지의 디스플레이 위치는 유지되는, HMD.
  3. 제 1 항에 있어서,
    상기 프로세서는,
    상기 외부 디바이스의 회전에 따라 상기 제 1 타입 증강현실 이미지의 디스플레이 방향을 변경하여 디스플레이하는, HMD.
  4. 제 1 항에 있어서,
    상기 프로세서는,
    상기 컨텐츠 이미지의 회전에 따라 상기 제 2 타입 증강현실 이미지의 디스플레이 방향을 변경하여 디스플레이하는, HMD.
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 제 1 항에 있어서,
    상기 프로세서는,
    상기 컨텐츠 이미지에 연관된 증강현실 이미지로서, 상기 컨텐츠 이미지가 회전되지 않는 경우에도 상기 외부 디바이스의 회전에 따라 디스플레이 위치 및 디스플레이 방향 중 적어도 하나가 변경되어 디스플레이되는 제 3 타입 증강현실 이미지를 더 디스플레이하는, HMD.
  10. 제 1 항에 있어서,
    상기 외부 디바이스의 회전 및 상기 컨텐츠 이미지의 회전은 서로 독립적인, HMD.
  11. 제 1 항에 있어서,
    상기 프로세서는,
    상기 외부 디바이스가 회전되지 않는 경우에도, 상기 외부 디바이스의 디스플레이 모드가 가로 모드(landscape mode)에서 세로 모드(portrait mode)로 변경되거나, 또는 세로 모드에서 가로 모드로 변경되는 경우, 상기 컨텐츠 이미지의 회전을 디텍트하는, HMD.
  12. 제 1 항에 있어서,
    상기 제 1 타입 증강현실 이미지의 디스플레이 위치는 상기 외부 디바이스의 회전에 종속되고, 상기 컨텐츠 이미지의 회전에 독립되며,
    상기 제 2 타입 증강현실 이미지의 디스플레이 위치는 상기 컨텐츠 이미지의 회전에 종속되고, 상기 외부 디바이스의 회전에 독립되는, HMD.
  13. 제 1 항에 있어서,
    상기 제 2 타입 증강현실 이미지의 디스플레이 방향은 상기 컨텐츠 이미지의 방향에 종속되는, HMD.
  14. 제 1 항에 있어서,
    상기 프로세서는,
    상기 캡쳐링된 이미지로부터 상기 외부 디바이스를 디텍트하고,
    상기 디텍트된 외부 디바이스에 대한 외부 디바이스 정보를 획득하는, HMD.
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
KR1020140019523A 2014-02-20 2014-02-20 Hmd 및 그 제어 방법 KR102182162B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020140019523A KR102182162B1 (ko) 2014-02-20 2014-02-20 Hmd 및 그 제어 방법
US14/254,577 US9007401B1 (en) 2014-02-20 2014-04-16 Head mounted display and method for controlling the same
EP14882848.6A EP3111272B1 (en) 2014-02-20 2014-05-09 Head mounted display and method for controlling the same
PCT/KR2014/004163 WO2015126006A1 (en) 2014-02-20 2014-05-09 Head mounted display and method for controlling the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140019523A KR102182162B1 (ko) 2014-02-20 2014-02-20 Hmd 및 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20150098362A KR20150098362A (ko) 2015-08-28
KR102182162B1 true KR102182162B1 (ko) 2020-11-24

Family

ID=52782248

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140019523A KR102182162B1 (ko) 2014-02-20 2014-02-20 Hmd 및 그 제어 방법

Country Status (4)

Country Link
US (1) US9007401B1 (ko)
EP (1) EP3111272B1 (ko)
KR (1) KR102182162B1 (ko)
WO (1) WO2015126006A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11990067B2 (en) 2021-09-15 2024-05-21 Samsung Electronics Co., Ltd. Method and device to display extended screen of mobile device

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9420251B2 (en) 2010-02-08 2016-08-16 Nikon Corporation Imaging device and information acquisition system in which an acquired image and associated information are held on a display
US10613642B2 (en) * 2014-03-12 2020-04-07 Microsoft Technology Licensing, Llc Gesture parameter tuning
KR20170046415A (ko) 2015-10-21 2017-05-02 엘지전자 주식회사 이동 단말기 및 그 제어방법
WO2017069381A1 (en) * 2015-10-21 2017-04-27 Lg Electronics Inc. Mobile terminal and method for controlling the same
WO2017200279A1 (en) * 2016-05-17 2017-11-23 Samsung Electronics Co., Ltd. Method and apparatus for facilitating interaction with virtual reality equipment
KR20180002208A (ko) * 2016-06-29 2018-01-08 엘지전자 주식회사 단말기 및 그 제어 방법
US10248189B2 (en) * 2016-07-29 2019-04-02 Lenovo (Singapore) Pte. Ltd. Presentation of virtual reality object based on one or more conditions
JP7005753B2 (ja) 2017-09-29 2022-02-10 アップル インコーポレイテッド プライバシースクリーン
CN111142720B (zh) * 2018-11-06 2022-02-08 比亚迪股份有限公司 车机屏幕旋转显示方法和装置
KR101998695B1 (ko) * 2019-05-16 2019-07-11 주식회사 다윈에어로테크 군수송기 비행조종 결함수분석법을 위한 3d 시험장비 시스템 및 그 방법
KR102290328B1 (ko) * 2020-11-16 2021-08-18 코리아에프티 주식회사 영상 출력 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130187835A1 (en) 2012-01-25 2013-07-25 Ben Vaught Recognition of image on external display
US20130321390A1 (en) 2012-05-31 2013-12-05 Stephen G. Latta Augmented books in a mixed reality environment

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040201595A1 (en) * 2003-04-11 2004-10-14 Microsoft Corporation Self-orienting display
JP2006154902A (ja) 2004-11-25 2006-06-15 Olympus Corp 手書き画像表示システム及び空間手書き用携帯情報端末
JP5158006B2 (ja) 2009-04-23 2013-03-06 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
US20120102438A1 (en) * 2010-10-22 2012-04-26 Robinson Ian N Display system and method of displaying based on device interactions
US8576276B2 (en) * 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
KR101315303B1 (ko) * 2011-07-11 2013-10-14 한국과학기술연구원 착용형 디스플레이 장치 및 컨텐츠 디스플레이 방법
US20130297460A1 (en) 2012-05-01 2013-11-07 Zambala Lllp System and method for facilitating transactions of a physical product or real life service via an augmented reality environment
US20130293530A1 (en) 2012-05-04 2013-11-07 Kathryn Stone Perez Product augmentation and advertising in see through displays
TW201349844A (zh) 2012-05-23 2013-12-01 Univ Nat Taiwan 產生裸眼3d效果之方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130187835A1 (en) 2012-01-25 2013-07-25 Ben Vaught Recognition of image on external display
US20130321390A1 (en) 2012-05-31 2013-12-05 Stephen G. Latta Augmented books in a mixed reality environment

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11990067B2 (en) 2021-09-15 2024-05-21 Samsung Electronics Co., Ltd. Method and device to display extended screen of mobile device

Also Published As

Publication number Publication date
EP3111272A4 (en) 2017-11-01
EP3111272B1 (en) 2018-08-22
KR20150098362A (ko) 2015-08-28
WO2015126006A1 (en) 2015-08-27
EP3111272A1 (en) 2017-01-04
US9007401B1 (en) 2015-04-14

Similar Documents

Publication Publication Date Title
KR102182162B1 (ko) Hmd 및 그 제어 방법
KR102182161B1 (ko) Hmd 및 그 제어 방법
US10832448B2 (en) Display control device, display control method, and program
US11410276B2 (en) Determination of an operation
US9959623B2 (en) Display of an annotation representation
JP6459972B2 (ja) 表示制御装置、表示制御方法、およびプログラム
KR102292192B1 (ko) 증강 현실 이미지를 디스플레이 하는 디스플레이 시스템 및 그 제어 방법
JP2015095802A (ja) 表示制御装置、表示制御方法、およびプログラム
EP3241093B1 (en) Electronic system with gesture calibration mechanism and method of operation thereof
JP5983499B2 (ja) 表示制御装置、表示制御方法、およびプログラム
CN106468950B (zh) 电子系统、便携式显示装置及导引装置
JP6288084B2 (ja) 表示制御装置、表示制御方法および記録媒体
JPWO2014188798A1 (ja) 表示制御装置、表示制御方法および記録媒体
KR20150096948A (ko) 증강 현실 사진 촬영 가이드를 디스플레이 하는 헤드 마운티드 디스플레이 디바이스 및 그 제어 방법
US20180203579A1 (en) Providing augmented reality links to stored files
US11366318B2 (en) Electronic device and control method thereof
WO2016027527A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6264982B2 (ja) 情報表示装置、情報表示システム及びプログラム
KR102262019B1 (ko) 네트워크 속도 반응형 확장현실(xr) 커뮤니케이션 방법 및 시스템
JP2023044464A (ja) 映像表示システム、映像表示装置、および映像表示方法
KR20220095787A (ko) 맞춤형 네트워크 전송 정보 퀄리티 조정 방법 및 시스템
US20180025522A1 (en) Displaying location-specific content via a head-mounted display device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant