KR20150101612A - 폐쇄형 시야(Closed-view)를 제공하는 헤드 마운티드 디스플레이 및 그 제어 방법 - Google Patents

폐쇄형 시야(Closed-view)를 제공하는 헤드 마운티드 디스플레이 및 그 제어 방법 Download PDF

Info

Publication number
KR20150101612A
KR20150101612A KR1020140023108A KR20140023108A KR20150101612A KR 20150101612 A KR20150101612 A KR 20150101612A KR 1020140023108 A KR1020140023108 A KR 1020140023108A KR 20140023108 A KR20140023108 A KR 20140023108A KR 20150101612 A KR20150101612 A KR 20150101612A
Authority
KR
South Korea
Prior art keywords
real object
hmd
movement
user
virtual reality
Prior art date
Application number
KR1020140023108A
Other languages
English (en)
Inventor
조은형
이도영
김종호
천시내
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020140023108A priority Critical patent/KR20150101612A/ko
Priority to US14/322,602 priority patent/US20150243079A1/en
Priority to PCT/KR2014/005967 priority patent/WO2015129966A1/en
Publication of KR20150101612A publication Critical patent/KR20150101612A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • G02B2027/0167—Emergency system, e.g. to prevent injuries
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Abstract

본 명세서의 일 실시예에 따른 HMD 제어 방법은 폐쇄형 시야(Closed-view)를 갖는 가상 현실 이미지를 디스플레이하는 단계, HMD의 외부에 위치한 제1 리얼 오브젝트의 제1 무브먼트를 디텍트하는 단계, 및 제1 무브먼트에 기초하여 가상 현실 이미지의 제1 부분에 선택적으로 제1 리얼 오브젝트의 정보를 제공하는 단계를 포함하고, 여기서 제1 부분은 제1 리얼 오브젝트의 위치에 대응하여 설정되고, 제1 리얼 오브젝트의 제1 무브먼트를 디텍트하는 단계에서, 제1 무브먼트는 HMD의 제2 무브먼트에 의해 보상될 수 있다.

Description

폐쇄형 시야(Closed-view)를 제공하는 헤드 마운티드 디스플레이 및 그 제어 방법{Head Mounted Display with closed-view and Method for controlling the same}
본 명세서는 헤드 마운티드 디스플레이에 대한 것으로, 특히 헤드 마운티드 디스플레이를 착용한 사용자에게 폐쇄형 시야를 제공하는 헤드 마운티드 디스플레이 및 그 제어 방법에 대한 것이다.
헤드 마운티드 디스플레이는 가상 현실 이미지를 디스플레이할 수 있으며, 사용자에게 가상 현실 이미지를 제공할 수 있다. 헤드 마운티드 디스플레이는 사용자가 현실 세계의 리얼 오브젝트의 정보와 가상 현실 이미지를 함께 볼 수 있는 개방형 시야(open-view) 타입 또는 사용자가 가상 현실 이미지만을 볼 수 있는 폐쇄형 시야(closed-view) 타입으로 구분될 수 있다.
폐쇄형 시야 타입의 헤드 마운티드 디스플레이는 가상 현실 이미지만을 사용자에게 제공함으로써 사용자에게 증가된 몰입감을 줄 수 있는 장점이 있다. 하지만, 폐쇄형 시야 타입의 헤드 마운티드 디스플레이는 현실 세계의 리얼 오브젝트에 대한 정보를 사용자에게 제공할 수 없어 사용자가 현실 세계에서 발생한 이벤트를 인지할 수 없는 문제점이 있다.
본 명세서는, 폐쇄형 시야 타입의 헤드 마운티드 디스플레이 및 그의 제어 방법을 제공하고자 한다. 특히 본 명세서는 폐쇄형 시야 타입의 헤드 마운티드 디스플레이에 현실 세계의 리얼 오브젝트의 정보를 제공하는 장치 및 방법을 제시하고자 한다.
본 명세서의 일 실시예에 따른 헤드 마운티드 디스플레이는 폐쇄형 시야를 제공하며 가상 현실 이미지를 디스플레이하는 디스플레이 유닛, HMD의 외부에 위치한 리얼 오브젝트를 센싱하는 센서 유닛, 디스플레이 유닛 및 센서 유닛을 컨트롤하는 컨트롤러를 포함하고, 컨트롤러는 센서 유닛을 통해 제1 리얼 오브젝트의 제1 무브먼트를 디텍트하고, 제1 무브먼트에 기초하여 가상 현실 이미지의 제1 부분에 선택적으로 제1 리얼 오브젝트의 정보를 제공하고, 여기서, 제1 부분은 제1 리얼 오브젝트의 위치에 대응하여 설정되고, 컨트롤러는 제1 리얼 오브젝트의 제1 무브먼트를 디텍트함에 있어서, 제1 리얼 오브젝트를 센싱한 센서 유닛의 제2 무브먼트를 보상할 수 있다.
또한 본 명세서의 일 실시예에 따른 헤드 마운티드 디스플레이 제어 방법은 폐쇄형 시야를 갖는 가상 현실 이미지를 디스플레이하는 단계, HMD의 외부에 위치한 제1 리얼 오브젝트의 제1 무브먼트를 디텍트하는 단계, 및 제1 무브먼트에 기초하여 가상 현실 이미지의 제1 부분에 선택적으로 제1 리얼 오브젝트의 정보를 제공하는 단계를 포함하고, 여기서 제1 부분은 제1 리얼 오브젝트의 위치에 대응하여 설정되고, 제1 리얼 오브젝트의 제1 무브먼트를 디텍트하는 단계에서, 제1 무브먼트는 HMD의 제2 무브먼트에 의해 보상될 수 있다.
본 명세서에 따르면, 헤드 마운티드 디스플레이는 폐쇄형 시야를 통해 가상 현실 이미지를 제공할 수 있다.
또한, 본 명세서에 따르면, 헤드 마운티드 디스플레이는 가상 현실 이미지와 함께 현실 세계의 리얼 오브젝트의 정보를 제공할 수 있다.
또한, 본 명세서에 따르면, 헤드 마운티드 디스플레이는 현실 세계의 리얼 오브젝트의 움직임을 디텍트할 수 있다.
또한, 본 명세서에 따르면, 헤드 마운티드 디스플레이는 움직임이 디텍트된 리얼 오브젝트의 이미지를 가상 현실 이미지와 함께 사용자에게 제공할 수 있다.
또한, 본 명세서에 따르면, 헤드 마운티드 디스플레이는 리얼 오브젝트와의 거리에 기초하여 리얼 오브젝트의 이미지를 가상 현실 이미지와 함께 제공할 수 있다.
또한, 본 명세서에 따르면, 헤드 마운티드 디스플레이는 움직임이 없는 리얼 오브젝트가 기설정된 거리 이하로 근접한 경우 리얼 오브젝트의 이미지를 가상 현실 이미지와 함께 제공할 수 있다.
도 1은 본 명세서의 일 실시예에 따른 헤드 마운티드 디스플레이를 나타낸 도면이다.
도 2는 본 명세서의 일 실시예에 따른 HMD가 제공하는 가상 현실 이미지의 모양을 나타낸 도면이다.
도 3은 본 명세서의 일 실시예에 따른 HMD가 제공하는 가상 현실 이미지를 나타낸 도면이다.
도 4는 본 명세서의 일 실시예에 따른 HMD가 리얼 오브젝트의 무브먼트에 따라 리얼 오브젝트에 대한 정보를 디스플레이하는 방법을 나타낸 도면이다.
도 5는 본 명세서의 일 실시예에 따른 HMD가 무브먼트가 발생된 리얼 오브젝트에 대한 정보를 선택적으로 사용자에게 제공하는 방법을 나타낸 도면이다.
도 6은 본 명세서의 일 실시예에 따른 HMD가 고정된 리얼 오브젝트와의 거리에 따라 정보를 제공하는 방법을 나타낸 도면이다.
도 7은 본 명세서의 일 실시예에 따른 HMD가 인디케이터를 디스플레이하는 방법을 나타낸 도면이다.
도 8은 본 명세서의 일 실시예에 따른 HMD가 PIP(picture in picture)를 이용하여 리얼 오브젝트의 정보를 디스플레이하는 방법을 나타낸 도면이다.
도 9는 본 명세서의 일 실시예에 따른 HMD의 블록도를 나타낸 도면이다.
도 10은 본 명세서의 일 실시예에 따른 HMD의 동작 순서도를 나타낸 도면이다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 실시 예를 상세하게 설명하지만, 청구하고자 하는 범위는 실시 예들에 의해 제한되거나 한정되는 것은 아니다.
본 명세서에서 사용되는 용어는 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 명세서의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
아래에서 헤드 마운티드 디스플레이는 가상 현실 이미지뿐만 아니라 반구 형태의 영화 이미지, 동영상 이미지, 정지 이미지를 디스플레이할 수 있다. 아래에서는 가상 현실 이미지를 예로 들어 설명하나 본 명세서의 실시예는 이에 제한되지 않는다.
도 1은 본 명세서의 일 실시예에 따른 헤드 마운티드 디스플레이(Head Mounted Display, 이하 HMD로 칭함)를 나타낸 도면이다. 사용자(10)는 HMD(11)를 착용할 수 있다. 사용자(10)는 도 1에 도시된 바와 같이 실내에서 HMD(11)를 사용할 수 있으며 경우에 따라 실외에서도 HMD(11)를 사용할 수 있다.
HMD(11)는 가상 현실 이미지를 제공하기에 앞서, 사용자의 주변 환경을 스캔할 수 있다. HMD(11)는 360도 이미지를 촬영할 수 있는 광각 카메라 또는 회전 카메라를 포함할 수 있다. HMD(11)는 광각 카메라를 이용하여 주변 환경을 스캔하거나 회전 카메라를 회전시켜 주변 환경을 스캔할 수 있다. HMD(11)는 주변 환경에 대한 스캔 결과로부터 HMD(11)의 외부에 위치한 리얼 오브젝트(12)를 디텍트할 수 있다. HMD(11)는 주변 환경의 이미지를 주기적 또는 연속적으로 스캔할 수 있다. HMD(11)는 서로 다른 두 시점에 각각 스캔된 주변 환경 이미지를 비교하여 리얼 오브젝트(12)가 무브먼트를 갖는지 여부를 결정할 수 있다. 즉, HMD(11)는 두 개의 주변 환경 이미지를 비교하여 변화된 부분이 있는 리얼 오브젝트에 대해 무브먼트를 갖는다고 결정할 수 있다.
폐쇄형 시야를 제공하는 HMD(11)는 사용자의 주변 환경에 대한 시야를 차단할 수 있다. 따라서 HMD(11)가 리얼 오브젝트(12)에 대한 별도의 정보를 제공하지 않는 경우, HMD(11)를 착용한 사용자는 리얼 오브젝트(12)에 대한 정보를 제공받을 수 없다. 따라서 HMD를 착용한 사용자의 주변 환경에서 위험 상황이 발생한 경우에도 사용자는 이에 대한 정보를 제공받을 수 없다. 이하에서는 주변 환경에 위치한 리얼 오브젝트(12)의 정보를 제공하는 HMD(11)에 대해 설명한다.
도 2는 본 명세서의 일 실시예에 따른 HMD가 제공하는 가상 현실 이미지의 모양을 나타낸 도면이다. HMD(11)는 사용자(20)에게 가상 현실 이미지를 제공할 수 있다. HMD(11)는 도 2의 상단과 같이 사용자를 360도로 둘러싼 원통 형태의 가상 현실 이미지(21)를 제공할 수 있다. HMD(11)는 사용자의 전후좌우에 가상 현실 이미지(21)를 제공할 수 있다. 따라서 사용자(20)는 고개를 돌려 사용자의 시선이 향하는 방향에 디스플레이된 가상 현실 이미지(21)를 확인할 수 있다. 이를 통해 HMD(11)는 사용자가 현실 세계가 아닌 가상 현실 세계에 속해 있는 것으로 인지하도록 할 수 있다.
HMD(11)는 도 2의 하단과 같이 사용자(20)를 360도로 둘러싼 반구 형태의 가상 현실 이미지(22)를 제공할 수 있다. HMD(11)는 사용자의 전후좌우 뿐만 아니라 사용자의 상향에도 가상 현실 이미지(22)를 제공할 수 있다. 따라서 사용자(20)는 고개를 돌려 사용자의 시선이 향하는 방향에 대응하는 가상 현실 이미지(22)를 확인할 수 있다. 이를 통해 HMD(11)는 사용자가 현실 세계가 아닌 가상 현실 세계에 속해 있는 것으로 인지하도록 할 수 있다.
HMD(11)는 위에서 설명한 원통 형태 및 반구 형태 뿐만 아니라 구형태의 가상 현실 이미지를 제공하여 사용자의 상하전후좌우에 가상 현실 이미지를 제공할 수도 있다. 또한 본 명세서의 HMD(11)가 제공하는 가상 현실 이미지의 형태는 위의 실시예에 의해 제한되지 않으며 HMD(11)는 다양한 형태의 가상 현실 이미지를 사용자에게 제공할 수 있다.
도 3은 본 명세서의 일 실시예에 따른 HMD가 제공하는 가상 현실 이미지를 나타낸 도면이다. HMD(11)는 사용자에게 폐쇄형 시야(30)를 제공할 수 있다. HMD(11)는 디스플레이 유닛을 통해 사용자에게 제공된 폐쇄형 시야(30)에 가상 현실 이미지(31)를 디스플레이할 수 있다. HMD(11)는 투명한 디스플레이 유닛에 불투명한 가상 현실 이미지(31)를 디스플레이하여 사용자에게 폐쇄형 시야(30)를 제공할 수 있다. 또한 다른 실시예로, HMD(11)는 불투명한 디스플레이 유닛에 가상 현실 이미지(31)를 디스플레이할 수도 있다.
폐쇄형 시야(30)에 제공된 가상 현실 이미지(31)는 HMD(11)의 외부의 현실 세계에 대한 사용자의 시야를 차단할 수 있다. 따라서 사용자는 HMD(11)를 착용한 상태에서 현실 세계에 위치한 리얼 오브젝트(32)에 대한 정보를 얻기 어려울 수 있다.
도 4는 본 명세서의 일 실시예에 따른 HMD가 리얼 오브젝트의 무브먼트에 따라 리얼 오브젝트에 대한 정보를 디스플레이하는 방법을 나타낸 도면이다. HMD(11)는 현실 세계에 위치한 리얼 오브젝트의 무브먼트를 디텍트하고, 무브먼트가 디텍트된 리얼 오브젝트의 정보를 사용자에게 제공할 수 있다.
HMD(11)는 디스플레이 유닛을 이용하여 사용자에게 폐쇄형 시야(40)를 제공할 수 있다. HMD(11)는 폐쇄형 시야(40)에 가상 현실 이미지(41)를 디스플레이하고, 사용자로 하여금 가상 현실 세계에 위치한 것처럼 느끼게 할 수 있다. 가상 현실 이미지(41)가 디스플레이되면, HMD(11)는 현실 세계의 제1 리얼 오브젝트(42)에 대한 사용자의 시야를 차단할 수 있다. 따라서, HMD(11)를 착용한 상태에서 사용자는 제1 리얼 오브젝트(42)에 대한 정보를 얻을 수 없다.
본 명세서의 일 실시예에 따른 HMD(11)는 현실 세계에 위치한 제2 리얼 오브젝트(43)의 무브먼트를 디텍트할 수 있다. HMD(11)는 무브먼트가 디텍트된 제2 리얼 오브젝트(43)에 대한 정보를 사용자에게 제공할 수 있다. 즉, HMD(11)는 현실 세계의 리얼 오브젝트들 중에서 무브먼트가 디텍트된 적어도 하나의 리얼 오브젝트의 정보를 사용자에게 제공할 수 있다. 이를 통해 사용자는 HMD(11)를 통해 가상 현실 이미지를 제공받는 중에도 리얼 오브젝트에 대한 정보를 함께 제공받을 수 있다. HMD(11)는 가상 현실 이미지 중 무브먼트가 디텍트된 리얼 오브젝트의 위치에 대응하는 부분을 이용하여 리얼 오브젝트에 대한 정보를 사용자에게 제공할 수 있다.
HMD(11)는 폐쇄형 시야(40) 중 제1 부분을 일시적으로 개방향 시야를 제공하도록 전환하여 제2 리얼 오브젝트(43)에 대한 정보를 제공할 수 있다. 즉, HMD(11)는 무브먼트가 디텍트된 제2 리얼 오브젝트에 대응하여 제1 부분을 광학적 시스루(see-through) 영역으로 전환할 수 있다. 광학적 시스루 영역이란, 해당 영역의 빛 투과율을 증가시켜 외부의 빛을 통과시킴으로써 현실 세계에 위치한 리얼 오브젝트를 사용자의 눈으로 확인할 수 있는 영역을 의미할 수 있다.
또한 실시예에 따라 HMD(11)는 폐쇄형 시야(40)에 디스플레이된 가상 현실 이미지(41)에 오버랩하여 제2 리얼 오브젝트의 이미지(44)를 디스플레이할 수 있다. 즉, HMD(11)는 무브먼트가 디텍트된 제2 리얼 오브젝트에 대응하여 제1 부분을 비디오 시스루 영역으로 전환할 수 있다. 비디오 시스루 영역이란, HMD의 외부 영역에 위치한 리얼 오브젝트의 영상을 카메라로 촬영하고, 리얼 오브젝트의 영상을 실시간으로 폐쇄형 시야(40)에 디스플레이함으로써 현실 세계에 위치한 리얼 오브젝트를 사용자의 눈으로 확인할 수 있는 영역을 의미할 수 있다.
HMD(11)는 제2 리얼 오브젝트의 이미지(44)의 형상, HMD(11)로부터의 거리, 크기 및 위치에 기초하여 제1 부분을 결정할 수 있다. 사용자는 HMD(11)를 착용한 상태에서도 제1 부분을 통해 제2 리얼 오브젝트에 대한 정보를 제공받을 수 있다. 예를 들어 도 4에서 HMD(11)는 사용자의 정면 좌측에서 제1 리얼 오브젝트(42)를 디텍트하고 정면 우측에서 제2 리얼 오브젝트(43)를 디텍트할 수 있다. HMD(11)는 제1 리얼 오브젝트와 제2 리얼 오브젝트 중 무브먼트가 디텍트된 제2 리얼 오브젝트(43)에 대응하여 제1 부분을 결정할 수 있다. 제2 리얼 오브젝트는 HMD(11)의 정면 우측 영역에 위치하므로, HMD(11)는 사용자에게 제공 중인 가상 현실 이미지 중 우측 영역을 제1 부분으로 결정할 수 있다. HMD(11)는 제1 부분을 일시적으로 광학적 시스루 영역으로 전환하거나 비디오 시스루 영역으로 전환하여 제2 리얼 오브젝트(43)에 대한 정보를 사용자에게 제공할 수 있다.
도 5는 본 명세서의 일 실시예에 따른 HMD가 무브먼트가 발생된 리얼 오브젝트에 대한 정보를 선택적으로 사용자에게 제공하는 방법을 나타낸 도면이다. HMD(11)는 무브먼트가 디텍트된 리얼 오브젝트들 중 일부 오브젝트에 대한 정보를 선택적으로 사용자에게 제공할 수 있다. HMD(11)는 무브먼트가 디텍트된 리얼 오브젝트들의 HMD로부터의 거리, 무브먼트의 종류에 따라 리얼 오브젝트에 대한 정보를 제공할 것인지 여부를 결정할 수 있다.
HMD(11)는 현실 세계에 위치한 리얼 오브젝트의 무브먼트를 디텍트하고, 무브먼트가 디텍트된 리얼 오브젝트의 정보를 사용자에게 제공할 수 있다. HMD(11)는 디스플레이 유닛을 이용하여 사용자에게 폐쇄형 시야(50)를 제공할 수 있다. HMD(11)는 폐쇄형 시야(50)에 가상 현실 이미지(51)를 디스플레이하고, 사용자로 하여금 가상 현실 세계에 위치한 것처럼 느끼게 할 수 있다. 가상 현실 이미지(51)가 디스플레이되면, HMD(11)는 현실 세계의 제1 리얼 오브젝트(52)의 무브먼트가 디텍트되지 않는 경우, 제1 리얼 오브젝트(52)에 대한 사용자의 시야를 차단할 수 있다. 따라서, HMD(11)를 착용한 상태에서 사용자는 제1 리얼 오브젝트(52)에 대한 정보를 얻을 수 없다.
본 명세서의 일 실시예에 따른 HMD(11)는 현실 세계에 위치한 제2 리얼 오브젝트(53) 및 제3 리얼 오브젝트(54)의 무브먼트를 디텍트할 수 있다. HMD(11)는 무브먼트가 디텍트된 제2 리얼 오브젝트(53) 및 제3 리얼 오브젝트(54)에 대한 정보를 사용자에게 제공할 것인지 여부를 결정할 수 있다.
HMD(11)는 리얼 오브젝트와 HMD 사이의 거리에 기초하여 리얼 오브젝트에 대한 정보를 사용자에게 제공할지 여부를 결정할 수 있다. HMD(11)는 HMD로부터 제1 거리 스레시홀드 내에 위치하는 리얼 오브젝트의 무브먼트를 선택적으로 디텍트할 수 있다. 도 5에서 제2 리얼 오브젝트(53)는 HMD(11)가 위치한 공간에서 창밖으로 보이는 새이다. 따라서 제2 리얼 오브젝트(53)는 HMD(11)가 위치한 공간 밖에 위치하며, HMD(11)로부터 제1 거리 스레시홀드 이상의 거리에 위치할 수 있다.
도 5에서 제2 리얼 오브젝트(53)와 HMD 사이의 거리가 제1 거리 스레시홀드 이상인 경우, HMD(11)는 제2 리얼 오브젝트(53)의 제2 무브먼트가 디텍트 되어도 제2 무브먼트를 선택적으로 무시할 수 있다. 또는 실시예에 따라 HMD(11)는 무브먼트 디텍션 가능 거리를 제1 거리 스레시홀드로 설정할 수 있다. 따라서 HMD(11)는 제1 거리 스레시홀드 이상에 위치한 제2 리얼 오브젝트(53)에 대한 정보를 사용자에게 제공하지 않을 수 있다. 위에서 제1 거리 스레시홀드는 HMD(11)가 위치한 공간 내에서의 최대 거리로 설정될 수 있다.
도 5에서 제3 리얼 오브젝트(54)는 HMD(11)가 위치한 공간에 있는 창문이다. 따라서 제3 리얼 오브젝트(54)는 HMD(11)가 위치한 공간 내에 위치하며, HMD(11)로부터 제1 거리 스레시홀드 내의 거리에 위치할 수 있다. 도 5에서 제3 리얼 오브젝트(54)와 HMD 사이의 거리가 제1 거리 스레시홀드 내인 경우, HMD(11)는 제3 리얼 오브젝트(54)의 제3 무브먼트가 디텍트되면, 제1 거리 스레시홀드 내에 위치한 제3 리얼 오브젝트(54)에 대한 정보를 사용자에게 제공할 수 있다. HMD(11)는 HMD(11)가 위치한 공간 내에서의 최대 거리를 제1 거리 스레시홀드로써 설정할 수 있다. 따라서 도 5에서 창문이 열리거나 닫히는 이벤트가 발생하는 경우, HMD(11)는 제3 오브젝트(54)인 창문에 대한 정보를 HMD(11)를 통해 사용자에게 제공할 수 있다. 즉, HMD(11)는 제3 리얼 오브젝트(54)에 대응하는 증강현실 이미지(51)의 제1 부분을 광학적 시스루 영역 또는 비디오 시스루 영역으로 전환하여 제3 리얼 오브젝트(54)에 대한 정보를 사용자에게 제공할 수 있다.
또한, HMD(11)는 리얼 오브젝트의 무브먼트의 종류에 기초하여 리얼 오브젝트에 대한 정보를 사용자에게 제공할지 여부를 결정할 수 있다. HMD(11)는 제4 리얼 오브젝트가 불규칙적이거나 1회성의 무브먼트를 갖는 경우, 제4 리얼 오브젝트에 대한 정보를 사용자에게 제공할 수 있다. 예를 들어, 사람의 움직임, 동물의 움직임, 자동차의 움직임 등은 불규칙적이거나 1회성의 무브먼트로 정의될 수 있다.
이에 반해 HMD(11)는 제5 리얼 오브젝트가 규칙적이거나 단순 반복적인 무브먼트를 갖는 경우, 해당 무브먼트에 대한 디텍션을 무시할 수 있다. 즉, HMD(11)는 단순 반복적인 무브먼트를 갖는 제5 리얼 오브젝트에 대해 무브먼트가 디텍트된 경우에도, 제5 리얼 오브젝트에 대한 정보를 사용자에게 제공하지 않을 수 있다. 예를 들어, 사용자가 실내에서 HMD를 착용한 경우, 벽시계의 시계추가 반복적으로 좌우로 움직이더라도 HMD(11)는 벽시계에 대한 정보를 사용자에게 제공하지 않을 수 있다. 이는 단순 반복적인 무브먼트를 갖는 리얼 오브젝트의 경우, 사용자에게 영향을 미칠 가능성이 낮기 때문에 HMD는 해당 리얼 오브젝트에 대한 정보를 사용자에게 제공하지 않고 스킵할 수 있다.
또한 HMD(11)는 제5 리얼 오브젝트가 디스플레이 디바이스인 경우, 디스플레이 디바이스에 디스플레이된 이미지의 무브먼트를 선택적으로 무시할 수 있다. 즉, 제5 리얼 오브젝트에 디스플레이된 이미지가 동영상인 경우, HMD는 동영상의 무브먼트로 인해 제5 리얼 오브젝트가 무브먼트를 포함하는 것으로 센싱할 수 있다. 하지만, 디스플레이된 이미지의 무브먼트는 제5 리얼 오브젝트의 무브먼트가 아니므로 HMD(11)는 제5 리얼 오브젝트에 대한 정보를 사용자에게 제공하지 않을 수 있다. 예를 들어, HMD(11)는 같은 공간 안에 위치한 텔레비젼에 디스플레이된 화면이 시간에 따라 변경되어도 이를 텔레비젼의 무브먼트로 디텍트하지 않고 무시할 수 있다.
도 6은 본 명세서의 일 실시예에 따른 HMD가 고정된 리얼 오브젝트와의 거리에 따라 정보를 제공하는 방법을 나타낸 도면이다. HMD(11)는 고정된 리얼 오브젝트라 하더라도, 리얼 오브젝트와의 거리가 제2 거리 스레시홀드 내인 경우, 고정된 리얼 오브젝트에 대한 정보를 사용자에게 제공할 수 있다.
도 6에서 HMD(11)는 사용자에게 폐쇄형 시야(60)를 제공할 수 있다. HMD(11)는 폐쇄형 시야(60) 안에 가상 현실 이미지(61)를 디스플레이하여 사용자에게 가상 공간에 있는 느낌을 제공할 수 있다. HMD(11)는 위에서 설명한 바와 같이 무브먼트를 갖는 리얼 오브젝트에 대한 정보를 사용자에게 제공할 수 있다. 이에 더하여, HMD(11)는 고정되어 무브먼트를 갖지 않는 리얼 오브젝트라 하더라도 제2 거리 스레시홀드 내로 근접하는 경우, 고정된 리얼 오브젝트에 대한 정보를 사용자에게 제공할 수 있다. 도 6에서 제1 리얼 오브젝트(63)는 실내에 고정된 책장이다. HMD(11)는 도 3에서 설명한 바와 같이 제1 리얼 오브젝트(63)의 무브먼트가 디텍트도지 않는 경우, 제1 리얼 오브젝트(63)에 대한 정보를 사용자에게 제공하지 않는다. 사용자는 폐쇄형 시야(60)에 디스플레이된 가상 현실 이미지(61)로 인해 제1 리얼 오브젝트(63)를 응시할 수 없다.
하지만, HMD(11)는 사용자의 움직임에 의해 제1 리얼 오브젝트(63)가 제2 거리 스레시홀드 내로 근접한 경우, 제1 리얼 오브젝트(63)에 대응하는 가상 현실 이미지의 제1 부분에 제1 리얼 오브젝트에 대한 정보(65)를 제공할 수 있다. HMD(11)는 가상 현실 이미지의 제1 부분을 광학적 시스루 영역으로 전환하고 사용자가 제1 부분을 통해 제1 리얼 오브젝트(63)를 시각으로 확인하도록 할 수 있다. 또한 HMD(11)는 가상 현실 이미지의 제1 부분을 비디오 시스루 영역으로 전환하고, 제1 리얼 오브젝트의 이미지를 가상 현실 이미지의 제1 부분에 오버랩하여 디스플레이할 수 있다. 이를 통해 사용자는 HMD(11)의 폐쇄형 시야에도 불구하고, 제2 거리 스레시홀드 내로 근접한 제1 리얼 오브젝트(63)에 대한 정보를 제공받을 수 있다.
HMD(11)는 제2 거리 스레시홀드 이상에 위치하고 무브먼트가 없는 제2 리얼 오브젝트(64)에 대한 정보는 제공하지 않을 수 있다. 또한 도 5에서 설명한 바와 같이, 무브먼트가 디텍트된 제3 리얼 오브젝트(65)라도 제1 거리 스레시홀드 이상에 위치한 경우, 제3 리얼 오브젝(65)에 대한 정보를 제공하지 않을 수 있다.
도 7은 본 명세서의 일 실시예에 따른 HMD가 인디케이터를 디스플레이하는 방법을 나타낸 도면이다. HMD(11)는 사용자의 시야 범위보다 넓은 영역에 대해 가상 현실 이미지를 디스플레이할 수 있다. HMD(11)는 사용자의 좌우 및 전후의 전방위에 대해 가상 현실 이미지를 제공할 수 있다. HMD(11)는 무브먼트가 디텍트된 리얼 오브젝트에 대응하는 가상 현실 이미지의 제1 부분를 통해 리얼 오브젝트의 정보를 사용자에게 제공할 수 있다. HMD(11)는 리얼 오브젝트에 대응하는 제1 부분이 사용자의 시야 범위 외의 위치에 발생하는 경우, 제1 부분에 대한 인디케이터를 사용자의 시야 범위 내의 가상 현실 이미지에 오버랩하여 디스플레이할 수 있다.
도 7의 상단과 같이, HMD(11)는 사용자에게 폐쇄형 시야(70)를 제공할 수 있다. HMD(11)는 폐쇄형 시야(70)를 통해 사용자가 볼 수 있는 영역보다 더 큰 영역을 갖는 가상 현실 이미지(71)를 디스플레이할 수 있다. 사용자는 가상 현실 이미지 중 폐쇄형 시야(70) 내에 위치한 부분만을 시각으로 확인할 수 있다. HMD(11)는 외부 현실 세계에서 무브먼트를 갖는 제1 리얼 오브젝트(72)를 디텍트할 수 있다. 이때 HMD(11)는 제1 리얼 오브젝트(72)의 위치, 형상, 크기 및 거리에 기초하여 제1 리얼 오브젝트(72)에 대응하는 가상 현실 이미지의 제1 부분을 설정할 수 있다. 도 7의 상단과 같이, 제1 리얼 오브젝트(72)가 사용자가 바라보고 있는 방향의 오른쪽에 위치한 경우, 제1 리얼 오브젝트(72)에 대응하는 제1 부분은 사용자의 폐쇄형 시야(70) 내에 포함되지 않을 수 있다. 이러한 경우, HMD(11)는 사용자의 폐쇄형 시야(70) 내에 제1 부분의 인디케이터(73)를 디스플레이할 수 있다. 이를 통해 HMD(11)는 현실 세계에서 무브먼트가 디텍트된 제1 리얼 오브젝트가 위치한 방향을 사용자에게 인폼할 수 있다. 또한 사용자는 제1 부분의 인디케이터(73)를 인지하고, 시선 또는 고개를 오른쪽으로 돌려서 제1 리얼 오브젝트(72)에 대한 정보를 확인할 수 있다. HMD(11)는 사용자가 인디케이터에 기초하여 제1 부분을 향해 시선을 이동하면 인디케이터에 대한 디스플레이를 종료할 수 있다.
도 7의 하단은 무브먼트가 디텍트된 제1 리얼 오브젝트(72)에 대한 정보를 제공하는 HMD를 나타낸 도면이다. HMD(11)는 사용자의 폐쇄형 시야(70)가 제1 부분을 향해 이동하면, 증강 현실 이미지 상에 제1 부분(74)을 오버랩하여 디스플레이할 수 있다. HMD(11)는 사용자가 제1 부분에 제공된 제1 리얼 오브젝트(74)의 정보에 대해 확인하면, 제1 부분에서 제1 리얼 오브젝트의 정보를 제거하고 해당 위치에 가상 현실 이미지를 디스플레이할 수 있다. HMD(11)는 사용자의 시선이 제1 리얼 오브젝트의 정보를 바라보거나, 사용자의 시야 범위 내로 진입했던 제1 리얼 오브젝트의 정보가 사용자의 시야 범위 밖으로 이동되면 사용자가 제1 리얼 오브젝트의 정보를 확인한 것으로 결정할 수 있다.
도 8은 본 명세서의 일 실시예에 따른 HMD가 PIP(picture in picture)를 이용하여 리얼 오브젝트의 정보를 디스플레이하는 방법을 나타낸 도면이다. HMD(11)는 사용자의 시야 범위보다 넓은 영역에 대해 가상 현실 이미지를 디스플레이할 수 있다. HMD(11)는 사용자의 좌우 및 전후의 전방위에 대해 가상 현실 이미지를 제공할 수 있다. 또한 HMD(11)는 사용자의 상향 및 하향 중 적어도 하나에 대한 가상 현실 이미지를 추가적으로 제공할 수 있다. HMD(11)는 무브먼트가 디텍트된 리얼 오브젝트에 대응하는 가상 현실 이미지의 제1 부분를 통해 리얼 오브젝트의 정보를 사용자에게 제공할 수 있다. HMD(11)는 리얼 오브젝트에 대응하는 제1 부분이 사용자의 시야 범위 외의 위치에 발생하는 경우, 제1 부분에 대한 PIP를 사용자의 시야 범위 내의 가상 현실 이미지에 오버랩하여 디스플레이할 수 있다.
도 8과 같이, HMD(11)는 사용자에게 폐쇄형 시야(80)를 제공할 수 있다. HMD(11)는 폐쇄형 시야(80)를 통해 사용자가 볼 수 있는 영역보다 더 큰 영역을 갖는 가상 현실 이미지(81)를 디스플레이할 수 있다. 사용자는 가상 현실 이미지 중 폐쇄형 시야(80) 내에 위치한 부분만을 시각으로 확인할 수 있다. HMD(11)는 외부 현실 세계에서 무브먼트를 갖는 제1 리얼 오브젝트(82)를 디텍트할 수 있다. 이때 HMD(11)는 제1 리얼 오브젝트(82)의 위치, 형상, 크기 및 거리에 기초하여 제1 리얼 오브젝트(82)에 대응하는 가상 현실 이미지의 제1 부분을 설정할 수 있다. 도 8과 같이, 제1 리얼 오브젝트(82)가 사용자가 바라보고 있는 방향의 오른쪽에 위치한 경우, 제1 리얼 오브젝트(82)에 대응하는 제1 부분은 사용자의 폐쇄형 시야(80) 내에 포함되지 않을 수 있다. 이러한 경우, HMD(11)는 사용자의 폐쇄형 시야(80) 내에 제1 부분을 PIP(83)로써 디스플레이할 수 있다. 여기서 PIP(83)는 폐쇄형 시야(80) 내에 제공된 가상 현실 이미지 중 제1 리얼 오브젝트(82)가 위치한 방향에 대응하는 위치에 디스플레이될 수 있다. 예를 들어, 도 8에서 제1 리얼 오브젝트(82)가 사용자의 시야로부터 오른쪽에 위치하므로, HMD(11)는 폐쇄형 시야(80)에 디스플레이된 가상 현실 이미지(81)의 오른쪽 영역에 제1 리얼 오브젝트의 정보를 PIP(83)로써 디스플레이할 수 있다. 이를 통해 HMD(11)는 현실 세계에서 무브먼트가 디텍트된 제1 리얼 오브젝트가 위치한 방향을 사용자에게 인폼할 수 있다. 또한 사용자는 PIP(83)를 인지하고, 시선 또는 고개를 오른쪽으로 돌려서 제1 리얼 오브젝트(82)에 대한 정보를 제1 부분을 통해 제공 받을 수도 있다. HMD(11)는 사용자가 PIP(83)를 확인하거나 제1 부분을 통해 제1 리얼 오브젝트에 대한 정보를 확인하면 PIP(83)에 대한 디스플레이를 종료할 수 있다.
도 9는 본 명세서의 일 실시예에 따른 HMD의 블록도를 나타낸 도면이다. HMD는 디스플레이 유닛(101), 센서 유닛(103), 카메라 유닛(103) 및 컨트롤러(104)를 포함할 수 있다.
디스플레이 유닛(101)은 가상 현실 이미지를 디스플레이할 수 있다. HMD는 사용자의 헤드 무브먼트를 트랙킹할 수 있으며, 사용자의 헤드 무브먼트에 따라 디스플레이 유닛(101)은 가상 현실 이미지 중 디스플레이되는 영역을 변경할 수 있다. 이를 통해 사용자는 전방, 측방 또는 후방 중 어느 방향을 바라보더라도 각 방향에 할당된 가상 현실 이미지를 볼 수 있다. 따라서 사용자는 가상 현실 이미지가 만들어 낸 가상 공간에 있는 것처럼 느낄 수 있다.
디스플레이 유닛(101)은 사용자에게 폐쇄형 시야를 제공할 수 있다. 폐쇄형 시야란, 사용자가 HMD를 착용하는 동안 HMD에서 제공하는 가상 현실 이미지만을 볼 수 있는 것을 의미할 수 있다. 즉, 디스플레이 유닛(101)은 불투명한 가상 현실 이미지를 사용자에게 제공함으로써 HMD 외부의 현실 세계에 속한 리얼 오브젝트에 대한 정보를 차단할 수 있다. 이를 통해 디스플레이 유닛(101)은 사용자에게 높은 몰입감의 가상 현실 이미지를 제공할 수 있다.
디스플레이 유닛(101)은 컨트롤러(104)의 제어에 따라 폐쇄형 시야 중 일부를 개방형 시야로 전환할 수 있다. 도 4에서 설명한 바와 같이 컨트롤러는 리얼 오브젝트의 무브먼트가 디텍트되면 리얼 오브젝트의 위치, 크기, 형상 및 거리 중 적어도 하나에 기초하여 가상 현실 이미지 상에 제1 부분을 설정할 수 있다. 디스플레이 유닛(101)은 리얼 오브젝트에 대응하여 설정된 제1 부분을 개방형 시야를 갖는 영역으로 전환할 수 있다. 디스플레이 유닛(101)은 제1 부분을 광학적 시스루(optical see-through) 영역 또는 비디오 시스루(video see-through) 영역으로 전환할 수 있다. 즉, 사용자는 광학적 시스루 영역인 제1 부분을 통해 확보된 현실 세계에 대한 시야를 통해 리얼 오브젝트에 대한 정보를 시각으로 확인할 수 있다. 또한 사용자는 비디오 시스루 영역인 제1 부분에 디스플레이된 리얼 오브젝트에 대한 정보를 시각으로 확인할 수 있다.
디스플레이 유닛(101)은 실시예에 따라 발광 다이오드(Light-Emitting Diode, LED), 유기 발광 다이오드(Organic Light-Emitting Diode, OLED), 액정 표시 장치(Liquid Crystal Display, LCD), 빔 프로젝터 중 적어도 하나를 포함할 수 있다.
센서 유닛(102)은 HMD에 입력되는 컨트롤 인풋을 센싱하는 인풋 센서, HMD 및 리얼 오브젝트의 무브먼트를 센싱하는 무브먼트 센서, HMD의 오리엔테이션을 센싱하는 오리엔테이션 센서, HMD로부터 리얼 오브젝트까지의 거리를 센싱하는 거리 센서를 포함할 수 있다.
인풋 센서는 HMD에 입력되는 컨트롤 인풋을 센싱할 수 있다. 상술한 바와 같이 HMD는 리얼 오브젝트의 무브먼트가 디텍트되면, 리얼 오브젝트에 대응하는 제1 부분을 시스루 영역으로 설정할 수 있다. 실시예에 따라 HMD는 리얼 오브젝트의 무브먼트가 디텍트되면, 리얼 오브젝트에 대한 인디케이터를 디스플레이한 후 인풋 센서를 통해 컨트롤 인풋이 센싱되면 비로소 제1 부분을 시스루 영역으로 전환할 수도 있다.
무브먼트 센서는 리얼 오브젝트의 제1 무브먼트를 센싱할 수 있다. 무브먼트 센서는 제1 무브먼트가 센싱된 리얼 오브젝트의 정보를 컨트롤러에 전달할 수 있다. 무브먼트 센서는 리얼 오브젝트 중 일부에서만 제1 무브먼트가 센싱되어도 해당 리얼 오브젝트의 전체 형상에 대한 정보를 컨트롤러에 전달할 수 있다.
무브먼트 센서는 HMD의 제2 무브먼트를 센싱할 수 있다. HMD는 리얼 오브젝트의 제1 무브먼트를 디텍트함에 있어서 HMD 자체의 제2 무브먼트에 의한 영향을 보정할 수 있다. 따라서 무브먼트 센서는 HMD 자체 또는 리얼 오브젝트를 센싱하는 센서유닛의 제2 무브먼트를 추가로 센싱할 수 있다. 무브먼트 센서는 센싱된 제2 무브먼트를 이용하여 제1 무브먼트를 보상할 수 있다. 이를 통해 무브먼트 센서는 리얼 오브젝트의 제1 무브먼트를 정확하게 센싱할 수 있다.
오리엔테이션 센서는 HMD의 오리엔테이션을 센싱할 수 있다. 오리엔테이션 센서는 센싱된 HMD의 오리엔테이션을 컨트롤러에 전달하고, 컨트롤러는 오리엔테이션에 기초하여 가상 현실 이미지 중 어느 영역을 디스플레이 유닛에 디스플레이할 것인지 결정할 수 있다.
거리 센서는 무브먼트 센서 또는 카메라 유닛이 센싱하는 리얼 오브젝트까지의 거리를 측정할 수 있다. 도 5 내지 6에서 설명한 바와 같이, HMD는 거리 센서의 측정 결과에 따라 리얼 오브젝트에 대한 정보를 사용자에게 제공할 것인지 여부를 결정할 수 있다. 즉, 거리 센서에 의해 측정된 제1 리얼 오브젝트까지의 거리가 제1 거리 스레시홀드 이상인 경우, HMD는 제1 리얼 오브젝트의 무브먼트가 디텍트되더라도 제1 리얼 오브젝트의 정보를 사용자에게 제공하지 않을 수 있다. 다시 말하면, HMD는 제1 거리 스레시홀드 내에 위치한 리얼 오브젝트 중 무브먼트가 디텍트된 리얼 오브젝트의 정보를 선택적으로 사용자에게 제공할 수 있다.
또한 거리 센서에 의해 측정된 제2 리얼 오브젝트까지의 거리가 제2 거리 스레시홀드 내인 경우, HMD는 제2 리얼 오브젝트의 무브먼트가 디텍트되지 않아도 제2 리얼 오브젝트의 정보를 사용자에게 제공할 수 있다. 즉, HMD는 무브먼트가 디텍트되지 않는 리얼 오브젝트의 정보는 사용자에게 제공하지 않지만, 예외적으로 제2 거리 스레시홀드 내로 근접한 리얼 오브젝트에 대해서는, 무브먼트가 디텍트되지 않아도 리얼 오브젝트에 대한 정보를 사용자에게 제공할 수 있다.
센서 유닛(102)은 센싱된 정보를 컨트롤러(104)에 전달할 수 있다.
카메라 유닛(103)은 리얼 오브젝트 및 HMD가 위치한 공간을 스캔하고 디지털 이미지로써 촬영할 수 있다. 카메라 유닛(103)은 센서 유닛과 유사하게 리얼 오브젝트의 무브먼트를 디텍트할 수 있다. 또한 카메라 유닛(103)은 HMD가 위치한 공간을 스캔하고 해당 공간 안에 위치한 리얼 오브젝트들에 대한 정보를 저장할 수 있다. 카메라 유닛(103)은 스캔된 공간에 대한 정보를 컨트롤러에 전달할 수 있다. 컨트롤러는 리얼 오브젝트에 대한 정보를 사용자에게 제공함에 있어서, 스캔된 공간 내에 이미 존재했던 리얼 오브젝트에 대한 정보는 제외할 수 있다. 따라서 HMD는 HMD가 위치한 공간 내에 새롭게 진입한 리얼 오브젝트에 대한 정보를 선택적으로 사용자에게 제공할 수 있다.
컨트롤러(104)는 카메라 유닛(103) 및 센서 유닛(102)으로부터 전달된 정보를 이용하여 디스플레이 유닛(101)을 제어할 수 있다. 컨트롤러(104)는 센서 유닛 및 카메라 유닛으로부터 HMD 외부의 리얼 오브젝트에 대한 정보를 전달 받을 수 있다. 컨트롤러(104)는 리얼 오브젝트와 HMD 사이의 거리, 리얼 오브젝트의 무브먼트 발생 여부 및 무브먼트의 종류에 기초하여 리얼 오브젝트에 대한 정보를 사용자에게 제공할 것인지 여부를 결정할 수 있다.
컨트롤러(104)는 리얼 오브젝트에 대한 정보를 사용자에게 제공하기로 결정되면, 디스플레이 유닛을 제어하여 가상 현실 이미지의 제1 부분에 시스루 영역을 설정할 수 있다. 컨트롤러(104)는 실시예에 따라 가상 현실 이미지의 제1 부분에 광학적 시스루 영역 또는 비디오 시스루 영역을 설정할 수 있다. 컨트롤러(104)는 시스루 영역을 통해 리얼 오브젝트에 대한 정보를 사용자에게 제공할 수 있다. 리얼 오브젝트에 대한 정보는 리얼 오브젝트의 형상, 크기 및 무브먼트를 포함할 수 있다.
도 9는 일 실시예에 따른 블록도로서, 분리하여 표시한 블록들은 HMD의 엘러먼트들을 논리적으로 구별하여 도시한 것이다. 따라서 상술한 HMD의 엘러먼트들은 HMD의 설계에 따라 하나의 칩으로 또는 복수의 칩으로 장착될 수 있다.
도 10은 본 명세서의 일 실시예에 따른 HMD의 동작 순서도를 나타낸 도면이다. HMD는 디스플레이 유닛에 가상 현실 이미지를 디스플레이할 수 있다(S10).MD(11)는 사용자에게 가상 현실 이미지를 제공할 수 있다. HMD는 도 2에서 설명한 바와 같이 사용자를 360도로 둘러싼 원통 형태의 가상 현실 이미지를 디스플레이할 수 있다. HMD는 사용자의 전후좌우에 가상 현실 이미지를 제공할 수 있다. 따라서 사용자는 전후좌우로 고개를 돌려 전방 영역에 디스플레이된 가상 현실 이미지와 다른 영역의 가상 현실 이미지를 확인할 수 있다. 이를 통해 HMD는 사용자가 현실 세계가 아닌 가상 현실 세계에 속해 있는 것으로 인지하도록 할 수 있다.
또한 HMD는 사용자를 둘러싼 반구 형태의 가상 현실 이미지를 제공할 수 있다. HMD는 사용자의 전후좌우뿐만 아니라 사용자의 상향에도 가상 현실 이미지를 제공할 수 있다. 따라서 사용자는 고개를 돌려 사용자의 시선이 향하는 방향에 대응하는 가상 현실 이미지의 영역을 확인할 수 있다. 이를 통해 HMD는 사용자가 현실 세계가 아닌 가상 현실 세계에 속해 있는 것으로 인지하도록 할 수 있다.
HMD는 HMD의 외부에 위치한 제1 리얼 오브젝트의 제1 무브먼트를 디텍트할 수 있다(S20). HMD는 카메라 유닛 또는 센서 유닛을 이용하여 제1 리얼 오브젝트의 제1 무브먼트를 디텍트할 수 있다. 실시예에 따라 HMD는 단순 반복적인 무브먼트가 디텍트된 경우 이를 무시할 수 있다. 즉, HMD는 단순 반복적인 무브먼트를 갖는 리얼 오브젝트에 대한 정보를 정보 제공 대상에서 제외할 수 있다. HMD는 1회적이거나 불규칙적이거나 새롭게 디텍트된 무브먼트를 갖는 리얼 오브젝트에 한하여 정보 제공 대상에 포함시킬 수 있다. 또한 도 5에서 설명한 바와 같이, HMD는 제1 거리 스레시홀드 내에 위치한 제1 리얼 오브젝트의 제1 무브먼트만을 선택적으로 디텍트할 수 있다. HMD는 제1 거리 스레시홀드 이상에 위한 리얼 오브젝트의 무브먼트가 디텍트된 경우에 해당 리얼 오브젝트를 정보 제공 대상에서 제외할 수 있다.
HMD는 제1 무브먼트를 HMD 자체 또는 센서 유닛의 제2 무브먼트를 이용하여 보상할 수 있다(S30). 단계 S20에서 설명한 제1 무브먼트는 HMD 자체 또는 센서 유닛의 움직임에 의해 발생된 제2 무브먼트 성분을 포함할 수 있다. 예를 들어 HMD를 착용한 사용자가 전방으로 이동한 경우, HMD는 전방에 위치하고 고정된 리얼 오브젝트가 HMD를 향해 이동한 것으로 디텍트할 수 있다. 하지만, 이는 HMD 자체의 이동 때문에 발생한 무브먼트일 뿐, 고정된 리얼 오브젝트의 무브먼트가 아니다. 이러한 경우 HMD는 제1 무브먼트를 제2 무브먼트를 이용하여 보상할 수 있다. HMD는 제1 무브먼트로부터 제2 무브먼트 성분을 제외시키고, 제1 리얼 오브젝트의 고유의 무브먼트 성분을 추출할 수 있다. 따라서 HMD는 HMD 자체 또는 센서 유닛의 무브먼트 성분이 포함되지 않은 제1 리얼 오브젝트의 제1 무브먼트를 획득할 수 있다.
HMD는 제1 리얼 오브젝트의 위치에 대응하여 가상 현실 이미지의 제1 부분을 설정할 수 있다(S40). HMD는 제1 리얼 오브젝트의 형상, HMD로부터 제1 리얼 오브젝트까지의 거리, 제1 리얼 오브젝트의 크기 및 위치에 기초하여 제1 부분을 설정할 수 있다. 예를 들어 HMD는 사용자의 우측 정면에서 제1 리얼 오브젝트를 디텍트할 수 있다. HMD는 무브먼트가 디텍트된 제1 리얼 오브젝트에 대응하여 제1 부분을 결정할 수 있다. 제1 리얼 오브젝트는 HMD의 정면 우측 영역에 위치하므로, HMD는 사용자에게 제공 중인 가상 현실 이미지 중 우측 영역을 제1 부분으로 결정할 수 있다. 또한 HMD는 제1 리얼 오브젝트와의 거리, 크기 및 모양에 기초하여 제1 부분의 크기 및 모양을 결정할 수 있다.
HMD는 제1 무브먼트에 기초하여 가상 현실 이미지의 제1 부분에 선택적으로 제1 오브젝트의 정보를 제공할 수 있다(S50). HMD는 설정된 제1 부분을 일시적으로 광학적 시스루 영역으로 전환하거나 비디오 시스루 영역으로 전환하여 제1 리얼 오브젝트에 대한 정보를 사용자에게 제공할 수 있다. 이를 통해 사용자는 폐쇄형 시야를 갖는 HMD를 이용하여 몰입감 높은 가상 현실 이미지를 제공받는 중이라도, 외부에서 무브먼트가 발생된 리얼 오브젝트가 존재하는 경우, 리얼 오브젝트에 대한 정보를 제공받을 수 있다.
상술한 바와 같이 본 명세서의 HMD는 폐쇄형 시야를 제공하는 중에 일부 영역을 선택적으로 개방형 시야를 갖는 영역으로 전환하여 HMD 외부에 위치한 리얼 오브젝트에 대한 정보를 제공할 수 있다. 이를 통해, 사용자는 HMD에 의해 외부 환경에 대한 시야가 차단된 상황에서도, 위험 요소 등을 인지하고 대비할 수 있는 장점이 있다.
10: 사용자 11: HMD
12: 리얼 오브젝트 21, 22: 증강 현실 이미지
30: 폐쇄형 시야 43: 무브먼트를 갖는 리얼 오브젝트

Claims (20)

  1. 폐쇄형 시야(Closed-view)를 제공하는 헤드 마운티드 디스플레이(Head Mounted Display, HMD)에 있어서,
    가상 현실 이미지(virtual reality image)를 디스플레이하는 디스플레이 유닛;
    상기 HMD의 외부에 위치한 리얼 오브젝트를 센싱하는 센서 유닛;
    상기 디스플레이 유닛 및 상기 센서 유닛을 컨트롤하는 컨트롤러를 포함하고,
    상기 컨트롤러는 상기 센서 유닛을 통해 제1 리얼 오브젝트의 제1 무브먼트를 디텍트하고, 상기 제1 무브먼트에 기초하여 상기 가상 현실 이미지의 제1 부분에 선택적으로 상기 제1 리얼 오브젝트의 정보를 제공하고,
    여기서, 상기 제1 부분은 상기 제1 리얼 오브젝트의 위치에 대응하여 설정되고, 상기 컨트롤러는 상기 제1 리얼 오브젝트의 상기 제1 무브먼트를 디텍트함에 있어서, 상기 제1 리얼 오브젝트를 센싱한 상기 센서 유닛의 제2 무브먼트를 보상하는 HMD.
  2. 제 1 항에 있어서,
    상기 컨트롤러는
    상기 디스플레이 유닛의 상기 제1 부분을 시-스루(see-through) 영역으로 전환하고,
    상기 제1 부분을 통해 상기 제1 리얼 오브젝트에 대한 상기 정보를 제공하는 HMD.
  3. 제 1 항에 있어서,
    상기 HMD는 상기 제1 리얼 오브젝트의 이미지를 획득하는 카메라 유닛을 더 포함하고,
    상기 컨트롤러는 상기 디스플레이 유닛의 상기 제1 부분에 상기 제1 리얼 오브젝트의 상기 이미지를 더 디스플레이하는 HMD.
  4. 제 1 항에 있어서,
    상기 센서 유닛은 상기 HMD의 외부에 위치한 제1 리얼 오브젝트의 제1 무브먼트를 센싱하기 전에 상기 HMD의 주변 환경을 스캔하는 HMD.
  5. 제 4 항에 있어서,
    상기 HMD는 상기 주변 환경의 이미지를 획득하는 카메라 유닛을 더 포함하고,
    상기 컨트롤러는 상기 카메라를 회전시켜 상기 HMD의 주변 환경을 스캔하는 HMD.
  6. 제 4 항에 있어서,
    상기 컨트롤러는 상기 주변 환경 이미지를 주기적 또는 연속적으로 스캔하고, 두 시점에 각각 스캔된 상기 주변 환경 이미지를 비교하여 상기 제1 리얼 오브젝트의 상기 제1 무브먼트를 센싱하는 HMD.
  7. 제 1 항에 있어서,
    상기 제1 부분은 상기 제1 리얼 오브젝트의 형상, 크기 및 거리 중 적어도 하나에 기초하여 결정되는 HMD.
  8. 제 1 항에 있어서,
    상기 컨트롤러는 상기 HMD로부터 제1 거리 스레시홀드 내에 위치하는 상기 제1 리얼 오브젝트의 상기 제1 무브먼트를 선택적으로 디텍트하는 HMD.
  9. 제 8 항에 있어서,
    상기 컨트롤러는 상기 HMD로부터 상기 제1 거리 스레시홀드 이상에 위치하는 상기 제1 리얼 오브젝트의 상기 제1 무브먼트를 선택적으로 무시하는 HMD.
  10. 제 1 항에 있어서,
    상기 컨트롤러는 상기 제1 리얼 오브젝트의 상기 제1 무브먼트가 반복적인 경우, 상기 제1 리얼 오브젝트의 상기 제1 무브먼트를 선택적으로 무시하는 HMD.
  11. 제 1 항에 있어서,
    상기 컨트롤러는 상기 센서 유닛을 통해 고정된 위치의 제2 리얼 오브젝트를 더 디텍트하고, 상기 제2 리얼 오브젝트가 상기 HMD로부터 제2 거리 스레시홀드 내로 근접하면, 상기 디스플레이 유닛의 제2 부분에 선택적으로 상기 제2 리얼 오브젝트의 정보를 제공하고,
    여기서, 상기 제2 부분은 상기 제2 리얼 오브젝트의 위치에 대응하여 설정되는 HMD.
  12. 제 1 항에 있어서,
    상기 제1 리얼 오브젝트가 디스플레이 디바이스인 경우, 상기 컨트롤러는 상기 디스플레이 디바이스에 디스플레이된 이미지의 상기 제1 무브먼트를 선택적으로 무시하는 HMD.
  13. 제 1 항에 있어서,
    상기 컨트롤러는 상기 센서 유닛의 제2 무브먼트를 보상함에 있어서, 상기 상기 제1 무브먼트의 성분 중 상기 제2 무브먼트에 의해 발생된 성분을 제거하는 HMD.
  14. 제 1 항에 있어서,
    상기 가상 현실 이미지는 사용자의 시야보다 넓은 범위에 대해 제공되고, 상기 제1 부분이 상기 가상 현실 이미지 중 상기 사용자의 시야 범위 외의 위치에 발생하는 경우,
    상기 컨트롤러는 상기 사용자의 시야 범위 내에 위치한 가상 현실 이미지에 상기 제1 리얼 오브젝트의 정보를 PIP(picture in picture)로 디스플레이하는 HMD.
  15. 제 1 항에 있어서,
    상기 가상 현실 이미지는 사용자의 전후 및 좌우의 전방위에 대해 제공되고,
    상기 제1 부분이 상기 가상 현실 이미지 중 상기 사용자의 시야 범위 외의 위치에 발생하는 경우, 상기 컨트롤러는 상기 제1 부분의 인디케이터를 상기 사용자의 시야 범위 내에 디스플레이하는 HMD.
  16. 제 15 항에 있어서,
    상기 사용자가 상기 인디케이터에 기초하여 상기 제1 부분을 향해 시선을 이동하면 상기 컨트롤러는 상기 인디케이터에 대한 디스플레이를 종료하는 HMD.
  17. 제 1 항에 있어서,
    상기 제1 부분에 제공된 상기 제1 리얼 오브젝트의 정보에 대한 확인하면, 상기 컨트롤러는 상기 제1 부분에서 상기 제1 리얼 오브젝트의 정보를 제거하고 상기 가상 현실 이미지를 디스플레이하는 HMD.
  18. 제 17 항에 있어서,
    상기 컨트롤러는
    사용자의 시선이 상기 제공된 제1 리얼 오브젝트의 정보를 바라보거나,
    상기 제공된 제1 리얼 오브젝트의 정보가 상기 사용자의 시야 범위 밖으로 이동되면 상기 사용자가 상기 제1 리얼 오브젝트의 정보를 확인한 것으로 디텍트하는 HMD.
  19. 제 1 항에 있어서,
    상기 제1 무브먼트가 상기 제1 리얼 오브젝트의 일부분에서만 발생된 경우, 상기 컨트롤러는 상기 제1 리얼 오브젝트의 전체 형상을 상기 제1 부분에 제공하는 HMD.
  20. 폐쇄형 시야(Closed-view)를 제공하는 헤드 마운티드 디스플레이(Head Mounted Display, HMD) 제어 방법에 있어서,
    가상 현실 이미지(virtual reality image)를 디스플레이하는 단계;
    상기 HMD의 외부에 위치한 제1 리얼 오브젝트의 제1 무브먼트를 디텍트하는 단계; 및
    상기 제1 무브먼트에 기초하여 상기 가상 현실 이미지의 제1 부분에 선택적으로 상기 제1 리얼 오브젝트의 정보를 제공하는 단계;
    여기서, 상기 제1 부분은 상기 제1 리얼 오브젝트의 위치에 대응하여 설정되고, 상기 제1 리얼 오브젝트의 상기 제1 무브먼트를 디텍트하는 단계에 있어서, 상기 제1 무브먼트는 상기 HMD의 제2 무브먼트에 의해 보상되는 HMD 제어 방법.
KR1020140023108A 2014-02-27 2014-02-27 폐쇄형 시야(Closed-view)를 제공하는 헤드 마운티드 디스플레이 및 그 제어 방법 KR20150101612A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020140023108A KR20150101612A (ko) 2014-02-27 2014-02-27 폐쇄형 시야(Closed-view)를 제공하는 헤드 마운티드 디스플레이 및 그 제어 방법
US14/322,602 US20150243079A1 (en) 2014-02-27 2014-07-02 Head mounted display providing closed-view and method of controlling therefor
PCT/KR2014/005967 WO2015129966A1 (en) 2014-02-27 2014-07-03 Head mounted display providing closed-view and method of controlling therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140023108A KR20150101612A (ko) 2014-02-27 2014-02-27 폐쇄형 시야(Closed-view)를 제공하는 헤드 마운티드 디스플레이 및 그 제어 방법

Publications (1)

Publication Number Publication Date
KR20150101612A true KR20150101612A (ko) 2015-09-04

Family

ID=53882724

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140023108A KR20150101612A (ko) 2014-02-27 2014-02-27 폐쇄형 시야(Closed-view)를 제공하는 헤드 마운티드 디스플레이 및 그 제어 방법

Country Status (3)

Country Link
US (1) US20150243079A1 (ko)
KR (1) KR20150101612A (ko)
WO (1) WO2015129966A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180046044A (ko) * 2016-10-27 2018-05-08 에스케이텔레콤 주식회사 전방위 영상 표시 장치 및 그 표시 방법
WO2018186642A1 (ko) * 2017-04-05 2018-10-11 삼성전자 주식회사 전자 장치 및 전자 장치의 화면 표시 방법

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160024168A (ko) * 2014-08-25 2016-03-04 삼성전자주식회사 전자 장치의 디스플레이 제어 방법 및 전자 장치
JP6600945B2 (ja) * 2015-01-20 2019-11-06 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
US9690103B2 (en) * 2015-02-16 2017-06-27 Philip Lyren Display an image during a communication
US9760790B2 (en) 2015-05-12 2017-09-12 Microsoft Technology Licensing, Llc Context-aware display of objects in mixed environments
JP2017069687A (ja) * 2015-09-29 2017-04-06 ソニー株式会社 情報処理装置及び情報処理方法並びにプログラム
US9767606B2 (en) * 2016-01-12 2017-09-19 Lenovo (Singapore) Pte. Ltd. Automatic modification of augmented reality objects
KR102610120B1 (ko) 2016-01-20 2023-12-06 삼성전자주식회사 Hmd 디바이스 및 그 제어 방법
US20170213389A1 (en) * 2016-01-22 2017-07-27 Lg Electronics Inc. Mobile terminal and operating method thereof
DE102016000627B4 (de) * 2016-01-22 2024-03-28 Audi Ag Verfahren zum Betreiben eines Virtual-Reality-Systems und Virtual-Reality-System
KR20170096420A (ko) * 2016-02-16 2017-08-24 삼성전자주식회사 대화형 3차원 디스플레이 장치 및 방법
US10665019B2 (en) * 2016-03-24 2020-05-26 Qualcomm Incorporated Spatial relationships for integration of visual images of physical environment into virtual reality
CN107305692B (zh) * 2016-04-14 2021-01-26 上海乐相科技有限公司 一种确定待测对象的运动信息的方法及装置
KR20170126295A (ko) * 2016-05-09 2017-11-17 엘지전자 주식회사 헤드 마운티드 디스플레이 장치 및 그것의 제어방법
WO2017201191A1 (en) * 2016-05-17 2017-11-23 Google Llc Methods and apparatus to project contact with real objects in virtual reality environments
GB201608886D0 (en) * 2016-05-20 2016-07-06 Nokia Technologies Oy Virtual reality display
KR20180014492A (ko) * 2016-08-01 2018-02-09 삼성전자주식회사 영상 표시 방법 및 이를 지원하는 전자 장치
US20180095542A1 (en) * 2016-09-30 2018-04-05 Sony Interactive Entertainment Inc. Object Holder for Virtual Reality Interaction
JP2020502955A (ja) * 2016-10-04 2020-01-23 リブライク インコーポレーテッド モバイルデバイスのためのピクチャ・イン・ピクチャに基づくビデオストリーミング
US10642345B2 (en) * 2016-10-18 2020-05-05 Raytheon Company Avionics maintenance training
GB2555841A (en) * 2016-11-11 2018-05-16 Sony Corp An apparatus, computer program and method
US10146300B2 (en) 2017-01-25 2018-12-04 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Emitting a visual indicator from the position of an object in a simulated reality emulation
US11200743B2 (en) * 2017-03-30 2021-12-14 Christopher Carmichael Social network access via virtual-reality
EP3422145B1 (en) * 2017-06-28 2020-01-29 Nokia Technologies Oy Provision of virtual reality content
DE102017211520A1 (de) 2017-07-06 2019-01-10 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Erzeugen einer virtuellen Umgebung für einen Benutzer in einem Fahrzeug, entsprechendes Virtual-Realitysystem sowie Fahrzeug
JP6933727B2 (ja) * 2017-12-19 2021-09-08 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、画像処理方法、およびプログラム
US10497161B1 (en) 2018-06-08 2019-12-03 Curious Company, LLC Information display by overlay on an object
US20190385372A1 (en) * 2018-06-15 2019-12-19 Microsoft Technology Licensing, Llc Positioning a virtual reality passthrough region at a known distance
US10650600B2 (en) * 2018-07-10 2020-05-12 Curious Company, LLC Virtual path display
US10818088B2 (en) 2018-07-10 2020-10-27 Curious Company, LLC Virtual barrier objects
US10902678B2 (en) 2018-09-06 2021-01-26 Curious Company, LLC Display of hidden information
US11055913B2 (en) 2018-12-04 2021-07-06 Curious Company, LLC Directional instructions in an hybrid reality system
US10970935B2 (en) 2018-12-21 2021-04-06 Curious Company, LLC Body pose message system
US10872584B2 (en) 2019-03-14 2020-12-22 Curious Company, LLC Providing positional information using beacon devices
US20200327867A1 (en) * 2019-04-15 2020-10-15 XRSpace CO., LTD. Head mounted display system capable of displaying a virtual scene and a map of a real environment in a picture-in-picture mode, related method and related non-transitory computer readable storage medium
US11151967B2 (en) * 2019-06-06 2021-10-19 Honeywell International Inc. Method and system for spawning attention pointers (ATP) for drawing attention of an user in a virtual screen display with augmented and virtual reality
US11156830B2 (en) * 2019-11-14 2021-10-26 Facebook Technologies, Llc Co-located pose estimation in a shared artificial reality environment
CN111522141B (zh) * 2020-06-08 2022-01-14 歌尔光学科技有限公司 头戴设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2301216A (en) * 1995-05-25 1996-11-27 Philips Electronics Uk Ltd Display headset
JP3898816B2 (ja) * 1997-11-04 2007-03-28 株式会社島津製作所 位置検出機能付きヘッドマウントディスプレイ
US6166744A (en) * 1997-11-26 2000-12-26 Pathfinder Systems, Inc. System for combining virtual images with real-world scenes
JP4532856B2 (ja) * 2003-07-08 2010-08-25 キヤノン株式会社 位置姿勢計測方法及び装置
JP4789745B2 (ja) * 2006-08-11 2011-10-12 キヤノン株式会社 画像処理装置および方法
KR101090081B1 (ko) * 2010-03-16 2011-12-07 주식회사 시공테크 증강현실 제공 시스템 및 그 제공 방법
KR20120044461A (ko) * 2010-10-28 2012-05-08 (주)브이엔에스텍 융합 현실을 이용한 가상 훈련 장치 및 방법
US9081177B2 (en) * 2011-10-07 2015-07-14 Google Inc. Wearable computer with nearby object response
GB201314984D0 (en) * 2013-08-21 2013-10-02 Sony Comp Entertainment Europe Head-mountable apparatus and systems
KR102355118B1 (ko) * 2014-01-06 2022-01-26 삼성전자주식회사 전자 장치 및 가상 현실 모드에서의 이벤트 표시 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180046044A (ko) * 2016-10-27 2018-05-08 에스케이텔레콤 주식회사 전방위 영상 표시 장치 및 그 표시 방법
WO2018186642A1 (ko) * 2017-04-05 2018-10-11 삼성전자 주식회사 전자 장치 및 전자 장치의 화면 표시 방법

Also Published As

Publication number Publication date
WO2015129966A1 (en) 2015-09-03
US20150243079A1 (en) 2015-08-27

Similar Documents

Publication Publication Date Title
KR20150101612A (ko) 폐쇄형 시야(Closed-view)를 제공하는 헤드 마운티드 디스플레이 및 그 제어 방법
US11589022B2 (en) Scope of coverage indication in immersive displays
US10474411B2 (en) System and method for alerting VR headset user to real-world objects
JP6717377B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US10001844B2 (en) Information processing apparatus information processing method and storage medium
US9619021B2 (en) Head mounted display providing eye gaze calibration and control method thereof
EP3605279A1 (en) Method and system for user-related multi-screen solution for augmented reality for use in performing maintenance
US10489981B2 (en) Information processing device, information processing method, and program for controlling display of a virtual object
CN107533364B (zh) 用于运行虚拟现实系统的方法和虚拟现实系统
US9375639B2 (en) Image display system and head-mounted display device
US20140022371A1 (en) Pupil detection device
KR20200044102A (ko) 물리적 경계 검출
EP3163407B1 (en) Method and apparatus for alerting to head mounted display user
US20180246331A1 (en) Helmet-mounted display, visual field calibration method thereof, and mixed reality display system
US9823745B1 (en) Method and apparatus for selectively presenting content
US10937199B2 (en) Handling color vision deficiencies in virtual, augmented, and mixed reality (xR) applications
WO2016163183A1 (ja) 没入型仮想空間に実空間のユーザの周辺環境を提示するためのヘッドマウント・ディスプレイ・システムおよびコンピュータ・プログラム
US20150317956A1 (en) Head mounted display utilizing compressed imagery in the visual periphery
KR20220120649A (ko) 인공 현실 콘텐츠의 가변 초점 디스플레이를 갖는 인공 현실 시스템
US20230195226A1 (en) Attention cues for head-mounted display (hmd)
US20170280024A1 (en) Dynamically colour adjusted visual overlays for augmented reality systems
EP3441847B1 (en) Controller for use in a display device
US20150379775A1 (en) Method for operating a display device and system with a display device
US11343420B1 (en) Systems and methods for eye-based external camera selection and control
TW202213994A (zh) 擴增實境系統與其顯示亮度調整方法

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid