WO2022196869A1 - 머리 착용형 디스플레이 장치, 그 장치에서의 동작 방법 및 저장매체 - Google Patents

머리 착용형 디스플레이 장치, 그 장치에서의 동작 방법 및 저장매체 Download PDF

Info

Publication number
WO2022196869A1
WO2022196869A1 PCT/KR2021/008972 KR2021008972W WO2022196869A1 WO 2022196869 A1 WO2022196869 A1 WO 2022196869A1 KR 2021008972 W KR2021008972 W KR 2021008972W WO 2022196869 A1 WO2022196869 A1 WO 2022196869A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
distance
eyes
image
display
Prior art date
Application number
PCT/KR2021/008972
Other languages
English (en)
French (fr)
Inventor
최재성
도원준
최우존
이기혁
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US17/427,736 priority Critical patent/US11960643B2/en
Priority to EP21931812.8A priority patent/EP4273613A1/en
Publication of WO2022196869A1 publication Critical patent/WO2022196869A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/371—Image reproducers using viewer tracking for tracking viewers with different interocular distances; for tracking rotational head movements around the vertical axis
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

본 발명은 머리 착용형 디스플레이 장치, 그 장치에서의 동작 방법 및 저장매체에 관한 것으로서, 일 실시 예에 따르면, 머리 착용형 디스플레이 장치 는, 적어도 하나의 디스플레이; 상기 적어도 하나의 디스플레이의 배면에 배치되는 적어도 하나의 카메라; 제어부; 및 제어부에 의해 실행될 수 있는 복수의 명령을 저장하는 메모리를 포함하고, 상기 명령의 실행은 상기 제어부에 의해 복수의 동작들을 수행하도록 하며, 상기 복수의 동작들은, 상기 적어도 하나의 카메라를 통해 사용자의 양안의 이미지를 획득하고, 상기 획득된 이미지로부터 사용자의 양안을 검출하고, 상기 획득된 이미지로부터 검출된 사용자의 양안에 기반하여 사용자의 양안 거리를 측정하고, 상기 측정된 양안 거리에 기반하여 영상을 변환하고, 상기 변환된 영상을 상기 적어도 하나의 디스플레이에 제공하는 것을 포함하며, 상기 적어도 하나의 디스플레이는 상기 변환된 영상을 표시할 수 있다.

Description

머리 착용형 디스플레이 장치, 그 장치에서의 동작 방법 및 저장매체
본 발명의 다양한 실시 예들은 머리 착용형 디스플레이 장치, 그 장치에서의 동작 방법 및 저장매체에 관한 것이다.
전자 장치들 중에는 신체에 착용할 수 있는 형태로 제공되는 전자 장치들이 있다. 이러한 전자 장치들은 통상적으로 웨어러블 디바이스(wearable device)라고 할 수 있다. 웨어러블 디바이스는 신체에 착용할 수 있는 전자 장치들의 형태들 중에 HMD(head mounted display)와 같은 머리 착용형 디스플레이 장치일 수도 있다.
머리 착용형 디스플레이 장치는 사용자의 신체 일부(예를 들면, 사용자의 머리)에 착용되어 상기 사용자에게 가상 현실(Virtual Reality) 환경을 제공할 수 있다. 상기 가상 현실 환경의 제공은 예를 들어, 상기 가상 현실을 구현할 수 있는 화면의 디스플레이 및 상기 가상 현실을 구현할 수 있는 다양한 사용자 인터페이스의 제공 등을 포함할 수 있다.
양안 거리(inter-pupillary distance ;IPD)는 사용자의 양안 간의 거리이다. 사용자의 신체적 특성에 따라 사용자의 양안 거리가 사용자 별로 각각 다를 수 있다. 사용자의 양안 거리는 일정 기간에 걸쳐 변경될 수 있다. 사용자가 동일한 콘텐츠를 시청하더라도 사용자별 양안 거리의 차이로 인해 몰입도에 차이가 있을 수 있다. 또한 사용자의 양안 거리와 머리 착용형 디스플레이 장치 내의 광학 렌즈간 거리 및 영상이 표시되는 디스플레이 간의 불일치로 인해 사용자가 멀미나 구토, 어지럼증 등의 가상 현실 멀미를 경험할 수 있다.
다양한 실시 예들은, 머리 착용형 디스플레이 장치의 디스플레이 패널 아래에 언더 디스플레이 카메라를 배치하고, 언더 디스플레이 카메라를 통해 사용자의 양안 거리를 측정하여 사용자의 양안 거리에 기반하여 영상을 변환하여 디스플레이에 표시하는 전자 장치 및 그 장치에서의 동작 방법이 제공될 수 있다.
일 실시예에 따르면, 적어도 하나의 디스플레이, 및 상기 적어도 하나의 디스플레이의 배면에 배치되는 적어도 하나의 카메라를 포함하는 머리 착용형 디스플레이 장치의 동작 방법은, 상기 적어도 하나의 카메라를 통해 사용자의 양안의 이미지를 획득하는 동작, 상기 획득된 이미지로부터 사용자의 양안을 검출하는 동작, 상기 획득된 이미지로부터 검출된 사용자의 양안에 기반하여 사용자의 양안 거리를 측정하는 동작, 상기 측정된 양안 거리에 기반하여 영상을 변환하는 동작, 및 상기 변환된 영상을 상기 적어도 하나의 디스플레이에 제공하는 것을 포함하며, 상기 적어도 하나의 디스플레이는 상기 변환된 영상을 표시하는 동작을 포함할 수 있다.
일 실시 예에 따르면, 머리 착용형 디스플레이 장치는 적어도 하나의 디스플레이, 및 상기 적어도 하나의 디스플레이의 배면에 배치되는 적어도 하나의 카메라; 제어부; 제어부에 의해 실행될 수 있는 복수의 명령을 저장하는 메모리를 포함하고, 상기 명령의 실행은 상기 제어부에 의해 복수의 동작들을 수행하도록 하며, 상기 복수의 동작들은, 상기 적어도 하나의 카메라를 통해 사용자의 양안의 이미지를 획득하는 동작, 상기 획득된 이미지로부터 사용자의 양안을 검출하는 동작, 상기 검출된 사용자의 양안에 기반하여 사용자의 양안 거리를 측정하는 동작, 상기 측정된 양안 거리에 기반하여 영상을 변환하는 동작, 및 상기 변환된 영상을 상기 적어도 하나의 디스플레이에 제공하는 것을 포함하며, 상기 적어도 하나의 디스플레이는 상기 변환된 영상을 표시할 수 있다.
일 실시 예에 따르면, 컴퓨터로 판독할 수 있는 기록 매체는, 적어도 하나의 디스플레이, 및 상기 적어도 하나의 디스플레이의 배면에 배치되는 적어도 하나의 카메라를 포함하는 머리 착용형 디스플레이 장치의 제어기를 이용하여, 상기 적어도 하나의 카메라를 통해 사용자의 양안에 대한 이미지를 획득하는 동작, 상기 획득된 이미지로부터 사용자의 양안을 검출하는 동작, 상기 획득된 이미지로부터 검출된 사용자의 양안에 기반하여 사용자의 양안 거리를 측정하는 동작, 상기 측정된 양안 거리에 기반하여 영상을 변환하는 동작, 및 상기 변환된 영상을 상기 적어도 하나의 디스플레이에 표시하는 동작을 실행하는 프로그램을 저장할 수 있다.
본 발명의 다양한 실시 예에 따르면, 머리 착용형 디스플레이 장치의 디스플레이 패널에 포함된 언더 디스플레이 카메라를 통해 사용자의 양안을 촬영할 수 있으며, 언더 디스플레이 카메라를 통해 촬영된 이미지에 기반하여 사용자의 양안 거리를 자동으로 측정하고, 측정된 양안 거리에 기반하여 영상을 사용자에 맞게 변환하여 표시함으로써, 사용자의 가상 현실 체험의 몰입도를 증가시킬 수 있다.
본 발명의 다양한 실시 예에 따르면, 머리 착용형 디스플레이 장치의 디스플레이 패널에 포함된 언더 디스플레이 카메라를 통해 측정된 양안 거리에 기반하여 광학 렌즈간 거리 및/또는 영상이 표시되는 디스플레이간 거리를 사용자에 맞게 조정함으로써, 사용자의 가상 현실 체험의 몰입도를 증가시킬 수 있다.
도 1a 및 도 1b는 본 발명의 실시 예에 따른 머리 착용형 디스플레이 장치를 나타내는 개략적인 사시도이다.
도 2는 본 발명의 실시 예에 따른 머리 착용형 디스플레이 장치를 나타내는 개략적인 블록도이다.
도 3 은 본 발명의 실시 예에 따른 머리 착용형 디스플레이 장치의 디스플레이 유닛을 나타내는 도면이다.
도 4a 및 도 4b는 본 발명의 실시 예에 따른 머리 착용형 디스플레이 장치의 디스플레이 유닛을 나타내는 도면이다.
도 5는 본 발명의 실시 예에 따른 머리 착용형 디스플레이 장치에서 양안의 위치와 시선의 방향을 검출하는 방법을 도시한 도면이다.
도 6은 본 발명의 실시 예에 따른 머리 착용형 디스플레이 장치 장치에서 검출된 양안의 위치와 시선의 방향에 기반하여 광학 렌즈간 거리를 조정하는 방법을 도시한 도면이다.
도 7은 본 발명의 실시 예에 따른 머리 착용형 디스플레이 장치의 동작 방법을 나타내는 흐름도이다.
도 8은 본 발명의 실시 예에 따른 머리 착용형 디스플레이 장치의 동작 방법을 나타내는 흐름도이다.
도 9는 본 발명의 실시 예에 따른 머리 착용형 디스플레이 장치의 동작 방법을 나타내는 흐름도이다.
도 10은 본 발명의 실시 예에 따른 머리 착용형 디스플레이 장치의 동작 방법을 나타내는 흐름도이다.
이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명에 따른 예시적 실시 예를 상세하게 설명한다. 또한, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명을 제조하고 사용하는 방법을 상세히 설명한다. 각 도면에서 제시된 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낸다.
본 출원서에서 사용한 용어는 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 제한 및/또는 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 출원서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 각 도면에 제시된 동일한 참조부호는 실질적으로 동일한 기능을 수행하는 부재를 나타낸다.
도 1a 및 도 1b는 본 발명의 다양한 실시 예에 따른 머리 착용형 디스플레이 장치(100)를 나타내는 개략적인 사시도이다. 이하에서 기술하는 도 1a 및 도 1b의 머리 착용형 디스플레이 장치(100)에 도시된 구성 요소들의 위치는 머리 착용형 디스플레이 장치(100)의 성능 또는 구조에 대응하여 변경될 수 있다는 것은 당해 기술분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
양안 거리(IPD)는 사용자 별로 다를 수 있으며, 시간이 지남에 따라 동일한 사용자에 대해서도 IPD가 달라질 수 있다. 고정된 IPD로 사진을 표시하면 VR 멀미를 경험할 수 있다. 머리 착용형 디스플레이 장치(Head Mounted Display Apparatus, 100)는 사용자의 IPD에 따라 디스플레이 장치에 표시되는 이미지를 190, 190a로 변환하여 VR 멀미를 예방할 수 있다. 머리 착용형 디스플레이 장치(100)는 사용자의 눈 이미지를 얻기 위해 적어도 하나의 카메라 장치(150)를 사용할 수 있다. 머리 착용형 디스플레이 장치(100)는 사용자의 IPD를 결정하고, 사용자의 IPD와 일치하도록 디스플레이 장치의 이미지를 변환할 수 있다.
도 1a를 참조하면, 머리 착용형 디스플레이 장치(100)는 사용자의 머리에 착용 가능한 디스플레이 장치를 의미한다. 사용자의 머리(예를 들어, 눈)와 인접한 영역에 투명(see-through) 디스플레이 유닛이 위치하고, 사용자의 귀와 인접한 영역에 스피커(도시되지 아니함)가 위치하여 사용자에게 시각 정보 및 청각 정보를 제공할 수 있다. 머리 착용형 디스플레이 장치(100)는 안경형 디스플레이 장치 또는 헬멧형 디스플레이 장치를 포함할 수 있다.
머리 착용형 디스플레이 장치(100)는 콘텐츠를 표시하는 하나의 디스플레이 유닛(190)을 가지는 단안형(monocular-type) 디스플레이 장치 또는 3차원 영상을 표시할 수 있는 복수의 디스플레이 유닛들(190, 190a)을 가지는 양안형(binocular-type) 디스플레이 장치를 포함할 수 있다. 양안형 디스플레이 장치는 복수의 디스플레이 유닛들(190, 190a) 중 하나의 디스플레이 유닛을 선택적으로 동작시킬 수도 있다.
머리 착용형 디스플레이 장치(100)는 광학 렌즈(10), 광학 렌즈(10)의 일부분을 수용하는 제1 하우징(20), 배터리를 포함하는 제2 하우징(30), 제1 하우징(20)과 제2 하우징(30)을 연결하는 하우징 연결부(25)를 포함할 수 있다. 또한, 머리 착용형 디스플레이 장치(100)는 광학 렌즈(10a), 광학 렌즈(10a)의 일부분을 수용하는 제3 하우징(20a), 배터리를 포함하는 제4 하우징(30a), 제3 하우징(20a)과 제4 하우징(30a)을 연결하는 하우징 연결부(25a)를 포함할 수 있다. 배터리는 제1 하우징(20) 또는 제3 하우징(30)에 위치할 수도 있다.
탄성에 의해 휘어지는(flexible) 하우징 연결부(25, 25a)에 의해 머리 착용형 디스플레이 장치(100)는 사용자의 머리에 장착될 수 있다.
머리 착용형 디스플레이 장치(100)는 제1 하우징(20)과 제3 하우징(20a)을 연결하는 브리지(bridge, 21)을 포함할 수 있다.
디스플레이 유닛(190 또는 190a)은 광학 렌즈(10 또는 10a)의 전면에서부터 이격된 거리(예를 들어, 5 cm 이하)에 위치하거나 또는 광학 렌즈(10 또는 10a)의 후면에서부터 이격된 거리(예를 들어, 5 cm 이하)에 위치할 수도 있다. 디스플레이 유닛들(190, 190a) 간의 거리, 광학 렌즈들(10, 10a) 간 거리, 및 디스플레이 유닛(190 또는 190a)과 광학 렌즈(10 또는 10a) 간 이격 거리는 머리 착용형 디스플레이 장치(100)의 성능 또는 구조에 대응하여 변경될 수 있다는 것은 당해 기술분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다. 머리 착용형 디스플레이 장치(100)를 사용할 경우, 디스플레이 유닛(190 또는 190a)은 IPD를 기준으로 이미지를 표시한다. 그러나 IPD는 사용자마다 다르며 시간이 지남에 따라 동일한 사용자에 대해서도 다르다. 디스플레이 유닛(190 또는 190a)은 사용자의 실제 IPD를 기준으로 변환된 콘텐트를 표시한다.
머리 착용형 디스플레이 장치(100)는 카메라 유닛(150, 도2 참조)과 센서 유닛(170, 도 2 참조)을 포함할 수 있다. 카메라 유닛(150)은 제1 하우징(20), 제3 하우징(20a) 중 적어도 하나에 위치할 수 있다. 예를 들어, 제1 하우징(20) 및 제3 하우징(20a) 중 하나 또는 제1 하우징(20) 및 제3 하우징(20a)에 각각 위치할 수 있다. 또한, 카메라 유닛(150)은 브리지(21)에 위치할 수 있다. 카메라 유닛(150)은 사용자가 머리 착용형 디스플레이 장치(100)를 사용하는 동안 사용자의 이미지를 얻을 수 있고, 사용자의 이미지에는 사용자의 눈이 포함될 수 있다. 머리 착용형 디스플레이 장치(100)는 사용자의 이미지를 사용하여 사용자의 IPD를 결정할 수 있다.
일 실시 예에 따르면, 카메라 유닛(150)의 적어도 일부는 디스플레이 유닛(190 또는 190a)에 포함될 수 있다.
센서 유닛(170)는 제1 하우징(20), 제3 하우징(20a) 중 적어도 하나에 위치할 수 있다. 예를 들어, 제1 하우징(20) 및 제3 하우징(20a) 중 하나 또는 제1 하우징(20) 및 제3 하우징(20a)에 각각 위치할 수 있다. 또한, 센서 유닛(170)은 브리지(21)에 위치할 수 있다.
머리 착용형 디스플레이 장치(100)의 제1 하우징(20)은 버튼(161, 도2 참조), 마이크(162, 도2 참조), 스피커(163, 도2 참조) 또는 터치 패드(165, 도2 참조) 중 적어도 하나를 포함할 수 있다. 본 발명의 실시 예에서 '하우징'이라는 용어는 제1 하우징(20), 제2 하우징(30), 제3 하우징(20a) 또는 제4 하우징(30a) 을 포함할 수 있다.
도 1b를 참조하면, 머리 착용형 디스플레이 장치(100)는 디스플레이를 포함할 수도 있고, 디스플레이를 포함하는 외부 전자 장치(200)와 결합될 수도 있다. 이에 따라, 머리 착용형 디스플레이 장치(100)를 착용함에 따라, 머리 착용형 디스플레이 장치(100)의 디스플레이 또는 외부 전자 장치(200)의 디스플레이에 표시되는 좌안용 이미지 및 우안용 이미지를 볼 수 있다.
도 1b에 도시된 바와 같이, 다양한 실시예에 따른 머리 착용형 디스플레이 장치(100)는 센서 유닛(170, 도 2 참조), 적어도 하나의 광학 렌즈(10), 사용자의 양안과 근접하는 플레이트(미도시), 사용자의 안면과 밀착되는 폼 쿠션(foam cushion)(40) 및 사용자의 머리에 착용되도록 마련된 사용자 고정 장치(50)를 포함할 수 있다.
센서 유닛(170)은 광을 감지하는 광 센서 또는 사용자가 머리 착용형 디스플레이 장치(100)를 착용하였는지 여부를 판단하는 근접 센서 중 적어도 하나를 포함할 수 있다. 광 센서와 근접 센서가 별도로 존재할 수 있고, 하나의 센서(예를 들어, 근조도 센서)로 존재할 수도 있다. 센서 유닛(170)은 렌즈(10)를 투과하는 외광을 감지하기 위한 최적의 위치에 배치될 수 있다. 센서 유닛(170)은 외부 광을 방출하는 광원의 종류를 확인할 수 있다. 예를 들어, 센서 유닛(170)은 외부 광이 자연광(태양광)인지 인공광(형광등, LED 등)인지 확인할 수 있다.
렌즈(10)는 좌안용 렌즈와 우안용 렌즈를 포함할 수 있다. 디스플레이 또는 외부 전자 장치(200)의 디스플레이에 표시되는 좌안용 이미지가 좌안용 렌즈를 투과하여 사용자에게 도달할 수 있으며, 디스플레이 또는 외부 전자 장치(200)의 디스플레이에 표시되는 우안용 이미지가 우안용 렌즈를 투과하여 사용자에게 도달할 수 있다. 다양한 실시예에서, 좌안용 렌즈와 우안용 렌즈 사이의 거리는 사용자의 IPD에 기반하여 조정되거나 변경될 수 있다.
플레이트의 제1면은, 외부 전자 장치(200)의 디스플레이의 적어도 일부와 접촉하거나, 또는 머리 착용형 디스플레이 장치(100)의 디스플레이를 향할 수 있다. 플레이트의 제 1 면에 대향하는 제 2 면은 사용자의 안면을 향하도록 배치될 수 있다. 머리 착용형 디스플레이 장치(100)가 디스플레이를 포함할 경우, 플레이트의 제 2 면은 디스플레이를 향하는 제 1 면과 대향될 수 있다. 머리 착용형 디스플레이 장치(100)가 디스플레이를 포함하는 외부 전자 장치(200)와 결합하여 가상 현실 어플리케이션에 의한 이미지를 제공하는 경우, 플레이트의 제 2 면은 외부 전자 장치(200)와 밀접하는 제 1 면에 대향될 수 있다. 일 실시 예에서, 가상 현실 어플리케이션은 사용자에게 실제 현실과 유사한 디스플레이를 제공할 수 있는 어플리케이션일 수 있다. 일 실시 예에서, 가상 현실 어플리케이션은 스테레오 방식에 기초하여 사용자의 양안 각각에 대응하는 좌안용 이미지 및 우안용 이미지를 표시할 수 있다.
사용자는 폼 쿠션(40)에 안면(즉, 양안)을 밀착시킬 수 있으며, 이에 따라 외광의 간섭 없이 머리 착용형 디스플레이 장치(100) 또는 머리 착용형 디스플레이 장치(100)에 결합된 외부 전자 장치(200)로부터 제공되는 가상 현실 어플리케이션에 의한 이미지를 관찰할 수 있다. 예를 들어, 사용자는 렌즈(10)를 통하여 좌안용 이미지 및 우안용 이미지를 양안으로 관찰할 수 있다.
사용자 고정 장치(50)는 머리 착용형 디스플레이 장치(100)가 사용자의 머리에 착용되도록 하기 위한 구성일 수 있다. 머리 착용형 디스플레이 장치(100)는 사용자 고정 장치(50)를 통해 사용자의 머리에 착용되어, 사용자가 움직이더라도 사용자의 머리에 고정될 수 있다.
도 2는 본 발명의 실시 예에 따른 머리 착용형 디스플레이 장치를 나타내는 개략적인 블록도이고, 도 3과 도 4a 및 도 4b는 본 발명의 실시 예에 따른 머리 착용형 디스플레이 장치의 디스플레이 유닛을 나타내는 도면이다.
도 2를 참조하면, 머리 착용형 디스플레이 장치(100)는 이동통신 유닛(120), 서브통신 유닛(130) 및 커넥터(165)를 이용하여 외부 장치(도시되지 아니함)와 유선 또는 무선으로 연결될 수 있다. 외부 장치는 디스플레이 유닛들(190, 190a)보다 넓은 면적을 가지는 화면을 포함하는 휴대폰(도시되지 아니함), 스마트폰(도시되지 아니함), 태블릿PC(도시되지 아니함), MP3 플레이어, 동영상 플레이어, 태블릿 PC, 3D-TV, 스마트 TV, LED TV, LCD TV 또는 서버(도시되지 아니함)를 포함할 수 있다. 또한, 외부 장치는 다른 머리 착용형 디스플레이 장치(도시되지 아니함)를 포함할 수 있다.
머리 착용형 디스플레이 장치(100)는 연결 가능한 다른 외부 장치와 머리 착용형 디스플레이 장치(100)를 통해 입력되는 사용자 입력(또는 사용자 인터랙션, 예를 들어, 음성, 모션, 터치 또는 터치 제스처)을 이용하여 데이터(예를 들어, 이미지, 텍스트, 음성, 비디오 등)의 송/수신을 할 수 있는 장치를 포함할 수 있다.
머리 착용형 디스플레이 장치(100)는 디스플레이 유닛(190 또는 190a), 제어부(110), 이동통신 유닛(120), 서브통신 유닛(130), 멀티미디어 유닛(140), 카메라 유닛(150), GPS 유닛(155), 입/출력 유닛(160), 센서 유닛(170), 저장부(175) 및 전원 공급부(180)를 포함할 수 있다.
서브통신 유닛(130)은 무선랜 유닛(131) 및 근거리 통신 유닛(132) 중 적어도 하나를 포함하고, 멀티미디어 유닛(140)은 오디오 재생 유닛(141) 및 동영상 재생 유닛(142) 중 적어도 하나를 포함할 수 있다. 카메라 유닛(150)은 제1 카메라(151) 및 제2 카메라(152) 중 적어도 하나를 포함하고, 입/출력 유닛(160)은 버튼(161), 마이크(162), 스피커(163), 커넥터(164), 및 터치 패드(165) 중 적어도 하나를 포함하고, 센서 유닛(170)은 조도 센서(171), 근접 센서(172) 및 자이로 센서(173)를 포함할 수 있다.
도 3을 참조하면, 디스플레이 유닛(190 또는 190a)은 카메라(310)를 포함할 수 있다. 카메라(310)는 카메라 유닛(150)의 적어도 일부일 수 있다. 카메라(310)를 사용하여 사용자의 이미지를 캡처할 수 있으며, 여기에는 사용자의 눈이 포함될 수 있다. 디스플레이 유닛(190 또는 190a)이 표시하는 이미지는 카메라(150)에 의해 캡처된 이미지에서 결정된 IPD를 기반으로 할 수 있다. 카메라(310)는 디스플레이 유닛(190 또는 190a) 배면에 배치될 수 있다.
일 실시예에 따르면, 디스플레이 유닛(190 또는 190a)은 복수 개의 카메라들(310)을 포함할 수 있다. 머리 착용형 디스플레이 장치(100)가 하나의 디스플레이 유닛(190 또는 190a)을 포함하는 단안형 디스플레이 장치인 경우, 하나의 디스플레이 유닛(190 또는 190a)이 복수 개의 카메라들(310)을 포함할 수도 있다. 머리 착용형 디스플레이 장치(100)가 양안형 디스플레이 장치인 경우, 복수의 디스플레이 유닛들(190, 190a) 각각이 하나의 카메라(310)를 포함하거나 복수의 디스플레이 유닛들(190, 190a) 각각이 복수의 카메라들(310)을 포함할 수 있다.
일 실시 예에 따르면, 카메라(310)는 평균적인 눈의 위치에 설치될 수 있으며, 카메라(310)의 위치는 양안이 시야에 들어오는 모든 위치에 설치될 수 있다.
본 발명의 실시 예에 따르면, 카메라(310)가 디스플레이 유닛(190 또는 190a)에 포함되도록 구성되어, 카메라(310)와 광학 렌즈(10 또는 10a)가 일직선상에 위치함으로써 초점거리가 단축되며, 이에 따라 카메라(31)와 사용자의 양안간의 거리가 가깝더라도 사용자의 양안이 선명하게 촬영될 수 있다.
일 실시 예에 따르면, 디스플레이 유닛(190 또는 190a)은 제1 면이 사용자의 양안 방향으로 노출되도록 투명 유리층(320)이 배치되고, 투명 유리층(320)의 제2 면(배면) 아래에 디스플레이 패널(330)이 배치될 수 있다.
디스플레이 패널(330)은 디스플레이 요소층(331), 디스플레이 요소층(331) 아래에 배치된 제1폴리머 층(333)(예: 폴리이미드) 및 제2폴리머 층(335)(예: 폴리에틸렌 테레프탈레이트)을 포함할 수 있다.
디스플레이 요소층(331)은 박막트랜지스터(thin film transistor: TFT)(도시되지 않음)를 포함하는 회로층, 디스플레이 요소로서 유기발광다이오드(organic light emitting diode: OLED)(도시되지 않음) 및 이들 사이의 절연층(insulation layer: IL)(도시되지 않음)을 포함할 수 있다.
디스플레이 패널(330)은 디스플레이 드라이버 집적 회로(Display Driver Integrated circuit)(도시되지 않음)를 포함할 수 있다. 일 실시 예에 따르면, 투명 유리층(320) 및 디스플레이 패널(330)은 적어도 일부가 휘어진 형태일 수 있다. 디스플레이 패널(330)은 플렉서블한 폴리머 필름으로 형성될 수 있으며, 예를 들어, 폴리이미드(Polyimide), 폴리에틸렌 테레프탈레이트(Polyethylene terephthalate), 또는 기타 폴리머 물질을 포함할 수 있다.
일 실시 예에 따르면, 카메라(310)는 디스플레이 패널(330)의 배면(예: 제2 면)의 아래에 배치될 수 있다. 일 실시 예에 따르면, 카메라(310)는 디스플레이 패널(330)의 배면 아래에 카메라 유닛(150)의 적어도 일부가 배치되는 언더 디스플레이 카메라(예: UDC(Under Display Camera))(310)일 수 있다. 일 실시 예에 따르면, 카메라(310)는 도 1a의 카메라 유닛(150)의 적어도 일부이거나 도 1b의 외부 전자 장치(200)에 포함될 수 있으며, 카메라(310)는 외부로 노출되지 않을 수 있다.
일 실시 예에 따르면, 카메라(310)는 투명 유리층(320)을 통해 입사되는 빛을 렌즈를 통해 수광하고, 수광된 빛을 감지하여 디지털 신호로 환하여 최종적으로 이미지를 획득하는 카메라 센서(예: 이미지 센서)(도시되지 않음), 이미지를 처리하는 이미지 처리 유닛 또는 이미지를 저장하는 메모리(도시되지 않음) 중 적어도 하나를 포함할 수 있다.
도 4a에서, 단일 렌즈(431)는 사용자의 눈(400)과 픽셀(435) 사이에 위치할 수 있다. 픽셀(435)의 반대쪽에서 렌즈(431)는 사용자의 눈에서 카메라(413)로 굴절된 빛을 제공한다. 도 4b에서, 단일 렌즈(431) 대신 복수의 렌즈(431)가 있을 수 있다. 복수의 렌즈(431)는 픽셀(433)로부터 빛을 분산시킬 수 있다.
일 실시 예에 따르면, 디스플레이 패널은 복수의 픽셀들(도 4의 433)을 포함할 수 있다. 복수의 픽셀들(433)은 수동 매트릭스 구동 방식에 기반하여 구동되는 수동형 매트릭스 유기 발광 다이오드(passive matrix　organic　light emitting　diode:　PMOLED) 픽셀들, 또는 능동 매트릭스 구동 방식에 기반하여 구동되는 능동형 매트릭스 유기 발광 다이오드(active matrix organic light emitting diode: AMOLED) 픽셀들을 포함할 수 있다.
일 실시 예에 따르면, 디스플레이 유닛(픽셀: 433)의 반대편에는 사용자의 눈(400)으로서 근적외선 파장 대역의 광원(미도시)이 위치할 수 있고, 광원으로부터 발광된 빛(450)이 픽셀들(433) 사이의 공간(435) 및 렌즈(431)(예: 도 1a 및 도 1b의 10)를 통과하여 눈(400)에서 반사될 수 있다. 눈(400)에서 반사된 빛(450)은 다시 렌즈(431)(예: 도 1a 및 도 1b의 10) 및 픽셀들(433) 사이의 공간(435)을 지나고 렌즈(411)를 통과하여 카메라(413)에 도달함으로써 카메라(413)를 통해 눈 영역 영상을 얻을 수 있다. 일 실시 예에서, 카메라(413)는 적외선 촬영이 가능한 카메라일 수 있다.
일 실시 예에 따르면, 픽셀들(433)의 제 1면 위에는 복수의 마이크로 렌즈들(431)이 실장될 수 있다. 마이크로 렌즈들(431)은 픽셀들(433)의 빛을 분산시켜서 픽셀들(433) 사이의 영역이 보이는 현상을 감소시킬 수 있다.
다른 실시 예에 따르면, 디스플레이 유닛(190 또는 190a)은 탈부착이 가능한 별도의 전자 장치일 수 있고, 이 경우 디스플레이 유닛(190 또는 190a)은 스마트 폰일 수 있다.
제어부(110)는 프로세서(Processor, 111), 머리 착용형 디스플레이 장치(100)의 제어를 위한 제어 프로그램이 저장된 롬(ROM, 112) 및 머리 착용형 디스플레이 장치(100)의 외부에서 입력되는 신호 또는 데이터를 저장하거나, 머리 착용형 디스플레이 장치(100)에서 수행되는 다양한 작업에 대한 저장 영역으로 사용되는 램(RAM, 113)을 포함할 수 있다. 제어부(110)라는 용어는 단수 및 복수를 지칭하는 것으로 이해되어야 한다.
제어부(110)는 머리 착용형 디스플레이 장치(100)의 전반적인 동작 및 머리 착용형 디스플레이 장치(100)의 내부 구성요소들(120 내지 195) 간의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행할 수 있다.
제어부(110)는 전원공급부(180)로부터 내부 구성요소들(120 내지 195)에게 전원 공급을 제어할 수 있다. 또한, 사용자의 입력 또는 설정되어 저장된 조건을 만족하는 경우, 제어부(190)는 저장부(175)에 저장된 OS(Operation System) 및 다양한 어플리케이션을 실행할 수 있다.
프로세서(111)는 그래픽 처리를 위한 GPU(Graphic Processing Unit, 도시되지 아니함)를 포함할 수 있다. 프로세서 (111)는 코어(core, 도시되지 아니함)와 GPU(도시되지 아니함)가 SoC(System On Chip)로 구현될 수 있다. 프로세서 (111)는 싱글 코어, 듀얼 코어, 트리플 코어, 쿼드 코어 및 그 배수의 코어를 포함할 수 있다. 또한, 프로세서(111), 롬(112) 및 램(113)은 내부 버스(bus)를 통해 상호 연결될 수 있다. "프로세서"라는 용어는 단수 및 복수를 지칭하는 것으로 이해되어야 한다.
제어부(110)는 이동통신 유닛(120), 서브통신 유닛(130), 멀티미디어 유닛(140), 카메라 유닛(150), GPS 유닛(155), 입/출력 유닛(160), 센서 유닛(170), 저장부(175), 전원공급부(180) 및 디스플레이 유닛(190)을 제어할 수 있다.
본 발명의 실시 예에서 '제어부'라는 용어는 프로세서(111), 롬(112) 및 램(113)을 포함할 수 있다.
본 발명의 실시 예에 따른 제어부(110)는, 디스플레이 유닛들(190, 190a)에 포함된 카메라(310)를 이용하여 사용자의 양안을 촬영하도록 카메라(310)를 제어할 수 있다.
본 발명의 실시 예에 따른 제어부(110)는, 카메라(310)를 통해 촬영된 이미지를 처리하여 사용자의 양안 영역 및 양안의 위치를 검출할 수 있다. 일 실시 예에 따르면, 제어부(110)는, 카메라(310)를 통해 촬영된 이미지를 처리하여 사용자의 동공을 확인함으로써 시선의 방향을 확인할 수 있다.
도 5는 본 발명의 일 실시 예에 따른 머리 착용형 디스플레이 장치에서 눈의 위치와 시선의 방향을 검출하는 방법을 도시한 도면이다.
도 5를 참조하면, 일 실시 예에 따른 제어부(110)는, 영상 처리 기법 중 하나인 템플릿 매칭(template matching) 기법을 이용하여, 사전에 정의된 눈동자의 모양을 나타내는 템플리트 영상(511)과 카메라(310)를 통해 촬영된 원 영상(513)을 비교하고, 확률 맵(515)을 이용하여 두 영상간의 상관도가 높은 부분의 위치를 사용자의 눈이 위치한 영역으로 판단하며, 최종적으로 눈의 위치와 시선의 방향(517)을 검출할 수 있다. 다른 실시 예에 따르면, 당업자에게 알려진 다양한 영상 처리 기법 또는 딥 러닝 네트워크 등을 이용하여, 카메라(310)를 통해 촬영된 이미지로부터 양안의 위치와 시선의 방향을 검출할 수 있다.
도 5에서는 하나의 카메라(310)를 통해 촬영된 영상을 처리하는 예를 도시하였으나, 디스플레이 유닛(190 또는 190a)에 복수개의 카메라들(310)이 포함되거나 디스플레이 유닛들(190, 190a)에 각각 카메라(310)가 포함된 경우, 디스플레이 유닛(190 또는 190a)에 포함된 복수의 카메라들(310)을 통해 촬영된 영상을 도 5와 같은 영상 처리 기법을 이용하여 사용자의 양안의 위치와 시선의 방향을 검출할 수 있다.
본 발명의 실시 예에 따른 제어부(110)는, 카메라(310)를 통해 촬영된 이미지에서 검출된 양안의 위치와 시선의 방향에 기반하여 사용자의 양안 거리(inter-pupillary distance; IPD)를 판단할 수 있다. 일 실시예에 따르면, 디스플레이 유닛(190 또는 190a)에 복수의 카메라들(310)이 포함된 경우, 복수의 카메라들(310) 간의 거리도 IPD를 판단하는데 사용될 수 있다.
본 발명의 실시 예에 따른 제어부(110)는, 카메라(310)를 통해 촬영된 이미지로부터 판단된 사용자의 양안 거리에 기반하여, 머리 착용형 디스플레이 장치(100)의 디스플레이 유닛(190 또는 190a)에 표시될 영상을 변환할 수 있다. 일 실시 예에 따르면, 디스플레이 유닛(190 또는 190a)에 표시될 영상의 변환은 아핀(affine), 프로젝티브(projective) 변환 등의 매트릭스 연산에 기반하여 수행될 수 있다.
본 발명의 실시 예에 따른 제어부(110)는, 카메라(310)를 통해 촬영된 이미지로부터 판단된 사용자의 양안 거리에 기반하여, 머리 착용형 디스플레이 장치(100)의 광학 렌즈들(10, 10a) 간 거리 또는 영상이 표시되는 디스플레이 간 거리를 하드웨어적으로 조정할 수 있다.
도 6은 본 발명의 실시 예에 따른 머리 착용형 디스플레이 장치에서 검출된 양안의 위치와 시선의 방향에 기반하여 광학 렌즈간 거리를 조정하는 방법을 도시한 도면이다.
도 6을 참조하면, 본 발명의 실시 예에 따른 제어부(110)는, 카메라(310)를 통해 촬영된 이미지로부터 판단된 사용자의 양안 거리(IPD)에 기반하여, 머리 착용형 디스플레이 장치(100)의 광학 렌즈들(10, 10a) 간 거리(inter ocular distance; IOD)를 조정할 수 있다.
도 6에 도시한 일 실시 예에 따르면, 머리 착용형 디스플레이 장치(100)의 광학 렌즈들(10, 10a) 간 거리는, 미리 설정된 양안 거리 기준값(예: 65 mm)에 기반하여 설정되어 있다.
일 실시 예에 따르면, 제어부(110)는 촬영된 이미지에 기반하여 판단된 사용자의 양안 거리(IPD)와 미리 설정된 기준값(예: 65 mm)을 비교하여, 판단된 사용자의 양안 거리가 미리 설정된 기준값보다 넓다고 판단할 수 있으며, 이에 따라 광학 렌즈들(10, 10a) 간 거리를 기본 설정된 (a)에서 (b)와 같이 넓어지도록 조정할 수 있다.
일 실시 예에 따르면, 제어부(110)는 판단된 사용자의 양안 거리가 미리 설정된 기준값보다 좁다고 판단할 수 있으며, 이에 따라 광학 렌즈들(10, 10a) 간 거리를 기본 설정된 (a)보다 좁아지도록 조정할 수 있다.
일 실시 예에 따른 머리 착용형 디스플레이 장치(100)의 저장부(175)는 제어부(110)에 의해 실행되는 동작들을 수행하도록 하는 명령어들(예: 인스트럭션들(instructions))을 저장할 수 있다. 적어도 하나의 프로세서(111)는 저장부(175)에 저장된 명령어들을 실행시킬 수 있다.
이와 같이, 일 실시 예에서는 도 1a 및 도 1b, 도 2, 도 3 및 도 4a 및 도 4b의 머리 착용형 디스플레이 장치(100)를 통해 머리 착용형 디스플레이 장치의 주요 구성 요소에 대해 설명하였다. 그러나 다양한 실시 예에서는 도 1a 및 도 1b, 도 2, 도 3 및 도 4a 및 도 4b를 통해 도시된 구성 요소가 모두 필수 구성 요소인 것은 아니며, 도시된 구성 요소보다 많은 구성 요소에 의해 머리 착용형 디스플레이 장치(100)가 구현될 수도 있고, 그 보다 적은 구성 요소에 의해 머리 착용형 디스플레이 장치(100)가 구현될 수도 있다. 또한, 도 1a 및 도 1b, 도 2, 도 3 및 도 4a 및 도 4b를 통해 상술한 머리 착용형 디스플레이 장치(100)의 주요 구성 요소의 위치는 다양한 실시 예에 따라 변경 가능할 수 있다.
일 실시 예에 따르면, 머리 착용형 디스플레이 장치(예: 도 1a, 도 1b 및 도 2의 머리 착용형 디스플레이 장치(100))는, 적어도 하나의 디스플레이(예: 도 1 a, 도 1b 및 도 2의 디스플레이 유닛(190 또는 190a); 상기 적어도 하나의 디스플레이의 배면에 배치되는 적어도 하나의 카메라(예: 도 3의 카메라(310)), 및 제어부(예: 도 2의 제어부(110))를 포함하고, 상기 제어부는, 상기 적어도 하나의 카메라를 통해 사용자의 양안에 대한 이미지를 획득하고, 상기 획득된 이미지로부터 사용자의 양안을 검출하고, 상기 검출된 사용자의 양안에 기반하여 사용자의 양안 거리를 측정하고, 상기 측정된 양안 거리에 기반하여 영상을 변환하고, 상기 변환된 영상을 상기 적어도 하나의 디스플레이에 표시하도록 설정될 수 있다.
일 실시 예에 따르면, 상기 제어부는, 상기 획득된 이미지로부터 사용자의 시선의 방향을 검출하고, 상기 검출된 사용자의 양안 및 상기 검출된 사용자의 시선의 방향에 기반하여 상기 사용자의 양안 거리를 측정하도록 설정될 수 있다.
일 실시 예에 따르면, 상기 제어부는, 상기 검출된 사용자의 양안, 상기 검출된 사용자의 시선의 방향, 및 상기 적어도 하나의 카메라의 위치에 기반하여 상기 사용자의 양안 거리를 측정하도록 설정될 수 있다.
일 실시 예에 따르면, 상기 적어도 하나의 카메라는, 상기 적어도 하나의 디스플레이의 배면에 배치될 수 있다.
일 실시 예에 따르면, 상기 적어도 하나의 디스플레이는, 복수의 픽셀들, 및 상기 복수의 픽셀들 상부에 구비된 마이크로 렌즈를 포함할 수 있다.
일 실시 예에 따르면, 상기 적어도 하나의 디스플레이의 전면 또는 후면에서 이격된 거리에 위치하는 두 개의 광학 렌즈들을 더 포함하며, 상기 제어부는, 상기 측정된 양안 거리에 기반하여 상기 두 개의 광학 렌즈들 간의 거리를 조정하도록 설정될 수 있다.
일 실시 예에 따르면, 머리 착용형 디스플레이 장치는, 두 개의 디스플레이들을 포함하며, 상기 제어부는, 상기 측정된 양안 거리에 기반하여 상기 두 개의 디스플레이들 간의 거리를 조정하도록 설정될 수 있다.
일 실시 예에 따르면, 상기 제어부는, 상기 측정된 양안 거리와 미리 설정된 양안 거리 기준값을 비교하고, 비교 결과에 기반하여 상기 영상을 변환하도록 설정될 수 있다.
일 실시 예에 따르면, 상기 제어부는, 상기 측정된 양안 거리와 미리 설정된 양안 거리 기준값을 비교하고, 비교 결과에 기반하여 상기 두 개의 광학 렌즈들 간의 거리를 조정하도록 설정될 수 있다.
일 실시 예에 따르면, 상기 제어부는, 상기 측정된 양안 거리가 상기 미리 설정된 양안 거리 기준값보다 넓을 경우, 상기 두 개의 광학 렌즈들 간의 거리가 넓어지도록 조정하고, 상기 측정된 양안 거리가 상기 미리 설정된 양안 거리 기준값보다 좁을 경우, 상기 두 개의 광학 렌즈들 간의 거리가 좁아지도록 조정하도록 설정될 수 있다.
일 실시 예에 따르면, 상기 제어부는, 상기 측정된 양안 거리와 미리 설정된 양안 거리 기준값을 비교하고, 비교 결과에 기반하여 상기 두 개의 디스플레이들 간의 거리를 조정하도록 설정될 수 있다.
도 7은 본 발명의 일 실시 예에 따른 머리 착용형 디스플레이 장치의 동작 방법을 나타내는 흐름도(700)이다.
다양한 실시 예들에 따르면, 도 7에 도시되는 동작들은 도시되는 순서에 국한되지 않고 다양한 순서로 수행될 수 있다. 다양한 실시 예들에 따르면 도 7에 도시되는 동작들보다 더 많은 동작들이 수행되거나, 더 적은 적어도 하나의 동작이 수행될 수도 있다.
도 7을 참조하면, 동작 701에서, 머리 착용형 디스플레이 장치(100)는, 디스플레이 유닛(190 또는 190a)에 포함된 적어도 하나의 카메라(310)를 통해 사용자의 양안에 대한 적어도 하나의 이미지를 획득할 수 있다.
동작 703에서, 머리 착용형 디스플레이 장치(100)는, 획득된 이미지를 처리하여 사용자의 양안을 검출할 수 있다.
동작 705에서, 머리 착용형 디스플레이 장치(100)는, 검출된 사용자의 양안에 기반하여 사용자의 양안 거리를 측정할 수 있다.
동작 707에서, 머리 착용형 디스플레이 장치(100)는, 측정된 사용자의 양안 거리에 기반하여 디스플레이 유닛(190 또는 190a)에 표시할 영상을 보정하거나 변환할 수 있다.
동작 709에서, 머리 착용형 디스플레이 장치(100)는, 측정된 사용자의 양안 거리에 기반하여 보정되거나 변환된 영상을 디스플레이 유닛(190 또는 190a)에 표시할 수 있다.
도 8은 본 발명의 일 실시 예에 따른 머리 착용형 디스플레이 장치의 동작 방법을 나타내는 흐름도(800)이다.
다양한 실시 예들에 따르면, 도 8에 도시되는 동작들은 도시되는 순서에 국한되지 않고 다양한 순서로 수행될 수 있다. 다양한 실시 예들에 따르면 도 8에 도시되는 동작들보다 더 많은 동작들이 수행되거나, 더 적은 적어도 하나의 동작이 수행될 수도 있다.
도 8을 참조하면, 동작 801에서, 머리 착용형 디스플레이 장치(100)는, 디스플레이 유닛(190 또는 190a)에 포함된 적어도 하나의 카메라(310)를 통해 사용자의 양안에 대한 적어도 하나의 이미지를 획득할 수 있다.
동작 803에서, 머리 착용형 디스플레이 장치(100)는, 획득된 이미지를 처리하여 사용자의 양안과 시선의 방향을 검출할 수 있다.
동작 805에서, 머리 착용형 디스플레이 장치(100)는, 검출된 사용자의 양안과 시선의 방향에 기반하여 사용자의 양안 거리를 측정할 수 있다. 일 실시 예에 따르면, 머리 착용형 디스플레이 장치(100)는, 검출된 사용자의 양안과 시선의 방향 및 카메라(310)의 위치 정보에 기반하여 사용자의 양안 거리를 측정할 수 있다.
동작 807에서, 머리 착용형 디스플레이 장치(100)는, 측정된 사용자의 양안 거리에 기반하여 디스플레이 유닛(190 또는 190a)에 표시할 영상을 보정하거나 변환할 수 있다.
동작 809에서, 머리 착용형 디스플레이 장치(100)는, 측정된 사용자의 양안 거리에 기반하여 보정되거나 변환된 영상을 디스플레이 유닛(190 또는 190a)에 표시할 수 있다.
도 9는 본 발명의 일 실시 예에 따른 머리 착용형 디스플레이 장치의 동작 방법을 나타내는 흐름도(900)이다.
다양한 실시 예들에 따르면, 도 9에 도시되는 동작들은 도시되는 순서에 국한되지 않고 다양한 순서로 수행될 수 있다. 다양한 실시 예들에 따르면 도 9에 도시되는 동작들보다 더 많은 동작들이 수행되거나, 더 적은 적어도 하나의 동작이 수행될 수도 있다.
도 9를 참조하면, 동작 901에서, 머리 착용형 디스플레이 장치(100)는, 디스플레이 유닛(190 또는 190a)에 포함된 적어도 하나의 카메라(310)를 통해 사용자의 양안에 대한 적어도 하나의 이미지를 획득할 수 있다.
동작 903에서, 머리 착용형 디스플레이 장치(100)는, 획득된 이미지를 처리하여 사용자의 양안을 검출할 수 있다.
동작 905에서, 머리 착용형 디스플레이 장치(100)는, 검출된 사용자의 양안에 기반하여 사용자의 양안 거리를 측정할 수 있다. 일 실시 예에 따르면, 머리 착용형 디스플레이 장치(100)는, 검출된 사용자의 양안과 시선의 방향, 및/또는 카메라(310)의 위치 정보에 기반하여 사용자의 양안 거리를 측정할 수 있다.
동작 907에서, 머리 착용형 디스플레이 장치(100)는, 측정된 사용자의 양안 거리에 기반하여 광학 렌즈(도 1a의 10, 10a 및 도 1b의 10) 간 거리를 조정할 수 있다.
일 실시 예에 따르면, 머리 착용형 디스플레이 장치(100)의 광학 렌즈들(10, 10a) 간 거리는, 미리 설정된 양안 거리 기준값(예: 65 mm)에 기반하여 설정되어 있다. 일 실시 예에 따르면, 머리 착용형 디스플레이 장치(100)는, 측정된 사용자의 양안 거리(IPD)와 미리 설정된 양안 거리 기준값(예: 65 mm)을 비교할 수 있다. 비교 결과 측정된 사용자의 양안 거리가 미리 설정된 기준값보다 넓으면, 머리 착용형 디스플레이 장치(100)는 광학 렌즈들(10, 10a) 간 거리를 기본 설정된 간격보다 넓게 조정할 수 있다. 비교 결과 측정된 사용자의 양안 거리가 미리 설정된 기준값보다 좁으면, 머리 착용형 디스플레이 장치(100)는 광학 렌즈들(10, 10a) 간 거리를 기본 설정된 간격보다 좁게 조정할 수 있다.
동작 909에서, 머리 착용형 디스플레이 장치(100)는, 측정된 사용자의 양안 거리에 기반하여 광학 렌즈(도 1의 10, 10a 및 도 1b의 10) 간 거리가 조정된 상태에서 영상을 디스플레이 유닛(190 또는 190a)에 표시할 수 있다.
도 9에서는 동작 903에서 사용자의 양안을 검출하고, 동작 905에서 양안 거리를 측정할 때 사용자의 양안에 기반하여 측정하는 것을 설명하였으나, 다른 실시 예에 따르면 동작 903에서 사용자의 양안과 시선의 방향을 검출하고, 동작 905에서 양안 거리를 측정할 때 사용자의 양안과 시선의 방향에 기반하여 측정할 수 있다.
도 10은 본 발명의 일 실시 예에 따른 머리 착용형 디스플레이 장치의 동작 방법을 나타내는 흐름도(1000)이다.
다양한 실시 예들에 따르면, 도 10에 도시되는 동작들은 도시되는 순서에 국한되지 않고 다양한 순서로 수행될 수 있다. 다양한 실시 예들에 따르면 도 10에 도시되는 동작들보다 더 많은 동작들이 수행되거나, 더 적은 적어도 하나의 동작이 수행될 수도 있다.
도 10을 참조하면, 동작 1001에서, 머리 착용형 디스플레이 장치(100)는, 디스플레이 유닛(190 또는 190a)에 포함된 적어도 하나의 카메라(310)를 통해 사용자의 양안에 대한 적어도 하나의 이미지를 획득할 수 있다.
동작 1003에서, 머리 착용형 디스플레이 장치(100)는, 획득된 이미지로부터 사용자의 양안을 검출할 수 있다.
동작 1005에서, 머리 착용형 디스플레이 장치(100)는, 검출된 사용자의 양안에 기반하여 사용자의 양안 거리를 측정할 수 있다. 일 실시 예에 따르면, 머리 착용형 디스플레이 장치(100)는, 검출된 사용자의 양안과 시선의 방향, 및/또는 카메라(310)의 위치 정보에 기반하여 사용자의 양안 거리를 측정할 수 있다.
동작 1007에서, 머리 착용형 디스플레이 장치(100)는, 측정된 사용자의 양안 거리에 기반하여 디스플레이 유닛(190 또는 190a) 간 거리를 조정할 수 있다.
동작 1009에서, 머리 착용형 디스플레이 장치(100)는, 측정된 사용자의 양안 거리에 기반하여 디스플레이 유닛(190 또는 190a) 간 거리가 조정된 상태에서 영상을 디스플레이 유닛(190 또는 190a)에 표시할 수 있다.
도 10에서는 동작 1003에서 사용자의 양안을 검출하고, 동작 1005에서 양안 거리를 측정할 때 사용자의 양안의 위치에 기반하여 측정하는 것을 설명하였으나, 다른 실시 예에 따르면 동작 1003에서 사용자의 양안의 위치와 시선의 방향을 검출하고, 동작 1005에서 양안 거리를 측정할 때 사용자의 양안의 위치와 시선의 방향에 기반하여 측정할 수 있다.
일 실시 예에 따르면, 머리 착용형 디스플레이 장치는 적어도 하나의 디스플레이, 및 상기 적어도 하나의 디스플레이의 배면에 배치되는 적어도 하나의 카메라; 제어부; 제어부에 의해 실행될 수 있는 복수의 명령을 저장하는 메모리를 포함하고, 상기 명령의 실행은 상기 제어부에 의해 복수의 동작들을 수행하도록 하며, 상기 복수의 동작들은, 상기 적어도 하나의 카메라를 통해 사용자의 양안의 이미지를 획득하는 동작, 상기 획득된 이미지로부터 사용자의 양안을 검출하는 동작, 상기 검출된 사용자의 양안에 기반하여 사용자의 양안 거리를 측정하는 동작, 상기 측정된 양안 거리에 기반하여 영상을 변환하는 동작, 및 상기 변환된 영상을 상기 적어도 하나의 디스플레이에 제공하는 것을 포함하며, 상기 적어도 하나의 디스플레이는 상기 변환된 영상을 표시할 수 있다.
일 실시 예에 따르면, 상기 복수의 동작들은, 상기 획득된 이미지로부터 사용자의 시선의 방향을 검출하는 동작과, 상기 검출된 사용자의 양안 및 상기 검출된 사용자의 시선의 방향에 기반하여 상기 사용자의 양안 거리를 측정하는 동작을 더 포함할 수 있다.
일 실시 예에 따르면, 상기 복수의 동작들은, 상기 검출된 사용자의 양안, 상기 검출된 사용자의 시선의 방향, 및 상기 적어도 하나의 카메라의 위치에 기반하여 상기 사용자의 양안 거리를 측정하는 동작을 더 포함할 수 있다.
일 실시 예에 따르면, 상기 적어도 하나의 디스플레이는, 복수의 픽셀들, 및 상기 복수의 픽셀들 상부에 구비된 마이크로 렌즈를 포함할 수 있다.
일 실시 예에 따르면, 상기 머리 착용형 디스플레이 장치는, 상기 적어도 하나의 디스플레이의 전면 또는 후면에서 이격된 거리에 위치하는 두 개의 광학 렌즈들을 포함하며, 상기 복수의 동작들은, 상기 측정된 양안 거리에 기반하여 상기 두 개의 광학 렌즈들 간의 거리를 조정하는 동작을 더 포함할 수 있다.
일 실시 예에 따르면, 상기 머리 착용형 디스플레이 장치는 두 개의 디스플레이들을 포함하며, 상기 복수의 동작들은, 상기 측정된 양안 거리에 기반하여 상기 두 개의 디스플레이들 간의 거리를 조정하는 동작을 더 포함할 수 있다.
일 실시 예에 따르면, 상기 복수의 동작들은, 상기 측정된 양안 거리와 미리 설정된 양안 거리 기준값을 비교하고, 비교 결과에 기반하여 상기 영상을 변환하는 동작을 더 포함할 수 있다.
일 실시 예에 따르면, 상기 복수의 동작들은, 상기 측정된 양안 거리와 미리 설정된 양안 거리 기준값을 비교하고, 비교 결과에 기반하여 상기 두 개의 광학 렌즈들 간의 거리를 조정하는 동작을 더 포함할 수 있다.
일 실시 예에 따르면, 상기 복수의 동작들은, 상기 측정된 양안 거리가 미리 설정된 양안 거리 기준값보다 큰 경우에 상기 두 개의 광학 렌즈들 간의 거리가 증가되도록 조정하고, 상기 측정된 양안 거리가 미리 설정된 양안 거리 기준값보다 작은 경우에 상기 두 개의 광학 렌즈들 간의 거리가 감소되도록 조정하는 동작을 더 포함할 수 있다.
일 실시 예에 따르면, 상기 복수의 동작들은, 상기 측정된 양안 거리와 미리 설정된 양안 거리 기준값을 비교하고, 비교 결과에 기반하여 상기 두 개의 디스플레이들 간의 거리를 조정하는 동작을 더 포함할 수 있다.
일 실시예에 따르면, 적어도 하나의 디스플레이, 및 상기 적어도 하나의 디스플레이의 배면에 배치되는 적어도 하나의 카메라를 포함하는 머리 착용형 디스플레이 장치의 동작 방법은, 상기 적어도 하나의 카메라를 통해 사용자의 양안의 이미지를 획득하는 동작, 상기 획득된 이미지로부터 사용자의 양안을 검출하는 동작, 상기 획득된 이미지로부터 검출된 사용자의 양안에 기반하여 사용자의 양안 거리를 측정하는 동작, 상기 측정된 양안 거리에 기반하여 영상을 변환하는 동작, 및 상기 변환된 영상을 상기 적어도 하나의 디스플레이에 제공하는 것을 포함하며, 상기 적어도 하나의 디스플레이는 상기 변환된 영상을 표시하는 동작을 포함할 수 있다.
일 실시예에 따르면, 상기 방법은 상기 획득된 이미지로부터 사용자의 시선의 방향을 검출하는 동작을 더 포함하며, 상기 사용자의 양안 거리를 측정하는 동작은, 상기 검출된 사용자의 양안 및 상기 검출된 사용자의 시선의 방향에 기반하여 상기 사용자의 양안 거리를 측정할 수 있다.
일 실시예에 따르면, 상기 사용자의 양안 거리를 측정하는 동작은, 상기 검출된 사용자의 양안, 상기 검출된 사용자의 시선의 방향, 및 상기 적어도 하나의 카메라의 위치에 기반하여 상기 사용자의 양안 거리를 측정할 수 있다.
일 실시예에 따르면, 상기 적어도 하나의 디스플레이는, 복수의 픽셀들, 및 상기 복수의 픽셀들 상부에 구비된 마이크로 렌즈를 포함할 수 있다.
일 실시 예에 따르면, 컴퓨터로 판독할 수 있는 기록 매체는, 적어도 하나의 디스플레이, 및 상기 적어도 하나의 디스플레이의 배면에 배치되는 적어도 하나의 카메라를 포함하는 머리 착용형 디스플레이 장치의 제어기를 이용하여, 상기 적어도 하나의 카메라를 통해 사용자의 양안에 대한 이미지를 획득하는 동작, 상기 획득된 이미지로부터 사용자의 양안을 검출하는 동작, 상기 획득된 이미지로부터 검출된 사용자의 양안에 기반하여 사용자의 양안 거리를 측정하는 동작, 상기 측정된 양안 거리에 기반하여 영상을 변환하는 동작, 및 상기 변환된 영상을 상기 적어도 하나의 디스플레이에 표시하는 동작을 실행하는 프로그램을 저장할 수 있다.
그리고 본 발명에 개시된 실시 예는 개시된, 기술 내용의 설명 및 이해를 위해 제시된 것이며, 본 발명에서 기재된 기술의 범위를 한정하는 것은 아니다. 따라서, 본 발명의 범위는, 본 발명의 기술적 사상에 근거한 모든 변경 또는 다양한 다른 실시 예를 포함하는 것으로 해석되어야 한다.
본 발명의 다양한 실시 예들 및 이에 사용된 용어들은 본 발명에 기재된 기술적 특징들을 특정한 실시 예들로 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 발명에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 발명의 다양한 실시 예들에서 사용된 용어 "유닛"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 유닛은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시 예에 따르면, 유닛은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 발명의 다양한 실시 예들은 기기(machine)(예: 머리 착용형 디스플레이 장치(100)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리 또는 외장 메모리)에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램)로서 구현될 수 있다. 예를 들면, 기기(예: 머리 착용형 디스플레이 장치(100)의 제어부(예: 제어부(110))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일실시 예에 따르면, 본 발명에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시 예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 유닛 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시 예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 유닛 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따르면, 유닛, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.

Claims (15)

  1. 머리 착용형 디스플레이 장치에 있어서,
    적어도 하나의 디스플레이;
    상기 적어도 하나의 디스플레이의 배면에 배치되는 적어도 하나의 카메라;
    제어부; 및
    제어부에 의해 실행될 수 있는 복수의 명령을 저장하는 메모리를 포함하고, 상기 명령의 실행은 상기 제어부에 의해 복수의 동작들을 수행하도록 하며,
    상기 복수의 동작들은,
    상기 적어도 하나의 카메라를 통해 사용자의 양안의 이미지를 획득하고,
    상기 획득된 이미지로부터 사용자의 양안을 검출하고,
    상기 획득된 이미지로부터 검출된 사용자의 양안에 기반하여 사용자의 양안 거리를 측정하고,
    상기 측정된 양안 거리에 기반하여 영상을 변환하고,
    상기 변환된 영상을 상기 적어도 하나의 디스플레이에 제공하는 것을 포함하며, 상기 적어도 하나의 디스플레이는 상기 변환된 영상을 표시하는 머리 착용형 디스플레이 장치.
  2. 제1항에 있어서, 상기 복수의 동작들은,
    상기 획득된 이미지로부터 사용자의 시선의 방향을 검출하고,
    상기 검출된 사용자의 양안 및 상기 검출된 사용자의 시선의 방향에 기반하여 상기 사용자의 양안 거리를 측정하는 것을 더 포함하는 머리 착용형 디스플레이 장치.
  3. 제2항에 있어서, 상기 복수의 동작들은,
    상기 검출된 사용자의 양안, 상기 검출된 사용자의 시선의 방향, 및 상기 적어도 하나의 카메라의 위치에 기반하여 상기 사용자의 양안 거리를 측정하는 것을 더 포함하는 머리 착용형 디스플레이 장치.
  4. 제1항에 있어서, 상기 적어도 하나의 디스플레이는,
    복수의 픽셀들, 및 상기 복수의 픽셀들 상부에 구비된 마이크로 렌즈를 포함하는 머리 착용형 디스플레이 장치.
  5. 제1항에 있어서,
    상기 적어도 하나의 디스플레이의 전면 또는 후면에서 이격된 거리에 위치하는 두 개의 광학 렌즈들을 더 포함하며,
    상기 복수의 동작들은,
    상기 측정된 양안 거리에 기반하여 상기 두 개의 광학 렌즈들 간의 거리를 조정하는 것을 더 포함하는 머리 착용형 디스플레이 장치.
  6. 제1항에 있어서,
    두 개의 디스플레이들을 포함하며,
    상기 복수의 동작들은,
    상기 측정된 양안 거리에 기반하여 상기 두 개의 디스플레이들 간의 거리를 조정하는 것을 더 포함하는 머리 착용형 디스플레이 장치.
  7. 제1항에 있어서,
    상기 복수의 동작들은,
    상기 측정된 양안 거리와 미리 설정된 양안 거리 기준값을 비교하고, 비교 결과에 기반하여 상기 영상을 변환하는 것을 더 포함하는 머리 착용형 디스플레이 장치.
  8. 제5항에 있어서,
    상기 복수의 동작들은,
    상기 측정된 양안 거리와 미리 설정된 양안 거리 기준값을 비교하고, 비교 결과에 기반하여 상기 두 개의 광학 렌즈들 간의 거리를 조정하는 것을 더 포함하는 머리 착용형 디스플레이 장치.
  9. 제8항에 있어서,
    상기 복수의 동작들은,
    상기 측정된 양안 거리가 상기 미리 설정된 양안 거리 기준값보다 넓을 경우, 상기 두 개의 광학 렌즈들 간의 거리가 넓어지도록 조정하고,
    상기 측정된 양안 거리가 상기 미리 설정된 양안 거리 기준값보다 좁을 경우, 상기 두 개의 광학 렌즈들 간의 거리가 좁아지도록 조정하는 것을 더 포함하는 머리 착용형 디스플레이 장치.
  10. 제6항에 있어서,
    상기 복수의 동작들은,
    상기 측정된 양안 거리와 미리 설정된 양안 거리 기준값을 비교하고, 비교 결과에 기반하여 상기 두 개의 디스플레이들 간의 거리를 조정하는 것을 더 포함하는설정된 머리 착용형 디스플레이 장치.
  11. 적어도 하나의 디스플레이, 및 상기 적어도 하나의 디스플레이의 배면에 배치되는 적어도 하나의 카메라를 포함하는 머리 착용형 디스플레이 장치의 동작 방법에 있어서,
    상기 적어도 하나의 카메라를 통해 사용자의 양안의 이미지를 획득하는 동작,
    상기 획득된 이미지로부터 사용자의 양안을 검출하는 동작,
    상기 획득된 이미지로부터 검출된 사용자의 양안에 기반하여 사용자의 양안 거리를 측정하는 동작,
    상기 측정된 양안 거리에 기반하여 영상을 변환하는 동작, 및
    상기 변환된 영상을 상기 적어도 하나의 디스플레이에 제공하는 것을 포함하며, 상기 적어도 하나의 디스플레이는 상기 변환된 영상을 표시하는 동작을 포함하는 방법.
  12. 제11항에 있어서,
    상기 획득된 이미지로부터 사용자의 시선의 방향을 검출하는 동작을 더 포함하며,
    상기 사용자의 양안 거리를 측정하는 동작은, 상기 검출된 사용자의 양안 및 상기 검출된 사용자의 시선의 방향에 기반하여 상기 사용자의 양안 거리를 측정하는 것을 특징으로 하는 방법.
  13. 제11항에 있어서,
    상기 사용자의 양안 거리를 측정하는 동작은,
    상기 검출된 사용자의 양안, 상기 검출된 사용자의 시선의 방향, 및 상기 적어도 하나의 카메라의 위치에 기반하여 상기 사용자의 양안 거리를 측정하는 것을 특징으로 하는 방법.
  14. 제11항에 있어서,
    상기 적어도 하나의 디스플레이는,
    복수의 픽셀들, 및 상기 복수의 픽셀들 상부에 구비된 마이크로 렌즈를 포함하는 것을 특징으로 하는 방법.
  15. 적어도 하나의 카메라, 및 상기 적어도 하나의 카메라를 포함하는 적어도 하나의 디스플레이를 포함하는 머리 착용형 디스플레이 장치의 제어기를 이용하여,
    상기 적어도 하나의 카메라를 통해 사용자의 양안에 대한 이미지를 획득하는 동작,
    상기 획득된 이미지로부터 사용자의 양안을 검출하는 동작,
    상기 획득된 이미지로부터 검출된 사용자의 양안에 기반하여 사용자의 양안 거리를 측정하는 동작,
    상기 측정된 양안 거리에 기반하여 영상을 변환하는 동작, 및
    상기 변환된 영상을 상기 적어도 하나의 디스플레이에 표시하는 동작을 실행하는 프로그램을 저장할 수 있는 컴퓨터로 판독할 수 있는 기록 매체.
PCT/KR2021/008972 2021-03-15 2021-07-13 머리 착용형 디스플레이 장치, 그 장치에서의 동작 방법 및 저장매체 WO2022196869A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/427,736 US11960643B2 (en) 2021-03-15 2021-07-13 Head mounted display apparatus, method for operating the same, and computer-readable recording medium
EP21931812.8A EP4273613A1 (en) 2021-03-15 2021-07-13 Head mounted display device, operating method for device, and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210033198A KR20220128726A (ko) 2021-03-15 2021-03-15 머리 착용형 디스플레이 장치, 그 장치에서의 동작 방법 및 저장매체
KR10-2021-0033198 2021-03-15

Publications (1)

Publication Number Publication Date
WO2022196869A1 true WO2022196869A1 (ko) 2022-09-22

Family

ID=83320606

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/008972 WO2022196869A1 (ko) 2021-03-15 2021-07-13 머리 착용형 디스플레이 장치, 그 장치에서의 동작 방법 및 저장매체

Country Status (4)

Country Link
US (1) US11960643B2 (ko)
EP (1) EP4273613A1 (ko)
KR (1) KR20220128726A (ko)
WO (1) WO2022196869A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020067948A (ko) * 2001-02-19 2002-08-24 삼성전자 주식회사 착용형 디스플레이 장치
KR20130000231A (ko) * 2011-06-22 2013-01-02 엘지전자 주식회사 양안의 위치 인식을 통한 3ｄ 영상을 표시하는 모바일 기기
KR20130107981A (ko) * 2012-03-23 2013-10-02 경북대학교 산학협력단 시선 추적 장치 및 방법
KR20180054401A (ko) * 2016-11-14 2018-05-24 삼성전자주식회사 거리 결정 방법 및 디바이스
KR101862381B1 (ko) * 2016-12-13 2018-05-29 단국대학교 산학협력단 사용자의 양안의 초점에 부합하는 영상제공 휴대단말장치

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8643691B2 (en) 2008-05-12 2014-02-04 Microsoft Corporation Gaze accurate video conferencing
US20140375540A1 (en) 2013-06-24 2014-12-25 Nathan Ackerman System for optimal eye fit of headset display device
KR101650706B1 (ko) 2014-10-07 2016-09-05 주식회사 자원메디칼 웨어러블 디스플레이장치
CN106461939B (zh) 2015-05-29 2019-03-15 深圳市柔宇科技有限公司 自适配显示调节的方法及头戴式显示设备
KR102463172B1 (ko) 2016-01-08 2022-11-04 삼성전자주식회사 동공 거리 결정 방법 및 장치
US9886742B2 (en) 2016-03-17 2018-02-06 Google Llc Electro-optic beam steering for super-resolution/lightfield imagery
US20170344107A1 (en) * 2016-05-25 2017-11-30 Intel Corporation Automatic view adjustments for computing devices based on interpupillary distances associated with their users
KR20180003028A (ko) 2016-06-30 2018-01-09 윤혜림 단안별 동공 및 광학중심 간 거리보정 가능한 접이식 쥬얼리안경
US10636167B2 (en) 2016-11-14 2020-04-28 Samsung Electronics Co., Ltd. Method and device for determining distance
US10488920B2 (en) 2017-06-02 2019-11-26 Htc Corporation Immersive headset system and control method thereof
CN107506036B (zh) * 2017-08-23 2020-10-09 歌尔股份有限公司 Vr瞳距调节方法和装置
KR102116564B1 (ko) 2018-06-12 2020-05-28 주식회사 에덴룩스 시력훈련시스템 및 시력훈련방법
US20200113755A1 (en) 2018-10-10 2020-04-16 Honda Motor Co., Ltd. Automated mobility device and vehicle interface
KR102184972B1 (ko) 2019-02-01 2020-12-01 주식회사 룩시드랩스 동공 중심간 거리를 측정하는 장치 및 방법
US10861417B2 (en) 2019-02-27 2020-12-08 Facebook Technologies, Llc Head mounted display with wide field of view and inset display

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020067948A (ko) * 2001-02-19 2002-08-24 삼성전자 주식회사 착용형 디스플레이 장치
KR20130000231A (ko) * 2011-06-22 2013-01-02 엘지전자 주식회사 양안의 위치 인식을 통한 3ｄ 영상을 표시하는 모바일 기기
KR20130107981A (ko) * 2012-03-23 2013-10-02 경북대학교 산학협력단 시선 추적 장치 및 방법
KR20180054401A (ko) * 2016-11-14 2018-05-24 삼성전자주식회사 거리 결정 방법 및 디바이스
KR101862381B1 (ko) * 2016-12-13 2018-05-29 단국대학교 산학협력단 사용자의 양안의 초점에 부합하는 영상제공 휴대단말장치

Also Published As

Publication number Publication date
EP4273613A1 (en) 2023-11-08
KR20220128726A (ko) 2022-09-22
US11960643B2 (en) 2024-04-16
US20230359270A1 (en) 2023-11-09

Similar Documents

Publication Publication Date Title
WO2015122566A1 (en) Head mounted display device for displaying augmented reality image capture guide and control method for the same
WO2017082539A1 (ko) 사용자 스타일링을 위한 증강현실 제공 장치 및 방법
WO2022108076A1 (ko) 증강 현실 환경의 무선 연결 방법 및 이를 위한 전자 장치
WO2019039870A1 (ko) 이미지의 표시 효과를 제어할 수 있는 전자 장치 및 영상 표시 방법
WO2019112114A1 (ko) 글래스 타입 단말기 및 그것의 동작방법
WO2019139404A1 (ko) 전자 장치 및 그의 영상 처리 방법
WO2018066962A1 (ko) 스마트 안경
WO2019221518A1 (en) Electronic device for adjusting position of content displayed on display based on ambient illuminance and method for operating same
WO2023106895A1 (ko) 가상 입력 장치를 이용하기 위한 전자 장치 및 그 전자 장치에서의 동작 방법
WO2022196869A1 (ko) 머리 착용형 디스플레이 장치, 그 장치에서의 동작 방법 및 저장매체
WO2022149829A1 (ko) 웨어러블 전자 장치 및 모션 센서를 이용한 입력 구조물
WO2022169255A1 (ko) 전자 장치 및 그의 사용자 시선을 추적하고 증강 현실 서비스를 제공하는 방법
WO2022186454A1 (ko) 가요성 인쇄 회로 기판을 포함하는 전자 장치
WO2022075686A1 (ko) 전자 장치 및 그 동작 방법
WO2022035166A1 (ko) 카메라 모듈을 포함하는 전자 장치 및 그의 촬영 방향을 제어하는 방법
WO2019074228A2 (ko) 가상 멀미 저감을 위한 헤드 마운티드 디스플레이 및 그 동작 방법
WO2022231162A1 (ko) 증강 현실 장치 및 증강 현실 장치와 상호작용하는 전자 장치
WO2024101593A1 (ko) 웨어러블 장치를 착용한 사용자의 정보를 송신하기 위한 웨어러블 장치, 및 방법
WO2024034895A1 (ko) 디스플레이 패널의 구동 시점을 조정하는 방법 및 전자 장치
WO2023048409A1 (ko) 카메라를 포함하는 웨어러블 장치 및 그 제어 방법
WO2023121120A1 (ko) 간섭 제거 방법 및 상기 방법을 수행하는 전자 장치
WO2023090846A1 (ko) 증강 현실 객체의 앵커링을 위한 전자 장치 및 방법
WO2023282524A1 (ko) 시력 측정 및 시력 교정을 제공하는 증강 현실 장치 및 방법
WO2024101579A1 (ko) 멀티미디어 콘텐트를 표시하기 위한 전자 장치 및 그 방법
WO2023043045A1 (ko) 전기 변색 소자를 포함하는 전자 장치 및 그 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21931812

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE