KR20180023983A - 헤드 마운트 디스플레이 - Google Patents

헤드 마운트 디스플레이 Download PDF

Info

Publication number
KR20180023983A
KR20180023983A KR1020187003038A KR20187003038A KR20180023983A KR 20180023983 A KR20180023983 A KR 20180023983A KR 1020187003038 A KR1020187003038 A KR 1020187003038A KR 20187003038 A KR20187003038 A KR 20187003038A KR 20180023983 A KR20180023983 A KR 20180023983A
Authority
KR
South Korea
Prior art keywords
user
image
eyes
display
unit
Prior art date
Application number
KR1020187003038A
Other languages
English (en)
Other versions
KR102091055B1 (ko
Inventor
마나부 이시오카
쇼타로 다다
도시히로 구스노키
Original Assignee
주식회사 소니 인터랙티브 엔터테인먼트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 소니 인터랙티브 엔터테인먼트 filed Critical 주식회사 소니 인터랙티브 엔터테인먼트
Publication of KR20180023983A publication Critical patent/KR20180023983A/ko
Application granted granted Critical
Publication of KR102091055B1 publication Critical patent/KR102091055B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera

Abstract

헤드 마운트 디스플레이를 장착하는 유저의 눈을 촬영하기 쉬운 헤드 마운트 디스플레이를 제공한다. 유저에 장착되는 HMD(10)는, 유저의 눈앞에 배치되는 표시부(14)와, 표시부(14)와 유저의 눈(30) 사이에 배치되는 광학계(17)와, 표시부(14)와 광학계(17) 사이에 배치되고, 유저의 눈의 상(40)이 비추는 표시부(14)를 촬상하는 촬상부(16)를 포함한다.

Description

헤드 마운트 디스플레이
본 발명은, 헤드 마운트 디스플레이에 관한 것이다.
특허문헌 1 내지 4에 기재되어 있는 것과 같은 유저의 헤드부에 장착하여 영상 등을 시청하는 헤드 마운트 디스플레이 등에 있어서, 카메라로 촬영한 유저의 눈의 화상으로부터, 유저의 눈의 위치나 시선 방향을 검출하는 기술이 알려져 있다.
일본 특허 공표 제2015-508182호 공보 일본 특허 공개 제2002-301030호 공보 일본 특허 공개 평9-127459호 공보 일본 특허 공표 제2012-515579호 공보
헤드 마운트 디스플레이를 장착하는 유저의 눈을 촬영할 때는, 표시부와 유저의 눈 사이에 배치되는 광학계와, 당해 유저의 눈과의 사이의 공간이며 유저가 표시부를 보는데 방해되지 않는 위치(예를 들어 광학계의 상부나 하부)에 카메라가 설치된다.
여기서, 헤드부에 장착하는 헤드 마운트 디스플레이에 있어서는, 헤드 마운트 디스플레이를 장착하는 유저의 눈과 광학계의 거리는 가까워진다. 또한, 유저의 시야를 넓게 하기 위하여 광학계의 사이즈는 큰 쪽이 바람직하다는 실정도 있다. 그렇게 하면 유저의 눈에 대한 카메라의 촬영 각도가 얕아져, 눈꺼풀이나 속눈썹 등이 방해가 되어 유저의 눈을 촬영하기 어렵다고 하는 문제가 발생한다.
본 발명은 상기 과제를 감안하여 이루어진 것이며, 그의 목적 중 하나는, 헤드 마운트 디스플레이를 장착하는 유저의 눈을 촬영하기 쉬운 헤드 마운트 디스플레이를 제공하는 데 있다.
상기 과제를 해결하기 위해서, 본 발명에 따른 유저에 장착되는 헤드 마운트 디스플레이는, 상기 유저의 눈앞에 배치되는 표시부와, 상기 표시부와 상기 유저의 눈 사이에 배치되는 광학계와, 상기 표시부와 상기 광학계 사이에 배치되어, 상기 유저의 눈의 상이 비추는 상기 표시부를 촬상하는 촬상부를 포함한다.
본 발명의 일 형태에서는, 상기 헤드 마운트 디스플레이는, 상기 유저의 눈에 대하여 광을 조사하는 광 조사부를 더 포함하고, 상기 촬상부는, 상기 광 조사부에 의해 조사된 광이 상기 유저의 눈에서 반사함으로써 상기 표시부에 비추는 상기 유저의 눈의 상을 촬상하는 것으로 해도 된다.
이 형태에 있어서, 상기 광 조사부는, 상기 광학계와 상기 유저의 눈 사이에 배치되어, 상기 유저의 눈에 대하여 직접 광을 조사하는 것으로 해도 된다.
또한, 상기 광 조사부는, 상기 표시부와 상기 광학계 사이에 배치되어, 상기 표시부에 조사한 광이 반사하는 반사광을 상기 유저의 눈에 대하여 조사하는 것으로 해도 된다.
또한, 상기 광 조사부는 적외광을 조사하고, 상기 촬상부는 상기 적외광을 촬상 가능한 적외선 카메라인 것으로 해도 된다.
또한 본 발명의 일 형태에서는, 상기 촬상부에 의해 촬상된 상기 유저의 눈의 상을 포함하는 화상에 기초하여 당해 유저의 시선 방향을 검출하는 시선 검출부를 더 포함하는 것으로 해도 된다.
도 1은 본 발명의 일 실시 형태에 따른 헤드 마운트 디스플레이의 하드웨어 구성의 일례를 나타내는 도면이다.
도 2는 본 실시 형태에 따른 HMD의 구성의 제1 예를 나타내는 개략도이다.
도 3은 대비예에 따른 HMD의 구성을 나타내는 개략도이다.
도 4는 본 실시 형태에 따른 HMD의 구성의 제2 예를 나타내는 개략도이다.
도 5는 본 실시 형태에 따른 HMD의 구성의 제1 변형예를 나타내는 개략도이다.
도 6은 본 실시 형태에 따른 HMD의 구성의 제2 변형예를 나타내는 개략도이다.
이하, 본 발명의 일 실시 형태에 대해서, 도면을 참조하면서 설명한다.
도 1은, 본 발명의 일 실시 형태에 따른 헤드 마운트 디스플레이(HMD)(10)의 하드웨어 구성의 일례를 나타내는 도면이다. 도 2는, 본 실시 형태에 따른 HMD(10)의 구성의 제1 예를 나타내는 개략도이다.
도 1에 도시한 바와 같이, 본 실시 형태에 따른 HMD(10)는, 예를 들어 제어부(11), 기억부(12), 입출력부(13), 표시부(14), 광 조사부(15) 및 촬상부(16)를 포함하여 구성된다.
제어부(11)는, CPU 등의 프로그램 제어 디바이스를 포함하고, 기억부(12)에 기억된 프로그램에 따라서 각종 정보 처리를 실행한다.
기억부(12)는, RAM이나 ROM 등의 메모리 소자를 포함하고, 제어부(11)가 실행하는 프로그램 등을 기억한다. 또한, 기억부(12)는 제어부(11)의 워크 메모리로서도 기능한다.
입출력부(13)는, 예를 들어 HDMI(등록 상표) 포트, USB 포트 등의 입출력 인터페이스이다.
표시부(14)는, 예를 들어 액정 디스플레이나 유기 EL 디스플레이 등의 디스플레이다. 본 실시 형태에 따른 표시부(14)는, 예를 들어 입출력부(13)를 개재하여 접속되는 가정용 게임기, DVD 플레이어, Blue-ray(등록 상표) 플레이어 등의 엔터테인먼트 장치로부터 수신하는 영상 신호가 나타내는 영상 등을 표시시킨다. 또한, 본 실시 형태에 따른 표시부(14)는 3차원 영상을 표시 가능해도 된다.
광 조사부(15)는, 예를 들어 LED 등의 광학 소자이다. 본 실시 형태에 따른 광 조사부(15)는 적외광과 같은 가시광 대역 이외의 파장 대역의 광을 조사하는 것으로 하지만, 이 예에 한정되지 않고 가시광 대역의 광을 조사하는 것으로 해도 된다.
촬상부(16)는, 예를 들어 피사체를 촬상한 화상을 생성하는 디지털 카메라 등의 카메라이다. 본 실시 형태에 따른 촬상부(16)는, 적외광을 촬상 가능한 적외선 카메라로 하지만, 이 예에 한정되지 않고 가시광을 촬상 가능한 카메라여도 된다. 또한, 도 2에 도시한 바와 같이 본 실시 형태에 따른 촬상부(16)는, 표시부(14)를 촬상 가능하게 배치되어 있고, 유저의 눈(30)에서 반사하는 적외광에 의해 얻어지는 유저의 눈의 상(40)이 비추는 표시부(14)를 촬상한다. 또한, 촬상부(16)는, 유저의 눈(30)에서 반사하는 가시광에 의해 얻어지는 유저의 눈의 상(40)이 비추는 표시부(14)를 촬상하는 것으로 해도 된다.
또한, 제어부(11)는, 촬상부(16)가 촬상한 유저의 눈의 상(40)을 포함하는 화상으로부터 유저의 눈의 위치나 유저의 시선 방향을 검출한다. 제어부(11)는, 공지된 시선 검출 기술을 사용하여 유저의 눈의 위치나 시선 방향을 검출하는 것으로 한다. 예를 들어, 제어부(11)는, 적외광이 유저의 각막에 반사함으로써 얻어지는 기점과 유저의 동공의 위치 관계에 기초하여 유저의 눈의 위치나 유저의 시선 방향을 검출한다. 또한, 제어부(11)는, 홍채나 동공의 위치에 기초하여 유저의 눈의 위치나 유저의 시선 방향을 검출해도 된다. 또한, 촬상부(16)가 유저의 눈의 위치나 유저의 시선 방향을 검출하는 기능을 구비하고 있어도 된다.
이렇게 촬상부(16)가 촬상한 유저의 눈의 상(40)을 포함하는 화상으로부터 검출된 유저의 눈의 위치나 유저의 시선 방향은, HMD(10)의 캘리브레이션이나 유저의 시선 추적 기능에 적용할 수 있다. HMD(10)의 캘리브레이션은, HMD(10)의 기동 시나 애플리케이션의 기동 시 등에, 표시부(14)에 있어서의 영상의 표시 위치를 조정하는 것이며, 예를 들어 검출된 유저의 눈의 위치를 사용하여 표시부(14)에 있어서의 유저의 눈의 위치에 영상이 표시되도록 조정할 수 있다. HMD(10)의 시선 추적 기능에서는, 예를 들어 검출된 유저의 시선 방향을 사용하여 시선 추적을 행할 수 있다.
또한, 촬상부(16)가 촬상한 유저의 눈의 상(40)을 포함하는 화상이, 입출력부(13)를 개재하여 외부의 정보 처리 장치에 송신되는 것으로 해도 된다. 이 경우, 외부의 정보 처리 장치가 수신한 유저의 눈의 상(40)을 포함하는 화상을 사용하여 유저의 눈의 위치나 유저의 시선 방향을 검출하는 것으로 해도 된다.
도 2에 도시하는 본 실시 형태에 따른 HMD(10)의 구성의 제1 예에서는, 유저가 HMD(10)를 장착하고 있는 상태를 나타내고 있다. 도 2에 도시한 바와 같이, 본 실시 형태에 따른 HMD(10)에서는, 유저의 눈앞에 표시부(14)와, 미러, 렌즈, 프리즘 등 중 적어도 하나의 광학 부재를 포함하는 광학계(17)가 배치된다. 즉 광학계(17)가 유저의 눈앞에 배치되고, 표시부(14)가 광학계(17)를 개재하여 유저의 눈(30)의 정면에 배치된다. 또한, 표시부(14)로부터 광학계(17)까지의 거리를 X, 광학계(17)로부터 유저의 눈(30)까지의 거리를 Y로 하면, 거리 Y는 거리 X보다 짧아진다. 특히 유저에게 장착되는 HMD(10)에서는 거리 Y가 짧아지는 경향이 있다. 이러한 본 실시 형태에 따른 HMD(10)에서는, 표시부(14)로부터 출력되는 영상광이 광학계(17)를 통과하여 유저의 눈(30)에 입사함으로써, 유저는 표시부(14)에 표시되는 영상을 볼 수 있다. 그리고, 광 조사부(15)는 광학계(17)와 유저의 눈(30) 사이에 배치되어, 유저의 눈(30)에 대하여 적외광을 조사한다. 촬상부(16)는 적외광을 촬상 가능한 카메라이며, 표시부(14)와 광학계(17) 사이이며 표시부(14)를 향하여 배치된다. 여기서, 유저의 눈(30)으로부터 표시부(14)에 대하여 수직으로 입사하는 직선과 촬상부(16)의 수직 거리를 H1, 표시부(14)와 촬상부(16)의 수직 거리를 L1로 한다.
도 2에 도시하는 본 실시 형태에 따른 HMD(10)에서는, 광 조사부(15)가 유저의 눈(30)에 대하여 조사한 적외광이 유저의 눈(30)에서 반사하고, 그 반사광이 광학계(17)을 통과하여 표시부(14)에 입사함으로써 적외광에 의한 유저의 눈의 상(40)이 표시부(14)에 비춘다. 그리고 촬상부(16)가, 적외광에 의한 유저의 눈의 상(40)이 비추는 표시부(14)를 촬상한다. 또한, 적외광에 의한 유저의 눈의 상(40)은 적외광이 유저의 각막에서 반사함으로써 얻어지는 기점과, 유저의 동공을 나타내는 것이면 되고, 촬상부(16)는 이러한 유저의 눈의 상(40)이 비추는 표시부(14)의 일부를 촬상 가능하게 배치되어 있어도 된다. 이와 같이 하여 도 2에 도시하는 본 실시 형태에 따른 HMD(10)에서는, 촬상부(16)에 의한 표시부(14)에 비추는 유저의 눈의 상(40)에 대한 촬영 각도는 θ1이 된다. 또한, 도 2에 있어서는 예로서 표시부(14)에 비추는 유저의 눈의 상(40)의 중심에 대한 촬영 각도 θ1을 나타내고 있다.
이어서, 도 2에 도시하는 본 실시 형태에 따른 HMD(10)와의 대비예에 대하여 설명한다. 도 3은, 대비예에 관한 HMD(110)의 구성을 도시하는 개략도이다. 도 3에 도시하는 대비예에 관한 HMD(110)에서는, 유저의 눈앞에 표시부(114)와, 미러, 렌즈, 프리즘 등 중 적어도 하나의 광학 부재를 포함하는 광학계(117)가 배치된다. 즉 광학계(117)가 유저의 눈앞에 배치되고, 표시부(114)가 광학계(117)를 개재하여 유저의 눈(130)의 정면에 배치된다. 그리고, 광 조사부(115)는 광학계(117)와 유저의 눈(130) 사이에 배치되어, 유저의 눈(130)에 대하여 적외광을 조사한다. 촬상부(116)는 적외광을 촬상 가능한 카메라이며, 광학계(117)와 유저의 눈(130) 사이이며 유저의 눈(130)을 향하여 배치된다. 또한, 도 3에 도시하는 대비예에 관한 HMD(110)의 표시부(114), 광 조사부(115), 촬상부(116) 및 광학계(117)는 각각, 도 2에 도시한 본 실시 형태에 따른 HMD(10)의 표시부(14), 광 조사부(15), 촬상부(16) 및 광학계(17)와 동일한 것으로 한다. 따라서 표시부(114)로부터 광학계(117)까지의 거리 X 및 광학계(117)로부터 유저의 눈(130)까지의 거리 Y에 대해서도, 도 2에 도시한 본 실시 형태에 따른 HMD(10)과 동일하게 한다.
도 3에 도시하는 대비예에 관한 HMD(110)에서는, 광 조사부(115)가 유저의 눈(130)에 대하여 조사한 적외광이 유저의 눈(130)에서 반사하고, 그 반사광이 촬상부(116)에 입사한다. 이와 같이 하여 대비예에 관한 HMD(110)의 촬상부(116)는 광 조사부(115)가 조사한 적외광이 유저의 각막에서 반사함으로써 얻어지는 기점과, 유저의 동공을 촬상할 수 있다. 그리고 도 3에 도시하는 대비예에 관한 HMD(110)에서는, 촬상부(116)에 의한 유저의 눈(130)에 대한 촬영 각도는 θ2가 된다. 또한, 도 3에 있어서는 예로서 유저의 눈(130)의 중심에 대한 촬영 각도 θ2를 나타내고 있다.
여기서, 도 2에 도시하는 본 실시 형태에 따른 HMD(10)와, 도 3에 도시하는 대비예에 관한 HMD(110)를 비교한다.
먼저 본 실시 형태에 따른 HMD(10)에 있어서 촬상부(16)는, 표시부(14)에 비추는 유저의 눈의 상(40)을 촬상하기 쉽고, 또한 유저에 의한 표시부(14)에 표시되는 영상의 시청 방해가 되지 않는 위치에 배치되는 것이 바람직하다. 예를 들어, 도 2에 도시한 바와 같이 본 실시 형태에 따른 HMD(10)에 있어서 촬상부(16)는, 광학계(17)에 가까운 위치이며 광학계(17)의 단부에 배치된다. 즉 본 실시 형태에 따른 HMD(10)에 있어서의 표시부(14)와 촬상부(16)의 수직 거리 L1은 거리 X에 가까운 값이 된다. 그리고 유저의 눈(30)으로부터 표시부(14)에 대하여 수직으로 입사하는 직선과 촬상부(16)의 수직 거리 H1은, 광학계(17)의 사이즈와 유저의 눈의 위치에 따른 값이 되고 예를 들어 광학계(17)의 높이의 약 절반이 된다.
다음으로 대비예에 관한 HMD(110)에 있어서 촬상부(116)는, 유저의 눈(130)을 촬상하기 쉽고, 또한 유저에 의한 표시부(114)에 표시되는 영상의 시청 방해가 되지 않는 위치에 배치되는 것이 바람직하다. 예를 들어, 도 3에 도시한 바와 같이 대비예에 관한 HMD(110)에 있어서 촬상부(16)는, 광학계(117)에 가까운 위치이며 광학계(117)의 단부에 배치된다. 즉 대비예에 관한 HMD(110)에 있어서의 유저의 눈(30)과 촬상부(116)의 수직 거리 L2는 거리 Y에 가까운 값이 된다. 그리고 유저의 눈(130)으로부터 표시부(114)에 대하여 수직으로 입사하는 직선과 촬상부(116)의 수직 거리 H2는, 광학계(117)의 사이즈와 유저의 눈의 위치에 따른 값이 되고 예를 들어 광학계(117)의 높이의 약 절반이 된다. 또한, 도 3에 도시하는 대비예에 관한 HMD(110)에 있어서는 거리 Y가 짧아질수록, 광학계(117)의 사이즈가 커질수록, 촬상부(116)에 의한 유저의 눈(130)에 대한 촬영 각도 θ2가 얕아지고 유저의 속눈썹이나 눈꺼풀 등이 촬상의 장해가 된다.
이와 같이 도 2 및 도 3에 있어서, 본 실시 형태에 따른 HMD(10)에 있어서의 수직 거리 H1은, 대비예에 관한 HMD(110)에 있어서의 수직 거리 H2와 거의 동일해진다. 또한 본 실시 형태에 따른 HMD(10)에 있어서의 수직 거리 L1은, 대비예에 관한 HMD(110)에 있어서의 수직 거리 L2보다 길어진다. 따라서, 본 실시 형태에 따른 촬상부(16)에 의한 표시부(14)에 비추는 유저의 눈의 상(40)에 대한 촬영 각도 θ1은, 대비예에 관한 촬상부(116)에 의한 유저의 눈(130)에 대한 촬영 각도 θ2보다 커진다. 이와 같이, 본 실시 형태에 따른 촬상부(16)가 유저의 눈의 상(40)이 비추는 표시부(14)를 촬상함으로써, 유저의 눈의 상(40)에 대한 촬상부(16)의 촬영 각도를 깊게 할 수 있어 유저의 눈의 상(40)을 촬영하기 쉬워진다.
또한, 상술한 예에서는 본 실시 형태에 따른 HMD(10)에 있어서의 수직 거리 H1은, 대비예에 관한 HMD(110)에 있어서의 수직 거리 H2와 거의 동일하고, 본 실시 형태에 따른 HMD(10)에 있어서의 수직 거리 L1은, 대비예에 관한 HMD(110)에 있어서의 수직 거리 L2보다 긴 예를 나타냈지만, 이 예에 한정되는 것은 아니다. 예를 들어, 본 실시 형태에 따른 HMD(10)에 있어서의 수직 거리 H1이 광학계(17)의 높이의 절반보다 커도 된다. 또한 본 실시 형태에 따른 HMD(10)에 있어서의 수직 거리 L1이 거리 X보다 짧아도 되고 거리 Y보다 짧아도 된다. 이러한 경우에도, 본 실시 형태에 따른 촬상부(16)가 유저의 눈의 상(40)이 비추는 표시부(14)를 촬상함으로써, 대비예에 관한 HMD(110)와 같은 유저의 속눈썹이나 눈꺼풀 등의 촬상의 장해가 되는 것이 없으므로 유저의 눈의 상(40)을 촬상하기 쉬워진다.
또한 촬상부(16)가 적외광에 의한 유저의 눈의 상(40)이 비추는 표시부(14)를 촬상함으로써, 표시부(14)에 엔터테인먼트 장치로부터 수신하는 영상 등이 표시되어 있는 기간에도 유저의 눈의 상(40)을 촬상하는 것이 가능하게 된다. 즉 유저의 눈에 적외광을 조사함으로써 표시부(14)에 표시되는 영상의 방해가 되지 않고 유저의 눈의 상(40)을 표시부(14)에 비추는 것이 가능하게 된다. 이에 의해 유저가 엔터테인먼트 장치로부터 수신하는 영상 등을 시청하고 있는 사이에도, 제어부(11)는 유저의 눈의 위치나 유저의 시선 방향을 검출 가능하게 되고 캘리브레이션이나 시선 추적을 행할 수 있다. 그리고, 예를 들어 엔터테인먼트 장치로부터 수신하는 영상 등을 표시부(14)에 표시하고 있는 사이에 접수하는 유저 입력 조작으로서 시선 입력 조작을 이용하는 것도 가능하게 되고, 엔터테인먼트 장치가 유저의 눈의 위치나 유저의 시선 방향에 따른 입력 조작에 관한 처리를 실행할 수 있다.
또한, 도 2에 도시하는 본 실시 형태에 따른 HMD(10)에 있어서, 촬상부(16)는 가시광을 촬상 가능한 카메라로 해도 된다. 이 경우, 촬상부(16)는 표시부(14)를 촬상하여 얻어지는 화상에 대하여 필터링 처리 등의 화상 처리를 행함으로써 적외광에 의한 유저의 눈의 상(40)을 추출하는 것으로 한다.
또한, 도 2에 도시하는 본 실시 형태에 따른 HMD(10)에 있어서, 촬상부(16)는 가시광을 촬상 가능한 카메라로 하고 광 조사부(15)를 배치하지 않는 것으로 해도 된다. 광 조사부(15)를 배치하지 않는 경우에도, 가시광이 유저의 눈(30)에서 반사함으로써 얻어지는 반사광이, 광학계(17)를 통과하여 표시부(14)에 입사함으로써 가시광에 의한 유저의 눈의 상(40)이 표시부(14)에 비춘다. 그리고, 촬상부(16)가 가시광에 의한 유저의 눈의 상(40)이 비추는 표시부(14)를 촬상하는 것으로 해도 된다. 여기서, 촬상부(16)가 가시광에 의한 유저의 눈의 상(40)이 비추는 표시부(14)를 촬상하는 경우에는, 표시부(14)에 엔터테인먼트 장치로부터 수신하는 영상 등이 표시되어 있지 않은 기간에 행하는 것이 바람직하다.
도 4는, 본 실시 형태에 따른 HMD(10)의 구성의 제2 예를 나타내는 개략도이다. 도 4에 도시하는 본 실시 형태에 따른 HMD(10)는, 도 2에 도시하는 본 실시 형태에 따른 HMD(10)의 광 조사부(15)의 위치를 상이하게 한 것이다. 도 4에 도시하는 본 실시 형태에 따른 HMD(10)의 광 조사부(15)는, 표시부(14)와 광학계(17) 사이에 배치되고, 표시부(14)에 대하여 적외 레이저와 같은 적외광을 조사한다. 기타의 구성은 도 2에 도시하는 본 실시 형태에 따른 HMD(10)과 동일하기 때문에, 중복하는 설명은 여기에서는 생략한다.
도 4에 도시하는 본 실시 형태에 따른 HMD(10)에서는, 광 조사부(15)가 표시부(14)에 대하여 조사한 적외광이 표시부(14)에서 반사하고, 그 반사광이 광학계(17)를 통과하여 유저의 눈(30)에 대하여 조사된다. 그리고, 유저의 눈(30)에 대하여 조사된 적외광이 유저의 눈(30)에서 반사하고, 그 반사광이 다시 광학계(17)를 통과하여 표시부(14)에 입사함으로써 적외광에 의한 유저의 눈의 상(40)이 표시부(14)에 비춘다. 그리고, 촬상부(16)가 유저의 눈의 상(40)이 비추는 표시부(14)를 촬상한다. 이렇게 표시부(14)에 대하여 조사된 적외광이 반사함으로써 얻어지는 반사광이 유저의 눈(30)에 대하여 조사됨으로써, 유저의 눈(30)에 대하여 정면으로부터 적외광이 입사되는 것이 된다. 따라서 유저의 눈의 상(40)이 표시부(14)에 비치기 쉬워지므로, 촬상부(16)는 유저의 눈의 상(40)이 비추는 표시부(14)를 촬상하기 쉬워진다. 그리고 제어부(11)에 의한 유저의 눈의 위치나 유저의 시선 방향의 검출 정밀도가 향상되는 것이 된다.
또한, 도 2 및 도 4에 도시한 HMD(10)의 구성은 어디까지나 일례이며, 이 예에 한정되는 것은 아니다. 상술한 예에서는, 도 2 및 도 4에 있어서 HMD(10)의 상방에 광 조사부(15)나 촬상부(16)가 배치되어 있는 예를 나타내고 있지만, 예를 들어 HMD(10)의 하방에 배치되어도 되고, HMD(10)의 측면측에 배치되어도 된다. 이들의 배치는, 표시부(14)나 광학계(17)의 특성, 표시부(14)로부터 광학계(17)까지의 거리 X, 광학계(17)로부터 유저의 눈(30)까지의 거리 X2 등에 따라서 적절히 설정되어도 된다.
[변형예]
도 5는, 본 실시 형태에 따른 HMD(10)의 구성 제1 변형예를 도시하는 개략도이다. 도 5는 유저가 HMD(10)를 장착하고 있는 상태를 나타내고 있다. 도 5에 도시하는 변형예에 관한 HMD(10)에서는, 광학계(17)가 유저의 눈앞에 배치되고, 촬상부(16)가 광학계(17)를 개재하여 유저의 눈(30)의 정면에 배치된다. 광학계(17)는 가시광을 반사하여 적외광을 투과하는 미러(27)를 포함하고, 촬상부(16)와 유저의 눈(30) 사이에 배치된다. 표시부(14)는, 표시부(14)로부터 출력되는 영상광이 미러(27)에 반사하여 유저의 눈(30)에 입사하도록 배치된다. 광 조사부(15)는 광학계(17)와 유저의 눈(30) 사이에 배치되고, 유저의 눈(30)에 대하여 적외광을 조사한다. 촬상부(16)는 적외광을 촬상 가능한 적외선 카메라로 한다.
도 5에 도시하는 변형예에 관한 HMD(10)에서는, 광 조사부(15)가 유저의 눈(30)에 대하여 조사한 적외광이 유저의 눈(30)에서 반사하고, 그 반사광이 미러(27)를 투과하여 촬상부(16)에 입사한다. 이에 의해, 촬상부(16)는 유저의 눈(30)에 대하여 정면으로부터 유저의 눈(30)을 촬상할 수 있다.
도 6은, 본 실시 형태에 따른 HMD(10)의 구성 제2 변형예를 도시하는 개략도이다. 도 6에 나타내는 변형예에 관한 HMD(10)는, 도 5에 도시하는 변형예에 관한 HMD(10)의 광 조사부(15)의 위치를 상이하게 한 것이다. 도 6에 나타내는 변형예에 관한 HMD(10)의 광 조사부(15)는 광학계(17)를 개재하여 유저의 눈앞에 배치된다. 그 밖의 구성은 도 5에 도시하는 변형예에 관한 HMD(10)와 동일하기 때문에, 중복하는 설명은 여기에서는 생략한다.
도 6에 나타내는 변형예에 관한 HMD(10)에서는, 광 조사부(15)가 조사한 적외광이 미러(27)를 투과하여 유저의 눈(30)에 조사된다. 그리고, 유저의 눈(30)에 대하여 조사된 적외광이 유저의 눈(30)에서 반사하고, 그 반사광이 미러(27)를 투과하여 촬상부(16)에 입사한다. 이에 의해, 광 조사부(15)는 유저의 눈(30)에 대하여 정면으로부터 적외광을 조사할 수 있고, 촬상부(16)는 유저의 눈(30)에 대하여 정면으로부터 유저의 눈(30)을 촬상할 수 있다.

Claims (6)

  1. 유저에 장착되는 헤드 마운트 디스플레이이며,
    상기 유저의 눈앞에 배치되는 표시부와,
    상기 표시부와 상기 유저의 눈 사이에 배치되는 광학계와,
    상기 표시부와 상기 광학계 사이에 배치되어, 상기 유저의 눈의 상이 비추는 상기 표시부를 촬상하는 촬상부
    를 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이.
  2. 제1항에 있어서, 상기 유저의 눈에 대하여 광을 조사하는 광 조사부를 더 포함하고,
    상기 촬상부는, 상기 광 조사부에 의해 조사된 광이 상기 유저의 눈에서 반사함으로써 상기 표시부에 비추는 상기 유저의 눈의 상을 촬상하는
    것을 특징으로 하는 헤드 마운트 디스플레이.
  3. 제2항에 있어서, 상기 광 조사부는, 상기 광학계와 상기 유저의 눈 사이에 배치되어, 상기 유저의 눈에 대하여 직접 광을 조사하는
    것을 특징으로 하는 헤드 마운트 디스플레이.
  4. 제2항에 있어서, 상기 광 조사부는, 상기 표시부와 상기 광학계 사이에 배치되어, 상기 표시부에 조사된 광이 반사하는 반사광을 상기 유저의 눈에 대하여 조사하는
    것을 특징으로 하는 헤드 마운트 디스플레이.
  5. 제2항 내지 제4항 중 어느 한 항에 있어서, 상기 광 조사부는 적외광을 조사하고,
    상기 촬상부는 상기 적외광을 촬상 가능한 적외선 카메라인
    것을 특징으로 하는 헤드 마운트 디스플레이.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 촬상부에 의해 촬상된 상기 유저의 눈의 상을 포함하는 화상에 기초하여 당해 유저의 시선 방향을 검출하는 시선 검출부를 더 포함하는
    것을 특징으로 하는 헤드 마운트 디스플레이.
KR1020187003038A 2015-08-11 2016-08-04 헤드 마운트 디스플레이 KR102091055B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015158976 2015-08-11
JPJP-P-2015-158976 2015-08-11
PCT/JP2016/072967 WO2017026371A1 (ja) 2015-08-11 2016-08-04 ヘッドマウントディスプレイ

Publications (2)

Publication Number Publication Date
KR20180023983A true KR20180023983A (ko) 2018-03-07
KR102091055B1 KR102091055B1 (ko) 2020-03-20

Family

ID=57984508

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187003038A KR102091055B1 (ko) 2015-08-11 2016-08-04 헤드 마운트 디스플레이

Country Status (6)

Country Link
US (2) US10635901B2 (ko)
EP (1) EP3337164B1 (ko)
JP (2) JP6474900B2 (ko)
KR (1) KR102091055B1 (ko)
CN (1) CN107852474B (ko)
WO (1) WO2017026371A1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10545347B2 (en) * 2017-02-23 2020-01-28 Google Llc Compact eye tracking using folded display optics
CN106932905A (zh) * 2017-02-27 2017-07-07 阿里巴巴集团控股有限公司 虚拟现实头戴设备
CN106873159A (zh) 2017-02-27 2017-06-20 阿里巴巴集团控股有限公司 虚拟现实头戴设备
CN106873158A (zh) * 2017-02-27 2017-06-20 阿里巴巴集团控股有限公司 虚拟现实头戴设备
WO2020059157A1 (ja) 2018-09-20 2020-03-26 株式会社ソニー・インタラクティブエンタテインメント 表示システム、プログラム、表示方法、及び頭部装着装置
CN109031672A (zh) * 2018-10-19 2018-12-18 山东济大象外创新科技有限公司 一种具有视线追踪功能的近眼显示器
TWI726445B (zh) * 2019-04-08 2021-05-01 宏達國際電子股份有限公司 頭戴式顯示裝置
US11732795B2 (en) 2019-04-19 2023-08-22 Nidec Corporation Drive device
JPWO2021028755A1 (ko) 2019-08-09 2021-02-18
KR20220092935A (ko) 2019-11-01 2022-07-04 가부시키가이샤 한도오따이 에네루기 켄큐쇼 표시 장치
FI130771B1 (fi) * 2020-07-03 2024-03-07 Seetrue Tech Oy Katseen seuranta
TWI792033B (zh) * 2020-08-10 2023-02-11 見臻科技股份有限公司 穿戴式眼動追蹤系統
WO2022038452A1 (ja) 2020-08-21 2022-02-24 株式会社半導体エネルギー研究所 表示装置、電子機器、及びヘッドマウントディスプレイ
JP2022084180A (ja) * 2020-11-26 2022-06-07 ソニーグループ株式会社 画像表示装置及び表示装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH089205A (ja) * 1994-06-17 1996-01-12 Canon Inc 画像モニタ装置
JPH09127459A (ja) 1995-11-02 1997-05-16 Canon Inc 視線検出系を有した表示装置
JPH11202256A (ja) * 1998-01-20 1999-07-30 Ricoh Co Ltd 頭部搭載型画像表示装置
JP2002301030A (ja) 2001-04-09 2002-10-15 Canon Inc 視線検出機能付き機器
JP2006053321A (ja) * 2004-08-11 2006-02-23 Olympus Corp 投影観察装置
JP2012515579A (ja) 2009-01-26 2012-07-12 トビー・テクノロジー・アーベー 光学的参照の支援による注視点検出
JP2015508182A (ja) 2012-01-24 2015-03-16 アリゾナ ボード オブ リージェンツ オン ビハーフ オブ ザ ユニバーシティ オブ アリゾナ 小型視線追従型ヘッドマウントディスプレイ

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9823977D0 (en) 1998-11-02 1998-12-30 Scient Generics Ltd Eye tracking method and apparatus
JP3460643B2 (ja) * 1999-09-29 2003-10-27 ミノルタ株式会社 デジタルカメラ
US6529331B2 (en) * 2001-04-20 2003-03-04 Johns Hopkins University Head mounted display with full field of view and high resolution
JP2002328330A (ja) 2001-04-27 2002-11-15 Sony Corp 映像表示装置
US7907150B2 (en) * 2003-08-09 2011-03-15 Doubleshot, Inc. Method of fusion or merging imagery data for improved visual perception using monoscopic and stereographic fusion and retinal decay techniques
US7432917B2 (en) * 2004-06-16 2008-10-07 Microsoft Corporation Calibration of an interactive display system
JP2008241822A (ja) * 2007-03-26 2008-10-09 Mitsubishi Electric Corp 画像表示装置
EP3611555A1 (en) * 2009-11-19 2020-02-19 eSight Corporation Image magnification on a head mounted display
TWI490753B (zh) * 2010-04-06 2015-07-01 Hon Hai Prec Ind Co Ltd 觸控裝置
US20120176474A1 (en) * 2011-01-10 2012-07-12 John Norvold Border Rotational adjustment for stereo viewing
US9025252B2 (en) 2011-08-30 2015-05-05 Microsoft Technology Licensing, Llc Adjustment of a mixed reality display for inter-pupillary distance alignment
US9311883B2 (en) * 2011-11-11 2016-04-12 Microsoft Technology Licensing, Llc Recalibration of a flexible mixed reality device
WO2013180127A1 (ja) * 2012-06-01 2013-12-05 国立大学法人高知大学 近赤外蛍光を発する医療品、および医療品の使用状況確認装置
JP6342903B2 (ja) 2012-10-02 2018-06-13 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 適合するプラグの挿入を利用するカスタマイズ可能なクッション
JP6066676B2 (ja) 2012-11-06 2017-01-25 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイおよび映像提示システム
US9335547B2 (en) * 2013-03-25 2016-05-10 Seiko Epson Corporation Head-mounted display device and method of controlling head-mounted display device
US9625723B2 (en) * 2013-06-25 2017-04-18 Microsoft Technology Licensing, Llc Eye-tracking system using a freeform prism
US10228561B2 (en) * 2013-06-25 2019-03-12 Microsoft Technology Licensing, Llc Eye-tracking system using a freeform prism and gaze-detection light
CN108537628B (zh) * 2013-08-22 2022-02-01 贝斯普客公司 用于创造定制产品的方法和系统
TWI531817B (zh) * 2014-01-16 2016-05-01 中強光電股份有限公司 虛像顯示模組與光學鏡頭
US10191279B2 (en) * 2014-03-17 2019-01-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9811159B2 (en) * 2014-01-21 2017-11-07 Osterhout Group, Inc. Eye imaging in head worn computing
JP6539654B2 (ja) * 2014-06-27 2019-07-03 フォーブ インコーポレーテッド 視線検知装置
WO2016103525A1 (ja) * 2014-12-27 2016-06-30 株式会社Ｆｏｖｅ ヘッドマウントディスプレイ
US20160239985A1 (en) * 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH089205A (ja) * 1994-06-17 1996-01-12 Canon Inc 画像モニタ装置
JPH09127459A (ja) 1995-11-02 1997-05-16 Canon Inc 視線検出系を有した表示装置
JPH11202256A (ja) * 1998-01-20 1999-07-30 Ricoh Co Ltd 頭部搭載型画像表示装置
JP2002301030A (ja) 2001-04-09 2002-10-15 Canon Inc 視線検出機能付き機器
JP2006053321A (ja) * 2004-08-11 2006-02-23 Olympus Corp 投影観察装置
JP2012515579A (ja) 2009-01-26 2012-07-12 トビー・テクノロジー・アーベー 光学的参照の支援による注視点検出
JP2015508182A (ja) 2012-01-24 2015-03-16 アリゾナ ボード オブ リージェンツ オン ビハーフ オブ ザ ユニバーシティ オブ アリゾナ 小型視線追従型ヘッドマウントディスプレイ

Also Published As

Publication number Publication date
EP3337164B1 (en) 2021-10-27
CN107852474B (zh) 2021-01-08
EP3337164A1 (en) 2018-06-20
CN107852474A (zh) 2018-03-27
US20180218211A1 (en) 2018-08-02
KR102091055B1 (ko) 2020-03-20
EP3337164A4 (en) 2019-04-10
JP2019080354A (ja) 2019-05-23
WO2017026371A1 (ja) 2017-02-16
US20200218891A1 (en) 2020-07-09
JP6474900B2 (ja) 2019-02-27
JPWO2017026371A1 (ja) 2018-03-15
US11126840B2 (en) 2021-09-21
US10635901B2 (en) 2020-04-28

Similar Documents

Publication Publication Date Title
KR20180023983A (ko) 헤드 마운트 디스플레이
US10817721B2 (en) Gaze detection device
JP5167545B2 (ja) 視点検出装置
KR101883090B1 (ko) 헤드 마운트 디스플레이
KR20180033222A (ko) 프리즘-기반 눈 추적
US10061384B2 (en) Information processing apparatus, information processing method, and program
US20160170482A1 (en) Display apparatus, and control method for display apparatus
JP2016036390A (ja) 情報処理装置、焦点検出方法、および焦点検出プログラム
JP2019149204A (ja) 照合装置
JP2018170554A (ja) ヘッドマウントディスプレイ
JP2010056661A (ja) 頭部装着型映像取得表示装置
US20230013134A1 (en) Electronic device
US11822714B2 (en) Electronic device and control method for capturing an image of an eye
US20240013688A1 (en) Image processing apparatus, display apparatus, image processing method, and storage medium
US20230092593A1 (en) Detection device detecting gaze point of user, control method therefor, and storage medium storing control program therefor
US20230094627A1 (en) Line-of-sight detection apparatus and image capturing apparatus
US11829530B2 (en) Electronic device, control method of electronic device, and non-transitory computer readable medium
JP2010249907A (ja) 撮影装置および撮像方法
US20230125838A1 (en) Electronic apparatus and control method for electronic apparatus
KR20230065893A (ko) 전자기기, 그 제어 방법, 및 기억매체
CN116437180A (zh) 显示设备、取景器设备和摄像设备
KR20170125617A (ko) 가상현실 구현장치 및 그 동작 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right