KR20170039621A - 헤드 마운트 디스플레이 - Google Patents

헤드 마운트 디스플레이 Download PDF

Info

Publication number
KR20170039621A
KR20170039621A KR1020167036204A KR20167036204A KR20170039621A KR 20170039621 A KR20170039621 A KR 20170039621A KR 1020167036204 A KR1020167036204 A KR 1020167036204A KR 20167036204 A KR20167036204 A KR 20167036204A KR 20170039621 A KR20170039621 A KR 20170039621A
Authority
KR
South Korea
Prior art keywords
user
region
infrared light
cornea
convex lens
Prior art date
Application number
KR1020167036204A
Other languages
English (en)
Other versions
KR101883090B1 (ko
Inventor
로흐란 윌슨
케이치 세코
Original Assignee
포브, 아이엔씨.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포브, 아이엔씨. filed Critical 포브, 아이엔씨.
Publication of KR20170039621A publication Critical patent/KR20170039621A/ko
Application granted granted Critical
Publication of KR101883090B1 publication Critical patent/KR101883090B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Position Input By Displaying (AREA)

Abstract

유저의 두부에 장착하여 사용되는 헤드 마운트 디스플레이에 있어서, 볼록 렌즈는, 헤드 마운트 디스플레이가 장착되었을 때에 유저의 각막에 대향하는 위치에 배치된다. 복수의 적외광원은, 볼록 렌즈의 주위에 배치되어, 유저의 각막을 향하여 적외광을 조사한다. 카메라는, 유저의 각막을 피사체에 포함하는 영상을 촬상한다. 케이스는, 볼록 렌즈, 적외광원, 및 카메라를 수용한다. 여기에서, 복수의 적외광원은, 볼록 렌즈의 주위를 유저의 눈꼬리측의 영역인 제1 영역, 눈구석측의 영역인 제2 영역, 두정측의 영역인 제3 영역, 턱측의 영역인 제4 영역의 4개의 영역으로 등분했을 때, 각각 제1 영역 또는 제2 영역 중 어느 하나에 배치된다.

Description

헤드 마운트 디스플레이{HEAD MOUNTED DISPLAY}
이 발명은, 헤드 마운트 디스플레이에 관한 것이다.
근적외광 등의 비가시광을 유저의 눈에 조사하여, 그 반사광을 포함하는 유저의 눈의 화상을 해석함으로써 유저의 시선 방향을 검출하는 기술이 알려져 있다. 검출한 유저의 시선 방향의 정보는, 예를 들면 PC(Personal Computer)나 게임기 등의 모니터에 반영시켜, 포인팅 디바이스로서 이용하는 것도 현실화가 되어 가고 있다.
특허문헌 1: 일본 공개특허공보 평2-264632호
헤드 마운트 디스플레이는, 장착한 유저에게 3차원적인 영상을 제시하기 위한 영상 표시 장치이다. 헤드 마운트 디스플레이는, 일반적으로 유저의 시야를 덮도록 장착하여 사용된다. 이로 인하여, 헤드 마운트 디스플레이를 장착한 유저는 외계(外界)의 영상이 차폐된다. 헤드 마운트 디스플레이를 영화나 게임 등의 영상 표시 장치로서 이용하면, 유저는 컨트롤러 등의 입력 장치를 시인하는 것이 어렵다.
이로 인하여, 헤드 마운트 디스플레이를 장착한 유저의 시선 방향을 검출하여 포인팅 디바이스의 대체로서 이용할 수 있다면 편리할 것이다.
본 발명은 이와 같은 과제를 감안하여 이루어진 것이며, 그 목적은, 헤드 마운트 디스플레이를 장착한 유저의 시선 방향을 검출하는 기술을 제공하는 것에 있다.
상기 과제를 해결하기 위하여, 본 발명의 일 양태는, 유저의 두부에 장착하여 사용되는 헤드 마운트 디스플레이이다. 이 헤드 마운트 디스플레이는, 장착되었을 때에 유저의 각막에 대향하는 위치에 배치되는 볼록 렌즈와, 볼록 렌즈의 주위에 배치되어, 유저의 각막을 향하여 적외광을 조사하는 복수의 적외광원과, 유저의 각막을 피사체에 포함하는 영상을 촬상하는 카메라와, 볼록 렌즈, 적외광원, 및 카메라를 수용하는 케이스를 구비한다. 복수의 적외광원은, 볼록 렌즈의 주위를 유저의 눈꼬리측의 영역인 제1 영역, 눈구석측의 영역인 제2 영역, 두정(頭頂)측의 영역인 제3 영역, 턱측의 영역인 제4 영역의 4개의 영역으로 등분했을 때, 각각 제1 영역 또는 제2 영역 중 어느 하나에 배치된다.
볼록 렌즈를 지지하는 렌즈 지지부를 더 구비해도 된다. 복수의 적외광원은, 렌즈 지지부에 구비되어 있어도 된다.
카메라가 촬상한 화상을, 유저의 시선 방향을 검출하는 시선 방향 검출부에 출력하는 출력부를 더 구비해도 된다. 케이스는, 출력부도 수용해도 된다.
또한, 이상의 구성 요소의 임의의 조합, 본 발명의 표현을 방법, 장치, 시스템, 컴퓨터 프로그램, 데이터 구조, 기록 매체 등의 사이에서 변환시킨 것도 또, 본발명의 양태로서 유효하다.
본 발명에 의하면, 헤드 마운트 디스플레이를 장착한 유저의 시선 방향을 검출하는 기술을 제공할 수 있다.
도 1은 실시형태에 관한 영상 시스템의 개관을 모식적으로 나타내는 도이다.
도 2는 실시형태에 관한 헤드 마운트 디스플레이의 화상 표시계(系)의 개관을 모식적으로 나타내는 사시도이다.
도 3은 실시형태에 관한 케이스가 수용하는 화상 표시계의 광학 구성을 모식적으로 나타내는 도이다.
도 4에 있어서, 도 4(a)-(b)는, 유저의 눈 크기와, 각막의 노출 정도의 관계를 모식적으로 나타내는 도이다.
도 5는 원주부의 부분 영역을 설명하는 모식도이다.
도 6에 있어서, 도 6(a)-(b)는, 실시형태의 비교예에 관한 적외광원의 배치 위치와, 유저의 각막에서 반사되는 적외광의 휘점의 관계를 설명하는 모식도이다.
도 7에 있어서, 도 7(a)-(b)는, 실시형태에 관한 적외광원의 배치 위치와, 유저의 각막에서 반사되는 적외광의 휘점의 관계를 설명하는 모식도이다.
도 8은 실시형태에 관한 시선 방향의 검출을 위한 캘리브레이션을 설명하는 모식도이다.
도 9는 유저의 각막 위치 좌표를 설명하는 모식도이다.
도 10에 있어서, 도 10(a)-(f)는, 실시형태의 변형예에 관한 헤드 마운트 디스플레이에 있어서의 적외광원의 배치 위치를 모식적으로 나타내는 도이다.
도 1은, 실시형태에 관한 영상 시스템(1)의 개관을 모식적으로 나타내는 도이다. 실시형태에 관한 영상 시스템(1)은, 헤드 마운트 디스플레이(100)와 영상 재생 장치(200)를 포함한다. 도 1에 나타내는 바와 같이, 헤드 마운트 디스플레이(100)는, 유저(300)의 두부에 장착하여 사용된다.
영상 재생 장치(200)는, 헤드 마운트 디스플레이(100)가 표시하는 영상을 생성한다. 한정은 하지 않지만, 일례로서, 영상 재생 장치(200)는, 거치형 게임기, 휴대용 게임기, PC, 태블릿, 스마트폰, 패블릿, 비디오 플레이어, 텔레비전 등의 영상을 재생 가능한 장치이다. 영상 재생 장치(200)는, 헤드 마운트 디스플레이(100)와 무선 또는 유선으로 접속한다. 도 1에 나타내는 예에서는, 영상 재생 장치(200)는 헤드 마운트 디스플레이(100)와 무선으로 접속하고 있다. 영상 재생 장치(200)와 헤드 마운트 디스플레이(100)의 무선접속은, 예를 들면 이미 알려진 Wi-Fi(등록 상표)나 Bluetooth(등록 상표) 등의 무선 통신 기술을 이용하여 실현할 수 있다. 한정은 하지 않지만, 일례로서, 헤드 마운트 디스플레이(100)와 영상 재생 장치(200)의 사이에 있어서의 영상의 전송은, Miracast(상표)나 WiGig(상표), WHDI(상표) 등의 규격에 준하여 실행된다.
또한, 도 1은, 헤드 마운트 디스플레이(100)와 영상 재생 장치(200)가 상이한 장치인 경우의 예를 나타내고 있다. 그러나, 영상 재생 장치(200)는 헤드 마운트 디스플레이(100)에 내장되어도 된다.
헤드 마운트 디스플레이(100)는, 케이스(150), 장착구(160), 및 헤드폰(170)을 구비한다. 케이스(150)는, 화상 표시 소자 등 유저(300)에게 영상을 제시하기 위한 화상 표시계나, 도시하지 않은 Wi-Fi 모듈이나 Bluetooth(등록 상표) 모듈 등의 무선 전송 모듈을 수용한다. 장착구(160)는, 헤드 마운트 디스플레이(100)를 유저(300)의 두부에 장착시킨다. 장착구(160)는 예를 들면, 벨트나 신축성의 띠 등으로 실현할 수 있다. 유저(300)가 장착구(160)를 이용하여 헤드 마운트 디스플레이(100)를 장착하면, 케이스(150)는 유저(300)의 눈을 덮는 위치에 배치된다. 이로 인하여, 유저(300)가 헤드 마운트 디스플레이(100)를 장착하면, 유저(300)의 시야는 케이스(150)에 의하여 차단된다.
헤드폰(170)은, 영상 재생 장치(200)가 재생하는 영상의 음성을 출력한다. 헤드폰(170)은 헤드 마운트 디스플레이(100)에 고정되지 않아도 된다. 유저(300)는, 장착구(160)를 이용하여 헤드 마운트 디스플레이(100)를 장착한 상태이더라도, 헤드폰(170)을 자유롭게 탈착할 수 있다.
도 2는, 실시형태에 관한 헤드 마운트 디스플레이(100)의 화상 표시계(130)의 개관을 모식적으로 나타내는 사시도이다. 보다 구체적으로, 도 2는, 실시형태에 관한 케이스(150) 중, 헤드 마운트 디스플레이(100)를 장착했을 때에 유저(300)의 각막(302)에 대향하는 영역을 나타내는 도이다.
도 2에 나타내는 바와 같이, 왼쪽눈용 볼록 렌즈(114a)는, 유저(300)가 헤드 마운트 디스플레이(100)를 장착했을 때에, 유저(300)의 왼쪽눈의 각막(302a)과 대향하는 위치가 되도록 배치된다. 마찬가지로, 오른쪽눈용 볼록 렌즈(114b)는, 유저(300)가 헤드 마운트 디스플레이(100)를 장착했을 때에, 유저(300)의 오른쪽눈의 각막(302b)과 대향하는 위치가 되도록 배치된다. 왼쪽눈용 볼록 렌즈(114a)와 오른쪽눈용 볼록 렌즈(114b)는, 각각 왼쪽눈용 렌즈 지지부(152a)와 오른쪽눈용 렌즈 지지부(152b)에 파지되어 있다.
이하 본 명세서에 있어서, 왼쪽눈용 볼록 렌즈(114a)와 오른쪽눈용 볼록 렌즈(114b)를 특별히 구별하는 경우를 제외하고, 간단히 "볼록 렌즈(114)"라고 기재한다. 마찬가지로, 유저(300)의 왼쪽눈의 각막(302a)과 유저(300)의 오른쪽눈의 각막(302b)을 특별히 구별하는 경우를 제외하고, 간단히 "각막(302)"이라고 기재한다. 왼쪽눈용 렌즈 지지부(152a)와 오른쪽눈용 렌즈 지지부(152b)도, 특별히 구별하는 경우를 제외하고 "렌즈 지지부(152)"라고 기재한다.
렌즈 지지부(152)에는, 복수의 적외광원(103)이 구비되어 있다. 번잡해지는 것을 피하기 위하여, 도 2에 있어서는 제1 적외광원(103a), 제2 적외광원(103b), 및 제3 적외광원(103c)(이하, 특별히 구별하는 경우를 제외하고 "적외광원(103)"이라고 기재함)에만 부호를 붙이고 있지만, 도면 중 부호를 붙인 것과 동일한 형상은 적외광원(103)을 나타낸다. 도 2에 나타내는 예에서는, 왼쪽눈용 렌즈 지지부(152a)에는 6개의 적외광원(103)이 구비되어 있다. 마찬가지로, 오른쪽눈용 렌즈 지지부(152b)에도 6개의 적외광원(103)이 구비되어 있다. 이와 같이, 적외광원(103)을 볼록 렌즈(114)에 직접 배치하지 않고, 볼록 렌즈(114)를 파지하는 렌즈 지지부(152)에 배치함으로써, 적외광원(103)의 장착이 용이해진다. 일반적으로 렌즈 지지부(152)는 수지 등으로 구성되기 때문에, 유리 등으로 구성되는 볼록 렌즈(114)보다 적외광원(103)을 장착하기 위한 가공이 용이하기 때문이다.
상술한 바와 같이, 렌즈 지지부(152)는 볼록 렌즈(114)를 파지하는 부재이다. 따라서, 렌즈 지지부(152)에 구비된 적외광원(103)은, 볼록 렌즈(114)의 주위에 배치되게 된다. 또한, 적외광원(103)의 배치 위치의 상세한 설명은 후술한다.
도 3은, 실시형태에 관한 케이스(150)가 수용하는 화상 표시계(130)의 광학 구성을 모식적으로 나타내는 도이며, 도 2에 나타내는 케이스(150)를 왼쪽눈측의 측면에서 보았을 경우의 도이다. 화상 표시계(130)는, 적외광원(103), 화상 표시 소자(108), 핫 미러(112), 볼록 렌즈(114), 카메라(116), 및 출력부(118)를 구비한다.
적외광원(103)은, 근적외(700nm~2500nm 정도)의 파장 대역의 광을 조사 가능한 광원이다. 근적외광은, 일반적으로 유저(300)의 육안으로는 관측할 수 없는 비가시광의 파장 대역의 광이다.
화상 표시 소자(108)는, 유저(300)에게 제시하기 위한 화상을 표시한다. 화상 표시 소자(108)가 표시하는 화상은, 영상 재생 장치(200) 내의 도시하지 않은 GPU(Graphic Processing Unit)를 생성한다. 화상 표시 소자(108)는, 예를 들면 이미 알려진 LCD(Liquid Crystal Display)나 유기 EL 디스플레이(Organic ElectroLuminescent Display)를 이용하여 실현할 수 있다.
핫 미러(112)는, 유저(300)가 헤드 마운트 디스플레이(100)를 장착했을 때에, 화상 표시 소자(108)와 유저(300)의 각막(302)의 사이에 배치된다. 핫 미러(112)는, 화상 표시 소자(108)가 생성하는 가시광은 투과하지만, 근적외광은 반사하는 성질을 갖는다.
볼록 렌즈(114)는, 핫 미러(112)에 대하여, 화상 표시 소자(108)의 반대측에 배치된다. 바꿔 말하면, 볼록 렌즈(114)는, 유저(300)가 헤드 마운트 디스플레이(100)를 장착했을 때에, 핫 미러(112)와 유저(300)의 각막(302)의 사이에 배치된다. 즉, 볼록 렌즈(114)는, 헤드 마운트 디스플레이(100)가 유저(300)에 장착되었을 때에, 유저(300)의 각막(302)에 대향하는 위치에 배치된다.
볼록 렌즈(114)는 핫 미러(112)를 투과하는 화상 표시광을 집광한다. 이로 인하여, 볼록 렌즈(114)는, 화상 표시 소자(108)가 생성하는 화상을 확대하여 유저(300)에게 제시하는 화상 확대부로서 기능한다. 또한, 설명의 편의상, 도 2에서는 볼록 렌즈(114)를 하나만 나타내고 있지만, 볼록 렌즈(114)는, 다양한 렌즈를 조합하여 구성되는 렌즈군이어도 되고, 한쪽이 곡률을 가지며, 다른 한쪽이 평면인 편볼록 렌즈여도 된다.
복수의 적외광원(103)은, 볼록 렌즈(114)의 주위에 배치되어 있다. 적외광원(103)은, 유저(300)의 각막(302)을 향하여 적외광을 조사한다.
도시하지 않지만, 실시형태에 관한 헤드 마운트 디스플레이(100)의 화상 표시계(130)는 화상 표시 소자(108)를 두개 구비하고 있으며, 유저(300)의 오른쪽눈에 제시하기 위한 화상과 왼쪽눈에 제시하기 위한 화상을 독립적으로 생성할 수 있다. 이로 인하여, 실시형태에 관한 헤드 마운트 디스플레이(100)는, 유저(300)의 오른쪽눈과 왼쪽눈에, 각각 오른쪽눈용의 시차 화상과 왼쪽눈용의 시차 화상을 제시할 수 있다. 이로써, 실시형태에 관한 헤드 마운트 디스플레이(100)는, 유저(300)에 대하여 깊이감을 가진 입체 영상을 제시할 수 있다.
상술한 바와 같이, 핫 미러(112)는, 가시광을 투과하고, 근적외광을 반사한다. 따라서, 화상 표시 소자(108)가 조사하는 화상광은 핫 미러(112)를 투과하여 유저(300)의 각막(302)까지 도달한다. 또 적외광원(103)으로부터 조사되어, 볼록 렌즈(114)의 내부 반사 영역에서 반사된 적외광은, 유저(300)의 각막(302)에 도달한다.
유저(300)의 각막(302)에 도달한 적외광은, 유저(300)의 각막(302)에서 반사되어, 다시 볼록 렌즈(114)의 방향으로 향한다. 이 적외광은 볼록 렌즈(114)를 투과하여, 핫 미러(112)에서 반사된다. 카메라(116)는 가시광을 차단하는 필터를 구비하고 있으며, 핫 미러(112)에서 반사된 근적외광을 촬상한다. 즉, 카메라(116)는, 적외광원(103)으로부터 조사되어, 유저(300)의 눈에서 각막 반사된 근적외광을 촬상하는 근적외 카메라이다.
출력부(118)는, 카메라(116)가 촬상한 화상을, 유저(300)의 시선 방향을 검출하는 시선 방향 검출부에 출력한다. 구체적으로는, 출력부(118)는, 카메라(116)가 촬상한 화상을 영상 재생 장치(200)에 송신한다. 시선 방향 검출부에 대해서는 후술하는데, 영상 재생 장치(200)의 CPU(Central Processing Unit)가 실행하는 시선 검출 프로그램에 의하여 실현된다. 또한, 헤드 마운트 디스플레이(100)가 CPU나 메모리 등의 계산 리소스를 갖고 있는 경우에는, 헤드 마운트 디스플레이(100)의 CPU가 시선 방향 검출부를 실현하는 프로그램을 실행해도 된다.
상세한 것은 후술하지만, 카메라(116)가 촬상하는 화상에는, 유저(300)의 각막(302)에서 반사된 근적외광에 기인하는 휘점과, 근적외의 파장 대역에서 관찰되는 유저(300)의 각막(302)을 포함하는 눈의 화상이 촬상되어 있다.
이상은, 실시형태에 관한 화상 표시계(130) 중 주로 유저(300)의 왼쪽눈에 화상을 제시하기 위한 구성에 대하여 설명했는데, 유저(300)의 오른쪽눈에 화상을 제시하기 위한 구성은 상기와 동일하다.
다음으로, 실시형태에 관한 적외광원(103)의 배치 위치에 대하여 설명한다.
도 4(a)-(b)는, 유저(300)의 눈 크기와, 각막(302)의 노출 정도의 관계를 모식적으로 나타내는 도이다. 보다 구체적으로는, 도 4(a)는 눈이 큰 유저(300)의 각막(302)의 외관을 예시하는 도이고, 도 4(b)는 눈이 작은 유저(300)의 각막(302)의 외관을 예시하는 도이다.
도 4(a)에 나타내는 바와 같이, 유저(300)의 눈이 큰 경우에는, 유저(300)의 각막(302)은 외부에서 전부 볼 수 있다. 한편 도 4(b)에 나타내는 바와 같이, 유저(300)의 눈이 작은 경우에는, 유저(300)의 각막(302)의 일부가 눈꺼풀 등에 의하여 차폐되어 외부에서 보이지 않는 경우도 있다. 일반적으로, 유저(300)의 눈은 유저(300)가 직립하고 있는 경우 가로 방향(수평 방향)으로 긴 형상이 된다. 따라서, 유저(300)의 각막(302)의 일부가 눈꺼풀 등에 의하여 차폐된다고 한다면, 그 부분은 각막(302)의 상부 영역과 하부 영역 중 적어도 한쪽이라고 생각된다.
도 5는, 원주부의 부분 영역을 설명하는 모식도이며, 유저(300)의 눈을 유저(300)의 정면에서 본 경우를 나타내는 도이다. 일반적으로, 인간의 각막은 원 형상을 하고 있으며, 가장자리부는 원주이다. 도 5에 나타내는 바와 같이 원주를 4등분하여, 눈꼬리측의 영역을 제1 영역(304a), 눈구석측의 영역을 제2 영역(304b), 두정측의 영역을 제3 영역(304c), 턱측의 영역을 제4 영역(304d)으로 한다. 이 경우, 유저(300)의 눈이 작아 각막(302)의 일부가 눈꺼풀 등에 의하여 차폐되어 외부에서 보이지 않는 영역은, 제3 영역(304c) 및 제4 영역(304d)이라고 할 수 있다. 제1 영역(304a) 및 제2 영역(304b)은, 눈꺼풀 등에 의하여 차폐되기 어려운 영역이라고 할 수 있다.
도 6(a)-(b)는, 실시형태의 비교예에 관한 적외광원(103)의 배치 위치와, 유저(300)의 각막(302)에서 반사되는 적외광의 휘점의 관계를 설명하는 모식도이다. 보다 구체적으로, 도 6(a)는 실시형태의 비교예에 관한 적외광원(103)의 배치 위치를 나타내는 모식도이고, 도 6(b)는, 도 6(a)에 나타내는 적외광원(103)으로부터 조사되어 유저(300)의 각막(302)에서 반사되는 적외광의 휘점을 나타내는 모식도이다.
상술한 바와 같이, 볼록 렌즈(114)는, 유저(300)가 헤드 마운트 디스플레이(100)를 장착했을 때에, 유저(300)의 각막(302)과 대향하는 위치에 배치된다. 따라서, 이하 본 명세서에 있어서, 볼록 렌즈(114)의 주위 중 유저(300)의 각막(302)의 주위에 있어서의 제1 영역(304a), 제2 영역(304b), 제3 영역(304c), 및 제4 영역(304d)과 대응하는 위치도, 각각 동일하게 제1 영역(304a), 제2 영역(304b), 제3 영역(304c), 및 제4 영역(304d)이라고 기재한다.
도 6(a)에 나타내는 예에서는, 볼록 렌즈(114)의 주위에 제1 적외광원(103a), 제2 적외광원(103b), 제3 적외광원(103c), 및 제4 적외광원(103d)의 4개의 적외광원(103)이 배치되어 있다. 여기에서 제1 적외광원(103a), 제2 적외광원(103b), 제3 적외광원(103c), 및 제4 적외광원(103d)은, 각각 볼록 렌즈(114)의 주위에 있어서의 제1 영역(304a), 제2 영역(304b), 제3 영역(304c), 및 제4 영역(304d)에 배치되어 있다.
도 6(b)에 나타내는 바와 같이, 제1 영역(304a) 및 제2 영역(304b)에 각각 배치되어 있는 제1 적외광원(103a) 및 제2 적외광원(103b)으로부터 조사되는 적외광은 유저(300)의 각막(302)에 도달하고 있다. 그러나, 제3 영역(304c) 및 제4 영역(304d)에 각각 배치되어 있는 제3 적외광원(103c) 및 제4 적외광원(103d)으로부터 조사되는 적외광은, 유저(300)의 눈꺼풀에 차폐되어 각막(302)에는 도달하고 있지 않다.
일반적으로, 유저(300)의 각막(302)에 도달한 적외광은 각막(302)에서 경면(鏡面) 반사되기 때문에 강한 휘점이 된다. 한편, 유저(300)의 피부에 도달한 적외광은 피부에서 난반사되기 때문에, 각막(302)에 있어서의 반사와 비교하면 약한 반사가 된다. 후술하는 바와 같이, 적외광원(103)으로부터 조사된 적외광에 유래하는 휘점은, 유저(300)의 시선 방향을 검출하기 위한 기준으로서 이용된다. 이로 인하여, 적외광은 유저(300)의 각막(302)에 있어서 강하게 반사되는 편이 바람직하다.
따라서 실시형태에 관한 헤드 마운트 디스플레이(100)에 있어서는, 적외광원(103)은 볼록 렌즈(114)에 있어서의 제1 영역(304a) 및 제2 영역(304b)에 배치된다.
도 7(a)-(b)는, 실시형태에 관한 적외광원(103)의 배치 위치와, 유저(300)의 각막(302)에서 반사되는 적외광의 휘점의 관계를 설명하는 모식도이다. 보다 구체적으로, 도 7(a)는 실시형태에 관한 적외광원(103)의 배치 위치를 나타내는 모식도이고, 도 7(b)는, 도 7(a)에 나타내는 적외광원(103)으로부터 조사되어 유저(300)의 각막(302)에서 반사되는 적외광의 휘점을 나타내는 모식도이며, 상술한 카메라(116)가 촬상하는 화상의 일례를 나타내는 도이다.
도 7(a)에 나타내는 바와 같이, 실시형태에 관한 적외광원(103)은, 볼록 렌즈(114)의 주위에 있어서의 제1 영역 또는 제2 영역 중 어느 하나에 배치된다. 바꿔 말하면, 실시형태에 관한 적외광원(103)은, 볼록 렌즈(114)의 측면측(가로측 내지 수평 방향의 가장자리측)에 배치되어 있다. 일반적으로 유저(300)의 눈은 가로로 긴 타원 형상이기 때문에, 유저(300)의 각막(302)에 있어서의 제1 영역(304a) 및 제2 영역(304b)은, 눈꺼풀 등에 의하여 차폐되기 어려운 영역이다. 따라서, 볼록 렌즈(114)의 측면측에 적외광원(103)을 배치함으로써, 도 7(b)에 나타내는 바와 같이, 유저(300)의 각막(302)에 적외광에 유래하는 휘점을 발생시킬 수 있다. 시선 방향의 검출 기준이 되는 휘점을 유저(300)의 각막(302) 상에 보다 많이 발생시킬 수 있기 때문에, 시선 방향 검출의 로버스트성을 향상시킬 수 있다.
다음으로, 실시형태에 관한 시선 방향의 검출에 대하여 설명한다.
도 8은, 실시형태에 관한 시선 방향의 검출을 위한 캘리브레이션을 설명하는 모식도이다. 유저(300)의 시선 방향은, 카메라(116)가 촬상하여 출력부(118)가 영상 재생 장치(200)에 출력한 영상을, 영상 재생 장치(200) 내의 도시하지 않은 시선 방향 검출부가 해석함으로써 실현된다.
영상 재생 장치(200)는, 도 8에 나타내는 바와 같은 점(Q1~Q9)까지의 9개의 점을 생성하여, 헤드 마운트 디스플레이(100)의 화상 표시 소자(108)에 표시시킨다. 영상 재생 장치(200)는, 점(Q1)~점(Q9)에 이르기까지 차례로 유저(300)에게 주시시킨다. 이 때, 유저(300)는 목을 움직이지 않고 가능한 한 안구의 움직임만으로 각 점을 주시하도록 요구된다. 카메라(116)는, 유저(300)가 점(Q1~Q9)까지의 9개의 점을 주시하고 있을 때의 유저(300)의 각막(302)을 포함하는 화상을 촬상한다.
도 9는, 유저(300)의 각막(302)의 위치 좌표를 설명하는 모식도이다. 영상 재생 장치(200) 내의 시선 방향 검출부는, 카메라(116)가 촬상한 화상을 해석하여 적외광에 유래하는 휘점(105)을 검출한다. 유저(300)가 안구의 움직임만으로 각 점을 주시하고 있을 때는, 유저가 어느 한점을 주시하고 있는 경우이더라도, 휘점(105)의 위치는 움직이지 않는다고 생각된다. 따라서 시선 방향 검출부는, 검출한 휘점(105)을 근거로, 카메라(116)가 촬상한 화상 중에 2차원 좌표계(306)를 설정한다.
시선 방향 검출부는 또, 카메라(116)가 촬상한 화상을 해석함으로써, 유저(300)의 각막(302)의 중심(P)을 검출한다. 이는 예를 들면 허프 변환이나 에지 추출 처리 등, 이미 알려진 화상 처리를 이용함으로써 실현할 수 있다. 이로써, 시선 방향 검출부는, 설정한 2차원 좌표계(306)에 있어서의 유저(300)의 각막(302)의 중심(P)의 좌표를 취득할 수 있다.
도 8에 있어서, 화상 표시 소자(108)가 표시하는 표시 화면에 설정된 2차원 좌표계에 있어서의 점(Q1)~점(Q9)의 좌표를 각각 Q1(x1, y1)T, Q2(x2, y2)T…, Q9(x9, x9)T로 한다. 각 좌표는, 예를 들면 각 점의 중심에 위치하는 화소의 번호가 된다. 또, 유저(300)가 점(Q1)~점(Q9)를 주시하고 있을 때의, 유저(300)의 각막(302)의 중심(P)을, 각각 점(P1~P9)로 한다. 이 때, 2차원 좌표계(306)에 있어서의 점(P1~P9)의 좌표를 각각 P1(X1, Y1)T, P2(X2, Y2)T, …, P9(Z9, Y9)T로 한다. 또한, T는 벡터 또는 행렬의 전치를 나타낸다.
여기에서, 2×2의 크기의 행렬 M을 이하의 식 (1)과 같이 정의한다.
[수학식 1]
Figure pct00001
이때, 행렬 M이 이하의 식 (2)를 만족시키면, 행렬 M은 유저(300)의 시선 방향을 화상 표시 소자(108)가 표시하는 화상면에 투영하는 행렬이 된다.
PN=MQN (N=1, …, 9) (2)
상기 식 (2)를 구체적으로 새로 쓰면 이하의 식 (3)과 같이 된다.
[수학식 2]
Figure pct00002
식 (3)을 변형하면 이하의 식 (4)를 얻는다.
[수학식 3]
Figure pct00003
여기에서,
[수학식 4]
Figure pct00004
와 같이 하면, 이하의 식 (5)를 얻는다.
y=Ax (5)
식 (5)에 있어서, 벡터 y의 요소는 시선 방향 검출부가 화상 표시 소자(108)에 표시시키는 점(Q1~Q9)의 좌표이기 때문에 기지(旣知)이다. 또, 행렬 A의 요소는 유저(300)의 각막(302)의 정점(P)의 좌표이기 때문에 취득할 수 있다. 따라서, 시선 방향 검출부는, 벡터 y 및 행렬 A를 취득할 수 있다. 또한, 변환 행렬 M의 요소를 나열한 벡터인 벡터 x는 미지(未知)이다. 따라서, 행렬 M을 추정하는 문제는, 벡터 y와 행렬 A가 기지일 때, 미지의 벡터 x를 구하는 문제가 된다.
식 (5)는, 미지수인 수(즉 벡터 x의 요소수 4)보다 식의 수(즉, 시선 방향 검출부(230)가 캘리브레이션 시에 유저(300)에게 제시한 점 Q의 수)가 많으면, 과결정 문제가 된다. 식 (5)에 나타내는 예에서는, 식의 수는 9개이기 때문에, 과결정 문제이다.
벡터 y와 벡터 Ax의 오차 벡터를 벡터 e로 한다. 즉, e=y-Ax이다. 이 때, 벡터 e의 요소의 제곱합을 최소로 한다는 의미에서 최적인 벡터 xopt는, 이하의 식 (6)으로 구해진다.
xopt= (ATA)- 1ATy (7)
여기에서 "-1"은 역행렬을 나타낸다.
시선 방향 검출부는, 구한 벡터 xopt의 요소를 이용함으로써, 식 (1)의 행렬 M을 구성한다. 이로써, 시선 방향 검출부는, 유저(300)의 각막(302)의 정점(P)의 좌표와 행렬 M을 이용함으로써, 식 (2)에 따라, 유저(300)가 화상 표시 소자(108)가 표시하는 동화상(動畵像)면 상의 어느 곳을 주시하고 있는지를 추정할 수 있다.
이상 설명한 바와 같이, 실시형태에 관한 헤드 마운트 디스플레이(100)에 의하면, 헤드 마운트 디스플레이를 장착한 유저의 시선 방향을 검출하는 기술을 제공할 수 있다.
특히, 실시형태에 관한 헤드 마운트 디스플레이(100)는, 적외광원(103)이 조사하는 적외광이 유저(300)의 각막(302)에 확실하게 도달하도록 배치되어 있다. 이로 인하여, 유저(300)의 각막(302)의 위치 좌표를 정하는 기준점을, 각막(302) 조에 확실하게 출현시킬 수 있다. 결과로서, 유저(300)의 시선 방향 검출의 로버스트성을 향상시킬 수 있다.
이상, 본 발명을 실시형태에 근거하여 설명했다. 실시형태는 예시이며, 이들의 각 구성 요소나 각 처리 프로세스의 조합에 다양한 변형예가 가능한 것, 또 그러한 변형예도 본 발명의 범위에 있는 것은 당업자에게 이해되는 바이다.
상기에서는, 적외광원(103)이, 볼록 렌즈(114)의 주위의 제1 영역(304a) 및 제2 영역(304b)에, 각각 3개씩 배치되는 경우에 대하여 설명했다. 그러나, 적외광원(103)은, 볼록 렌즈(114)의 주위의 제1 영역(304a) 또는 제2 영역(304b) 중 어느 하나에 배치되어 있으면 되고, 또 그 수는 3개에 한정되지 않는다. 이하, 적외광원(103)의 배치 변형예에 대하여 설명한다.
도 10(a)-(f)는, 실시형태의 변형예에 관한 헤드 마운트 디스플레이(100)에 있어서의 적외광원(103)의 배치 위치를 모식적으로 나타내는 도이다.
도 10(a)는 제1 변형예에 관한 적외광원(103)의 배치를 나타내고, 도 10(b)는 도 10(a)에 나타내는 배치에 있어서의 휘점(105)의 위치를 나타내는 도이다. 도 10(a)에 나타내는 바와 같이, 제1 변형예에 관한 적외광원(103)은, 볼록 렌즈(114)의 주위의 제1 영역(304a) 및 제2 영역(304b)의 각각의 중심 위치에 1개씩 배치되어 있다. 이 결과, 도 10(b)에 나타내는 바와 같이, 유저(300)의 각막(302)에 있어서의 제1 영역(304a) 및 제2 영역(304b)에, 각각 휘점(105)이 1개씩 출현하게 된다.
도 10(c)는 제2 변형예에 관한 적외광원(103)의 배치를 나타내고, 도 10(d)는 도 10(c)에 나타내는 배치에 있어서의 휘점(105)의 위치를 나타내는 도이다. 도 10(c)에 나타내는 바와 같이, 제2 변형예에 관한 적외광원(103)은, 볼록 렌즈(114)의 주위의 제1 영역(304a) 및 제2 영역(304b)의 각각의 중심 위치와 그 하방에 1개씩 배치되어 있다. 이 결과, 도 10(d)에 나타내는 바와 같이, 유저(300)의 각막(302)에 있어서의 제1 영역(304a) 및 제2 영역(304b)에, 각각 휘점(105)이 2개씩 출현하게 된다.
도 10(e)는 제3 변형예에 관한 적외광원(103)의 배치를 나타내고, 도 10(f)는 도 10(e)에 나타내는 배치에 있어서의 휘점(105)의 위치를 나타내는 도이다. 도 10(e)에 나타내는 바와 같이, 제3 변형예에 관한 적외광원(103)은, 볼록 렌즈(114)의 주위의 제1 영역(304a) 및 제2 영역(304b)의 각각의 중심 위치를 사이에 두고 그 상방과 하방에 1개씩 배치되어 있다. 이 결과, 도 10(f)에 나타내는 바와 같이, 유저(300)의 각막(302)에 있어서의 제1 영역(304a) 및 제2 영역(304b)에도, 각각 휘점(105)이 2개씩 출현하게 된다.
도 10(a)-(f)에 나타내는 예에 있어서, 적외광원(103)은 모두, 볼록 렌즈(114)의 주위에 있어서의 제1 영역(304a) 또는 제2 영역(304b) 중 어느 하나에 배치된다. 이로써, 유저(300)의 눈꺼풀 등에 차단되지 않고, 적외광원(103)으로부터 조사된 적외광에 유래하는 휘점을 유저(300)의 각막(302) 상에 출현시킬 수 있다.
1 영상 시스템
100 헤드 마운트 디스플레이
103 적외광원
105 휘점
108 화상 표시 소자
112 핫 미러
114 볼록 렌즈
116 카메라
118 출력부
130 화상 표시계
150 케이스
152 렌즈 지지부
160 장착구
170 헤드폰
200 영상 재생 장치
230 시선 방향 검출부
산업상 이용가능성
이 발명은, 헤드 마운트 디스플레이에 이용 가능하다.

Claims (3)

  1. 유저의 두부에 장착하여 사용되는 헤드 마운트 디스플레이로서,
    상기 헤드 마운트 디스플레이가 장착되었을 때에 상기 유저의 각막에 대향하는 위치에 배치되는 볼록 렌즈와,
    상기 볼록 렌즈의 주위에 배치되어, 상기 유저의 각막을 향하여 적외광을 조사하는 복수의 적외광원과,
    상기 유저의 각막을 피사체에 포함하는 영상을 촬상하는 카메라와,
    상기 볼록 렌즈, 상기 적외광원, 및 상기 카메라를 수용하는 케이스를 구비하고,
    상기 복수의 적외광원은, 상기 볼록 렌즈의 주위를 상기 유저의 눈꼬리측의 영역인 제1 영역, 눈구석측의 영역인 제2 영역, 두정측의 영역인 제3 영역, 턱측의 영역인 제4 영역의 4개의 영역으로 등분했을 때, 각각 상기 제1 영역 또는 상기 제2 영역 중 어느 하나에 배치되는 헤드 마운트 디스플레이.
  2. 청구항 1에 있어서,
    상기 볼록 렌즈를 지지하는 렌즈 지지부를 더 구비하고,
    상기 복수의 적외광원은, 상기 렌즈 지지부에 구비되어 있는 헤드 마운트 디스플레이.
  3. 청구항 1 또는 청구항 2에 있어서,
    상기 카메라가 촬상한 화상을, 상기 유저의 시선 방향을 검출하는 시선 방향 검출부에 출력하는 출력부를 더 구비하고,
    상기 케이스는, 상기 출력부도 수용하는 헤드 마운트 디스플레이.
KR1020167036204A 2015-04-01 2015-04-01 헤드 마운트 디스플레이 KR101883090B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/060397 WO2016157485A1 (ja) 2015-04-01 2015-04-01 ヘッドマウントディスプレイ

Publications (2)

Publication Number Publication Date
KR20170039621A true KR20170039621A (ko) 2017-04-11
KR101883090B1 KR101883090B1 (ko) 2018-07-27

Family

ID=57004128

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167036204A KR101883090B1 (ko) 2015-04-01 2015-04-01 헤드 마운트 디스플레이

Country Status (5)

Country Link
US (1) US10460165B2 (ko)
JP (1) JP6112583B2 (ko)
KR (1) KR101883090B1 (ko)
CN (1) CN106796354A (ko)
WO (1) WO2016157485A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230017601A (ko) 2021-07-28 2023-02-06 국방과학연구소 저전력 관심영역 탐지방법 및 이를 수행하는 탐지장치

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102078059B1 (ko) * 2015-11-25 2020-02-17 구글 엘엘씨 프리즘-기반 눈 추적
US10545347B2 (en) * 2017-02-23 2020-01-28 Google Llc Compact eye tracking using folded display optics
CN106932904A (zh) 2017-02-27 2017-07-07 阿里巴巴集团控股有限公司 虚拟现实头戴设备
CN106908951A (zh) * 2017-02-27 2017-06-30 阿里巴巴集团控股有限公司 虚拟现实头戴设备
CN106873158A (zh) * 2017-02-27 2017-06-20 阿里巴巴集团控股有限公司 虚拟现实头戴设备
US10522110B1 (en) * 2017-08-30 2019-12-31 Facebook Technologies, Llc Apparatuses, systems, and methods for measuring and adjusting the luminance of a head-mounted display
TWI646356B (zh) 2018-01-05 2019-01-01 宏碁股份有限公司 頭戴式顯示器
CN108398788B (zh) * 2018-03-23 2024-04-16 京东方科技集团股份有限公司 眼睛跟踪装置及虚拟现实成像设备
US11119321B2 (en) * 2018-09-10 2021-09-14 Apple Inc. Electronic device with a display attached to a lens element
US11906740B2 (en) 2018-09-20 2024-02-20 Sony Interactive Entertainment Inc. Display system, program, display method, and head mounted device
US11822081B2 (en) * 2019-08-29 2023-11-21 Apple Inc. Optical module for head-mounted device
US11885965B1 (en) 2019-09-23 2024-01-30 Apple Inc. Head-mounted display and display modules thereof
US11442243B2 (en) 2019-11-07 2022-09-13 Htc Corporation Head mounted display device
WO2023067424A1 (ja) * 2021-10-19 2023-04-27 株式会社半導体エネルギー研究所 光学装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02264632A (ja) 1989-04-05 1990-10-29 Canon Inc 視線検出装置
JP3298640B2 (ja) * 1991-06-05 2002-07-02 ハンフリー インストルメンツ，インコーポレイテッド 視野分析器用凝視トラッキング
JP2008241822A (ja) * 2007-03-26 2008-10-09 Mitsubishi Electric Corp 画像表示装置
JP2013187794A (ja) * 2012-03-09 2013-09-19 Seiko Epson Corp 虚像表示装置
JP2015012280A (ja) * 2013-07-02 2015-01-19 キヤノン株式会社 インプリント装置、インプリント方法および物品の製造方法
WO2015012280A1 (ja) * 2013-07-24 2015-01-29 コニカミノルタ株式会社 視線検出装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09179062A (ja) * 1995-12-25 1997-07-11 Canon Inc コンピュータシステム
US6204974B1 (en) * 1996-10-08 2001-03-20 The Microoptical Corporation Compact image display system for eyeglasses or other head-borne frames
EP0903661B1 (en) * 1997-08-27 2003-01-08 Canon Kabushiki Kaisha Apparatus and method to input data based on visual-axis detection
JPH1173274A (ja) 1997-08-27 1999-03-16 Canon Inc 視線入力意思伝達装置、方法および記憶媒体
EP1194806A4 (en) * 1999-06-21 2008-07-23 Microoptical Corp LENS SYSTEM FOR GOGGLES WITH EXCEPTIONAL OPTICAL DESIGN
JP2004233425A (ja) * 2003-01-28 2004-08-19 Mitsubishi Electric Corp 画像表示装置
JP2006095008A (ja) * 2004-09-29 2006-04-13 Gen Tec:Kk 視線検出方法
JP5290092B2 (ja) * 2009-08-31 2013-09-18 オリンパス株式会社 眼鏡型画像表示装置
WO2012139161A1 (en) * 2011-04-11 2012-10-18 Bob And Ahmed Enterprises Pty Ltd. An adjustable food covering support device
US9684374B2 (en) * 2012-01-06 2017-06-20 Google Inc. Eye reflection image analysis
WO2013117999A1 (en) * 2012-02-06 2013-08-15 Sony Ericsson Mobile Communications Ab Gaze tracking with projector
CN103777351A (zh) * 2012-10-26 2014-05-07 鸿富锦精密工业（深圳）有限公司 多媒体眼镜
US20140160157A1 (en) * 2012-12-11 2014-06-12 Adam G. Poulos People-triggered holographic reminders
US10228561B2 (en) * 2013-06-25 2019-03-12 Microsoft Technology Licensing, Llc Eye-tracking system using a freeform prism and gaze-detection light
JP6175945B2 (ja) * 2013-07-05 2017-08-09 ソニー株式会社 視線検出装置及び視線検出方法
US9613506B2 (en) * 2014-05-30 2017-04-04 Apple Inc. Synchronization of independent output streams
WO2016157486A1 (ja) * 2015-04-01 2016-10-06 フォーブ インコーポレーテッド ヘッドマウントディスプレイ

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02264632A (ja) 1989-04-05 1990-10-29 Canon Inc 視線検出装置
JP3298640B2 (ja) * 1991-06-05 2002-07-02 ハンフリー インストルメンツ，インコーポレイテッド 視野分析器用凝視トラッキング
JP2008241822A (ja) * 2007-03-26 2008-10-09 Mitsubishi Electric Corp 画像表示装置
JP2013187794A (ja) * 2012-03-09 2013-09-19 Seiko Epson Corp 虚像表示装置
JP2015012280A (ja) * 2013-07-02 2015-01-19 キヤノン株式会社 インプリント装置、インプリント方法および物品の製造方法
WO2015012280A1 (ja) * 2013-07-24 2015-01-29 コニカミノルタ株式会社 視線検出装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230017601A (ko) 2021-07-28 2023-02-06 국방과학연구소 저전력 관심영역 탐지방법 및 이를 수행하는 탐지장치

Also Published As

Publication number Publication date
WO2016157485A1 (ja) 2016-10-06
US10460165B2 (en) 2019-10-29
JP6112583B2 (ja) 2017-04-12
US20170262703A1 (en) 2017-09-14
CN106796354A (zh) 2017-05-31
JPWO2016157485A1 (ja) 2017-04-27
KR101883090B1 (ko) 2018-07-27

Similar Documents

Publication Publication Date Title
KR101883090B1 (ko) 헤드 마운트 디스플레이
KR101862499B1 (ko) 시선 검출 시스템, 주시점 특정 방법 및 주시점 특정 프로그램
WO2016157486A1 (ja) ヘッドマウントディスプレイ
CN111602082B (zh) 用于包括传感器集成电路的头戴式显示器的位置跟踪系统
US8736692B1 (en) Using involuntary orbital movements to stabilize a video
KR20180002534A (ko) 외부 촬상 시스템, 외부 촬상 방법, 외부 촬상 프로그램
KR20170141140A (ko) 헤드 마운트 디스플레이, 시선 검출 시스템
KR20180023983A (ko) 헤드 마운트 디스플레이
TW201802642A (zh) 視線檢測系統
JP7435596B2 (ja) ヘッドマウントディスプレイシステム、ステレオ画像を撮像するように動作可能であるステレオ深度カメラ、および、ステレオ画像を撮像するように動作可能であるステレオ深度カメラを提供する方法
KR20180012713A (ko) 시선 검출 시스템, 변위 검출 방법, 변위 검출 프로그램
US20170371408A1 (en) Video display device system, heartbeat specifying method, heartbeat specifying program
KR20180076342A (ko) 추정 시스템, 추정 방법 및 추정 프로그램
KR20190038296A (ko) 화상 표시 시스템, 화상 표시 방법 및 화상 표시 프로그램
US20200166752A1 (en) Display for use in display apparatus
US20230324988A1 (en) Display calibration
KR20180013790A (ko) 정보 처리 시스템, 조작 방법 및 조작 프로그램
Li et al. openEyes: an open-hardware open-source system for low-cost eye tracking
JP2017045068A (ja) ヘッドマウントディスプレイ

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant