KR101862499B1 - 시선 검출 시스템, 주시점 특정 방법 및 주시점 특정 프로그램 - Google Patents

시선 검출 시스템, 주시점 특정 방법 및 주시점 특정 프로그램 Download PDF

Info

Publication number
KR101862499B1
KR101862499B1 KR1020167035067A KR20167035067A KR101862499B1 KR 101862499 B1 KR101862499 B1 KR 101862499B1 KR 1020167035067 A KR1020167035067 A KR 1020167035067A KR 20167035067 A KR20167035067 A KR 20167035067A KR 101862499 B1 KR101862499 B1 KR 101862499B1
Authority
KR
South Korea
Prior art keywords
line
user
eye
sight
right eye
Prior art date
Application number
KR1020167035067A
Other languages
English (en)
Other versions
KR20170082457A (ko
Inventor
로흐란 윌슨
케이치 세코
유카 코지마
야마토 가네코
Original Assignee
포브, 아이엔씨.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포브, 아이엔씨. filed Critical 포브, 아이엔씨.
Publication of KR20170082457A publication Critical patent/KR20170082457A/ko
Application granted granted Critical
Publication of KR101862499B1 publication Critical patent/KR101862499B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A61B3/145—Arrangements specially adapted for eye photography by video means
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0012—Optical design, e.g. procedures, algorithms, optimisation routines
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

유저의 두부에 장착하여 사용되는 헤드 마운트 디스플레이에 있어서, 볼록 렌즈는, 헤드 마운트 디스플레이가 장착되었을 때에 유저의 각막에 대향하는 위치에 배치된다. 복수의 적외광원은, 볼록 렌즈의 주위에 배치되어, 유저의 각막을 향하여 적외광을 조사한다. 카메라는, 유저의 각막을 피사체에 포함하는 영상을 촬상한다. 케이스는, 볼록 렌즈, 적외광원, 및 카메라를 수용한다. 여기에서, 복수의 적외광원은, 볼록 렌즈의 주위를 유저의 눈꼬리측의 영역인 제1 영역, 눈구석측의 영역인 제2 영역, 두정(頭頂)측의 영역인 제3 영역, 턱측의 영역인 제4 영역의 4개의 영역으로 등분했을 때, 각각 제1 영역 또는 제2 영역 중 어느 하나에 배치된다.

Description

시선 검출 시스템, 주시점 특정 방법 및 주시점 특정 프로그램{VIEWPOINT DETECTING SYSTEM, POINT OF GAZE DETERMINING METHOD AND POINT OF GAZE DETERMINING PROGRAM}
이 발명은, 헤드 마운트 디스플레이에 관한 것이다.
근적외광 등의 비가시광을 유저의 눈에 조사하여, 그 반사광을 포함하는 유저의 눈의 화상을 해석함으로써 유저의 시선 방향을 검출하는 기술이 알려져 있다. 검출한 유저의 시선 방향의 정보는, 예를 들면 PC(Personal Computer)나 게임기 등의 모니터에 반영시켜, 포인팅 디바이스로서 이용하는 것도 현실화가 되어 가고 있다.
특허문헌 1: 일본 공개특허공보 평2-264632호
헤드 마운트 디스플레이에는, 장착한 유저에게 3차원적인 영상을 제시하는 기능을 갖는 것이 있다. 헤드 마운트 디스플레이는, 일반적으로, 유저의 시야를 덮도록 장착하여 사용된다. 이로 인하여, 헤드 마운트 디스플레이를 장착한 유저는 외계(外界)의 모습을 시인할 수 없게 된다. 이로 인하여, 헤드 마운트 디스플레이를 영화나 게임 등의 영상의 표시 장치로서 이용하면, 유저는 컨트롤러 등의 입력 장치의 시인이 곤란해진다는 문제가 있다.
이로 인하여, 헤드 마운트 디스플레이를 장착한 유저의 시선 방향을 검출하여 포인팅 디바이스의 대체로서 이용할 수 있다면 편리할 것이다.
본 발명은 이와 같은 과제를 감안하여 이루어진 것이며, 그 목적은, 헤드 마운트 디스플레이를 장착한 유저의 시선 방향을 검출하는 기술을 제공하는 것에 있다.
상기 과제를 해결하기 위하여, 본 발명의 일 양태는, 유저의 두부에 장착하여 사용되는 헤드 마운트 디스플레이와, 유저의 시선을 검출하는 시선 검출 장치를 포함하는 시선 검출 시스템으로서, 헤드 마운트 디스플레이는, 유저의 오른쪽눈에 적외광을 조사하는 제1 적외광 조사부와, 유저의 왼쪽눈에 적외광을 조사하는 제2 적외광 조사부와, 적외광이 조사되고 있는 오른쪽눈을 촬상하는 제1 촬상 소자와, 적외광이 조사되고 있는 왼쪽눈을 촬상하는 제2 촬상 소자와, 3차원 화상을 표시하는 표시부를 구비하고, 시선 검출 장치는, 제1 촬상 소자에 의하여 촬상된 화상에 근거하여 오른쪽눈의 시선 방향을 검출하는 제1 검출부와, 제2 촬상 소자에 의하여 촬상된 화상에 근거하여 왼쪽눈의 시선 방향을 검출하는 제2 검출부와, 오른쪽눈의 시선 방향과 왼쪽눈의 시선 방향에 근거하여, 3차원 화상에 있어서 유저가 주시하고 있는 개소를 특정하는 특정부를 구비한다.
또, 제1 검출부는, 오른쪽눈의 시선 방향으로서, 당해 시선 방향을 나타내는 오른쪽눈 시선 벡터를 산출하고, 제2 검출부는, 왼쪽눈의 시선 방향으로서, 당해 시선 방향을 나타내는 왼쪽눈 시선 벡터를 산출하는 것으로 해도 된다.
또, 표시부는 깊이 방향에서 복수의 레이어로 이루어지는 3차원 화상을 표시하고, 특정부는 오른쪽눈 시선 벡터와 왼쪽눈 시선 벡터가 각 레이어와 교차하는 교점 간의 거리가 가장 짧은 레이어를 유저가 주시하고 있는 개소의 레이어로서 특정하는 것으로 해도 된다.
또, 특정부는 오른쪽눈 시선 벡터와 왼쪽눈 시선 벡터의 교점에 근거하여, 유저가 주시하고 있는 개소를 특정하는 것으로 해도 된다.
또, 특정부는, 오른쪽눈 시선 벡터를 중심으로 하는 소정 반경의 원기둥과, 왼쪽눈 시선 벡터를 중심으로 하는 소정 반경의 원기둥이 교차하는 영역에 근거하여, 유저가 주시하고 있는 개소를 특정하는 것으로 해도 된다.
또, 특정부는, 오른쪽눈 시선 벡터에 평행한 복수의 제1 평행 시선 벡터와, 왼쪽눈 시선 벡터에 평행한 복수의 제2 평행 시선 벡터의 교점에 근거하여, 유저가 주시하고 있는 개소를 특정하는 것으로 해도 된다.
또한, 이상의 구성 요소의 임의의 조합, 본 발명의 표현을 방법, 장치, 시스템, 컴퓨터 프로그램, 데이터 구조, 기록 매체 등의 사이에서 변환시킨 것 또한, 본 발명의 양태로서 유효하다.
본 발명에 의하면, 헤드 마운트 디스플레이를 장착한 유저의 시선 방향을 검출하는 기술을 제공할 수 있다.
도 1은 실시형태에 관한 헤드 마운트 디스플레이를 유저가 장착한 모습을 나타내는 외관도이다.
도 2는 실시형태에 관한 헤드 마운트 디스플레이의 화상 표시계(系)의 개관을 모식적으로 나타내는 사시도이다.
도 3은 실시형태에 관한 헤드 마운트 디스플레이의 화상 표시계의 광학 구성을 모식적으로 나타내는 도이다.
도 4는 실시형태에 관한 헤드 마운트 디스플레이 시스템의 구성을 나타내는 블록도이다.
도 5는 실시형태에 관한 시선 방향의 검출을 위한 캘리브레이션을 설명하는 모식도이다.
도 6은 유저의 각막의 위치 좌표를 설명하는 모식도이다.
도 7은 실시형태 1에 관한 유저가 주시하고 있는 개소의 특정 방법을 설명하는 이미지도이다.
도 8은 실시형태 1에 관한 헤드 마운트 디스플레이 시스템의 동작을 나타내는 플로 차트이다.
도 9는 실시형태 2에 관한 유저가 주시하고 있는 개소의 특정 방법을 설명하는 이미지도이다.
도 10은 실시형태 2에 관한 헤드 마운트 디스플레이 시스템의 동작을 나타내는 플로 차트이다.
도 11은 실시형태 3에 관한 유저가 주시하고 있는 개소의 특정 방법을 설명하는 이미지도이다.
도 12는 실시형태 3에 관한 헤드 마운트 디스플레이 시스템의 동작을 나타내는 플로 차트이다.
도 1은, 실시형태에 관한 시선 검출 시스템(1)의 개관을 모식적으로 나타내는 도이다. 실시형태에 관한 시선 검출 시스템(1)은, 헤드 마운트 디스플레이(100)와 시선 검출 장치(200)를 포함한다. 도 1에 나타내는 바와 같이, 헤드 마운트 디스플레이(100)는, 유저(300)의 두부에 장착하여 사용된다.
시선 검출 장치(200)는, 헤드 마운트 디스플레이(100)를 장착한 유저의 오른쪽눈 및 왼쪽눈의 시선 방향을 검출하여, 유저의 초점, 즉, 유저가 헤드 마운트 디스플레이에 표시되어 있는 3차원 화상에 있어서 주시하고 있는 개소를 특정한다. 또, 시선 검출 장치(200)는, 헤드 마운트 디스플레이(100)가 표시하는 영상을 생성하는 영상 생성 장치로서도 기능한다. 한정은 하지 않지만, 일례로서, 시선 검출 장치(200)는, 거치형 게임기, 휴대용 게임기, PC, 태블릿, 스마트폰, 패블릿, 비디오 플레이어, 텔레비전 등의 영상을 재생 가능한 장치이다. 시선 검출 장치(200)는, 헤드 마운트 디스플레이(100)와 무선 또는 유선으로 접속한다. 도 1에 나타내는 예에서는, 시선 검출 장치(200)는 헤드 마운트 디스플레이(100)와 무선으로 접속하고 있다. 시선 검출 장치(200)와 헤드 마운트 디스플레이(100)의 무선 접속은, 예를 들면 이미 알려진 Wi-Fi(등록 상표)나 Bluetooth(등록 상표) 등의 무선 통신 기술을 이용하여 실현할 수 있다. 한정은 하지 않지만, 일례로서, 헤드 마운트 디스플레이(100)와 시선 검출 장치(200)의 사이에 있어서의 영상의 전송은, Miracast(상표)나 WiGig(상표), WHDI(상표) 등의 규격에 준하여 실행된다.
또한, 도 1은, 헤드 마운트 디스플레이(100)와 시선 검출 장치(200)가 상이한 장치인 경우의 예를 나타내고 있다. 그러나, 시선 검출 장치(200)는 헤드 마운트 디스플레이(100)에 내장되어도 된다.
헤드 마운트 디스플레이(100)는, 케이스(150), 장착구(160), 및 헤드폰(170)을 구비한다. 케이스(150)는, 화상 표시 소자 등 유저(300)에게 영상을 제시하기 위한 화상 표시계나, 도시하지 않은 Wi-Fi 모듈이나 Bluetooth(등록 상표) 모듈 등의 무선 전송 모듈을 수용한다. 장착구(160)는, 헤드 마운트 디스플레이(100)를 유저(300)의 두부에 장착시킨다. 장착구(160)는 예를 들면, 벨트나 신축성의 띠 등으로 실현할 수 있다. 유저(300)가 장착구(160)를 이용하여 헤드 마운트 디스플레이(100)를 장착하면, 케이스(150)는 유저(300)의 눈을 덮는 위치에 배치된다. 이로 인하여, 유저(300)가 헤드 마운트 디스플레이(100)를 장착하면, 유저(300)의 시야는 케이스(150)에 의하여 차단된다.
헤드폰(170)은, 시선 검출 장치(200)가 재생하는 영상의 음성을 출력한다. 헤드폰(170)은 헤드 마운트 디스플레이(100)에 고정되지 않아도 된다. 유저(300)는, 장착구(160)를 이용하여 헤드 마운트 디스플레이(100)를 장착한 상태이더라도, 헤드폰(170)을 자유롭게 탈착할 수 있다.
도 2는, 실시형태에 관한 헤드 마운트 디스플레이(100)의 화상 표시계(130)의 개관을 모식적으로 나타내는 사시도이다. 보다 구체적으로, 도 2는, 실시형태에 관한 케이스(150) 중, 헤드 마운트 디스플레이(100)를 장착했을 때에 유저(300)의 각막(302)에 대향하는 영역을 나타내는 도이다.
도 2에 나타내는 바와 같이, 왼쪽눈용 볼록 렌즈(114a)는, 유저(300)가 헤드 마운트 디스플레이(100)를 장착했을 때에, 유저(300)의 왼쪽눈의 각막(302a)과 대향하는 위치가 되도록 배치된다. 마찬가지로, 오른쪽눈용 볼록 렌즈(114b)는, 유저(300)가 헤드 마운트 디스플레이(100)를 장착했을 때에, 유저(300)의 오른쪽눈의 각막(302b)과 대향하는 위치가 되도록 배치된다. 왼쪽눈용 볼록 렌즈(114a)와 오른쪽눈용 볼록 렌즈(114b)는, 각각 왼쪽눈용 렌즈 지지부(152a)와 오른쪽눈용 렌즈 지지부(152b)에 파지되어 있다.
이하 본 명세서에 있어서, 왼쪽눈용 볼록 렌즈(114a)와 오른쪽눈용 볼록 렌즈(114b)를 특별히 구별하는 경우를 제외하고, 간단히 "볼록 렌즈(114)"라고 기재한다. 마찬가지로, 유저(300)의 왼쪽눈의 각막(302a)과 유저(300)의 오른쪽눈의 각막(302b)을 특별히 구별하는 경우를 제외하고, 간단히 "각막(302)"이라고 기재한다. 왼쪽눈용 렌즈 지지부(152a)와 오른쪽눈용 렌즈 지지부(152b)도, 특별히 구별하는 경우를 제외하고 "렌즈 지지부(152)"라고 기재한다.
렌즈 지지부(152)에는, 복수의 적외광원(103)이 구비되어 있다. 번잡해지는 것을 피하기 위하여, 도 2에 있어서는 유저(300)의 왼쪽눈의 각막(302a)에 대하여 적외광을 조사하는 적외광원을 통틀어 적외광원(103a)으로 나타내고, 유저(300)의 오른쪽눈의 각막(302b)에 대하여 적외광을 조사하는 적외광원을 통틀어 적외광원(103b)으로 나타낸다. 이하, 적외광원(103a)과 적외광원(103b)을 특별히 구별하는 경우를 제외하고 "적외광원(103)"이라고 기재한다. 도 2에 나타내는 예에서는, 왼쪽눈용 렌즈 지지부(152a)에는 6개의 적외광원(103a)이 구비되어 있다. 마찬가지로, 오른쪽눈용 렌즈 지지부(152b)에도 6개의 적외광원(103b)이 구비되어 있다. 이와 같이, 적외광원(103)을 볼록 렌즈(114)에 직접 배치하지 않고, 볼록 렌즈(114)를 파지하는 렌즈 지지부(152)에 배치함으로써, 적외광원(103)의 장착이 용이해진다. 일반적으로 렌즈 지지부(152)는 수지 등으로 구성되기 때문에, 유리 등으로 구성되는 볼록 렌즈(114)보다 적외광원(103)을 장착하기 위한 가공이 용이하기 때문이다.
상술한 바와 같이, 렌즈 지지부(152)는 볼록 렌즈(114)를 파지하는 부재이다. 따라서, 렌즈 지지부(152)에 구비된 적외광원(103)은, 볼록 렌즈(114)의 주위에 배치되게 된다. 또한, 여기에서는, 각각의 눈에 대하여 적외광을 조사하는 적외광원(103)을 6개로 하고 있지만, 이 수는 이에 한정되는 것이 아니며, 각각의 눈에 대응하여 적어도 1개 있으면 되고, 2개 이상 배치되어 있는 것이 바람직하다.
도 3은, 실시형태에 관한 케이스(150)가 수용하는 화상 표시계(130)의 광학 구성을 모식적으로 나타내는 도이며, 도 2에 나타내는 케이스(150)를 왼쪽눈측의 측면에서 본 경우의 도이다. 화상 표시계(130)는, 적외광원(103), 화상 표시 소자(108), 핫 미러(112), 볼록 렌즈(114), 카메라(116), 및 제1 통신부(118)를 구비한다.
적외광원(103)은, 근적외(700nm~2500nm 정도)의 파장 대역의 광을 조사 가능한 광원이다. 근적외광은, 일반적으로 유저(300)의 육안으로는 관측할 수 없는 비가시광의 파장 대역의 광이다.
화상 표시 소자(108)는, 유저(300)에게 제시하기 위한 화상을 표시한다. 화상 표시 소자(108)가 표시하는 화상은, 시선 검출 장치(200) 내의 영상 출력부(224)가 생성한다. 영상 출력부(224)에 대해서는 후술한다. 화상 표시 소자(108)는, 예를 들면 이미 알려진 LCD(Liquid Crystal Display)나 유기 EL 디스플레이(Organic Electro Luminescence Display)를 이용하여 실현할 수 있다.
핫 미러(112)는, 유저(300)가 헤드 마운트 디스플레이(100)를 장착했을 때에, 화상 표시 소자(108)와 유저(300)의 각막(302)의 사이에 배치된다. 핫 미러(112)는, 화상 표시 소자(108)가 생성하는 가시광은 투과하지만, 근적외광은 반사하는 성질을 갖는다.
볼록 렌즈(114)는, 핫 미러(112)에 대하여, 화상 표시 소자(108)의 반대측에 배치된다. 바꿔 말하면, 볼록 렌즈(114)는, 유저(300)가 헤드 마운트 디스플레이(100)를 장착했을 때에, 핫 미러(112)와 유저(300)의 각막(302)의 사이에 배치된다. 즉, 볼록 렌즈(114)는, 헤드 마운트 디스플레이(100)가 유저(300)에게 장착되었을 때에, 유저(300)의 각막(302)에 대향하는 위치에 배치된다.
볼록 렌즈(114)는 핫 미러(112)를 투과하는 화상 표시광을 집광한다. 이로 인하여, 볼록 렌즈(114)는, 화상 표시 소자(108)가 생성하는 화상을 확대하여 유저(300)에게 제시하는 화상 확대부로서 기능한다. 또한, 설명의 편의상, 도 2에서는 볼록 렌즈(114)를 하나만 나타내고 있지만, 볼록 렌즈(114)는, 다양한 렌즈를 조합하여 구성되는 렌즈군이어도 되고, 한쪽이 곡률을 가지며, 다른 한쪽이 평면인 편볼록 렌즈여도 된다.
복수의 적외광원(103)은, 볼록 렌즈(114)의 주위에 배치되어 있다. 적외광원(103)은, 유저(300)의 각막(302)을 향하여 적외광을 조사한다.
도시하지 않지만, 실시형태에 관한 헤드 마운트 디스플레이(100)의 화상 표시계(130)는 화상 표시 소자(108)를 두 개 구비하고 있으며, 유저(300)의 오른쪽눈에 제시하기 위한 화상과 왼쪽눈에 제시하기 위한 화상을 독립적으로 생성할 수 있다. 이로 인하여, 실시형태에 관한 헤드 마운트 디스플레이(100)는, 유저(300)의 오른쪽눈과 왼쪽눈에, 각각 오른쪽눈용 시차 화상과 왼쪽눈용 시차 화상을 제시할 수 있다. 이로써, 실시형태에 관한 헤드 마운트 디스플레이(100)는, 유저(300)에 대하여 깊이감을 가진 입체 영상을 제시할 수 있다.
상술한 바와 같이, 핫 미러(112)는 가시광을 투과하고, 근적외광을 반사한다. 따라서, 화상 표시 소자(108)가 조사하는 화상광은 핫 미러(112)를 투과하여 유저(300)의 각막(302)까지 도달한다. 또 적외광원(103)으로부터 조사되어, 볼록 렌즈(114)의 내부 반사 영역에서 반사된 적외광은, 유저(300)의 각막(302)에 도달한다.
유저(300)의 각막(302)에 도달한 적외광은, 유저(300)의 각막(302)에서 반사되어, 다시 볼록 렌즈(114)의 방향으로 향한다. 이 적외광은 볼록 렌즈(114)를 투과하여, 핫 미러(112)에서 반사된다. 카메라(116)는 가시광을 차단하는 필터를 구비하고 있으며, 핫 미러(112)에서 반사된 근적외광을 촬상한다. 즉, 카메라(116)는, 적외광원(103)으로부터 조사되어, 유저(300)의 눈에서 각막 반사된 근적외광을 촬상하는 근적외 카메라이다.
또한, 도시하지 않지만, 실시형태에 관한 헤드 마운트 디스플레이(100)의 화상 표시계(130)는, 카메라(116)를 두 개, 즉, 오른쪽눈에서 반사된 적외광을 포함하는 화상을 촬상하는 제1 촬상부와, 왼쪽눈에서 반사된 적외광을 포함하는 화상을 촬상하는 제2 촬상부를 구비한다. 이로써, 유저(300)의 오른쪽눈 및 왼쪽눈의 쌍방의 시선 방향을 검출하기 위한 화상을 취득할 수 있다.
제1 통신부(118)는, 카메라(116)가 촬상한 화상을, 유저(300)의 시선 방향을 검출하는 시선 검출 장치(200)에 출력한다. 구체적으로는, 제1 통신부(118)는, 카메라(116)가 촬상한 화상을 시선 검출 장치(200)에 송신한다. 시선 방향 검출부로서 기능하는 제1 검출부(221), 제2 검출부(222)의 상세에 대해서는 후술하지만, 시선 검출 장치(200)의 CPU(Central Processing Unit)가 실행하는 시선 검출 프로그램에 의하여 실현된다. 또한, 헤드 마운트 디스플레이(100)가 CPU나 메모리 등의 계산 리소스를 갖고 있는 경우에는, 헤드 마운트 디스플레이(100)의 CPU가 시선 방향 검출부를 실현하는 프로그램을 실행해도 된다.
상세한 것은 후술하지만, 카메라(116)가 촬상하는 화상에는, 유저(300)의 각막(302)에서 반사된 근적외광에 기인하는 휘점과, 근적외의 파장 대역에서 관찰되는 유저(300)의 각막(302)을 포함하는 눈의 화상이 촬상되어 있다.
이상은, 실시형태에 관한 화상 표시계(130) 중 주로 유저(300)의 왼쪽눈에 화상을 제시하기 위한 구성에 대하여 설명했는데, 유저(300)의 오른쪽눈에 화상을 제시하기 위한 구성은 상기와 동일하다.
도 4는, 시선 검출 시스템(1)에 관한 헤드 마운트 디스플레이(100)와 시선 검출 장치(200)의 블록도이다. 도 4에 나타내는 바와 같이, 또, 상술한 바와 같이, 시선 검출 시스템(1)은, 서로 통신을 실행하는 헤드 마운트 디스플레이(100)와 시선 검출 장치(200)를 포함한다.
도 4에 나타내는 바와 같이 헤드 마운트 디스플레이(100)는, 제1 통신부(118)와, 표시부(121)와, 적외광 조사부(122)와, 화상 처리부(123)와, 촬상부(124)를 구비한다.
제1 통신부(118)는, 시선 검출 장치(200)의 제2 통신부(220)와 통신을 실행하는 기능을 갖는 통신 인터페이스이다. 상술한 바와 같이, 제1 통신부(118)는, 유선 통신 또는 무선 통신에 의하여 제2 통신부(220)와 통신을 실행한다. 사용 가능한 통신 규격의 예는 상술한 바와 같다. 제1 통신부(118)는, 촬상부(116) 또는 화상 처리부(123)로부터 전송된 시선 검출에 이용하는 화상 데이터를 제2 통신부(220)에 송신한다. 또, 제1 통신부(118)는, 시선 검출 장치(200)로부터 송신된 3차원 화상 데이터를 표시부(121)에 전달한다.
표시부(121)는, 제1 통신부(118)로부터 전달된 3차원 화상 데이터를 화상 표시 소자(108)에 표시하는 기능을 갖는다. 3차원 화상 데이터는, 오른쪽눈용 시차 화상과 왼쪽눈용 시차 화상을 포함하며, 이들은 시차 화상 쌍으로 되어 있다.
적외광 조사부(122)는, 적외광원(103)을 제어하고, 유저의 오른쪽눈 또는 왼쪽눈에 적외광을 조사한다.
화상 처리부(123)는, 필요에 따라, 촬상부(116)가 촬상한 화상에 화상 처리를 행하고, 제1 통신부(118)에 전달한다.
촬상부(124)는, 오른쪽눈용 카메라(116)와, 왼쪽눈용 카메라(117)를 이용하고, 각각의 눈에서 반사된 근적외광을 포함하는 화상을 촬상한다. 촬상부(124)는, 촬상하여 얻은 화상을, 제1 통신부(118) 또는 화상 처리부(123)에 전달한다.
도 4에 나타내는 바와 같이 시선 검출 장치(200)는, 제2 통신부(220)와, 제1 검출부(221)와, 제2 검출부(222)와, 특정부(223)와, 영상 출력부(224)와, 기억부(225)를 구비한다.
제2 통신부(220)는, 헤드 마운트 디스플레이(100)의 제1 통신부(118)와 통신을 실행하는 기능을 갖는 통신 인터페이스이다. 상술한 바와 같이, 제2 통신부(220)는, 유선 통신 또는 무선 통신에 의하여 제1 통신부(118)와 통신을 실행한다.
제1 검출부(221)는, 제2 통신부(220)로부터 유저의 오른쪽눈의 시선 검출용 화상 데이터를 받아들여, 유저의 오른쪽눈의 시선 방향을 검출한다. 제1 검출부(221)는, 후술하는 수법을 이용하여, 유저의 오른쪽눈의 시선 방향을 나타내는 오른쪽눈 시선 벡터를 산출하여, 특정부(223)에 전달한다.
제2 검출부(222)는, 제2 통신부(220)로부터 유저의 왼쪽눈의 시선 검출용 화상 데이터를 받아들여, 유저의 왼쪽눈의 시선 방향을 검출한다. 제2 검출부(222)는, 후술하는 수법을 이용하여, 유저의 왼쪽눈의 시선 방향을 나타내는 왼쪽눈 시선 벡터를 산출하여, 특정부(223)에 전달한다.
특정부(223)는, 제1 검출부(221)로부터 전달된 오른쪽눈 시선 벡터와, 제2 검출부(222)로부터 전달된 왼쪽눈 시선 벡터에 근거하여, 유저가 헤드 마운트 디스플레이(100)의 표시 소자(108)에 표시되어 있는 3차원 화상 중 주시하고 있는 개소를 특정한다. 본 실시형태에 있어서는, 특정부(223)는, 오른쪽눈 시선 벡터와 왼쪽눈 시선 벡터의 교점을 구하여, 그 교점 좌표를 3차원 화상의 좌표계로 변환하고, 3차원 화상에 있어서 주시하고 있는 개소를 특정한다.
영상 출력부(224)는, 헤드 마운트 디스플레이(100)의 표시부(121)에 표시시키는 3차원 화상 데이터를 생성하고, 제2 통신부(220)에 전달한다. 또, 영상 출력부(224)는, 시선 검출을 위한 캘리브레이션에 이용하는 마커 화상 데이터를 생성하고, 제2 통신부(220)에 전달한다. 영상 출력부(224)는, 출력하는 3차원 화상의 좌표계 및 당해 좌표계에 있어서 표시되는 오브젝트의 3차원의 위치 좌표를 나타내는 정보를 보유한다.
기억부(225)는, 시선 검출 장치(200)가 동작상 필요로 하는 각종 프로그램이나 데이터를 기억하는 기록 매체이다.
다음으로, 실시형태에 관한 시선 방향의 검출에 대하여 설명한다.
도 5은, 실시형태에 관한 시선 방향의 검출 위한 캘리브레이션을 설명하는 모식도이다. 유저(300)의 시선 방향은, 카메라(116)가 촬상하여 제1 통신부(118)가 시선 검출 장치(200)에 출력한 영상을, 시선 검출 장치(200) 내의 제1 검출부(221) 및 제2 검출부(222)가 해석함으로써 실현된다. 여기에서는, 제1 검출부(221)의 경우를 설명하지만, 제2 검출부(222)에 있어서도 동일하다.
영상 출력부(224)는, 도 5에 나타내는 바와 같은 점(Q1~Q9)까지의 9개의 점(마커 화상)을 생성하여, 헤드 마운트 디스플레이(100)의 화상 표시 소자(108)에 표시시킨다. 시선 검출 장치(200)는, 점(Q1)~점(Q9)에 이르기까지 차례로 유저(300)에게 주시시킨다. 이때, 유저(300)는 목을 움직이지 않고 최대한 안구의 움직임만으로 각 점을 주시하도록 요구된다. 카메라(116)는, 유저(300)가 점(Q1~Q9)까지의 9개의 점을 주시하고 있을 때의 유저(300)의 각막(302)을 포함하는 화상을 촬상한다.
도 6은, 유저(300)의 각막(302)의 위치 좌표를 설명하는 모식도이다. 시선 검출 장치(200) 내의 제1 검출부(221)는, 카메라(116)가 촬상한 화상을 해석하여 적외광에 유래하는 휘점(105)을 검출한다. 유저(300)가 안구의 움직임만으로 각 점을 주시하고 있을 때에는, 유저가 어느 한 점을 주시하고 있는 경우이더라도, 휘점(105)의 위치는 움직이지 않는다고 생각된다. 따라서 제1 검출부(221)는, 검출한 휘점(105)을 근거로, 카메라(116)가 촬상한 화상 중에 2차원 좌표계(306)를 설정한다.
제1 검출부(221)는 또, 카메라(116)가 촬상한 화상을 해석함으로써, 유저(300)의 각막(302)의 중심(P)을 검출한다. 이는 예를 들면 허프 변환이나 에지 추출 처리 등, 이미 알려진 화상 처리를 이용함으로써 실현할 수 있다. 이로써, 제1 검출부(221)는, 설정한 2차원 좌표계(306)에 있어서의 유저(300)의 각막(302)의 중심(P)의 좌표를 취득할 수 있다.
도 5에 있어서, 화상 표시 소자(108)가 표시하는 표시 화면에 설정된 2차원 좌표계에 있어서의 점(Q1)~점(Q9)의 좌표를 각각 Q1(x1, y1)T, Q2(x2, y2)T…, Q9(x9, y9)T로 한다. 각 좌표는, 예를 들면 각 점의 중심에 위치하는 화소의 번호가 된다. 또, 유저(300)가 점(Q1)~점(Q9)을 주시하고 있을 때의, 유저(300)의 각막(302)의 중심(P)을, 각각 점(P1~P9)로 한다. 이때, 2차원 좌표계(306)에 있어서의 점(P1~P9)의 좌표를 각각 P1(X1, Y1)T, P2(X2, Y2)T, …, P9(X9, Y9)T로 한다. 또한, T는 벡터 또는 행렬의 전치를 나타낸다.
여기에서, 2×2의 크기의 행렬 M을 이하의 식 (1)과 같이 정의한다.
[수학식 1]
Figure 112016122727338-pct00001
이때, 행렬 M이 이하의 식 (2)를 만족시키면, 행렬 M은 유저(300)의 시선 방향을 화상 표시 소자(108)가 표시하는 화상면에 사영(射影)하는 행렬이 된다.
QN=MPN (N=1, …, 9) (2)
상기 식 (2)를 구체적으로 새로 쓰면 이하의 식 (3)과 같이 된다.
[수학식 2]
Figure 112016122727338-pct00002
식 (3)을 변형하면 이하의 식 (4)를 얻는다.
[수학식 3]
Figure 112016122727338-pct00003
여기에서,
[수학식 4]
Figure 112016122727338-pct00004
와 같이 하면, 이하의 식 (5)를 얻는다.
y=Ax (5)
식 (5)에 있어서, 벡터 y의 요소는 제1 검출부(221)가 화상 표시 소자(108)에 표시시키는 점(Q1~Q9)의 좌표이기 때문에 기지(旣知)이다. 또, 행렬 A의 요소는 유저(300)의 각막(302)의 정점(P)의 좌표이기 때문에 취득할 수 있다. 따라서, 제1 검출부(221)는, 벡터 y 및 행렬 A를 취득할 수 있다. 또한, 변환 행렬 M의 요소를 나열한 벡터인 벡터 x는 미지(未知)이다. 따라서, 행렬 M을 추정하는 문제는, 벡터 y와 행렬 A가 기지일 때, 미지의 벡터 x를 구하는 문제가 된다.
식 (5)는, 미지수인 수(즉 벡터 x의 요소수 4)보다 식의 수(즉, 제1 검출부(221)가 캘리브레이션 시에 유저(300)에게 제시한 점 Q의 수)가 많으면, 과결정 문제가 된다. 식 (5)에 나타내는 예에서는, 식의 수는 9개이기 때문에, 과결정 문제이다.
벡터 y와 벡터 Ax의 오차 벡터를 벡터 e로 한다. 즉, e=y-Ax이다. 이때, 벡터 e의 요소의 제곱합을 최소로 한다는 의미에서 최적인 벡터 xopt는, 이하의 식 (6)으로 구해진다.
xopt= (ATA)- 1ATy (6)
여기에서 "-1"은 역행렬을 나타낸다.
제1 검출부(221)는, 구한 벡터 xopt의 요소를 이용함으로써, 식 (1)의 행렬 M을 구성한다. 이로써, 제1 검출부(221)는, 유저(300)의 각막(302)의 정점(P)의 좌표와 행렬 M을 이용함으로써, 식 (2)에 따라, 유저(300)의 오른쪽눈이 화상 표시 소자(108)가 표시하는 동화상(動畵像) 상의 어느 곳을 주시하고 있는지를 2차원의 범위에서 추정할 수 있다. 이로써, 제1 검출부(221)는, 화상 표시 소자(108) 상의 오른쪽눈의 주시점과, 유저의 오른쪽눈의 각막의 정점을 연결하는 오른쪽눈 시선 벡터를 산출할 수 있다. 마찬가지로, 제2 검출부(222)는, 화상 표시 소자(108) 상의 왼쪽눈의 주시점과, 유저의 왼쪽눈의 각막의 정점을 연결하는 왼쪽눈 시선 벡터를 산출할 수 있다.
도 7은, 본 실시형태 1에 관한 유저가 주시하고 있는 개소를 특정하는 수법을 나타내는 개념도이다. 도 7에는, 유저(300)의 왼쪽눈(302a)과, 오른쪽눈(302b)과, 헤드 마운트 디스플레이(100)에 표시되는 3차원 화상에 의하여 유저가 인식하는 3차원 화상의 일례를 모식적으로 나타내고 있다. 당해 영상은, 영상 출력부(224)에 의하여 생성되고, 제2 통신부(220)가 헤드 마운트 디스플레이(100)에 송신함으로써, 표시부(121)에 의하여 화상 표시 소자(108)에 표시된다.
도 7에 나타내는 바와 같이, 헤드 마운트 디스플레이(100)에 의하여 표시된 3차원 화상에 의하여, 유저(300)의 시야에는, 남자 아이, 개, 여성, 승용차, 및 승차한 운전자가 들어가 있는 것으로 한다. 도 7에 있어서는, 편의상, 3차원 화상인 것을 명료하게 나타내기 위하여, x축, y축, z축의 3축을 나타내고 있지만, 이 축은, 화상으로서 표시되는 것은 아니다.
도 7에 나타내는 유저(300)의 왼쪽눈(302a)의 시선 방향에 근거하여 구해지는 오른쪽눈 시선 벡터(701a)와 오른쪽눈(302b)의 시선 방향에 근거하여 구해지는 왼쪽눈 시선 벡터(701b)는, 교점(702)에서 교차하고 있다. 즉, 교점(702)이, 유저의 초점이며, 유저가 3차원 화상 중에서 주시하고 있는 개소라는 것이 된다. 양쪽눈의 시선 벡터를 산출하여, 그 교점을 구함으로써, 3차원 화상 상에서 유저(300)로부터 보아 바로 앞측에 다른 오브젝트(남자 아이)가 표시되어 있어도, 그보다 안쪽에 표시되어 있는 차의 운전자에게 주목하고 있는 것을 검출할 수 있다.
당해 검출에 있어서의 시선 검출 시스템(1)의 동작을 도 8의 플로 차트를 이용하여 설명한다. 도 8은, 본 실시형태에 관한 시선 검출 시스템(1)의 동작을 나타내는 플로 차트이다.
헤드 마운트 디스플레이(100)의 카메라(116)는, 각각, 오른쪽눈에서 반사된 적외광을 포함하는 오른쪽눈 화상, 왼쪽눈에서 반사된 적외광을 포함하는 왼쪽눈 화상을 촬상한다(스텝 S801). 촬상부(124)는, 각 카메라(116)로부터 취득한 오른쪽눈 화상과 왼쪽눈 화상을 화상 처리부(123)에 전달한다. 화상 처리부(123)는, 전달된 화상 데이터에 소정의 처리를 행하여, 제1 통신부(118)에 전달한다. 그리고, 제1 통신부(118)는, 화상 처리부(123)로부터 전달된 처리 후의 화상 데이터를, 시선 검출 장치(200)에 송신한다.
시선 검출 장치(200)의 제2 통신부(210)는, 화상 데이터를 수신하면, 오른쪽눈 화상을 제1 검출부(221)에, 왼쪽눈 화상을 제2 검출부(222)에 전달한다.
제1 검출부(221)는, 전달된 오른쪽눈 화상을 참조하고, 상기 수학식을 이용하여, 유저의 오른쪽눈 화상 표시 소자(108)에 대한 주시점을 특정한다. 그리고, 산출한 주시점의 좌표와, 유저(300)의 오른쪽눈의 각막의 정점(P)을 연결하는 오른쪽눈 시선 벡터를 산출한다(스텝 S802). 제1 검출부(221)는, 산출한 오른쪽눈 시선 벡터를 특정부(223)에 전달한다.
제2 검출부(222)는, 전달된 왼쪽눈 화상을 참조하고, 상기 수학식을 이용하여, 유저의 왼쪽눈의 화상 표시 소자(108)에 대한 주시점을 특정한다. 그리고, 산출한 주시점의 좌표와, 유저(300)의 왼쪽눈의 각막의 정점(P)을 연결하는 왼쪽눈 시선 벡터를 산출한다(스텝 S802). 제2 검출부(222)는, 산출한 왼쪽눈 시선 벡터를 특정부(223)에 전달한다.
특정부(223)는, 전달된 오른쪽눈 시선 벡터와 왼쪽눈 시선 벡터의 교점을 산출한다(스텝 S803).
특정부(223)는, 산출한 교점을, 영상 출력부(224)가 출력하고 있는 3차원 화상의 3차원 공간에 대한 좌표계로 변환한다(스텝 S804).
특정부(223)는, 변환된 교점 좌표를 유저가 3차원 화상 공간상에서 주시하고 있는 개소로서 특정한다(스텝 S805).
도 8에 나타내는 처리를 순서대로 행하고, 시선 검출 시스템(1)은, 유저가 주시하고 있는 개소를 적절히 특정할 수 있다.
본 실시형태에 의하면, 시선 검출 시스템(1)은, 유저의 오른쪽눈의 시선 방향과, 왼쪽눈의 시선 방향의 쌍방의 시선 방향을 취득할 수 있다. 따라서, 3차원 화상에 있어서의 깊이 방향에서의 교차점도 특정할 수 있으므로, 3차원 화상과 같이 각종 오브젝트가 중첩되어 표시되어 있었다고 해도, 그 중첩되어 표시된 오브젝트 중, 유저가 주시하고 있는 오브젝트를 특정할 수 있다.
<실시형태 2>
상기 실시형태 1에 있어서는, 유저(300)가 헤드 마운트 디스플레이(100)에 있어서 표시되어 있는 3차원 화상의 주시하고 있는 개소를, 유저(300)의 오른쪽눈의 시선 방향인 오른쪽눈 시선 벡터와, 왼쪽눈의 시선 방향인 왼쪽눈 시선 벡터의 교점에 근거하여 특정하는 예를 설명했다.
그러나, 제1 검출부(221)와 제2 검출부(222)에 의하여 산출된 오른쪽눈 시선 벡터와 왼쪽눈 시선 벡터가, 반드시 교점을 갖는다고는 할 수 없다.
따라서, 본 실시형태에 있어서는, 오른쪽눈 시선 벡터와 왼쪽눈 시선 벡터가 교점을 갖지 않는 경우에 있어서도, 유저가 주시하고 있는 개소를 어느 정도 특정하는 수법에 대하여 설명한다.
또한, 본 실시형태 2는, 특정부(223)에 의한 특정 방법만이 상이하고, 그 외의 구성에 대해서는, 상기 실시형태 1과 공통되므로, 특정부(223)의 설명 이외에 대해서는, 생략한다.
본 실시형태 2에 있어서는, 3차원 화상이 복수의 레이어 표시되는 것으로 한다. 그리고, 본 실시형태 2에 관한 특정부(223)는, 유저의 오른쪽눈 시선 벡터와 왼쪽눈 시선 벡터가 각 레이어와 교차하는 교점 간의 거리에 근거하여, 그 교점 간의 거리가 가장 짧아지는 레이어를, 유저가 주시하고 있는 개소(레이어)로서 특정한다. 좀 더 구체적으로 설명하면, 레이어 L1, L2, L3, …이 존재하고, 레이어 L1, L2, L3, …과 오른쪽눈 시선 벡터의 교점을, Pr1, Pr2, Pr3, …, 레이어 L1, L2, L3, …과 왼쪽눈 시선 벡터의 교점을 Pl1, Pl2, Pl3, …으로 한다. 그리고, 교점 Pr1과 교점 Pl1의 사이의 거리를 D1, 교점 Pr2와 교점 Pl2의 사이의 거리를 D2, 교점 Pr3과 교점 Pl3의 사이의 거리를 D3, …으로 한다. 특정부(223)는, 산출된 교점 간의 거리 D1, D2, D3, … 중, 가장 짧은 거리를 특정한다. 그리고, 교점 간의 거리가 가장 짧았던 거리에 대응하는 레이어를, 유저가 주시하고 있는 개소(레이어)인 것으로 하여 특정한다.
도 9는, 본 실시형태 2에 관한 유저(300)가 주시하고 있는 개소를 특정하는 수법을 모식적으로 나타내는 이미지도이다. 본 실시형태에 있어서는, 헤드 마운트 디스플레이(100)에는, 도 9에 나타내는 바와 같은 화상이 표시되어 있는 것으로 한다. 실시형태 1과 상이한 것은, 3차원 화상 중에, 각종 정보가 표시되는 메뉴 화상(910) 및 메뉴 화상(920)이 3차원 화상 상에서 표시되어 있는 점이다. 이와 같은 메뉴 화상(910, 920)은, 3차원 화상에 있어서 복수의 레이어로 이루어지는 구조를 갖는 구조를 이용함으로써 표시할 수 있다. 당해 영상은, 영상 출력부(224)에 의하여 생성되고, 제2 통신부(220)가 헤드 마운트 디스플레이(100)에 송신함으로써, 표시부(121)에 의하여 화상 표시 소자(108)에 표시된다.
따라서, 본 실시형태 2에 있어서는, 유저(300)의 왼쪽눈 시선 벡터(701a)와 오른쪽눈 시선 벡터(701b) 각각이, 메뉴 화상(910, 920)과 교차하는 교점에 근거하여 유저가 주시하고 있는 메뉴 화상(레이어)을 특정하는 예를 설명한다.
구체적으로는, 도 9에 나타내는 바와 같이, 유저(300)의 오른쪽눈 시선 벡터(701a)와, 메뉴 화상(910)의 교점을 교점(911a)으로 한다. 또, 유저(300)의 왼쪽눈 시선 벡터(701b)와, 메뉴 화상(910)의 교점을 교점(911b)으로 한다. 그리고, 교점(911a)과 교점(911b)의 사이의 거리를 D1로 한다.
한편, 도 9에 나타내는 바와 같이, 유저(300)의 오른쪽눈 시선 벡터(701a)와, 메뉴 화상(920)의 교점을 교점(921a)으로 한다. 또, 유저(300)의 왼쪽눈 시선 벡터(701b)와, 메뉴 화상(920)의 교점을 교점(921b)으로 한다. 그리고, 교점(921a)과 교점(921b)의 사이의 거리를 D2로 한다.
이와 같이 산출되는 거리 D1과 D2가 짧은 쪽이, 유저(300)가 주시하고 있는 개소(레이어)라고 특정된다. 교점 간의 거리가 짧은 쪽이, 유저의 초점에 가깝다고 생각되기 때문이다.
도 10은, 본 실시형태 2에 관한 시선 검출 시스템(1)의 동작을 나타내는 플로 차트이다. 본 플로 차트에 있어서, 스텝 S802까지는 실시형태 1에 공통되므로, 거기까지의 설명을 생략한다.
유저의 오른쪽눈 시선 벡터 및 왼쪽눈 시선 벡터가 전달된 특정부(223)는, 3차원 화상 상에서 레이어 표시되어 있는 각 레이어와의 교점을 산출한다(스텝 S1003). 즉, 도 9의 예로 말하면, 특정부(223)는, 메뉴 화면(910)과 메뉴 화면(920)의 교점을 산출한다.
특정부(223)는, 각 레이어에 있어서의 오른쪽눈 시선 벡터와의 교점과 왼쪽눈 시선 벡터와의 교점의 사이의 교점 간의 거리를 산출한다(스텝 S1004).
특정부(223)는, 산출한 각 교점 간의 거리 중, 가장 짧은 거리를 특정한다. 그리고, 가장 짧다고 특정된 교점 간의 거리에 대응하는 레이어를 유저가 주시하고 있는 개소(레이어)로서 특정한다(스텝 S1005).
또한, 본 실시형태 2에 있어서는, 메뉴 등의 화상 데이터가 레이어 구조로 표시되어 있는 예를 나타냈지만, 도 9에 나타내는 3차원 화상의 x축 방향(깊이 방향)에 있어서, 3차원 화상이 복수의 레이어로 이루어진다고 간주하고, 주시 개소를 특정하는 것으로 해도 된다.
즉, 예를 들면, x축 방향의 좌표, x1, x2, x3에 있어서 가상적으로 yz 평면에 평행한 평면이 레이어로서 존재하는 것으로 하고, 상술한 수법을 이용하여, 그 레이어와의 교점 간의 거리가 짧은 레이어를 유저(300)가 주시하고 있는 레이어로서 특정하는 것으로 해도 된다. 그리고 상술한 바와 같이, 그 교점과 교점의 중점을 유저(300)의 주시점으로서 특정해도 된다.
본 실시형태 2에 의하면, 시선 검출 시스템(1)은, 산출한 유저의 오른쪽눈의 시선 벡터와 왼쪽눈 시선 벡터가 교점을 갖지 않는 경우에, 유저가 3차원 화상에 있어서 주시하고 있는 개소를 특정하는 수법으로서, 효과적이다. 또, 3차원 화상이 복수의 레이어로 이루어지는 구조를 갖고 있는 것으로 간주하고, 교점 간 거리를 산출한다는 간단한 구성으로, 유저가 주시하고 있는 개소를 특정할 수 있다.
<실시형태 3>
상기 실시형태 2에 있어서는, 3차원 화상에 있어서, 복수의 레이어가 있는 경우에, 유저(300)의 시선 벡터와 각 레이어의 교점을 구하여, 그 교점 간의 거리가 가장 짧은 레이어를 유저가 주시하고 있는 레이어라고 특정했다.
본 실시형태 3에 있어서는, 3차원 화상에 있어서 레이어 구조로 되어 있지 않은 경우로서, 오른쪽눈 시선 벡터와 왼쪽눈 시선 벡터가 교점을 갖지 않을 때의, 유저가 주시하고 있는 개소의 특정 수법에 대하여 설명한다.
또한, 본 실시형태 3은, 특정부(223)에 의한 특정 방법만이 상이하고, 그 외의 구성에 대해서는, 상기 실시형태 1이나 실시형태 2와 공통되므로, 특정부(223)의 설명 이외에 대해서는, 생략한다.
특정부(223)는, 실시형태 1이나 실시형태 2와는 달리, 왼쪽눈 시선 벡터(701a)를 중심으로 하는 소정 반경의 원기둥과, 오른쪽눈 시선 벡터(701b)를 중심으로 하는 소정 반경의 원기둥이 교차하는 영역을 특정하며, 당해 영역에 가장 가까운 위치에 있는 3차원 화상 상의 오브젝트를 유저가 주시하고 있는 개소로서 특정한다.
도 11은, 본 실시형태 3에 관한 유저(300)가 주시하고 있는 개소를 특정하는 수법을 모식적으로 나타내는 이미지도이다. 당해 영상은, 영상 출력부(224)에 의하여 생성되고, 제2 통신부(220)가 헤드 마운트 디스플레이(100)에 송신함으로써, 표시부(121)에 의하여 화상 표시 소자(108)에 표시된다. 도 11에 나타내는 바와 같이, 유저의 왼쪽눈 시선 벡터(701a)를 중심으로 하는 소정 반경의 원기둥(1101a)을 상정한다. 마찬가지로 유저의 오른쪽눈 시선 벡터(701b)를 중심으로 하는 소정 반경의 원기둥(1101b)을 상정한다. 그리고, 원기둥(1101a)과, 원기둥(1101b)이 교차하는 영역(1102)을 3차원 화상 상에서 유저(300)가 주시하고 있는 개소로서 특정할 수 있다. 이로써, 유저(300)가 주시하고 있는 것은 3차원 화상 상의 남자 아이인 것을 알 수 있다.
도 12는, 본 실시형태 3에 관한 시선 검출 시스템(1)의 동작을 나타내는 플로 차트이다. 본 플로 차트에 있어서, 스텝 S802까지는 실시형태 1에 공통되므로, 거기까지의 설명을 생략한다.
특정부(223)는, 왼쪽눈 시선 벡터와 오른쪽눈 시선 벡터가 전달되면, 왼쪽눈 시선 벡터를 중심으로 하는 원기둥(1101a)을 나타내는 수학식 F를 산출한다. 또, 특정부(223)는, 오른쪽눈 시선 벡터를 중심으로 하는 원기둥(1101b)을 나타내는 수학식 G를 산출한다(스텝 S1203).
특정부(223)는, 수학식 F와 수학식 G에 근거하여, 원기둥(1101a)과 원기둥(1101b)이 교차하는 영역(1102)을 특정한다(스텝 S1204).
그리고, 특정부(223)는, 특정한 영역에 가장 가까운 레이어 또는 오브젝트를 유저가 주시하고 있는 개소로서 특정한다(스텝 S1205).
또한, 본 실시형태 3에 있어서, 상술한 바와 같이 2개의 원기둥의 함수식을 산출하고, 그 교차하는 영역을 산출하는 처리는, 연산량이 많아지며, 시선 검출 장치(200)의 처리 부하가 커지는 것이 상정된다. 이로 인하여, 이 연산량을 경감시키는 수법으로서, 이하의 수법을 이용하는 것이 생각된다.
즉, 특정부(223)는, 오른쪽눈 시선 벡터를 중심으로 하여, 오른쪽눈 시선 벡터에 평행한 오른쪽눈 평행 벡터를 복수 개 산출한다. 마찬가지로, 특정부(223)는, 왼쪽눈 시선 벡터를 중심으로 하여, 왼쪽눈 시선 벡터에 평행한 왼쪽눈 평행 벡터를 복수 개 산출한다. 그리고, 각 오른쪽눈 평행 벡터에 대하여, 각 왼쪽눈 평행 벡터와의 교점을 산출한다. 특정부(223)는, 이와 같이 하여 얻어지는 복수의 교점의 중심점을 산출한다. 그리고, 특정부(223)는, 산출한 중심점에 대응하는 3차원 화상 상의 좌표를, 유저(300)가 주시하고 있는 개소로서 특정하는 것으로 해도 된다.
본 실시형태 3에 의하면, 유저(300)의 왼쪽눈 시선 벡터(701a)와 오른쪽눈 시선 벡터(701b)가 교점을 갖지 않는 경우나, 3차원 화상이 레이어 구조를 갖지 않는 경우이더라도, 유저(300)가 주시하고 있는 개소를 특정할 수 있다.
<보충>
본 발명에 관한 시선 검출 시스템은, 상기 실시형태 1~3에 한정되는 것이 아니며, 그 발명의 사상을 실현하기 위한 다른 수법에 의하여 실현되어도 되는 것은 말할 필요도 없다.
예를 들면, 상기 실시형태 3에 있어서는, 원기둥과 원기둥이 교차하는 영역을 특정하고 있지만, 이는, 원기둥이 아니라, 그 외의 형상이어도 되고, 예를 들면, 사각 기둥으로 하여 계산해도 된다. 사각 기둥으로 하는 편이, 원기둥의 경우보다 연산 처리가 용이해진다.
또, 상기 실시형태에 있어서는, 유저(300)의 시선을 검출하기 위하여, 유저(300)의 눈을 촬상하는 수법으로서, 핫 미러(112)에서 반사시킨 영상을 촬상하고 있지만, 이는, 핫 미러(112)를 통하지 않고 직접 유저(300)의 눈을 촬상해도 된다.
또, 상기 실시형태에 있어서는, 시선 검출의 수법으로서, 시선 검출 장치(200)의 프로세서가 시선 검출 프로그램 등을 실행함으로써, 유저가 주시하고 있는 개소를 특정하는 것으로 하고 있지만, 이는 시선 검출 장치(200)에 집적 회로(IC(Integrated Circuit)칩, LSI(Large Scale Integration)) 등에 형성된 논리 회로(하드웨어)나 전용 회로에 의하여 실현해도 된다. 또, 이들 회로는, 하나 또는 복수의 집적 회로에 의하여 실현되어도 되고, 상기 실시형태에 나타낸 복수의 기능부의 기능을 1개의 집적 회로에 의하여 실현되는 것으로 해도 된다. LSI는, 집적도의 차이에 의하여, VLSI, 슈퍼 LSI, 울트라 LSI 등으로 호칭되는 경우도 있다.
또, 상기 시선 검출 프로그램은, 프로세서가 판독 가능한 기록 매체에 기록되어 있어도 되고, 기록 매체로서는, "일시적이지 않은 유형의 매체", 예를 들면, 테이프, 디스크, 카드, 반도체 메모리, 프로그래머블한 논리 회로 등을 이용할 수 있다.
또한, 상기 시선 검출 프로그램은, 예를 들면, ActionScript, JavaScript(등록 상표) 등의 스크립트 언어, Objective-C, Java(등록 상표) 등의 오브젝트 지향 프로그래밍 언어, HTML5 등의 마크업 언어 등을 이용하여 실장할 수 있다.
1 시선 검출 시스템
100 헤드 마운트 디스플레이
103a 적외광원(제2 적외광 조사부)
103b 적외광원(제1 적외광 조사부)
105 휘점
108 화상 표시 소자
112 핫 미러
114, 114a, 114b 볼록 렌즈
116 카메라(제1 촬상부, 제2 촬상부)
118 제1 통신부
121 표시부
122 적외광 조사부
123 화상 처리부
124 촬상부
130 화상 표시계
150 케이스
152a, 152b 렌즈 지지부
160 장착구
170 헤드폰
200 시선 검출 장치
220 제2 통신부
221 제1 검출부
222 제2 검출부
223 특정부
224 영상 출력부
225 기억부
산업상 이용가능성
이 발명은, 헤드 마운트 디스플레이에 이용 가능하다.

Claims (8)

  1. 유저의 두부에 장착하여 사용되는 헤드 마운트 디스플레이와, 상기 유저의 시선을 검출하는 시선 검출 장치를 포함하는 시선 검출 시스템으로서,
    상기 헤드 마운트 디스플레이는,
    유저의 오른쪽눈에 적외광을 조사하는 제1 적외광 조사부와,
    상기 유저의 왼쪽눈에 적외광을 조사하는 제2 적외광 조사부와,
    상기 적외광이 조사되고 있는 상기 오른쪽눈을 촬상하는 제1 촬상 소자와,
    상기 적외광이 조사되고 있는 상기 왼쪽눈을 촬상하는 제2 촬상 소자와,
    3차원 화상을 표시하는 표시부를 구비하고,
    상기 시선 검출 장치는,
    상기 제1 촬상 소자에 의하여 촬상된 화상에 근거하여 상기 오른쪽눈의 시선 방향을 검출하는 제1 검출부와,
    상기 제2 촬상 소자에 의하여 촬상된 화상에 근거하여 상기 왼쪽눈의 시선 방향을 검출하는 제2 검출부와,
    상기 오른쪽눈의 시선 방향과 상기 왼쪽눈의 시선 방향에 근거하여, 상기 3차원 화상에 있어서 상기 유저가 주시하고 있는 개소를 특정하는 특정부를 구비하며,
    상기 제1 검출부는, 상기 오른쪽눈의 시선 방향으로서, 당해 시선 방향을 나타내는 오른쪽눈 시선 벡터를 산출하고,
    상기 제2 검출부는, 상기 왼쪽눈의 시선 방향으로서, 당해 시선 방향을 나타내는 왼쪽눈 시선 벡터를 산출하며,
    상기 특정부는, 상기 오른쪽눈 시선 벡터를 중심으로 하는 소정 반경의 원기둥과, 상기 왼쪽눈 시선 벡터를 중심으로 하는 소정 반경의 원기둥이 교차하는 영역에 근거하여, 상기 유저가 주시하고 있는 개소를 특정하는
    시선 검출 시스템.
  2. 청구항 1에 있어서,
    상기 표시부는, 깊이 방향에서, 복수의 레이어로 이루어지는 3차원 화상을 표시하고,
    상기 특정부는, 상기 오른쪽눈 시선 벡터와 상기 왼쪽눈 시선 벡터가 각 레이어와 교차하는 교점 간의 거리가 가장 짧은 레이어를 상기 유저가 주시하고 있는 개소의 레이어로서 특정하는
    것을 특징으로 하는 시선 검출 시스템.
  3. 청구항 1에 있어서,
    상기 특정부는, 상기 오른쪽눈 시선 벡터와 상기 왼쪽눈 시선 벡터의 교점에 근거하여, 상기 유저가 주시하고 있는 개소를 특정하는
    것을 특징으로 하는 시선 검출 시스템.
  4. 유저의 두부에 장착하여 사용되는 헤드 마운트 디스플레이와, 상기 유저의 시선을 검출하는 시선 검출 장치를 포함하는 시선 검출 시스템으로서,
    상기 헤드 마운트 디스플레이는,
    유저의 오른쪽눈에 적외광을 조사하는 제1 적외광 조사부와,
    상기 유저의 왼쪽눈에 적외광을 조사하는 제2 적외광 조사부와,
    상기 적외광이 조사되고 있는 상기 오른쪽눈을 촬상하는 제1 촬상 소자와,
    상기 적외광이 조사되고 있는 상기 왼쪽눈을 촬상하는 제2 촬상 소자와,
    3차원 화상을 표시하는 표시부를 구비하고,
    상기 시선 검출 장치는,
    상기 제1 촬상 소자에 의하여 촬상된 화상에 근거하여 상기 오른쪽눈의 시선 방향을 검출하는 제1 검출부와,
    상기 제2 촬상 소자에 의하여 촬상된 화상에 근거하여 상기 왼쪽눈의 시선 방향을 검출하는 제2 검출부와,
    상기 오른쪽눈의 시선 방향과 상기 왼쪽눈의 시선 방향에 근거하여, 상기 3차원 화상에 있어서 상기 유저가 주시하고 있는 개소를 특정하는 특정부를 구비하며,
    상기 제1 검출부는, 상기 오른쪽눈의 시선 방향으로서, 당해 시선 방향을 나타내는 오른쪽눈 시선 벡터를 산출하고,
    상기 제2 검출부는, 상기 왼쪽눈의 시선 방향으로서, 당해 시선 방향을 나타내는 왼쪽눈 시선 벡터를 산출하며,
    상기 특정부는, 상기 오른쪽눈 시선 벡터에 평행한 복수의 제1 평행 시선 벡터와, 상기 왼쪽눈 시선 벡터에 평행한 복수의 제2 평행 시선 벡터의 교점에 근거하여, 상기 유저가 주시하고 있는 개소를 특정하는
    것을 특징으로 하는 시선 검출 시스템.
  5. 유저의 두부에 장착하여 사용되는 헤드 마운트 디스플레이와, 상기 유저의 시선을 검출하는 시선 검출 장치를 포함하는 시선 검출 시스템이 검출하는 유저의 주시점을 특정하는 주시점 특정 방법으로서,
    상기 헤드 마운트 디스플레이는,
    3차원 화상을 표시하고,
    상기 유저의 오른쪽눈 및 왼쪽눈에 적외광을 조사하며,
    적외광이 조사된 상기 유저의 오른쪽눈 및 왼쪽눈을 촬상하고,
    촬상하여 얻어진 화상 데이터를 상기 시선 검출 장치에 출력하며,
    상기 시선 검출 장치는,
    상기 오른쪽눈을 촬상한 화상에 근거하여 상기 유저의 오른쪽눈의 시선 방향을 나타내는 것으로서 당해 시선 방향을 나타내는 오른쪽눈 시선 벡터를 산출하고,
    상기 왼쪽눈을 촬상한 화상에 근거하여 상기 유저의 왼쪽눈의 시선 방향을 나타내는 것으로서 당해 시선 방향을 나타내는 왼쪽눈 시선 벡터를 산출하며,
    상기 오른쪽눈 시선 벡터를 중심으로 하는 소정 반경의 원기둥과, 상기 왼쪽눈 시선 벡터를 중심으로 하는 소정 반경의 원기둥이 교차하는 영역에 근거하여, 상기 유저가 주시하고 있는 개소를 특정하는
    특정 방법.
  6. 3차원 화상을 표시하는 헤드 마운트 디스플레이를 장착하고 있는 유저의 시선을 검출하는 시선 검출 장치의 컴퓨터에서 실행시키는 기록매체에 저장된 유저의 주시점 특정 프로그램으로서,
    컴퓨터에서,
    상기 헤드 마운트 디스플레이를 장착하고 있는 유저의 적외광이 조사되고 있는 상태의 오른쪽눈 및 왼쪽눈을 촬상한 화상 데이터를 취득하는 기능과,
    상기 오른쪽눈의 화상 데이터에 근거하여, 상기 유저의 오른쪽눈의 시선 방향을 검출하는 기능과,
    상기 왼쪽눈의 화상 데이터에 근거하여, 상기 유저의 왼쪽눈의 시선 방향을 검출하는 기능과,
    상기 오른쪽눈의 시선 방향과, 상기 왼쪽눈의 시선 방향에 근거하여, 상기 3차원 화상에 있어서 유저가 주시하고 있는 개소를 특정하는 기능과,
    상기 오른쪽눈의 시선 방향으로서, 당해 시선 방향을 나타내는 오른쪽눈 시선 벡터를 산출하는 기능과,
    상기 왼쪽눈의 시선 방향으로서, 당해 시선 방향을 나타내는 왼쪽눈 시선 벡터를 산출하는 기능과,
    상기 오른쪽눈 시선 벡터를 중심으로 하는 소정 반경의 원기둥과, 상기 왼쪽눈 시선 벡터를 중심으로 하는 소정 반경의 원기둥이 교차하는 영역에 근거하여, 상기 유저가 주시하고 있는 개소를 특정하는 기능을 실현시키는 주시점 특정 프로그램.
  7. 유저의 두부에 장착하여 사용되는 헤드 마운트 디스플레이와, 상기 유저의 시선을 검출하는 시선 검출 장치를 포함하는 시선 검출 시스템이 검출하는 유저의 주시점을 특정하는 주시점 특정 방법으로서,
    상기 헤드 마운트 디스플레이는,
    3차원 화상을 표시하고,
    상기 유저의 오른쪽눈 및 왼쪽눈에 적외광을 조사하며,
    적외광이 조사된 상기 유저의 오른쪽눈 및 왼쪽눈을 촬상하고,
    촬상하여 얻어진 화상 데이터를 상기 시선 검출 장치에 출력하며,
    상기 시선 검출 장치는,
    상기 오른쪽눈을 촬상한 화상에 근거하여 상기 유저의 오른쪽눈의 시선 방향을 나타내는 것으로서 당해 시선 방향을 나타내는 오른쪽눈 시선 벡터를 산출하고,
    상기 왼쪽눈을 촬상한 화상에 근거하여 상기 유저의 왼쪽눈의 시선 방향을 나타내는 것으로서 당해 시선 방향을 나타내는 왼쪽눈 시선 벡터를 산출하며,
    상기 오른쪽눈 시선 벡터에 평행한 복수의 제1 평행 시선 벡터와, 상기 왼쪽눈 시선 벡터에 평행한 복수의 제2 평행 시선 벡터의 교점에 근거하여, 상기 유저가 주시하고 있는 개소를 특정하는
    특정 방법.
  8. 3차원 화상을 표시하는 헤드 마운트 디스플레이를 장착하고 있는 유저의 시선을 검출하는 시선 검출 장치의 컴퓨터에서 실행시키는 기록매체에 저장된 유저의 주시점 특정 프로그램으로서,
    컴퓨터에서,
    상기 헤드 마운트 디스플레이를 장착하고 있는 유저의 적외광이 조사되고 있는 상태의 오른쪽눈 및 왼쪽눈을 촬상한 화상 데이터를 취득하는 기능과,
    상기 오른쪽눈의 화상 데이터에 근거하여, 상기 유저의 오른쪽눈의 시선 방향을 검출하는 기능과,
    상기 왼쪽눈의 화상 데이터에 근거하여, 상기 유저의 왼쪽눈의 시선 방향을 검출하는 기능과,
    상기 오른쪽눈의 시선 방향과, 상기 왼쪽눈의 시선 방향에 근거하여, 상기 3차원 화상에 있어서 유저가 주시하고 있는 개소를 특정하는 기능과,
    상기 오른쪽눈의 시선 방향으로서, 당해 시선 방향을 나타내는 오른쪽눈 시선 벡터를 산출하는 기능과,
    상기 왼쪽눈의 시선 방향으로서, 당해 시선 방향을 나타내는 왼쪽눈 시선 벡터를 산출하는 기능과,
    상기 오른쪽눈 시선 벡터에 평행한 복수의 제1 평행 시선 벡터와, 상기 왼쪽눈 시선 벡터에 평행한 복수의 제2 평행 시선 벡터의 교점에 근거하여, 상기 유저가 주시하고 있는 개소를 특정하는 기능을 실현시키는 주시점 특정 프로그램.
KR1020167035067A 2015-11-27 2015-11-27 시선 검출 시스템, 주시점 특정 방법 및 주시점 특정 프로그램 KR101862499B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/083484 WO2017090203A1 (ja) 2015-11-27 2015-11-27 視線検出システム、注視点特定方法及び注視点特定プログラム

Publications (2)

Publication Number Publication Date
KR20170082457A KR20170082457A (ko) 2017-07-14
KR101862499B1 true KR101862499B1 (ko) 2018-05-29

Family

ID=58763231

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167035067A KR101862499B1 (ko) 2015-11-27 2015-11-27 시선 검출 시스템, 주시점 특정 방법 및 주시점 특정 프로그램

Country Status (5)

Country Link
US (2) US9880384B2 (ko)
KR (1) KR101862499B1 (ko)
CN (1) CN107111381A (ko)
TW (1) TW201717840A (ko)
WO (1) WO2017090203A1 (ko)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017090203A1 (ja) * 2015-11-27 2017-06-01 フォーブ インコーポレーテッド 視線検出システム、注視点特定方法及び注視点特定プログラム
CN205594581U (zh) 2016-04-06 2016-09-21 北京七鑫易维信息技术有限公司 视频眼镜的眼球追踪模组
CN106125930A (zh) * 2016-06-27 2016-11-16 上海乐相科技有限公司 一种虚拟现实设备及主视角画面校准的方法
CN106908951A (zh) * 2017-02-27 2017-06-30 阿里巴巴集团控股有限公司 虚拟现实头戴设备
CN106932905A (zh) * 2017-02-27 2017-07-07 阿里巴巴集团控股有限公司 虚拟现实头戴设备
DE102017129795A1 (de) 2017-06-30 2019-01-03 Lg Display Co., Ltd. Anzeigevorrichtung und gate-treiberschaltkreis davon, ansteuerungsungsverfahren und virtuelle-realität-vorrichtung
KR102495234B1 (ko) * 2017-09-06 2023-03-07 삼성전자주식회사 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
US10254832B1 (en) * 2017-09-28 2019-04-09 Microsoft Technology Licensing, Llc Multi-item selection using eye gaze
JP6897467B2 (ja) * 2017-10-02 2021-06-30 富士通株式会社 視線検出装置、視線検出プログラム、及び視線検出方法
US11073903B1 (en) 2017-10-16 2021-07-27 Facebook Technologies, Llc Immersed hot mirrors for imaging in eye tracking
US11237628B1 (en) 2017-10-16 2022-02-01 Facebook Technologies, Llc Efficient eye illumination using reflection of structured light pattern for eye tracking
CN110134222A (zh) * 2018-02-02 2019-08-16 上海集鹰科技有限公司 一种vr头显定位瞄准系统及其定位瞄准方法
US10521013B2 (en) * 2018-03-01 2019-12-31 Samsung Electronics Co., Ltd. High-speed staggered binocular eye tracking systems
CN108592865A (zh) * 2018-04-28 2018-09-28 京东方科技集团股份有限公司 基于ar设备的几何量测量方法及其装置、ar设备
US11163166B1 (en) * 2018-05-23 2021-11-02 Facebook Technologies, Llc Removable frames for head-mounted display systems
US10552986B1 (en) * 2018-07-20 2020-02-04 Banuba Limited Computer systems and computer-implemented methods configured to track multiple eye-gaze and heartrate related parameters during users' interaction with electronic computing devices
US10838132B1 (en) 2018-08-21 2020-11-17 Facebook Technologies, Llc Diffractive gratings for eye-tracking illumination through a light-guide
US10996748B2 (en) 2018-09-10 2021-05-04 Apple Inc. Gaze-dependent display encryption
US10725302B1 (en) 2018-11-02 2020-07-28 Facebook Technologies, Llc Stereo imaging with Fresnel facets and Fresnel reflections
US10852817B1 (en) 2018-11-02 2020-12-01 Facebook Technologies, Llc Eye tracking combiner having multiple perspectives
CN109756723B (zh) 2018-12-14 2021-06-11 深圳前海达闼云端智能科技有限公司 获取影像的方法和装置，存储介质和电子设备
US10771774B1 (en) * 2019-03-22 2020-09-08 Varjo Technologies Oy Display apparatus and method of producing images having spatially-variable angular resolutions
US11467370B2 (en) 2019-05-27 2022-10-11 Samsung Electronics Co., Ltd. Augmented reality device for adjusting focus region according to direction of user's view and operating method of the same
KR20200136297A (ko) * 2019-05-27 2020-12-07 삼성전자주식회사 사용자의 시선 방향에 따라 초점 영역을 조절하는 증강 현실 디바이스 및 그 동작 방법
US20210011550A1 (en) * 2019-06-14 2021-01-14 Tobii Ab Machine learning based gaze estimation with confidence
CN110426845B (zh) * 2019-08-09 2021-03-23 业成科技（成都）有限公司 眼球追踪架构
FR3100704B1 (fr) * 2019-09-13 2021-08-27 E Swin Dev Dispositif de mesure ophtalmologique polyvalent
US11809622B2 (en) 2020-12-21 2023-11-07 Samsung Electronics Co., Ltd. Electronic device and method for eye-tracking of user and providing augmented reality service thereof
KR20220111575A (ko) * 2021-02-02 2022-08-09 삼성전자주식회사 전자 장치 및 그의 사용자 시선을 추적하고 증강 현실 서비스를 제공하는 방법
US11880504B2 (en) * 2021-09-28 2024-01-23 Ramot At Tel-Aviv University Ltd. Automatic preference quantification of displayed objects based on eye tracker data
DE102022203677A1 (de) * 2022-04-12 2023-10-12 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zu einer Bestimmung einer momentanen Blickrichtung eines Nutzers einer Datenbrille mit einer virtuellen Netzhautanzeige und Datenbrille
CN116027910B (zh) * 2023-03-29 2023-07-04 广州视景医疗软件有限公司 一种基于vr眼动追踪技术的眼位图生成方法及系统

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2939988B2 (ja) 1989-04-05 1999-08-25 キヤノン株式会社 視線検出装置
JPH06337756A (ja) * 1993-05-28 1994-12-06 Daikin Ind Ltd ３次元位置指定方法および仮想空間立体視装置
JP3361980B2 (ja) * 1997-12-12 2003-01-07 株式会社東芝 視線検出装置及びその方法
US6806898B1 (en) * 2000-03-20 2004-10-19 Microsoft Corp. System and method for automatically adjusting gaze and head orientation for video conferencing
DE102005023126B4 (de) * 2005-05-19 2022-06-30 Rodenstock Gmbh Serie von Brillengläsern, Verfahren zur Herstellung
JP5858433B2 (ja) * 2010-12-08 2016-02-10 国立大学法人静岡大学 注視点検出方法及び注視点検出装置
CN102830793B (zh) * 2011-06-16 2017-04-05 北京三星通信技术研究有限公司 视线跟踪方法和设备
US9342610B2 (en) * 2011-08-25 2016-05-17 Microsoft Technology Licensing, Llc Portals: registered objects as virtualized, personalized displays
TWI471808B (zh) * 2012-07-20 2015-02-01 Pixart Imaging Inc 瞳孔偵測裝置
EP2893388B1 (en) 2012-09-03 2016-08-03 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Head mounted system and method to compute and render a stream of digital images using a head mounted system
CN103020983B (zh) * 2012-09-12 2017-04-05 深圳先进技术研究院 一种用于目标跟踪的人机交互装置及方法
US10514541B2 (en) * 2012-12-27 2019-12-24 Microsoft Technology Licensing, Llc Display update time reduction for a near-eye display
US20150003819A1 (en) * 2013-06-28 2015-01-01 Nathan Ackerman Camera auto-focus based on eye gaze
CN105814516B (zh) * 2013-10-11 2019-07-30 交互数字专利控股公司 注视驱动的增强现实
JP6608137B2 (ja) 2014-01-03 2019-11-20 ハーマン インターナショナル インダストリーズ インコーポレイテッド ディスプレイ上の両眼転導検出
US9201578B2 (en) * 2014-01-23 2015-12-01 Microsoft Technology Licensing, Llc Gaze swipe selection
US10067561B2 (en) * 2014-09-22 2018-09-04 Facebook, Inc. Display visibility based on eye convergence
CN104834381B (zh) * 2015-05-15 2017-01-04 中国科学院深圳先进技术研究院 用于视线焦点定位的可穿戴设备及视线焦点定位方法
JP6002286B1 (ja) * 2015-07-14 2016-10-05 株式会社コロプラ ヘッドマウントディスプレイ制御方法、および、ヘッドマウントディスプレイ制御プログラム
WO2017090203A1 (ja) * 2015-11-27 2017-06-01 フォーブ インコーポレーテッド 視線検出システム、注視点特定方法及び注視点特定プログラム

Also Published As

Publication number Publication date
CN107111381A (zh) 2017-08-29
TW201717840A (zh) 2017-06-01
KR20170082457A (ko) 2017-07-14
US20170285337A1 (en) 2017-10-05
WO2017090203A1 (ja) 2017-06-01
US20180106999A1 (en) 2018-04-19
US9880384B2 (en) 2018-01-30

Similar Documents

Publication Publication Date Title
KR101862499B1 (ko) 시선 검출 시스템, 주시점 특정 방법 및 주시점 특정 프로그램
KR101883090B1 (ko) 헤드 마운트 디스플레이
US11169600B1 (en) Virtual object display interface between a wearable device and a mobile device
US10409368B2 (en) Eye-gaze detection system, displacement detection method, and displacement detection program
KR20180002534A (ko) 외부 촬상 시스템, 외부 촬상 방법, 외부 촬상 프로그램
EP3714318B1 (en) Position tracking system for head-mounted displays that includes sensor integrated circuits
CN110908503A (zh) 跟踪和漂移校正
US10115235B2 (en) Method for controlling head mounted display, and system for implemeting the method
KR20150123226A (ko) 착용가능 행동 기반 시각 시스템
CN114761909A (zh) 针对头戴式显示器的内容稳定
KR20170141140A (ko) 헤드 마운트 디스플레이, 시선 검출 시스템
TW201802642A (zh) 視線檢測系統
JP6485819B2 (ja) 視線検出システム、ずれ検出方法、ずれ検出プログラム
KR20190024691A (ko) 영상 표시 시스템, 영상 표시 방법 및 영상 표시 프로그램
US20170371408A1 (en) Video display device system, heartbeat specifying method, heartbeat specifying program
JP6020009B2 (ja) ヘッドマウントディスプレイ、それを作動させる方法およびプログラム
KR20180076342A (ko) 추정 시스템, 추정 방법 및 추정 프로그램
KR20190038296A (ko) 화상 표시 시스템, 화상 표시 방법 및 화상 표시 프로그램
US20200319709A1 (en) Information processing system, operation method, and operation program
US11422622B2 (en) Electronic device and operating method thereof

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant