KR20170095194A - 정보 처리 장치, 정보 처리 방법 및 프로그램 - Google Patents

정보 처리 장치, 정보 처리 방법 및 프로그램 Download PDF

Info

Publication number
KR20170095194A
KR20170095194A KR1020177013177A KR20177013177A KR20170095194A KR 20170095194 A KR20170095194 A KR 20170095194A KR 1020177013177 A KR1020177013177 A KR 1020177013177A KR 20177013177 A KR20177013177 A KR 20177013177A KR 20170095194 A KR20170095194 A KR 20170095194A
Authority
KR
South Korea
Prior art keywords
optical axis
marker
calibration
user
axis vector
Prior art date
Application number
KR1020177013177A
Other languages
English (en)
Other versions
KR102469507B1 (ko
Inventor
다쿠로 노다
가즈유키 야마모토
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20170095194A publication Critical patent/KR20170095194A/ko
Application granted granted Critical
Publication of KR102469507B1 publication Critical patent/KR102469507B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0091—Fixation targets for viewing direction
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Abstract

유저가 스트레스를 느끼는 일 없이, 시선 검출의 정밀도를 향상시키기 위한 캘리브레이션을 실행시키는 것이 가능한 정보 처리 장치를 제공한다.
아이웨어 단말기의 캘리브레이션 시에, 아이웨어 단말기의 표시부에 표시되는 주시점 마커의 표시 위치를 변화시키는 마커 제어부와, 아이웨어 단말기를 장착하는 유저의 눈에 광원으로부터 광이 조사되고, 캘리브레이션점에 주시점 마커가 표시되어 있을 때에 촬영된 유저의 눈을 포함하는 촬영 화상에 기초하여, 동공 각막 반사법에 의해, 유저의 시선 방향을 나타내는 광축 벡터를 연산하는 연산 처리부와, 복수의 캘리브레이션점에 대하여 연산된 광축 벡터의 변동을 평가하는 평가부를 구비하는, 정보 처리 장치가 제공된다.

Description

정보 처리 장치, 정보 처리 방법 및 프로그램{INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD AND PROGRAM}
본 개시는, 정보 처리 장치, 정보 처리 방법 및 프로그램에 관한 것이다.
다양한 콘텐츠가 표시되는 표시면에 대한 유저의 시선을 검출하고, 검출된 시선을 각종 동작에 이용하는 기술이 제안되어 있다. 예를 들어, 특허문헌 1에는, 파인더를 들여다보는 유저의 안구에 적외 대역의 광(적외광)을 조사하고, 그 안구로부터의 반사광을 검출기에 의해 포착함으로써 스루 화상이 표시되는 표시면에 대한 유저의 시선을 검출함과 함께, 검출된 시선을 자동 초점 조절(AF: Auto Focus)에 이용하는 촬상 장치가 개시되어 있다.
일본 특허 공개 평5-333259호 공보
최근 들어, 헤드 마운트 디스플레이나 안경형 단말기 등의 웨어러블 단말기의 개발이 급속하게 진행되고 있다. 이러한 유저가 장착하여 디스플레이를 보는 웨어러블 단말기에 있어서도 유저의 시선을 검출하는 기술은 중요하며, 검출된 시선은, 예를 들어, 단말기의 조작 정보로서 이용되거나, 자동 초점 조절의 정보로서 사용되거나 한다. 특히, 웨어러블 단말기에 있어서는, 유저가 스트레스를 느끼는 일 없이, 시선 검출의 정밀도를 향상시키기 위한 캘리브레이션이 행하여지는 것이 바람직하다.
그래서, 본 개시에서는, 유저가 스트레스를 느끼는 일 없이, 시선 검출의 정밀도를 향상시키기 위한 캘리브레이션을 실행시키는 것이 가능한, 신규이면서 개량된 정보 처리 장치, 정보 처리 방법 및 프로그램을 제안한다.
본 개시에 의하면, 아이웨어 단말기의 캘리브레이션 시에, 아이웨어 단말기의 표시부에 표시되는 주시점 마커의 표시 위치를 변화시키는 마커 제어부와, 아이웨어 단말기를 장착하는 유저의 눈에 광원으로부터 광이 조사되고, 캘리브레이션점에 주시점 마커가 표시되어 있을 때에 촬영된 유저의 눈을 포함하는 촬영 화상에 기초하여, 동공 각막 반사법에 의해, 유저의 시선 방향을 나타내는 광축 벡터를 연산하는 연산 처리부와, 복수의 캘리브레이션점에 대하여 연산된 광축 벡터의 변동을 평가하는 평가부를 구비하는, 정보 처리 장치가 제공된다.
또한, 본 개시에 의하면, 정보 처리 장치에 의해, 아이웨어 단말기의 캘리브레이션 시에, 아이웨어 단말기의 표시부에 표시되는 주시점 마커의 표시 위치를 변화시키는 것, 아이웨어 단말기를 장착하는 유저의 눈에 광원으로부터 광이 조사되고, 캘리브레이션점에 주시점 마커가 표시되어 있을 때에 촬영된 유저의 눈을 포함하는 촬영 화상에 기초하여, 동공 각막 반사법에 의해, 유저의 시선 방향을 나타내는 광축 벡터를 연산하는 것, 복수의 캘리브레이션점에 대하여 연산된 광축 벡터의 변동을 평가하는 것을 포함하는, 정보 처리 방법이 제공된다.
또한, 본 개시에 의하면, 컴퓨터를, 아이웨어 단말기의 캘리브레이션 시에, 아이웨어 단말기의 표시부에 표시되는 주시점 마커의 표시 위치를 변화시키는 마커 제어부와, 아이웨어 단말기를 장착하는 유저의 눈에 광원으로부터 광이 조사되고, 캘리브레이션점에 주시점 마커가 표시되어 있을 때에 촬영된 유저의 눈을 포함하는 촬영 화상에 기초하여, 동공 각막 반사법에 의해, 유저의 시선 방향을 나타내는 광축 벡터를 연산하는 연산 처리부와, 복수의 캘리브레이션점에 대하여 연산된 광축 벡터의 변동을 평가하는 평가부를 구비하는, 정보 처리 장치로서 기능시키는 프로그램이 제공된다.
이상 설명한 바와 같이 본 개시에 의하면, 유저가 스트레스를 느끼는 일 없이, 시선 검출의 정밀도를 향상시키기 위한 캘리브레이션을 실행시킬 수 있다. 또한, 상기 효과는 반드시 한정적인 것은 아니고, 상기 효과와 함께, 또는 상기 효과 대신에, 본 명세서에 나타난 어느 효과, 또는 본 명세서로부터 파악될 수 있는 다른 효과가 발휘되어도 된다.
도 1은 안구의 구조를 도시하는 설명도이다.
도 2는 본 개시의 일 실시 형태에 따른 아이웨어 단말기의, 유저의 눈과 대향하는 측의 구성을 도시하는 설명도이다.
도 3은 동 실시 형태에 따른 아이웨어 단말기가 장착되었을 때의, 유저의 안구와 아이웨어 단말기의 위치 관계를 도시하는 개략 측면도이다.
도 4는 동 실시 형태에 따른 아이웨어 단말기 및 정보 처리 장치의 기능 구성을 도시하는 기능 블록도이다.
도 5는 본 실시 형태에 따른 정보 처리 장치에 의한 아이웨어 단말기의 캘리브레이션 처리를 도시하는 흐름도이다.
도 6은 이동하여 표시되는 주시점 마커의 일 표시예를 도시하는 설명도이다.
도 7은 동공 각막 반사법을 사용한 광축 벡터의 산출 처리에 대하여 설명하기 위한 설명도이다.
도 8은 마커 벡터와 광축 벡터의 관계를 도시하는 설명도이다.
도 9는 시선 데이터를 취득하는 캘리브레이션점의 일례를 도시하는 설명도이다.
도 10은 시선 데이터를 취득하는 캘리브레이션점의 다른 예를 도시하는 설명도이다.
도 11은 광축의 변동의 평가 결과의 일례를 나타내는 그래프이다.
도 12는 마커 벡터 및 광축 벡터의 좌표를 도시하는 설명도이다.
도 13은 캘리브레이션점의 위치의 변경을 설명하기 위한 설명도이다.
도 14는 광원으로부터 광이 조사되었을 때에 눈에 나타나는 휘점의 예를 도시하는 설명도이다.
도 15는 동 실시 형태에 따른 정보 처리 장치의 하드웨어 구성을 도시하는 하드웨어 구성도이다.
이하에 첨부 도면을 참조하면서, 본 개시의 바람직한 실시 형태에 대하여 상세하게 설명한다. 또한, 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 갖는 구성 요소에 대해서는, 동일한 번호를 부여함으로써 중복 설명을 생략한다.
또한, 설명은 이하의 순서로 행하는 것으로 한다.
1. 개요
2. 아이웨어 단말기의 하드웨어 구성
3. 기능 구성
4. 캘리브레이션 처리
(1) 주시점 마커 표시(S100)
(2) 시선 데이터 취득(S110 내지 S140)
(3) 평가(S150 내지 S180)
5. 검출 정밀도 향상에 대한 대응
5.1. 휘점의 페어링
5.2. 주시점 마커 표시 위치의 동적 변경
6. 하드웨어 구성
<1. 개요>
먼저, 도 1을 참조하여, 본 개시의 일 실시 형태에 따른 정보 처리 장치의 개요에 대하여 설명한다. 또한, 도 1은, 안구의 구조를 도시하는 설명도이다.
본 실시 형태에 따른 정보 처리 장치는, 디스플레이에 대한 유저의 시선을 검출할 때에, 시선 검출 정밀도를 향상시키기 위하여 실행되는 캘리브레이션을 행하는 장치이다. 본 실시 형태에서는, 동공 각막 반사법을 사용하여 유저의 시선을 검출한다. 동공 각막 반사법은, 유저의 안구에 대하여 광원으로부터 광을 조사하고, 그 광의 각막 표면에서의 반사광과 동공의 위치를 검출하여 시선 방향을 추정하는 방법이다.
여기서, 유저의 시선은, 도 1에 도시한 바와 같이, 안구(10)의 수정체(12)의 중앙 후방면에 있는 절점(12a)과 중심 와(16a)를 연결하는 시축(AS) 상에 있다. 한편, 상술한 동공 각막 반사법으로 추정되는 시선 방향은, 동공(17)의 중심을 통과하는 각막(14)의 법선 상의 광축(AO)에 있다. 시축(AS)과 광축(AO)은 어긋나 있고, 개인차에 따라 다르지만, 일반적으로는 4 내지 8° 정도 기울어져 있다. 이 어긋남이 커지면 시선 검출 정밀도가 저하되기 때문에, 캘리브레이션을 행하여 어긋남을 보정한다.
캘리브레이션은, 이하의 수순으로 행하여진다.
(수순 1) 시야 내의 있는 점(이하, 「주시점」이라고도 한다.)을 보았을 때의 광축을 추정
(수순 2) 각막 곡률 중심으로부터 주시점으로의 주시점 벡터와 추정된 광축의 벡터의 차분을 측정
(수순 3) (수순 2)에서 측정한 차분에 기초하여, 임의의 점을 보았을 때의 광축으로부터, 그때의 시축을 추정
또한, 안구(10)는 근육의 인장에 의해 회전되기 때문에, 보는 방향에 따라 롤 회전이 가해진다. 이 때문에, 캘리브레이션의 파라미터는, 안구(10)의 방향에 따라 상이하다. 따라서, 통상, 시야 내의 복수(예를 들어, 5점 내지 9점)의 주시점에 있어서 파라미터는 취득된다.
이러한 캘리브레이션에 있어서는, 동공 표면에서의 반사광의 검출이나 광축의 추정에 오차가 있다. 이 오차의 변동을 억제함으로써, 시선 검출의 정밀도를 높이는 것이 가능해진다. 따라서, 본 실시 형태에 따른 정보 처리 장치에서는, 오차의 변동을 억제하도록 캘리브레이션을 행한다. 이때, 유저가 스트레스를 느끼는 일 없이, 캘리브레이션이 실행되도록 각종 처리가 행하여진다. 이하, 본 실시 형태에 따른 정보 처리 장치의 구성과 그 기능에 대해서, 상세하게 설명한다.
<2. 아이웨어 단말기의 하드웨어 구성>
본 실시 형태에 따른 정보 처리 장치의 설명에 앞서, 도 2 및 도 3에 기초하여, 본 실시 형태에 따른 정보 처리 장치에 의한 캘리브레이션이 행하여지는 아이웨어 단말기(100)의 하드웨어 구성을 설명한다. 또한, 도 2는, 아이웨어 단말기(100)의, 유저의 눈과 대향하는 측의 구성을 도시하는 설명도이다. 도 3은, 아이웨어 단말기(100)가 장착되었을 때의, 유저의 안구(10)와 아이웨어 단말기(100)의 위치 관계를 도시하는 개략 측면도이다.
아이웨어 단말기(100)는 유저가 헤드부에 장착하고, 눈과 표시부를 대향시킨 상태에서 사용되는 장치이다. 아이웨어 단말기(100)는 예를 들어, 헤드 마운트 디스플레이나 안경형 단말기 등이다. 본 실시 형태에 따른 아이웨어 단말기(100)의, 유저의 눈과 대향하는 측의 면에는, 도 2에 도시한 바와 같이, 우안 및 좌안에 대응하는 위치에, 각각 표시부(102R, 102L)가 설치되어 있다. 본 실시 형태에 따른 표시부(102R, 102L)는, 대략 직사각형으로 형성되어 있다. 또한, 하우징(101)에는, 표시부(102R, 102L)의 사이에, 유저의 코가 위치하는 오목부(101a)가 형성되어 있어도 된다.
표시부(102R)의 주위에는, 4개의 광원(103Ra, 103Rb, 103Rc, 103Rd)이, 표시부(102R)의 4개의 변의 대략 중앙에 각각 설치되어 있다. 마찬가지로, 표시부(102L)의 주위에는, 4개의 광원(103La, 103Lb, 103Lc, 103Ld)이, 표시부(102L)의 4개의 변의 대략 중앙에 각각 설치되어 있다. 이들 광원(103Ra 내지 103Rd, 103La 내지 103Ld)은, 적외광을 발하는 광원을 포함한다. 각 광원(103Ra 내지 103Rd, 103La 내지 103Ld)은, 이들이 설치되어 있는 표시부(102R, 102L)에 대향하고 있는 유저의 안구(10)에 대하여 광을 조사한다.
또한, 표시부(102R, 102L)의 주위에는, 각각, 안구(10)를 촬영하는 촬상부(104R, 104L)가 설치되어 있다. 각 촬상부(104R, 104L)는, 예를 들어, 도 2에 도시한 바와 같이, 각 표시부(102R, 102L)의 하부(각 표시부(102R, 102L)의 하부에 설치된 광원(103Rc, 103Lc)보다도 하부측)에 설치된다. 촬상부(104R, 104L)는, 도 3에 도시한 바와 같이, 적어도 촬영하는 안구(10)의 동공(17)이 촬영 범위에 포함되도록 배치된다. 예를 들어, 촬상부(104R, 104L)는, 소정의 앙각 θ를 갖도록 배치된다. 앙각 θ는, 예를 들어 약 30°로 해도 된다.
또한, 아이웨어 단말기(100)는 유저에 장착되었을 때, 표시부(102R, 102L)가 유저의 안구(10)로부터 소정의 거리만큼 이격되도록 구성된다. 이에 의해, 아이웨어 단말기(100)를 장착한 유저는, 불쾌함 없이, 표시부(102R, 102L)의 표시 영역을 시야 내에 들어가게 할 수 있다. 이때, 유저가 안경(G)을 장착하고 있는 경우에도, 그 위로부터 겹쳐서 아이웨어 단말기(100)를 장착 가능하도록, 표시부(102R, 102L)와 유저의 안구(10)의 거리를 결정해도 된다. 촬상부(104R, 104L)는, 이 상태에서, 유저의 안구(10)의 동공(17)이 촬영 범위에 포함되도록 배치된다.
<3. 기능 구성>
이어서, 도 4에 기초하여, 상술한 아이웨어 단말기(100)와, 당해 아이웨어 단말기(100)의 캘리브레이션을 행하는 정보 처리 장치(200)의 기능 구성을 설명한다. 또한, 도 4는, 아이웨어 단말기(100) 및 정보 처리 장치(200)의 기능 구성을 도시하는 기능 블록도이다.
[3.1. 아이웨어 단말기]
아이웨어 단말기(100)는 도 4에 도시한 바와 같이, 광원(110)과, 촬상부(120)와, 표시부(130)와, 제어부(140)와, 송수신부(150)를 구비한다.
광원(110)은 아이웨어 단말기(100)를 장착한 유저의 안구(10)에 대하여 광을 조사한다. 광원(110)은 예를 들어 적외광을 출사하는 광원이며, 도 2의 광원(103Ra 내지 103Rd, 103La 내지 103Ld)에 상당한다. 광원(110)은 제어부(140)의 지시에 기초하여, 광을 출사한다.
촬상부(120)는 아이웨어 단말기(100)를 장착한 유저의 안구(10)를 촬영한다. 촬상부(120)는 도 2의 촬상부(104R, 104L)에 대응한다. 촬상부(120)는 제어부(140)의 지시에 기초하여 촬영을 행하고, 촬영한 촬상 화상을 제어부(140)로 출력한다.
표시부(130)는 정보를 표시하는 출력부이다. 표시부(130)는 도 2의 표시부(102R, 102L)에 상당한다. 표시부(130)는 예를 들어 액정 디스플레이나 유기 EL 디스플레이, 또는, 투영 장치에 의해 정보가 표시되는 렌즈여도 된다. 표시부(130)에는, 제어부(140)의 지시에 의해 정보가 표시된다.
제어부(140)는 아이웨어 단말기(100)의 기능 전반을 제어한다. 제어부(140)는 예를 들어 광원(110)의 점등 제어를 행하거나, 촬상부(120)의 촬영 제어를 행하거나, 표시부(130)에 정보를 표시시키거나 한다. 또한, 제어부(140)는 송수신부(150)를 통하여, 정보 처리 장치(200)와의 정보의 송수신 제어를 행한다.
송수신부(150)는 외부 기기와 정보의 송수신을 행하는 인터페이스이다. 본 실시 형태에서는, 아이웨어 단말기(100)는 정보 처리 장치(200)와 정보의 송수신을 행함으로써, 캘리브레이션이 행하여진다. 이때, 아이웨어 단말기(100)로부터는, 촬상부(120)에 의해 촬영된 촬상 화상이 송수신부(150)를 통하여 정보 처리 장치(200)에 송신된다. 또한, 정보 처리 장치(200)로부터 송신되는, 캘리브레이션 시의 광원(110)의 점등 제어 정보나, 촬상부(120)에 촬영을 행하게 하는 촬영 제어 정보, 표시부(130)에 표시시키는 표시 정보 등은, 송수신부(150)를 통하여 수신된다.
[3.2. 정보 처리 장치]
이어서, 정보 처리 장치(200)는 도 4에 도시한 바와 같이, 송수신부(210)와, 마커 제어부(220)와, 연산 처리부(230)와, 기억부(240)와, 평가부(250)를 구비한다.
송수신부(210)는 외부 기기와 정보의 송수신을 행하는 인터페이스이다. 본 실시 형태에 있어서, 송수신부(210)는 아이웨어 단말기(100)와, 캘리브레이션을 실행시키기 위한 정보 송수신을 행한다. 이때, 송수신부(210)는 캘리브레이션 시의 광원(110)의 점등 제어 정보나, 촬상부(120)에 촬영을 행하게 하는 촬영 제어 정보, 표시부(130)에 표시시키는 표시 정보 등을, 아이웨어 단말기(100)에 송신한다. 또한, 송수신부(210)는 아이웨어 단말기(100)로부터, 촬상부(120)에 의해 촬영된 촬상 화상 등을 수신한다.
마커 제어부(220)는 캘리브레이션 시에 아이웨어 단말기(100)의 표시부(130)에 표시되는 주시점 마커의 표시 제어를 행한다. 주시점 마커는, 유저의 광축과 시축의 어긋남을 측정하기 위하여 표시 영역에 표시되는 오브젝트이다. 표시된 주시점 마커에 유저의 시선을 맞춤으로써, 유저의 동공 중심으로부터 주시점 마커로의 벡터(이하, 「마커 벡터」라고도 한다.)를 얻을 수 있고, 또한, 그때의 유저 광축도 추정된다.
마커 제어부(220)는 표시 영역 내의 복수의 위치에 있어서 유저의 시선 데이터가 취득되도록, 주시점 마커를 소정의 위치(이하, 「캘리브레이션점」이라고도 한다.)에 순차 표시시킨다. 마커 제어부(220)는 주시점 마커가 표시되어 있는 캘리브레이션점에 있어서 소정수의 시선 데이터가 취득되면, 당해 주시점 마커를 다음 캘리브레이션점으로 이동시킨다는 처리를 반복하고, 모든 캘리브레이션점에 있어서 유저의 시선 데이터를 취득시킨다.
이때, 마커 제어부(220)는 주시점 마커를 표시시킨 상태에서, 각 캘리브레이션점 간에 주시점 마커를 이동시킨다. 이에 의해, 유저는 주시점 마커를 따라가도록 시선을 이동시키므로, 단속적으로 주시점 마커를 표시시키는 경우와 비교하여, 캘리브레이션점에 표시된 주시점 마커를 찾는 시간도 불필요하게 되고, 주시점 마커에 맞추어지는 시선의 움직임도 안정시킬 수 있다.
또한, 마커 제어부(220)는 캘리브레이션점 간을 이동하는 주시점 마커의 이동 속도를 제어해도 된다. 주시점 마커를 일정한 속도로 이동시키면, 주시점 마커가 이동처의 캘리브레이션점에 표시되었을 때의 시선이 고정되기 어렵다고 하는 경향이 있다. 따라서, 마커 제어부(220)는 캘리브레이션점 간을 이동하는 주시점 마커의 이동 속도를, 이동처의 캘리브레이션점에 접근할수록 느리게 하도록 제어해도 된다. 이에 의해, 주시점 마커는, 이동 개시 직후에는 빨리 이동하지만, 이동처의 캘리브레이션점에 가까워짐에 따라서 움직임이 느려진다. 유저의 시선은 주시점 마커의 이동 속도에 따라 움직이므로, 주시점 마커가 이동처의 캘리브레이션점에 접근하면 유저의 시선의 움직임도 느려져, 주시점 마커가 캘리브레이션점에 표시되었을 때에 시선을 정하기 쉽게 할 수 있다.
연산 처리부(230)는 각 캘리브레이션점에 주시점 마커를 표시시켰을 때의, 유저의 광축 및 마커 벡터를 각각 연산한다. 연산 처리부(230)는 아이웨어 단말기(100)로부터, 유저의 안구에 대하여 광원으로부터 광이 조사된 상태에서, 주시점 마커를 주시하는 유저의 눈을 촬영한 촬영 화상을 취득하고, 유저의 광축 및 마커 벡터를 연산한다. 연산된 광축 및 마커 벡터는, 캘리브레이션점마다 기억부(240)에 기억된다.
기억부(240)는 아이웨어 단말기(100)의 캘리브레이션 시에 필요한 각종 정보를 기억한다. 기억부(240)는 예를 들어, 주시점 마커를 표시시키는 캘리브레이션점의 위치나 주시점 마커를 어떻게 이동시킬지를 규정한 이동 정보, 각 캘리브레이션점에 있어서 취득하는 시선 데이터의 수, 캘리브레이션의 종료 판정에 사용하는 역치 등의 설정 정보가 기억된다. 또한, 기억부(240)는 연산 처리부(230)에 의해 연산된 시선 데이터가 기억된다.
평가부(250)는 아이웨어 단말기(100)의 캘리브레이션 종료 판정을 행한다. 평가부(250)는 각 캘리브레이션점에 있어서 추정된 유저의 광축 변동이 허용 범위 내에 있는지 여부를 판정함으로써, 정확하게 캘리브레이션되었는지 여부를 판정한다. 이 판정 처리의 상세에 대해서는 후술한다. 평가부(250)의 판정 결과로부터, 유저의 광축 변동이 소정 범위 내에 수렴되지 않았다고 판정된 경우에는, 캘리브레이션의 조건을 변경하고, 다시 캘리브레이션이 실행된다.
이상, 아이웨어 단말기(100) 및 정보 처리 장치(200)의 기능 구성에 대하여 설명하였다. 또한, 도 4에서는, 캘리브레이션 처리를 행하는 정보 처리 장치(200)는 아이웨어 단말기(100)와는 별체로서 나타냈지만, 본 개시는 이러한 예에 한정되지 않는다. 예를 들어, 도 3에 도시한 정보 처리 장치(200)의 기능 일부 또는 전부를 아이웨어 단말기(100)에 탑재시켜도 된다.
<4. 캘리브레이션 처리>
이하에, 도 5 내지 도 14에 기초하여, 본 실시 형태에 따른 정보 처리 장치(200)에 의한 아이웨어 단말기(100)의 캘리브레이션 처리에 대하여 설명한다. 또한, 도 5는, 본 실시 형태에 따른 정보 처리 장치(200)에 의한 아이웨어 단말기(100)의 캘리브레이션 처리를 도시하는 흐름도이다. 도 6은, 이동하여 표시되는 주시점 마커의 일 표시예를 도시하는 설명도이다. 도 7은, 동공 각막 반사법을 사용한 광축 벡터의 산출 처리에 대하여 설명하기 위한 설명도이다. 도 8은, 마커 벡터와 광축 벡터의 관계를 도시하는 설명도이다. 도 9는, 시선 데이터를 취득하는 캘리브레이션점의 일례를 도시하는 설명도이다. 도 10은, 시선 데이터를 취득하는 캘리브레이션점의 다른 예를 도시하는 설명도이다. 도 11은, 광축의 변동의 평가 결과의 일례를 나타내는 그래프이다. 도 12는, 마커 벡터 및 광축 벡터의 좌표를 도시하는 설명도이다. 도 13은, 캘리브레이션점의 위치의 변경을 설명하기 위한 설명도이다. 도 14는, 광원으로부터 광이 조사되었을 때에 눈에 나타나는 휘점의 예를 도시하는 설명도이다.
(1) 주시점 마커 표시(S100)
본 실시 형태에 따른 정보 처리 장치(200)에 의한 아이웨어 단말기(100)의 캘리브레이션 처리는, 표시부(130)에 주시점 마커를 표시하고, 유저의 시선을 주시점 시선을 맞추는 것으로부터 개시한다(S100). 주시점 마커의 표시 제어는, 정보 처리 장치(200)의 마커 제어부(220)의 지시를 받아, 제어부(140)에 의해 행하여진다. 캘리브레이션에서는, 표시부(130)의 표시 영역 내의 복수 위치에 있어서 유저의 시선 데이터를 취득한다. 시선 데이터를 취득하는 위치인 캘리브레이션점에 주시점 마커를 표시시킴으로써, 유저에게 의도적으로 시선을 주시점 마커에 맞추어서, 시선 데이터를 취득하는 것이 가능하게 된다.
주시점 마커는, 표시부(130)의 표시 영역(300) 내에 미리 설정된 복수의 캘리브레이션점에 순서대로 표시된다. 주시점 마커(M)는, 예를 들어 도 6에 도시한 바와 같이, 먼저, 표시 영역(300) 중앙의 캘리브레이션점(CP1)에 표시된다. 주시점 마커(M)가 캘리브레이션점(CP1)에 표시되면, 유저는 시선을 주시점 마커(M)에 맞춘다. 주시점 마커(M)를 표시시킨 상태로 함으로써 유저의 시선을 캘리브레이션점(CP1)에 고정할 수 있고, 이 상태에서 시선 데이터가 취득된다.
캘리브레이션점(CP1)에서의 시선 데이터가 취득되면, 주시점 마커(M)는, 표시된 채 다음 시선 데이터의 취득 위치인 표시 영역(300) 좌측 상단의 캘리브레이션점(CP2)으로 이동된다. 그리고, 캘리브레이션점(CP2)에서의 시선 데이터가 취득된다. 그 후, 표시 영역(300) 우측 상단의 캘리브레이션점(CP3), 표시 영역(300) 좌측 하단의 캘리브레이션점(CP4), 표시 영역(300) 우측 하단의 캘리브레이션점(CP5)에서, 시선 데이터의 취득과 이동이 반복하여 행하여진다.
스텝 S100에서는, 최초의 캘리브레이션점에 주시점 마커(M)를 표시시켜, 캘리브레이션 처리를 개시시킨다.
(2) 시선 데이터 취득(S110 내지 S140)
스텝 S100에서 최초의 캘리브레이션점에 주시점 마커(M)가 표시되면, 그 캘리브레이션점에 있어서의 유저의 시선 데이터가 취득된다(S110). 시선 데이터는, 추정된 유저의 시선 방향을 나타내는 광축 벡터와, 유저의 동공 중심으로부터 주시점 마커로의 마커 벡터를 포함한다.
(광축 벡터의 연산)
광축 벡터는, 예를 들어 동공 각막 반사법을 사용하여 추정된다. 여기서, 도 7에 기초하여, 동공 각막 반사법을 사용한 광축의 추정 처리에 대하여 설명한다. 동공 각막 반사법에서는, 표시부의 표시면(23)을 관찰하는 유저의 안구(10)에 대하여 광원(21)으로부터 광을 조사하고, 촬상부(22)에 의해 광이 조사된 안구(10)를 촬영한다. 그리고, 촬상부(22)에 의해 촬영된 촬영 화상(30)에 기초하여, 광축이 추정된다. 여기에서는 설명을 간단하게 하기 위해서, 하나의 광원(21)에 의해 안구(10)를 조사한 경우를 설명한다.
도 7에 도시한 바와 같이, 유저는, 표시면(23)에 표시되어 있는 주시점 마커(M)를 주시하고 있는 것으로 한다. 이때, 광원(21)에 의해 안구(10)에 대하여 광을 조사하고, 촬상부(22)에 의해 안구(10)를 촬영한다. 취득된 안구(10)의 촬영 화상(30)에는, 도 7에 도시한 바와 같이, 유저의 안구(10)의 각막(14), 홍채(13) 및 동공(17)이 촬영되어 있다. 또한, 촬영 화상(30)에서는, 광원(21)으로부터 안구(10)에 조사된 조사광의 휘점인 푸르킨예 상(Purkinje Image)(P)이 촬영되어 있다.
촬영 화상(30)이 취득되면, 광축의 산출 처리가 행하여진다. 광축의 산출 처리는, 연산 처리부(230)에 의해 행하여진다. 이 때문에, 먼저, 촬영 화상(30)으로부터 동공 중심(S) 및 푸르킨예 상(P)이 검출된다. 이들 검출 처리는, 공지된 화상 인식 기술에 의해 행할 수 있다.
예를 들어, 동공(17)의 상의 검출 처리에 있어서는, 촬영 화상(30)에 대한 각종 화상 처리(예를 들어 왜곡이나 흑색 레벨, 화이트 밸런스 등의 조정 처리), 촬영 화상(30) 내의 휘도 분포를 취득하는 처리 등이 행하여진다. 또한, 취득된 휘도 분포에 기초하여 동공(17)의 상의 윤곽(에지)을 검출하는 처리나, 검출된 동공(17)의 상의 윤곽을 원 또는 타원 등의 도형으로 근사하는 처리 등이 행하여져도 된다. 검출된 동공(17)의 상으로부터, 동공 중심(S)을 구할 수 있다.
또한, 푸르킨예 상(P)의 검출 처리에 있어서는, 촬영 화상(30)에 대한 각종 화상 처리, 촬영 화상(30) 내의 휘도 분포를 취득하는 처리, 당해 휘도 분포에 기초하여 주위의 화소와의 휘도값의 차가 비교적 큰 화소를 검출하는 처리 등의 일련의 처리가 행하여져도 된다. 또한, 검출된 푸르킨예 상(P)으로부터, 푸르킨예 상(P)의 중심을 검출해도 된다.
이어서, 동공 중심(S) 및 각막(14)의 곡률 중심점(C)의 3차원 좌표가 산출된다. 각막(14)의 곡률 중심점(C)은, 각막(14)을 구의 일부라고 간주한 경우의 당해 구의 중심이다. 동공 중심(S)의 3차원 좌표는, 촬영 화상(30)으로부터 검출된 동공(17)의 상에 기초하여 산출된다. 구체적으로는, 촬상부(22)와 안구(10)의 위치 관계, 각막(14) 표면에 있어서의 광의 굴절, 각막(14)의 곡률 중심점(C)과 동공 중심(S)의 거리 등에 기초하여, 촬영 화상(30)에 있어서의 동공(17)의 상의 윤곽 상의 각 점의 3차원 좌표가 산출된다. 이들 좌표의 중심점이, 동공 중심(S)의 3차원 좌표로 된다.
또한, 각막(14)의 곡률 중심점(C)은, 촬영 화상(30)으로부터 검출된 푸르킨예 상(P) 및 그의 중심에 기초하여 산출된다. 구체적으로는, 광원(21)과 촬상부(22)와 안구(10)의 위치 관계, 각막(14)의 곡률 반경 등에 기초하여, 촬상부(22)와 푸르킨예 상(P)의 중심을 연결하는 직선 상에 있어서, 각막(14)의 표면으로부터 안구(10)의 내부를 향하여 각막(14)의 곡률 반경만큼 진행한 위치가, 각막(14)의 곡률 중심점(C)의 3차원 좌표로서 산출된다.
이렇게 산출된 각막(14)의 곡률 중심점(C)과 동공 중심(S)을 연결하는 직선이, 추정된 광축이 된다. 즉, 광축과 표시면(23)이 교차하는 위치의 좌표가, 추정된 유저의 시선 위치가 된다. 또한, 각막(14)의 곡률 중심점(C)으로부터 동공 중심(S)을 향하는 벡터를 광축 벡터(vo)라 한다.
(마커 벡터의 연산)
한편, 유저의 동공 중심(S)으로부터 주시점 마커(M)로의 마커 벡터는, 상술한 바와 같이 촬영 화상(30)으로부터 특정된 동공 중심(S)으로부터, 현재 주시점 마커(M)가 표시되어 있는 표시면(23) 상의 위치를 향하는 벡터로서 산출할 수 있다.
이와 같이, 스텝 S110에서는, 광축 벡터 및 마커 벡터가 시선 데이터로서 연산 처리부(230)에 의해 연산되어, 취득된다. 취득한 시선 데이터는, 기억부(240)에 기억된다.
(검출 결과의 변동 억제)
여기서, 연산 처리부(230)는 연산한 광축 벡터(vo)가 캘리브레이션의 검출 결과로서 사용 가능한 정보인지 여부를 판정해도 된다.
구체적으로는, 예를 들어, 광축 벡터(vo)의 흔들림이 소정의 범위 내에 있는지 여부를 판정하고, 연산한 광축 벡터(vo)가 지금까지 취득된 광축 벡터(vo)로부터 크게 벗어난 것이 아님을 확인해도 된다. 연산 처리부(230)에 의해 연산된 광축 벡터(vo)는, 기억부(240)에 이력으로서 기억되어 있다. 이것을 사용하여, 연산 처리부(230)는 예를 들어, 금회 연산분을 포함한 과거 N회에 취득한 광축 벡터의 평균 vo_ave와 금회의 광축 벡터(vo)가 이루는 각이 소정값 이내에 있음을 확인한다. 그리고, 광축 벡터의 평균 vo_ave와 금회의 광축 벡터(vo)가 이루는 각이 소정의 역치를 초과했을 때, 금회 연산된 광축 벡터(vo)는 흔들림이 크다고 보고, 캘리브레이션의 검출 결과로서 사용하지 않도록 한다. 이에 의해, 광축 벡터의 정밀도를 높일 수 있다.
광축 벡터의 평균 vo_ave는, 예를 들어 과거 3회의 광축 벡터(vo)를 사용하여 산출해도 된다. 또한, 광축 벡터의 평균 vo_ave와 금회의 광축 벡터(vo)가 이루는 각을 판정하기 위한 역치는, 예를 들어 3° 정도로 해도 된다. 이 역치는, 검출의 흔들림을 가미하여 결정된다. 이러한 판정에 의해, 예를 들어 도 8에 도시한 바와 같이, 추정된 유저의 시선 위치 m1, m2, m3이 있었을 때, 시선 위치 m3과 같이 다른 것으로부터 벗어나 있는 것을 검출 결과로부터 제외할 수 있다. 또한, 유저가 주시점 마커(M)를 보지 않고 있을 때에 촬영된 촬영 화상으로부터 광축 벡터(vo)가 연산된 경우에도, 연산된 광축 벡터(vo)는, 광축 벡터의 평균 vo_ave로부터 크게 벗어나는 것이 된다. 이러한 것도, 당해 판정에 의해 검출 결과로부터 제외할 수 있다.
또한, 연산 처리부(230)는 예를 들어, 연산한 마커 벡터(vm)와 광축 벡터(vo)가 이루는 각 ω가 소정값 이하인지 여부를 판정해도 된다. 이러한 판정에 의해, 추정된 광축 벡터(vo)가, 실제의 시선 방향으로부터 크게 어긋나 있지 않은지를 확인할 수 있다. 여기에서 사용하는 역치의 값은, 광축과 시축의 어긋남이나 광축의 검출 오차 등을 고려하여 결정된다.
예를 들어, 추정된 유저의 시선 방향(즉, 광축)과, 실제로 유저가 보고 있는 방향(즉, 시축)은 반드시 일치하는 것은 아니다. 이것은, 안구의 형상이나 크기, 안구에 있어서의 망막이나 시신경의 배치 등에 기인한다. 개인차도 있지만, 광축과 시축은 통상 4 내지 8° 어긋나 있다. 또한, 광축의 검출 오차는 수°, 예를 들어 ±3° 정도 존재한다고 생각된다. 이들 오차에 기타의 축적 오차±1°을 가미하면, 0 내지 12° 정도의 오차의 발생이 상정된다. 이 경우, 연산한 마커 벡터와 광축 벡터가 이루는 각 ω가 0 내지 12°의 범위 내에 있다면, 연산한 광축 벡터(vo)의 정밀도는 허용할 수 있는 것으로 보고, 캘리브레이션의 검출 결과로서 사용하게 해도 된다.
이러한 판정 처리를 행함으로써, 검출 결과의 변동을 억제할 수 있고, 광축 벡터의 정밀도를 높일 수 있다.
(오검출 판정)
또한, 상술한 검출 결과의 변동을 억제하기 위한 판정을 클리어한 경우에도, 동공이나 휘점이 틀린 장소를 계속하여 검출하는 경우도 있다. 틀린 검출 결과를 사용하면, 정확하게 캘리브레이션 처리를 행할 수 없다. 따라서, 연산 처리부(230)는 이러한 틀린 검출 결과를 캘리브레이션의 검출 결과로서 사용하지 않도록 하는 오검출 판정 처리를 행해도 된다. 예를 들어, 연산된 좌우의 동공 크기가 극단적으로 상이한 경우에는, 동공으로서 틀린 장소를 인식하고 있을 가능성이 높다. 이러한 경우에 취득된 시선 데이터는 검출 결과로서 사용하지 않도록 한다. 구체적으로는, 예를 들어 좌우의 동공 사이즈비가 소정의 값(예를 들어 1.2)을 초과한 경우에는, 좌우의 동공 크기가 극단적으로 상이한 것으로 보고, 취득된 시선 데이터는 검출 결과로서 사용하지 않도록 해도 된다.
이상의 처리가 행하여지면, 연산 처리부(230)는 현재 주시점 마커(M)가 표시되어 있는 캘리브레이션점에 있어서의 시선 데이터가 취득되었는지 여부를 판정한다(S120). 예를 들어, 과거의 데이타로부터 광축 벡터(vo)에 흔들림이 있다고 판정한 경우나, 마커 벡터(vm)과 광축 벡터(vo)가 이루는 각 ω가 허용 범위 내에 있지 않은 경우 등, 올바른 결과가 얻어지지 않았던 경우에는, 다시 안구(10)를 촬영하고, 시선 데이터를 취득한다.
한편, 현재 주시점 마커(M)가 표시되어 있는 캘리브레이션점에 있어서의 시선 데이터가 취득된 경우에는, 연산 처리부(230)는 모든 캘리브레이션점에 대하여 시선 데이터가 취득되었는지 여부를 판정한다(S130). 시선 데이터를 취득하는 캘리브레이션점은, 기억부(240)에 미리 기억되어 있다. 연산 처리부(230)는 시선 데이터가 취득되어 있지 않은 캘리브레이션점이 있는 경우에는, 마커 제어부(220)에 대하여 주시점 마커(M)를 다음 캘리브레이션점으로 이동시키도록 지시한다(S140). 마커 제어부(220)는 미리 설정되어 있는 다음 캘리브레이션점에 주시점 마커(M)를 이동시키는 지시를, 송수신부(210)를 통하여 아이웨어 단말기(100)로 출력한다.
(주시점 마커의 이동 처리)
주시점 마커(M)는, 유저의 시선을 맞추기 위하여 표시시키는 것이다. 여기서, 유저의 시선 데이터를 단시간에 정확하게 취득할 수 있도록, 주시점 마커(M)의 표시 제어가 행하여진다.
먼저, 주시점 마커(M)는, 표시된 상태에서, 각 캘리브레이션점 간을 이동한다. 이에 의해, 유저는 주시점 마커를 따라가도록 시선을 이동시키므로, 단속적으로 주시점 마커(M)를 표시시키는 경우와 비교하여, 캘리브레이션점에 표시된 주시점 마커(M)를 찾는 시간도 불필요하게 되고, 주시점 마커에 맞추어지는 시선의 움직임도 안정시킬 수 있다.
그리고, 캘리브레이션점 간을 이동하는 주시점 마커(M)의 이동 속도를 변화시킨다. 주시점 마커(M)를 일정한 속도로 이동시키면, 주시점 마커(M)가 이동처의 캘리브레이션점에 표시되었을 때의 시선이 고정되기 어렵다고 하는 경향이 있다. 따라서, 마커 제어부(220)는 캘리브레이션점 간을 이동하는 주시점 마커(M)의 이동 속도를, 이동처의 캘리브레이션점에 접근할수록 느리게 하도록 제어한다. 이에 의해, 주시점 마커(M)는, 이동 개시 직후에는 빠르게 이동하지만, 이동처의 캘리브레이션점에 가까워짐에 따라서 움직임이 느려진다. 유저의 시선은 주시점 마커의 이동 속도에 따라 움직이므로, 주시점 마커(M)가 이동처의 캘리브레이션점에 접근하면 유저의 시선의 움직임도 느려져, 주시점 마커(M)가 캘리브레이션점에 표시되었을 때에 시선을 고정하기 쉽게 할 수 있다.
또한, 표시 영역(300)에 있어서 시선 데이터를 취득하는 캘리브레이션점은, 통상, 유저가 정면을 향했을 때에 보는 위치인 표시 영역(300)의 중앙과, 시축과 광축의 어긋남이 커지기 쉬운 표시 영역(300)의 주연부 부근에 설정된다. 캘리브레이션점은, 통상, 시야 내에 복수점(예를 들어, 5 내지 9점) 설정된다. 이들 위치에서 캘리브레이션을 행함으로써, 표시 영역(300) 전체로서 보이는 방식이 균일해지도록 보정 처리를 행할 수 있다. 구체적으로는, 예를 들어 도 9에 도시한 바와 같이, 직사각형의 표시 영역(300)의 중앙(캘리브레이션점(CP1))과, 네 코너(캘리브레이션점(CP2 내지 CP5))에 있어서, 캘리브레이션을 행해도 된다. 또는, 도 10에 도시한 바와 같이, 직사각형의 표시 영역(300)의 중앙(캘리브레이션점(CP1))과, 각 변의 중심 부근(캘리브레이션점(CP2 내지 CP5))에 있어서, 캘리브레이션을 행해도 된다.
여기서, 주시점 마커(M)를 각 캘리브레이션점으로 이동시킬 때, 가능한 한 이동 거리가 길어지도록 주시점 마커(M)의 이동 순서를 결정해도 된다. 유저는, 주시점 마커(M)의 움직임에 수반하여 시선을 이동시키는데, 주시점 마커(M)의 이동 거리가 짧으면, 다음 캘리브레이션점에 표시된 주시점 마커(M)에 시선을 맞추기 어려워, 시축과 광축의 어긋남이 커진다. 또한, 주시점 마커(M)를 표시 영역(300)의 수평 방향으로 이동시킨 경우에도 시축과 광축의 어긋남이 커지기 쉬우므로, 상하나 비스듬하게 등, 상하 방향으로의 이동도 포함하도록 주시점 마커(M)를 이동시켜도 된다.
예를 들어, 도 9에 도시된 표시 영역(300)의 중앙 및 네 코너에 설정된 5개의 캘리브레이션점(CP1 내지 CP5)에 있어서 시선 데이터를 취득할 때에는, 중앙의 캘리브레이션점(CP1)을 표시한 후, 네 코너의 캘리브레이션점(CP2 내지 CP5)를 지그재그로 이동시켜도 된다. 또한, 도 10에 도시한 표시 영역(300)의 중앙 및 각 변의 중심 부근에 설정된 5개의 캘리브레이션점(CP1 내지 CP5)에 있어서 시선 데이터를 취득할 때에는, 예를 들어, 먼저, 각 변의 중심 부근의 캘리브레이션점(CP1 내지 CP4)을 마름모꼴의 궤적을 그리도록 순서대로 표시시킨다. 그 후, 중앙의 캘리브레이션점(CP1)을 표시시키도록 해도 된다.
도 5의 설명으로 돌아가서, 스텝 S140에서 주시점 마커(M)가 다음 캘리브레이션점으로 이동되면, 이동처의 캘리브레이션점에서의 시선 데이터의 취득이 행하여진다(S110). 그 후, 모든 캘리브레이션점에 있어서 시선 데이터의 취득이 완료될 때까지, 스텝 S110 내지 S140의 처리가 반복하여 실행된다.
(3) 평가(S150 내지 S180)
모든 캘리브레이션점에 있어서 시선 데이터가 취득되면, 평가부(250)에 의해, 캘리브레이션의 완료 판정이 행하여진다. 본 실시 형태에서는, 캘리브레이션의 완료 판정은, 추정된 광축 벡터(vo)의 전체로서의 변동이 허용 범위 내인지 여부를 판정함으로써 행하여진다.
스텝 S110에서 연산된 각 캘리브레이션점에 있어서의 광축 벡터(vo)는, 정확하게 캘리브레이션이 행하여지면, 표시 영역(300)에서의 캘리브레이션점의 표시 위치에 대응한 값이 된다. 여기서, 도 9에 도시된 캘리브레이션점(CP1 내지 CP5)에서 캘리브레이션을 행했을 때의 광축 벡터(vo)의 검출 결과의 일례를 도 11에 도시한다. 도 11은, 광축 벡터(vo)의 상하 방향의 각도(θ)와, 광축 벡터(vo)의 수평 방향의 각도(ω)의 관계를 나타내고 있다. 또한, 본 실시 형태에 있어서, 광축 벡터(vo)는, 도 12에 도시하는 좌표축에 기초하여 규정하고 있다. 도 12의 좌표축에 있어서, x축은 표시 영역(300)의 수평 방향, y축은 표시 영역(300)의 상하 방향, z축은 표시 영역(300)의 깊이 방향을 나타내고 있다. 각도(θ)는 광축 벡터(vo)와zx 평면이 이루는 각이며, 각도(ω)는 광축 벡터(vo)와 xy 평면이 이루는 각이 된다.
도 11 상측에는, 캘리브레이션이 정확하게 행하여졌을 때의 광축 벡터(vo)의 분포를 나타내고, 도 11 하측에는, 캘리브레이션이 정확하게 행하여지지 않았을 때의 광축 벡터(vo)의 분포를 나타내고 있다. 도 11 상측으로부터, 캘리브레이션이 정확하게 행하여졌을 때에는, 표시 영역(300)의 중앙 및 네 코너에 설정된 각 캘리브레이션점의 위치에 대응하고, 광축 벡터(vo)는 명확하게 나뉘어서 분포한다.
한편, 도 11 하측에 도시한 바와 같이, 캘리브레이션이 정확하게 행하여지지 않았을 때에는, 표시 영역(300)의 우측 상단, 좌측 상단, 및 중앙의 캘리브레이션점에 대응하는 광축 벡터(vo)의 상하 방향의 각도(θ)가 대략 동일하게 되는 등, 명확하게 분포하지 않는다. 이러한 분포는, 특히, 하드콘택트렌즈의 장착자나, 반쯤 뜬 눈, 가는 눈의 유저에게서 발생되기 쉽다.
그래서, 본 실시 형태에서는, 평가부(250)에 의해, 전체로서의 광축 벡터(vo)의 변동을 평가하기 위한 평가값으로서, 마커 벡터(vm)와 광축 벡터(vo)의 상관 계수를 산출하고(S150), 상관 계수의 값으로부터 캘리브레이션의 완료 판정을 행한다. 마커 벡터(vm)와 광축 벡터(vo)의 상관 계수 rxy는, 예를 들어 하기 수학식 1에 의해 구할 수 있다.
Figure pct00001
또한, i는 각 캘리브레이션점에 첨부된 번호이며, 1 내지 n의 값을 취한다. 캘리브레이션점이 5개 설정되어 있는 경우에는, n은 5가 된다. 또한, xi, yi는 광축 벡터(vo)의 x좌표 및 y좌표이며, x￣, y￣은 마커 벡터(vm)의 x좌표 및 y좌표이다. 또한, x￣, y￣은, x, y 위에 ￣이 첨부되어 있는 것으로 한다.
상기 수학식 1에서는, 모든 캘리브레이션점에 있어서의 마커 벡터(vm)와 광축 벡터(vo)의, 상하 방향의 각도(θ)와 수평 방향의 각도(ω)의 차를 평가하고 있다. 1개 또는 복수의 캘리브레이션점에 있어서 마커 벡터(vm)와 광축 벡터(vo)가 일치하지 않고, 이들 각도의 어긋남이 커지면, 수학식 1에 의해 산출되는 상관 계수 rxy는 작아진다. 평가부(250)는 이러한 마커 벡터(vm)와 광축 벡터(vo)의 상관 관계를 나타내는 상관 계수 rxy를 사용하여, 캘리브레이션의 완료 판정을 행한다(S160).
캘리브레이션의 완료 판정은, 스텝 S150에서 산출된 마커 벡터(vm)와 광축 벡터(vo)의 상관 계수 rxy가 소정의 역치 rth를 하회하였는지 여부에 따라 행해도 된다. 역치 rth는, 예를 들어 0.90으로 해도 된다. 스텝 S160에서, 마커 벡터(vm)와 광축 벡터(vo)의 상관 계수 rxy가 역치 rth 이상인 경우, 평가부(250)는 전체로서의 광축 벡터(vo)의 변동은 허용 범위 내인 것으로 보고, 캘리브레이션 처리를 완료한다(S170).
한편, 마커 벡터(vm)와 광축 벡터(vo)의 상관 계수 rxy가 역치 rth를 하회한 경우에는, 캘리브레이션의 설정 정보를 변경하여 캘리브레이션의 방법을 변경하고(S180), 다시 캘리브레이션을 실시한다. 캘리브레이션의 설정 정보란, 예를 들어 주시점 마커(M)의 표시 위치 등이다. 예를 들어, 주시점 마커(M)의 표시 위치를 표시 영역의 중앙에 근접시키는 등, 캘리브레이션점의 설정을 변경하여, 다시 캘리브레이션을 실행해도 된다.
예를 들어, 도 13에 도시한 바와 같이, 표시 영역(300)에 대하여 표시 영역(300)을 소정의 비율 α만큼 축소한 영역에 기초하여, 캘리브레이션점이 설정된 것으로 한다. 이때, 캘리브레이션점의 위치의 디폴트값을, 예를 들어, 표시 영역(300)의 중앙과, 표시 영역의 90％의 크기의 영역 네 코너로 했다고 하자. 캘리브레이션점을 디폴트의 위치에 설정하여 캘리브레이션을 실행했을 때에, 마커 벡터(vm)와 광축 벡터(vo)의 상관 계수 rxy가 역치 rth를 하회한 경우에는, 캘리브레이션점의 위치를 표시 영역의 중앙에 근접시킨다. 예를 들어, 네 코너의 캘리브레이션점의 위치를, 표시 영역의 80％의 크기의 영역 네 코너에 설정한다. 이렇게 캘리브레이션점의 위치를 표시 영역의 중앙에 근접시킴으로써, 유저가 주시점 마커를 보기 쉬워져, 올바른 시선 데이터를 취득하기 쉽게 할 수 있다.
이상, 본 실시 형태에 따른 정보 처리 장치(200)에 의한 아이웨어 단말기(100)의 캘리브레이션 처리에 대하여 설명하였다. 본 실시 형태에 따르면, 복수의 캘리브레이션점에 있어서 시선 데이터를 취득할 때에 유저의 시선을 맞추기 위하여 표시되는 주시점 마커(M)를 표시한 채, 각 캘리브레이션점을 이동시킨다. 이때, 주시점 마커(M)의 이동 속도를, 다음 캘리브레이션점의 위치에 가까워짐에 따라서 느리게 함으로써, 유저의 시선을 주시점 마커(M)에 고정밀도로 추종시킬 수 있다.
또한, 본 실시 형태에 따른 캘리브레이션 처리에서는, 각 캘리브레이션점에 있어서의 광축 벡터(vo)를 취득할 때에 과거에 취득된 광축 벡터에 기초하여 광축의 흔들림의 유무를 판정하거나, 마커 벡터(vm)와 광축 벡터(vo)의 어긋남을 판정하거나 한다. 이에 의해, 유저가 주시점 마커(M)를 보지 않고 있을 때에 취득된 시선 데이터를, 캘리브레이션의 검출 결과로서 이용하지 않도록 할 수 있어, 시선 검출 처리의 정밀도를 저하시키지 않도록 할 수 있다.
또한, 본 실시 형태에 따른 캘리브레이션 처리에서는, 각 캘리브레이션점에 있어서 취득된 광축 벡터(vo)로부터, 전체로서의 광축 벡터(vo)의 변동을 평가하기 위한 평가값으로서, 마커 벡터(vm)와 광축 벡터(vo)의 상관 계수를 산출한다. 이 상관 계수가 소정의 역치 이상인지 여부를 판정함으로써, 시야 내 전체로서 시선 검출 처리를 고정밀도로 행할 수 있는지 여부를 평가할 수 있다. 이에 의해, 유저가 표시 영역의 어느 위치를 보아도, 검출되는 광축 벡터(vo)의 정밀도를 안정적으로 유지할 수 있다.
이러한 처리에 의해, 유저는 주시점 마커(M)에 시선을 맞추는 것만으로 캘리브레이션 처리를 완료시킬 수 있다. 주시점 마커(M)는, 유저가 시선을 맞추기 쉽도록 표시, 이동된다. 또한, 광축 벡터(vo)가 취득되지 않는 경우에도, 자동으로 광축 벡터(vo)가 취득할 수 있도록 캘리브레이션점이 조정되기 때문에, 유저는 스트레스를 느끼는 일 없이, 캘리브레이션 처리를 완료시킬 수 있다.
<5. 검출 정밀도 향상에 대한 대응>
캘리브레이션 처리에 있어서는, 유저가 하드콘택트렌즈를 장착하고 있는 경우나, 유저의 눈이 가는 경우 등에 있어서, 검출된 광축 벡터(vo)에 변동이 발생하기 쉬운 경향이 있다. 유저가 하드콘택트렌즈를 장착하고 있으면, 동공이 변형되거나, 광원으로부터 조사된 광에 의한 안구 상의 휘점이 광원의 수 이상으로 검출되거나, 콘택트 렌즈가 각막 상에서 움직이거나 하기 때문이다. 또한, 유저의 눈이 가는 경우에는, 촬영 화상으로부터 특정되는 동공이 이지러져 있거나, 광원의 수와 동일수만큼 검출되여야 할 휘점이 광원의 수만큼 검출되지 않거나 한다. 따라서, 유저의 광축 벡터(vo)를 정확하게 검출하기 위해서, 추가로 이하와 같은 처리를 행해도 된다.
[5.1. 휘점의 페어링]
유저의 광축 벡터(vo)를 정확하게 검출하기 위해서, 예를 들어, 촬영 화상으로부터 특정된 휘점에 대하여 페어링 처리를 행해도 된다. 본 실시 형태에 따른 아이웨어 단말기(100)에는, 도 2에 도시한 바와 같이, 표시부(102R, 102L)의 주위에는, 각각 4개의 광원(103Ra 내지 103Rd, 103La 내지 103Ld)이 설치되어 있다. 이들 광원(103Ra 내지 103Rd, 103La 내지 103Ld)으로부터 좌우의 안구(10)에 광이 각각 조사되면, 각 눈에는 도 14에 도시하는 바와 같이 4개의 휘점(Pa, Pb, Pc, Pd)이 각각 나타난다.
도 2에 도시한 바와 같이 광원(103Ra 내지 103Rd, 103La 내지 103Ld)이 배치되어 있으면, 이들 광원으로부터 출사된 광에 의해, 안구(10)에는, 그 배치에 대응하여 휘점(Pa, Pb, Pc, Pd)이 검출된다. 그러나, 상술한 바와 같이, 유저가 하드콘택트렌즈를 장착하고 있는 경우나, 유저의 눈이 가는 경우에는, 4개의 휘점(Pa, Pb, Pc, Pd) 이상의 휘점이 검출되거나, 4개의 휘점이 검출되지 않거나 한다.
그래서, 상하 방향으로 대향하는 휘점(Pa, Pc)과, 수평 방향으로 대향하는 휘점(Pb, Pd)을, 각각 페어로 한다. 그리고, 페어로 한 휘점에 대응하는 광원의 위치 관계에 기초하여, 하나의 휘점을 검출했을 때에, 또 하나의 휘점의 위치를 추정하는 것이 가능하게 된다. 예를 들어, 휘점(Pa)이 검출되면, 휘점(Pc)을 검출할 수 없더라도, 휘점(Pa)의 하방의 소정의 위치에 휘점(Pc)이 있음을 추정할 수 있다. 또한, 광원의 수보다도 휘점이 많이 검출된 경우에도, 휘점에 대응하는 광원의 위치 관계에 기초하여, 다수 검출된 휘점으로부터 페어가 되는 휘점을 특정하는 것이 가능하다.
이와 같이, 광원의 배치에 따라 휘점의 페어를 설정함으로써, 촬영 화상으로부터 정확하게 휘점이 검출되지 못하는 경우에도, 대략의 휘점 위치를 추정하는 것이 가능하게 되어, 광축 벡터(vo)의 검출 정밀도를 향상시킬 수 있다.
[5.2. 주시점 마커 표시 위치의 동적 변경]
또한, 유저의 광축 벡터(vo)를 정확하게 검출하기 위해서, 주시점 마커(M)를 동적으로 이동시키도록 해도 된다. 표시 영역(300)에 있어서 유저가 시선을 맞추는 것이 어려운 위치에 주시점 마커(M)가 표시되었을 때, 검출된 광축 벡터(vo)는 마커 벡터(vm)로부터의 어긋남이 커지는 것이 상정된다. 이러한 경우, 동일한 캘리브레이션점에 주시점 마커(M)를 계속 표시시켜도, 광축 벡터(vo)와 마커 벡터(vm)의 어긋남은 작아지는 일은 없다.
따라서, 예를 들어 소정 시간 내에 그 캘리브레이션점에 있어서의 광축 벡터(vo)를 취득하지 못한 경우에는, 주시점 마커(M)의 표시 위치를 표시 영역(300)의 중앙에 근접시키고, 다시 광축 벡터(vo)를 취득하는 처리를 실행시킨다. 주시점 마커(M)를 이동시키는 시간은, 예를 들어 캘리브레이션점에 주시점 마커(M)가 표시되고 나서 수초(예를 들어 3초) 경과 후, 등으로 해도 된다.
주시점 마커(M)의 이동은, 예를 들어 표시 영역(300)의 중심을 향하여, 표시 영역(300)의 중심으로부터 현재의 캘리브레이션점까지의 거리에 대하여 소정의 비율만큼 접근해도 된다. 또는, 수평 방향에 있어서, 표시 영역(300)의 중앙을 향하고, 표시 영역(300)의 수평 방향 중앙으로부터 현재의 캘리브레이션점까지의 수평 방향 거리에 대하여 소정의 비율만큼 접근해도 된다. 주시점 마커(M)를 접근시키는 소정의 비율은, 예를 들어 10％ 정도로 해도 된다. 이에 의해, 유저가 정면을 향한 상태로부터 시선을 이동시키는 거리는 작아져, 유저는 시선을 주시점 마커(M)에 맞추기 쉬워지므로, 광축 벡터(vo)와 마커 벡터(vm)의 어긋남이 작아지는 것을 기대할 수 있다.
주시점 마커(M)의 이동은, 예를 들어 광축 벡터(vo)가 취득될 때까지 행하게 해도 된다. 예를 들어, 소정 시간 광축 벡터(vo)의 취득을 행하고, 시간 내에 취득되지 않은 경우에는, 소정의 비율만큼 추가로 주시점 마커(M)를 이동시키고, 다시 광축 벡터(vo)의 취득을 행한다고 하는 처리를 반복한다. 그리고, 광축 벡터(vo)가 취득되었을 때에는, 예를 들어, 그 이후의 캘리브레이션점에서의 광축 벡터(vo)의 취득 시에는, 금회 광축 벡터(vo)가 취득되었을 때의 비율만큼 캘리브레이션점의 위치를 이동시킨 위치에 주시점 마커(M)를 표시시키도록 해도 된다. 물론, 그 이후의 캘리브레이션점에서의 광축 벡터(vo)의 취득 시에는, 디폴트의 캘리브레이션점의 위치에 주시점 마커(M)를 표시시키도록 해도 된다.
이와 같이, 광축 벡터(vo)의 취득이 성공되지 못한 경우에는, 광축 벡터(vo)가 정확하게 취득되는 위치까지 주시점 마커(M)를 동적으로 이동시킴으로써, 올바른 광축 벡터(vo)를 취득할 수 있도록 할 수 있다.
<6. 하드웨어 구성>
마지막으로, 본 실시 형태에 따른 정보 처리 장치(200)의 하드웨어 구성예에 대하여 설명한다. 도 15는, 본 실시 형태에 따른 정보 처리 장치(200)의 하드웨어 구성을 도시하는 하드웨어 구성도이다.
본 실시 형태에 따른 정보 처리 장치(200)는 상술한 바와 같이, 컴퓨터 등의 처리 장치에 의해 실현할 수 있다. 정보 처리 장치(200)는 도 15에 도시한 바와 같이, CPU(Central Processing Unit)(901)와, ROM(Read Only Memory)(902)과, RAM(Random Access Memory)(903)과, 호스트 버스(904a)를 구비한다. 또한, 정보 처리 장치(200)는 브리지(904)와, 외부 버스(904b)와, 인터페이스(905)와, 입력 장치(906)와, 출력 장치(907)와, 스토리지 장치(908)와, 드라이브(909)와, 접속 포트(911)와, 통신 장치(913)를 구비한다.
CPU(901)는, 연산 처리 장치 및 제어 장치로서 기능하고, 각종 프로그램에 따라서 정보 처리 장치(200) 내의 동작 전반을 제어한다. 또한, CPU(901)는, 마이크로프로세서여도 된다. ROM(902)은, CPU(901)가 사용하는 프로그램이나 연산 파라미터 등을 기억한다. RAM(903)은, CPU(901)의 실행에 있어서 사용하는 프로그램이나, 그 실행에 있어서 적절히 변화하는 파라미터 등을 일시 기억한다. 이들은 CPU 버스 등으로 구성되는 호스트 버스(904a)에 의해 서로 접속되어 있다.
호스트 버스(904a)는 브리지(904)를 통하여, PCI(Peripheral Component Interconnect/Interface) 버스 등의 외부 버스(904b)에 접속되어 있다. 또한, 반드시 호스트 버스(904a), 브리지(904) 및 외부 버스(904b)를 분리 구성할 필요는 없고, 하나의 버스에 이들 기능을 실장해도 된다.
입력 장치(906)는 마우스, 키보드, 터치 패널, 버튼, 마이크, 스위치 및 레버 등 유저가 정보를 입력하기 위한 입력 수단과, 유저에 의한 입력에 기초하여 입력 신호를 생성하고, CPU(901)로 출력하는 입력 제어 회로 등으로 구성되어 있다. 출력 장치(907)는 예를 들어, 액정 디스플레이(LCD) 장치, OLED(Organic Light Emitting Diode) 장치 및 램프 등의 표시 장치나, 스피커 등의 음성 출력 장치를 포함한다.
스토리지 장치(908)는 정보 처리 장치(200)의 기억부의 일례이며, 데이터 저장용의 장치이다. 스토리지 장치(908)는 기억 매체, 기억 매체에 데이터를 기록하는 기록 장치, 기억 매체로부터 데이터를 판독하는 판독 장치 및 기억 매체에 기록된 데이터를 삭제하는 삭제 장치 등을 포함해도 된다. 이 스토리지 장치(908)는 하드 디스크를 구동하고, CPU(901)가 실행하는 프로그램이나 각종 데이터를 저장한다.
드라이브(909)는 기억 매체용 리더라이터이며, 정보 처리 장치(200)에 내장, 또는 외장된다. 드라이브(909)는 장착되어 있는 자기 디스크, 광 디스크, 광자기 디스크, 또는 반도체 메모리 등의 리무버블 기록 매체에 기록되어 있는 정보를 판독하고, RAM(903)으로 출력한다.
접속 포트(911)는 외부 기기와 접속되는 인터페이스이며, 예를 들어 USB(Universal Serial Bus) 등에 의해 데이터 전송 가능한 외부 기기와의 접속구이다. 또한, 통신 장치(913)는 예를 들어, 통신망(5)에 접속하기 위한 통신 디바이스 등으로 구성된 통신 인터페이스이다. 또한, 통신 장치(913)는 무선 LAN(Local Area Network) 대응 통신 장치여도 되고, 와이어리스 USB 대응 통신 장치여도 되고, 유선에 의한 통신을 행하는 와이어 통신 장치여도 된다.
이상, 첨부 도면을 참조하면서 본 개시의 바람직한 실시 형태에 대하여 상세하게 설명했지만, 본 개시의 기술적 범위는 이러한 예에 한정되지 않는다. 본 개시의 기술분야에 있어서의 통상의 지식을 갖는 사람이라면, 특허 청구 범위에 기재된 기술적 사상의 범주 내에서, 각종 변경예 또는 수정예에 상도할 수 있는 것은 명확하며, 이들에 대해서도, 당연히 본 개시의 기술적 범위에 속하는 것이라고 이해된다.
예를 들어, 상기 실시 형태에서는, 마커 벡터(vm)와 광축 벡터(vo)의 상관 계수 rxy가 역치 rth를 하회한 경우에는, 캘리브레이션의 방법을 변경하여 다시 캘리브레이션을 실시했지만, 본 기술은 이러한 예에 한정되지 않는다. 예를 들어, 캘리브레이션의 방법을 변경하기 전에, 역치 rth를 낮추고, 다시 캘리브레이션의 완료 판정을 행해도 된다. 변경 후의 역치 rth로서는, 예를 들어, 전회의 역치 rth보다 일정값 낮춘 값으로 해도 되고, 상관 계수 rxy와 전회의 역치 rth 사이의 값으로 낮추도록 해도 된다. 또한, 캘리브레이션을 종료하고, 과거 가장 역치 rth가 높았을 때의 캘리브레이션 정보를 사용하여 다시 캘리브레이션을 행하게 해도 된다.
또한, 본 명세서에 기재된 효과는, 어디까지나 설명적 또는 예시적인 것으로서 한정적이지는 않다. 즉, 본 개시에 관한 기술은, 상기 효과와 함께, 또는 상기 효과 대신에, 본 명세서의 기재로부터 당업자에게는 명확한 다른 효과를 발휘할 수 있다.
또한, 이하와 같은 구성도 본 개시의 기술적 범위에 속한다.
(1)
아이웨어 단말기의 캘리브레이션 시에, 상기 아이웨어 단말기의 표시부에 표시되는 주시점 마커의 표시 위치를 변화시키는 마커 제어부와,
상기 아이웨어 단말기를 장착하는 유저의 눈에 광원으로부터 광이 조사되고, 캘리브레이션점에 상기 주시점 마커가 표시되어 있을 때에 촬영된 유저의 눈을 포함하는 촬영 화상에 기초하여, 동공 각막 반사법에 의해, 유저의 시선 방향을 나타내는 광축 벡터를 연산하는 연산 처리부와,
복수의 상기 캘리브레이션점에 대하여 연산된 광축 벡터의 변동을 평가하는 평가부
를 구비하는, 정보 처리 장치.
(2)
상기 마커 제어부는, 상기 주시점 마커를 표시한 상태에서, 미리 설정된 상기 캘리브레이션점으로 순서대로 이동시키는, 상기 (1)에 기재된 정보 처리 장치.
(3)
상기 마커 제어부는, 이동처의 상기 캘리브레이션점에 접근할수록 이동 속도가 느려지도록 상기 주시점 마커를 이동시키는, 상기 (2)에 기재된 정보 처리 장치.
(4)
상기 연산 처리부는,
연산한 현재의 광축 벡터와, 광축 벡터의 이력에 기초하여 산출된 광축 벡터의 평균이 이루는 각이, 소정의 각도보다 큰지 여부를 판정하고,
상기 이루는 각이 소정의 각도보다 큰 경우, 연산한 현재의 상기 광축 벡터를 채용하지 않는, 상기 (1) 내지 (3) 중 어느 한 항에 기재된 정보 처리 장치.
(5)
상기 연산 처리부는,
연산한 현재의 광축 벡터와, 유저의 동공 중심으로부터 상기 주시점 마커가 표시되어 있는 캘리브레이션점으로의 마커 벡터가 이루는 각이 소정의 각도 이하 인지 여부에 기초하여, 연산한 현재의 광축 벡터의 변동을 판정하고,
상기 이루는 각이 소정의 각도보다 큰 경우, 연산한 현재의 상기 광축 벡터를 채용하지 않는, 상기 (1) 내지 (4) 중 어느 한 항에 기재된 정보 처리 장치.
(6)
상기 연산 처리부는, 유저의 좌우의 동공의 크기의 비가 소정의 값 이상일 때, 연산한 상기 광축 벡터를 채용하지 않는, 상기 (5)에 기재된 정보 처리 장치.
(7)
상기 마커 제어부는, 상기 연산 처리부에 의해 연산한 상기 광축 벡터가 채용되지 않을 때, 상기 주시점 마커의 표시 위치를 표시 영역의 중앙측으로 이동시키는, 상기 (4) 내지 (6) 중 어느 한 항에 기재된 정보 처리 장치.
(8)
상기 평가부는, 유저의 동공 중심으로부터 상기 주시점 마커가 표시되어 있는 캘리브레이션점으로의 마커 벡터와, 연산된 광축 벡터의 상관 관계에 기초하여, 모든 상기 캘리브레이션점에 있어서 연산된 광축 벡터의 변동을 판정하는, 상기 (1) 내지 (7) 중 어느 한 항에 기재된 정보 처리 장치.
(9)
상기 평가부에 의해 상기 광축 벡터와 상기 마커 벡터의 상관 관계를 나타내는 상관 계수가 소정의 역치를 하회했을 때,
상기 마커 제어부는, 상기 캘리브레이션점을 표시 영역의 중앙에 근접한 위치에 설정하고, 다시 캘리브레이션을 실행하는, 상기 (8)에 기재된 정보 처리 장치.
(10)
상기 연산 처리부는, 쌍이 되는 복수의 광원으로부터 조사된 광에 의한 휘점을 검출하는, 상기 (1) 내지 (9) 중 어느 한 항에 기재된 정보 처리 장치.
(11)
정보 처리 장치에 의해,
아이웨어 단말기의 캘리브레이션 시에, 상기 아이웨어 단말기의 표시부에 표시되는 주시점 마커의 표시 위치를 변화시키는 것,
상기 아이웨어 단말기를 장착하는 유저의 눈에 광원으로부터 광이 조사되고, 캘리브레이션점에 상기 주시점 마커가 표시되어 있을 때에 촬영된 유저의 눈을 포함하는 촬영 화상에 기초하여, 동공 각막 반사법에 의해, 유저의 시선 방향을 나타내는 광축 벡터를 연산하는 것,
복수의 상기 캘리브레이션점에 대하여 연산된 광축 벡터의 변동을 평가하는 것,
을 포함하는, 정보 처리 방법.
(12)
컴퓨터를,
아이웨어 단말기의 캘리브레이션 시에, 상기 아이웨어 단말기의 표시부에 표시되는 주시점 마커의 표시 위치를 변화시키는 마커 제어부와,
상기 아이웨어 단말기를 장착하는 유저의 눈에 광원으로부터 광이 조사되고, 캘리브레이션점에 상기 주시점 마커가 표시되어 있을 때에 촬영된 유저의 눈을 포함하는 촬영 화상에 기초하여, 동공 각막 반사법에 의해, 유저의 시선 방향을 나타내는 광축 벡터를 연산하는 연산 처리부와,
복수의 상기 캘리브레이션점에 대하여 연산된 광축 벡터의 변동을 평가하는 평가부
를 구비하는, 정보 처리 장치로서 기능시키는 프로그램.
10: 안구
14: 각막
17: 동공
100: 아이웨어 단말기
110: 광원
120: 촬상부
130: 표시부
140: 제어부
150: 송수신부
200: 정보 처리 장치
210: 송수신부
220: 마커 제어부
230: 연산 처리부
240: 기억부
250: 평가부
300: 표시 영역

Claims (12)

  1. 아이웨어 단말기의 캘리브레이션 시에, 상기 아이웨어 단말기의 표시부에 표시되는 주시점 마커의 표시 위치를 변화시키는 마커 제어부와,
    상기 아이웨어 단말기를 장착하는 유저의 눈에 광원으로부터 광이 조사되고, 캘리브레이션점에 상기 주시점 마커가 표시되어 있을 때에 촬영된 유저의 눈을 포함하는 촬영 화상에 기초하여, 동공 각막 반사법에 의해, 유저의 시선 방향을 나타내는 광축 벡터를 연산하는 연산 처리부와,
    복수의 상기 캘리브레이션점에 대하여 연산된 광축 벡터의 변동을 평가하는 평가부
    를 구비하는, 정보 처리 장치.
  2. 제1항에 있어서, 상기 마커 제어부는, 상기 주시점 마커를 표시한 상태에서, 미리 설정된 상기 캘리브레이션점으로 순서대로 이동시키는, 정보 처리 장치.
  3. 제2항에 있어서, 상기 마커 제어부는, 이동처의 상기 캘리브레이션점에 접근할수록 이동 속도가 느려지도록 상기 주시점 마커를 이동시키는, 정보 처리 장치.
  4. 제1항에 있어서, 상기 연산 처리부는,
    연산한 현재의 광축 벡터와, 광축 벡터의 이력에 기초하여 산출된 광축 벡터의 평균이 이루는 각이, 소정의 각도보다 큰지 여부를 판정하고,
    상기 이루는 각이 소정의 각도보다 큰 경우, 연산한 현재의 상기 광축 벡터를 채용하지 않는, 정보 처리 장치.
  5. 제1항에 있어서, 상기 연산 처리부는,
    연산한 현재의 광축 벡터와, 유저의 동공 중심으로부터 상기 주시점 마커가 표시되어 있는 캘리브레이션점으로의 마커 벡터가 이루는 각이 소정의 각도 이하 인지 여부에 기초하여, 연산한 현재의 광축 벡터의 변동을 판정하고,
    상기 이루는 각이 소정의 각도보다 큰 경우, 연산한 현재의 상기 광축 벡터를 채용하지 않는, 정보 처리 장치.
  6. 제5항에 있어서, 상기 연산 처리부는, 유저의 좌우의 동공의 크기의 비가 소정의 값 이상일 때, 연산한 상기 광축 벡터를 채용하지 않는, 정보 처리 장치.
  7. 제4항에 있어서, 상기 마커 제어부는, 상기 연산 처리부에 의해 연산한 상기 광축 벡터가 채용되지 않을 때, 상기 주시점 마커의 표시 위치를 표시 영역의 중앙측으로 이동시키는, 정보 처리 장치.
  8. 제1항에 있어서, 상기 평가부는, 유저의 동공 중심으로부터 상기 주시점 마커가 표시되어 있는 캘리브레이션점으로의 마커 벡터와, 연산된 광축 벡터의 상관 관계에 기초하여, 모든 상기 캘리브레이션점에 있어서 연산된 광축 벡터의 변동을 판정하는, 정보 처리 장치.
  9. 제8항에 있어서, 상기 평가부에 의해 상기 광축 벡터와 상기 마커 벡터의 상관 관계를 나타내는 상관 계수가 소정의 역치를 하회했을 때,
    상기 마커 제어부는, 상기 캘리브레이션점을 표시 영역의 중앙에 근접한 위치에 설정하고, 다시 캘리브레이션을 실행하는, 정보 처리 장치.
  10. 제1항에 있어서, 상기 연산 처리부는, 쌍이 되는 복수의 광원으로부터 조사된 광에 의한 휘점을 검출하는, 정보 처리 장치.
  11. 정보 처리 장치에 의해,
    아이웨어 단말기의 캘리브레이션 시에, 상기 아이웨어 단말기의 표시부에 표시되는 주시점 마커의 표시 위치를 변화시키는 것,
    상기 아이웨어 단말기를 장착하는 유저의 눈에 광원으로부터 광이 조사되고, 캘리브레이션점에 상기 주시점 마커가 표시되어 있을 때에 촬영된 유저의 눈을 포함하는 촬영 화상에 기초하여, 동공 각막 반사법에 의해, 유저의 시선 방향을 나타내는 광축 벡터를 연산하는 것,
    복수의 상기 캘리브레이션점에 대하여 연산된 광축 벡터의 변동을 평가하는 것,
    을 포함하는, 정보 처리 방법.
  12. 컴퓨터를,
    아이웨어 단말기의 캘리브레이션 시에, 상기 아이웨어 단말기의 표시부에 표시되는 주시점 마커의 표시 위치를 변화시키는 마커 제어부와,
    상기 아이웨어 단말기를 장착하는 유저의 눈에 광원으로부터 광이 조사되고, 캘리브레이션점에 상기 주시점 마커가 표시되어 있을 때에 촬영된 유저의 눈을 포함하는 촬영 화상에 기초하여, 동공 각막 반사법에 의해, 유저의 시선 방향을 나타내는 광축 벡터를 연산하는 연산 처리부와,
    복수의 상기 캘리브레이션점에 대하여 연산된 광축 벡터의 변동을 평가하는 평가부
    를 구비하는, 정보 처리 장치로서 기능시키는 프로그램.
KR1020177013177A 2014-12-17 2015-09-11 정보 처리 장치, 정보 처리 방법 및 프로그램 KR102469507B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014254720 2014-12-17
JPJP-P-2014-254720 2014-12-17
PCT/JP2015/075894 WO2016098406A1 (ja) 2014-12-17 2015-09-11 情報処理装置、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
KR20170095194A true KR20170095194A (ko) 2017-08-22
KR102469507B1 KR102469507B1 (ko) 2022-11-22

Family

ID=56126308

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177013177A KR102469507B1 (ko) 2014-12-17 2015-09-11 정보 처리 장치, 정보 처리 방법 및 프로그램

Country Status (6)

Country Link
US (2) US10452137B2 (ko)
EP (1) EP3236338B1 (ko)
JP (1) JP6601417B2 (ko)
KR (1) KR102469507B1 (ko)
CN (2) CN107003752B (ko)
WO (1) WO2016098406A1 (ko)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015204283A1 (de) * 2015-03-10 2016-09-15 Robert Bosch Gmbh Verfahren und Vorrichtung zur Erfassung der Blickrichtung einer Person
US10466780B1 (en) * 2015-10-26 2019-11-05 Pillantas Systems and methods for eye tracking calibration, eye vergence gestures for interface control, and visual aids therefor
KR102567431B1 (ko) 2016-01-19 2023-08-14 매직 립, 인코포레이티드 눈 이미지 수집, 선택 및 결합
JP6963820B2 (ja) * 2016-08-12 2021-11-10 国立大学法人静岡大学 視線検出装置
CN106339087B (zh) * 2016-08-29 2019-01-29 上海青研科技有限公司 一种基于多维坐标的眼球追踪方法及其装置
EP3631567B1 (en) 2017-05-31 2022-09-21 Magic Leap, Inc. Eye tracking calibration techniques
JP6403836B1 (ja) * 2017-06-08 2018-10-10 株式会社ナックイメージテクノロジー 視機能検査装置、視機能訓練装置及び方法
KR101857466B1 (ko) * 2017-06-16 2018-05-15 주식회사 비주얼캠프 헤드 마운트 디스플레이 및 그 캘리브레이션 방법
JP2019021049A (ja) * 2017-07-18 2019-02-07 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP6971686B2 (ja) * 2017-08-02 2021-11-24 株式会社Ｊｖｃケンウッド 視線検出装置及び視線検出方法
WO2019154509A1 (en) 2018-02-09 2019-08-15 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
WO2019154511A1 (en) 2018-02-09 2019-08-15 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters using a neural network
US11393251B2 (en) 2018-02-09 2022-07-19 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
US11194403B2 (en) * 2018-02-19 2021-12-07 Murakami Corporation Reference position setting method and virtual image display device
CN109144267A (zh) * 2018-09-03 2019-01-04 中国农业大学 人机交互方法及装置
US11537202B2 (en) 2019-01-16 2022-12-27 Pupil Labs Gmbh Methods for generating calibration data for head-wearable devices and eye tracking system
WO2020236827A1 (en) * 2019-05-20 2020-11-26 Magic Leap, Inc. Systems and techniques for estimating eye pose
US11676422B2 (en) 2019-06-05 2023-06-13 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
CN110347257A (zh) * 2019-07-08 2019-10-18 北京七鑫易维信息技术有限公司 眼球追踪设备的校准方法、装置、设备和存储介质
JP7342978B2 (ja) * 2020-02-10 2023-09-12 日本電気株式会社 視線推定システム、視線推定方法、及びコンピュータプログラム
JP7444358B2 (ja) 2020-02-18 2024-03-06 学校法人明治大学 眼球運動測定装置、キャリブレーションシステム、眼球運動測定方法及び眼球運動測定プログラム
CN114296548B (zh) * 2021-12-14 2023-03-24 杭州朱道实业有限公司 一种展览用智能移动识别信息系统
CN114511655B (zh) * 2022-02-16 2022-11-04 深圳市恒必达电子科技有限公司 一种带气味复现的vr/ar体感装置和气味形成系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05333259A (ja) 1992-06-02 1993-12-17 Canon Inc 視線検出手段を有した光学装置
WO2006108017A2 (en) * 2005-04-04 2006-10-12 Lc Technologies, Inc. Explicit raytracing for gimbal-based gazepoint trackers

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2715479B1 (fr) * 1994-01-25 1996-03-15 Sextant Avionique Dispositif de contrôle de réglage de position et d'orientation d'un casque par rapport à la tête d'un porteur du casque.
US6578962B1 (en) * 2001-04-27 2003-06-17 International Business Machines Corporation Calibration-free eye gaze tracking
JP2002345756A (ja) 2001-05-25 2002-12-03 Canon Inc 視線検出装置及び光学機器
WO2004034178A2 (en) * 2002-10-11 2004-04-22 Laboratories For Information Technology Statistical data analysis tool
JP2004129927A (ja) * 2002-10-11 2004-04-30 Canon Inc 視線検出装置
CA2545202C (en) * 2003-11-14 2014-01-14 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
US7963652B2 (en) * 2003-11-14 2011-06-21 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
WO2005063114A1 (ja) * 2003-12-25 2005-07-14 National University Corporation Shizuoka University 視線検出方法および装置ならびに三次元視点計測装置
JP2005245791A (ja) * 2004-03-04 2005-09-15 Olympus Corp 視線方向検出装置
JP5167545B2 (ja) * 2006-03-31 2013-03-21 国立大学法人静岡大学 視点検出装置
JP5163982B2 (ja) * 2008-06-16 2013-03-13 国立大学法人神戸大学 視線計測装置、視線計測プログラム、視線計測方法、および視線計測装置用ディスプレイ
CN102149325B (zh) * 2008-09-26 2013-01-02 松下电器产业株式会社 视线方向判定装置及视线方向判定方法
DK2389095T3 (da) * 2009-01-26 2014-11-17 Tobii Technology Ab Detektering af blikpunkt hjulpet af optiske referencesignaler
US20110214082A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
JP5728866B2 (ja) * 2010-09-24 2015-06-03 ソニー株式会社 情報処理装置、情報処理端末、情報処理方法およびコンピュータプログラム
JP5466610B2 (ja) 2010-09-27 2014-04-09 パナソニック株式会社 視線推定装置
US8885877B2 (en) * 2011-05-20 2014-11-11 Eyefluence, Inc. Systems and methods for identifying gaze tracking scene reference locations
CA2750287C (en) * 2011-08-29 2012-07-03 Microsoft Corporation Gaze detection in a see-through, near-eye, mixed reality display
US9213163B2 (en) * 2011-08-30 2015-12-15 Microsoft Technology Licensing, Llc Aligning inter-pupillary distance in a near-eye display system
US9025252B2 (en) * 2011-08-30 2015-05-05 Microsoft Technology Licensing, Llc Adjustment of a mixed reality display for inter-pupillary distance alignment
US8870654B2 (en) * 2011-11-23 2014-10-28 Sony Computer Entertainment America Llc Gaming controller
JP5873362B2 (ja) * 2012-03-13 2016-03-01 日本放送協会 視線誤差補正装置、そのプログラム及びその方法
JP2014064634A (ja) 2012-09-25 2014-04-17 Kyocera Corp 画像処理装置および視線特定装置ならびに瞳画像検出プログラムおよび方法
JP5935640B2 (ja) * 2012-10-01 2016-06-15 ソニー株式会社 情報処理装置、表示制御方法及びプログラム
JP6157165B2 (ja) 2013-03-22 2017-07-05 キヤノン株式会社 視線検出装置及び撮像装置
GB201305726D0 (en) * 2013-03-28 2013-05-15 Eye Tracking Analysts Ltd A method for calibration free eye tracking
EP2790126B1 (en) * 2013-04-08 2016-06-01 Cogisen SRL Method for gaze tracking
CN103353790B (zh) * 2013-06-26 2016-09-14 林大伟 光线寻迹方法与装置
US9727135B2 (en) * 2014-04-30 2017-08-08 Microsoft Technology Licensing, Llc Gaze calibration

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05333259A (ja) 1992-06-02 1993-12-17 Canon Inc 視線検出手段を有した光学装置
WO2006108017A2 (en) * 2005-04-04 2006-10-12 Lc Technologies, Inc. Explicit raytracing for gimbal-based gazepoint trackers

Also Published As

Publication number Publication date
CN111493809A (zh) 2020-08-07
JPWO2016098406A1 (ja) 2017-09-28
WO2016098406A1 (ja) 2016-06-23
US11635806B2 (en) 2023-04-25
EP3236338A4 (en) 2018-12-12
EP3236338A1 (en) 2017-10-25
JP6601417B2 (ja) 2019-11-06
EP3236338B1 (en) 2019-12-18
US20190346920A1 (en) 2019-11-14
CN107003752B (zh) 2020-04-10
KR102469507B1 (ko) 2022-11-22
CN111493809B (zh) 2023-06-27
US20170329400A1 (en) 2017-11-16
US10452137B2 (en) 2019-10-22
CN107003752A (zh) 2017-08-01

Similar Documents

Publication Publication Date Title
KR102469507B1 (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
US10409368B2 (en) Eye-gaze detection system, displacement detection method, and displacement detection program
US10048750B2 (en) Content projection system and content projection method
CN112805659A (zh) 通过用户分类为多深度平面显示系统选择深度平面
CN109725418B (zh) 显示设备、用于调整显示设备的图像呈现的方法及装置
US10061384B2 (en) Information processing apparatus, information processing method, and program
US20240036645A1 (en) Display systems and methods for determining vertical alignment between left and right displays and a user&#39;s eyes
JP7388349B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP7081599B2 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2015051605A1 (zh) 图像采集定位方法及图像采集定位装置
US20160247322A1 (en) Electronic apparatus, method and storage medium
CN115053270A (zh) 用于基于用户身份来操作头戴式显示系统的系统和方法
JP2019215688A (ja) 自動キャリブレーションを行う視線計測装置、視線計測方法および視線計測プログラム
US20200213467A1 (en) Image display system, image display method, and image display program
US20210096368A1 (en) Head-mounted display apparatus and method employing dynamic eye calibration
WO2019116675A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN111951332A (zh) 基于视线估计和双目深度估计的眼镜设计方法及其眼镜

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant