KR102471370B1 - 정보 처리 장치, 정보 처리 방법 및 프로그램 - Google Patents

정보 처리 장치, 정보 처리 방법 및 프로그램 Download PDF

Info

Publication number
KR102471370B1
KR102471370B1 KR1020177018745A KR20177018745A KR102471370B1 KR 102471370 B1 KR102471370 B1 KR 102471370B1 KR 1020177018745 A KR1020177018745 A KR 1020177018745A KR 20177018745 A KR20177018745 A KR 20177018745A KR 102471370 B1 KR102471370 B1 KR 102471370B1
Authority
KR
South Korea
Prior art keywords
display surface
user
operation instruction
information processing
unit
Prior art date
Application number
KR1020177018745A
Other languages
English (en)
Other versions
KR20170118693A (ko
Inventor
다쿠로 노다
료헤이 야스다
Original Assignee
소니그룹주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니그룹주식회사 filed Critical 소니그룹주식회사
Publication of KR20170118693A publication Critical patent/KR20170118693A/ko
Application granted granted Critical
Publication of KR102471370B1 publication Critical patent/KR102471370B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/02—Viewfinders
    • G03B13/06—Viewfinders with lenses with or without reflectors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/02—Viewfinders
    • G03B13/10—Viewfinders adjusting viewfinders field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2213/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B2213/02—Viewfinders
    • G03B2213/025—Sightline detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Eye Examination Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)
  • Viewfinders (AREA)
  • Studio Devices (AREA)

Abstract

유저의 안구 위치가 표시면의 시야 중심에 일치하도록, 기기의 위치를 조정시키는 것이 가능한 정보 처리 장치를 제공한다. 표시면을 보고 있는 유저의 눈에 광이 조사되고 있을 때에 촬영된 유저의 눈을 포함하는 촬영 화상에 기초하여, 동공 각막 반사법에 의해 유저의 안구 위치를 추정하는 안구 위치 추정부와, 안구 위치에 기초하여 특정되는 상기 표시면에서의 안구 위치와, 상기 표시면의 시야 중심의 어긋남양을 추정하는 어긋남 추정부와, 추정된 상기 어긋남양에 기초하여, 상기 표시면을 구비하는 기기의 위치를 조정하기 위한 조작 지시를 행하는 조작 지시부를 구비하는, 정보 처리 장치가 제공된다.

Description

정보 처리 장치, 정보 처리 방법 및 프로그램{INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM}
본 개시는 정보 처리 장치, 정보 처리 방법 및 프로그램에 관한 것이다.
다양한 콘텐츠가 표시되는 표시면에 대한 유저의 시선을 검출하고, 검출된 시선을 각종 동작에 이용하는 기술이 제안되어 있다. 예를 들어, 특허문헌 1에는, 파인더를 들여다보는 유저의 안구에 적외 대역의 광(적외광)을 조사하고, 그 안구로부터의 반사광을 검출기에 의해 파악함으로써 스루 화상이 표시되는 표시면에 대한 유저의 시선을 검출함과 함께, 검출된 시선을 자동 초점 조절(AF: AutoFocus)에 이용하는 촬상 장치가 개시되어 있다.
최근 들어, 헤드 마운트 디스플레이나 안경형 단말기 등의 웨어러블 단말기의 개발이 급속하게 진행되고 있다. 이와 같은, 유저가 장착하여 디스플레이를 보는 웨어러블 단말기에 있어서도 유저의 시선을 검출하는 기술은 중요하고, 검출된 시선은, 예를 들어 단말기의 조작 정보로서 이용되거나, 자동 초점 조절의 정보로서 사용되거나 한다.
일본 특허 공개 평 5-333259호 공보
그러나, 유저의 안구 위치가, 촬상 장치나 웨어러블 단말기 등의 기기의 표시면의 시야 중심으로부터 연장되는 광축으로부터 어긋나 있으면, 유저는 표시면에 표시되어 있는 화상을 깨끗하게 볼 수 없다. 또한, 유저의 시선을 고정밀도로 검출할 수 없다.
그래서, 본 개시에서는, 유저의 안구 위치가 표시면의 시야 중심으로부터 연장되는 광축 상에 있는 것처럼, 기기의 위치를 조정시키는 것이 가능한, 신규이면서도 개량된 정보 처리 장치, 정보 처리 방법 및 프로그램을 제안한다.
본 개시에 의하면, 표시면을 보고 있는 유저의 눈에 광이 조사되고 있을 때에 촬영된 유저의 눈을 포함하는 촬영 화상에 기초하여, 동공 각막 반사법에 의해 유저의 안구 위치를 추정하는 안구 위치 추정부와, 안구 위치에 기초하여 특정되는 상기 표시면에서의 안구 위치와, 상기 표시면의 시야 중심의 어긋남양을 추정하는 어긋남 추정부와, 추정된 상기 어긋남양에 기초하여, 상기 표시면을 구비하는 기기의 위치를 조정하기 위한 조작 지시를 행하는 조작 지시부를 구비하는, 정보 처리 장치가 제공된다.
또한, 본 개시에 의하면, 정보 처리 장치에 의해, 표시면을 보고 있는 유저의 눈에 광이 조사되고 있을 때에 촬영된 유저의 눈을 포함하는 촬영 화상에 기초하여, 동공 각막 반사법에 의해 유저의 안구 위치를 추정하는 것, 안구 위치에 기초하여 특정되는 표시면에서의 안구 위치와, 표시면의 시야 중심의 어긋남양을 추정하는 것, 추정된 어긋남양에 기초하여, 표시면을 구비하는 기기의 위치를 조정하기 위한 조작 지시를 행하는 것을 포함하는, 정보 처리 방법이 제공된다.
또한, 본 개시에 의하면, 컴퓨터를, 표시면을 보고 있는 유저의 눈에 광이 조사되고 있을 때에 촬영된 유저의 눈을 포함하는 촬영 화상에 기초하여, 동공 각막 반사법에 의해 유저의 안구 위치를 추정하는 안구 위치 추정부와, 안구 위치에 기초하여 특정되는 표시면에서의 안구 위치와, 표시면의 시야 중심의 어긋남양을 추정하는 어긋남 추정부와, 추정된 어긋남양에 기초하여, 표시면을 구비하는 기기의 위치를 조정하기 위한 조작 지시를 행하는 조작 지시부를 구비하는, 정보 처리 장치로서 기능시키는 프로그램이 제공된다.
이상 설명한 바와 같이 본 개시에 의하면, 유저의 안구 위치가 표시면의 시야 중심에 위치하도록, 기기의 위치를 조정시킬 수 있다. 또한, 상기 효과는 반드시 한정적인 것은 아니고, 상기 효과와 함께, 또는 상기 효과 대신에, 본 명세서에 나타난 어느 효과 또는 본 명세서로부터 파악될 수 있는 다른 효과가 발휘되어도 된다.
도 1은, 전자 뷰 파인더와 접속된 촬상 장치를 구비하는 촬상 시스템의 일례를 나타내는 개략 사시도이다.
도 2는, 전자 뷰 파인더의 일 구성예를 나타내는 yz 평면에서의 개략 단면도이다.
도 3은, 전자 뷰 파인더의 광원 기판의 일 구성예를 나타내는 xy 평면에서의 개략 단면도이다.
도 4는, 동 실시 형태에 따른 정보 처리 장치인 정보 처리부의 기능 구성을 도시하는 기능 블록도이다.
도 5는, 동 실시 형태에 따른 정보 처리부에 의한 조작 지시 처리를 나타내는 흐름도이다.
도 6은, 동공 각막 반사법을 사용한 광축 벡터의 산출 처리에 대하여 설명하기 위한 설명도이다.
도 7은, 동 실시 형태에 따른 조작 지시부에 의한 조작 지시의 일례를 나타내는 설명도이다.
도 8은, 본 개시의 제2 실시 형태에 따른 안경형의 웨어러블 단말기의 개략 구성을 도시하는 개략 평면도이며, 유저의 안면과 대향하는 측의 구성을 나타낸다.
도 9는, 동 실시 형태에 따른 웨어러블 단말기가 장착되었을 때의, 유저의 안구와 웨어러블 단말기의 위치 관계를 도시하는 개략 측면도이다.
도 10은, 양안의 시선 검출을 행하는 경우의 화상 기준 위치를 설명하는 설명도이다.
도 11은, 동 실시 형태에 따른 조작 지시부에 의한 조작 지시의 일례를 나타내는 설명도이다.
도 12는, 웨어러블 단말기를 상하로 이동시키는 상하 조작 지시 오브젝트의 일례를 나타내는 설명도이다.
도 13은, 웨어러블 단말기를 회전시키는 회전 조작 지시 오브젝트의 일례를 나타내는 설명도이다.
도 14는, 웨어러블 단말기의 좌우 편측을 전후로 이동시키는 조작 지시 오브젝트의 일례를 나타내는 설명도이다.
도 15는, 웨어러블 단말기를 전후로 이동시키는 조작 지시 오브젝트의 일례를 나타내는 설명도이다.
도 16은, 동 실시 형태에 따른 정보 처리 장치의 하드웨어 구성을 나타내는 하드웨어 구성도이다.
이하에 첨부 도면을 참조하면서, 본 개시의 적합한 실시 형태에 대하여 상세하게 설명한다. 또한, 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 갖는 구성 요소에 대해서는, 동일한 번호를 부여함으로써 중복 설명을 생략한다.
또한, 설명은 이하의 순서로 행하기로 한다.
1. 제1 실시 형태(EVF로의 적용)
1.1. 기기의 장치 구성
1.2. 기능 구성
1.3. 안구 위치의 어긋남을 해소시키기 위한 조작 지시 처리
2. 제2 실시 형태(웨어러블 단말기로의 적용)
2.1. 기기의 장치 구성
2.2. 안구 위치의 어긋남을 해소시키기 위한 조작 지시 처리
2.3. 조작 지시 오브젝트의 베리에이션
3. 하드웨어 구성
본 개시의 일 실시 형태에 따른 정보 처리 장치는, 표시부와, 당해 표시부의 표시면을 보고 있는 유저의 시선을 검출하는 시선 검출 장치를 구비하는 기기에 적용된다. 예를 들어, 정보 처리 장치는, 전자 뷰 파인더와 접속된 촬상 장치나, 헤드 마운트 디스플레이, 안경형의 웨어러블 단말기 등에 적용되고, 각 기기의 표시면으로의 안구 위치를 조정시킨다.
정보 처리 장치는, 유저의 안구 위치가 기기의 표시면의 시야 중심에 있는지 여부를 판정하고, 유저의 안구 위치와 표시면의 시야 중심이 어긋나 있는 경우에는, 이 어긋남이 해소하도록 유저에게 기기를 이동시키는 조작 지시를 행한다. 유저는, 통지된 조작 지시에 기초하여 기기를 이동하여 표시면의 시야 중심으로 안구가 위치하도록 한다.
유저의 안구 위치를 표시면의 시야 중심으로 맞춤으로써, 시선 검출 장치에 의한 시선 검출 정밀도를 높일 수 있고, 표시부에 표시되어 있는 화상을 유저는 보다 선명하게 볼 수 있다. 또한, 시선에 의한 기기의 조작이 가능한 경우에는, 시선 검출 정밀도가 높아짐으로써, 실제의 시선 방향과 검출된 시선 방향의 어긋남이 작아지고, 유저가 의도하는 조작을 정확하게 기능시키는 것이 가능하게 된다.
이하, 정보 처리장의 구성과 이것에 의한 유저로의 조작 지시에 대해서, 상세하게 설명해 간다.
<1. 제1 실시 형태>
[1.1. 기기의 장치 구성]
먼저, 도 1 내지 도 3을 참조하여, 본 개시의 제1 실시 형태로서, 본 개시의 정보 처리 장치를 전자 뷰 파인더(Electronic View Finder, 이하 「EVF」로 함)와 접속된 촬상 장치에 적용한 경우에 대하여 설명한다. 도 1은, 전자 뷰 파인더(14)와 접속된 촬상 장치(12)를 구비하는 촬상 시스템(10)의 일례를 나타내는 개략 사시도이다. 도 2는, EVF(14)의 일 구성예를 나타내는 yz 평면에서의 개략 단면도이다. 도 3은 EVF(14)의 광원 기판(144)의 일 구성예를 나타내는 xy 평면에서의 개략 단면도이다. 또한, 이하의 설명에서는, 구성 부재 간의 위치 관계를 표현하기 위해서, z축의 정방향에 대하여, 보다 상류의 위치를 「전단」이라고도 호칭하고, 보다 하류의 위치를 「후단」이라고도 칭한다.
본 실시 형태에 따른 정보 처리 장치는, 예를 들어 도 1에 도시한 바와 같이, 촬상 장치(12)와, 당해 촬상 장치(12)에 전기적으로 접속된 EVF(14)를 포함하는 촬상 시스템(10)에 적용된다. EVF(14)는, 촬상 장치(12)의 렌즈로부터 입사한 광이 CCD 등의 촬상 소자에 의해 변환된 화상 데이터를, 표시부(141)에 표시시킨다. 유저는, EVF(14)의 아이 컵(145)을 들여다보고, 표시부(141)의 표시면(141a)에 표시되는 스루 화상을 관찰하면서, 촬영 대상을 비추는 앵글이나, 배율, 노출, 초점 등의 촬영 조건을 적절히 조정한다. 이에 의해, 유저는, 원하는 촬상 화상을 취득할 수 있다.
보다 상세하게 설명하면, EVF(14)는 도 2 및 도 3에 도시한 바와 같이, 표시부(141)와, 광로 변경 소자(142)와, 루페 유닛(143)과, 광원 기판(144)과, 아이 컵(145)과, 촬상부(146)과 힌지(147)를 구비한다. 도 2에 도시한 바와 같이, 이들의 구성 부재 중, 표시부(141), 광로 변경 소자(142), 루페 유닛(143), 광원 기판(144) 및 아이 컵(145)은 이 순서대로 1열로 나란히 배치된다. EVF(14)는, 아이 컵(145)이 유저측에 위치하도록 촬상 장치(12)에 탑재된다.
표시부(141)는 정보를 표시하는 표시 장치이며, 예를 들어 유기 EL 디스플레이(OELD: Organic Electro-Luminescence Display) 장치나 LED 디스플레이 장치, 액정 디스플레이 장치 등을 사용하여 구성된다. 표시부(141)에는, 예를 들어 촬상 장치(12)에 의해 촬상된 촬영 화상이 스루 화상으로서 표시된다. 유저는, 표시부(141)의 표시면(141a)에 표시된 스루 화상을 보면서, 촬상 장치(12)에 의한 촬영범위나 현재의 촬영 조건의 설정 등을 확인할 수 있다.
광로 변경 소자(142)는 표시부(141)의 표시면(141a)과 대향하도록 배치되는 광학 부재이고, 일방향으로부터의 입사광을 직선적으로 투과시킴과 함께, 타 방향으로부터의 광(또는 광의 일부)을 소정의 방향으로 반사시킨다. 광로 변경 소자(142)로서는, 예를 들어 빔 스플리터를 사용할 수 있다. 광로 변경 소자(142)는 도 2에 도시한 바와 같이, 표시부(141)의 표시면(141a)으로부터 입사한 광을 직선적으로 통과시켜, 유저의 눈 E에 입사시킨다. 또한, 광로 변경 소자(142)는 유저의 시선을 검출하기 위하여 유저의 눈 E에 조사된 광의 반사광을 반사하고, 촬상부(146)로 유도한다.
루페 유닛(143)은 광로 변경 소자(142)의 후단에 배치되는 광학 부재이고, 표시부(141)의 표시면(141a)에 표시되어 있는 정보를 확대한다. 예를 들어, 루페 유닛(143)으로서, 적어도 하나의 각종 렌즈에 의해 구성되는 렌즈계를 사용해도 된다.
광원 기판(144)은 루페 유닛(143)의 후단에 배치되는 부재이고, 유저의 시선을 검출하기 위한 요소를 구비하고 있다. 광원 기판(144)의 후단측 평면에는, 도 3에 도시한 바와 같이, 대략 중앙부에 개구부(149)가 형성되어 있고, 그 개구부(149)의 주위에 복수의 광원(148(148a 내지 148h))이 설치되어 있다. 개구부(149)는 유저가, 아이 컵(145)을 들여다봤을 때에, 광원 기판(144)의 전단측에 설치되어 있는 표시부(141)의 표시 정보를 관찰할 수 있도록 하기 위하여 형성되어 있다. 광원(148(148a 내지 148h))은 아이 컵(145)을 들여다보고 있는 유저의 눈 E에 대하여 광을 조사한다. 광원(148(148a 내지 148h))으로서는, 예를 들어 가시광 대역 이외의 파장 대역(예를 들어, 적외선 대역)의 광을 발하는 LED를 사용해도 된다. 가시광 대역 이외의 광을 발하는 광원을 사용함으로써, 당해 광원으로부터 유저의 안구를 향하여 광이 조사되었다고 해도, 유저에 의한 표시부(141)의 표시면(141a)의 관찰을 방해하는 일이 없다.
본 실시 형태에서는, 도 3에 도시한 바와 같이, 복수의 광원(148(148a 내지 148h))은 유저의 안구에 대하여 상하 좌우의 방향으로부터 광을 조사 가능하게 배치되어 있다. 구체적으로는, 복수의 광원(148(148a 내지 148h))은, 개구부(149)의 상변에 대응하는 위치에 LED(148a 내지 148c)가 배치되고, 개구부(149)의 우변에 대응하는 위치에 LED(148d)가 배치되어 있다. 또한, 개구부(149)의 하변에 대응하는 위치에 LED(148e 내지 148g)가 배치되고, 개구부(149)의 좌변에 대응하는 위치에 LED(148h)가 배치되어 있다.
이렇게 대략 사각형의 개구부(149)의 주위를 둘러싸도록 배치된 광원(148(148a 내지 148h))은 제어 회로(도시하지 않음)에 의해 구동된다. 제어 회로는, EVF(14)와 촬상 장치(12) 사이에서 신호를 송수신하는 컨트롤러(도시하지 않음)에 접속되어 있다. 컨트롤러로부터 시선 검출 지시를 받은 제어 회로는, 당해 지시에 따라서 광원(148)의 발광 제어를 행한다. 또한, 컨트롤러는, 후술하는 촬상부(146)와도 접속되어 있고, 제어 회로에 대하여 시선 검출 지시를 출력했을 때, 촬상부(146)에 대해서도 촬영 지시를 출력한다. 이에 의해, 유저의 눈 E에 광원(148)으로부터 광이 출사되고 있는 상태에서의 눈의 화상을 취득할 수 있다.
아이 컵(145)은 광원 기판(144)의 후단에 배치되어, 유저가 표시부(141)의 표시면(141a)을 관찰할 때에 유저가 들여다보고, 당해 유저의 눈이 접촉하는 부재이다. 아이 컵(145)은 광축 방향(z 방향)으로 개구하는 개구부(145a)를 갖고 있다. 유저는, 아이 컵(145)의 개구부(145a)로부터, 표시부(141)의 표시면(141a)을 관찰할 수 있다. 또한, 광원 기판(144)에 설치된 광원(148)으로부터 발해진 광은, 아이 컵(145)의 개구부(145a)를 개재하여 유저의 눈 E에 조사된다.
촬상부(146)는 광원(148)으로부터 발해진 광이 유저의 눈 E에서 반사된 광(반사광)에 기초하는 화상을 취득한다. 촬상부(146)는, 예를 들어 CCD(Charge-Coupled Device) 이미지 센서나 CMOS(Complementary MOS) 이미지 센서 등의 촬상 소자이다. 촬상부(146)는 수광면을 구성하는 화소마다 수광한 광량에 따른 강도의 신호에, 당해 수광면으로의 입사광에 따른 화상(촬상 화상)을 취득한다. 본 실시 형태에 있어서는, 촬상부(146)는 광로 변경 소자(142)에 의해 진행 방향이 변경된 반사광을 수광 가능한 위치에 설치된다. 촬상부(146)에 의해, 광원(148)으로부터 발해진 광의, 유저의 눈 E에서의 반사광을 수광함으로써, 유저의 눈 E의 촬상 화상이 취득된다. 이 촬상 화상에 기초하여, 유저의 시선 방향과 안구 위치가 검출된다.
힌지(147)는, 촬상 장치(12)와 EVF(14)를 접속하기 위한 접속 부재이다. 힌지(147)는, 예를 들어 촬상 장치(12)의 하우징과 EVF(14)의 하우징을 물리적으로 접속시키기 위한 공지된 연결 기구의 부재여도 된다. 힌지(147)에 의해, 도 1에 도시한 바와 같이 촬상 장치(12)와 EVF(14)를 접속함으로써, 유저는 촬상 장치(12)에 탑재되어 있는 파인더와 마찬가지로 EVF(14)를 사용할 수 있다.
[1.2. 기능 구성]
이어서, 도 4에 기초하여, 본 실시 형태에 따른 정보 처리 장치의 기능 구성에 대하여 설명한다. 또한, 도 4는, 본 실시 형태에 따른 정보 처리 장치인 정보 처리부(140)의 기능 구성을 도시하는 기능 블록도이다.
본 실시 형태에 따른 정보 처리부(140)는 촬상 장치(12)에 고정된 EVF(14)를 들여다보는 유저의 눈 E의 안구 위치가, 표시면(141a)의 시야 중심에 있는지 여부를 판정하는 처리부이다. 정보 처리부(140)는, 예를 들어 도 4에 도시한 바와 같이, EVF(14)에 구비된다. 또한, 정보 처리부(140)는 EVF(14) 이외의 장치에 형성해도 되고, 예를 들어 촬상 장치(12)와 EVF(14)를 접속하는 컨트롤러(도시하지 않음)나, EVF(14)와 신호의 송수신 가능하도록 접속된 서버(도시하지 않음) 등에 설치해도 된다.
본 실시 형태에 따른 EVF(14)는 도 4에 도시한 바와 같이, 광원(110)과, 촬상부(120)와, 제어부(130)와, 정보 처리부(140)와, 표시부(150)와, 기억부(160)를 구비한다. 또한, 광원(110)은 도 3의 광원(148(148a 내지 148h))에 상당하고, 촬상부(120)는 도 2 및 도 3의 촬상부(146)에 상당한다. 또한, 제어부(130)는 광원(148)의 발광 제어를 행하는 제어 회로(도시하지 않음)나 촬상부(146)를 제어하는 컨트롤러(도시하지 않음)에 상당하고, 표시부(150)는 도 2의 표시부(141)에 상당한다. 따라서, 이들 기능의 상세한 설명에 대해서는 생략한다.
정보 처리부(140)는, 본 실시 형태에 따른 정보 처리 장치이다. 정보 처리부(140)는, 유저의 안구 위치가 기기의 표시면의 시야 중심에 있는지 여부를 판정하고, 유저의 안구 위치와 표시면의 시야 중심이 어긋나 있는 경우에는, 이 어긋남이 해소되도록 유저에게 기기를 이동시키는 조작 지시를 행한다. 구체적으로는, 정보 처리부(140)는 안구 위치 추정부(140a)와, 어긋남 추정부(140b)와, 조작 지시부(140c)를 포함한다.
안구 위치 추정부(140a)는 표시부(150)를 보고 있는 유저의 눈 E의 위치를 추정한다. 안구 위치 추정부(140a)는 EVF(14)의 아이 컵(145)을 들여다보는 유저의 눈 E에 광원(148)으로부터 조사된 광의 반사광을 검출하여 얻어진 유저의 눈 촬상 화상에 기초하여, 유저의 시선 방향(광축 벡터)과 안구 위치를 추정한다. 유저의 시선 방향은, 예를 들어 동공 각막 반사법을 사용하여 추정된다. 또한, 동공 각막 반사법을 사용한 시선 방향의 추정 처리에 대해서는 후술한다. 안구 위치 추정부(140a)는 추정한 유저의 안구 위치에 관한 정보를, 어긋남 추정부(140b)에 출력한다.
어긋남 추정부(140b)는 안구 위치 추정부(140a)에 의해 추정된 유저의 안구 표시면에 있어서의 위치와, 표시부(150)의 표시면의 시야 중심의 어긋남양을 추정한다. 어긋남 추정부(140b)는 추정된 유저의 시선 방향으로, 미리 설정된 표시부(150)의 표시면의 시야 중심이 있는지 여부를 판정한다. 이때, 표시면에 있어서의 안구 위치와 표시면의 시야 중심과의 차를 취하여, 어긋남양으로 해도 된다. 어긋남 추정부(140b)는 어긋남의 유무에 관한 판정 결과와 어긋남양을, 조작 지시부(140c)로 출력한다.
조작 지시부(140c)는 어긋남 추정부(140b)에 의한 추정 결과에 기초하여, 유저에 대하여 어긋남양을 없애도록 기기를 이동하여 미세 조정시키는 조작 지시를 행한다. 조작 지시부(140c)는 표시면에 있어서의 안구 위치와 표시면의 시야 중심의 어긋남의 상태로부터, 이 어긋남을 해소하기 위해서, 예를 들어 기기를 상하나 좌우, 전후로 이동시키는 지시를 행한다. 조작 지시는, 예를 들어 표시부(150)에, 조작 지시 내용을 표시시켜서 행한다. 조작 지시부(140c)에 의한 조작 지시 내용의 구체예에 대해서는, 후술한다. 조작 지시부(140c)는 결정한 조작 지시를 제어부(130)에 출력하고, 표시부(150)에 표시시킨다.
기억부(160)는 EVF(14)에 있어서의 각종 처리를 행할 때에 필요한 정보를 기억한다. 기억부(160)는, 예를 들어 표시부(150)의 표시면의 시야 중심이나, 유저에 대한 조작 지시를 행하기 위한 정보 등을 기억한다.
이상, 본 실시 형태에 따른 EVF(14)의 기능 구성에 대하여 설명하였다.
[1.3. 시선 방향의 어긋남을 해소시키기 위한 조작 지시 처리]
본 실시 형태에 따른 EVF(14)에서는, 유저의 안구 위치를 표시면의 시야 중심에 맞춤으로써, 유저의 시선 검출 정밀도를 높일 수 있고, 표시부에 표시되어 있는 화상을 유저는 보다 선명하게 볼 수 있게 된다. 본 실시 형태에 따른 EVF(14)는, 상술한 정보 처리부(140)에 의해, 안구 위치가 표시면의 시야 중심에 맞지 않는 경우에는, 유저에 대하여 안구 위치가 표시면의 시야 중심에 맞도록 하기 위한 조작 지시를 통지한다. 유저는, 이 조작 지시에 따라서 기기를 조작함으로써, 용이하게 이 어긋남을 해소할 수 있고, 표시부(141)에 표시되어 있는 정보를 보다 선명하게 보는 것이 가능하게 된다.
이하, 도 5 내지 도 7에 기초하여, 본 실시 형태에 따른 정보 처리부(140)에 의한 조작 지시 처리에 대하여 설명한다. 또한, 도 5는, 본 실시 형태에 따른 정보 처리부(140)에 의한 조작 지시 처리를 나타내는 흐름도이다. 도 6은, 동공 각막 반사법을 사용한 광축 벡터와 안구 위치의 산출 처리에 대하여 설명하기 위한 설명도이다. 도 7은, 동 실시 형태에 따른 조작 지시부(140c)에 의한 조작 지시의 일례를 나타내는 설명도이다.
본 실시 형태에 따른 정보 처리부(140)에 의한 기기의 조작 지시 처리는, 예를 들어 EVF(14)가 기능하고 있는 동안, 항상 실행된다. 이렇게 항상 실행시켜 둠으로써, 유저의 안구 위치가 표시면의 시야 중심으로부터 벗어나버렸을 때에, 발생한 어긋남을 해소하기 위한 조작 지시를 유저에 대하여 바로 통지할 수 있다.
(1) 시선 위치 검출(S100)
정보 처리부(140)는 먼저, 도 5에 도시한 바와 같이, 안구 위치 추정부(140a)에 의해, 아이 컵(145)을 들여다보는 유저의 눈 E의, 표시부(150)의 표시면에 있어서의 시선 위치를 검출한다(S100). 안구 위치 추정부(140a)는, 예를 들어 동공 각막 반사법을 사용하여 시선 방향인 광축과 안구 위치를 검출한다.
여기서, 도 6에 기초하여, 동공 각막 반사법을 사용한 광축의 추정 처리에 대하여 설명한다. 동공 각막 반사법에서는, 표시부의 표시면(141a)을 관찰하는 유저의 안구 E에 대하여 광원(148)으로부터 광을 조사하고, 촬상부(146)에 의해 광이 조사된 안구 E를 촬영한다. 그리고, 촬상부(146)에 의해 촬영된 촬영 화상(146a)에 기초하여, 광축이 추정된다. 여기에서는 설명을 간단하게 하기 위해서, 하나의 광원(148)에 의해 안구 E를 조사한 경우를 설명한다.
도 6에 도시한 바와 같이, 유저는 표시면(141a)의 시야 중심 C0을 보는 것처럼, 표시면(141a)을 정면으로부터 보고 있다고 하자. 이때, 광원(148)에 의해 안구 E에 대하여 광을 조사하고, 촬상부(146)에 의해 안구 E를 촬영한다. 취득된 안구 E의 촬영 화상(146a)에는, 도 6에 도시한 바와 같이, 유저의 안구 E의 각막 E4, 홍채 E3 및 동공 E3이 촬영되고 있다. 또한, 촬영 화상(146a)에서는, 광원(148)으로부터 안구 E에 조사된 조사광의 휘점인 푸르킨예 상(Purkinje Image) P가 촬영되고 있다.
촬영 화상(146a)가 취득되면, 광축의 산출 처리가 행해진다. 광축의 산출 처리는, 안구 위치 추정부(140a)에 의해 행해진다. 이로 인해, 먼저, 촬영 화상(146a)으로부터 동공 중심 S 및 푸르킨예 상 P가 검출된다. 이들의 검출 처리는, 공지된 화상 인식 기술에 의해 행할 수 있다.
예를 들어, 동공 E3a의 상의 검출 처리에 있어서는, 촬영 화상(146a)에 대한 각종 화상 처리(예를 들어 왜곡이나 흑색 레벨, 화이트 밸런스 등의 조정 처리), 촬영 화상(146a) 내의 휘도 분포를 취득하는 처리 등이 행해진다. 또한, 취득된 휘도 분포에 기초하여 동공 E3a의 상의 윤곽(에지)을 검출하는 처리나, 검출된 동공 E3a의 상의 윤곽을 원 또는 타원 등의 도형으로 근사하는 처리 등이 행해져도 된다. 검출된 동공 E3a의 상으로부터, 동공 중심 S를 구할 수 있다.
또한, 푸르킨예 상 P의 검출 처리에 있어서는, 촬영 화상(146a)에 대한 각종 화상 처리, 촬영 화상(146a) 내의 휘도 분포를 취득하는 처리, 당해 휘도 분포에 기초하여 주위의 화소와의 휘도값의 차가 비교적 큰 화소를 검출하는 처리 등의 일련의 처리가 행해져도 된다. 또한, 검출된 푸르킨예 상 P로부터, 푸르킨예 상 P의 중심을 검출해도 된다.
계속해서, 동공 중심 S 및 각막 E4의 곡률 중심점 C의 3차원 좌표가 산출된다. 각막 E4의 곡률 중심점 C는, 각막 E4를 공의 일부라고 간주했을 경우의 당해 공이 중심이다. 동공 중심 S의 3차원 좌표는, 촬영 화상(146a)으로부터 검출된 동공 E3a의 상에 기초하여 산출된다. 구체적으로는, 촬상부(146)와 안구 E의 위치 관계, 각막 E4 표면에 있어서의 광의 굴절, 각막 E4의 곡률 중심점 C와 동공 중심 S와의 거리 등에 기초하여, 촬영 화상 E3a에 있어서의 동공 E3a의 상의 윤곽상의 각 점에 3차원 좌표가 산출된다. 이들의 좌표의 중심점이, 동공 중심 S의 3차원 좌표로 여겨진다.
또한, 각막 E4의 곡률 중심점 C는, 촬영 화상 E3a로부터 검출된 푸르킨예 상 P 및 그 중심에 기초하여 산출된다. 구체적으로는, 광원(148)과 촬상부(146)와 안구 E의 위치 관계, 각막 E4의 곡률 반경 등에 기초하여, 촬상부(146)와 푸르킨예 상 P의 중심을 연결하는 직선 상에 있어서, 각막 E4의 표면으로부터 안구 E의 내부를 향하여 각막 E4의 곡률 반경만큼 앞선 위치가, 각막 E4의 곡률 중심점 C의 3차원 좌표로서 산출된다.
이렇게 산출된 각막 E4의 곡률 중심점 C와 동공 중심 S를 연결하는 직선이, 추정된 광축이 된다. 즉, 광축과 표시면(141a)이 교차하는 위치의 좌표가, 추정된 유저의 시선 위치가 된다. 또한, 각막 E4의 곡률 중심점 C로부터 동공 중심 S를 향하는 벡터를 광축 벡터 vo라 한다. 이 광축 벡터 vo가 유저의 시선 방향이 된다. 또한, 곡률 중심점 C로부터 vo의 역방향을 향한 위치에 안구 선회점 R이 있다. 안구 선회점 R까지의 거리는 통계량을 사용해도 되고, 복수의 점을 보았을 때의 광축 벡터 vo의 교차점으로부터 구해도 된다. 이것으로부터, 표시부의 표시면(141a)에 있어서의 안구 위치를 특정할 수 있다.
(2) 어긋남양 추정(S110)
안구 위치 추정부(140a)에 의해 유저의 안구 위치가 특정되면, 어긋남 추정부(140b)는 추정된 유저의 안구 위치와 화면 기준 위치와의 어긋남을 추정한다(S110). 화면 기준 위치는, 유저의 시선을 향하고자 하는 표시면 상의 위치를 말하고, 본 실시 형태에서는 표시면(141a)의 시야 중심 C0이다. 화면 기준 위치는 미리 설정되어 있고, 예를 들어 기억부(160)에 기억되어 있다. 어긋남 추정부(140b)는 표시면(141a)에 있어서의 유저의 안구 위치와 표시면(141a)의 시야 중심 C0에 대하여 좌표의 차분을 취함으로써, 이들의 어긋남양을 얻을 수 있다.
(3) 조작 필요 여부 판정(S120)
스텝 S110에서 추정된 유저의 안구 위치와 표시면(141a)의 시야 중심 C0의 어긋남을 취하면, 어긋남 추정부(140b)는 그 어긋남양이 허용 범위 내인지 여부를 판정한다(S120). 어긋남양의 허용 범위는, 예를 들어 촬상부(146)에 의한 촬영 화상에 기초하는 시선 검출 정밀도가 허용 범위인지 여부, 또는 표시부를 광학적으로 왜곡 없이 구 관찰 가능한지 여부에 따라서 결정되고, 미리 기억부(160)에 기억되어 있다. 어긋남 추정부(140b)는 기억부(160)를 참조하여, 스텝 S110에서 얻은 어긋남양이 허용 범위 내에서 있는지 여부를 판정한다. 어긋남이 허용 범위 내인 경우에는, 기기의 위치 조정은 불필요하기 때문에, 도 5에 도시하는 처리를 종료하고, EVF(14)가 기동하고 있는 상태라면, 다시 도 5의 처리 실행을 개시한다.
(4) 기기의 조작 지시(S130)
한편, 스텝 S120에서 어긋남이 허용 범위 내에 없다고 판정했을 경우에는, 유저의 안구가 표시면(141a)의 시야 중심 C0로부터 벗어나 있기 때문에, 조작 지시부(140c)에 의해, 발생한 어긋남을 해소하기 위한 조작 지시를 유저에 대하여 통지한다(S130).
도 7에, 유저의 시선이 표시면(141a)의 시야 중심 C0로부터 어긋나 있을 때에 유저에게 통지되는 조작 지시 정보의 일례를 나타낸다. 도 7 좌측에 도시한 바와 같이, EVF(14)의 표시면(141a)에, 스루 화상(200)이 표시되어 있다고 하자. 여기서, 유저가 정면을 향하고 있을 때에 안구 위치가 표시면(141a)의 시야 중심 C0에 일치하고 있으면, 유저는 이 스루 화상(200)을 선명하게 볼 수 있다. 그러나, 안구 위치가 표시면(141a)의 시야 중심 C0에 맞지 않고 있을 때에는, 스루 화상(200)을 선명하게 볼 수 없다. 이러한 경우에, 조작 지시부(140c)는 유저에 대하여 도 7 좌측에 도시한 바와 같은 조작 지시를 행하기 위한 오브젝트를 표시시킨다.
예를 들어, 조작 지시부(140c)는 조작 지시 정보로서, 유저의 안구 위치를 맞추고 싶은 위치인 표시면(141a)의 시야 중심 C0를 나타내는 목표 오브젝트(212)와, 현재의 유저의 안구 위치를 나타내는 안구 위치 오브젝트(214)를 표시한다. 목표 오브젝트(212) 및 안구 위치 오브젝트(214)는, 예를 들어 도 7에 도시하는 바와 같이 눈의 형상이어도 되고, 예를 들어 원형이나 사각형, 별모양 등, 기타의 형상이어도 된다. 유저는, 목표 오브젝트(212) 및 안구 위치 오브젝트(214)가 표시되면, 정면을 향하고 있을 때의 안구 위치가 어긋나 있음을 인식하고, 목표 오브젝트(212)와 안구 위치 오브젝트(214)가 일치하도록 EVF(14)를 움직이게 한다. 이때, 도 7 좌측에 도시한 바와 같이, 유저로의 조작 지시로서, 「눈의 위치를 파인더 중앙으로 되돌리세요」라는 메시지 오브젝트(220)를 스루 화상(200)에 중첩하여 표시시켜도 된다.
이들 오브젝트(목표 오브젝트(212), 안구 위치 오브젝트(214) 및 메시지 오브젝트(220))에 의한 조작 지시를 받고, 유저는 EVF(14)를 상하, 좌우, 전후로 움직이게 한다. 예를 들어, 도 7 좌측에 도시하는 바와 같이 목표 오브젝트(212)에 대하여 좌측에 안구 위치 오브젝트(214)가 어긋나 있을 때에는, 유저는 EVF(14)를 좌측으로 이동시키고, 목표 오브젝트(212)와 안구 위치 오브젝트(214)를 일치시킨다. 이때, 스텝 S100 내지 S120의 처리를 반복하고, EVF(14)의 이동에 수반하는 안구 위치 오브젝트(214)의 표시 위치도 변화시킴으로써, 올바른 방향으로 기기를 이동시켰는지를 유저에게 인식시킬 수 있다.
그리고, 목표 오브젝트(212)와 안구 위치 오브젝트(214)가 일치했을 때, 시선은 표시면(141a)의 시야 중심 C0를 향하고 있는 상태가 된다. 이와 같이, 어긋남 추정부(140b)에 의해 추정된 어긋남양이 허용 범위가 되고, EVF(14)를 이동시킬 필요가 없어지면, 조작 지시부(140c)는 도 7 우측에 도시한 바와 같이, 표시하고 있던 조작 지시의 오브젝트를 비표시로 하고, 유저로의 조작 지시를 종료한다. 또한 시야 중심 C0와 목표 오브젝트(212)의 위치가 일치하는 경우에는, 안구 위치 대신 각막 중심의 위치를 사용해도 된다.
이상, 본 실시 형태에 따른 정보 처리부(140)에 의한 기기의 조작 지시 처리에 대하여 설명하였다. 이러한 처리에 의하면, 유저의 안구 위치가 화면 기준 위치인 표시면(141a)의 시야 중심 C0의 허용 범위 외에 있을 때에, 유저에게 기기를 이동시켜서 시선이 표시면(141a)의 시야 중심 C0를 향하도록 조작시키는 조작 지시를 시각적으로 통지한다. 이에 의해, 유저는, 시선이 표시면(141a)의 시야 중심 C0로부터 어긋났음을 인식하고, 적절한 상태로 하는 조작을 행할 수 있다. 따라서, 유저는 EVF(14)에 표시되고 있는 화상을 선명한 상태에서 볼 수 있다.
<2. 제2 실시 형태>
이어서, 본 개시의 제2 실시 형태로서, 본 개시의 정보 처리 장치를 안경형의 웨어러블 단말기에 적용한 경우에 대하여 설명한다. 안경형의 웨어러블 단말기는, 제1 실시 형태의 EVF(14)와 비교하여, 양안의 시선을 검출하는 점에서 상이하다. 그러나, 각 눈의 시선 검출 방법 및 화면 기준 위치에서의 시선 위치의 어긋남을 해소하기 위한 처리에 대해서는, 제1 실시 형태와 마찬가지로 행할 수 있다. 그래서, 이하에서는, 본 실시 형태에 따른 안경형의 웨어러블 단말기의 개략 구성과, 안경형의 웨어러블 단말기에 정보 처리부(140)를 적용한 경우의 안구 위치의 어긋남을 해소하기 위한 조작 지시 처리에 대해서, 주로 설명한다. 정보 처리부(140)의 기능 구성은 도 4와 동일하고, 이것에 의한 조작 지시 처리는 도 5와 동일하기 때문에, 이들에 관한 상세한 설명은 생략한다.
[2.1. 기기의 장치 구성]
먼저, 도 8 및 도 9에 기초하여, 본 개시의 정보 처리 장치를 적용하는 안경형의 웨어러블 단말기(이하, 간단히 「웨어러블 단말기」라고도 함)(20)의 구성에 대하여 설명한다. 또한, 도 8은, 본 실시 형태에 따른 안경형의 웨어러블 단말기(20)의 개략 구성을 도시하는 개략 평면도이며, 유저의 안면과 대향하는 측의 구성을 나타낸다. 도 9는, 본 실시 형태에 따른 웨어러블 단말기(20)가 장착되었을 때의, 유저의 안구 E와 웨어러블 단말기(20)의 위치 관계를 도시하는 개략 측면도이다.
안경형의 웨어러블 단말기(20)는 유저가 헤드부에 장착하고, 눈과 표시부를 대향시킨 상태에서 사용되는 장치이다. 또한, 본 실시 형태에서는, 안경형의 웨어러블 단말기(20)에 대하여 설명하지만, 예를 들어 헤드 마운트 디스플레이에도 적용 가능하다. 본 실시 형태에 따른 웨어러블 단말기(20)는, 도 8에 도시한 바와 같이, 유저의 눈과 대향하는 면의, 우안 및 좌안에 대응하는 위치에, 각각 표시부(23R, 23L)가 설치되어 있다. 본 실시 형태에 따른 표시부(23R, 23L)는, 대략 직사각형으로 형성되어 있다. 또한, 하우징(21)에는 표시부(23R, 23L) 사이에, 유저의 코가 위치하는 오목부(211a)가 형성되어 있어도 된다.
표시부(23R)의 주위에는, 4개의 광원(24Ra, 24Rb, 24Rc, 24Rd)이 표시부(23R)의 4개의 변의 대략 중앙에 각각 설치되어 있다. 마찬가지로, 표시부(23L)의 주위에는, 4개의 광원(24La, 24Lb, 24Lc, 24Ld)이 표시부(23L)의 4개의 변의 대략 중앙에 각각 설치되어 있다. 이들 광원(24Ra 내지 24Rd, 24La 내지 24Ld)은, 적외광을 발하는 광원을 포함한다. 각 광원(24Ra 내지 24Rd, 24La 내지 24Ld)은, 이들이 설치되어 있는 표시부(24R, 24L)에 대향하고 있는 유저의 안구 E에 대하여 광을 조사한다.
또한, 표시부(23R, 23L)의 주위에는 각각, 안구 E를 촬영하는 촬상부(25R, 25L)가 설치되어 있다. 각 촬상부(25R, 25L)는, 예를 들어 도 8에 도시한 바와 같이, 각 표시부(23R, 23L)의 하부(각 표시부(23R, 23L)의 하부에 설치된 광원(24Rc, 24Lc)보다도 하부측)에 설치된다. 촬상부(25R, 25L)는, 도 9에 도시한 바와 같이, 적어도 촬영하는 안구 E의 동공 E3a가 촬영 범위에 포함되도록 배치된다. 예를 들어, 촬상부(25R, 25L)는, 소정의 앙각 θ를 갖도록 배치된다. 앙각 θ는, 예를 들어 약 30°로 해도 된다.
또한, 웨어러블 단말기(20)는 유저에게 장착되었을 때, 표시부(23R, 23L)가 유저의 안구 E로부터 소정의 거리만큼 이격되도록 구성된다. 이에 의해, 웨어러블 단말기(20)를 장착한 유저는 불쾌함 없이, 표시부(23R, 23L)의 표시 영역을 시야 내에 수용할 수 있다. 이때, 유저가 안경 G를 장착하고 있는 경우에도, 그 위에서 겹쳐서 웨어러블 단말기(20)를 장착 가능하도록, 표시부(23R, 23L)와 유저의 안구 E와의 거리를 결정해도 된다. 촬상부(25R, 25L)는 이 상태에서, 유저의 안구 E의 동공 E3a가 촬영 범위에 포함되도록 배치된다.
본 실시 형태에 따른 웨어러블 단말기(20)는 도 8에 도시한 바와 같이, 좌우의 눈 각각에 대해서, 표시부(23), 광원(24), 촬상부(25)를 포함하는 표시 검출 유닛(22R, 22L)을 독립하여 이동 가능하게 구성되어 있다. 표시 검출 유닛(22R, 22L)은, 예를 들어 하우징(21)의 저면에 설치된 슬라이드 조작부(26R, 26L)에 의해 좌우로 이동 가능하게 구성되어 있다. 슬라이드 조작부(26R)를 슬라이드시키면, 그 슬라이드 방향에 표시 검출 유닛(22R)이 이동하고, 슬라이드 조작부(26L)를 슬라이드시키면, 그 슬라이드 방향으로 표시 검출 유닛(22L)이 이동한다. 이와 같이, 각 표시 검출 유닛(22R, 22L)을 독립하여 이동 가능하게 함으로써, 유저에게 맞는 눈 사이로 표시부(23R, 23L)를 볼 수 있도록 조정할 수 있다.
[2.2. 시선 방향의 어긋남을 해소시키기 위한 조작 지시 처리]
본 실시 형태에 따른 웨어러블 단말기(20)에서는, 유저의 우안 및 좌안의 안구 위치를, 표시부(23R, 23L)의 시야 중심으로 각각 맞추도록 한다. 이에 의해, 유저의 시선 검출 정밀도를 높일 수 있고, 표시부(23R, 23L)에 표시되어 있는 화상을 유저는 보다 선명하게 볼 수 있게 된다.
여기서, 본 실시 형태에 따른 웨어러블 단말기(20)와 같이 양안으로 화상을 보는 경우, 유저가 보는 화상은, 2개의 화상으로 구성된다. 도 10에 도시한 바와 같이, 웨어러블 단말기(20)의 표시부 전체 시야 A가 수평 방향으로 -θ° 내지 θ의 범위를 갖는 것으로 하고, 전체 시야 A의 시야 중심 C0이 그 중심(즉 0°의 위치)에 있다고 하자. 이때, 우안용 화상(200R)은, 전체 시야 A 가운데 시야 중심 C0을 포함하는 -α° 내지 θ°의 범위를 구성하고, 좌안용 화상(200L)은, 전체 시야 A 가운데 시야 중심 C0을 포함하는 -θ° 내지 α°의 범위를 구성하고 있다.
이때, 유저의 각 눈의 안구 위치는, 대응하는 화상에 있어서의 전체 시야 A의 시야 중심 C0에 일치하도록 조정된다. 상술한 정보 처리부(140)는 각 눈의 안구 위치가 대응하는 표시면의 시야 중심에 맞지 않았다고 판정했을 경우에는, 유저에 대하여 안구 위치가 전체 시야 A에 있어서의 시야 중심 C0에 맞도록 하기 위한 조작 지시를 통지한다. 유저는, 이 조작 지시에 따라서, 슬라이드 조작부(26R, 26L)를 조작하거나, 웨어러블 단말기(20) 자체를 움직이게 하거나 한다. 이에 의해, 기기에 대한 시선 방향의 어긋남을 용이하게 해소할 수 있고, 표시부(23R, 23L)에 표시되어 있는 정보를 보다 선명하게 보는 것이 가능하게 된다.
도 5에 도시한 정보 처리부(140)에 의한 기기의 조작 지시 처리의 흐름도에 따라, 본 실시 형태에 따른 웨어러블 단말기(20)에 대한 조작 지시 처리의 예를 설명한다.
(1) 시선 위치 검출(S100)
정보 처리부(140)는 먼저, 도 5에 도시한 바와 같이, 안구 위치 추정부(140a)에 의해, 웨어러블 단말기(20)를 장착한 유저의 우안 및 좌안의, 표시부(23R, 23L)의 표시면에 있어서의 시선 위치를 검출한다(S100). 안구 위치 추정부(140a)는, 예를 들어 동공 각막 반사법을 사용하여 시선 방향인 광축을 추정함으로써, 유저의 안구 위치를 검출한다. 동공 각막 반사법을 사용한 광축의 추정 처리는, 도 6에 기초하여 제1 실시 형태에서 설명한 방법을 사용해도 된다. 안구 위치 추정부(140a)는 동공 각막 반사법을 사용하여 추정된 광축 벡터 vo에 의해 유저의 안구 위치를 특정하고, 표시부(23R, 23L)의 표시면에 있어서의 안구 위치를 특정할 수 있다.
(2) 어긋남양 추정(S110)
안구 위치 추정부(140a)에 의해 유저의 안구 위치가 특정되면, 어긋남 추정부(140b)는 추정된 유저의 안구 위치와 화면 기준 위치의 어긋남을 추정한다(S110). 화면 기준 위치는, 본 실시 형태에서는 전체 시야 A의 시야 중심 C0이다. 화면 기준 위치는 미리 설정되어 있고, 예를 들어 기억부(160)에 기억되어 있다. 어긋남 추정부(140b)는 각 표시부(23R, 23L)의 표시면에 있어서의 유저의 안구 위치와 전체 시야 A의 시야 중심 C0에 대하여 좌표의 차분을 취함으로써, 좌우의 눈에 대해서, 전체 시야 A의 시야 중심 C0에 대한 안구 위치의 어긋남양을 얻을 수 있다.
(3) 조작 필요 여부 판정(S120)
스텝 S110에서 추정된 유저의 안구 위치와 각 표시부(23R, 23L)의 표시면의 시야 중심 C0의 어긋남을 얻으면, 어긋남 추정부(140b)는 그 어긋남양이 허용 범위 내에서 있는지 여부를 판정한다(S120). 어긋남양의 허용 범위는, 예를 들어 촬상부(146)에 의한 촬영 화상에 기초하는 시선 검출 정밀도가 허용 범위 인지 여부, 또는 화면이 광학적으로 찌그러진 구 관찰 가능한지 여부에 따라서 결정되어, 미리 기억부(160)에 기억되어 있다. 어긋남 추정부(140b)는 기억부(160)를 참조하고, 스텝 S110에서 얻은 어긋남양이 허용 범위 내에서 있는지 여부를 판정한다. 어긋남이 허용 범위 내인 경우에는, 기기의 위치 조정은 불필요하기 때문에, 도 5에 도시하는 처리를 종료하고, 웨어러블 단말기(20)가 기동하고 있는 상태라면, 다시 도 5의 처리 실행을 개시한다.
(4) 기기의 조작 지시(S130)
한편, 스텝 S120에서 어긋남이 허용 범위 내에 없다고 판정했을 경우에는, 유저의 안구가 각 표시부(23R, 23L)의 표시면의 시야 중심 C0로부터 벗어나 있기 때문에, 조작 지시부(140c)에 의해, 발생한 어긋남을 해소하기 위한 조작 지시를 유저에 대하여 통지한다(S130).
도 11에, 유저의 안구 위치가 표시면의 시야 중심 C0로부터 어긋나 있을 때에 유저에게 통지되는 조작 지시 정보의 일례를 나타낸다. 도 9에 나타내는 스루 화상(200)은, 전체 시야에 표시되어 있는 화상이다. 유저가 정면을 향하고 있을 때에 좌우의 눈 시선이 모두 표시면의 시야 중심 C0에 일치하고 있으면, 유저는 이 스루 화상(200)을 선명하게 볼 수 있다. 그러나, 좌우의 눈 어느 쪽인가의 안구 위치가 표시면의 시야 중심 C0에 맞지 않았을 때에는, 스루 화상(200)을 선명하게 볼 수 없다. 이러한 경우에, 조작 지시부(140c)는 유저에 대하여 도 11 좌측에 도시한 바와 같은 조작 지시를 행하기 위한 오브젝트를 표시시킨다.
예를 들어, 조작 지시부(140c)는 조작 지시 정보로서, 표시 검출 유닛(22R, 22L)을 좌우로 슬라이드시키는 슬라이드 조작부(26R, 26L)의 조작 방향을 나타내는 슬라이드 지시 오브젝트(230)을 스루 화상(200)에 중첩하여 표시시킨다. 예를 들어, 어긋남 추정부(140b)에 의한 어긋남양을 추정한 결과, 우안의 안구 위치가 시야 중심 C0에 대하여 좌측에 있다고 판정되었다고 하자. 이때, 도 11에 도시한 바와 같이, 우안의 표시 검출 유닛(22R)을 좌측으로 이동시키도록, 슬라이드 조작부(26R)를 좌측으로 이동시키는 것을 설명하는 화상이 슬라이드 지시 오브젝트(230)로서 표시부에 표시된다.
유저는, 슬라이드 지시 오브젝트(230)가 표시되면, 정면을 향하고 있을 때의 우안 안구 위치가 어긋나 있음을 인식하고, 슬라이드 조작부(26R)를 좌측으로 이동시킨다. 이때, 도 7 좌측에 도시한 바와 같이, 유저로의 조작 지시로서, 「우측의 슬라이드 조작부를 왼쪽으로 이동시키세요」라는 메시지 오브젝트를 스루 화상(200)에 중첩하여 표시시켜도 된다. 유저가 슬라이드 조작부(26R)를 좌측으로 이동시키고, 우안의 안구 위치가 표시면의 시야 중심 C0에 일치된 상태가 되면, 조작 지시부(140c)는 도 11 우측에 도시한 바와 같이, 표시하고 있던 슬라이드 지시 오브젝트(230)를 비표시로 하고, 유저로의 조작 지시를 종료한다.
이상, 본 실시 형태에 따른 정보 처리부(140)에 의한 기기의 조작 지시 처리에 대하여 설명하였다. 이러한 처리에 의하면, 유저의 시선이 화면 기준 위치인 표시면의 시야 중심 C0의 허용 범위 외에 있을 때에, 유저에게 기기를 조작시켜서 안구 위치가 표시면의 시야 중심 C0에 위치하도록 조작시키는 조작 지시를 시각적으로 통지한다. 이에 의해, 유저는, 안구 위치가 표시면의 시야 중심 C0로부터 어긋났음을 인식하고, 적절한 상태로 하는 조작을 행할 수 있다. 따라서, 유저는 웨어러블 단말기(20)에 표시되어 있는 화상을 선명한 상태에서 볼 수 있다.
[2.3. 조작 지시 오브젝트의 베리에이션]
유저의 안구 위치가 표시면의 시야 중심으로부터 벗어나서 발생한 어긋남을 해소시키기 위한 조작 지시 오브젝트는, 상술한 슬라이드 지시 오브젝트(230) 이외에도, 이하와 같은 오브젝트여도 된다.
예를 들어, 도 12에 도시한 바와 같이, 유저의 좌우 안구 위치가, 표시면의 시야 중심에 대하여 상방 또는 하방으로 어긋나 있는 경우에는, 웨어러블 단말기(20)를 상하로 이동시키는 상하 조작 지시 오브젝트(231)를 표시시켜도 된다. 상하 조작 지시 오브젝트(231)로서는, 예를 들어 도 12 좌측에 도시한 바와 같이, 웨어러블 단말기(20)의 모식도와 그 이동 방향을 나타내는 화살표를 포함하는 상하 조작 지시 오브젝트(231a)를 표시시켜도 된다. 또는, 도 12 우측에 도시한 바와 같이, 웨어러블 단말기(20)의 모식도를 상하 조작 지시 오브젝트(231b)로서 현재의 안구 위치에 대하여 역방향으로 표시하고, 표시면의 시야 중심에 대응하여 표시된 우안 및 좌안의 목표 오브젝트(232)를 표시해도 된다. 이때, 유저는, 목표 오브젝트(232)가 웨어러블 단말기(20)의 모식도 표시부에 맞게 이동시키도록 웨어러블 단말기(20)를 이동시킨다.
또한, 예를 들어 도 13에 도시한 바와 같이, 유저의 좌우 시선 방향이, 표시면의 시야 중심에 대하여 회전하여 어긋나 있을 경우에는, 웨어러블 단말기(20)의 기울기를 해소하도록 회전시키는 회전 조작 지시 오브젝트(233)를 표시시켜도 된다. 회전 조작 지시 오브젝트(233)로서는, 예를 들어 도 13 좌측에 도시한 바와 같이, 웨어러블 단말기(20)의 모식도와 그 회전 방향을 나타내는 화살표를 포함하는 회전 조작 지시 오브젝트(233a)를 표시시켜도 된다. 또는, 도 13 우측에 도시한 바와 같이, 현재의 시선 방향에 대응하여 회전된 웨어러블 단말기(20)의 모식도를 회전 조작 지시 오브젝트(233b)로서 표시해도 된다. 이때, 유저는, 기울어서 표시되고 있는 회전 조작 지시 오브젝트(233b)의 기울기가 없어지도록 웨어러블 단말기(20)를 회전시킨다.
또한, 예를 들어 도 14에 도시한 바와 같이, 웨어러블 단말기(20)의 각 눈의 표시면에 대하여 대응하는 안구로부터의 거리가 상이한 경우도 있다. 이 경우, 웨어러블 단말기(20)의 좌우 깊이가 상이하기 때문에, 이 깊이의 어긋남을 해소하기 위한 조작 지시 오브젝트(235)를 표시시켜도 된다. 조작 지시 오브젝트(235)로서는, 예를 들어 도 14 좌측에 도시한 바와 같이, 웨어러블 단말기(20)의 모식도와 그 이동 방향을 나타내는 화살표를 포함하는 조작 지시 오브젝트(235a)를 표시시켜도 된다. 또는, 도 14 우측에 도시한 바와 같이, 현재의 깊이의 상이를 나타낸 웨어러블 단말기(20)의 모식도를 조작 지시 오브젝트(235b)로서 표시해도 된다. 이때, 유저는, 조작 지시 오브젝트(235b)의 깊이가 동등해지도록 웨어러블 단말기(20)를 이동시킨다.
또한, 예를 들어 도 15에 도시한 바와 같이, 웨어러블 단말기(20)의 각 눈의 표시면과 대응하는 안구와의 거리가, 적합한 거리로부터 어긋나 있는 경우도 있다. 이 경우, 웨어러블 단말기(20)의 좌우 깊이는 동등하지만, 보다 안면에 접근하거나 이격하거나 해서, 웨어러블 단말기와 눈과의 거리를 적절한 위치로 조정하는 것이 좋다. 이 경우, 웨어러블 단말기(20)의 전후의 어긋남을 해소하기 위한 조작 지시 오브젝트(237)를 표시시켜도 된다. 조작 지시 오브젝트(237)로서는, 예를 들어 도 15 좌측에 도시한 바와 같이, 웨어러블 단말기(20)의 모식도와 그 이동 방향을 나타내는 화살표를 포함하는 조작 지시 오브젝트(237a)를 표시시켜도 된다. 또는, 도 15 우측에 도시한 바와 같이, 현재의 깊이에서의 웨어러블 단말기(20)의 모식도를 조작 지시 오브젝트(237b)로서 표시하고, 조작 지시 오브젝트(237b)를 이동시킬 목표로 하는 위치에 목표 오브젝트(238)를 표시해도 된다. 이때, 유저는, 조작 지시 오브젝트(237b)의 크기가 목표 오브젝트(238)와 동등해지도록 웨어러블 단말기(20)를 전후로 이동시킨다.
또한, 도 12 내지 도 15에서는, 정보 처리부(140)에 의한 조작 지시 처리를 웨어러블 단말기(20)에 적용한 경우의 오브젝트 예를 나타냈지만, 도 14를 제외하고, 제1 실시 형태에서 나타낸 EVF(14)에 적용하는 경우에도 동일한 오브젝트를 표시시키는 것도 가능하다.
또한, 조작 지시 오브젝트는, 시각적으로 유저에게 조작 지시 내용을 통지할 수 있는 것이면 되고, 상술한 예에 한정되는 것은 아니다. 예를 들어, 조작 지시 오브젝트로서, 기기의 구체적인 어긋남양 또는 이동량을 텍스트 표시해도 된다.
<3. 하드웨어 구성>
마지막으로, 본 실시 형태에 따른 정보 처리부(140)의 하드웨어 구성예에 대하여 설명한다. 도 16은, 본 실시 형태에 따른 정보 처리부(140)의 하드웨어 구성을 나타내는 하드웨어 구성도이다. 또한, 상술한 실시 형태에서는, 정보 처리부(140)는 EVF(14)나 웨어러블 단말기(20)에 구비되어 있는 것으로서 설명했지만, 예를 들어 이하에 도시한 바와 같은 정보 처리 장치에 정보 처리부(140)를 설치하고, 상술한 기기와 통신 가능하게 함으로써, 상기 조작 지시 처리를 실행하는 것도 가능하다.
본 실시 형태에 따른 정보 처리부(140)는 상술한 바와 같이, 컴퓨터 등의 처리 장치에 의해 실현할 수 있다. 정보 처리부(140)는 도 16에 도시한 바와 같이, CPU(Central Processing Unit)(901)와, ROM(Read Only Memory)(902)과, RAM(Random Access Memory)(903)과, 호스트 버스(904a)를 구비한다. 또한, 정보 처리부(140)는 브리지(904)와, 외부 버스(904b)와, 인터페이스(905)와, 입력 장치(906)와, 출력 장치(907)와, 스토리지 장치(908)와, 드라이브(909)와, 접속 포트(911)와, 통신 장치(913)를 구비한다.
CPU(901)는, 연산 처리 장치 및 제어 장치로서 기능하고, 각종 프로그램에 따라서 정보 처리부(140) 내의 동작 전반을 제어한다. 또한, CPU(901)는 마이크로 프로세서여도 된다. ROM(902)은, CPU(901)가 사용하는 프로그램이나 연산 파라미터 등을 기억한다. RAM(903)은, CPU(901)의 실행에 있어서 사용하는 프로그램이나, 그 실행에 있어서 적절히 변화하는 파라미터 등을 일시 기억한다. 이것들은 CPU 버스 등으로 구성되는 호스트 버스(904a)에 의해 서로 접속되어 있다.
호스트 버스(904a)는 브리지(904)를 개재하여, PCI(Peripheral Component Interconnect/Interface) 버스 등의 외부 버스(904b)에 접속되어 있다. 또한, 반드시 호스트 버스(904a), 브리지(904) 및 외부 버스(904b)를 분리 구성할 필요는 없고, 1개의 버스에 이들 기능을 실장해도 된다.
입력 장치(906)는 마우스, 키보드, 터치 패널, 버튼, 마이크, 스위치 및 레버 등 유저가 정보를 입력하기 위한 입력 수단과, 유저에 의한 입력에 기초하여 입력 신호를 생성하고, CPU(901)에 출력하는 입력 제어 회로 등으로 구성되어 있다. 출력 장치(907)는, 예를 들어 액정 디스플레이(LCD) 장치, OLED(Organic Light Emitting Diode) 장치 및 램프 등의 표시 장치나, 스피커 등의 음성 출력 장치를 포함한다.
스토리지 장치(908)는 정보 처리부(140)의 기억부의 일례이고, 데이터 저장용의 장치이다. 스토리지 장치(908)는 기억 매체, 기억 매체에 데이터를 기록하는 기록 장치, 기억 매체로부터 데이터를 판독하는 판독 장치 및 기억 매체에 기록된 데이터를 삭제하는 삭제 장치 등을 포함해도 된다. 이 스토리지 장치(908)는 하드 디스크를 구동하고, CPU(901)가 실행하는 프로그램이나 각종 데이터를 저장한다.
드라이브(909)는 기억 매체용 리더라이터이고, 정보 처리부(140)에 내장, 또는 외장된다. 드라이브(909)는 장착되어 있는 자기 디스크, 광 디스크, 광 자기 디스크 또는 반도체 메모리 등의 리무버블 기록 매체에 기록되어 있는 정보를 판독하고, RAM(903)에 출력한다.
접속 포트(911)는 외부 기기와 접속되는 인터페이스이며, 예를 들어 USB(Universal Serial Bus) 등에 의해 데이터 전송 가능한 외부 기기와의 접속구이다. 또한, 통신 장치(913)는, 예를 들어 통신망(5)에 접속하기 위한 통신 디바이스 등으로 구성된 통신 인터페이스이다. 또한, 통신 장치(913)는, 무선 LAN(Local Area Network) 대응 통신 장치여도, 와이어리스 USB 대응 통신 장치여도, 유선에 의한 통신을 행하는 와이어 통신 장치여도 된다.
이상, 첨부 도면을 참조하면서 본 개시의 적합한 실시 형태에 대하여 상세하게 설명했지만, 본 개시의 기술적 범위는 이러한 예에 한정되지 않는다. 본 개시의 기술 분야에 있어서의 통상의 지식을 갖는 사람이라면, 특허 청구 범위에 기재된 기술적 사상의 범주 내에서, 각종 변경예 또는 수정예에 상도할 수 있는 것은 명확하고, 이들에 대해서도, 당연히 본 개시의 기술적 범위에 속하는 것이라고 이해된다.
또한, 본 명세서에 기재된 효과는, 어디까지나 설명적 또는 예시적인 것이며 한정적이지 않다. 즉, 본 개시에 관한 기술은, 상기 효과와 함께 또는 상기 효과 대신에, 본 명세서의 기재로부터 당업자에게는 명확한 그 밖의 효과를 발휘할 수 있다.
또한, 이하와 같은 구성도 본 개시의 기술적 범위에 속한다.
(1)
표시면을 보고 있는 유저의 눈에 광이 조사되고 있을 때에 촬영된 유저의 눈을 포함하는 촬영 화상에 기초하여, 동공 각막 반사법에 의해 유저의 시선 방향과 안구 위치를 추정하는 안구 위치 추정부와,
상기 안구 위치에 기초하여 특정되는 상기 표시면에서의 안구 위치와, 상기 표시면의 시야 중심의 어긋남양을 추정하는 어긋남 추정부와,
추정된 상기 어긋남양에 기초하여, 상기 표시면을 구비하는 기기의 위치를 조정하기 위한 조작 지시를 행하는 조작 지시부
를 구비하는, 정보 처리 장치.
(2)
상기 조작 지시부는, 상기 표시면에서의 안구 위치와 상기 표시면의 시야 중심의 어긋남양을 해소하는 방향으로 상기 기기를 이동시키도록 유저에게 지시하는 조작 지시 오브젝트를 상기 표시면에 표시시키는, 상기 (1)에 기재된 정보 처리 장치.
(3)
상기 조작 지시부는, 상기 표시면의 시야 중심을 나타내는 목표 오브젝트와, 상기 표시면에서의 안구 위치를 나타내는 오브젝트를, 상기 표시면에 표시시키는, 상기 (2)에 기재된 정보 처리 장치.
(4)
상기 조작 지시부는, 상기 표시면에서의 안구 위치와 상기 표시면의 시야 중심의 어긋남양을 해소시키기 위한 상기 기기의 조작 방법을 조작 지시 오브젝트에 의해 통지하는, 상기 (1) 내지 (3) 중 어느 한 항에 기재된 정보 처리 장치.
(5)
상기 조작 지시부는, 상기 표시면에서의 안구 위치와 상기 표시면의 시야 중심의 어긋남양이 소정값 이하로 되었을 때, 상기 표시면에 표시된 상기 조작 지시 오브젝트를 비표시로 하는, 상기 (2) 내지 (4) 중 어느 한 항에 기재된 정보 처리 장치.
(6)
상기 기기는, 전자 뷰 파인더가 접속된 촬상 장치인, 상기 (1) 내지 (5) 중 어느 한 항에 기재된 정보 처리 장치.
(7)
상기 기기는, 적어도 상기 유저의 눈 앞면을 덮는 안경형의 웨어러블 단말기인, 상기 (1) 내지 (5) 중 어느 한 항에 기재된 정보 처리 장치.
(8)
정보 처리 장치에 의해,
표시면을 보고 있는 유저의 눈에 광이 조사되고 있을 때에 촬영된 유저의 눈을 포함하는 촬영 화상에 기초하여, 동공 각막 반사법에 의해 유저의 시선 방향과 안구 위치를 추정하는 것,
상기 안구 위치에 기초하여 특정되는 상기 표시면에서의 안구 위치와, 상기 표시면의 시야 중심의 어긋남양을 추정하는 것,
추정된 상기 어긋남양에 기초하여, 상기 표시면을 구비하는 기기의 위치를 조정하기 위한 조작 지시를 행하는 것
을 포함하는, 정보 처리 방법.
(9)
컴퓨터를,
표시면을 보고 있는 유저의 눈에 광이 조사되고 있을 때에 촬영된 유저의 눈을 포함하는 촬영 화상에 기초하여, 동공 각막 반사법에 의해 유저의 시선 방향과 안구 위치를 추정하는 안구 위치 추정부와,
상기 시선 방향에 기초하여 특정되는 상기 표시면에서의 안구 위치와, 상기 표시면의 시야 중심의 어긋남양을 추정하는 어긋남 추정부와,
추정된 상기 어긋남양에 기초하여, 상기 표시면을 구비하는 기기의 위치를 조정하기 위한 조작 지시를 행하는 조작 지시부
를 구비하는, 정보 처리 장치로서 기능시키는 프로그램.
10: 촬상 시스템
12: 촬상 장치
14: 전자 뷰 파인더(EVF)
20: 웨어러블 단말기
22L, 22R: 표시 검출 유닛
23R, 23L: 표시부
24: 광원
25R, 25L: 촬상부
26R, 26L: 슬라이드 조작부
110: 광원
120: 촬상부
130: 제어부
140: 표시부
140: 정보 처리부
140: 추정부
140a: 안구 위치 추정부
140b: 추정부
140c: 조작 지시부
141: 표시부
141a: 표시면
146: 촬상부
212: 목표 오브젝트
214: 안구 위치 오브젝트
220: 메시지 오브젝트
230: 슬라이드 지시 오브젝트
231: 상하 조작 지시 오브젝트
232: 목표 오브젝트
233: 회전 조작 지시 오브젝트
235: 조작 지시 오브젝트
237: 조작 지시 오브젝트
238: 목표 오브젝트

Claims (9)

  1. 표시면을 보고 있는 유저의 눈에 광이 조사되고 있을 때에 촬영된 유저의 눈을 포함하는 촬영 화상에 기초하여, 동공 각막 반사법에 의해 유저의 시선 방향과 안구 위치를 추정하는 안구 위치 추정부와,
    상기 안구 위치에 기초하여 특정되는 상기 표시면에서의 시선 위치와, 상기 표시면의 시야 중심의 어긋남양을 추정하는 어긋남 추정부와,
    추정된 상기 어긋남양에 기초하여, 상기 표시면을 구비하는 기기의 위치를 조정하기 위한 조작 지시를 행하는 조작 지시부
    를 구비하는, 정보 처리 장치.
  2. 제1항에 있어서, 상기 조작 지시부는, 상기 표시면에서의 안구 위치와 상기 표시면의 시야 중심의 어긋남양을 해소하는 방향으로 상기 기기를 이동시키도록 유저에게 지시하는 조작 지시 오브젝트를 상기 표시면에 표시시키는, 정보 처리 장치.
  3. 제2항에 있어서, 상기 조작 지시부는, 상기 표시면의 시야 중심을 나타내는 목표 오브젝트와, 상기 표시면에서의 안구 위치를 나타내는 오브젝트를, 상기 표시면에 표시시키는, 정보 처리 장치.
  4. 제1항에 있어서, 상기 조작 지시부는, 상기 표시면에서의 안구 위치와 상기 표시면의 시야 중심의 어긋남양을 해소시키기 위한 상기 기기의 조작 방법을 조작 지시 오브젝트에 의해 통지하는, 정보 처리 장치.
  5. 제2항에 있어서, 상기 조작 지시부는, 상기 표시면에서의 안구 위치와 상기 표시면의 시야 중심의 어긋남양이 소정값 이하로 되었을 때, 상기 표시면에 표시된 상기 조작 지시 오브젝트를 비표시로 하는, 정보 처리 장치.
  6. 제1항에 있어서, 상기 기기는, 전자 뷰 파인더가 접속된 촬상 장치인, 정보 처리 장치.
  7. 제1항에 있어서, 상기 기기는, 적어도 상기 유저의 눈 앞면을 덮는 안경형의 웨어러블 단말기인, 정보 처리 장치.
  8. 정보 처리 장치에 의해,
    표시면을 보고 있는 유저의 눈에 광이 조사되고 있을 때에 촬영된 유저의 눈을 포함하는 촬영 화상에 기초하여, 동공 각막 반사법에 의해 유저의 안구 위치를 추정하는 것,
    상기 안구 위치에 기초하여 특정되는 상기 표시면에서의 안구 위치와, 상기 표시면의 시야 중심의 어긋남양을 추정하는 것,
    추정된 상기 어긋남양에 기초하여, 상기 표시면을 구비하는 기기의 위치를 조정하기 위한 조작 지시를 행하는 것
    을 포함하는, 정보 처리 방법.
  9. 컴퓨터를,
    표시면을 보고 있는 유저의 눈에 광이 조사되고 있을 때에 촬영된 유저의 눈을 포함하는 촬영 화상에 기초하여, 동공 각막 반사법에 의해 유저의 안구 위치를 추정하는 안구 위치 추정부와,
    상기 안구 위치에 기초하여 특정되는 상기 표시면에서의 안구 위치와, 상기 표시면의 시야 중심의 어긋남양을 추정하는 어긋남 추정부와,
    추정된 상기 어긋남양에 기초하여, 상기 표시면을 구비하는 기기의 위치를 조정하기 위한 조작 지시를 행하는 조작 지시부
    를 구비하는, 정보 처리 장치로서 기능시키는 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램.
KR1020177018745A 2015-02-23 2015-12-03 정보 처리 장치, 정보 처리 방법 및 프로그램 KR102471370B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2015-032484 2015-02-23
JP2015032484 2015-02-23
PCT/JP2015/084066 WO2016136074A1 (ja) 2015-02-23 2015-12-03 情報処理装置、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
KR20170118693A KR20170118693A (ko) 2017-10-25
KR102471370B1 true KR102471370B1 (ko) 2022-11-28

Family

ID=56789502

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177018745A KR102471370B1 (ko) 2015-02-23 2015-12-03 정보 처리 장치, 정보 처리 방법 및 프로그램

Country Status (5)

Country Link
US (1) US10061384B2 (ko)
EP (1) EP3264738B1 (ko)
JP (1) JP6586991B2 (ko)
KR (1) KR102471370B1 (ko)
WO (1) WO2016136074A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112016005395T5 (de) * 2015-11-25 2018-08-02 Google Llc Prismenbasierte Augenverfolgung
US10409368B2 (en) * 2016-07-27 2019-09-10 Fove, Inc. Eye-gaze detection system, displacement detection method, and displacement detection program
CN106502423B (zh) * 2016-11-21 2019-04-30 武汉理工大学 基于人眼视觉定位的自动化微操作方法
JP6776970B2 (ja) * 2017-03-24 2020-10-28 株式会社Ｊｖｃケンウッド 視線検出装置、視線検出方法及び視線検出プログラム
GB201714349D0 (en) * 2017-09-06 2017-10-18 Xyz Reality Ltd A method and equipment for setting out a construction site
CN112306229A (zh) * 2019-08-02 2021-02-02 佳能株式会社 电子装置、控制方法和计算机可读介质
EP4054169A4 (en) * 2019-10-31 2024-03-13 Canon Kabushiki Kaisha IMAGING DEVICE, ELECTRONIC APPARATUS AND RESEARCH UNIT
US11822714B2 (en) * 2020-05-15 2023-11-21 Canon Kabushiki Kaisha Electronic device and control method for capturing an image of an eye
JP7446913B2 (ja) * 2020-05-21 2024-03-11 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム
WO2023187780A1 (en) * 2022-03-30 2023-10-05 Jerusalem College Of Technology Eye tracking device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011017777A (ja) 2009-07-07 2011-01-27 Shimadzu Corp 画像表示装置
JP2015013031A (ja) 2013-07-05 2015-01-22 ソニー株式会社 視線検出装置及び視線検出方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05333259A (ja) 1992-06-02 1993-12-17 Canon Inc 視線検出手段を有した光学装置
JPH07128579A (ja) * 1993-10-29 1995-05-19 Canon Inc 視線検知方法、視線検知手段及び該視線検知手段を有する映像機器
JP2994960B2 (ja) * 1994-06-17 1999-12-27 三洋電機株式会社 虚像式立体画像表示装置
JPH0915668A (ja) * 1995-06-29 1997-01-17 Nikon Corp 視線検出装置を備えたカメラ
JPH09247564A (ja) 1996-03-12 1997-09-19 Hitachi Ltd テレビジョン受像機
JPH10186457A (ja) * 1996-12-26 1998-07-14 Canon Inc ファインダー装置及びその視度調節方法
JP2008042541A (ja) * 2006-08-07 2008-02-21 Pentax Corp ファインダー装置
JP5050735B2 (ja) * 2007-08-27 2012-10-17 マツダ株式会社 車両用運転支援装置
JP2011028635A (ja) * 2009-07-28 2011-02-10 Sony Corp 表示制御装置、表示制御方法およびコンピュータプログラム
KR101251184B1 (ko) * 2010-08-05 2013-04-08 서울대학교산학협력단 구동 명령을 이용한 비젼 트래킹 시스템 및 방법
WO2014181403A1 (ja) * 2013-05-08 2014-11-13 富士通株式会社 入力装置及び入力プログラム
JP2017068045A (ja) * 2015-09-30 2017-04-06 オリンパス株式会社 ウェアラブル装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011017777A (ja) 2009-07-07 2011-01-27 Shimadzu Corp 画像表示装置
JP2015013031A (ja) 2013-07-05 2015-01-22 ソニー株式会社 視線検出装置及び視線検出方法

Also Published As

Publication number Publication date
JP6586991B2 (ja) 2019-10-09
KR20170118693A (ko) 2017-10-25
US10061384B2 (en) 2018-08-28
EP3264738B1 (en) 2019-09-25
JPWO2016136074A1 (ja) 2017-11-30
EP3264738A4 (en) 2018-09-12
WO2016136074A1 (ja) 2016-09-01
EP3264738A1 (en) 2018-01-03
US20180039327A1 (en) 2018-02-08

Similar Documents

Publication Publication Date Title
KR102471370B1 (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
JP6175945B2 (ja) 視線検出装置及び視線検出方法
US10048750B2 (en) Content projection system and content projection method
US11500607B2 (en) Using detected pupil location to align optical components of a head-mounted display
US10353207B2 (en) Head-mounted display device and video display system
US20140354514A1 (en) Gaze tracking with projector
KR20180023983A (ko) 헤드 마운트 디스플레이
JP6515542B2 (ja) 眼鏡装用画像解析装置、眼鏡装用画像解析方法、及び眼鏡装用画像解析プログラム
KR20200035003A (ko) 정보 처리 장치, 정보 처리 방법, 및 프로그램
JP2014191386A (ja) 頭部装着型表示装置、および、頭部装着型表示装置の制御方法
US11650660B2 (en) Electronic device, control method, and non-transitory computer readable medium
JP6379639B2 (ja) 眼鏡装用パラメータ測定用撮影装置、眼鏡装用パラメータ測定用撮影プログラム
US11822714B2 (en) Electronic device and control method for capturing an image of an eye
KR20150059591A (ko) 카메라의 촬영 방향 및 화각 제어 시스템 및 그 방법
JP6304415B2 (ja) 頭部装着型表示装置、および、頭部装着型表示装置の制御方法
US20230224561A1 (en) Display apparatus, finder apparatus, and imaging apparatus
JP2021044602A (ja) 電子機器、電子機器の制御方法、プログラムおよび記憶媒体
JP7485426B1 (ja) 頭部装着型撮像装置および視線画像調整方法
US12118145B2 (en) Electronic apparatus
US20230092593A1 (en) Detection device detecting gaze point of user, control method therefor, and storage medium storing control program therefor
CN117666136A (zh) 头戴式虚拟现实设备
JP2023063760A (ja) 識別装置
JP2023040887A (ja) 個人認証装置及び個人認証方法、プログラム
JP2021064928A (ja) 電子機器

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant