JPWO2018220963A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
JPWO2018220963A1
JPWO2018220963A1 JP2019521972A JP2019521972A JPWO2018220963A1 JP WO2018220963 A1 JPWO2018220963 A1 JP WO2018220963A1 JP 2019521972 A JP2019521972 A JP 2019521972A JP 2019521972 A JP2019521972 A JP 2019521972A JP WO2018220963 A1 JPWO2018220963 A1 JP WO2018220963A1
Authority
JP
Japan
Prior art keywords
image
iris
pupil
information processing
polar coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
JP2019521972A
Other languages
English (en)
Inventor
横山　正幸
正幸 横山
井手　直紀
直紀 井手
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2018220963A1 publication Critical patent/JPWO2018220963A1/ja
Abandoned legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Geometry (AREA)
  • User Interface Of Digital Computer (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

【課題】瞳孔の全体を撮像することが困難な状況下においても、より正確に当該瞳孔の中心を推定可能とする。【解決手段】眼球中の虹彩に関する情報を取得する取得部と、前記虹彩に関する情報に基づき、前記眼球中の瞳孔の中心位置を推定する推定部と、を備える、情報処理装置。【選択図】図１

Description

本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
近年では、ユーザの視線を検出し、検出された視線を、スマートフォンやウェアラブルデバイス等のような各種情報処理装置の動作の制御に利用する技術が各種提案されている。
ユーザの視線を検出するための手法としては、例えば、カメラ等の撮像部によりユーザの眼球を撮像し、撮像された画像から瞳孔の位置を検出することで、当該ユーザの視線を推定する方法が挙げられる。具体的な一例として、特許文献１には、ユーザの眼球に向けて赤外（ＩＲ）光を照射して得られるプルキンエ像と、瞳孔の中心位置と、の間の位置関係に基づき、ユーザの視線が向いている方向（以降では、「視線方向」または単に「視線」とも称する）を推定する技術の一例が開示されている。
特開２０１５−１３０３１号公報
しかしながら、ユーザの眼球は少なくとも一部がまぶたにより遮蔽されており、撮像部により眼球の画像を撮像したとしても、必ずしも瞳孔の全体が撮像できるとは限らない。そのため、例えば、瞳孔の一部がまぶたにより遮蔽されているような状況下（即ち、瞳孔の全体が撮像されていないような状況下）においては、当該瞳孔の中心を正確に推定することが困難となり、結果として視線方向の検出結果に誤差が生じる場合もある。
そこで、本開示では、瞳孔の全体を撮像することが困難な状況下においても、より正確に当該瞳孔の中心を推定することが可能な、情報処理装置、情報処理方法、及びプログラムを提案する。
本開示によれば、眼球中の虹彩に関する情報を取得する取得部と、前記虹彩に関する情報に基づき、前記眼球中の瞳孔の中心位置を推定する推定部と、を備える、情報処理装置が提供される。
また、本開示によれば、コンピュータが、眼球中の虹彩に関する情報を取得することと、前記虹彩に関する情報に基づき、前記眼球中の瞳孔の中心位置を推定することと、を含む、情報処理方法が提供される。
本開示によれば、コンピュータに、眼球中の虹彩に関する情報を取得することと、前記虹彩に関する情報に基づき、前記眼球中の瞳孔の中心位置を推定することと、を実行させる、プログラムが提供される。
以上説明したように本開示によれば、瞳孔の全体を撮像することが困難な状況下においても、より正確に当該瞳孔の中心を推定することが可能な、情報処理装置、情報処理方法、及びプログラムが提供される。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る情報処理システムの概略的な構成の一例について説明するための説明図である。 同実施形態に係る入出力装置の概略的な構成の一例について説明するための説明図である。 瞳孔の位置推定に係る処理の一例について説明するための説明図である。 同実施形態に係る情報処理システムの機能構成の一例について示したブロック図である。 同実施形態に係る情報処理システムにおける虹彩認証に係る処理の概要について説明するための説明図である。 同実施形態に係る情報処理システムにおける虹彩認証のユーザインタフェースの一例を示した図である。 同実施形態に係る情報処理システムにおける虹彩認証のユーザインタフェースの他の一例を示した図である。 ラバーシートモデルの概要について説明するための説明図である。 同実施形態に係る情報処理システムの一連の処理の流れの一例について示したフローチャートである。 最大虹彩径の範囲内の領域を極座標化する処理の概要について説明するための説明図である。 最大虹彩径の範囲内の領域を極座標化することで得られる極座標画像の概要について説明するための説明図である。 同実施形態に係る情報処理装置による極座標画像間の比較に係る処理について説明するための説明図である。 同実施形態に係る情報処理装置による極座標画像間の比較に係る処理について説明するための説明図である。 変形例に係る情報処理システムの概要について説明するための説明図である。 本開示の一実施形態に係る通信システムを構成する情報処理装置のハードウェア構成の一構成例を示す機能ブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
１．概略構成
１．１．システム構成
１．２．入出力装置の構成
２．視線検出に関する検討
３．技術的特徴
３．１．機能構成
３．２．瞳孔の中心位置の推定に係る処理の詳細
３．３．変形例
４．ハードウェア構成の一例
５．むすび
＜＜１．概略構成＞＞
＜１．１．システム構成＞
まず、図１を参照して、本開示の一実施形態に係る情報処理システムの概略的な構成の一例について説明する。図１は、本開示の一実施形態に係る情報処理システムの概略的な構成の一例について説明するための説明図であり、所謂ＡＲ（Augmented Reality）技術を応用してユーザに対して各種コンテンツを提示する場合の一例を示している。
図１において、参照符号ｍ１１１は、実空間上に位置する物体（例えば、実オブジェクト）を模式的に示している。また、参照符号ｖ１３１及びｖ１３３は、実空間上に重畳するように提示される仮想的なコンテンツ（例えば、仮想オブジェクト）を模式的に示している。即ち、本実施形態に係る情報処理システム１は、ＡＲ技術に基づき、例えば、実オブジェクトｍ１１１等の実空間上の物体に対して、仮想オブジェクトを重畳してユーザに提示する。なお、図１では、本実施形態に係る情報処理システムの特徴をよりわかりやすくするために、実オブジェクトと仮想オブジェクトとの双方をあわせて提示している。
図１に示すように、本実施形態に係る情報処理システム１は、情報処理装置１０と、入出力装置２０とを含む。情報処理装置１０と入出力装置２０とは、所定のネットワークを介して互いに情報を送受信可能に構成されている。なお、情報処理装置１０と入出力装置２０とを接続するネットワークの種別は特に限定されない。具体的な一例として、当該ネットワークは、Ｗｉ−Ｆｉ（登録商標）規格に基づくネットワークのような、所謂無線のネットワークにより構成されていてもよい。また、他の一例として、当該ネットワークは、インターネット、専用線、ＬＡＮ（Local Area Network）、または、ＷＡＮ（Wide Area Network）等により構成されていてもよい。また、当該ネットワークは、複数のネットワークを含んでもよく、少なくとも一部が有線のネットワークとして構成されていてもよい。
入出力装置２０は、各種入力情報の取得や、当該入出力装置２０を保持するユーザに対して各種出力情報の提示を行うための構成である。また、入出力装置２０による出力情報の提示は、情報処理装置１０により、当該入出力装置２０により取得された入力情報に基づき制御される。例えば、入出力装置２０は、実オブジェクトｍ１１１を認識するための情報（例えば、撮像された実空間の画像）を入力情報として取得し、取得した情報を情報処理装置１０に出力する。情報処理装置１０は、入出力装置２０から取得した情報に基づき、実空間上における実オブジェクトｍ１１１の位置を認識し、当該認識結果に基づき、入出力装置２０に仮想オブジェクトｖ１３１及びｖ１３３を提示させる。このような制御により、入出力装置２０は、所謂ＡＲ技術に基づき、実オブジェクトｍ１１１に対して仮想オブジェクトｖ１３１及びｖ１３３が重畳するように、当該仮想オブジェクトｖ１３１及びｖ１３３をユーザに提示することが可能となる。
また、入出力装置２０は、例えば、ユーザが頭部の少なくとも一部に装着して使用する、所謂頭部装着型デバイスとして構成されており、当該ユーザの視線を検出または推定するための情報を取得可能に構成されていてもよい。例えば、図１に示す例では、入出力装置２０は、撮像部等によりユーザの眼球Ｕ１１の画像を撮像し、撮像結果を当該ユーザの視線を検出するための情報として取得してもよい。このような構成により、例えば、情報処理装置１０は、入出力装置２０により取得された眼球Ｕ１１の画像を解析することで、ユーザの視線を検出することが可能となる。また、情報処理装置１０は、ユーザの視線の検出結果に基づき、当該ユーザが所望の対象（例えば、実オブジェクトｍ１１１や、仮想オブジェクトｖ１３１及びｖ１３３等）を注視していることを認識した場合に、当該対象を操作対象として特定してもよい。また、情報処理装置１０は、入出力装置２０に対する所定の操作をトリガとして、ユーザの視線が向けられている対象を操作対象として特定してもよい。以上のようにして、情報処理装置１０は、操作対象を特定し、当該操作対象に関連付けられた処理を実行することで、入出力装置２０を介して各種サービスをユーザに提供してもよい。
なお、図１では、入出力装置２０と情報処理装置１０とが互いに異なる装置として示されているが、入出力装置２０及び情報処理装置１０は一体的に構成されていてもよい。また、入出力装置２０及び情報処理装置１０の構成及び処理の詳細については別途後述する。また、図１に示す例では、入出力装置２０としてメガネ型のウェアラブルデバイスを適用する場合を例に説明したが、必ずしも本開示に係る技術を適用する装置の構成や態様を限定するものではない。具体的な一例として、入出力装置２０として、スマートフォン等のような携行可能に構成された端末装置が適用されてもよい。
以上、図１を参照して、本開示の一実施形態に係る情報処理システムの概略的な構成の一例について説明した。
＜１．２．入出力装置の構成＞
続いて、図２を参照して、図１に示した本実施形態に係る入出力装置２０の概略的な構成の一例について説明する。図２は、本実施形態に係る入出力装置の概略的な構成の一例について説明するための説明図である。
前述したように、本実施形態に係る入出力装置２０は、ユーザが頭部の少なくとも一部に装着して使用する、所謂頭部装着型デバイスとして構成することが可能である。例えば、図２に示す例では、入出力装置２０は、所謂アイウェア型（メガネ型）のデバイスとして構成されており、レンズ２９３ａ及び２９３ｂのうち少なくともいずれかが透過型のディスプレイ（出力部２１１）として構成されている。また、入出力装置２０は、第１撮像部２０１ａ及び２０１ｂと、操作部２０７と、メガネのフレームに相当する保持部２９１とを備える。また、入出力装置２０は、第２撮像部２０３ａ及び２０３ｂを備えてもよい。なお、以降では、入出力装置２０が、第２撮像部２０３ａ及び２０３ｂを備えているものとして各種説明を行う。保持部２９１は、入出力装置２０がユーザの頭部に装着されたときに、出力部２１１と、第１撮像部２０１ａ及び２０１ｂと、第２撮像部２０３ａ及び２０３ｂと、操作部２０７とを、当該ユーザの頭部に対して所定の位置関係となるように保持する。また、図２には図示していないが、入出力装置２０は、ユーザの音声を集音するための集音部を備えていてもよい。
ここで、入出力装置２０のより具体的な構成について説明する。例えば、図２に示す例では、レンズ２９３ａが、右眼側のレンズに相当し、レンズ２９３ｂが、左眼側のレンズに相当する。即ち、保持部２９１は、入出力装置２０が装着された場合に、出力部２１１（換言すると、レンズ２９３ａ及び２９３ｂ）がユーザの眼前に位置するように、当該出力部２１１を保持する。
第１撮像部２０１ａ及び２０１ｂは、所謂ステレオカメラとして構成されており、入出力装置２０がユーザの頭部に装着されたときに、当該ユーザの頭部が向いた方向（即ち、ユーザの前方）を向くように、保持部２９１によりそれぞれ保持される。このとき、第１撮像部２０１ａが、ユーザの右眼の近傍に保持され、第１撮像部２０１ｂが、当該ユーザの左眼の近傍に保持される。このような構成に基づき、第１撮像部２０１ａ及び２０１ｂは、入出力装置２０の前方に位置する被写体（換言すると、実空間に位置する実オブジェクト）を互いに異なる位置から撮像する。これにより、入出力装置２０は、ユーザの前方に位置する被写体の画像を取得するとともに、第１撮像部２０１ａ及び２０１ｂそれぞれにより撮像された画像間の視差に基づき、当該入出力装置２０から、当該被写体までの距離を算出することが可能となる。
なお、入出力装置２０と被写体との間の距離を測定可能であれば、その構成や方法は特に限定されない。具体的な一例として、マルチカメラステレオ、移動視差、ＴＯＦ（Time Of Flight）、Structured Light等の方式に基づき、入出力装置２０と被写体との間の距離が測定されてもよい。ここで、ＴＯＦとは、被写体に対して赤外線等の光を投光し、投稿した光が当該被写体で反射して戻るまでの時間を画素ごとに測定することで、当該測定結果に基づき被写体までの距離（深度）を含めた画像（所謂距離画像）を得る方式である。また、Structured Lightは、被写体に対して赤外線等の光によりパターンを照射しそれを撮像することで、撮像結果から得られる当該パターンの変化に基づき、被写体までの距離（深度）を含めた距離画像を得る方式である。また、移動視差とは、所謂単眼カメラにおいても、視差に基づき被写体までの距離を測定する方法である。具体的には、カメラを移動させることで、被写体を互いに異なる視点から撮像し、撮像された画像間の視差に基づき被写体までの距離を測定する。なお、このとき各種センサによりカメラの移動距離及び移動方向を認識することで、被写体までの距離をより精度良く測定することが可能となる。なお、距離の測定方法に応じて、撮像部の構成（例えば、単眼カメラ、ステレオカメラ等）を変更してもよい。
また、第２撮像部２０３ａ及び２０３ｂは、入出力装置２０がユーザの頭部に装着されたときに、それぞれの撮像範囲内に当該ユーザの眼球が位置するように、保持部２９１によりそれぞれ保持される。具体的な一例として、第２撮像部２０３ａは、撮像範囲内にユーザの右眼が位置するように保持される。このような構成に基づき、第２撮像部２０３ａにより撮像された右眼の眼球（即ち、図２に示す眼球Ｕ１１）の画像と、当該第２撮像部２０３ａと当該右眼との間の位置関係と、に基づき、当該右眼の視線が向いている方向を認識することが可能となる。同様に、第２撮像部２０３ｂは、撮像範囲内に当該ユーザの左眼が位置するように保持される。即ち、第２撮像部２０３ｂにより撮像された左眼の眼球の画像と、当該第２撮像部２０３ｂと当該左眼との間の位置関係と、に基づき、当該左眼の視線が向いている方向を認識することが可能となる。なお、図２に示す例では、入出力装置２０が第２撮像部２０３ａ及び２０３ｂの双方を含む構成について示しているが、第２撮像部２０３ａ及び２０３ｂのうちいずれかのみが設けられていてもよい。
操作部２０７は、入出力装置２０に対するユーザからの操作を受け付けるための構成である。操作部２０７は、例えば、タッチパネルやボタン等のような入力デバイスにより構成されていてもよい。操作部２０７は、保持部２９１により、入出力装置２０の所定の位置に保持されている。例えば、図２に示す例では、操作部２０７は、メガネのテンプルに相当する位置に保持されている。
また、本実施形態に係る入出力装置２０は、例えば、加速度センサや、角速度センサ（ジャイロセンサ）が設けられ、当該入出力装置２０を装着したユーザの頭部の動き（換言すると、入出力装置２０自体の動き）を検出可能に構成されていてもよい。具体的な一例として、入出力装置２０は、ユーザの頭部の動きとして、ヨー（yaw）方向、ピッチ（pitch）方向、及びロール（roll）方向それぞれの成分を検出することで、当該ユーザの頭部の位置及び姿勢のうち少なくともいずれかの変化を認識してもよい。
以上のような構成に基づき、本実施形態に係る入出力装置２０は、ユーザの頭部の動きに応じた、実空間上における自身の位置や姿勢の変化を認識することが可能となる。また、このとき入出力装置２０は、所謂ＡＲ技術に基づき、実空間に位置する実オブジェクトに対して、仮想的なコンテンツ（即ち、仮想オブジェクト）が重畳するように、出力部２１１に当該コンテンツを提示することも可能となる。なお、入出力装置２０が、実空間上における自身の位置及び姿勢を推定するための方法（即ち、自己位置推定）の一例については、詳細を別途後述する。
なお、入出力装置２０として適用可能な頭部装着型の表示装置（ＨＭＤ：Head Mounted Display）の一例としては、例えば、シースルー型ＨＭＤ、ビデオシースルー型ＨＭＤ、及び網膜投射型ＨＭＤが挙げられる。
シースルー型ＨＭＤは、例えば、ハーフミラーや透明な導光板を用いて、透明な導光部等からなる虚像光学系をユーザの眼前に保持し、当該虚像光学系の内側に画像を表示させる。そのため、シースルー型ＨＭＤを装着したユーザは、虚像光学系の内側に表示された画像を視聴している間も、外部の風景を視野に入れることが可能となる。このような構成により、シースルー型ＨＭＤは、例えば、ＡＲ技術に基づき、当該シースルー型ＨＭＤの位置及び姿勢のうち少なくともいずれかの認識結果に応じて、実空間に位置する実オブジェクトの光学像に対して仮想オブジェクトの画像を重畳させることも可能となる。なお、シースルー型ＨＭＤの具体的な一例として、メガネのレンズに相当する部分を虚像光学系として構成した、所謂メガネ型のウェアラブルデバイスが挙げられる。例えば、図２に示した入出力装置２０は、シースルー型ＨＭＤの一例に相当する。
ビデオシースルー型ＨＭＤは、ユーザの頭部または顔部に装着された場合に、ユーザの眼を覆うように装着され、ユーザの眼前にディスプレイ等の表示部が保持される。また、ビデオシースルー型ＨＭＤは、周囲の風景を撮像するための撮像部を有し、当該撮像部により撮像されたユーザの前方の風景の画像を表示部に表示させる。このような構成により、ビデオシースルー型ＨＭＤを装着したユーザは、外部の風景を直接視野に入れることは困難ではあるが、表示部に表示された画像により、外部の風景を確認することが可能となる。また、このときビデオシースルー型ＨＭＤは、例えば、ＡＲ技術に基づき、当該ビデオシースルー型ＨＭＤの位置及び姿勢のうち少なくともいずれかの認識結果に応じて、外部の風景の画像に対して仮想オブジェクトを重畳させてもよい。
網膜投射型ＨＭＤは、ユーザの眼前に投影部が保持されており、当該投影部からユーザの眼に向けて、外部の風景に対して画像が重畳するように当該画像が投影される。より具体的には、網膜投射型ＨＭＤでは、ユーザの眼の網膜に対して、投影部から画像が直接投射され、当該画像が網膜上で結像する。このような構成により、近視や遠視のユーザの場合においても、より鮮明な映像を視聴することが可能となる。また、網膜投射型ＨＭＤを装着したユーザは、投影部から投影される画像を視聴している間も、外部の風景を視野に入れることが可能となる。このような構成により、網膜投射型ＨＭＤは、例えば、ＡＲ技術に基づき、当該網膜投射型ＨＭＤの位置や姿勢のうち少なくともいずれかの認識結果に応じて、実空間に位置する実オブジェクトの光学像に対して仮想オブジェクトの画像を重畳させることも可能となる。
また、上記では、ＡＲ技術を適用することを前提として、本実施形態に係る入出力装置２０の構成の一例について説明したが、必ずしも、当該入出力装置２０の構成を限定するものではない。例えば、ＶＲ技術を適用することを想定した場合には、本実施形態に係る入出力装置２０は、没入型ＨＭＤと呼ばれるＨＭＤとして構成されていてもよい。没入型ＨＭＤは、ビデオシースルー型ＨＭＤと同様に、ユーザの眼を覆うように装着され、ユーザの眼前にディスプレイ等の表示部が保持される。そのため、没入型ＨＭＤを装着したユーザは、外部の風景（即ち、現実世界の風景）を直接視野に入れることが困難であり、表示部に表示された映像のみが視界に入ることとなる。このような構成により、没入型ＨＭＤは、画像を視聴しているユーザに対して没入感を与えることが可能となる。
以上、図２を参照して、本開示の一実施形態に係る入出力装置の概略的な構成の一例について説明した。
＜＜２．視線検出に関する検討＞＞
続いて、ユーザの視線を検出する技術の一例について概要を説明したうえで、本開示の一実施形態に係る情報処理システムの課題について整理する。
ユーザの視線を検出（推定）するための手法としては、例えば、カメラ等の撮像部によりユーザの眼球を撮像し、撮像された画像から瞳孔の位置を検出することで、当該ユーザの視線を推定する方法が挙げられる。具体的な一例として、ユーザの眼球に向けて赤外（ＩＲ）光を照射して得られるプルキンエ像と、瞳孔の中心位置と、の間の位置関係に基づき、ユーザの視線方向を推定する技術が挙げられる。
より具体的には、例えば、特開平０６−３０４１４１号公報には、ＩＲ光の角膜反射により得られる撮影画像中のプルキンエ像を利用し、角膜の曲率中心と瞳孔中心間の距離Ｌｏｃを既知として、撮影画像中の複数のプルキンエ像の中点（ｘｄ＋ｘｅ）／２と瞳孔中心との距離ｘｃの距離から眼球光軸の回転角度θを算出する方法が開示されている。なお、当該方法では、距離Ｌｏｃの個人差を補正する係数Ａ１と、回転角度θを実際の視線角度（視軸）θＨに変換するための補正係数Ｂ１とは、視線検出前にあらかじめ設定しておく必要がある。また、特開平０９−２８６７３号公報には、登録された虹彩模様とのマッチング（虹彩認証）によりユーザを特定し、個人ごとに保持された補正情報を選択する方法が開示されている。
上述した角膜反射法のように瞳孔または虹彩を含んだ領域の位置を視線推定に利用する場合には、例えば、画像処理により瞳孔や虹彩領域の位置を推定する場合がある。なお、画像処理に基づき瞳孔や虹彩の位置を推定する手法としては、例えば、円や楕円のような図形テンプレートのエッジに対する一致度の高い領域を探索する手法が適用されることが多い。
しかしながら、ユーザの眼球は、少なくとも一部がまぶたにより遮蔽されており、撮像部により眼球の画像を撮像したとしても、必ずしも瞳孔の全体が撮像できるとは限らない。例えば、図３は、瞳孔の位置推定に係る処理の一例について説明するための説明図であり、ユーザの眼球Ｕ１１を、当該ユーザの正面から見た場合の状況を模式的に示している。図３において、参照符号Ｕ１１１は、ユーザの眼球Ｕ１１の瞳孔を模式的に示している。また、参照符号Ｕ２１は、ユーザのまぶたを模式的に示しいている。即ち、図３に示す例では、まぶたＵ２１により、瞳孔Ｕ１１１の一部が遮蔽されている。
図３に示すような状態において、画像処理に基づき瞳孔Ｕ１１１の中心の位置を推定する場合には、例えば、参照符号Ｐ２１で示された領域が、瞳孔Ｕ１１１の領域として推定されることとなる。そのため、この場合には、領域Ｐ２１の中心Ｐ１１が、瞳孔Ｕ１１１の中心として推定されることとなる。しかしながら、図３に示す例では、瞳孔Ｕ１１１は、まぶたＵ２１により一部が遮蔽されており、実際の中心は、参照符号Ｐ１０で示された位置となる。
このように、瞳孔の一部がまぶたにより遮蔽されているような状況下では、当該瞳孔全体の画像を撮像することが困難であり、瞳孔の正確な位置を推定することが困難となる場合がある。このような場合には、視線推定の精度を低下する場合も想定され得る。また、撮像部により撮像された眼球の画像において、瞳孔の輪郭（エッジ）がぼやけたり、虹彩模様に対するコントラストが低下するような場合もある。このような場合においても、瞳孔の正確な位置を推定することが困難となり、ひいては、視線推定の精度を低下する場合がある。
このような状況を鑑み、本開示では、図３を参照して説明した例のように、瞳孔の全体を撮像することが困難な状況下においても、より正確に当該瞳孔の中心の推定を可能とする技術の一例について提案する。
＜＜３．技術的特徴＞＞
以下に、本実施形態に係る情報処理システムの技術的特徴について説明する。
＜３．１．機能構成＞
まず、図４を参照して、本実施形態に係る情報処理システムの機能構成の一例について、特に、図１を参照して説明した情報処理装置１０の構成に着目して説明する。図４は、本実施形態に係る情報処理システムの機能構成の一例について示したブロック図である。
図１を参照して前述したように、本実施形態に係る情報処理システム１は、情報処理装置１０と、入出力装置２０とを含む。なお、図４に示す例では、入出力装置２０については、ユーザの眼球Ｕ１１の画像を撮像する撮像部２０３（図１に示す第２撮像部２０３ａ及び２０３ｂに相当）について図示し、その他の構成については図示を省略している。また、図４に示す例では、情報処理装置１０については、ユーザの視線の推定に係る構成について図示し、その他の構成については図示を省略している。
図４に示すように、撮像部２０３は、ユーザの眼球Ｕ１１の画像を撮像し、撮像した当該画像を情報処理装置１０に出力する。なお、撮像部２０３が、眼球Ｕ１１の画像を撮像するタイミングは特に限定されない。具体的な一例として、撮像部２０３、眼球Ｕ１１の画像を動画像として撮像することで、当該眼球Ｕ１１の画像を逐次取得してもよい。また、他の一例として、撮像部２０３は、所定のイベントをトリガとして、眼球Ｕ１１の画像を撮像してもよい。
図４に示すように、情報処理装置１０は、認証処理部１０１と、瞳孔中心推定部１０３と、プルキンエ像位置検出部１０５と、視線推定部１０７と、記憶部１０９とを含む。
記憶部１０９は、各種データを、一時的または恒常的に記憶するための記憶領域である。例えば、撮像部２０３により撮像された眼球Ｕ１１の画像が記憶されてもよい。
認証処理部１０１は、撮像部２０３により撮像された眼球Ｕ１１の画像を当該撮像部２０３から取得し、当該画像に撮像された虹彩模様を利用してユーザの認証を行う。例えば、図５は、本実施形態に係る情報処理システムにおける虹彩認証に係る処理の概要について説明するための説明図である。図５において、参照符号Ｖ１１は、撮像部２０３により撮像された眼球Ｕ１１の画像を示している。虹彩認証には、図５に示すように、瞳孔及び虹彩が撮像された画像Ｖ１１が用いられる。即ち、認証処理部１０１は、撮像部２０３により撮像された瞳孔及び虹彩を被写体として含む画像Ｖ１１を、あらかじめ所定の記憶領域（例えば、記憶部１０９）に記憶された、瞳孔及び虹彩を被写体として含む他の画像（即ち、眼球Ｕ１１の画像）と比較することで、ユーザの認証を行う。
また、詳細は後述するが、本実施形態に係る情報処理装置１０は、眼球Ｕ１１の画像Ｖ１１に被写体として含まれる虹彩模様の領域を、瞳孔の中心の推定（ひいては、視線の推定）に利用する。このような特性から、例えば、図４に示す例では、情報処理装置１０は、虹彩認証に利用した眼球Ｕ１１の画像Ｖ１１（具体的には、虹彩模様の領域を含む画像）を、瞳孔の中心の推定（ひいては、視線の推定）を行うためのテンプレートとして利用する。そのため、認証処理部１０１は、認証に利用した眼球Ｕ１１の画像を、当該テンプレートとして記憶部１０９に記憶させる。
なお、本実施形態に係る情報処理システム１においては、上記テンプレートとしては、必ずしも虹彩模様の全体が撮像されていなくてもよいが、撮像されている虹彩模様の範囲がより広いほど、瞳孔の中心の推定に係る精度をより向上させることが可能となる。そのため、例えば、虹彩認証時に、虹彩模様のより広い範囲が撮像されるように（理想的には、虹彩模様の全体が撮像されるように）、ユーザに対して目を見開く等の動作を促してもよい。なお、以降の説明では、上記テンプレートを、「虹彩テンプレート」とも称する。
例えば、図６は、本実施形態に係る情報処理システム１における虹彩認証のユーザインタフェースの一例を示した図である。図６に示す例では、ユーザの眼球Ｕ１１の画像Ｖ１１がより好適な態様で撮像されるように、図２に示す入出力装置２０の出力部２１１に、画面の中央を見つめて目を見開く動作をユーザに促すための報知情報Ｖ１１１が表示されている。
また、図７は、本実施形態に係る情報処理システム１における虹彩認証のユーザインタフェースの他の一例を示した図であり、スマートフォン等のような端末装置を入出力装置２０として使用した場合の一例を示している。図７に示す例では、ユーザの眼球Ｕ１１の画像Ｖ１１がより好適な態様で撮像されるように、当該端末装置の出力部２１１’に、目を見開く動作をユーザに促すための報知情報Ｖ１１１’が表示されている。
また、上記虹彩テンプレートとして、眼球Ｕ１１の画像Ｖ１１のうち、虹彩の領域を含む部分画像が記憶部１０９に記憶されてもよい。この場合には、例えば、目領域セグメンテーション等の手法を適用することで、眼球Ｕ１１の画像Ｖ１１から目領域（換言すると、虹彩が含まれる領域）を抽出することが可能である。なお、目領域セグメンテーションについては、例えば、「N.Liu et al., “Accurate Iris Segmentation in Non−cooperative Environments Using Fully Convolutional Networks”, IEEE ICB 2016」に開示されている。
プルキンエ像位置検出部１０５は、撮像部２０３により撮像された眼球Ｕ１１の画像Ｖ１１を当該撮像部２０３から取得し、画像Ｖ１１に対して画像解析を施すことで、当該画像Ｖ１１中におけるプルキンエ像の位置を検出する。なお、プルキンエ像の抽出に係る手法については、特開２０１５−１３０３１号公報等に開示されている。また、図４に示す例では図示を省略しているが、眼球Ｕ１１に対して赤外光を照射するための光源等のように、プルキンエ像を抽出するために必要な構成が入出力装置２０や情報処理装置１０に含まれていてもよいし、当該構成を実現する装置が別途設けられていてもよい。そして、プルキンエ像位置検出部１０５は、眼球Ｕ１１の画像Ｖ１１中におけるプルキンエ像の位置の検出結果を示す情報を、視線推定部１０７に出力する。
瞳孔中心推定部１０３は、撮像部２０３により撮像された眼球Ｕ１１の画像Ｖ１１を当該撮像部２０３から取得する。瞳孔中心推定部１０３は、取得した眼球Ｕ１１の画像Ｖ１１のうち虹彩を含む領域の部分画像を抽出し、当該部分画像を記憶部１０９にあらかじめ記憶された虹彩テンプレートと比較することで、当該画像Ｖ１１中における瞳孔の中心の位置（以下、「瞳孔の中心位置」とも称する）を推定する。なお、瞳孔の中心位置の推定に係る処理については、詳細を別途後述する。そして、瞳孔中心推定部１０３は、眼球Ｕ１１の画像Ｖ１１中における瞳孔の中心位置の推定結果を示す情報を、視線推定部１０７に出力する。
視線推定部１０７は、撮像部２０３により撮像された眼球Ｕ１１の画像Ｖ１１中におけるプルキンエ像の位置の検出結果を示す情報を、プルキンエ像位置検出部１０５から取得する。また、視線推定部１０７は、当該画像Ｖ１１中における瞳孔の中心位置の推定結果を示す情報を瞳孔中心推定部１０３から取得する。そして、視線推定部１０７は、プルキンエ像の位置の検出結果と、瞳孔の中心位置の推定結果と、に基づき、ユーザの視線が向いている方向（即ち、視線方向）を推定する。
そして、視線推定部１０７は、視線方向の推定結果を示す情報を、所定の出力先に出力する。このような構成により、例えば、情報処理装置１０は、上記視線方向の推定結果を、各種処理の実行に利用することが可能となる。なお、瞳孔中心推定部１０３や視線推定部１０７が、「推定部」の一例に相当する。また、瞳孔中心推定部１０３のうち、撮像部２０３から画像Ｖ１１を取得する部分が「取得部」の一例に相当する。
なお、上述した本実施形態に係る情報処理システム１の機能構成はあくまで一例であり、上述した各機能を実現することが可能であれば、情報処理システム１の機能構成は必ずしも図４に示す例には限定されない。具体的な一例として、情報処理装置１０の一部の構成が、当該情報処理装置１０の外部に設けられていてもよい。より具体的な一例として、情報処理装置１０の一部の構成（例えば、認証処理部１０１）が、入出力装置２０側に設けられていてもよい。また、他の一例として、情報処理装置１０の各機能が、複数の装置が連携することにより実現されてもよい。また、他の一例として、前述したように、情報処理装置１０と入出力装置２０とが一体的に構成されていてもよい。また、情報処理装置１０に相当する構成のうち少なくとも一部の構成が、ＩＣ等のような集積回路（例えば、半導体チップ等）として構成されていてもよい。この場合には、例えば、当該集積回路が、入出力装置２０（例えば、ＨＭＤやスマートフォン等）に内蔵されていてもよい。
以上、図４を参照して、本実施形態に係る情報処理システムの機能構成の一例について、特に、図１を参照して説明した情報処理装置１０の構成に着目して説明した。
＜３．２．瞳孔の中心位置の推定に係る処理の詳細＞
続いて、瞳孔の中心位置の推定に係る処理の詳細について説明する。
（ラバーシートモデルの適用）
本実施形態に係る情報処理システムでは、撮像部２０３により撮像された眼球Ｕ１１の画像Ｖ１１における虹彩の情報を、あらかじめ取得された虹彩テンプレート（即ち、眼球Ｕ１１の画像）における虹彩の情報と比較することで、当該画像Ｖ１１中における瞳孔の中心位置を推定する。しかしながら、一般的には、照明等の環境やユーザの状態によって瞳孔径が変化するため、撮像部２０３により撮像された画像と、あらかじめ取得された虹彩テンプレートと、の間での虹彩の情報の比較が困難となる場合が想定され得る。
そこで、本実施形態に係る情報処理システムでは、虹彩情報の比較に「ラバーシートモデル」を適用する。ラバーシートモデルとは、瞳孔周囲の虹彩模様が、瞳孔に伸縮に応じてゴムのように円周方向に伸縮すると仮定したモデルである。例えば、ＵＳ５２９１５６０Ａや「J．Daugman， “How Iris Recognition Works”」等の文献には、虹彩認証における虹彩模様の比較にラバーシートモデルを適用する場合の一例が開示されている。
例えば、図８は、ラバーシートモデルの概要について説明するための説明図である。図８において、左側の図は、瞳孔が収縮した状態の眼球Ｕ１１ａを模式的に示している。即ち、参照符号Ｕ１１１ａは、眼球Ｕ１１ａの瞳孔を模式的に示している。また、参照符号Ｕ１１３ａは、眼球Ｕ１１ａの虹彩模様を模式的に示している。また、右側の図は、瞳孔が拡張した状態の眼球Ｕ１１ｂを模式的に示している。即ち、参照符号Ｕ１１１ｂは、眼球Ｕ１１ｂの瞳孔を模式的に示している。また、参照符号Ｕ１１３ｂは、眼球Ｕ１１ｂの虹彩模様を模式的に示している。
（瞳孔の中心位置の推定に係る処理の流れ）
続いて、図９を参照して、撮像部２０３により撮像された眼球Ｕ１１の画像Ｖ１１における瞳孔の中心位置の推定に係る処理の流れの一例について説明する。図９は、本実施形態に係る情報処理システムの一連の処理の流れの一例について示したフローチャートであり、特に、瞳孔の中心位置の推定に係る処理の流れについて示している。
図９に示すように、情報処理装置１０（瞳孔中心推定部１０３）は、撮像部２０３により撮像された眼球Ｕ１１の画像Ｖ１１を逐次取得し、取得した当該画像Ｖ１１を、瞳孔の中心位置の推定に係る処理の対象とする（Ｓ１０１）。
情報処理装置１０は、眼球Ｕ１１の画像Ｖ１１を取得すると、当該画像Ｖ１１中における瞳孔の中心位置及び虹彩の中心位置の探索範囲と、最大虹彩径とを決定する（Ｓ１０３）。これらのパラメータについては、例えば、画像Ｖ１１中における目領域（換言すると、瞳孔及び虹彩を含む領域）の位置や大きさがあらかじめ想定され得る場合には固定として設定されていてもよい。また、他の一例として、虹彩認証等により適用される円フィッティングやセグメンテーション等のような従来の手法に基づき、目領域のおおよその位置や大きさが決定されてもよい。なお、信号処理用のプロセッサの性能に応じて、上記パラメータ等の初期値の決定に、より処理量の少ない手法が選択されるとより望ましい。
次いで、情報処理装置１０は、設定した探索範囲内において瞳孔の中心位置及び虹彩の中心位置それぞれの候補となる点を逐次設定し、当該候補ごとに後述する解析及び比較に係る処理を実行することにより、当該候補の中から瞳孔の中心位置と略一致する候補を特定する。
具体的には、情報処理装置１０は、探索範囲内から瞳孔の中心位置及び虹彩の中心位置それぞれの候補となる点を設定する（Ｓ１０５）。なお、一般的には、撮像部２０３が眼球Ｕ１１と正対している状態においては、視線が横を向くほど瞳孔の中心と虹彩の中心との間の位置が離間する。そのため、瞳孔の中心と虹彩の中心とは個別に設定された方が、より精度の高い目領域の検出を行うことが可能となる。ただし、撮像部２０３と眼球Ｕ１１との間の相対的な位置関係を事前に想定し得る場合には、例えば、瞳孔の中心のみを探索の対象とし、虹彩の中心については瞳孔の中心位置に応じた所定の相対位置として特定されてもよい。
次いで、情報処理装置１０は、瞳孔の中心及び虹彩の中心それぞれの候補となる点の設定に応じて、画像Ｖ１１における上述した最大虹彩径の範囲内の領域を極座標化する（Ｓ１０７）。このとき、例えば、情報処理装置１０は、瞳孔の中心の候補として設定した点を原点として、虹彩円に沿って極座標化を行うとよい。具体的な一例として、図１０は、最大虹彩径の範囲内の領域を極座標化する処理の概要について説明するための説明図である。図１０において、参照符号Ｐ１１１は、瞳孔Ｕ１１１の中心の候補として設定した点を模式的に示している。また、参照符号Ｐ１１３は、虹彩円を模式的に示している。また、ρが、当該極座標化における動径座標に対応する方向を示しており、θが、当該極座標化における角度座標に対応する方向を示している。
瞳孔円と虹彩円との間の位置関係については、眼球Ｕ１１と撮像部２０３との間の位置関係や視線方向の違いにより変化し得る。一方で、上述した極座標化により、ラバーシートモデルにおいて、眼球Ｕ１１と撮像部２０３との間の位置関係や視線方向の違いによる影響のより少ない極座標画像を得ることが可能となる。
例えば、図１１は、最大虹彩径の範囲内の領域を極座標化することで得られる極座標画像の概要について説明するための説明図である。図１１において、参照符号Ｄ１１０ｃ及びＤ１１０ｄのそれぞれは、眼球Ｕ１１の画像Ｖ１１のうち虹彩円の範囲内の領域に相当する部分画像を模式的に示している。また、参照符号Ｄ１２０は、部分画像Ｄ１１０ｃ及びＤ１１０ｄそれぞれを極座標化することで得られる極座標画像を模式的に示している。
具体的には、部分画像Ｄ１１０ｃは、瞳孔が撮像部２０３側を向いていない状態（または、眼球Ｕ１１の瞳孔と撮像部２０３とが正対していない状態）における虹彩円の範囲内の領域に相当する部分画像に相当する。即ち、参照符号Ｕ１１１ｃ及びＵ１１３ｃは、部分画像Ｄ１１０ｃにおける瞳孔及び虹彩それぞれの領域を模式的に示している。また、参照符号Ｐ１１３ｃは、部分画像Ｄ１１０ｃにおける虹彩円を模式的に示している。また、参照符号Ｐ１１１ｃは、瞳孔Ｕ１１１ｃの中心を模式的に示している。即ち、図１１に示す例では、虹彩円Ｐ１１３ｃの部分画像Ｄ１１０ｃを、瞳孔の中心Ｐ１１１ｃを中心として極座標化することにより、極座標画像Ｄ１２０を取得することが可能となる。なお、極座標画像Ｄ１２０において、参照符号Ｄ１２１で示された領域は、瞳孔の領域に相当する。また、参照符号Ｄ１２３で示された領域は、虹彩の領域に相当する。
また、部分画像Ｄ１１０ｄは、瞳孔が撮像部２０３側を向いている状態（または、眼球Ｕ１１の瞳孔と撮像部２０３とが正対している状態）における虹彩円の範囲内の領域に相当する部分画像に相当する。即ち、参照符号Ｕ１１１ｄ及びＵ１１３ｄは、部分画像Ｄ１１０ｄにおける瞳孔及び虹彩それぞれの領域を模式的に示している。また、参照符号Ｐ１１３ｄは、部分画像Ｄ１１０ｃにおける虹彩円を模式的に示している。また、参照符号Ｐ１１１ｄは、瞳孔Ｕ１１１ｄの中心を模式的に示している。即ち、図１１に示す例では、虹彩円Ｐ１１３ｄの部分画像Ｄ１１０ｄを、点Ｐ１１１ｄを中心として極座標化することにより、極座標画像Ｄ１２０を取得することが可能となる。
即ち、ラバーシートモデルの適用を想定すると、図１１における部分画像Ｄ１１０ｃ及びＤ１１０ｄのように眼球Ｕ１１と撮像部２０３との間の位置関係や視線方向が異なるような状況下においても、理想的には、同様の極座標画像Ｄ１２０を取得することが可能となる。また、上記極座標化に伴い、虹彩円の領域に相当する略円形の形状を有する部分画像（例えば、部分画像Ｄ１１０ｃ及びＤ１１０ｄ）を、略矩形の形状を有する極座標画像（例えば、極座標画像Ｄ１２０）に変換することが可能となる。これにより、例えば、虹彩円の領域に相当する略円形の形状を有する部分画像を解析する場合に比べて、ラインアクセスによるアクセス速度の向上が見込まれる。また、並列処理が可能となるため、処理全体の速度性能の向上も見込まれる。なお、虹彩認証時に取得される虹彩テンプレートについても、同様に極座標化することで極座標画像に変換しておくとよい。なお、以降の説明では、便宜上、撮像部２０３による撮像結果（即ち、撮像された眼球Ｕ１１の画像Ｖ１１）に基づく虹彩の領域を含む極座標画像を「極座標画像Ｒｃ」とも称する。また、虹彩認証時にあらかじめ取得された虹彩テンプレートに対応する極座標画像を「極座標画像Ｒｔ」とも称する。なお、極座標画像Ｒｃが、「第１の極座標画像」の一例に相当する。また、極座標画像Ｒｔが、「第２の極座標画像」の一例に相当する。
次いで、図９に示すように、情報処理装置１０は、撮像部２０３による撮像結果に基づく極座標画像Ｒｃを虹彩テンプレートに対応する極座標画像Ｒｔと比較することで、当該極座標画像間の一致度を示すスコア（マッチングスコア）を算出する（Ｓ１０９）。ここで、前述した極座標化により略矩形の形状を有する極座標画像に変換しておくことで、画像間の比較に、ブロックマッチングや正規化相関等のような一般的な画像マッチングの処方を上記スコアの算出に利用することが可能となる。
なお、上記画像間の比較に際し、撮像部２０３による撮像結果に基づく極座標画像Ｒｃと、虹彩テンプレートに対応する極座標画像Ｒｔと、の間で、θ方向に対応する高さが略一致するように調整（例えば、スケーリング）することで、当該比較に係る処理を簡素化することも可能となる。以降においては、撮像部２０３による撮像結果に基づく極座標画像と、虹彩テンプレートに対応する極座標画像と、の間で、θ方向に対応する高さが略一致するように調整されていることを前提として説明する。
また、虹彩テンプレートとしてあらかじめ取得しておく画像については、円フィッティングやセグメンテーション等の従来の手法に基づき、虹彩に相当する領域のみを予め抽出したものを適用するとなお良い。これにより、例えば、当該虹彩テンプレートを利用した処理を容易かつ高精度に実現可能となり、当該虹彩テンプレートを保持する記憶領域のサイズもより小さく抑え得ることが可能となる。
ここで、図１２を参照して、撮像部２０３による撮像結果に基づく極座標画像Ｒｃと、虹彩テンプレートに対応する極座標画像Ｒｔと、の間の比較に係る処理についてより詳しく説明する。図１２は、本実施形態に係る情報処理装置による極座標画像間の比較に係る処理について説明するための説明図である。図１２において、左側の図は、虹彩テンプレートとしてあらかじめ取得された極座標画像Ｒｔを模式的に示している。また、右側の図は、撮像部２０３による撮像結果に基づく極座標画像Ｒｃを模式的に示している。なお、図１２に示す例では、虹彩テンプレートに対応する極座標画像Ｒｔとして、虹彩に対応する領域のみが切り出されている。また、極座標画像Ｒｃについては、虹彩模様の全体が含まれていることがより望ましい。そのため、極座標画像Ｒｃを生成する際の最大虹彩径については大きめに設定されていることがより望ましい。なお、以降の説明では、極座標画像Ｒｃに対応する領域（即ち、虹彩円の内部に対応する領域）を、便宜上「虹彩候補領域」とも称する。
図１２に示すように、撮像部２０３による撮像結果に基づく極座標画像Ｒｃに対応する虹彩候補領域には、瞳孔に相当する領域（以下、「瞳孔領域」とも称する）や、まぶたや白目等のような虹彩の外側に相当する領域（以下、「虹彩外側領域」とも称する）が含まれる場合がある。また、眼球がロール方向に回転している場合においては、虹彩候補領域（即ち、極座標画像Ｒｃ側）に含まれる虹彩模様の位相が、虹彩テンプレート（即ち、極座標画像Ｒｔ側）に対してθ方向（図１２の上下方向）にずれる場合がある。このような状況を鑑み、極座標画像Ｒｃと極座標画像Ｒｔとの比較に際し、極座標画像Ｒｃ側において各種パラメータの条件を逐次調整することで、スコアのより高い条件を探索するとよい。
例えば、図１３は、本実施形態に係る情報処理装置による極座標画像間の比較に係る処理について説明するための説明図であり、調整対象となる極座標画像Ｒｃ側のパラメータの一例を示している。図１３において、パラメータＰＴは、虹彩候補領域中のρ方向における虹彩に対応する領域（換言すると、虹彩テンプレートに対応する領域）の開始位置を示している。また、ＷＴは、虹彩候補領域中のρ方向における虹彩に対応する領域の幅を示している。また、θＴは、虹彩候補領域に含まれる虹彩模様のθ方向の位相を示している。
即ち、情報処理装置１０は、極座標画像Ｒｃ側において、虹彩に対応する領域の開始位置ＰＴ、当該領域の幅ＷＴ、及び虹彩模様の位相θＴそれぞれの条件を逐次変化させながら、極座標画像Ｒｃと極座標画像Ｒｔとの間で上記スコアのより高い条件を探索するとよい。
以上のようにして、情報処理装置１０は、瞳孔の中心の候補として設定した点を原点とした極座標画像Ｒｃについて、スコアのより高いパラメータの条件を探索し、探索された当該条件を、当該瞳孔の中心の候補に対応する極座標画像Ｒｃのパラメータとして設定する。即ち、情報処理装置１０は、例えば、条件（即ち、パラメータＰＴ、ＷＴ、及びθＴ）を逐次変更しながらスコアを算出することで、スコアが最大となる当該条件を探索する。そして、図９に示すように、情報処理装置１０は、当該条件に対応するスコアが過去に算出したスコアよりも高い場合（即ち、スコアが最大の場合）には（Ｓ１１１、ＹＥＳ）、当該スコアと共に、そのときの瞳孔の中心位置、虹彩の中心位置、瞳孔径、及び虹彩径の情報を保存する（Ｓ１１３）。なお、当該条件に対応するスコアが過去に算出したスコアよりも低い場合（即ち、スコアが最大ではない場合）には（Ｓ１１１、ＮＯ）、上記情報の保存は行わなくてもよい。
以上のようにして、情報処理装置１０は、探索範囲内において瞳孔の中心位置及び虹彩の中心位置それぞれの候補となる点を逐次変更しながら（Ｓ１０５）、参照符号Ｓ１０７〜Ｓ１１３で示した一連の処理を、当該候補となる点ごとに逐次実行する（Ｓ１１５、ＮＯ）。そして、情報処理装置１０は、探索範囲内における瞳孔の中心位置及び虹彩の中心位置それぞれの候補となる点すべてについて上記処理を実行し、最終的にスコアが最も高かった、瞳孔の中心位置及び虹彩の中心位置それぞれの候補となる点に関する情報を最終結果として出力する。即ち、当該最終結果として出力される情報が、実際の瞳孔及び虹彩それぞれの位置や大きさを示していることとなる。
そして、情報処理装置１０は、探索範囲内における上記探索が終了すると（Ｓ１１５、ＹＥＳ）、撮像部２０３により新たに撮像される眼球Ｕ１１の画像Ｖ１１を新たな対象として取得する（Ｓ１０１）。以上のようにして、情報処理装置１０は、一連の処理の終了が指示されない限り（Ｓ１１７、ＮＯ）、参照符号Ｓ１０１〜Ｓ１１５で示された一連の処理を実行する。そして、情報処理装置１０は、一連の処理の終了が指示されると（Ｓ１１７、ＹＥＳ）、参照符号Ｓ１０１〜Ｓ１１７で示した一連の処理の実行を終了する。
以上、図９〜図１３を参照して、撮像部２０３により撮像された眼球Ｕ１１の画像Ｖ１１における瞳孔の中心位置の推定に係る処理の流れの一例について説明した。
＜３．３．変形例＞
続いて、本実施形態に係る情報処理システムの変形例として、眼球の画像における瞳孔の中心位置の推定に係る処理の他の一例について説明する。
上記実施形態として説明した例では、瞳孔の中心位置及び虹彩の中心位置の候補となる点ごとに、虹彩候補領域の極座標画像Ｒｃ（即ち、撮像部２０３による撮像結果に基づく極座標画像Ｒｃ）と、虹彩テンプレートに対応する極座標画像Ｒｔと、の比較を行う。即ち、画像間の比較を行うこととなるため、処理量が比較的大きくなる傾向にある。画像間の比較を並列化することで処理速度を高めることも可能ではあるが、本変形例では、比較に係る処理をより簡素化することで処理速度を向上させる手法の一例について説明する。
例えば、図１４は、変形例に係る情報処理システムの概要について説明するための説明図である。図１４において、左側の図は、前述した極座標画像の各画素と、当該画素の画素値（例えば、輝度値）を模式的に示している。即ち、図１４の左側の図は、８×８画素の極座標画像を示しており、各数値は対応する画素の画素値を示している。
変形例に係る情報処理装置１０は、虹彩候補領域の極座標画像Ｒｃを、極座標化における動径座標に対応する方向（即ち、ρ方向）に向けて、各画素の画素値を逐次積分した積分画像に変換する。例えば、図１４の右側の図は、左側の図として示した極座標画像が変換された積分画像の一例を示している。
具体的には、情報処理装置１０は、極座標画像の各画素をρ方向に射影しながら、画素値を逐次積算する（換言すると、行ごとに画素値を平均化する）ことで、当該極座標画像を積分画像に変換する。なお、虹彩テンプレートに対応する極座標画像Ｒｔについても、同様の手法により積分画像に変換しておくとよい。このような制御により、例えば、虹彩テンプレートに対応するＭρ行Ｎθ列の極座標画像Ｒｔを、Ｍρ行１列に次元圧縮することも可能となる。なお、極座標画像Ｒｃが変換された積分画像が、「第１の積分画像」の一例に相当する。また、極座標画像Ｒｔが変換された積分画像が、「第２の積分画像」の一例に相当する。
ここで、虹彩模様がラバーシートモデルを適用可能な略放射状の形状と仮定すると、極座標画像Ｒｔと極座標画像Ｒｃとの間で、射影後の１次元データどうしの比較を行うことで、画像間の比較に比べて簡易的にスコアを算出することが可能となる。
具体的な一例として、図１４の左側の図として示した８×８画素の極座標画像のうち、５列目から７列目までを虹彩に対応する領域として抽出する場合について説明する。この場合には、右側の図に示した積分画像のうち、７列目のθ方向１次元ベクトルから、４列目のθ方向１次元ベクトルを引いた差分ベクトルを、ρ方向の幅（＝３）で正規化したベクトル（例えば、ρ方向の幅（＝３）で除算したベクトル）が、抽出対象となる領域に対応する射影値（即ち、θ方向１次元ベクトル）となる。このようにして、極座標画像Ｒｃから対象となる領域の射影ベクトルを算出し、当該射影ベクトルを、極座標画像Ｒｔに基づき算出される射影ベクトルとの間で、ＳＡＤ（差分絶対値）や正規化相関等を算出することで、射影ベクトル間の比較を行うとよい。これにより、従来の画像間を比較する場合に比べて、より少ない計算量でコストを算出することが可能となる。特に、従来の画像間の比較においては、画像のスケーリングを行いながらの比較が必要となる場合がある。これに対して、本手法に依れば、差分ベクトルを算出する範囲を適宜変更することで、積分画像のスケーリングに係る処理が不要となり、従来の画像間の比較に比べて、計算量をより低減することが可能となる。
また、情報処理装置１０は、例えば、極座標画像Ｒｃが変換された積分画像において、虹彩に対応する領域の開始位置ＰＴ、当該領域の幅ＷＴの条件を逐次変更しながら、極座標画像Ｒｃ及び極座標画像Ｒｔ間における上記射影ベクトルの比較を行ってもよい。このような制御により、例えば、極座標画像Ｒｃ中において虹彩に対応する領域が特定されていないような状況下においても、算出されたコストがより高い条件に基づき、虹彩に対応する領域を特定することも可能となる。
また、公知の技術により、虹彩円内に存在しえるまぶた等の領域を、無効な領域としてマスク処理によりあらかじめ除外することも可能である。また、虹彩円内のマスク領域については、例えば、公知のセグメンテーション処理により特定することが可能である。そのため、例えば、変形例に係る情報処理システムにおいて、上述した射影ベクトルの算出に際し、マスク領域（即ち、まぶた等の領域）を除外したうえで当該算出を行うことにより、より高い精度でスコアを算出することも可能となる。
以上、図１４を参照して、本実施形態に係る情報処理システムの変形例として、眼球の画像における瞳孔の中心位置の推定に係る処理の他の一例について説明した。
＜＜４．ハードウェア構成の一例＞＞
続いて、図１５を参照しながら、前述した情報処理装置１０や入出力装置２０のように、本開示の一実施形態に係る情報処理システムを構成する情報処理装置のハードウェア構成の一例について、詳細に説明する。図１５は、本開示の一実施形態に係る通信システムを構成する情報処理装置のハードウェア構成の一構成例を示す機能ブロック図である。
本実施形態に係る通信システムを構成する情報処理装置９００は、主に、ＣＰＵ９０１と、ＲＯＭ９０２と、ＲＡＭ９０３と、を備える。また、情報処理装置９００は、更に、ホストバス９０７と、ブリッジ９０９と、外部バス９１１と、インタフェース９１３と、入力装置９１５と、出力装置９１７と、ストレージ装置９１９と、ドライブ９２１と、接続ポート９２３と、通信装置９２５とを備える。
ＣＰＵ９０１は、演算処理装置及び制御装置として機能し、ＲＯＭ９０２、ＲＡＭ９０３、ストレージ装置９１９又はリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置９００内の動作全般又はその一部を制御する。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるホストバス９０７により相互に接続されている。例えば、図４に示す認証処理部１０１、瞳孔中心推定部１０３、プルキンエ像位置検出部１０５、及び視線推定部１０７は、ＣＰＵ９０１により構成され得る。
ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。また、外部バス９１１には、インタフェース９１３を介して、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３及び通信装置９２５が接続される。
入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、レバー及びペダル等、ユーザが操作する操作手段である。また、入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器９２９であってもよい。さらに、入力装置９１５は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。情報処理装置９００のユーザは、この入力装置９１５を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる
出力装置９１７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で構成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９１７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト又はイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。
ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ等を格納する。例えば、図４に示す記憶部１０９は、ストレージ装置９１９により構成され得る。
ドライブ９２１は、記録媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録を書き込むことも可能である。リムーバブル記録媒体９２７は、例えば、ＤＶＤメディア、ＨＤ−ＤＶＤメディア又はＢｌｕ−ｒａｙ（登録商標）メディア等である。また、リムーバブル記録媒体９２７は、コンパクトフラッシュ（登録商標）（ＣＦ：ＣｏｍｐａｃｔＦｌａｓｈ）、フラッシュメモリ又はＳＤメモリカード（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ ｍｅｍｏｒｙ ｃａｒｄ）等であってもよい。また、リムーバブル記録媒体９２７は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ ｃａｒｄ）又は電子機器等であってもよい。
接続ポート９２３は、情報処理装置９００に直接接続するためのポートである。接続ポート９２３の一例として、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）ポート等がある。接続ポート９２３の別の例として、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ポート等がある。この接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置９００は、外部接続機器９２９から直接各種のデータを取得したり、外部接続機器９２９に各種のデータを提供したりする。
通信装置９２５は、例えば、通信網（ネットワーク）９３１に接続するための通信デバイス等で構成された通信インタフェースである。通信装置９２５は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード等である。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９２５は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９２５に接続される通信網９３１は、有線又は無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信又は衛星通信等であってもよい。
以上、本開示の実施形態に係る通信システムを構成する情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。なお、図１５では図示しないが、情報処理システムを構成する情報処理装置９００に対応する各種の構成を当然備える。
なお、上述のような本実施形態に係る情報処理システムを構成する情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。また、当該コンピュータプログラムを実行させるコンピュータの数は特に限定されない。例えば、当該コンピュータプログラムを、複数のコンピュータ（例えば、複数のサーバ等）が互いに連携して実行してもよい。
＜＜５．むすび＞＞
以上説明したように、本実施形態に係る情報処理システム１において、情報処理装置１０は、眼球中の虹彩に関する情報を取得し、当該虹彩に関する情報に基づき、前記眼球中の瞳孔の中心位置を推定する。具体的には、情報処理装置１０は、所定の撮像部２０３により撮像された眼球の画像から、虹彩を含む領域の部分画像を抽出し、抽出した当該部分画像に基づき、瞳孔の中心位置を推定する。より具体的な一例として、情報処理装置１０は、撮像部２０３により撮像された眼球の画像から抽出した虹彩を含む領域の部分画像を、瞳孔に対応する領域中の点を中心として極座標化することで極座標画像を生成する。また、情報処理装置１０は、生成した極座標画像を、従前に生成された虹彩テンプレートに対応する極座標画像と比較する。情報処理装置１０は、当該極座標画像間の比較を、瞳孔に対応する領域（即ち、探索領域）中の点それぞれに実行し、虹彩テンプレートとの差がより小さい極座標画像に対応する点を、瞳孔の中心位置に略一致するものと推定する。
以上のような構成により、本実施形態に係る情報処理システムに依れば、まぶた等に遮蔽され瞳孔全体の画像を取得することが困難な状況下においても、従来の手法に比べて、瞳孔の中心位置を精度良く検出することが可能となる。即ち、本実施形態に係る情報処理システムに依れば、ユーザの視線の検出精度をより向上させることが可能となる。
また、図１１を参照して説明したように、本実施形態に係る情報処理システムでは、ラバーシートモデルを適用し、瞳孔及び虹彩を含む部分画像を極座標化した極座標画像に基づき瞳孔の中心位置を推定してもよい。このような構成のため、眼球と撮像部２０３との間の位置関係や視線方向が変化するような状況下においても、瞳孔の中心位置（ひいては、ユーザの視線）を精度良く検出することが可能となる。なお、瞳孔及び虹彩を含む部分画像を極座標化した極座標画像に基づく瞳孔の中心位置の推定に係る構成はあくまで一例であり、必ずしも、本実施形態に係る情報処理システムの構成を限定するものではない。即ち、眼球の画像のうち虹彩を含む領域の部分画像に基づき、瞳孔の中心位置を推定することが可能であれば、当該情報処理システムの構成や、当該推定に係る方法は特に限定はされない。
また、上述した例では、虹彩認証時に取得された瞳孔及び虹彩を含む画像を虹彩テンプレートして使用する例について説明したが、瞳孔の中心の推定に係る処理の従前に取得することが可能であれば、虹彩テンプレートの取得方法や取得タイミングは特に限定されない。具体的な一例として、虹彩テンプレートの登録に係る契機が明示的に設けられていてもよい。また、他の一例として、虹彩テンプレートが動的に取得されてもよい。具体的な一例として、撮像部２０３により逐次撮像される画像のうち、より好適な画像（例えば、瞳孔や虹彩がより広く撮像されている画像）に基づき虹彩テンプレートが生成されてもよい。
また、前述したように、本実施形態に係る情報処理システムにおいては、虹彩テンプレートとしてあらかじめ取得される眼球の画像としては、必ずしも虹彩の全体が撮像されていなくてもよい。なお、撮像される虹彩の範囲がより広い画像に基づき虹彩テンプレートが生成されると、瞳孔の中心位置の推定に係る精度がより向上することは前述したとおりである。
なお、上記では、虹彩に関する情報として、所定の撮像部により撮像された当該虹彩を含む眼球の画像を利用する例について説明したが、上述した瞳孔の中心位置の推定に係る処理を実現することが可能であれば、当該情報の態様は特に限定されない。具体的な一例として、虹彩を含む眼球の画像に対する画像解析の結果として得られた情報（例えば、虹彩の部分の特徴量等）が、上記虹彩に関する情報として取得されてもよい。この場合には、例えば、情報処理装置１０は、取得した当該情報に基づき、虹彩テンプレートや、当該虹彩テンプレートと比較される虹彩候補領域の情報（例えば、極座標画像）を再構成してもよい。また、他の一例として、眼球の画像から抽出された瞳孔及び虹彩を含む部分画像や、当該部分画像を極座標化した極座標画像が、上記虹彩に関する情報として取得されてもよい。なお、この場合には、当該部分画像の抽出に係る処理や、当該極座標化に係る処理が改めて実行されなくてもよい。
また、上記では、ユーザの視線を検出する場合の処理に着目して説明したが、本実施形態に係る情報処理システムにおける、瞳孔の中心位置を推定する処理の適用先は、必ずしも視線検出のみには限定されない。即ち、瞳孔の中心位置の推定または検出に係る処理を要するシステムであれば、当該処理に対して本開示に係る技術を応用することが可能である。また、本開示に係る技術の応用先に応じて、当該システムを構成する装置（例えば、入出力装置２０等）の構成や態様を適宜変更可能であることは言うまでもない。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
眼球中の虹彩に関する情報を取得する取得部と、
前記虹彩に関する情報に基づき、前記眼球中の瞳孔の中心位置を推定する推定部と、
を備える、情報処理装置。
（２）
前記取得部は、前記虹彩に関する情報として、所定の撮像部により撮像された前記眼球の画像を取得し、
前記推定部は、前記画像から、前記虹彩を含む領域の部分画像を抽出し、抽出した当該部分画像に基づき、前記瞳孔の中心位置を推定する、
前記（１）に記載の情報処理装置。
（３）
前記推定部は、前記部分画像を前記瞳孔に対応する領域中の点を中心として極座標化することで極座標画像を生成し、当該極座標画像に基づき、前記瞳孔の中心位置を推定する、前記（２）に記載の情報処理装置。
（４）
前記推定部は、生成した前記極座標画像である第１の極座標画像と、従前に生成された他の前記極座標画像である第２の極座標画像と、の比較に基づき、前記瞳孔の中心位置を推定する、前記（３）に記載の情報処理装置。
（５）
前記推定部は、前記第１の極座標画像のうちの前記虹彩の領域と、前記第２の極座標画像のうちの前記虹彩の領域と、の比較に基づき、前記瞳孔の中心位置を推定する、前記（４）に記載の情報処理装置。
（６）
前記推定部は、
前記第１の極座標画像から前記虹彩の領域として抽出する領域の広さに関する条件を逐次変更し、
当該広さの条件それぞれに対応する第１の極座標画像のうちの当該虹彩の領域と、前記第２の極座標画像のうちの前記虹彩の領域と、の間の比較に基づき、前記瞳孔の中心位置を推定する、
前記（５）に記載の情報処理装置。
（７）
前記推定部は、
前記第１の極座標画像のうちの前記虹彩の領域の位相を前記極座標化における角度座標に対応する方向に逐次制御し、
前記位相が制御された当該第１の極座標画像に前記虹彩の領域と、前記第２の極座標画像のうちの前記虹彩の領域と、の間の比較に基づき、前記瞳孔の中心位置を推定する、
前記（５）または（６）に記載の情報処理装置。
（８）
前記推定部は、
前記瞳孔に対応する領域中の複数の点それぞれについて前記第１の極座標画像を生成し、
当該複数の点それぞれに対応する当該第１の極座標画像と、前記第２の極座標画像と、の間の比較に基づき、前記瞳孔の中心位置を推定する、
前記（４）〜（７）のいずれか一項に記載の情報処理装置。
（９）
前記推定部は、前記複数の点のうち、前記第２の極座標画像との間の差がより少ない前記第１の極座標画像に対応する点が、前記瞳孔の中心位置に略一致するものと推定する、前記（８）に記載の情報処理装置。
（１０）
前記推定部は、前記極座標画像の各画素値を、前記極座標化における動径座標に対応する方向に積分することで積分画像を生成し、当該積分画像に基づき、前記瞳孔の中心位置を推定する、前記（３）に記載の情報処理装置。
（１１）
前記推定部は、生成した前記積分画像である第１の積分画像と、従前に生成された他の前記積分画像である第２の積分画像と、の比較に基づき、前記瞳孔の中心位置を推定する、前記（１０）に記載の情報処理装置。
（１２）
前記推定部は、前記第１の積分画像のうちの前記虹彩の領域における前記画素値の積分値と、前記第２の積分画像のうちの前記虹彩の領域における前記画素値の積分値と、に基づき、前記瞳孔の中心位置を推定する、前記（１１）に記載の情報処理装置。
（１３）
前記推定部は、
前記第１の積分画像のうちの前記虹彩の領域における前記画素値の積分値を当該虹彩の領域の幅に応じて正規化した値と、
前記第２の積分画像のうちの前記虹彩の領域における前記画素値の積分値を当該虹彩の領域の幅に応じて正規化した値と、
の間の比較に基づき、前記瞳孔の中心位置を推定する、
前記（１２）に記載の情報処理装置。
（１４）
前記領域は、略円形の形状を有し、
前記極座標画像は、略矩形の形状を有する、
前記（３）〜（１３）のいずれか一項に記載の情報処理装置。
（１５）
前記推定部は、前記瞳孔の中心位置の推定結果に基づき、視線の方向を推定する、前記（１）〜（１４）のいずれか一項に記載の情報処理装置。
（１６）
コンピュータが、
眼球中の虹彩に関する情報を取得することと、
前記虹彩に関する情報に基づき、前記眼球中の瞳孔の中心位置を推定することと、
を含む、情報処理方法。
（１７）
コンピュータに、
眼球中の虹彩に関する情報を取得することと、
前記虹彩に関する情報に基づき、前記眼球中の瞳孔の中心位置を推定することと、
を実行させる、プログラム。
１ 情報処理システム
１０ 情報処理装置
１０１ 認証処理部
１０３ 瞳孔中心推定部
１０５ プルキンエ像位置検出部
１０７ 視線推定部
１０９ 記憶部
２０ 入出力装置
２０１ａ、２０１ｂ 第１撮像部
２０３ 撮像部
２０３ａ、２０３ｂ 第２撮像部
２０７ 操作部
２１１ 出力部
２９１ 保持部
２９３ａ、２９３ｂ レンズ

Claims (17)

  1. 眼球中の虹彩に関する情報を取得する取得部と、
    前記虹彩に関する情報に基づき、前記眼球中の瞳孔の中心位置を推定する推定部と、
    を備える、情報処理装置。
  2. 前記取得部は、前記虹彩に関する情報として、所定の撮像部により撮像された前記眼球の画像を取得し、
    前記推定部は、前記画像から、前記虹彩を含む領域の部分画像を抽出し、抽出した当該部分画像に基づき、前記瞳孔の中心位置を推定する、
    請求項１に記載の情報処理装置。
  3. 前記推定部は、前記部分画像を前記瞳孔に対応する領域中の点を中心として極座標化することで極座標画像を生成し、当該極座標画像に基づき、前記瞳孔の中心位置を推定する、請求項２に記載の情報処理装置。
  4. 前記推定部は、生成した前記極座標画像である第１の極座標画像と、従前に生成された他の前記極座標画像である第２の極座標画像と、の比較に基づき、前記瞳孔の中心位置を推定する、請求項３に記載の情報処理装置。
  5. 前記推定部は、前記第１の極座標画像のうちの前記虹彩の領域と、前記第２の極座標画像のうちの前記虹彩の領域と、の比較に基づき、前記瞳孔の中心位置を推定する、請求項４に記載の情報処理装置。
  6. 前記推定部は、
    前記第１の極座標画像から前記虹彩の領域として抽出する領域の広さに関する条件を逐次変更し、
    当該広さの条件それぞれに対応する第１の極座標画像のうちの当該虹彩の領域と、前記第２の極座標画像のうちの前記虹彩の領域と、の間の比較に基づき、前記瞳孔の中心位置を推定する、
    請求項５に記載の情報処理装置。
  7. 前記推定部は、
    前記第１の極座標画像のうちの前記虹彩の領域の位相を前記極座標化における角度座標に対応する方向に逐次制御し、
    前記位相が制御された当該第１の極座標画像に前記虹彩の領域と、前記第２の極座標画像のうちの前記虹彩の領域と、の間の比較に基づき、前記瞳孔の中心位置を推定する、
    請求項５に記載の情報処理装置。
  8. 前記推定部は、
    前記瞳孔に対応する領域中の複数の点それぞれについて前記第１の極座標画像を生成し、
    当該複数の点それぞれに対応する当該第１の極座標画像と、前記第２の極座標画像と、の間の比較に基づき、前記瞳孔の中心位置を推定する、
    請求項４に記載の情報処理装置。
  9. 前記推定部は、前記複数の点のうち、前記第２の極座標画像との間の差がより少ない前記第１の極座標画像に対応する点が、前記瞳孔の中心位置に略一致するものと推定する、請求項８に記載の情報処理装置。
  10. 前記推定部は、前記極座標画像の各画素値を、前記極座標化における動径座標に対応する方向に積分することで積分画像を生成し、当該積分画像に基づき、前記瞳孔の中心位置を推定する、請求項３に記載の情報処理装置。
  11. 前記推定部は、生成した前記積分画像である第１の積分画像と、従前に生成された他の前記積分画像である第２の積分画像と、の比較に基づき、前記瞳孔の中心位置を推定する、請求項１０に記載の情報処理装置。
  12. 前記推定部は、前記第１の積分画像のうちの前記虹彩の領域における前記画素値の積分値と、前記第２の積分画像のうちの前記虹彩の領域における前記画素値の積分値と、に基づき、前記瞳孔の中心位置を推定する、請求項１１に記載の情報処理装置。
  13. 前記推定部は、
    前記第１の積分画像のうちの前記虹彩の領域における前記画素値の積分値を当該虹彩の領域の幅に応じて正規化した値と、
    前記第２の積分画像のうちの前記虹彩の領域における前記画素値の積分値を当該虹彩の領域の幅に応じて正規化した値と、
    の間の比較に基づき、前記瞳孔の中心位置を推定する、
    請求項１２に記載の情報処理装置。
  14. 前記領域は、略円形の形状を有し、
    前記極座標画像は、略矩形の形状を有する、
    請求項３に記載の情報処理装置。
  15. 前記推定部は、前記瞳孔の中心位置の推定結果に基づき、視線の方向を推定する、請求項１に記載の情報処理装置。
  16. コンピュータが、
    眼球中の虹彩に関する情報を取得することと、
    前記虹彩に関する情報に基づき、前記眼球中の瞳孔の中心位置を推定することと、
    を含む、情報処理方法。
  17. コンピュータに、
    眼球中の虹彩に関する情報を取得することと、
    前記虹彩に関する情報に基づき、前記眼球中の瞳孔の中心位置を推定することと、
    を実行させる、プログラム。
JP2019521972A 2017-06-02 2018-03-23 情報処理装置、情報処理方法、及びプログラム Abandoned JPWO2018220963A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017110199 2017-06-02
JP2017110199 2017-06-02
PCT/JP2018/011827 WO2018220963A1 (ja) 2017-06-02 2018-03-23 情報処理装置、情報処理方法、及びプログラム

Publications (1)

Publication Number Publication Date
JPWO2018220963A1 true JPWO2018220963A1 (ja) 2020-04-02

Family

ID=64454649

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019521972A Abandoned JPWO2018220963A1 (ja) 2017-06-02 2018-03-23 情報処理装置、情報処理方法、及びプログラム

Country Status (3)

Country Link
US (1) US11080888B2 (ja)
JP (1) JPWO2018220963A1 (ja)
WO (1) WO2018220963A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4109876A4 (en) 2020-02-21 2023-02-08 NEC Corporation BIOMETRIC AUTHENTICATION DEVICE, BIOMETRIC AUTHENTICATION METHOD AND BIOMETRIC AUTHENTICATION PROGRAM
CN113456022A (zh) * 2021-07-01 2021-10-01 河北北方学院 一种基于大数据拟合的视力监测档案管理系统与方法
JP7128597B1 (ja) * 2021-07-05 2022-08-31 克弥 西沢 熱画像を用いる生体認証装置
CN117809358A (zh) * 2023-12-26 2024-04-02 北京极溯光学科技有限公司 一种眼球自转角度的确定方法、装置、设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPQ896000A0 (en) 2000-07-24 2000-08-17 Seeing Machines Pty Ltd Facial image processing system
JP2004005167A (ja) * 2002-05-31 2004-01-08 Matsushita Electric Ind Co Ltd 目位置特定方法および装置
JP4376685B2 (ja) 2004-04-16 2009-12-02 本田技研工業株式会社 視線検出装置
JP4664147B2 (ja) * 2005-07-29 2011-04-06 株式会社山武 虹彩認証装置
JP4650386B2 (ja) 2006-09-29 2011-03-16 沖電気工業株式会社 個人認証システム及び個人認証方法
JP6536324B2 (ja) 2015-09-30 2019-07-03 富士通株式会社 視線検出システム、視線検出方法および視線検出プログラム

Also Published As

Publication number Publication date
WO2018220963A1 (ja) 2018-12-06
US20200098136A1 (en) 2020-03-26
US11080888B2 (en) 2021-08-03

Similar Documents

Publication Publication Date Title
JP6885935B2 (ja) 眼の特徴を用いる眼ポーズ識別
US11715231B2 (en) Head pose estimation from local eye region
WO2018220963A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US20220301217A1 (en) Eye tracking latency enhancements
WO2012137801A1 (ja) 入力装置及び入力方法並びにコンピュータプログラム
JP6725121B1 (ja) 視線検出方法、視線検出装置、及び制御プログラム
TW202044828A (zh) 眼動追蹤裝置及其方法
JP6855872B2 (ja) 顔認識装置
JP2018205819A (ja) 注視位置検出用コンピュータプログラム、注視位置検出装置及び注視位置検出方法
WO2019021601A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2015123262A (ja) 角膜表面反射画像を利用した視線計測方法及びその装置
KR101601508B1 (ko) 시선 추적 방법
JP6721169B1 (ja) 画像処理方法、画像処理装置、及び画像処理プログラム
EP4227732A1 (en) Method for head image recording and corresponding mobile device
US11948402B2 (en) Spoof detection using intraocular reflection correspondences

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210301

A762 Written abandonment of application

Free format text: JAPANESE INTERMEDIATE CODE: A762

Effective date: 20210730