JP6819291B2 - 制御システム、情報処理装置、制御方法、およびプログラム - Google Patents

制御システム、情報処理装置、制御方法、およびプログラム Download PDF

Info

Publication number
JP6819291B2
JP6819291B2 JP2016560081A JP2016560081A JP6819291B2 JP 6819291 B2 JP6819291 B2 JP 6819291B2 JP 2016560081 A JP2016560081 A JP 2016560081A JP 2016560081 A JP2016560081 A JP 2016560081A JP 6819291 B2 JP6819291 B2 JP 6819291B2
Authority
JP
Japan
Prior art keywords
unit
iris
eye
pupil size
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016560081A
Other languages
English (en)
Other versions
JPWO2016080031A1 (ja
Inventor
崇史 安倍
崇史 安倍
竹雄 塚本
竹雄 塚本
宗一 小波
宗一 小波
伊藤 智行
智行 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2016080031A1 publication Critical patent/JPWO2016080031A1/ja
Application granted granted Critical
Publication of JP6819291B2 publication Critical patent/JP6819291B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/197Matching; Classification
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/117Identification of persons
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0008Apparatus for testing the eyes; Instruments for examining the eyes provided with illuminating means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • A61B3/112Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils for measuring diameter of pupils
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1075Measuring physical dimensions, e.g. size of the entire body or parts thereof for measuring dimensions by non-invasive methods, e.g. for determining thickness of tissue layer
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802Sensor mounted on worn items
    • A61B5/6803Head-worn items, e.g. helmets, masks, headphones or goggles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Input (AREA)
  • Collating Specific Patterns (AREA)

Description

本開示は、制御システム、情報処理装置、制御方法、およびプログラムに関する。
従来、人間の身体的特徴から個人を識別する生体認証技術が提案されている。例えば、指紋、掌形、網膜、顔、音声等が生体認証に利用されている。また、人間の眼球にある虹彩も個人で異なる特徴を持つため、虹彩の特徴を利用した虹彩認証システムが、例えば下記特許文献1で提案されている。
全ての人間の眼の虹彩は、高度に複雑な特有の組織を有し、それは本質的に不変であることが判明している。同じ人物でさえ、両虹彩の組織またはディテールは同じではない。虹彩は光に反応して瞳孔の寸法を調節するために伸長および収縮する。この際、虹彩パターンがわずかに変化し、この変化が認証時の精度に影響を与えることがある。また、このような虹彩の特徴の解析方法について、例えば下記特許文献2では虹彩コードの生成方法が開示されている。具体的には、撮像画像内に存在する虹彩を認識し、虹彩の内側境界(瞳孔との円形境界)と虹彩の外側境界を決定し、円形の虹彩を分離する。次いで、分離された虹彩イメージ上に極座標系を設定する。座標系の原点は瞳孔との円形境界の中心に置かれる。その後、極座標変換した虹彩イメージの特徴量抽出を行い、全ての虹彩に対して普遍的なフォーマットを有する固定された長さの虹彩コードを生成する。このように生成した虹彩コードを基準コードとして記憶し、認証の際は、同様にコード化した虹彩コードと予め記憶した基準コードとを比較して同一個人であるか否かが判断される。
また、虹彩認証の際、登録時の瞳孔の大きさと同じ大きさの瞳孔にすることが認証精度を上げることにつながるため、下記特許文献3では、照明の強度を経時的に緩やかに変化させて眼の瞳孔の大きさを変化させ、瞳孔の大きさが異なる複数の眼の画像を連続的に撮影するシステムが提案されている。
また、瞳孔の大きさを調節して虹彩を撮像する場合、一般的な方法として眼に照明を当てて調節するが、このとき照明光が虹彩の手前にある角膜で反射し、輝点となって虹彩画像に重なってしまう場合がある。輝点が虹彩のパターンの一部を隠すように映り込んでしまうと認証精度に著しく悪影響があるため、照明による反射光が虹彩を隠さないように撮像する必要がある。例えば下記特許文献4では、撮像の方向と照明の光軸を一致させることによって、輝点が虹彩を隠してしまうことを回避している。
特公平5−84166号公報 特許第3307936号公報 特開2000−194855号公報 特許第4527088号公報
しかしながら、上記特許文献4に記載の方法では、カメラを視線の正面に配置しなければならないため、視野が遮られてしまう問題があった。
そこで、本開示では、ユーザの視界を妨げることなく、照明による反射光が映り込まない鮮明な虹彩画像を撮像することが可能な制御システム、情報処理装置、制御方法、およびプログラムを提案する。
本開示によれば、左右いずれか一方の眼に向けて光を照射する照明部と、前記一方と異なる他方の眼を撮像する撮像部と、前記照明部により前記一方の眼に向けて光を照射している際に前記他方の眼を前記撮像部により撮像するよう制御する制御部と、を備える、制御システムを提案する。
本開示によれば、左右いずれか一方の眼を撮像する撮像部と、前記一方と異なる他方の眼に向けて光を照射する照明部と、前記照明部により前記他方の眼に向けて光を照射している際に前記一方の眼を前記撮像部により撮像するよう制御する制御部と、を備える、情報処理装置を提案する。
本開示によれば、照明部により左右いずれか一方の眼に向けて光を照射している際に、前記一方と異なる他方の眼を撮像部により撮像するよう制御することを含む、制御方法を提案する。
本開示によれば、コンピュータを、照明部により左右いずれか一方の眼に向けて光を照射している際に、前記一方と異なる他方の眼を撮像部により撮像するよう制御する制御部として機能させるための、プログラムを提案する。
以上説明したように本開示によれば、ユーザの視界を妨げることなく、照明による反射光が映り込まない鮮明な虹彩画像を撮像することが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態による情報処理システムの概要を説明する図である。 従来の手法により撮像した虹彩の撮像画像について説明する図である。 本実施形態の手法により撮像した虹彩の撮像画像について説明する図である。 本実施形態による情報処理装置の構成の一例を示すブロック図である。 本実施形態による虹彩コードの登録処理を示すフローチャートである。 本実施形態による虹彩認証処理を示すフローチャートである。 本実施形態の変形例による情報処理装置を説明する図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、説明は以下の順序で行うものとする。
1.本開示の一実施形態による情報処理システムの概要
2.構成
3.動作処理
3−1.登録処理
3−2.認証処理
4.補足
5.まとめ
<<1.本開示の一実施形態による情報処理システムの概要>>
まず、本開示の一実施形態による情報処理システムの概要を図1に示して説明する。図1に示すように、本実施形態による情報処理システムは、例えばメガネ型ウェアラブルデバイス(スマートアイグラス)により実現される情報処理装置1であってもよい。
情報処理装置1は、図1に示すように、ユーザに装着された際にユーザの右眼の前に位置する右眼用レンズ部2Rと、ユーザの左眼の前に位置する左眼用レンズ部2Lとを有する。また、右眼用レンズ部2Rの縁部には、右眼に向けて光を照射する照明部16が設けられ、左眼用レンズ部2Lの縁部には、左眼を撮像する撮像部10が設けられている。なお、照明部16および撮像部10の設置位置は図1に示す例に限定されず、照明部16は左右いずれか一方の眼に向けて光を照射するよう設けられればよく、また、撮像部10は照明部16が照明する一方の眼とは異なる他方の眼を撮像するよう設けられればよい。
(背景)
従来、虹彩認証または登録の際に、瞳孔の大きさを調節して虹彩を撮像する場合、一般的な方法として眼に照明を当てて瞳孔の大きさが調節されていた。瞳孔は、生体反射により照明を強くすると縮小し、弱めると拡大するためである。
しかしながら、照明を当てて撮像を行うと、照明光が虹彩の手前にある角膜で反射し、輝点となって虹彩画像に重なってしまう場合があり、輝点が虹彩のパターンの一部を隠すように映り込んでしまうと認証精度に著しく悪影響があった。図2は、従来の手法により撮像した虹彩の撮像画像について説明する図である。図2に示すように、従来は、眼3に対して照明部160により照明を当てて瞳孔31の大きさを調節し、撮像部100で眼3を撮像していた。この場合、撮像画像40に示すように、照明からの光が虹彩30の手前にある角膜で反射し、輝点33として映り込んでしまうという問題があった。輝点33が虹彩30の上に重なってしまうと、虹彩30の特徴情報が一部欠けてしまい、虹彩認証の認識率に著しい悪影響を及ぼすことになる。
そこで、本実施形態では、共感性対光反射を利用し、片方の眼に照明を当てて瞳孔の大きさを調節しながら、照明が当たっていない方の眼を撮像することで、照明の反射光に影響されることなく鮮明な虹彩画像を取得するシステムを提案する。光が網膜に当たると、この刺激が視神経を通って視蓋前核に達し、介在ニューロンを介してエディンガー・ウェストファル(E−W)核で中継され、動眼神経の副交感性線維に伝わる。また、左右の視蓋前核は後交連を介してつながっているため、片側の視神経から来た信号が両側の視蓋前核に伝わり、片眼だけに光を当てた場合でも両眼の瞳孔が収縮する。このように光を当てていない側の瞳孔が縮小することを、一般に共感性対光反射と称す。
本実施形態では、上述した共感性対光反射を利用して、例えば図3に示すように、輝点が映り込まない虹彩画像を取得する。図3は、本実施形態の手法により撮像した虹彩の撮像画像について説明する図である。図3に示すように、本実施形態では、片方の眼、例えば左眼3Lに照明を当てて瞳孔の大きさを調節すると、共感性対光反射により反対側の右眼3Rの瞳孔も同様に大きさが変化するため、撮像部100により右眼3Rを撮像する。照明が当たっていない方の眼を撮像することにより、撮像画像42に示すように、照明の反射光に影響されることなく鮮明な虹彩30の画像を取得することができる。
以上、本開示の一実施形態による情報処理システムの概要について説明した。
なお、図1では、情報処理装置1がメガネ型ウェアラブルデバイス(スマートアイグラス)により実現される場合について示したが、本開示はこれに限定されず、情報処理装置1は、ゴーグル、双眼鏡、フルフェイスのヘルメット、ツバ付きの帽子、またはサンバイザー等により実現されてもよい。例えば双眼鏡により実現される場合、虹彩による個人認証に基づいて、双眼鏡の各種設定が当該個人用にカスタマイズされ得る。また、情報処理装置1は、双眼実体顕微鏡のように設置され覗き込むタイプであってもよいし、壁等に埋め込まれる等固定されているタイプであってもよい。
続いて、本実施形態による情報処理システムを実現する情報処理装置1の構成について図4を参照して説明する。
<<2.構成>>
図4は、本実施形態による情報処理装置1の構成の一例を示すブロック図である。図4に示すように、情報処理装置1は、撮像部10、画像取得部11、瞳孔サイズ検出部12、瞳孔サイズ比較部13、虹彩コード記憶部14、照明制御部15、照明部16、撮像制御部17、虹彩認識部18、および虹彩認証部19を有する。
撮像部10は、ユーザの眼を撮像するデバイスである。例えば、撮像部10は、情報処理装置1が図1に示すようにメガネ型ウェアラブルデバイスである場合、ユーザに装着された際にユーザの左右いずれか一方の眼を撮像するようレンズ部の縁部において内側に向けて設けられる。
画像取得部11は、撮像部10により撮像された眼の画像を取得する。
瞳孔サイズ検出部12は、画像取得部11により取得された眼の画像から瞳孔サイズを検出する。具体的には、例えば眼の画像を解析して瞳孔境界を決定し、その大きさ(瞳孔径)を検出する。
瞳孔サイズ比較部13は、瞳孔サイズ検出部12により検出された瞳孔サイズが目的の瞳孔サイズであるか否かを判断する。目的の瞳孔サイズとは、虹彩登録時の場合は登録用の既定の瞳孔サイズであって、また、虹彩認証時の場合は登録済みの瞳孔サイズである。登録済みの瞳孔サイズは、虹彩コード記憶部14から取得される。
虹彩コード記憶部14は、登録された虹彩コード、当該虹彩コード取得時の瞳孔サイズ、およびユーザIDが対応付けて記憶されている。
照明制御部15は、瞳孔サイズ比較部13の比較結果に基づいて、瞳孔の大きさを調節するためにユーザの眼に光を照射する照明部16を制御する。例えば照明制御部15は、照明部16のON/OFFや、照度の調整(照度UP/DOWN)を行う。上述したように、生体反射により照明を強くすると瞳孔は縮小し、弱めると瞳孔は拡大するため、照明制御部15は、検出された瞳孔サイズが目的の瞳孔サイズより大きい場合は照度を上げるよう制御し、目的の瞳孔サイズより小さい場合は照度を下げるよう制御する。
照明部16は、ユーザの眼に可視光を照射するデバイスである。照明部16は、例えばLED(light emitting diode)により実現される。また、照明部16は、情報処理装置1が図1に示すようにメガネ型ウェアラブルデバイスである場合、ユーザに装着された際にユーザの左右いずれか一方の眼を照明するようレンズ部の縁部において内側に向けて設けられる。また、照明部16は、撮像部10が撮像する眼とは異なる方の眼を照明する。
撮像制御部17は、撮像部10による撮像を制御する。例えば撮像制御部17は、瞳孔サイズ比較部13により、検出された瞳孔サイズが目的の瞳孔サイズと一致しない場合、再度撮像するよう制御する。また、撮像制御部17は、照明制御部15により眼に光が照射されている際に、撮像を行うよう制御する。
虹彩認識部18は、画像取得部11により取得された眼の画像から虹彩を認識する。具体的には、虹彩認識部18は、眼の画像から虹彩の内側境界(瞳孔との円形境界)と虹彩の外側境界を決定して円形の虹彩を分離し、分離した虹彩イメージを極座標変換して特徴量抽出を行い、所定の符号化処理により虹彩コードを生成することが可能である。そして、虹彩認識部18は、虹彩登録時には、瞳孔サイズ比較部13により目的の瞳孔サイズと判断された場合、その時の虹彩画像から生成した虹彩コードを虹彩コード記憶部14に出力する。また、虹彩認証時には、瞳孔サイズ比較部13により目的の瞳孔サイズと判断された場合、その時の虹彩画像から生成した虹彩コードを虹彩認証部19に出力する。
虹彩認証部19は、虹彩認識部18から出力された虹彩コードと、虹彩コード記憶部14に予め登録された虹彩コードとを比較して、同一個人であるか否かの認証を行う。
以上、本実施形態による情報処理装置1の構成について説明した。上述した情報処理装置1には、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、および不揮発性メモリを備えたマイクロコンピュータが搭載され、情報処理装置1の各構成を制御する。
また、図4に示す情報処理装置1の構成は一例であって、本開示はこれに限定されない。例えば、撮像部10および照明部16以外の構成がメガネ型ウェアラブルデバイスとは別体(スマートフォン等)に設けられ、両者が無線/有線通信によりデータの送受信を行うことで、照明制御や撮像制御、撮像画像の取得が行われてもよい。
<<3.動作処理>>
次に、本実施形態の動作処理について図5〜図6を参照して説明する。
<3−1.登録処理>
図5は、本実施形態による虹彩コードの登録処理を示すフローチャートである。図5に示すように、まず、ステップS103において、照明制御部15は、照明部16の照明をOFFにするよう制御する。なお、人間の眼は瞳孔が縮小する速度の方が拡大する速度より速いため、虹彩画像を撮像するにあたり瞳孔が拡大した状態、すなわち照明が消灯した状態から開始する方が全体の撮像時間を短縮することができるため、本実施形態では一例として照明OFFの状態から登録処理を開始している。
次に、ステップS106において、撮像制御部17は、撮像部10により虹彩の撮像を行うよう制御する。
次いで、ステップS109において、瞳孔サイズ検出部12は、撮像部10により撮像され、画像取得部11により取得された虹彩の撮像画像に基づいて、瞳孔サイズの検出を行う。
次に、ステップS112において、瞳孔サイズ比較部13は、瞳孔サイズ検出部12により検出された瞳孔サイズが目的の瞳孔サイズであるか否かを確認する。ここでは、例えば予め規定された、虹彩認証に適した瞳孔の大きさであるか否かを確認する。
次いで、目的の瞳孔サイズでは無い場合(S112において「No」)、ステップS115において、照明制御部15は、現在の照度が最大照度か否かを判断する。
続いて、最大照度では無い場合(S115において「No」)、ステップS118において、照明制御部15は、照明ONまたは照度UP(照明の強度を大きくする)制御を行う。最大照度とは、予め設定されている照明部16の限界照度である。また、照明部16の限界照度は、人間の眼に対して照射する光の強度に関する所定の規格(人体に害を及ぼさない値)を考慮して設定される。
以上説明したS103〜S118を繰り返し、目的の瞳孔サイズに調節することができる。上述したように、瞳孔は、生体反射により照明を強くすると縮小し、弱めると拡大するため、照明OFFの状態から段階的に照度を上げることで目的の瞳孔サイズに調節することができる。
一方、最大照度に達した場合(S115において「Yes」)、登録処理を終了する。
次に、目的の瞳孔サイズに調節できた場合(S112において「Yes」)、ステップS121において、瞳孔サイズ検出部12により検出した瞳孔サイズと、虹彩認識部18により認識され、生成された虹彩コードが、虹彩コード記憶部14に記憶される。この際、ユーザIDも併せて記憶される。このようにして、虹彩コードの登録が行われる。
次いで、ステップS124において、虹彩コードを目的の回数だけ記憶(取得)したか否かを判断する。複数の異なる瞳孔サイズに基づく虹彩コードを記憶しておくことで、虹彩認証の精度を上げることが可能となるためである。
そして、目的の回数に達していない場合(S124において「No」)、照明制御部15は最大照度か否かを判断し(S115)、最大照度でなければ照明部16の照度を上げて(S118)、再度虹彩コードの取得を行う(S106〜S121)。
一方、目的の回数に達した場合(S124において「Yes」)、登録処理を終了する。
以上、本実施形態による虹彩コードの登録処理について具体的に説明した。続いて、図6を参照して本実施形態による虹彩認証処理について説明する。
<3−2.認証処理>
図6は、本実施形態による虹彩認証処理を示すフローチャートである。図6に示すように、まず、ステップS203において、照明制御部15は、照明部16の照明をOFFにするよう制御する。
次に、ステップS206において、撮像制御部17は、撮像部10により虹彩の撮像を行うよう制御する。
次いで、ステップS209において、瞳孔サイズ検出部12は、撮像部10により撮像され、画像取得部11により取得された虹彩の撮像画像に基づいて、瞳孔サイズの検出を行う。
次に、ステップS212において、瞳孔サイズ比較部13は、瞳孔サイズ検出部12により検出された瞳孔サイズを、記録された瞳孔サイズと比較して、認証に適した瞳孔サイズを目的の瞳孔サイズとする。
次いで、瞳孔サイズが合っていない(目的の瞳孔サイズと異なる)場合(S215において「No」)、ステップS218において、照明制御部15は、照明ONまたは照度制御(照度UP/DOWN)行う。すなわち、照明制御部15は、瞳孔サイズを目的の瞳孔サイズに近づけるため照明の強さを調節する。
一方、瞳孔サイズが合っている場合(S215において「Yes」)、ステップS221において、虹彩認証部19は、虹彩認証を行う。すなわち、虹彩認証部19は、瞳孔サイズが合っている虹彩画像に基づいて虹彩認識部18が生成した虹彩コードと、虹彩コード記憶部14に記憶された、瞳孔サイズがある程度一致する虹彩コードとを比較して、同一個人であるかの認証を行う。
以上、本実施形態による虹彩認証処理について具体的に説明した。なお、一個人に対応する登録虹彩コードが複数ある場合、すなわち複数の瞳孔サイズ各々について虹彩コードが生成されて登録されていた場合、虹彩認証部19は、一または複数の瞳孔サイズ毎に虹彩コードの認証を行ってもよい。
また、上記S218において、照度制御を行う場合、照明部16による照明強度の大きさだけではなく、メガネ型ウェアラブルデバイスのレンズ部が遮光フィルターを備えている場合、当該遮光フィルターを制御することにより眼に照射される光の量を調整することも可能である。
また、照明部16が複数設けられている場合、照明制御部15は、点灯する照明部16の数や、それぞれの照明の強度により、全体の照度を調整することが可能である。
また、撮像制御部17は、照明制御部15と連動して撮像するよう制御してもよい。例えば、撮像制御部17は、照明部16による照明が行われる際に、照明を開始してから所定時間後に撮像を行う。人間の眼に光が照射された場合に、眼の瞳孔が変化する対光反射および共感性対光反射(光が照射されていない方の瞳孔も同様に変化すること)まで所定時間かかるためである。
<<4.補足>>
続いて、本実施形態による情報処理システムについて補足の説明を行う。図1を参照して説明した情報処理装置1は、左右いずれか一方の眼に光を照射し、反対側の眼を撮像するよう照明部16と撮像部10が配置されているが、本開示はこれに限定されない。
図7は、本実施形態の変形例による情報処理装置1’を説明する図である。図7に示すように、情報処理装置1’は、図1に示す情報処理装置1と同様に、メガネ型ウェアラブルデバイスにより実現され、ユーザに装着された際にユーザの右眼の前に位置する右眼用レンズ部2Rと、ユーザの左眼の前に位置する左眼用レンズ部2Lとを有する。本変形例では、右眼用レンズ部2Rおよび左眼用レンズ部2Lの縁部に、それぞれ照明部16R、16Lが設けられ、また、右眼用レンズ部2Rおよび左眼用レンズ部2Lの縁部に、それぞれ撮像部10R、10Lが設けられている。
このような構造を有することで、情報処理装置1’は、右眼および左眼のいずれの虹彩画像も鮮明な状態で取得することができる。すなわち、右眼の虹彩画像を取得する場合、情報処理装置1’は、左眼用レンズ部2Lの縁部に設けられた照明部16Lで左眼を照射し、右眼用レンズ部2Rの縁部に設けられた撮像部10Rで右眼を撮像する。また、左眼の虹彩画像を取得する場合、情報処理装置1’は、右眼用レンズ部2Rの縁部に設けられた照明部16Rで右眼を照射し、左眼用レンズ部2Lの縁部に設けられた撮像部10Lで左眼を撮像する。これにより、左右一方の眼の虹彩画像を取得する場合には他方の眼を照射して、照射していない一方の眼を撮像することで、反射光(輝点)が映り込まない鮮明な虹彩画像を取得することができる。
人間の眼の虹彩は、左右で異なるため、登録された虹彩コードが右眼である場合は右眼の虹彩コード、登録された虹彩コードが左眼である場合は左眼の虹彩コードが必要になるため、左右いずれの眼の虹彩画像も鮮明に取得できるようにすることで、利便性が向上する。また、情報処理装置1’によれば、両目の虹彩コードの登録や認証も可能となる。
<<5.まとめ>>
上述したように、本開示の実施形態による情報処理システムでは、ユーザの視界を妨げることなく、照明による反射光が映り込まない鮮明な虹彩画像を撮像することが可能となる。これにより、虹彩コード登録時における虹彩画像不鮮明による撮り直しを防止し、また、認証時における認証の精度を向上させることができる。
また、装置の小型化を実現することができる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、図1に示す情報処理装置1では、撮像部10と照明部16が同一体に設けられているが、撮像部10と照明部16は各々別体に設けられていてもよい。例えば、片眼タイプのウェアラブルデバイスに撮像部10が設けられ、設置/固定タイプの装置に照明部16が設けられているシステムであってもよい。この場合、照明部16は超指向性のスポットライトでユーザの片方の眼に光を照射し、他方の眼を片眼タイプのウェアラブルデバイスの撮像部10で撮像する。また、ユーザが装着するウェアラブルデバイス(スマートバンド、スマートウォッチ、またはスマートアイグラス等)やスマートフォン等に撮像部10と照明部16が夫々別に設けられるシステムであってもよい。
また、図7に示す情報処理装置1’では、撮像部10L、10R、および照明部16L、16Rが同一体に設けられているが、撮像部10Lおよび照明部16Lと、撮像部10Rおよび照明部16Rは、各々別体に設けられていてもよい。
また、上述した情報処理装置1、1’に内蔵されるCPU、ROM、およびRAM等のハードウェアに、情報処理装置1、1’の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、本技術は以下のような構成も取ることができる。
(1)
左右いずれか一方の眼に向けて光を照射する照明部と、
前記一方と異なる他方の眼を撮像する撮像部と、
前記照明部により前記一方の眼に向けて光を照射している際に前記他方の眼を前記撮像部により撮像するよう制御する制御部と、
を備える、制御システム。
(2)
前記制御システムは、
前記撮像部により撮像された撮像画像から虹彩画像を認識する虹彩認識部をさらに備える、前記(1)に記載の制御システム。
(3)
前記制御システムは、
前記撮像画像から認識される瞳孔のサイズを検出する瞳孔サイズ検出部をさらに備え、
前記制御部は、前記検出された瞳孔サイズに応じて、目的の瞳孔サイズを取得するよう照明制御を行う、前記(2)に記載の制御システム。
(4)
前記制御部は、前記検出された瞳孔サイズが目的の瞳孔サイズより大きい場合、照度を上げるよう照明制御する、前記(3)に記載の制御システム。
(5)
前記制御部は、前記検出された瞳孔サイズが目的の瞳孔サイズより小さい場合、照度を下げるよう照明制御する、前記(3)に記載の制御システム。
(6)
前記制御部は、前記認識された虹彩画像に基づく虹彩コード、当該虹彩画像を認識した際の瞳孔サイズ、およびユーザIDを対応付けて記憶するよう制御する、前記(2)〜(5)のいずれか1項に記載の制御システム。
(7)
前記制御システムは、
前記認識された虹彩画像に基づいて虹彩認証を行う虹彩認証部をさらに備える、前記(2)〜(6)のいずれか1項に記載の制御システム。
(8)
前記制御部は、前記照明部による照明がOFFの状態から撮像を開始するよう制御する、前記(1)〜(7)のいずれか1項に記載の制御システム。
(9)
左右いずれか一方の眼を撮像する撮像部と、
前記一方と異なる他方の眼に向けて光を照射する照明部と、
前記照明部により前記他方の眼に向けて光を照射している際に前記一方の眼を前記撮像部により撮像するよう制御する制御部と、
を備える、情報処理装置。
(10)
照明部により左右いずれか一方の眼に向けて光を照射している際に、前記一方と異なる他方の眼を撮像部により撮像するよう制御することを含む、制御方法。
(11)
コンピュータを、
照明部により左右いずれか一方の眼に向けて光を照射している際に、前記一方と異なる他方の眼を撮像部により撮像するよう制御する制御部として機能させるための、プログラム。
1 情報処理装置
10 撮像部
11 画像取得部
12 瞳孔サイズ検出部
13 瞳孔サイズ比較部
14 虹彩コード記憶部
15 照明制御部
16 照明部
17 撮像制御部
18 虹彩認識部
19 虹彩認証部
2R 右眼用レンズ部
2L 左眼用レンズ部
3R 右眼
3L 左眼
30 虹彩
31 瞳孔
33 輝点
40、4 撮像画像
100 撮像部
160 照明部

Claims (7)

  1. 左右いずれか一方の眼に向けて光を照射する照明部と、
    前記一方の眼と異なる他方の眼を撮像する撮像部と、
    前記照明部により前記一方の眼に向けて光を照射している際に前記他方の眼を前記撮像部により撮像するよう制御する制御部と、
    前記撮像部により撮像された撮像画像から虹彩画像を認識する虹彩認識部と、
    前記撮像画像から認識される瞳孔のサイズを検出する瞳孔サイズ検出部と
    を備え、
    前記制御部は、
    前記検出された瞳孔のサイズが目的の瞳孔サイズより大きい場合、照度を上げるよう照明制御を行い、
    前記検出された瞳孔のサイズが目的の瞳孔サイズより小さい場合、照度を下げるよう照明制御を行う、制御システム。
  2. 前記制御部は、前記認識された虹彩画像に基づく虹彩コード、当該虹彩画像を認識した際の瞳孔サイズ、およびユーザIDを対応付けて記憶するよう制御する、請求項に記載の制御システム。
  3. 前記制御システムは、
    前記認識された虹彩画像に基づいて虹彩認証を行う虹彩認証部をさらに備える、請求項1または2に記載の制御システム。
  4. 前記制御部は、前記照明部による照明がOFFの状態から撮像を開始するよう制御する、請求項1〜のいずれか1項に記載の制御システム。
  5. 左右いずれか一方の眼を撮像する撮像部と、
    前記一方の眼と異なる他方の眼に向けて光を照射する照明部と、
    前記照明部により前記他方の眼に向けて光を照射している際に前記一方の眼を前記撮像部により撮像するよう制御する制御部と、
    前記撮像部により撮像された撮像画像から虹彩画像を認識する虹彩認識部と、
    前記撮像画像から認識される瞳孔のサイズを検出する瞳孔サイズ検出部と
    を備え、
    前記制御部は、
    前記検出された瞳孔のサイズが目的の瞳孔サイズより大きい場合、照度を上げるよう照明制御を行い、
    前記検出された瞳孔のサイズが目的の瞳孔サイズより小さい場合、照度を下げるよう照明制御を行う、情報処理装置。
  6. 照明部により左右いずれか一方の眼に向けて光を照射している際に、前記一方の眼と異なる他方の眼を撮像部により撮像するよう制御することと、
    前記撮像部により撮像された撮像画像から虹彩画像を認識すると共に、前記撮像画像から認識される瞳孔のサイズを検出するように制御することと、
    前記検出された瞳孔のサイズが目的の瞳孔サイズより大きい場合、照度を上げるよう照明制御を行い、前記検出された瞳孔のサイズが目的の瞳孔サイズより小さい場合、照度を下げるよう照明制御を行うこととを含む、制御方法。
  7. コンピュータを、
    照明部により左右いずれか一方の眼に向けて光を照射している際に、前記一方の眼と異なる他方の眼を撮像部により撮像するよう制御し、
    前記撮像部により撮像された撮像画像から虹彩画像を認識すると共に、前記撮像画像から認識される瞳孔のサイズを検出するように制御し、
    前記検出された瞳孔のサイズが目的の瞳孔サイズより大きい場合、照度を上げるよう照明制御を行い、前記検出された瞳孔のサイズが目的の瞳孔サイズより小さい場合、照度を下げるよう照明制御を行う制御部として機能させるための、プログラム。
JP2016560081A 2014-11-20 2015-08-18 制御システム、情報処理装置、制御方法、およびプログラム Active JP6819291B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014235486 2014-11-20
JP2014235486 2014-11-20
PCT/JP2015/073088 WO2016080031A1 (ja) 2014-11-20 2015-08-18 制御システム、情報処理装置、制御方法、およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2016080031A1 JPWO2016080031A1 (ja) 2017-08-31
JP6819291B2 true JP6819291B2 (ja) 2021-01-27

Family

ID=56013594

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016560081A Active JP6819291B2 (ja) 2014-11-20 2015-08-18 制御システム、情報処理装置、制御方法、およびプログラム

Country Status (4)

Country Link
US (1) US10592740B2 (ja)
EP (1) EP3223232B1 (ja)
JP (1) JP6819291B2 (ja)
WO (1) WO2016080031A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10515284B2 (en) 2014-09-30 2019-12-24 Qualcomm Incorporated Single-processor computer vision hardware control and application execution
US20170132466A1 (en) 2014-09-30 2017-05-11 Qualcomm Incorporated Low-power iris scan initialization
US9495590B1 (en) * 2015-04-23 2016-11-15 Global Bionic Optics, Ltd. Extended depth-of-field biometric system
JP6828972B2 (ja) * 2016-11-04 2021-02-10 富士通コネクテッドテクノロジーズ株式会社 虹彩データ登録装置、虹彩データ登録方法および虹彩データ登録プログラム
US10614332B2 (en) * 2016-12-16 2020-04-07 Qualcomm Incorportaed Light source modulation for iris size adjustment
US10984235B2 (en) 2016-12-16 2021-04-20 Qualcomm Incorporated Low power data generation for iris-related detection and authentication
IL251596A0 (en) * 2017-04-05 2017-06-29 Robin Koch System and method for photographing a user's iris
US10810773B2 (en) * 2017-06-14 2020-10-20 Dell Products, L.P. Headset display control based upon a user's pupil state
US11568681B2 (en) 2018-09-27 2023-01-31 Nec Corporation Iris authentication device, iris authentication method and recording medium
BR112021025610A2 (pt) * 2019-06-26 2022-02-01 Nec Corp Aparelho de reconhecimento de íris, método de reconhecimento de íris, programa de computador e meio de gravação
JP7264257B2 (ja) * 2019-09-04 2023-04-25 日本電気株式会社 制御装置、制御方法及びプログラム
JP2021145785A (ja) * 2020-03-17 2021-09-27 ソニーグループ株式会社 プログラム、情報処理装置及び端末装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4641349A (en) * 1985-02-20 1987-02-03 Leonard Flom Iris recognition system
JPH082344B2 (ja) * 1989-08-09 1996-01-17 有限会社宇津木光学研究所 瞳孔対光反応検診器械装置
JP2003016435A (ja) * 2001-06-27 2003-01-17 Matsushita Electric Ind Co Ltd 個体認証装置及び方法
US8750575B2 (en) * 2009-08-04 2014-06-10 International Business Machines Corporation Reflexive iris template
US9087238B2 (en) 2010-01-22 2015-07-21 Iritech Inc. Device and method for iris recognition using a plurality of iris images having different iris sizes
KR101417415B1 (ko) * 2012-11-19 2014-07-08 아이리텍 잉크 살아있는 눈 식별 방법 및 장치
WO2014127134A1 (en) * 2013-02-13 2014-08-21 Massachusetts Institute Of Technology Methods and apparatus for retinal imaging
US20150234206A1 (en) * 2014-02-18 2015-08-20 Aliphcom Configurable adaptive optical material and device

Also Published As

Publication number Publication date
EP3223232A1 (en) 2017-09-27
EP3223232B1 (en) 2022-05-25
JPWO2016080031A1 (ja) 2017-08-31
WO2016080031A1 (ja) 2016-05-26
US20170255823A1 (en) 2017-09-07
EP3223232A4 (en) 2018-07-18
US10592740B2 (en) 2020-03-17

Similar Documents

Publication Publication Date Title
JP6819291B2 (ja) 制御システム、情報処理装置、制御方法、およびプログラム
JP6837142B2 (ja) 視線追跡装置および頭部装着型表示装置
KR101417415B1 (ko) 살아있는 눈 식별 방법 및 장치
JP5651119B2 (ja) 眼の画像化装置及び方法
JP5366028B2 (ja) 顔画像撮像装置
JP5761074B2 (ja) 撮像制御装置及びプログラム
US20170367572A1 (en) Optical measurement system and method with target brightness level adjustment
EP3079560A1 (en) Method for operating an eye tracking device and eye tracking device for providing an active illumination control for improved eye tracking robustness
WO2008039252A3 (en) Multimodal ocular biometric system
US9349060B2 (en) Biometric authentication apparatus and biometric authentication method
JP2001524703A (ja) 複数の光源を使用しメガネを通して目を照明して撮像するための方法及び装置
US11138429B2 (en) Iris recognition using eye-tracking system
CN106845333B (zh) 用于无适配器智能手机眼睛成像的投影仪和相关方法
CN105704886B (zh) 使用可佩戴眼镜的车辆照明控制系统和用于该系统的方法
EP3905943A1 (en) System and method for eye tracking
US20150335242A1 (en) Ophthalmic apparatus and control method for the same
CN109657531A (zh) 一种基于眼球上光斑的人脸活体检测方法及检测装置
JP6957048B2 (ja) 眼部画像処理装置
KR102267162B1 (ko) 인지 장애인을 위한 시선 추적 장치 및 방법
JP2011229842A5 (ja)
JP2006136450A (ja) 虹彩認証装置
JP2020140637A (ja) 瞳孔検出装置
KR100647298B1 (ko) 빛 반사를 고려한 영상 처리 장치와 방법 및 컴퓨터프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록매체
CN109063674A (zh) 一种基于眼球上光斑的虹膜活体检测方法及检测装置
KR101762852B1 (ko) 홍채 인식 장치

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180706

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180706

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190222

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191001

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200317

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200331

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200825

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201214

R151 Written notification of patent or utility model registration

Ref document number: 6819291

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151