JP7096509B2 - 情報処理装置およびプログラム - Google Patents
情報処理装置およびプログラム Download PDFInfo
- Publication number
- JP7096509B2 JP7096509B2 JP2020178052A JP2020178052A JP7096509B2 JP 7096509 B2 JP7096509 B2 JP 7096509B2 JP 2020178052 A JP2020178052 A JP 2020178052A JP 2020178052 A JP2020178052 A JP 2020178052A JP 7096509 B2 JP7096509 B2 JP 7096509B2
- Authority
- JP
- Japan
- Prior art keywords
- iris
- display
- camera
- detected
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 38
- 210000001747 pupil Anatomy 0.000 claims description 40
- 238000001514 detection method Methods 0.000 claims description 25
- 238000000605 extraction Methods 0.000 claims description 8
- 239000011521 glass Substances 0.000 claims description 3
- 210000000554 iris Anatomy 0.000 description 169
- 238000000034 method Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 12
- 208000016339 iris pattern Diseases 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 2
- 238000013523 data management Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 235000002673 Dioscorea communis Nutrition 0.000 description 1
- 241000544230 Dioscorea communis Species 0.000 description 1
- 208000035753 Periorbital contusion Diseases 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Collating Specific Patterns (AREA)
- Image Input (AREA)
- User Interface Of Digital Computer (AREA)
Description
本発明は、情報処理装置およびプログラムに関する。
生体認証技術の1つに虹彩認証がある。虹彩とは、黒目の内側にある瞳孔の周りの部分を指し、個人毎に固有のパターンを持つ。また、虹彩の模様は、生涯不変といわれ、角膜に覆われて損傷しにくい。
このため、虹彩は生体認証に適した部位であり、虹彩認証は生体認証技術の中でも精度が高く様々な場面での活用が期待されている。虹彩認証では、一般的に近赤外線発光を使うことで虹彩模様を見えるようにし、赤外線カメラを用いて虹彩模様が撮影される。
関連技術としては、例えば、虹彩認証時に表示装置に所定のデータを表示させ、表示装置の視野角を赤外線カメラの画角内で所定のデータが視認可能となるように設定する技術が提案されている。
複雑な虹彩の模様を鮮明に撮影するためには、虹彩を赤外線カメラの画角内に、かつ赤外線カメラの正面にできるだけ合わせるように位置合わせすることがユーザに求められる。そのため虹彩認証用のアプリケーションでは、虹彩認証中の撮影画像を認証装置のディスプレイにフィードバック表示させることで、ユーザが虹彩の位置合わせをしやすいようにしている。
しかし、虹彩認証中の撮影画像のフィードバック表示に赤外線カメラの撮影画像を用いると、赤外線カメラの撮影画像は白黒画像であるため、ユーザは、普段見慣れない白黒画像に抵抗感を覚え、また通常の可視光カメラによる撮影画像では見えないようなもの(例えば、無精髭等)が見えるため不快に思うことがある。
このようなユーザの不快感を軽減させるために、虹彩認証中の撮影画像のフィードバック表示には、可視光カメラで撮影した撮影画像を用いることが考えられる。
このようなユーザの不快感を軽減させるために、虹彩認証中の撮影画像のフィードバック表示には、可視光カメラで撮影した撮影画像を用いることが考えられる。
一方、ユーザが眼鏡を着用して虹彩認証を行うと、近赤外線発光が眼鏡のレンズに反射されることが多々起きる。このような反射光は光玉と呼ばれる場合があり、光玉がユーザの瞳孔や虹彩の上に重なってしまうと、虹彩模様が光玉によって隠れてしまい虹彩認証の成功率が低くなる。
しかし、ユーザの不快感の軽減のために、上述したように、虹彩認証中の撮影画像のフィードバック表示に可視光カメラで撮影した撮影画像を用いると、光玉は目視することができないため、ユーザは何が原因で虹彩認証が成功しないのか把握することが困難であるという問題が生じる。
1つの側面では、本発明は、虹彩認証中の撮影画像のフィードバック表示によるユーザへの不快感を軽減させ、かつ虹彩認証が不成功になる状態を解消させることを可能にした情報処理装置およびプログラムを提供することを目的とする。
上記課題を解決するために、情報処理装置が提供される。情報処理装置は、赤外線カメラと可視光カメラを含む撮影部と、ディスプレイと、虹彩認証を行う場合、赤外線カメラに対する虹彩の位置合わせ用に、可視光カメラによる第1の撮影画像をディスプレイに表示し、赤外線カメラで撮影された瞳孔または虹彩の検知状態に応じて、ディスプレイの画面表示を可視光カメラによる第1の撮影画像から赤外線カメラによる第2の撮影画像に切り替える制御部とを有する。
また、上記課題を解決するために、コンピュータに上記情報処理装置と同様の制御を実行させるプログラムが提供される。
また、上記課題を解決するために、コンピュータに上記情報処理装置と同様の制御を実行させるプログラムが提供される。
1側面によれば、虹彩認証中の撮影画像のフィードバック表示によるユーザへの不快感を軽減させ、かつ虹彩認証が不成功になる状態を解消させることが可能になる。
以下、本実施の形態について図面を参照して説明する。
図1は情報処理装置の一例を説明するための図である。情報処理装置1は、制御部10、撮影部2およびディスプレイ3を備える。撮影部2は、近赤外線発光素子2a、赤外線カメラc1および可視光カメラc2を含む。
なお、以降では、近赤外線発光素子をIR-LED(Infrared-Light Emitting Diode)、赤外線カメラをIRカメラ、可視光カメラをRGBカメラと呼ぶ。
図1は情報処理装置の一例を説明するための図である。情報処理装置1は、制御部10、撮影部2およびディスプレイ3を備える。撮影部2は、近赤外線発光素子2a、赤外線カメラc1および可視光カメラc2を含む。
なお、以降では、近赤外線発光素子をIR-LED(Infrared-Light Emitting Diode)、赤外線カメラをIRカメラ、可視光カメラをRGBカメラと呼ぶ。
制御部10は、IR-LED2aから出力された近赤外線の照明を用いてIRカメラc1で撮影された虹彩を検知して虹彩認証を行う。なお、虹彩や静脈等の生体認証では、波長がおよそ0.7μm-2.5μmの近赤外線が主に使用される。
制御部10は、虹彩認証を行う場合、IRカメラc1に対する虹彩の位置合わせ用に、RGBカメラc2による第1の撮影画像をディスプレイ3に表示する。このとき、制御部10は、ユーザの瞳孔または虹彩の検知状態に応じて、ディスプレイ3の画面表示をRGBカメラc2による第1の撮影画像からIRカメラc1による第2の撮影画像に切り替える。
動作について説明する。なお、以降では、IRカメラc1に対して虹彩の位置合わせをユーザに行わせるために、虹彩認証中に撮影画像を表示することをUI(User Interface)フィードバック表示と呼ぶ場合がある。
〔ステップS1〕情報処理装置1は、ユーザの虹彩認証を行う。このとき、IRカメラc1に対して虹彩が含まれる眼周辺が撮影されるように、IRカメラc1に対向してユーザが位置する。
〔ステップS2〕制御部10は、IRカメラc1に対する虹彩の位置合わせ用に、RGBカメラc2による撮影画像をディスプレイ3にUIフィードバック表示する。ユーザは、ディスプレイ3に表示された画像を見て、虹彩をIRカメラc1の画角内に、かつIRカメラc1の正面にできるだけ合わせるように位置を合わせる。
〔ステップS3〕制御部10は、IRカメラc1で撮影された瞳孔または虹彩の検知状態を判定する。検知状態が良好の場合はステップS4の処理に進む。検知状態が良好でない場合はステップS5に処理が進む。なお、瞳孔または虹彩の検知状態がどのような場合に良好で、どのような場合に良好でないかについての具体例については図6で後述する。
〔ステップS4〕制御部10は、RGBカメラc2による撮影画像をディスプレイ3にUIフィードバック表示する。
〔ステップS5〕制御部10は、RGBカメラc2による撮影画像からIRカメラc1による撮影画像に切り替え、IRカメラc1による撮影画像をディスプレイ3にUIフィードバック表示する。
〔ステップS5〕制御部10は、RGBカメラc2による撮影画像からIRカメラc1による撮影画像に切り替え、IRカメラc1による撮影画像をディスプレイ3にUIフィードバック表示する。
このように、情報処理装置1では、虹彩認証の実行時、IRカメラc1に対する虹彩の位置合わせ用に、RGBカメラc2による撮影画像をディスプレイ3にUIフィードバック表示する。そして、瞳孔または虹彩の検知状態に応じて、ディスプレイ3の画面表示をRGBカメラc2による撮影画像からIRカメラc1による撮影画像に切り替える構成とした。
これにより、虹彩が良好に検知されている状態では、RGBカメラc2による撮影画像がディスプレイ3にUIフィードバック表示される。このため、ユーザは、RGBカメラc2による撮影画像で虹彩の位置合わせを行うことができるので、IRカメラc1で撮影された白黒画像がディスプレイ3に映し出されることに比べて、ユーザの不快感を減少させることができる。
一方、虹彩が良好に検知されない原因の1つとしては、眼鏡を着用しているユーザに近赤外線が発光された場合に、眼鏡のレンズで近赤外線が反射され、その反射光である光玉が虹彩の全体または一部を隠してしまうことがある。
したがって、虹彩が良好に検知されない状態では、情報処理装置1は、ディスプレイ3にIRカメラc1の撮影画像をUIフィードバック表示させる。これにより、IRカメラc1の撮影画像のUIフィードバック表示によって光玉の存在をユーザに認識させて、光玉の位置が虹彩から外れるように、ユーザに顔の角度や位置の調整を促すことができるので、光玉によって虹彩認証が不成功になる状態を解消させることが可能になる。
<光玉による虹彩認証の失敗>
図2は光玉による虹彩認証の失敗を説明するための図である。
〔状態St1〕眼鏡を着用したユーザに対して虹彩認証が行われる。
〔状態St2〕IR-LEDから近赤外線が発光されて、虹彩模様がIRカメラで撮影される。
〔状態St3〕近赤外線発光が眼鏡のレンズに反射して光玉が生じる。
図2は光玉による虹彩認証の失敗を説明するための図である。
〔状態St1〕眼鏡を着用したユーザに対して虹彩認証が行われる。
〔状態St2〕IR-LEDから近赤外線が発光されて、虹彩模様がIRカメラで撮影される。
〔状態St3〕近赤外線発光が眼鏡のレンズに反射して光玉が生じる。
図2の例では、光玉は、ユーザの瞳孔や虹彩の上に重なっている。このように、光玉が瞳孔や虹彩の上に重なってしまうと、ユーザの虹彩模様の全体または一部が光玉によって隠れてしまい、虹彩全体が鮮明に撮影できなくなり虹彩認証の成功率が低くなる。
なお、光玉は、RGBカメラによる撮影画像では目視することはできないが、IRカメラによる撮影画像では目視することができる。
このため、本発明の情報処理装置1では、瞳孔や虹彩の検知状態が良好の場合は、RGBカメラによる撮影画像をUIフィードバック表示し、瞳孔や虹彩の検知状態が良好でない場合には、IRカメラによる撮影画像をUIフィードバック表示する。これにより、光玉が生じている場合に、光玉が瞳孔や虹彩の上に重なっているか否かをユーザは容易に判断することができる。
このため、本発明の情報処理装置1では、瞳孔や虹彩の検知状態が良好の場合は、RGBカメラによる撮影画像をUIフィードバック表示し、瞳孔や虹彩の検知状態が良好でない場合には、IRカメラによる撮影画像をUIフィードバック表示する。これにより、光玉が生じている場合に、光玉が瞳孔や虹彩の上に重なっているか否かをユーザは容易に判断することができる。
<機能ブロック>
図3は情報処理装置の機能ブロックの一例を示す図である。情報処理装置1の撮影部2(ハードウェア)には、IRカメラc1、RGBカメラc2およびIR-LED2aが備えられる(ハードウェアのうちのディスプレイ3の図示は省略)。また、情報処理装置1の制御部10(ソフトウェア)は、カメラデバイスドライバ11、虹彩デバイスドライバ12、虹彩認証エンジン13および虹彩認証用アプリケーション14を含む。
図3は情報処理装置の機能ブロックの一例を示す図である。情報処理装置1の撮影部2(ハードウェア)には、IRカメラc1、RGBカメラc2およびIR-LED2aが備えられる(ハードウェアのうちのディスプレイ3の図示は省略)。また、情報処理装置1の制御部10(ソフトウェア)は、カメラデバイスドライバ11、虹彩デバイスドライバ12、虹彩認証エンジン13および虹彩認証用アプリケーション14を含む。
IR-LED2aは近赤外線を発光する。IRカメラc1は、近赤外線で照明されるユーザの虹彩を撮影する。RGBカメラc2は、ユーザの顔を撮影する。
カメラデバイスドライバ11は、RGBカメラc2のドライブ制御を行う。虹彩デバイスドライバ12は、IR-LED2aおよびIRカメラc1のドライブ制御を行う。
カメラデバイスドライバ11は、RGBカメラc2のドライブ制御を行う。虹彩デバイスドライバ12は、IR-LED2aおよびIRカメラc1のドライブ制御を行う。
虹彩認証エンジン13は、瞳孔検知部13a、虹彩検知部13b、虹彩特徴点抽出部13cおよび眼鏡検知部13dを含む。瞳孔検知部13aは、IRカメラc1の撮影画像から瞳孔を検知する。
虹彩検知部13bは、瞳孔検知部13aで検知された瞳孔から虹彩を検知する。虹彩特徴点抽出部13cは、虹彩検知部13bで検知された虹彩から虹彩特徴点(ユーザ個々の虹彩模様)を抽出する。眼鏡検知部13dは、IRカメラc1の撮影画像から、ユーザが着用している眼鏡を検知する。
虹彩認証用アプリケーション14は、カメラデバイス制御部14a、虹彩デバイス制御部14b、UIフィードバック部14c、虹彩登録部14d、虹彩認証部14e、虹彩データ管理部14fを含む。
カメラデバイス制御部14aは、カメラデバイスドライバ11の制御を行う。虹彩デバイス制御部14bは、虹彩デバイスドライバ12の制御を行う。UIフィードバック部14cは、RGBカメラc2による撮影画像またはIRカメラc1による撮影画像をディスプレイ3にUIフィードバック表示させる。
虹彩登録部14dは、IRカメラc1によって撮影された虹彩を虹彩テンプレートとして登録する。虹彩認証部14eは、IRカメラc1によって撮影された虹彩と、虹彩登録部14dで登録された虹彩(虹彩テンプレート)との照合を行って虹彩認証を行う。虹彩データ管理部14fは、虹彩登録部14dで登録されている虹彩のデータ管理を行う。
<ハードウェア>
図4は情報処理装置のハードウェア構成の一例を示す図である。情報処理装置1は、プロセッサ(コンピュータ)100によって全体制御されている。プロセッサ100は、制御部10の機能を実現する。
図4は情報処理装置のハードウェア構成の一例を示す図である。情報処理装置1は、プロセッサ(コンピュータ)100によって全体制御されている。プロセッサ100は、制御部10の機能を実現する。
プロセッサ100には、バス103を介して、メモリ101、入出力インタフェース102およびネットワークインタフェース104が接続されている。
プロセッサ100は、マルチプロセッサであってもよい。プロセッサ100は、例えば、CPU(Central Processing Unit)、FPGA(Field Programmable Gate Array)、MPU(Micro Processing Unit)、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、またはPLD(Programmable Logic Device)である。またプロセッサ100は、CPU、FPGA、MPU、DSP、ASIC、PLDのうちの2以上の要素の組み合わせであってもよい。
プロセッサ100は、マルチプロセッサであってもよい。プロセッサ100は、例えば、CPU(Central Processing Unit)、FPGA(Field Programmable Gate Array)、MPU(Micro Processing Unit)、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、またはPLD(Programmable Logic Device)である。またプロセッサ100は、CPU、FPGA、MPU、DSP、ASIC、PLDのうちの2以上の要素の組み合わせであってもよい。
メモリ101は、情報処理装置1の主記憶装置として使用される。メモリ101には、プロセッサ100に実行させるOS(Operating System)のプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、メモリ101には、プロセッサ100による処理に要する各種データが格納される。
メモリ101は、情報処理装置1の補助記憶装置としても使用され、OSのプログラム、アプリケーションプログラム、および各種データが格納される。メモリ101は、補助記憶装置として、フラッシュメモリやSSD(Solid State Drive)等の半導体記憶装置やHDD(Hard Disk Drive)等の磁気記録媒体を含んでもよい。
バス103に接続されている周辺機器としては、入出力インタフェース102およびネットワークインタフェース104がある。入出力インタフェース102は、撮影部2およびディスプレイ3を有する。また、入出力インタフェース102は、キーボードやマウス等の情報入力装置を接続可能であって、情報入力装置から送られてくる信号をプロセッサ100に送信する。
さらに、入出力インタフェース102は、周辺機器を接続するための通信インタフェースとしても機能する。例えば、入出力インタフェース102は、レーザ光等を利用して、光ディスクに記録されたデータの読み取りを行う光学ドライブ装置を接続することができる。光ディスクには、Blu-rayDisc(登録商標)、CD-ROM(Compact Disc Read Only Memory)、CD-R(Recordable)/RW(Rewritable)等がある。
また、入出力インタフェース102は、メモリ装置やメモリリーダライタを接続することができる。メモリ装置は、入出力インタフェース102との通信機能を搭載した記録媒体である。メモリリーダライタは、メモリカードへのデータの書き込み、またはメモリカードからのデータの読み出しを行う装置である。メモリカードは、カード型の記録媒体である。
ネットワークインタフェース104は、ネットワークに接続してネットワークインタフェース制御を行う。ネットワークインタフェース104は、例えば、NIC(Network Interface Card)、無線LAN(Local Area Network)カード等を使用することもできる。ネットワークインタフェース104で受信されたデータは、メモリ101やプロセッサ100に出力される。
以上のようなハードウェア構成によって、情報処理装置1の処理機能を実現することができる。例えば、情報処理装置1は、プロセッサ100がそれぞれ所定のプログラムを実行することで本発明の処理を行うことができる。
情報処理装置1は、例えば、コンピュータで読み取り可能な記録媒体に記録されたプログラムを実行することにより、本発明の処理機能を実現する。情報処理装置1に実行させる処理内容を記述したプログラムは、様々な記録媒体に記録しておくことができる。
例えば、情報処理装置1に実行させるプログラムを補助記憶装置に格納しておくことができる。プロセッサ100は、補助記憶装置内のプログラムの少なくとも一部を主記憶装置にロードし、プログラムを実行する。
また、光ディスク、メモリ装置、メモリカード等の可搬型記録媒体に記録しておくこともできる。可搬型記録媒体に格納されたプログラムは、例えば、プロセッサ100からの制御により、補助記憶装置にインストールされた後、実行可能となる。またプロセッサ100が、可搬型記録媒体から直接プログラムを読み出して実行することもできる。
<虹彩認証の動作フロー>
(本発明の機能を有していない一般的な虹彩認証の場合)
図5は一般的な虹彩認証の動作の一例を示すフローチャートである。なお、虹彩登録時においても虹彩認証時と同様な動作なので、虹彩登録時および虹彩認証時を合わせて説明する。また、本発明の機能を有しておらず一般的な虹彩認証を行う装置を、以降では認証装置1Aと呼ぶ。
(本発明の機能を有していない一般的な虹彩認証の場合)
図5は一般的な虹彩認証の動作の一例を示すフローチャートである。なお、虹彩登録時においても虹彩認証時と同様な動作なので、虹彩登録時および虹彩認証時を合わせて説明する。また、本発明の機能を有しておらず一般的な虹彩認証を行う装置を、以降では認証装置1Aと呼ぶ。
〔ステップS11〕認証装置1Aは、虹彩登録または虹彩認証を開始する。
〔ステップS12〕認証装置1Aは、RGBカメラを起動する。
〔ステップS12〕認証装置1Aは、RGBカメラを起動する。
〔ステップS13〕認証装置1Aは、IR-LEDおよびIRカメラを起動する。
〔ステップS14〕認証装置1Aは、RGBカメラによる撮影画像(RGB画像)をディスプレイにUIフィードバック表示する。
〔ステップS14〕認証装置1Aは、RGBカメラによる撮影画像(RGB画像)をディスプレイにUIフィードバック表示する。
〔ステップS15〕認証装置1Aは、IRカメラによる撮影画像(IR画像)から瞳孔を検知したか否かを判定する。瞳孔を検知した場合はステップS16に処理が進む。瞳孔を検知できない場合は虹彩登録または虹彩認証が失敗となる。
〔ステップS16〕認証装置1Aは、IR画像から虹彩を検知したか否かを判定する。虹彩を検知した場合はステップS17に処理が進む。虹彩を検知できない場合は虹彩登録または虹彩認証が失敗となる。
〔ステップS17〕認証装置1Aは、虹彩特徴点の抽出量が予め設定した閾値を超えたか否かを判定する(虹彩認証に要する虹彩特徴点が十分に抽出できたか否かを判定する)。
閾値を超えた場合は、抽出した虹彩特徴点で虹彩認証が可能であると判定してステップS18に処理が進む。閾値を超えない場合は、抽出した虹彩特徴点では虹彩認証が不可であると判定し、虹彩登録または虹彩認証が失敗となる。
〔ステップS18〕認証装置1Aは、虹彩の登録時には虹彩を登録し、または虹彩の認証時には虹彩認証を実行する。なお、認証装置1Aでは、RGB画像のみのUIフィードバック表示が行われる。
閾値を超えた場合は、抽出した虹彩特徴点で虹彩認証が可能であると判定してステップS18に処理が進む。閾値を超えない場合は、抽出した虹彩特徴点では虹彩認証が不可であると判定し、虹彩登録または虹彩認証が失敗となる。
〔ステップS18〕認証装置1Aは、虹彩の登録時には虹彩を登録し、または虹彩の認証時には虹彩認証を実行する。なお、認証装置1Aでは、RGB画像のみのUIフィードバック表示が行われる。
(本発明の情報処理装置による虹彩認証の場合)
図6は情報処理装置による虹彩認証の動作の一例を示すフローチャートである。虹彩登録時においても虹彩認証時と同様な動作なので、虹彩登録時および虹彩認証時を合わせて説明する。
図6は情報処理装置による虹彩認証の動作の一例を示すフローチャートである。虹彩登録時においても虹彩認証時と同様な動作なので、虹彩登録時および虹彩認証時を合わせて説明する。
〔ステップS21〕制御部10は、虹彩登録または虹彩認証を開始する。
〔ステップS22〕制御部10は、RGBカメラc2を起動する。
〔ステップS22〕制御部10は、RGBカメラc2を起動する。
〔ステップS23〕制御部10は、IR-LED2aおよびIRカメラc1を起動する。
〔ステップS24〕制御部10は、RGBカメラc2による撮影画像(RGB画像)をディスプレイ3にUIフィードバック表示する。
〔ステップS24〕制御部10は、RGBカメラc2による撮影画像(RGB画像)をディスプレイ3にUIフィードバック表示する。
〔ステップS25〕制御部10は、IRカメラc1による撮影画像(IR画像)から瞳孔を検知したか否かを判定する。瞳孔を検知した場合はステップS28に処理が進み、瞳孔を検知できない場合はステップS26の処理に進む。
〔ステップS26〕制御部10は、IR画像にもとづいてユーザが眼鏡を着用しているか否かを判定する。着用されている眼鏡を検知した場合は、ステップS27に処理が進む。眼鏡を検知できない場合は虹彩登録または虹彩認証が失敗となる。
〔ステップS27〕制御部10は、IR画像をディスプレイ3にUIフィードバック表示する。ステップS25の処理に戻る。
〔ステップS28〕制御部10は、IR画像から虹彩を検知したか否かを判定する。虹彩を検知した場合はステップS29に処理が進み、虹彩を検知できない場合はステップS26に処理が戻る。
〔ステップS28〕制御部10は、IR画像から虹彩を検知したか否かを判定する。虹彩を検知した場合はステップS29に処理が進み、虹彩を検知できない場合はステップS26に処理が戻る。
〔ステップS29〕制御部10は、虹彩特徴点の抽出量が予め設定した閾値を超えたか否かを判定する(虹彩登録または虹彩認証に要する虹彩特徴点が十分に抽出できたか否かを判定する)。
閾値を超えた場合は、抽出した虹彩特徴点で虹彩認証が可能であると判定してステップS30に処理が進む。閾値を超えない場合は、ステップS26に処理が戻る。
〔ステップS30〕制御部10は、RGB画像によるUIフィードバック表示を行い、虹彩の登録時には虹彩を登録し、または虹彩の認証時には虹彩認証を実行する。
閾値を超えた場合は、抽出した虹彩特徴点で虹彩認証が可能であると判定してステップS30に処理が進む。閾値を超えない場合は、ステップS26に処理が戻る。
〔ステップS30〕制御部10は、RGB画像によるUIフィードバック表示を行い、虹彩の登録時には虹彩を登録し、または虹彩の認証時には虹彩認証を実行する。
ここで、ステップS25のYES、かつステップS28のYES、かつステップS29のYESの流れは、瞳孔または虹彩の検知状態が良好の場合である。また、これらの処理ステップで1つでもNOの場合は、瞳孔または虹彩の検知状態が良好ではない場合である。
上記のように、情報処理装置1の制御部10では、瞳孔または虹彩の検知状態にもとづいて眼鏡の着用の検知を行う。これにより、眼鏡によって近赤外線発光が反射して生じた光玉が、虹彩検知状態の障害要因になっているか否かを認識することが可能になる。
また、上記のように、制御部10では、以下の[1]から[4]によるUIフィードバック表示を行う。
[1]瞳孔の検知が可、かつ虹彩の検知が可、かつ虹彩の特徴点の抽出量が閾値を超える場合は、ディスプレイ3にRGB画像を表示する。図6においては、ステップS25がYES、かつステップS28がYES、かつステップS29がYESの流れの場合であり、このとき、RGB画像がUIフィードバック表示される。
[1]瞳孔の検知が可、かつ虹彩の検知が可、かつ虹彩の特徴点の抽出量が閾値を超える場合は、ディスプレイ3にRGB画像を表示する。図6においては、ステップS25がYES、かつステップS28がYES、かつステップS29がYESの流れの場合であり、このとき、RGB画像がUIフィードバック表示される。
[2]瞳孔の検知が不可、かつ眼鏡の検知が可の場合は、ディスプレイ3にIR画像を表示する。図6においては、ステップS25がNO、かつステップS26がYESの流れの場合であり、このとき、IR画像がUIフィードバック表示される。
[3]瞳孔の検知が可、かつ虹彩の検知が不可、かつ眼鏡の検知が可の場合は、ディスプレイ3にIR画像を表示する。図6においては、ステップS25がYES、かつステップS28がNO、かつステップS26がYESの流れの場合であり、このとき、IR画像がUIフィードバック表示される。
[4]瞳孔の検知が可、かつ虹彩の検知が可、かつ虹彩の特徴点の抽出量が閾値を超えず、かつ眼鏡の検知が可の場合は、ディスプレイ3にIR画像を表示する。図6においては、ステップS25がYES、かつステップS28がYES、かつステップS29がNO、かつステップS26がYESの流れの場合であり、このとき、IR画像がUIフィードバック表示される。
このような制御により、瞳孔または虹彩が良好に検知されている状態([1]の場合)では、RGBカメラc2によるRGB画像(第1の撮影画像)がディスプレイ3にUIフィードバック表示される。
このため、ユーザは、RGB画像で虹彩の位置合わせを行うことになるので、IRカメラc1で撮影された白黒のIR画像がディスプレイ3に映し出されることに比べて、ユーザの不快感を減少させることができる。
また、瞳孔または虹彩が良好に検知されない状態([2]、[3]、[4]の場合)では、ディスプレイ3にIRカメラc1によるIR画像(第2の撮影画像)がUIフィードバック表示される。
このため、眼鏡着用のユーザは、IR画像を通じて光玉を目視することができる。したがって、光玉の存在をユーザに認識させて、光玉の位置が虹彩から外れるように、ユーザに顔の角度や位置の調整を促すことができるので、光玉によって虹彩認証が不成功になる状態を解消させることが可能になる。
なお、図5に示した認証装置1Aでは、本発明のような機能を有していないため、RGB画像のみのUIフィードバック表示が行われる。このため、眼鏡着用のユーザに対して、光玉が生じて虹彩を隠しているような状態にあっても、光玉の存在をユーザに認識させることができない。よって、瞳孔、虹彩、虹彩特徴点の1つでも十分に検知されない場合は、即時に虹彩認証が失敗してしまう。
これに対し、本発明の情報処理装置1では、瞳孔または虹彩の検知状態に応じてRGB画像からIR画像へのUIフィードバック表示の切り替えを行う。このため、眼鏡着用のユーザに対して、光玉によって虹彩が隠れているような状態が生じている場合に、光玉の位置を虹彩から外れるように、ユーザに位置調整を促すことができる。よって、図5の認証装置1Aと比べて、虹彩認証が不成功になる状態を格段に少なくすることができる。
上記で説明した本発明の情報処理装置1は、コンピュータによって実現することができる。この場合、情報処理装置1が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。
処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記憶部、光ディスク、光磁気記録媒体、半導体メモリ等がある。磁気記憶部には、ハードディスク装置(HDD)、フレキシブルディスク(FD)、磁気テープ等がある。光ディスクには、CD-ROM/RW等がある。光磁気記録媒体には、MO(Magneto Optical disk)等がある。
プログラムを流通させる場合、例えば、そのプログラムが記録されたCD-ROM等の可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶部に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。
プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶部に格納する。そして、コンピュータは、自己の記憶部からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。
また、コンピュータは、ネットワークを介して接続されたサーバコンピュータからプログラムが転送される毎に、逐次、受け取ったプログラムに従った処理を実行することもできる。また、上記の処理機能の少なくとも一部を、DSP、ASIC、PLD等の電子回路で実現することもできる。
以上、実施の形態を例示したが、実施の形態で示した各部の構成は同様の機能を有する他のものに置換することができる。また、他の任意の構成物や工程が付加されてもよい。さらに、前述した実施の形態のうちの任意の2以上の構成(特徴)を組み合わせたものであってもよい。
1 情報処理装置
2 撮影部
2a 近赤外線発光素子(IR-LED)
c1 赤外線カメラ(IRカメラ)
c2 可視光カメラ(RGBカメラ)
3 ディスプレイ
10 制御部
2 撮影部
2a 近赤外線発光素子(IR-LED)
c1 赤外線カメラ(IRカメラ)
c2 可視光カメラ(RGBカメラ)
3 ディスプレイ
10 制御部
Claims (4)
- 赤外線カメラと可視光カメラを含む撮影部と、
ディスプレイと、
虹彩認証を行う場合、前記赤外線カメラに対する虹彩の位置合わせ用に、前記可視光カメラによる第1の撮影画像を前記ディスプレイに表示し、前記赤外線カメラで撮影された瞳孔または前記虹彩の検知状態に応じて、前記ディスプレイの画面表示を前記可視光カメラによる前記第1の撮影画像から前記赤外線カメラによる第2の撮影画像に切り替える制御部と、
を有する情報処理装置。 - 前記制御部は、前記検知状態にもとづいて眼鏡の着用の検知を行う請求項1記載の情報処理装置。
- 前記制御部は、
前記瞳孔の検知が可、かつ前記虹彩の検知が可、かつ前記虹彩の特徴点の抽出量が閾値を超える場合は、前記ディスプレイに前記第1の撮影画像を表示し、
前記瞳孔の検知が不可、かつ前記眼鏡の検知が可の場合は、前記ディスプレイに前記第2の撮影画像を表示し、
前記瞳孔の検知が可、かつ前記虹彩の検知が不可、かつ前記眼鏡の検知が可の場合は、前記ディスプレイに前記第2の撮影画像を表示し、
前記瞳孔の検知が可、かつ前記虹彩の検知が可、かつ前記虹彩の特徴点の抽出量が前記閾値を超えず、かつ前記眼鏡の検知が可の場合は、前記ディスプレイに前記第2の撮影画像を表示する、
請求項2記載の情報処理装置。 - コンピュータに、
虹彩認証を行う場合、
赤外線カメラに対する虹彩の位置合わせ用に、可視光カメラによる第1の撮影画像をディスプレイに表示し、
前記赤外線カメラで撮影された瞳孔または前記虹彩の検知状態に応じて、前記ディスプレイの画面表示を前記可視光カメラによる前記第1の撮影画像から前記赤外線カメラによる第2の撮影画像に切り替える、
処理を実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020178052A JP7096509B2 (ja) | 2020-10-23 | 2020-10-23 | 情報処理装置およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020178052A JP7096509B2 (ja) | 2020-10-23 | 2020-10-23 | 情報処理装置およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022069084A JP2022069084A (ja) | 2022-05-11 |
JP7096509B2 true JP7096509B2 (ja) | 2022-07-06 |
Family
ID=81521567
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020178052A Active JP7096509B2 (ja) | 2020-10-23 | 2020-10-23 | 情報処理装置およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7096509B2 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005296382A (ja) | 2004-04-13 | 2005-10-27 | Honda Motor Co Ltd | 視線検出装置 |
JP2005334402A (ja) | 2004-05-28 | 2005-12-08 | Sanyo Electric Co Ltd | 認証方法および認証装置 |
JP2005334403A (ja) | 2004-05-28 | 2005-12-08 | Sanyo Electric Co Ltd | 認証方法および認証装置 |
JP2017208638A (ja) | 2016-05-17 | 2017-11-24 | レノボ・シンガポール・プライベート・リミテッド | 虹彩認証装置、虹彩認証方法、及びプログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5949389B2 (ja) * | 2012-09-24 | 2016-07-06 | 富士通株式会社 | 検出装置、検出プログラムおよび検出方法 |
JP2017054179A (ja) * | 2015-09-07 | 2017-03-16 | 富士通株式会社 | 生体認証装置 |
-
2020
- 2020-10-23 JP JP2020178052A patent/JP7096509B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005296382A (ja) | 2004-04-13 | 2005-10-27 | Honda Motor Co Ltd | 視線検出装置 |
JP2005334402A (ja) | 2004-05-28 | 2005-12-08 | Sanyo Electric Co Ltd | 認証方法および認証装置 |
JP2005334403A (ja) | 2004-05-28 | 2005-12-08 | Sanyo Electric Co Ltd | 認証方法および認証装置 |
JP2017208638A (ja) | 2016-05-17 | 2017-11-24 | レノボ・シンガポール・プライベート・リミテッド | 虹彩認証装置、虹彩認証方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2022069084A (ja) | 2022-05-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10372751B2 (en) | Visual search in real world using optical see-through head mounted display with augmented reality and user interaction tracking | |
ES2894941T3 (es) | Método de actualización de una interfaz de usuario en un sistema informático | |
US9285872B1 (en) | Using head gesture and eye position to wake a head mounted device | |
WO2017013913A1 (ja) | 視線検出装置、アイウェア端末、視線検出方法及びプログラム | |
US9274599B1 (en) | Input detection | |
WO2014128773A1 (ja) | ジェスチャ登録装置、ジェスチャ登録プログラムおよびジェスチャ登録方法 | |
JP2000132665A (ja) | アイリスパターン入力装置及びアイリスパターン撮影カメラ | |
US20170061647A1 (en) | Biometric Based Authentication for Head-Mountable Displays | |
JP2008146356A (ja) | 視線方向推定装置及び視線方向推定方法 | |
WO2015035823A1 (en) | Image collection with increased accuracy | |
WO2016195066A1 (ja) | 眼球の運動を検出する方法、そのプログラム、そのプログラムの記憶媒体、及び、眼球の運動を検出する装置 | |
JP2017038162A (ja) | 撮像装置及び画像処理方法、プログラム、並びに記憶媒体 | |
US9344615B1 (en) | Discriminating visual recognition program for digital cameras | |
JP2006167256A (ja) | 瞳孔検出装置 | |
Lander et al. | hEYEbrid: A hybrid approach for mobile calibration-free gaze estimation | |
WO2019021601A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US9265415B1 (en) | Input detection | |
JP7096509B2 (ja) | 情報処理装置およびプログラム | |
US20160110883A1 (en) | Expectation Maximization to Determine Position of Ambient Glints | |
KR20220142939A (ko) | 착용가능한 정보 단말기, 그 제어 방법, 및 저장 매체 | |
JP6989025B2 (ja) | 生体認証装置、偽造判別プログラム及び偽造判別方法 | |
US10928894B2 (en) | Eye tracking | |
CN113627263A (zh) | 一种基于人脸检测的曝光方法、装置以及设备 | |
JP7216297B2 (ja) | 情報処理装置およびプログラム | |
TWM514608U (zh) | 具有指紋辨識功能的智能眼鏡 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210305 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220524 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220606 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7096509 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |