JP7226477B2 - 情報処理システム、情報処理方法及び記憶媒体 - Google Patents

Description

本発明は、情報処理システム、情報処理方法及び記憶媒体に関する。

特許文献１には、虹彩画像の特徴をコード化する手段を備えた個人認証システムが開示されている。当該個人認証システムは、あらかじめ登録されている虹彩画像のコードと認証時に取得した虹彩画像のコードとを照合することにより、個人認証を行う。このとき、個人認証システムの表示部には認証結果の通知画面が表示される。

特開２００８－９０４８２号公報

特許文献１に記載の個人認証システムにおいては、認証の可否以外の虹彩照合に関する情報を利用者に通知することについては開示されていない。しかしながら、虹彩照合に関する情報を虹彩の位置と対応付けて利用者に通知することが望まれる場合がある。

本発明は、上述の課題に鑑みてなされたものであって、虹彩照合に関する情報を虹彩の位置と対応付けて表示させることができる情報処理システム、情報処理方法及び記憶媒体を提供することを目的とする。

本発明の一観点によれば、照合対象者の虹彩を含む虹彩画像に基づいて生成された、虹彩照合に関する照合情報を取得する照合情報取得部と、前記照合情報の内容を前記虹彩の位置と対応付けて示す画像を含む表示画像を生成する表示画像生成部と、を備えることを特徴とする情報処理システムが提供される。

本発明の他の観点によれば、照合対象者の虹彩を含む虹彩画像に基づいて生成された、虹彩照合に関する照合情報を取得するステップと、前記照合情報の内容を前記虹彩の位置と対応付けて示す画像を含む表示画像を生成するステップと、を備えることを特徴とする情報処理方法が提供される。

本発明の更に他の観点によれば、コンピュータに、照合対象者の虹彩を含む虹彩画像に基づいて生成された、虹彩照合に関する照合情報を取得するステップと、前記照合情報の内容を前記虹彩の位置と対応付けて示す画像を含む表示画像を生成するステップと、を実行させることを特徴とする情報処理プログラムを記憶した記憶媒体が提供される。

本発明によれば、虹彩照合に関する情報を虹彩の位置と対応付けて表示させることができる情報処理システム、情報処理方法及び記憶媒体を提供することができる。

第１実施形態に係る情報処理システムのハードウェア構成例を示すブロック図である。 第１実施形態に係る情報処理システムの機能ブロック図である。 第１実施形態に係る情報処理システムにより行われる処理の概略を示す模式図である。 第１実施形態に係る情報処理システムにより行われる処理の概略を示すフローチャートである。 第１実施形態に係る情報処理システムによる表示画像の例である。 第１実施形態に係る情報処理システムによる表示画像の例である。 第１実施形態に係る情報処理システムによる表示画像の例である。 第２実施形態に係る情報処理システムによる表示画像の例である。 第２実施形態に係る情報処理システムによる表示画像の例である。 第２実施形態に係る情報処理システムによる表示画像の例である。 第２実施形態に係る情報処理システムによる表示画像の例である。 第３実施形態に係る情報処理システムによる表示画像の例である。 第４実施形態に係る情報処理システムの機能ブロック図である。

以下、図面を参照して、本発明の例示的な実施形態を説明する。図面において同様の要素又は対応する要素には同一の符号を付し、その説明を省略又は簡略化することがある。

［第１実施形態］
図１は、本実施形態に係る情報処理システム１０のハードウェア構成例を示すブロック図である。情報処理システム１０は、例えば、虹彩照合装置であり得る。また、情報処理システム１０は、コンピュータの機能を有する。例えば、情報処理システム１０は、デスクトップＰＣ（Personal Computer）、ラップトップＰＣ、タブレットＰＣ、スマートフォン等と一体に構成されていてもよい。情報処理システム１０は生体照合の一種である虹彩照合の機能を備える。情報処理システム１０は、照合対象者の虹彩を含む画像（虹彩画像）を撮影し、登録されている虹彩画像と照合することにより虹彩照合を行う。瞳孔の開口径を調整する虹彩の模様は万人不同かつ終生不変である。そのため、照合時に取得した虹彩の模様をあらかじめ登録されている虹彩の画像と照合することにより本人確認を行うことが可能である。

情報処理システム１０は、例えば、ＰＣへのログイン時の本人確認、空港・海港・国境における入出国のための本人確認、行政機関における本人確認、工場・事業所への入退場のための本人確認、イベント会場への入場時の本人確認等に適用され得る。

情報処理システム１０は、演算及び記憶を行うコンピュータとしての機能を実現するため、ＣＰＵ（Central Processing Unit）１０１、ＲＡＭ（Random Access Memory）１０２、ＲＯＭ（Read Only Memory）１０３及びＨＤＤ（Hard Disk Drive）１０４を備える。また、情報処理システム１０は、通信Ｉ／Ｆ（インターフェース）１０５、表示装置１０６、入力装置１０７、光照射装置１０８及びカメラ１０９を備える。ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、ＨＤＤ１０４、通信Ｉ／Ｆ１０５、表示装置１０６、入力装置１０７、光照射装置１０８及びカメラ１０９は、バス１１０を介して相互に接続される。なお、表示装置１０６、入力装置１０７、光照射装置１０８及びカメラ１０９は、これらの装置を駆動するための不図示の駆動装置を介してバス１１０に接続されてもよい。

図１では、情報処理システム１０を構成する各部が一体の装置として図示されているが、これらの機能の一部は外付け装置により構成されていてもよい。例えば、表示装置１０６、入力装置１０７、光照射装置１０８及びカメラ１０９は、ＣＰＵ１０１等を含むコンピュータの機能を構成する部分とは別の外付け装置であってもよい。このとき、光照射装置１０８及びカメラ１０９は、情報処理システム１０の外付けの虹彩照合装置の一部であってもよい。この場合、情報処理システム１０は、当該虹彩照合装置で取得された情報を表示するための情報表示装置であり得る。

ＣＰＵ１０１は、ＲＯＭ１０３、ＨＤＤ１０４等に記憶されたプログラムに従って所定の動作を行うとともに、情報処理システム１０の各部を制御する機能をも有する。ＲＡＭ１０２は、揮発性記憶媒体から構成され、ＣＰＵ１０１の動作に必要な一時的なメモリ領域を提供する。ＲＯＭ１０３は、不揮発性記憶媒体から構成され、情報処理システム１０の動作に用いられるプログラム等の必要な情報を記憶する。ＨＤＤ１０４は、不揮発性記憶媒体から構成され、カメラ１０９等で撮影された画像、照合対象の画像、特徴量等の記憶を行う記憶装置である。

通信Ｉ／Ｆ１０５は、Ｗｉ－Ｆｉ（登録商標）、４Ｇ等の規格に基づく通信インターフェースであり、他の装置との通信を行うためのモジュールである。表示装置１０６は、液晶ディスプレイ、ＯＬＥＤ（Organic Light Emitting Diode）ディスプレイ等であって、動画、静止画、文字等の表示に用いられる。入力装置１０７は、ボタン、タッチパネル、キーボード、ポインティングデバイス等であって、利用者が情報処理システム１０を操作するために用いられる。表示装置１０６及び入力装置１０７は、タッチパネルとして一体に形成されていてもよい。

光照射装置１０８は、カメラ１０９による撮影のための光源として用いられる。カメラ１０９は、照合対象者の眼等を光照射装置１０８から射出された光により撮影し、画像を取得することができる。カメラ１０９には、撮影後の画像処理に適するように、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ、ＣＣＤ（Charge Coupled Device）イメージセンサ等を用いたデジタルカメラが用いられ得る。

なお、光照射装置１０８から射出される光は可視光には限られず、赤外光であり得る。この場合、光照射装置１０８は、赤外線ＬＥＤ等の赤外光を発する発光素子を含み得る。更に、カメラ１０９は、赤外線に対して感度を有するように構成された受光素子を含み得る。光照射装置１０８は、赤外線を照合対象者の眼に照射し、虹彩で反射した赤外線をカメラ１０９で撮影することにより、虹彩照合に用いられる虹彩画像を撮影することができる。虹彩画像を赤外線により取得することにより、虹彩の色によらず高コントラストな画像が得られ、かつ角膜による反射の影響を低減することができる。なお、光照射装置１０８から照射される赤外線の波長は、例えば、８００ｎｍ程度の近赤外領域であり得る。しかしながら、これらの影響が問題とならない場合には、光照射装置１０８及びカメラ１０９は可視光用の装置であってもよい。

なお、図１に示されているハードウェア構成は例示であり、これら以外の装置が追加されていてもよく、一部の装置が設けられていなくてもよい。また、一部の装置が同様の機能を有する別の装置に置換されていてもよい。更に、一部の機能がネットワークを介して他の装置により提供されてもよく、本実施形態を構成する機能が複数の装置に分散されて実現されるものであってもよい。例えば、ＨＤＤ１０４は、フラッシュメモリ等の半導体素子を用いたＳＳＤ（Solid State Drive）に置換されていてもよく、クラウドストレージに置換されていてもよい。

図２は、本実施形態に係る情報処理システム１０の機能ブロック図である。情報処理システム１０は、画像取得部１２１、虹彩画像抽出部１２２、座標変換部１２３、ブロック分割部１２４、特徴量算出部１２５、照合部１２６、表示画像生成部１２７、表示部１２８及び記憶部１２９を有する。

ＣＰＵ１０１は、光照射装置１０８及びカメラ１０９を制御することにより、照合対象者の眼の画像を取得する画像取得部１２１の機能を実現する。ＣＰＵ１０１は、ＲＯＭ１０３等に記憶されたプログラムをＲＡＭ１０２にロードして実行することにより、虹彩画像抽出部１２２、座標変換部１２３、ブロック分割部１２４、特徴量算出部１２５、照合部１２６及び表示画像生成部１２７の機能を実現する。これらの各部で行われる処理については後述する。表示部１２８は、表示画像生成部１２７で生成された表示画像を表示する。ＣＰＵ１０１は、表示装置１０６を制御することにより表示部１２８の機能を実現する。記憶部１２９は、画像取得部１２１により取得された眼の画像、あらかじめ登録されている眼の画像、これらから抽出された虹彩画像、虹彩画像から算出された特徴量等のデータ等を記憶する。ＣＰＵ１０１は、ＨＤＤ１０４を制御することにより記憶部１２９の機能を実現する。

図３は、本実施形態に係る情報処理システム１０により行われる処理の概略を示す模式図である。図４は、本実施形態に係る情報処理システム１０により行われる処理の概略を示すフローチャートである。図３を適宜参照しつつ、図４のフローチャートに沿って情報処理システム１０により行われる処理の概略を説明する。

図４のステップＳ１０１において、画像取得部１２１は、照合対象者の眼の画像を取得する。この処理は図３（ａ）に対応する。取得された画像は記憶部１２９に記憶される。典型的には、この画像は赤外線により取得されたものであり、グレースケールの画像である。

図４のステップＳ１０２において、虹彩画像抽出部１２２は、照合対象者の眼の画像の中から、虹彩の領域を判別し、虹彩画像の抽出を行う。この処理は図３（ｂ）及び図３（ｃ）に対応する。

虹彩の領域の判別方法の一例を説明する。虹彩画像抽出部１２２は、眼の画像から、瞳孔を検出して、その位置を特定する。特定された瞳孔の位置は、記憶部１２９に記憶される。瞳孔の形状は、円形として近似することができる。そのため、瞳孔の位置は、例えば、瞳孔の中心座標と半径により表現することができる。なお、瞳孔の領域は、例えば、所定値よりも低い輝度のピクセルを抽出することにより検出することができる。

その後、虹彩画像抽出部１２２は、眼の画像から、虹彩を検出し、虹彩の位置を特定する。特定された虹彩の位置は、記憶部１２９に記憶される。虹彩の形状は、瞳孔を内包する円環形状として近似することができ、そのため、虹彩の位置は、例えば、虹彩の中心座標、外周半径及び内周半径により表現することができる。虹彩の内周半径は、瞳孔の半径に相当するため、虹彩の位置を示す情報から省略してもよい。なお、虹彩は、例えば、虹彩の外周と強膜（いわゆる白目）との境界における輝度変化を抽出することにより検出することができる。

その後、虹彩画像抽出部１２２は、特定された虹彩の部分を切り出すことにより虹彩画像を抽出する。抽出された虹彩画像は記憶部１２９に記憶される。

ステップＳ１０３において、座標変換部１２３は、座標を変換することにより、虹彩画像の変形を行う。この処理は図３（ｄ）及び図３（ｅ）に対応する。座標変換部１２３は、図３（ｄ）及び図３（ｅ）に示されるように、円環状をなしている虹彩画像を長方形に変換する。この処理は、例えば、虹彩画像の座標系をｘｙ平面座標系からｒθ極座標系に変換することにより行われ得る。この座標変換により、虹彩画像の形状が単純化されるので、特徴量算出の処理が簡略化される。

ステップＳ１０４において、ブロック分割部１２４は、長方形に変換された虹彩画像を複数のブロックに分割する。この処理は図３（ｆ）に対応する。分割数は、例えば、横方向に１２８個、縦方向に１６個（すなわち、合計２０４８個）等であり得る。なお、図３（ｆ）では理解を容易にするために、虹彩画像自体を切断して複数個に分割しているように表現されているが、画像を複数個に分けることは必須ではない。ステップＳ１０４の処理は、例えば、虹彩画像の各ブロックの輝度と各ブロックの座標の対応関係を取得するという処理であってもよい。

ステップＳ１０５において、特徴量算出部１２５は、複数のブロックに分割された虹彩画像に対して特徴量を算出する処理を行う。この処理は図３（ｇ）に対応する。以下、特徴量算出の具体的な処理方法の一例を説明する。

特徴量算出部１２５は、各ブロックにおける虹彩画像の輝度を取得する。このとき、あるブロック（以下第１のブロックと呼ぶ）の特徴量のコードは、第１のブロックの右隣のブロック（以下第２のブロックと呼ぶ）との輝度の大小関係により設定される。第１のブロックの輝度から第２のブロックの輝度を減算した差分が第１の閾値よりも大きい場合、第１のブロックの特徴量のコードは「１」となる。第１のブロックの輝度から第２のブロックの輝度を減算した差分が第１の閾値以下であり、第２の閾値よりも大きい場合、第１のブロックの特徴量のコードは「２」となる。第１のブロックの輝度から第２のブロックの輝度を減算した差分が第２の閾値以下である場合、第１のブロックの特徴量のコードは「３」となる。このように、特徴量のコードは、少なくとも３種類の値を有する。なお、上述の例では２種類の閾値により３種類の特徴量のコードを設定しているが、閾値の種類の数は一例であり、適宜設定できる。例えば、閾値の種類が１つ（第１の閾値のみ）の場合には特徴量のコードは「１」又は「２」の２種類となる。また、閾値の種類が３つ以上である場合には、特徴量のコードは「１」、「２」、「３」、「４」、…と４種類以上となる。このように、閾値の種類の数に応じて、特徴量のコードの種類の数も２種類以上のあらゆる数であり得る。

また、第１のブロック又は第２のブロックがまつげ、まぶた等に覆われていて特徴量の算出に用いることができない場合には、輝度の大小関係により設定される特徴量のコードとは別のコードを設定してもよい。一例として、輝度の大小関係により設定される特徴量のコードが「１」、「２」及び「３」の３種類である場合には、特徴量の算出ができないことを示す特徴量のコードを「４」としてもよい。この場合、特徴量のコードは、４種類の値を有する。以下の説明では特徴量のコードは、上述の４種類であるものとする。

図３（ｇ）には、特徴量のコードを各ブロックの位置に図示した特徴量画像が示されている。図３（ｇ）の特徴量画像では、特徴量のコードの値「１」、「２」、「３」、「４」がそれぞれ異なるパターンで表示されている。この表示は、例えば色、明るさ、模様等の画像のパターンをコードの値に応じて変えたものであり得る。抽出された特徴量又は特徴量画像は記憶部１２９に記憶される。

なお、上述の例では、第２のブロックは第１のブロックの右隣という位置関係を例示したが、左隣等であってもよく、より一般的には、第２のブロックは第１のブロックに隣接しているという位置関係であり得る。

ステップＳ１０６において、照合部１２６は、ステップＳ１０５で算出された特徴量と、あらかじめ登録されている特徴量とを照合する処理を行う。この処理では、ステップＳ１０５で算出された特徴量とあらかじめ登録されている特徴量とを比較して、一致する領域（一致領域）、一致しない領域（不一致領域）、照合ができない領域（照合不能領域）を判定する。例えば、比較対象のコードがいずれも「１」又は「３」である領域は、一致領域であると判定され得る。比較対象のコードの一方が「１」であり、他方が「３」である領域は、不一致領域であると判定され得る。比較対象のコードのうちのいずれかが「４」である領域は照合に用いることができないため照合不能領域と判定され得る。一致領域及び不一致領域の大きさ等から算出される一致度のスコアが所定の閾値を超えている場合に比較対象である２つの特徴量に対応する２つの虹彩画像は同一人物のものであると判定される。照合結果並びに一致領域、不一致領域及び照合不能領域の情報は、記憶部１２９に記憶される。なお、特徴量、一致領域、不一致領域及び照合不能領域の情報は、より一般的に虹彩照合に関する照合情報と呼ばれることもある。

ステップＳ１０７において、座標変換部１２３は、座標を変換することにより、特徴量画像の変形を行う。この処理は図３（ｈ）に対応する。座標変換部１２３は、長方形をなしている特徴量画像を円環状に変換する。この処理は、例えば、特徴量画像の座標系をｒθ極座標系からｘｙ平面座標系に変換することにより行われ得る。この座標変換により、各ブロックのコードの値を示す画像が、各コードを生成した虹彩の位置と対応するように円環状に配列された特徴量画像が得られる。変換後の特徴量画像は記憶部１２９に記憶される。

ステップＳ１０８において、表示画像生成部１２７は、円環状に変換された特徴量画像をステップＳ１０１で取得された照合対象者の眼の画像と重畳させたものを含む表示画像を生成する。この処理は図３（ｉ）に対応する。生成された表示画像は記憶部１２９に記憶される。なお、眼の画像は、図３（ｉ）に示されるような虹彩認証用に取得された照合対象者の眼の写真であり得るが、これに限られるものではなく、例えば他人の眼の画像であってもよく、眼の絵であってもよい。

ステップＳ１０９において、表示部１２８は、表示画像を記憶部１２９から読み出して表示する。以下では、表示部１２８に表示される表示画像についてより詳細に説明する。

図５は、表示部１２８に表示される表示画像の例である。表示画像内には、（Probe Image）のキャプションが付された表示領域３０１と（Gallery Image）のキャプションが付された表示領域３０２とが左右に並ぶように表示されている。表示領域３０１は、照合時に取得された眼の画像及びその特徴量を表示する領域である。表示領域３０１には、ステップＳ１０８において生成された画像が表示されている。表示領域３０２は、あらかじめ登録されている眼の画像及びその特徴量を表示する領域である。

表示領域３０２の下方には、表示領域３０３が表示されている。表示領域３０３の中には、照合における一致度（Score）と、虹彩画像の角度補正値（Angle）と、照合結果とが表示されている。図５に示されているように、本例では、一致度の値は２９６７である。この値は、所定の判定閾値よりも大きいため、２つの眼の画像が同一人物のものであることを示している。そのため、表示領域３０３の中には、照合結果として一致（Hit!）が表示されている。なお、照合結果が不一致である場合には、表示領域３０３にはHit!に代えてNoHitが表示される。一致度を確認することで、情報処理システム１０の利用者は虹彩照合の信頼度を確認することができる。情報処理システム１０は、虹彩画像の取得時に顔が傾いていた場合にこの傾きを補正するために虹彩画像を回転させる機能を有する。虹彩画像の角度補正値は、この回転を行った場合の角度補正値を示している。図５に示されているように、本例では、虹彩画像の角度補正値は、０度である。

表示領域３０１の下方には、表示領域３０４が表示されている。表示領域３０４には、ファイル名（File name）及び特徴量の抽出品質（Quality）が表示されている。ファイル名とは、例えば、虹彩画像のファイル名、虹彩画像から変換された特徴量のファイル名又は虹彩画像と特徴量とのセットのファイル名であり得る。特徴量の抽出品質は、例えば、照合不能領域以外の領域の広さ等、虹彩照合の精度の観点で定められた基準に基づき算出された特徴量の品質を示す評価値である。この評価値を確認することで、情報処理システム１０の利用者は適切に特徴量の変換が行われているかどうかを確認することができる。また、表示領域３０３の下方には、表示領域３０５が表示されている。表示領域３０４と表示領域３０５とは、左右に並ぶように表示されている。表示領域３０５の内容は表示領域３０４と同様であるため説明を省略する。

表示領域３０４の下方には、表示領域３０６が表示されている。表示領域３０６には、照合時に取得された眼の画像の特徴量が表示されている。表示領域３０６に表示される特徴量は、表示領域３０１に表示される特徴量とは異なり、座標変換を行う前の長方形の特徴量である。また、表示領域３０５の下方には、表示領域３０７が表示されている。表示領域３０７には、あらかじめ登録されている眼の画像の特徴量が表示されている。表示領域３０６と表示領域３０７とは、左右に並ぶように表示されている。また、図５に示されているように、表示領域３０６、３０７には、それぞれ、（Template）のキャプションが付されている。

表示画像の左方には、照合時に取得された眼の画像（Probe Image）に対応する情報が縦に並べられて表示されており、表示画像の右方には、あらかじめ登録されている眼の画像（Gallery Image）に対応する情報が縦に並べられて表示されている。そのため、情報処理システム１０の利用者は、一目で虹彩照合に関する情報を把握することができる。

図６は、同一人物の虹彩画像を照合した場合の表示領域３０１、３０２の表示例である。表示領域３０１、３０２に示されている特徴量は、異なるタイミングで撮影されたものであるため、完全には一致していない。例えば、まつげの影響により照合不能領域の範囲が異なっている。しかしながら、図中の破線で囲まれた円の内側に着目すると、表示領域３０１、３０２に示されている特徴量のパターンが概ね一致していることがわかる。

図７は、異なる人物の虹彩画像を照合した場合の表示領域３０１、３０２の表示例である。図中の破線で囲まれた円内に着目すると、表示領域３０１、３０２に示されている特徴量のパターンが異なっていることがわかる。

このように、情報処理システム１０は、特徴量画像を照合対象者の虹彩の位置と対応付けて表示させることができる。そのため、情報処理システム１０の利用者は、照合結果の情報だけでなく、情報処理システム１０の利用者は、具体的にどの位置でどの程度特徴量が一致しているのかを知ることができる。これにより、利用者は、虹彩の位置ごとに、特徴量の一致領域、不一致領域、照合不能領域に関する情報を更に知ることができる。

情報処理システム１０の利用者がこれらの情報を得ることの利点について説明する。上述のように、虹彩画像から特徴量を抽出する際には、処理の効率化等の目的で形状の変形が行われることが多い。このような場合には、仮に得られた特徴量そのものを表示したとしても、特徴量と虹彩の位置との対応関係がわからない場合があるため、利用者にとってあまり有用でない場合がある。これに対し本実施形態の情報処理システム１０は、特徴量画像を円環状に変形してから照合対象者の虹彩の位置と対応付けて表示させるため、利用者は、特徴量と虹彩の位置との対応関係を明確に把握することができる。

利用者が、特徴量と虹彩の位置との対応関係を把握することが望ましい場面について、いくつか例を挙げて説明する。照合対象者のまつげ、髪の毛、まぶた等が虹彩にかかっていると照合結果が正確に得られない場合がある。このとき、照合結果のみから照合結果が正確に得られない原因が何であるかを把握することは必ずしも容易ではない。まつげ、髪の毛、まぶた等が虹彩にかかっている場合には、通常は虹彩の上側に不一致領域又は照合不能領域が集中する。このように、照合結果が正確に得られていないときには、不一致領域又は照合不能領域の位置に特徴が現れる場合が多い。そこで、利用者は、情報処理システム１０から、どの場所に不一致領域又は照合不能領域があるかを把握することにより、照合結果が正しいかどうかを判断することができる。

別の例を説明する。虹彩照合装置により自動的に行われた本人確認が常に確実なものであるとは限らない。そこで、本人確認を慎重に行う必要のある場面では、情報処理システム１０による自動的な照合に加えて、一致箇所等の照合内容を人間が最終確認する場合がある。そのため、特徴量を視覚的に確認する機能が要望されることがある。このような場合には、照合に用いられる長方形の特徴量を表示させたとしても、これを見た人間が虹彩のどの場所の模様が一致しているかを把握して照合内容の最終確認を行うことは容易ではない。しかしながら本実施形態の情報処理システム１０は、特徴量画像を虹彩の形状に合わせた円環状に変形しているので、虹彩のどの場所の模様が一致しているのかを容易に把握することができる。

以上のように、本実施形態によれば、虹彩照合に関する情報をより詳細に表示させることができる情報処理システム、情報処理方法及び情報処理プログラムを提供することができる。

なお、本実施形態の表示画像の生成方法は特徴量の抽出方法によらず用いられ得る。しかしながら、ガボールフィルタ（Gabor Filter）等の畳み込みを伴う手法が用いられた場合には、得られる特徴量のコードの座標と画像のピクセルの座標との対応関係が一部失われることがある。これに対し、上述のステップＳ１０５の手法は、畳み込みを行わないため、特徴量と虹彩の位置の対応関係を失われにくくすることができる。

表示領域３０１、３０２に表示される眼の画像は実際に撮影された画像を拡大又は縮小したものであってもよい。これにより、照合時に取得された眼の画像と登録時に取得された眼の画像の大きさが異なる場合にも大きさを揃えて表示させることができる。このとき、虹彩の大きさが略同一となるように拡大又は縮小の倍率を設定することで見かけ上の目の画像の大きさを近づけることができる。

図３（ｉ）及びステップＳ１０８の説明で述べたように、特徴量を眼の画像に重畳させることにより特徴量と虹彩との位置の対応関係を利用者にわかりやすくすることが可能であるが、これは必須ではない。照合情報の内容を前記虹彩の位置との対応関係がわかるような態様に変形した表示がなされていれば、本実施形態の態様はこれに限定されるものではない。例えば、図３（ｈ）に示されているような円環状に変形された特徴量画像を眼の画像に重畳させずにそのまま表示部１２８に表示させるように本実施形態の構成を変形してもよい。この場合、処理を簡略化することができる。

［第２実施形態］
表示画像の別の表示例について図８乃至図１１を参照して第２実施形態として説明する。表示部１２８に表示される画面以外の要素については第１実施形態と同様であるため説明を省略する。また、表示画面の構成についても第１実施形態と重複する部分について説明を省略する。

図８は、同一人物の虹彩画像を照合した場合の表示画像の表示例である。本実施形態と第１実施形態との相違点は、特徴量に代えて特徴量の一致領域Ｒ１及び不一致領域Ｒ２が表示領域３０１、３０２、３０６、３０７に表示されている点である。一致領域Ｒ１及び不一致領域Ｒ２の表示は、例えば、異なる色で着色することにより表示され得る。図８の表示領域３０６、３０７を参照しても虹彩のどの部分が一致しているのかが容易に把握できない。しかしながら、表示領域３０１、３０２の一致領域Ｒ１の分布を参照することにより、虹彩の下半分が概ね一致していることが容易に理解される。虹彩の上半分においては不一致領域Ｒ２が多くなっているが、その要因は上まぶた及びまつげが虹彩にかかっていることが原因であることが、表示領域３０１、３０２の眼の写真から理解される。

なお、表示領域３０３に示されているように一致度（Score）の値は、３２６５であり、上述の不一致の場合と比較して大きな値となっている。また、照合結果として一致（Hit!）が表示されている。これらにより、利用者は、情報処理システム１０による照合結果が同一人物であることを示していることを把握することができる。

図９は、異なる人物の虹彩画像を照合した場合の表示画像の表示例である。虹彩のほぼ全域が不一致領域Ｒ２となっており、一致領域Ｒ１がほとんどない。そのため、利用者は、２つの虹彩画像は実際に別の人物のものであると把握することができる。

なお、表示領域３０３に示されているように一致度（Score）の値は、０であり、不一致を示す値となっている。また、照合結果として不一致（NoHit）が表示されている。これらにより、利用者は、情報処理システム１０による照合結果が不一致であることを把握することができる。

以上のように、本実施形態においても、虹彩照合に関する情報をより詳細に表示させることができる情報処理システム、情報処理方法及び情報処理プログラムを提供することができる。また、一致領域Ｒ１及び不一致領域Ｒ２を特徴量の形式ではなく直接的に表示させることにより、利用者は、第１実施形態の場合よりも更に直感的に照合情報を把握することができる。

本実施形態において、照合不能領域を更に一致領域Ｒ１及び不一致領域Ｒ２と区別して表示してもよい。この場合、一致領域Ｒ１、不一致領域Ｒ２及び照合不能領域は、それぞれ異なる色で着色する事により表示され得る。これにより、利用者は更に照合不能領域についての情報を得ることができる。あるいは、一致領域Ｒ１、不一致領域Ｒ２及び照合不能領域のいずれか２つが同じ色であってもよい。この場合にもある領域とそれ以外の領域を区別して表示することができる。

また、図１０に示されるように、不一致領域Ｒ２及び照合不能領域の表示を省略して、一致領域Ｒ１のみを着色して表示させるように本実施形態の構成を変形してもよい。更に、図１１に示されるように、一致領域Ｒ１及び照合不能領域の表示を省略して、不一致領域Ｒ２のみを着色して表示させるように本実施形態の構成を変形してもよい。このように、本実施形態の表示手法は、一致領域、不一致領域及び照合不能領域の少なくとも１つについて、眼の画像を所定の色で着色することにより示すというものであり得る。

また、第１実施形態で述べた特徴量の表示の上に重ねて一致領域Ｒ１及び不一致領域Ｒ２を表示してもよい。この場合、一致領域Ｒ１及び不一致領域Ｒ２は半透明の着色領域として表示され得る。これにより、利用者は特徴量の情報と一致領域Ｒ１及び不一致領域Ｒ２の情報との両方を得ることができる。

図８乃至図１１に示されるように、一致領域Ｒ１、不一致領域Ｒ２又は照合不能領域を眼の画像に重畳させることにより特徴量と虹彩との位置の対応関係を利用者にわかりやすくすることが可能であるが、これは必須ではない。照合情報の内容を前記虹彩の位置との対応関係がわかるような態様に変形した表示がなされていれば、本実施形態の態様はこれに限定されるものではない。例えば、一致領域Ｒ１、不一致領域Ｒ２又は照合不能領域を円環状に配置した画像を眼の画像に重畳させずにそのまま表示部１２８に表示させるように本実施形態の構成を変形してもよい。このとき、表示部１２８に表示される領域は、一致領域Ｒ１、不一致領域Ｒ２又は照合不能領域の少なくとも１つであり得る。この場合、処理を簡略化することができる。

なお、一致領域Ｒ１、不一致領域Ｒ２及び照合不能領域の決定は、第１実施形態のステップＳ１０６の説明で述べた照合部１２６の処理と同様にしてなされ得る。すなわち、比較対象のコードがいずれも「１」であるブロック及びいずれも「３」であるブロックをまとめた領域が一致領域Ｒ１として設定されうる。比較対象のコードの一方が「１」であり、他方が「３」であるブロックをまとめた領域が不一致領域Ｒ２として設定されうる。比較対象のコードのうちのいずれかが「４」であるブロックをまとめた領域が照合不能領域と判定され得る。

［第３実施形態］
表示画像の別の表示例について図１２を参照して第３実施形態として説明する。表示部１２８に表示される画面以外の要素については第１実施形態又は第２実施形態と同様であるため説明を省略する。また、表示画面の構成についても第１実施形態又は第２実施形態と重複する部分について説明を省略する。図１２は、同一人物の虹彩画像を照合した場合の表示画像の表示例である。

図１２は、同一人物の虹彩画像を照合した場合の表示画像の表示例である。本実施形態と第２実施形態との相違点は、眼の角度を示す角度表示線Ｌ１が表示されている点である。虹彩照合のための眼の画像の撮影は、必ずしも理想的な撮影環境で行われるとは限らない。そのため、表示領域３０１に示されているように傾いた画像が撮影される場合がある。情報処理システム１０は、このような場合の角度補正機能を有しており、傾きを考慮して照合を行う。表示領域３０３には、虹彩画像の角度補正値（Angle）が、－１４度である旨が表示されている。一方、表示画像の確認を行う利用者にとっては、眼の画像が傾いていることが認識できず虹彩画像が別人のものに見えるおそれがある。そのため、本実施形態では、眼の角度を示す角度表示線Ｌ１を表示させることで、虹彩画像が傾いていることを利用者が認識できるようにしている。また、このとき表示領域３０１（Probe image）と表示領域３０２（Gallery image）に表示される画像の少なくとも一方は、その角度の差を低減させるように回転されていてもよい。具体的には、表示領域３０１、３０２に表示される眼の画像の少なくとも一方は、角度表示線Ｌ１の位置が合致するように回転した状態で表示され得る。角度を近づけた画像を表示させることにより、撮影された虹彩画像が傾いていた場合であっても、利用者は、虹彩画像が同一人物のものであるか否かをより直感的に理解できる。

以上のように、本実施形態においても、虹彩照合に関する情報をより詳細に表示させることができる情報処理システム、情報処理方法及び情報処理プログラムを提供することができる。また、角度表示線Ｌ１を表示させることにより、利用者は、虹彩画像の傾きを正しく把握することができる。

上述の実施形態において説明した情報処理システムは以下の第４実施形態のようにも構成することもできる。

［第４実施形態］
図１３は、第４実施形態に係る情報処理システム５０の機能ブロック図である。情報処理システム５０は、照合情報取得部５２０及び表示画像生成部５２７を備える。照合情報取得部５２０は、照合対象者の虹彩を含む虹彩画像に基づいて生成された、虹彩照合に関する照合情報を取得する。表示画像生成部５２７は、照合情報の内容を示す照合情報画像を虹彩の位置と対応付けて表示装置に表示させるための表示画像を生成する。

本実施形態によれば、虹彩照合に関する情報をより詳細に表示させることができる情報処理システムを提供することができる。

［変形実施形態］
本発明は、上述の実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において適宜変更可能である。

上述の各実施形態において、虹彩照合に用いられる画像の取得は、認証対象者の片目に対して行ってもよく、両目に対して行ってもよい。片目の画像のみを取得する場合、処理速度の向上、記憶容量の削減の効果があり、両目の画像を取得する場合、認証精度が向上する効果がある。

上述の各実施形態では、虹彩照合に用いられる情報処理システムが例示されているが、実施形態の構成を適宜変更することにより、本発明は、虹彩照合以外の生体照合への適用も可能である。例えば、本発明は、手のひら、指等の静脈の模様を照合して本人確認を行う静脈照合にも適用可能である。手のひらの静脈照合の場合には、照合情報の内容を手のひらの画像に重畳させて表示させることにより、虹彩照合の場合と同様の表示が可能である。また、本発明は、声の周波数特性の特徴を示す声紋を照合して本人確認を行う声照合にも適用可能である。この場合には、照合情報の内容を声紋の画像に重畳させて表示させることにより、虹彩照合の場合と同様の表示が可能である。

上述の実施形態の機能を実現するように該実施形態の構成を動作させるプログラムを記憶媒体に記録させ、記憶媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記憶媒体も各実施形態の範囲に含まれる。また、上述のプログラムが記録された記憶媒体だけでなく、そのプログラム自体も各実施形態に含まれる。また、上述の実施形態に含まれる１又は２以上の構成要素は、各構成要素の機能を実現するように構成されたＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等の回路であってもよい。

該記憶媒体としては例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ（Compact Disk）－ＲＯＭ、磁気テープ、不揮発性メモリカード、ＲＯＭを用いることができる。また該記憶媒体に記録されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、ＯＳ（Operating System）上で動作して処理を実行するものも各実施形態の範疇に含まれる。

上述の各実施形態の機能により実現されるサービスは、ＳａａＳ（Software as a Service）の形態でユーザに対して提供することもできる。

なお、上述の実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

上述の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
照合対象者の虹彩を含む虹彩画像に基づいて生成された、虹彩照合に関する照合情報を取得する照合情報取得部と、
前記照合情報の内容を前記虹彩の位置と対応付けて示す画像を含む表示画像を生成する表示画像生成部と、
を備えることを特徴とする情報処理システム。

（付記２）
前記表示画像は、前記照合情報の内容を眼の画像に重畳させた画像を含む
ことを特徴とする付記１に記載の情報処理システム。

（付記３）
前記表示画像は、前記照合情報の内容を前記虹彩照合に用いられた前記照合対象者の眼の写真に重畳させた画像を含む
ことを特徴とする付記１又は２に記載の情報処理システム。

（付記４）
前記表示画像は、前記照合情報の内容を前記虹彩の形状に配置させることで虹彩の位置と対応付けて示す画像を含む
ことを特徴とする付記１乃至３のいずれか１項に記載の情報処理システム。

（付記５）
前記表示画像は、前記虹彩画像から抽出された特徴量を示す画像を含む
ことを特徴とする付記１乃至４のいずれか１項に記載の情報処理システム。

（付記６）
前記特徴量は、前記虹彩の位置と対応付けられた複数のブロックを含み、
前記複数のブロックの各々には、前記虹彩画像から抽出されたコードが設定されている
ことを特徴とする付記５に記載の情報処理システム。

（付記７）
前記コードは、少なくとも３種類の値の中から選ばれた１つの値を有する
ことを特徴とする付記６に記載の情報処理システム。

（付記８）
前記コードは、前記虹彩画像の輝度に基づいて抽出される
ことを特徴とする付記６又は７に記載の情報処理システム。

（付記９）
前記複数のブロックは、第１のブロックと、前記第１のブロックに隣接する第２のブロックとを含み、
前記第１のブロックにおける前記コードは、前記第１のブロックに対応する前記虹彩画像の輝度と、前記第２のブロックに対応する前記虹彩画像の輝度との差に基づく値を有する
ことを特徴とする付記６乃至８のいずれか１項に記載の情報処理システム。

（付記１０）
前記第１のブロックにおける前記コードは、前記第１のブロックに対応する前記虹彩画像の輝度と、前記第２のブロックに対応する前記虹彩画像の輝度との差及び所定の閾値に基づく値を有する
ことを特徴とする付記９に記載の情報処理システム。

（付記１１）
前記コードに基づいて、前記虹彩照合における一致領域、不一致領域及び照合不能領域の少なくとも１つが決定される
ことを特徴とする付記６乃至１０のいずれか１項に記載の情報処理システム。

（付記１２）
前記表示画像は、前記コードの値を示す画像を前記虹彩の位置と対応するように円環状に配列させた画像を含む
ことを特徴とする付記６乃至１１のいずれか１項に記載の情報処理システム。

（付記１３）
前記表示画像は、前記特徴量の抽出品質を示す情報の表示を含む
ことを特徴とする付記５乃至１２のいずれか１項に記載の情報処理システム。

（付記１４）
前記表示画像は、前記虹彩照合における一致領域、不一致領域及び照合不能領域の少なくとも１つを示す画像を含む
ことを特徴とする付記１乃至１３のいずれか１項に記載の情報処理システム。

（付記１５）
前記一致領域、前記不一致領域及び前記照合不能領域の少なくとも１つは、眼の画像を所定の色で着色することにより示されている
ことを特徴とする付記１４に記載の情報処理システム。

（付記１６）
前記表示画像は、前記虹彩照合において照合される２つの前記虹彩画像にそれぞれ対応する２つの前記照合情報の内容を示す画像を含む
ことを特徴とする付記１乃至１５のいずれか１項に記載の情報処理システム。

（付記１７）
２つの前記照合情報の内容のうちの少なくとも一方は、２つの前記虹彩画像の角度の差を低減させるように回転されている
ことを特徴とする付記１６に記載の情報処理システム。

（付記１８）
前記表示画像は、前記虹彩照合の一致度を示す情報の表示を含む
ことを特徴とする付記１乃至１７のいずれか１項に記載の情報処理システム。

（付記１９）
前記表示画像は、前記虹彩画像の角度を示す情報の表示を含む
ことを特徴とする付記１乃至１８のいずれか１項に記載の情報処理システム。

（付記２０）
前記表示画像は、前記虹彩画像の角度を示す画像を眼の画像に重畳させた画像を含む
ことを特徴とする付記１乃至１９のいずれか１項に記載の情報処理システム。

（付記２１）
前記虹彩照合を実行して、前記照合情報を生成する照合部を更に備える
ことを特徴とする付記１乃至２０のいずれか１項に記載の情報処理システム。

（付記２２）
前記表示画像を表示する表示部を更に備える
ことを特徴とする付記１乃至２１のいずれか１項に記載の情報処理システム。

（付記２３）
照合対象者の虹彩を含む虹彩画像に基づいて生成された、虹彩照合に関する照合情報を取得するステップと、
前記照合情報の内容を前記虹彩の位置と対応付けて示す画像を含む表示画像を生成するステップと、
を備えることを特徴とする情報処理方法。

（付記２４）
コンピュータに、
照合対象者の虹彩を含む虹彩画像に基づいて生成された、虹彩照合に関する照合情報を取得するステップと、
前記照合情報の内容を前記虹彩の位置と対応付けて示す画像を含む表示画像を生成するステップと、
を実行させることを特徴とする情報処理プログラムが記憶された記憶媒体。

この出願は、２０１７年１１月２９日に出願された日本出願特願２０１７－２２８７５９を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１０、５０ 情報処理システム
１０１ ＣＰＵ
１０２ ＲＡＭ
１０３ ＲＯＭ
１０４ ＨＤＤ
１０５ 通信Ｉ／Ｆ
１０６ 表示装置
１０７ 入力装置
１０８ 光照射装置
１０９ カメラ
１１０ バス
１２１ 画像取得部
１２２ 虹彩画像抽出部
１２３ 座標変換部
１２４ ブロック分割部
１２５ 特徴量算出部
１２６ 照合部
１２７、５２７ 表示画像生成部
１２８ 表示部
１２９ 記憶部
３０１－３０７ 表示領域
５２０ 照合情報取得部
Ｌ１ 角度表示線
Ｒ１ 一致領域
Ｒ２ 不一致領域

Claims (10)

1. 命令を記憶するように構成されたメモリと、
   前記命令を実行することにより、
   虹彩画像から抽出される虹彩の特徴量情報を取得し、
   前記特徴量情報を用いて照合し、
   前記照合に用いられた特徴量情報を前記虹彩画像に対応付けた画像を生成し、
   前記画像を表示するよう出力し、
   前記特徴量情報を示す特徴量画像の座標を変換することにより、長方形をなしている特徴量画像を円環状に変換し、
   前記円環状の特徴量画像を前記虹彩画像に重畳表示した画像を生成する、
   ように構成されたプロセッサと、
   を備えることを特徴とする情報処理装置。
2. 前記プロセッサは、
   前記特徴量情報を前記虹彩画像の虹彩領域に重畳表示した画像を生成し、
   前記重畳表示された画像を表示するよう出力する、
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記プロセッサは、
   前記虹彩画像に基づく虹彩照合における一致領域、不一致領域、及び照合不能領域のそれぞれを区別して表示するよう出力する、
   ことを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記プロセッサは、
   前記一致領域、前記不一致領域、及び前記照合不能領域のそれぞれが前記特徴量情報と重畳表示された画像を表示するよう出力する、
   ことを特徴とする請求項３に記載の情報処理装置。
5. 前記一致領域、前記不一致領域及び前記照合不能領域の少なくとも１つは、前記虹彩画像を所定の色で着色することにより示されている
   ことを特徴とする請求項３又は４に記載の情報処理装置。
6. 前記プロセッサは、
   前記虹彩画像は、第１の虹彩画像及び第２の虹彩画像を含む複数の虹彩画像であり、
   前記第１の虹彩画像から抽出された第１の特徴量情報を前記第１の虹彩画像に対応付けた第１の画像と、前記第２の虹彩画像から抽出された第２の特徴量情報を前記第２の虹彩画像に対応付けた第２の画像と、を生成し、
   前記第１の画像と前記第２の画像とを表示するよう出力する、
   ことを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 前記プロセッサは、
   前記第１の画像と第２の画像とを並べて表示するよう出力する、
   ことを特徴とする請求項６に記載の情報処理装置。
8. コンピュータが、虹彩画像から抽出される虹彩の特徴量情報を取得するステップと、
   前記コンピュータが、前記特徴量情報を用いて照合するステップと、
   前記コンピュータが、前記照合に用いられた特徴量情報を前記虹彩画像に対応付けた画像を生成するステップと、
   前記コンピュータが、前記画像を表示するよう出力するステップと、
   前記コンピュータが、前記特徴量情報を示す特徴量画像の座標を変換することにより、長方形をなしている特徴量画像を円環状に変換するステップと、
   前記コンピュータが、前記円環状の特徴量画像を前記虹彩画像に重畳表示した画像を生成するステップと、
   を備えることを特徴とする情報処理方法。
9. コンピュータに、
   虹彩画像から抽出される虹彩の特徴量情報を取得するステップと、
   前記特徴量を用いて照合するステップと、
   前記照合に用いられた特徴量情報を前記虹彩画像に対応付けた画像を生成するステップと、
   前記画像を表示するよう出力するステップと、
   前記特徴量情報を示す特徴量画像の座標を変換することにより、長方形をなしている特徴量画像を円環状に変換するステップと、
   前記円環状の特徴量画像を前記虹彩画像に重畳表示した画像を生成するステップと、
   を実行させることを特徴とする情報処理プログラム。
10. 前記プロセッサは、
    前記特徴量画像の座標系をｒθ極座標系からｘｙ平面座標系に変換することにより、長方形をなしている特徴量画像を円環状に変換する、
    ことを特徴とする請求項１に記載の情報処理装置。

Images