JP4645887B2 - 画像処理装置及び画像処理方法並びにプログラム - Google Patents

Description

本発明は、画像処理装置及び画像処理方法並びにプログラムに関し、例えば生体固有の血管を対象として認証する認証装置に適用して好適なものである。

従来、この種の認証装置においては、血管に内在する脱酸素化ヘモグロビン（静脈血）又は酸素化ヘモグロビン（動脈血）に近赤外線帯域の光が特異的に吸収されることを利用して登録者の血管を撮像し、この撮像結果として得られる血管画像（以下、これを登録血管画像と呼ぶ）に対して所定の処理を施して、登録血管画像に基づくデータ（以下、これを登録血管画像データと呼ぶ）を生成し、これを認証対象として所定のデータベースに登録する。

また認証装置は、かかる認証対象と照合する照合者の血管を任意のタイミングで撮像し、この撮像結果として得られる血管画像（以下、これを照合者血管画像と呼ぶ）に対して所定の処理を施して、照合者血管画像に基づくデータ（以下、これを照合者血管画像データと呼ぶ）を生成し、当該照合者血管画像データと、このときデータベースに登録された登録血管画像データと照合するようにして、本人(登録者)の有無を判定するようになされている（例えば非特許文献１参照）。
特願２００３−２４２４９２

ところで、このような認証装置において、例えば登録血管画像を認証対象として所定のデータベースに登録する場合には、登録血管画像に対して所定の処理を施して、登録血管画像データを生成するに際し、より登録血管画像のデータ量を削減することができれば、登録血管画像に対する処理を高速化することができるため、処理効率を向上することができるものと考えられる。

一方、このような認証装置において、照合者血管画像に対して登録血管画像と照合するような場合には、照合者血管画像データ及び登録血管画像データの照合するに際し、より照合者血管画像データ及び登録血管画像データのデータ量を削減することができれば、上述の場合と同様に、照合者血管画像データ及び登録血管画像データの照合処理を高速化することができるため、処理効率を向上することができるものと考えられる。

他方、このような認証装置において、照合者血管画像に対して複数の登録血管画像と順次照合するような場合には、図１３に示すように、撮像処理に基づく照合者血管画像データＣＢ及びデータベース（図示せず）から読み出した複数の登録血管画像データＲＢをキャッシュメモリＣＭ内に格納し、当該照合者血管画像データＣＢに対応する登録血管画像データＲＢが検出されるまで複数の登録血管画像データＲＢを順次照合するようになされている。

しかしながら、認証装置は、例えばキャッシュメモリＣＭの記憶領域が小さいときには、図１３のように撮像処理に基づく照合者血管画像データＣＢとデータベース（図示せず）から読み出した登録血管画像データＲＢ１とをキャッシュメモリＣＭにおいて照合し、当該登録血管画像データＲＢ１が照合者血管画像データＣＢに対応しないときは、登録血管画像データＲＢ１をキャッシュメモリＣＭから消去する。

そして、認証装置は、新たにデータベース（図示せず）から読み出した登録血管画像データＲＢ２と照合者血管画像データＣＢをキャッシュメモリＣＭにおいて照合し、当該登録血管画像データＲＢ２が照合者血管画像データＣＢに対応しないときは、登録血管画像データＲＢ２をキャッシュメモリＣＭから消去し、この後照合者血管画像データＣＢに対応する登録血管画像データＲＢが検出されるまで上述と同様の処理を繰り返す。

このため、認証装置は、登録血管画像データＲＢの消去処理やデータベース（図示せず）からの新たな登録血管画像データＲＢの読み出し処理等によって、照合者血管画像データＣＢ及び登録血管画像データＲＢを照合する処理時間が増大し、処理効率が低下するという問題があった。また、このような登録血管画像データＲＢが数多く登録されている場合には、この照合処理の遅延は増大し、処理効率はさらに低下することとなる。

本発明は以上の点を考慮してなされたもので、処理効率を向上し得る画像処理装置及び画像処理方法並びにプログラムを提案するものである。

かかる課題を解決するために本発明においては、認証対象を撮像することにより得られる生体固有となる血管に基づく画像データをスパース行列変換することにより、非ゼロ要素となる血管線の画素の輝度及び位置を表すスパース行列データに変換する変換手段と、スパース行列データを一時的に保持するワークメモリと、ワークメモリに保持されたスパース行列データにより示される血管線から特徴的な要素となる分岐点及び屈曲点である特徴点を抽出する特徴点抽出手段と、複数の特徴点同士が血管線に近似するよう連結される特徴点の連結状態を示す連結状態データを生成する連結状態データ生成手段と、特徴点及び連結状態データに基づいて特徴点同士を連結し血管線を再構成する再構成手段とを設けるようにした。

従って、画像データにおける非ゼロ要素以外のデータを削減すると共に、当該削減後に得られるデータに対応する演算処理を施していることから、当該演算処理を高速化することができることに加え、ワークメモリでの使用領域を飛躍的に低減することができる。

また、本発明においては、認証対象を撮像することにより得られる生体固有となる血管に基づく画像データをスパース行列変換することにより、非ゼロ要素となる血管線の画素の輝度及び位置を表すスパース行列データに変換する第１のステップと、スパース行列データをワークメモリに一時的に保持する第２のステップと、ワークメモリに保持されたスパース行列データにより示される血管線から特徴的な要素となる分岐点及び屈曲点である特徴点を抽出する第３のステップと、複数の特徴点同士が血管線に近似するよう連結される特徴点の連結状態を示す連結状態データを生成する第４のステップと、特徴点及び連結状態データに基づいて特徴点同士を連結し血管線を再構成する第５のステップとを設けるようにした。

従って、画像データにおける非ゼロ要素以外のデータを削減すると共に、当該削減後に得られるデータに対応する演算処理を施していることから、当該演算処理を高速化することができることに加え、ワークメモリでの使用領域を飛躍的に低減することができる。

さらに、本発明においては、プログラムによって、認証対象を撮像することにより得られる生体固有となる血管に基づく画像データを処理する画像処理装置に対して、画像データをスパース行列変換することにより、非ゼロ要素となる血管線の画素の輝度及び位置を表すスパース行列データに変換する第１のステップと、スパース行列データをワークメモリに一時的に保持する第２のステップと、ワークメモリに保持されたスパース行列データにより示される血管線から特徴的な要素となる分岐点及び屈曲点である特徴点を抽出する第３のステップと、複数の特徴点同士が血管線に近似するよう連結される特徴点の連結状態を示す連結状態データを生成する第４のステップと、特徴点及び連結状態データに基づいて特徴点同士を連結し血管線を再構成する第５のステップとを実行させるようにした。

従って、画像データにおける非ゼロ要素以外のデータを削減すると共に、当該削減後に得られるデータに対応する演算処理を施していることから、当該演算処理を高速化することができることに加え、ワークメモリでの使用領域を飛躍的に低減することができる。

本発明によれば、認証対象を撮像することにより得られる生体固有となる血管に基づく画像データをスパース行列変換することにより、非ゼロ要素となる血管線の画素の輝度及び位置を表すスパース行列データに変換する変換手段と、スパース行列データを一時的に保持するワークメモリと、ワークメモリに保持されたスパース行列データにより示される血管線から特徴的な要素となる分岐点及び屈曲点である特徴点を抽出する特徴点抽出手段と、複数の特徴点同士が血管線に近似するよう連結される特徴点の連結状態を示す連結状態データを生成する連結状態データ生成手段と、特徴点及び連結状態データに基づいて特徴点同士を連結し血管線を再構成する再構成手段とを設けるようにしたことにより、画像データにおける非ゼロ要素以外のデータを削減すると共に、当該削減後に得られるデータに対応する演算処理を施していることから、当該演算処理を高速化することができることに加え、ワークメモリでの使用領域を飛躍的に低減することができ、かくして処理効率を向上し得る画像処理装置を実現することができる。

また、本発明によれば、認証対象を撮像することにより得られる生体固有となる血管に基づく画像データをスパース行列変換することにより、非ゼロ要素となる血管線の画素の輝度及び位置を表すスパース行列データに変換する第１のステップと、スパース行列データをワークメモリに一時的に保持する第２のステップと、ワークメモリに保持されたスパース行列データにより示される血管線から特徴的な要素となる分岐点及び屈曲点である特徴点を抽出する第３のステップと、複数の特徴点同士が血管線に近似するよう連結される特徴点の連結状態を示す連結状態データを生成する第４のステップと、特徴点及び連結状態データに基づいて特徴点同士を連結し血管線を再構成する第５のステップとを設けるようにしたことにより、画像データにおける非ゼロ要素以外のデータを削減すると共に、当該削減後に得られるデータに対応する演算処理を施していることから、当該演算処理を高速化することができることに加え、ワークメモリでの使用領域を飛躍的に低減することができ、かくして処理効率を向上し得る画像処理方法を実現することができる。

さらに、本発明によれば、プログラムによって、認証対象を撮像することにより得られる生体固有となる血管に基づく画像データを処理する画像処理装置に対して、画像データをスパース行列変換することにより、非ゼロ要素となる血管線の画素の輝度及び位置を表すスパース行列データに変換する第１のステップと、スパース行列データをワークメモリに一時的に保持する第２のステップと、ワークメモリに保持されたスパース行列データにより示される血管線から特徴的な要素となる分岐点及び屈曲点である特徴点を抽出する第３のステップと、複数の特徴点同士が血管線に近似するよう連結される特徴点の連結状態を示す連結状態データを生成する第４のステップと、特徴点及び連結状態データに基づいて特徴点同士を連結し血管線を再構成する第５のステップとを実行させるようにしたことにより、画像データにおける非ゼロ要素以外のデータを削減すると共に、当該削減後に得られるデータに対応する演算処理を施していることから、当該演算処理を高速化することができることに加え、ワークメモリでの使用領域を飛躍的に低減することができ、かくして処理効率を向上し得るプログラムを実現することができる。

以下図面について、本発明の一実施の形態を詳述する。

（１）認証装置の全体構成
図１において、１は全体として本実施の形態による認証装置１を示し、血管撮像部２と、信号処理部３とがケーブルを介して相互に接続されることにより構成される。

この血管撮像部２は、認証装置１の筺体１Ａの所定位置に指ＦＧを模るようにして形成された湾曲形状のガイド溝１１を有し、当該ガイド溝１１の底面には撮像開口部１２が配設されている。

これによりこの血管撮像部２は、ガイド溝１１にあてがうようにして接触される指ＦＧの指腹を撮像開口部１２上にガイドし、当該ガイド溝１１の先端に指先を当接するように接触される指ＦＧに対する撮像開口部１２の位置を撮像者に応じて位置決めし得るようになされている。

そしてこの撮像開口部１２の表面には、所定材質でなる無色透明の開口カバー部１３が設けられている一方、筺体１Ａの内部における撮像開口部１２の直下には、カメラ部１４が配設されている。

またガイド溝１１の側面には、ヘモグロビンに対して特異的に吸収される近赤外光を血管の撮像光として照射する１対の近赤外光光源１５（１５Ａ及び１５Ｂ）が、ガイド溝１１の短手方向と平行に撮像開口部１２を挟み込むようにして配置されており、当該ガイド溝１１に接触された指ＦＧの指腹側部分に近赤外光を照射し得るようになされている。

従ってこの血管撮像部２では、指ＦＧの指腹底に近赤外光を照射する場合に比して、指ＦＧ表面で反射する近赤外光の割合が格段に抑えられる。また指ＦＧ表面を介してその内方に入射する近赤外光は、血管を通るヘモグロビンに吸収されると共に血管以外の組織において散乱するようにして指ＦＧ内方を経由し、当該指ＦＧから血管を投影する近赤外光（以下、これを血管投影光と呼ぶ）として、撮像開口部１２及び開口カバー部１３を順次介してカメラ部１４に入射する。

カメラ部１４においては、マクロレンズ１６と、酸素化及び脱酸素化双方のヘモグロビンに依存性の有する波長域（およそ900[nm]〜1000[nm]）の近赤外光だけを透過する近赤外光透過フィルタ１７と、ＣＣＤ撮像素子１８とが順次配設されており、開口カバー部１３から入射する血管投影光をマクロレンズ１６及び近赤外光透過フィルタ１７を順次介してＣＣＤ撮像素子１８の撮像面に導光する。これによりこのカメラ部１４は、近接する指ＦＧの内方に混在する静脈系及び動脈系双方の毛細血管を忠実に結像し得るようになされている。

ＣＣＤ撮像素子１８は、信号処理部３による制御のもとに、撮像面に結像される血管を撮像し、当該撮像結果を画像信号（以下、これを血管画像信号と呼ぶ）ＳＡ１、ＳＡ２、……、ＳＡｎとして信号処理部３に順次出力するようになされている。

一方、信号処理部３は、図２に示すように、制御部２０に対して、血管撮像駆動部２１、画像処理部２２、認証部２３、フラッシュメモリＦＭ及び外部とデータの授受をするインターフェース（以下、これを外部インターフェースと呼ぶ）ＩＦをそれぞれ接続することにより構成されている。

この制御部２０は、認証装置１全体の制御を司るＣＰＵ(Central Processing Unit)と、各種プログラムが格納されるＲＯＭ(Read Only Memory)と、当該ＣＰＵのワークメモリとしてのＲＡＭ(Random Access Memory)とを含むコンピュータ構成でなり、当該制御部２０には、認証装置１の筺体１Ａ表面の所定位置に設けられた操作部（図示せず）の操作に応じて、登録者の血管を登録するモード（以下、これを血管登録モードと呼ぶ）の実行命令ＣＯＭ１又は登録者本人の有無を判定するモード（以下、これを認証モードと呼ぶ）の実行命令ＣＯＭ２が与えられる。

そして制御部２０は、操作部（図示せず）から血管登録モードの実行命令ＣＯＭ１が与えられた場合には、ＲＯＭに格納された対応するプログラムに基づいて、動作モードを血管登録モードに遷移して血管撮像駆動部２１、画像処理部２２及び認証部２３をそれぞれ制御する。

この場合、血管撮像駆動部２１は、近赤外光光源１５及びカメラ部１４のＣＣＤ撮像素子１８をそれぞれ駆動するようにして血管撮像部２を起動する。この結果、血管撮像部２では、近赤外光光源１５からこのときガイド溝１１（図１）に接触される撮像者の指ＦＧ（図１）の指腹側部に近赤外光が照射され、当該指ＦＧ（図１）を経由してＣＣＤ撮像素子１８の撮像面に導光される血管投影光がこのＣＣＤ撮像素子１８から血管画像信号ＳＡ１、ＳＡ２、……、ＳＡｎとして画像処理部２２のＡ／Ｄ(Analog/Digital)変換部２２Ａに順次出力される。

Ａ／Ｄ変換部２２Ａは、血管画像信号ＳＡ１、ＳＡ２、……、ＳＡｎに対してＡ／Ｄ変換処理を施し、この結果得られる血管画像のデータ（以下、これを血管画像データと呼ぶ）ＤＡ１、ＤＡ２、……、ＤＡｎをフィルタ部２２Ｂに送出する。

フィルタ部２２Ｂは、血管画像データＤＡ１、ＤＡ２、……、ＤＡｎに対して、ノイズ成分除去及び輪郭強調等に対応する各種フィルタリング処理を施し、この結果得られる血管画像データＤＢ１、ＤＢ２、……、ＤＢｎを２値化部２２Ｃに送出する。

２値化部２２Ｃは、血管画像データＤＢ１、ＤＢ２、……、ＤＢｎに対して２値化処理を施し、この結果得られる白黒の血管画像（以下、これを２値血管画像と呼ぶ）のデータ（以下、これを２値血管画像データと呼ぶ）ＤＣ１、ＤＣ２、……、ＤＣｎを細線化部２２Ｄに送出する。

細線化部２２Ｄは、２値血管画像データＤＣ１、ＤＣ２、……、ＤＣｎに対して、例えばモルフォロジー処理を施すようにして、当該２値血管画像データＤＣ（ＤＣ１〜ＤＣｎ）に基づく２値血管画像の血管を線状化する。

そして細線化部２２Ｄは、線状化された血管（以下、これを血管線と呼ぶ）からなる複数枚の２値血管画像のうちから１枚の２値血管画像を選択し、当該選択した２値血管画像に対応する２値血管画像データＤＤを認証部２３に送出する。

認証部２３は、２値血管画像データＤＤを所定の形式からなる登録認証情報ＲＣとして生成し、これを制御部２０に送出する。

制御部２０は、このようにして血管撮像駆動部２１、画像処理部２２及び認証部２３を制御することによって当該認証部２３から登録認証情報ＲＣを受け取ると、この登録認証情報ＲＣをフラッシュメモリＦＭに登録すると共に、当該血管撮像駆動部２１、画像処理部２２及び認証部２３に対する制御を解除するようにして血管撮像部２を停止させる。

このようにしてこの制御部２０は、血管登録モードを実行することができるようになされている。

これに対して制御部２０は、操作部（図示せず）から認証モードの実行命令ＣＯＭ２が与えられた場合には、ＲＯＭに格納された対応するプログラムに基づいて、動作モードを認証モードに遷移して血管撮像駆動部２１、画像処理部２２及び認証部２３をそれぞれ制御すると共に、フラッシュメモリＦＭに登録された登録認証情報ＲＣを読み出して認証部２３に送出する。

この場合、血管撮像駆動部２１は、上述の血管登録モードの場合と同様に血管撮像部２を起動する。また画像処理部２２は、この血管撮像部２から順次出力される血管画像信号ＳＡ（ＳＡ１〜ＳＡｎ）に対して上述の血管登録モードの場合と同様にして各種処理を施し、この結果得られる２値血管画像データＤＤを認証部２３に送出する。

認証部２３は、この２値血管画像データＤＤに基づく２値血管画像と、制御部２０によりフラッシュメモリＦＭから読み出された登録認証情報ＲＣに基づく２値血管画像とにおける血管線の形成パターンを照合する。

そして認証部２３は、この照合度合いに応じて、このとき血管撮像部２で撮像されている撮像者が登録者であるか否かを判定し、この判定結果を判定データＤ１として制御部２０に送出する。

制御部２０は、このようにして血管撮像駆動部２１、画像処理部２２及び認証部２３を制御することによって当該認証部２３から判定データＤ１を受け取ると、この判定データＤ１を外部インターフェースＩＦを介して外部に転送すると共に、当該血管撮像駆動部２１、画像処理部２２及び認証部２３に対する制御を解除するようにして血管撮像部２を停止させる。

このようにしてこの制御部２０は、認証モードを実行することができるようになされている。

このようにこの認証装置１は、生体の内方に介在する固有構造物の血管を認証対象として本人（登録者）の有無を判定する生体認証を実行することにより、生体表面に有する指紋等を対象とする場合に比して、生体からの直接的な盗用のみならず第三者による登録者への成りすましをも防止できるようになされている。

（２）認証部２３の具体的な処理内容
ここで、かかる認証部２３においては、図３に示すように、ワークメモリとしてのキャッシュメモリ３０に対して、スパース（Sparse）行列変換部３１、血管線処理部３２及び照合処理部３３が接続されて構成されている。

この場合、認証部２３は、血管登録モード時には、このとき細線化部２２Ｄ（図２）から順次供給される２値血管画像データＤＤに対してスパース行列変換部３１でスパース行列変換処理を施し、この変換処理結果をキャッシュメモリ３０に一時的に格納することにより保持する。そして認証部２３は、キャッシュメモリ３０に保持した変換処理結果に対して血管線処理部３２で特徴点抽出処理及び特徴点連結処理を施し、この処理結果として得られる血管形成パターンを登録認証情報ＲＣとしてフラッシュメモリＦＭ（図２）に登録する。

一方、認証部２３は、認証モード時には、このときフラッシュメモリＦＭに登録されている複数の登録認証情報ＲＣ１、ＲＣ２、……、ＲＣｎを所定単位ごとに順次キャッシュメモリ３０に保持すると共に、細線化部２２Ｄ（図２）から供給される２値血管画像データＤＤに対してスパース行列変換部３１でスパース行列変換処理を施す。そして認証部２３は、キャッシュメモリ３０に保持した所定単位の登録認証情報ＲＣｉ（ｉ＝２、３、……、又はｎ）に対して血管線処理部３２で血管線再構成処理を順次施し、この処理結果と、スパース行列変換処理結果とに基づいて、照合処理部３３で照合処理を実行するようになされている。

以下、スパース行列変換部３１によるスパース行列変換処理と、血管線処理部３２による特徴点抽出処理、特徴点連結処理及び画像再構成処理と、照合処理部３３による照合処理とを詳細に説明する。

（２−１）スパース行列変換処理
細線化部２２Ｄ（図２）から供給される２値血管画像データＤＤは、例えば図４（Ａ）に示すように、ほとんどの輝度値が「０」（黒）でなる２値血管画像ＩＭ１のデータである。従って、この２値血管画像データＤＤの輝度値を二次元行列として表した場合、当該二次元行列では、ほとんどの行列要素が「０」として表されていることになる。

そこで、このスパース行列変換部３１は、二次元行列として表した２値血管画像データＤＤに対して、スパース行列と呼ばれる変換処理（以下、これをスパース行列変換処理と呼ぶ）を施すようにして、当該２値血管画像データＤＤに基づく２値血管画像ＩＭ１のうち血管線ＩＭ２を表すデータ（以下、これをスパース行列変換血管線データと呼ぶ）ＤＥに変換する。

実際上、スパース行列変換部３１は、２値血管画像データＤＤに対して、当該２値血管画像データＤＤに基づく２値血管画像ＩＭ１（図４（Ａ））のうち、輝度値が「０」（黒）でない画素（Pixel）（この場合、「１」である）（以下、これを非ゼロ要素と呼ぶ）を順次検出する。

そして、スパース行列変換部３１は、これら非ゼロ要素の輝度値及び位置（座標）をスパース行列変換血管線データＤＥとして生成し、このスパース行列変換血管線データＤＥＤＥをキャッシュメモリ３０に送出する。この結果、２値血管画像データＤＤが、血管線ＩＭ２だけを表すスパース行列のデータ（スパース行列変換血管線データＤＥ）としてキャッシュメモリ３０に保持されることになる。

このようにこのスパース行列変換部３１は、二次元行列として表した２値血管画像データＤＤを、血管線ＩＭ２を表すデータ（非ゼロ要素の輝度値及び位置）として変換することにより、当該２値血管画像データＤＤにおける非ゼロ要素以外のデータを削減する分だけキャッシュメモリ３０での使用領域を飛躍的に低減することができるようになされている。

ここで、実験によれば、縦240（Pixel）、横240（Pixel）である57600（Pixel）の血管線の画像データにおける非ゼロ要素数においては、図５（Ａ）に示すように、最小値で538（Pixel）（0.93（%））、最大値で1265（Pixel）（2.20（%））となり、平均値で898（Pixel）（1.56（%））となった。

このとき、１画素（Pixel）当たり１ビットのデータを保持する上述のような２値血管画像データＤＤ（57600（Byte））に対してスパース行列変換処理を施した場合には、そのデータ量は、図５（Ｂ）に示すように、最小値で3654（Byte）（6.34（%））、最大値で7289（Byte）（12.65（%））、平均値で5452（Byte）（9.47（%））となり、２値血管画像データＤＤのままのデータである場合に比して、約１５分の１〜８分の１程度にデータ量を削減できることが確認できた。

また、１画素（Pixel）当たり８ビットのデータを保持する倍精度の血管画像データ（460800（Byte））に対してスパース行列変換処理を施した場合には、そのデータ量は、図５（Ｃ）に示すように、最小値で7420（Byte）（1.61（%））、最大値で16144（Byte）（3.50（%））、平均値で11736（Byte）（2.55（%））となり、倍精度の血管画像データのままのデータである場合に比して、約６０分の１〜３０分の１程度にデータ量を削減できることが確認できた。このようにして、１画素（Pixel）当たりに保持するデータ量が大きいほど、スパース行列変換処理を施すことによって、データ量を削減できることが確認できた。

さらに、非ゼロ要素の割合及び血管画像データとのデータ比の関係においては、図６（Ａ）に示すように、２値血管画像データＤＤの場合にも、又は、図６（Ｂ）に示すように、倍精度の血管画像データの場合にも、非ゼロ要素の割合が増加するにつれて血管画像データとのデータ比も増加するような線形性を示すことが確認できた。

（２−２）特徴点抽出処理及び特徴点連結処理
血管線処理部３２は、図７に示すように、血管線ＩＭ２（図７（Ａ））から特徴的な要素となる分岐点及び屈曲点（以下、これらを特徴点と呼ぶ）ＣＰを抽出し（図７（Ｂ））、その後図８に示すように、血管線ＩＭ２上の複数の特徴点ＣＰ（図８（Ａ））を、当該血管線ＩＭ２に近似するように連結する（図８（Ｂ））。

実際上、血管線処理部３２は、スパース行列変換部３１から供給されてキャッシュメモリ３０に保持されたスパース行列変換血管線データＤＥに基づく血管線ＩＭ２から複数の特徴点ＣＰをそれぞれ抽出する。そして血管線処理部３２は、これらの特徴点ＣＰを座標値で表すデータ（以下、これを特徴点データと呼ぶ）ＤＦとして生成する。

また、血管線処理部３２は、図９に示すように、これら特徴点ＣＰから探索対象の基準とする特徴点（以下、これを探索基準点と呼ぶ）Ａを選択し、当該選択した探索基準点Ａと血管線ＩＭ２に対応する線分（以下、これを血管線対応線分と呼ぶ）を形成する特徴点（以下、これを血管線対応線分形成点と呼ぶ）の探索候補として、当該探索基準点Ａ以外の任意の特徴点（以下、これを探索候補点と呼ぶ）Ｂを選択し、この探索基準点Ａと探索候補点Ｂとを連結して線分ＡＢを生成する。

この状態において血管線処理部３２は、探索基準点Ａと探索候補点Ｂとの間に生成した線分ＡＢ上のすべての画素（Pixel）を認識し、この認識結果に基づいて、線分ＡＢを構成するすべての画素（Pixel）について、その画素（Pixel）がスパース行列変換血管線データＤＥに基づく血管線ＩＭ２の画素（Pixel）と同一座標にあるか否かを順次判定する。

そして血管線処理部３２は、探索基準点Ａと探索候補点Ｂとの間に生成した線分ＡＢ上のすべての画素（Pixel）を判定し、この判定結果として所定閾値よりも大きい相互相関値が得られたときには、探索候補点Ｂが探索基準点Ａと血管線対応線分を形成する血管線対応線分形成点であると判定し、このとき選択した探索候補点Ｂと探索基準点Ａとを連結した後、この探索候補点Ｂに代えて、残りの特徴点ＣＰを新たな探索候補点Ｂとして選択して上述の探索処理を繰り返す。

これに対して血管線処理部３２は、当該閾値以下の相互相関値が得られたときには、探索候補点Ｂが探索基準点Ａと血管線対応線分を形成する血管線対応線分形成点ではないと判定し、このとき選択した探索候補点Ｂと探索基準点Ａとの連結を破棄した後に、当該探索候補点Ｂに代えて、残りの特徴点ＣＰを新たな探索候補点Ｂとして選択して上述の探索処理を繰り返す。

血管線処理部３２は、このようにして全ての特徴点ＣＰを新たな探索候補点Ｂとして探索処理し終わると、これまで探索基準点Ａとして選択していた特徴点とは別の特徴点ＣＰを新たな探索基準点Ａとして選択し、上述した場合と同様の処理を実行するようになされている。

このようにして、血管線処理部３２は、特徴点データＤＦと連結部分（血管線対応線分）に対応する特徴点同士の連結状態を表すデータ（以下、連結状態データと呼ぶ）ＤＧ（図８（Ｂ））とを生成し、これらを登録認証情報ＲＣとして、フラッシュメモリＦＭに登録するようになされている。

このとき、血管線処理部３２においては、２値血管画像データＤＤがスパース行列として（スパース行列変換血管線画像データＤＥとして）キャッシュメモリ３０に保持されていることから、例えばＭＡＴＬＡＢ（The MathWorks社 登録商標）等のスパース行列演算を高速化させる所定の行列演算器３４を用いて上述の特徴点抽出処理及び特徴点連結処理を実行するようになされている。

これにより血管線処理部３２は、上述の特徴点抽出処理のように血管線ＩＭ２から特徴点ＣＰを抽出する場合や、上述の特徴点連結処理のように局所的なアクセスが頻繁に生じるような場合にも、キャッシュメモリ３０に保持されたスパース行列変換血管線データＤＥに対する特徴点抽出処理及び特徴点連結処理を高速化することができるようになされている。

ここで、実験によれば、図１０に示すように、一般の二次元行列からなる２値血管画像データＤＤに対して特徴点抽出処理及び特徴点連結処理を施す場合に比して、約２．５倍程度処理を高速化できることが確認できた。因みに図１０における処理時間は、上述のような特徴点抽出処理及び特徴点連結処理を１０回行っての平均値である。

（２−３）血管線再構成処理
血管線処理部３２は、複数の特徴点ＣＰと、連結状態データＤＧとを表す登録認証情報ＲＣに基づいて、血管線ＩＭ２（図８（Ｂ））を再構成する。

実際上、血管線処理部３２は、このときキャッシュメモリ３０に保持された登録認証情報ＲＣの連結状態データＤＧに基づいて、当該登録認証情報ＲＣの特徴点データＤＦにより表される各特徴点ＣＰの連結状態を認識する。

この状態において血管線処理部３２は、この認識結果に基づいて、所定のアルゴリズムに準拠した直線描画処理により、各特徴点ＣＰのうち連結すべき特徴点ＣＰ間の線分上の画素（Pixel）を選択するようにして連結する。これにより元の血管線ＩＭ２（図８（Ｂ））に相当する血管線が再構成されることになる。

そして血管線処理部３２は、このようにして再構成した血管線（以下、これを再構成血管線と呼ぶ）ＩＭ３のスパース行列のデータ（以下、これを再構成血管線データと呼ぶ）ＤＨとして生成する。

このようにして血管線処理部３２は、複数の特徴点ＣＰと、連結状態データＤＧとを表す登録認証情報ＲＣに基づいて、血管線ＩＭ２（図８（Ｂ））を再構成することができるようになされている。

（２−４）照合処理
照合処理部３３は、図１１に示すように、再構成血管線ＩＭ３（図１１（Ａ））と、照合者の撮像結果から得られる血管線ＩＭ２（図１１（Ｂ））とに基づいて、登録者本人の有無を判定する。

実際上、照合処理部３３は、キャッシュメモリ３０に保持された所定単位の登録認証情報ＲＣｉに基づく再構成血管線データＤＨｉのうち例えば再構成血管線データＤＨ１に基づく再構成血管線ＩＭ３と、スパース行列変換部３１からキャッシュメモリ３０に保持されたスパース行列変換血管線データＤＥに基づく血管線ＩＭ２との相互相関を算出するようにして、当該血管線同士を照合する。

そして、照合処理部３３は、この照合結果として所定閾値以下の相互相関値が得られたときには、このときキャッシュメモリ３０に保持された残りの再構成血管線データＤＨ２〜ＤＨｉに基づく再構成血管線ＩＭ３を、血管線ＩＭ２に対応する再構成血管線ＩＭ３が検出されるまで、上述と同様にして血管線ＩＭ２と順次照合する。

このようにして照合処理部３３は、フラッシュメモリＦＭに登録されたすべての登録認証情報ＲＣ（ＲＣ１〜ＲＣｎ）を、所定単位の登録認証情報ＲＣｉに基づく再構成血管線データＤＨｉごとに照合対象の一方として順次照合し、すべて所定閾値以下の相互相関値が得られたときには、このとき血管撮像部２で撮像している撮像者が登録者ではないと判定する一方、当該閾値よりも大きい相互相関値が得られたときには撮像者が登録者本人であると判定し、この判定結果を判定データＤ１として、制御部２０の制御のもとに外部インターフェースＩＦを介して外部に送出するようになされている。

このとき、照合処理部３３においては、血管線処理部３２と同様に行列演算器３４を用いて上述の照合処理を実行することにより、局所的なアクセスが頻繁に生じるような場合にも、当該照合処理を高速化することができるようになされている。

（３）動作及び効果
以上の構成において、この認証装置１は、二次元行列として表した２値画像データを、当該２値画像データに基づく２値画像のうち非ゼロ要素（画素）の輝度値及び位置を表すスパース行列のデータとして変換する。そして認証装置１は、このスパース行列のデータをキャッシュメモリ３０に一時的に保持し、当該スパース行列のデータに対して対応する演算処理を施す。

従って、この認証装置１では、２値画像データにおける非ゼロ要素以外のデータを削減すると共に、当該削減後に得られるデータに対応する演算処理を施していることから、実験結果（図７、８、１０）からも明らかなように、当該演算処理を高速化することができることに加え、キャッシュメモリ３０での使用領域を飛躍的に低減することができ、この結果、演算処理の処理効率を向上することができる。

この場合、この認証装置１は、キャッシュメモリ３０に保持されたスパース行列のデータに対して、行列演算器３４を用いて上述の特徴点抽出処理、特徴点連結処理及び照合処理を施す。

従って、この認証装置１では、演算処理を高速化することができるため、特徴点抽出処理、特徴点連結処理及び照合処理にかかる処理負荷を低減する分だけ、演算処理時における処理効率を格段に向上することができる。

また、この場合、この認証装置１は、スパース行列からなる複数のデータをフラッシュメモリＦＭに記憶し、演算処理時に、当該記憶した各スパース行列のデータを所定単位ごとにキャッシュメモリ３０に一時的に保持する。

従って、この認証装置１では、キャッシュメモリ３０での使用領域を飛躍的に低減できるため、このときキャッシュメモリ３０に保持するスパース行列のデータの単位数を、２値画像データに比して多くすることができ、この結果、フラッシュメモリＦＭ及びキャッシュメモリ３０間のデータ転送回数を低減する分だけ、演算処理時における処理効率を格段に向上することができる。この場合、キャッシュメモリ３０の記憶領域が制限される状況下において、特に有効となる。

以上の構成によれば、二次元行列として表した２値画像データを、当該２値画像データに基づく２値画像のうち非ゼロ要素（画素）の輝度値及び位置を表すスパース行列のデータとして変換した後にキャッシュメモリ３０に一時的に保持し、当該スパース行列のデータに対して対応する演算処理を施すようにしたことにより、２値画像データにおける非ゼロ要素以外のデータを削減すると共に、当該削減後に得られるデータに対応する演算処理を施していることから、当該演算処理を高速化することができることに加え、キャッシュメモリ３０での使用領域を飛躍的に低減することができ、かくして演算処理の処理効率を向上することができる。

（４）他の実施の形態
なお上述の実施の形態においては、認証対象として生体の指ＦＧ内方の血管を適用するようにした場合について述べたが、本発明はこれに限らず、例えば掌、腕又は目の血管等、この他種々の生体部位における血管を適用するようにしても良く、また例えば生体表面の指紋や生体内方の神経等、この他種々の認証対象を適用するようにしても良い。因みに、血管を適用した場合には、指紋等の認証対象に比して非ゼロ要素が少なくかつ血管に基づく画像データのデータ量が大きいため、より画像データのデータ量を削減することができ、この結果、処理効率を向上させることができる。また、神経を認証対象とする場合には、例えば神経に特異的なマーカを注入し、当該マーカを撮像するようにすれば、上述の実施の形態と同様にして神経を認証対象とすることができる。さらに、本発明はこれに限らず、例えば背景や人物を被写体として撮像した一般的な画像データについても、上述の実施の形態と同様にして認証対象とすることができる。

また上述の実施の形態においては、画像データを、非ゼロ要素となる画素の輝度及び位置を表すデータに変換する変換手段として、２値血管画像データＤＤから非ゼロ要素（「１」）及び当該非ゼロ要素（「１」）と判定された画素（Pixel）の座標位置を抽出した場合について述べたが、本発明はこれに限らず、例えばグレイスケールや多値の画像データ等の種々の画像データに適用することができる。例えばグレイスケールの場合、非ゼロ要素については、所定の閾値以上の数値の要素であっても良く、非ゼロ要素（例えば「１〜２５６」）の数値を行列要素として保持することができる。

さらに上述の実施の形態においては、画像データを、非ゼロ要素となる画素の輝度及び位置を表すデータに変換する変換手段として、スパース行列変換した場合について述べたが、本発明はこれに限らず、この他種々の変換手法に基づいて非ゼロ要素及び当該非ゼロ要素の座標位置のデータに変換するようにしても良い。

さらに上述の実施の形態においては、データを一時的に保持するワークメモリとして、キャッシュメモリ３０を適用するようにした場合について述べたが、本発明はこれに限らず、例えばキャッシュメモリ以外のこの他種々のワークメモリを幅広く適用することができる。

さらに上述の実施の形態においては、ワークメモリに保持されたデータに対して、当該データに対応する演算処理を実行する演算手段として、特徴点抽出処理、特徴点連結処理や登録認証情報ＲＣの登録処理を施した場合について述べたが、本発明はこれに限らず、これら特徴点抽出処理及び特徴点連結処理以外のこの他種々の処理を施すことによって、認証対象の非ゼロ要素及び当該非ゼロ要素の座標位置のデータに基づくデータに対してフラッシュメモリへの登録処理を施すようにしても良く、特徴点抽出処理及び特徴点連結処理を施さずに認証対象の非ゼロ要素及び当該非ゼロ要素の座標位置のデータを登録処理するようにしても良い。

さらに上述の実施の形態においては、スパース行列変換血管線データＤＥに対して、所定の点抽出処理を施すようにして、当該スパース行列変換血管線データＤＥに基づく血管線から複数の特徴点をそれぞれ抽出した場合について述べたが、例えばハリスコーナーと呼ばれる点抽出処理や、所定サイズでなる格子状の画像を２値血管画像に重ね合わせ、当該格子と交わる血管線上の点を抽出する等、当該２値血管画像における血管線上の任意の点を抽出するようにしても良い。このようにした場合であっても、上述の実施の形態と同様の効果を得ることができる。

さらに上述の実施の形態においては、探索基準点Ａと探索候補点Ｂとの間に生成した線分ＡＢ上のすべての画素（Pixel）を判定し、この判定結果として所定閾値よりも大きい相互相関値が得られたときには、このとき選択した探索候補点Ｂと探索基準点Ａとを連結した場合について述べたが、本発明はこれに限らず、例えば相対近傍グラフ等の手法により各特徴点を連結し、この後これらの線分を上述のように判定するようにしても良く、この他種々の特徴点連結処理手法を用いるようにしても良い。

さらに上述の実施の形態においては、変換手段により変換された各データを記憶する記憶手段として、フラッシュメモリＦＭを適用するようにした場合について述べたが、本発明はこれに限らず、例えばＨＤＤ(Hard Disk Drive)や、メモリスティック（ソニー株式会社 登録商標）等、この他種々の記憶手段を幅広く適用することができる。またこの記憶手段においては、認証装置１とは別体として伝送路を介して接続した形態とするようにしても良い。

さらに上述の実施の形態においては、血管画像信号ＳＡに対してＡ／Ｄ変換部２２Ａ（図３）、フィルタ部２２Ｂ（図３）、２値化部２２Ｃ（図３）及び細線化部２２Ｄを順次介して各種前処理を施した後に特徴点を抽出するようにした場合について述べたが、本発明はこれに限らず、当該前処理の処理内容を必要に応じて変更するようにしても良い。

さらに上述の実施の形態においては、図９に示すような２値血管線（濃ハッチング部分）及び当該２値血管線をモルフォロジー処理のダイレーション（Dilation）を施すことにより膨張させた画像（薄ハッチング部分）を２値血管画像データＤＤとした場合について述べたが、本発明はこれに限らず、例えば２値血管線を２値血管画像データＤＤとするようにしても良く、この他種々の処理を施した２値血管画像データであっても良い。

さらに上述の実施の形態においては、特徴点データＤＦと、連結状態データＤＧ（図８（Ｂ））とを登録認証情報ＲＣとして、フラッシュメモリＦＭに登録した場合について述べたが、本発明はこれに限らず、スパース行列変換血管線データＤＥをフラッシュメモリＦＭに登録するようにしても良い。

本発明は、生体を識別する技術を用いる分野に利用可能である。

本実施の形態による認証装置の全体構成を示す略線図である。 信号処理部の構成を示すブロック図である。 認証部の処理の説明に供する機能ブロック図である。 スパース行列変換前後を示す略線図である。 スパース行列変換処理に基づくデータ量の削減を表すテーブルである。 非ゼロ要素の割合及び血管線の画像データとのデータ比の関係を示すグラフである。 特徴点の抽出前後を示す略線図である。 特徴点の連結前後を示す略線図である。 特徴点の連結の説明に供する略線図である。 スパース行列変換による処理時間の短縮を表すテーブルである。 再構成血管線と撮像された血管線との照合処理の説明に供する略線図である。 キャッシュメモリ内の様子の説明に供する概念図である。 従来におけるキャッシュメモリ内の様子の説明に供する概念図である。

符号の説明

１……認証装置、２……血管撮像部、３……信号処理部、１４……カメラ部、１５Ａ、１５Ｂ……近赤外光光源、１６……マクロレンズ、１７……近赤外光透過フィルタ、１８……ＣＣＤ撮像素子、２０……制御部、２１……血管撮像駆動部、２２Ａ……Ａ／Ｄ変換部、２２Ｂ……フィルタ部、２２Ｃ……２値化部、２２Ｄ……細線化部、２３……認証部、３０……キャッシュメモリ、３１……スパース行列変換部、３２……血管線処理部、３３……照合処理部、３４……行列演算器、ＩＦ……インターフェース、ＦＭ……フラッシュメモリ、ＦＧ……指、ＣＯＭ（ＣＯＭ１及びＣＯＭ２）……実行命令、ＳＡ（ＳＡ１〜ＳＡｎ）……血管画像信号、ＤＡ（ＤＡ１〜ＤＡｎ）、ＤＢ（ＤＢ１〜ＤＢｎ）……血管画像データ、ＤＣ（ＤＣ１〜ＤＣｎ）、ＤＤ……２値血管画像データ、ＤＥ……スパース行列変換血管線データ、ＤＦ……特徴点データ、ＤＧ……連結状態データ、ＤＨ（ＤＨ１〜ＤＨｎ）……再構成血管線データ、ＩＭ１……２値血管画像、ＩＭ２……血管線、ＩＭ３……再構成血管線、ＲＣ（ＲＣ１〜ＲＣｎ）……登録認証情報、Ｄ１……判定データ。

Claims (5)

1. 認証対象を撮像することにより得られる生体固有となる血管に基づく画像データをスパース行列変換することにより、非ゼロ要素となる血管線の画素の輝度及び位置を表すスパース行列データに変換する変換手段と、
   上記スパース行列データを一時的に保持するワークメモリと、
   上記ワークメモリに保持された上記スパース行列データにより示される血管線から特徴的な要素となる分岐点及び屈曲点である特徴点を抽出する特徴点抽出手段と、
   複数の上記特徴点同士が上記血管線に近似するよう連結される上記特徴点の連結状態を示す連結状態データを生成する連結状態データ生成手段と、
   上記特徴点及び上記連結状態データに基づいて上記特徴点同士を連結し上記血管線を再構成する再構成手段と
   を有する画像処理装置。
2. 上記再構成した上記血管線と、上記認証対象を新たに撮像することにより得られる画像データをスパース行列変換し上記ワークメモリに一時的に保持したスパース行列データに基づく血管線との相互相関を算出する照合手段と
   をさらに有する
   請求項１に記載の画像処理装置。
3. 認証対象を撮像することにより得られる生体固有となる血管に基づく画像データをスパース行列変換することにより、非ゼロ要素となる血管線の画素の輝度及び位置を表すスパース行列データに変換する第１のステップと、
   上記スパース行列データをワークメモリに一時的に保持する第２のステップと、
   上記ワークメモリに保持された上記スパース行列データにより示される血管線から特徴的な要素となる分岐点及び屈曲点である特徴点を抽出する第３のステップと、
   複数の上記特徴点同士が上記血管線に近似するよう連結される上記特徴点の連結状態を示す連結状態データを生成する第４のステップと、
   上記特徴点及び上記連結状態データに基づいて上記特徴点同士を連結し上記血管線を再構成する第５のステップと
   を有する画像処理方法。
4. 上記再構成した上記血管線と、上記認証対象を新たに撮像することにより得られる画像データをスパース行列変換し上記ワークメモリに一時的に保持したスパース行列データに基づく血管線との相互相関を算出する第６のステップと
   をさらに有する
   請求項３に記載の画像処理方法。
5. 認証対象を撮像することにより得られる生体固有となる血管に基づく画像データを処理する画像処理装置に対して、
   上記画像データをスパース行列変換することにより、非ゼロ要素となる血管線の画素の輝度及び位置を表すスパース行列データに変換する第１のステップと、
   上記スパース行列データをワークメモリに一時的に保持する第２のステップと、
   上記ワークメモリに保持された上記スパース行列データにより示される血管線から特徴的な要素となる分岐点及び屈曲点である特徴点を抽出する第３のステップと、
   複数の上記特徴点同士が上記血管線に近似するよう連結される上記特徴点の連結状態を示す連結状態データを生成する第４のステップと、
   上記特徴点及び上記連結状態データに基づいて上記特徴点同士を連結し上記血管線を再構成する第５のステップと
   を実行させるためのプログラム。