WO2007088926A1

WO2007088926A1 - 画像処理、画像特徴抽出、および画像照合の装置、方法、およびプログラム並びに画像照合システム

Info

Publication number: WO2007088926A1
Application number: PCT/JP2007/051692
Authority: WO
Inventors: Lei Huang
Original assignee: Nec Corporation
Priority date: 2006-02-01
Filing date: 2007-02-01
Publication date: 2007-08-09
Also published as: US8195005B2; US20090022401A1; JPWO2007088926A1

Abstract

　画像の分割方法に関する、画像の復元処理、画像の特徴抽出処理および画像間の照合処理のいずれかの処理結果の不安定性を除去して、画像照合の識別精度を高める。画像処理装置は、画像入力部、データ処理部、及び結果出力部を備える。データ処理部は、制御部、画像分割方法辞書、画像分割手段、画像処理手段及び画像統合手段を有する。画像分割手段は、画像分割方法辞書に予め設定された複数の画像分割方法に従って画像データを複数の領域に分割する。画像処理手段は、複数の画像分割方法に従って画像分割手段により分割された画像データに処理を施して、複数の画像復元データを生成する。画像統合手段は、複数の画像分割方法に従って画像分割手段の処理と画像処理手段の処理によって得られた複数の画像復元データを用いて、全体の統合画像データを生成する。

Description

画像処理、画像特徴抽出、および画像照合の装置、方法、およびプログラム並びに画像照合システム技術分野

[0001] 本発明は、画像処理、画像特徴抽出、および画像照合の装置、方法、およびプログラム並びに画像照合システムに関し、特に指紋、掌紋、鼻紋、虹彩、顔、血管バターン、テクスチャーパターン画像に好適に利用できる画像処理、画像特徴抽出、および画像照合技術に関する。

背景技術

[0002] 従来より、画像を表示する装置にお!ヽて、または画像特徴抽出処理、画像照合処理の前処理として、画像に対する雑音除去または画像強調の画像処理技術が知られている。その画像処理装置の一例力特許文献 1に記載されている。

[0003] この従来例の画像処理装置は、ブロック分割手段、フーリエ変換手段、最大振幅周波数探索手段、雑音パワー抑制手段、逆フーリエ変換手段、及び画像再構成手段カゝら構成されている。ブロック分割手段は、入力画像を複数の微小なブロックに分割する。フーリエ変換手段は、得られた各ブロックの画像を離散フーリエ変換する。最大振幅周波数探索手段は、得られたフーリエ成分情報に対して、振幅が最大となる周波数を探す。雑音パワー抑制手段は、探索された、振幅が最大となる周波数を中心として、その外側にいくほど小さな値を取るように各周波数におけるゲインを設定し、該ゲインをフーリエ成分情報に乗ずる。逆フーリエ変換手段は、前記の振幅を変えられたフーリエ成分を逆離散フーリエ変換する。画像再構成手段は、変換された各ブロックの画像を組み合わせて復元後の全体の画像を構成する。

[0004] このような構成を有する従来例の画像処理装置は、つぎのように動作する。すなわち、微小なブロック毎に画像をフーリエ変換し、各ブロック毎に、最大の振幅を持つ周波数成分を見つけて、それをそのブロックにおける主な縞模様の周波数成分と推定し、その周波数成分力も周波数が離れた周波数成分ほどその周波数成分の値を減少させる処理を行うことにより雑音を減少させて隆線を強調する。特許文献 1 :特開 2005— 115548号公報 (第 4— 5頁、図 2)

発明の開示

発明が解決しょうとする課題

[0005] し力しながら、上述した従来例の画像処理装置では次のような問題があった。

[0006] 第 1の問題点は、不確実な画像処理結果が得られる可能性があるということである。

その理由は、指紋を構成する縞模様の間隔には個人差があり、また一枚の画像中でも様々に分布していて、従来の技術では、小領域ごとの縞模様が 2次元正弦波で近似されるため、小領域のサイズを大きめに設定すると、縞模様の狭い間隔の領域では様々な方向の隆線が含まれる可能性が高まり、小領域画像の復元精度が低下する可能性があり、一方、それを避けるために小領域のサイズを小さめに設定すると、縞模様の広い間隔の領域では画像の復元精度が低下する可能性があるためである

[0007] 第 2の問題点は、不確実な構造パターンまたは特徴点情報が画像力も抽出される可能性があるということである。その理由は、画像の 2値化処理結果や構造パターンの抽出結果、または特徴点の抽出結果は画像の雑音除去などの画像復元処理の結果に依存するためである。

[0008] 第 3の問題点は、画像間の不確実な照合結果が得られる可能性があるということである。その理由は、画像間の照合結果は画像カゝら抽出された構造パターンまたは特徴点情報に依存するためである。

[0009] 第 4の問題点は、画像照合システムの識別精度が低下すると!/、うことである。その理由は、画像照合システムにおける画像間の照合スコアが画像間の照合結果に依存し、画像間の照合スコアの不確実性により、画像照合システムの識別エラー率が増大するためである。

[0010] 本発明は、上記のような従来の事情を考慮してなされたもので、画像の分割方法に関する、画像の復元処理、画像の特徴抽出処理、および画像間の照合処理のいずれかの処理結果の不安定性を除去して、画像照合の識別精度を高めることを、その目的とする。

課題を解決するための手段 [0011] 上記目的を達成するため、本発明に係る画像処理装置は、入力画像を分割領域毎に画像強調する画像強調手段と、前記画像強調手段を複数の入力画像分割方法にしたがって前記入力画像に作用させる制御手段と、前記複数の入力画像分割方法を利用して画像強調された入力画像を合成して統合画像を生成する画像統合手段とを備えたことを特徴とする。

[0012] 本発明において、前記画像強調手段は、前記入力画像の特徴を抽出するための前処理を施してもよい。前記画像強調手段は、前記入力画像から雑音を除去してもよい。前記画像統合手段は、前記複数の入力画像分割方法を利用して画像強調された入力画像の同じ位置にある画素の画素値の平均値を前記統合画像の同じ位置にある画素の画素値としてもよ、。

[0013] 本発明に係る画像特徴抽出装置は、入力画像を複数の領域に分割し該領域毎に画像特徴を抽出する画像特徴抽出手段と、前記画像特徴抽出手段を複数の入力画像分割方法にしたがって前記入力画像に作用させる制御手段と、前記複数の入力画像分割方法を利用して抽出された複数の特徴データを出力する画像特徴出力手段とを備えたことを特徴とする。

[0014] 本発明にお、て、前記複数の特徴データを用いて、全体の統合特徴データを生成する特徴統合手段をさらに備えてもよい。前記特徴統合手段は、前記複数の特徴データの対応特徴量の平均値を前記統合特徴データの特徴量としてもよい。

[0015] 本発明に係る画像照合装置は、入力画像を複数の領域に分割し該領域毎に画像特徴を抽出し認証用特徴データと照合して照合結果を生成する照合手段と、前記照合手段を複数の入力画像分割方法にしたがって前記入力画像に作用させる制御手段と、前記複数の入力画像分割方法を利用して照合された複数の照合結果力照合データを統合する照合統合手段とを備えたことを特徴とする。

[0016] 本発明にお、て、前記照合統合手段は、前記複数の照合データの共通対応特徴量を、統合された照合データの対応特徴量としてもよい。

[0017] 上記の各装置にお!、て、前記複数の入力画像分割方法は、分割領域の位置、サィズ、及び形状の少なくとも 1つが異なってもよ、。

[0018] 本発明に係る画像処理方法は、画像データに対して、予め設定された画像の分割方法を変えて処理を施して、複数の処理された画像データを求めるステップと、前記複数の処理された画像データを用いて統合画像データを生成するステップとを有することを特徴とする。

[0019] 本発明に係る特徴抽出方法は、画像データに対して、予め設定された画像の分割方法を変えて複数の特徴データを求めるステップと、前記複数の特徴データを用いて統合特徴データを生成するステップとを有することを特徴とする。

[0020] 本発明に係る画像照合方法は、画像データに対して、予め設定された画像の分割方法を変えて複数の特徴データを求めるステップと、前記複数の特徴データと外部力入力された認証用特徴データとを照合し複数の照合データを求めるステップと、前記複数の照合データを用いて統合照合データを生成するステップとを有することを特徴とする。

[0021] 上記の各方法において、前記複数の処理された画像データを求めるステップは、画像の分割領域の位置、サイズ、及び形状の少なくとも 1つを変更して前記画像の分割方法を変えてもよい。

[0022] 本発明に係る画像照合システムは、画像データに対して、予め設定された画像の分割方法を変えて複数の特徴データを求める手段と、前記複数の特徴データと外部カゝら入力された認証用特徴データとを照合し複数の照合スコアデータを求める手段と、前記複数の照合スコアデータを用いて統合照合スコアデータを生成する手段と、前記統合照合スコアデータと予め設定された閾値とを比較して認証を行う手段とを備えたことを特徴とする。

[0023] 本発明にお、て、前記複数の特徴データを求める手段は、画像の分割領域の位置、サイズ、及び形状の少なくとも 1つを変更して前記画像の分割方法を変えてもよい。また、前記統合照合スコアデータを生成する手段は、前記複数の照合スコアデータの平均値、最大値、及び最小値の少なくとも 1つを求めて統合照合スコアデータの値としてもよい。

[0024] 本発明に係る画像処理用プログラムは、コンピュータに、画像データに対して、予め設定された画像の分割方法を変えて処理を施して、複数の処理された画像データを求めるステップと、前記複数の処理された画像データを用いて統合画像データを生成するステップとを実行させることを特徴とする。

[0025] 本発明に係る画像特徴抽出用プログラムは、コンピュータに、画像データに対して、予め設定された画像の分割方法を変えて複数の特徴データを求めるステップと、前記複数の特徴データを用いて統合特徴データを生成するステップとを実行させることを特徴とする。

[0026] 本発明に係る画像照合用プログラムは、コンピュータに、画像データに対して、予め設定された画像の分割方法を変えて複数の特徴データを求めるステップと、前記複数の特徴データと外部から入力された認証用特徴データとを照合し複数の照合データを求めるステップと、前記複数の照合データを用いて統合照合データを生成するステップとを実行させることを特徴とする。

発明の効果

[0027] 本発明によれば、画像の分割方法に関する、画像の復元処理、画像の特徴抽出処理、および画像間の照合処理のいずれかの処理結果の不安定性を除去して、画像照合の識別精度を高めることができる。

図面の簡単な説明

[0028] [図 1]本発明の第 1の実施の形態に係る画像処理装置の構成を示すブロック図である。

[図 2]第 1の実施の形態に係る画像処理装置の動作を示す流れ図である。

[図 3] (A)〜 (E)は画像の複数の分割方法の具体例を示す図である。

[図 4] (A)〜（D)は画像の複数の分割方法の他の具体例を示す図である。

[図 5]本発明の第 2の実施の形態に係る画像特徴抽出装置の構成を示すブロック図である。

[図 6]本発明の第 2の実施の形態に係る画像特徴抽出装置の動作を示す流れ図である。

[図 7]本発明の第 3の実施の形態に係る画像照合装置の構成を示すブロック図である。

[図 8]本発明の第 3の実施の形態に係る画像照合装置の登録時の動作を示す流れ図である。 [図 9]本発明の第 3の実施の形態に係る画像照合装置の照合時の動作を示す流れ図である。

[図 10]本発明の第 4の実施の形態に係る画像照合装置の照合時の動作を示す流れ図である。

符号の説明

[0029] 1 画像入力部

2、 2a、 2b データ処理装置

3、 3a、 3b 結果出力部

21、 21a, 21b 制御部

22 画像分割方法辞書

23 画像分割手段

24 画像処理手段

24a 特徴抽出手段

25 画像統合手段

25a 特徴統合手段

25b 照合結果統合手段

26 データベース部

27 照合手段

発明を実施するための最良の形態

[0030] 次に、本発明を実施するための最良の形態について、図面を参照して詳細に説明する。

[0031] 本発明の実施の形態にぉヽて、画像処理方法または画像特徴抽出方法は、処理対象となる画像を復元または特徴抽出処理し、その処理結果をディスプレイなどの出力装置に出力する。さらに、画像照合方法または画像照合システムは、照合対象である画像データとデータベースなどに格納された画像データまたは特徴データとを照合し、得られた照合スコアなどの照合結果をディスプレイなどの出力装置に表示し、または判定閾値と比較し、識別判定を行う。

[0032] これらの処理対象となる画像として、例えば、人や動物の指紋や掌紋、鼻紋、顔、虹彩、血管パターン画像などが挙げられる。以下に、処理対象となる画像の例として、指紋画像を挙げて説明する。ただし、本発明は指紋画像に限定されず、本発明の技術範囲内であれば、、ずれの画像でも適用可能である。

[0033] (第 1の実施の形態）

まず、本発明の第 1の実施の形態について図 1〜図 4を参照して詳細に説明する。

[0034] 図 1を参照すると、本実施の形態に係る画像処理装置は、指紋直接入力装置等で入力された指紋画像を保持し供給する画像入力部 1と、プログラム制御により動作するデータ処理装置 2と、処理結果が出力される結果出力部 3とから構成されている。

[0035] データ処理装置 2は、機能上、画像分割方法辞書 22と、画像分割手段 23と、画像処理手段 24と、画像統合手段 25と、制御部 21とを含む。

[0036] これらの手段は、それぞれ概略つぎのように動作する。画像分割方法辞書 22は、画像入力部 1より与えられた指紋画像を小領域に分割するための複数の画像分割方法 (後述参照)が記憶されている。画像分割手段 23は、画像分割方法辞書 22の指定された画像分割方法に従い、画像入力部 1により与えられた指紋画像を小領域に分割する。画像処理手段 24は、画像分割手段 23により分割された指紋画像の各小領域の画像データを処理し、画像復元データを生成する。画像統合手段 25は、画像処理手段 24により処理された各画像分割方法に対応する画像復元データから一つの統合画像データを生成する。制御部 21は、データ処理装置 2の各部を制御する。これら各手段の機能は、コンピュータが予め設定されたプログラムを実行することにより実現される。このプログラムは、メモリゃノヽードディスク等の記憶媒体に格納される

[0037] 次に、図 1及び図 2のフローチャートを参照して本実施の形態の全体の動作について詳細に説明する。

[0038] まず、画像入力部 1より与えられた指紋画像は、制御部 21に供給される（図 2のステップ Al)。次に、制御部 21は、複数の画像分割方法が記憶されている画像分割方法辞書 22を検索し、まだ選択されて、な、画像分割方法の中から一つの画像分割方法を取り込み、取り込んだ画像分割方法および画像入力部 1より与えられた指紋画像は、画像分割手段 23に供給される (ステップ A2)。 [0039] 画像の複数の分割方法の例としては、図 3に示すような分割方法が挙げられる。図 3において、図 3 (A)は指紋画像の模式図であり、図 3 (B)〜図 3 (E)はそれぞれ同じ指紋画像に対して互いに異なる 4種類のブロック分割方法で分割した例である。この例では、どのブロック分割方法においても、指紋が押捺された領域全体が縦に 4個の列、横に 4個の行の同じサイズのブロック群に分割される力各ブロック分割方法の開始位置が異なるため、すべてのブロック分割方法は異なる。また、この例では、隣接したブロック間が重ならないとなっている力例えば、特開 2005— 115548号公報に記載されてヽるように、隣接したブロック間で部分的に重なるように設定することができる。また、画像分割方法の種類を変えて、分割された小領域のサイズや形状などを、図 3の例と異なるように設定することもできる。

[0040] 画像の複数の分割方法の他の例としては、図 4に示すような分割方法が挙げられる。図 4において、図 4 (A)は指紋画像の模式図であり、図 4 (B)〜図 4 (D)はそれぞれ同じ指紋画像に対してブロックサイズが異なる 3種類のブロック分割方法で分割した例である。この例では、各ブロック分割方法のブロックサイズが異なるため、すべてのブロック分割方法は異なる。なお、図 3及び図 4の例では、分割された小領域の位置を変える場合と、分割された小領域のサイズを変える場合とをそれぞれ説明して、る力分割された小領域の形状を変える場合には、図 3や図 4の例に示すような矩形状に限らず、例えば三角形状、五角形状、六角形状などの多角形状でも適用可能である。

[0041] 次に、画像分割手段 23は、制御部 21から与えられた画像分割方法に従い、指紋画像を小領域に分割し、その小領域画像データを画像処理手段 24に供給する (ステップ A3)。次に、画像処理手段 24は、制御部 21から与えられた小領域画像データに対して、画像処理を行い、処理結果に基づき全体の復元画像に再構成し、再構成された画像復元データを制御部 21に供給する (ステップ A4)。

[0042] この画像処理手段 24は、従来の技術によって実現することができる。例えば、特開 2005— 115548号公報〖こは、ブロック分割手段によって得られる各ブロック画像が離散フーリエ変換によって周波数成分に変換され、フーリエ変換によって得られるフ一リエ成分情報に対して、振幅が最大となる周波数を探し、振幅が最大となる周波数を中心として、その外側にいくほど小さな値を取るように各周波数におけるゲインを設定し、該ゲインをフーリエ成分情報に乗じて雑音パワーを抑制し、振幅を変えられたフーリエ成分を逆離散フーリエ変換し、逆フーリエ変換で変換された各ブロックの画像を組み合わせて復元後の全体の画像を構成する雑音除去方法が記載されている

[0043] 次に、制御部 21は、画像分割方法辞書 22に記憶されている画像分割方法のなかに、制御部 21に読み込まれていない画像分割方法があるカゝ否かを判断する (ステツプ A5)。その結果、制御部 21に読み込まれていない画像分割方法がまだある場合（ステップ A5 :YES)に、制御部 21は、読み込まれていない画像分割方法がなくなるまで、ステップ A2からステップ A4までの処理を繰り返し実行する。一方、制御部 21 に読み込まれていない画像分割方法力 Sもうない場合 (ステップ A5 : NO)に、制御部 2 1は、各画像分割方法に対応した、画像処理手段 24により処理された画像データを画像統合手段 25に供給する。

[0044] そして、画像統合手段 25は、制御部 21から与えられた各画像分割方法に対応した、複数の画像復元データから一つの統合画像データを生成し、処理結果として制御部 21に供給する (ステップ A6)。ここでの画像統合方法は、画像分割方法に対応した、画像処理手段 24により処理された複数の画像復元データに対して、各画像復元データの同じ位置にある画素の画素値の平均値を新たな画素値として採用することで統合後の全体の画像データを構成する。

[0045] 最後に、制御部 21は、画像統合手段 25から与えられた統合画像データを結果出力部 3に与える (ステップ A7)。ここでの出力装置は、例えば、オペレータが復元指紋画像の品質を検査する用途においては、ディスプレイなどの表示装置にしてもよい。

[0046] 従って、本実施の形態によれば、複数の画像分割方法を予め記憶し、画像分割方法毎に入力画像データを処理し、各画像分割方法に対応した画像処理結果を一つの画像データに統合することで、画像分割方法に関する画像処理結果の不確実性を低減させ、安定な画像処理結果を提供できる。

[0047] また、本実施の形態では、画像の分割領域の位置をずらすことによって、画像の分割方法を変化させたため、単純な構成で本発明の画像処理装置を構築できる。 [0048] (第 2の実施の形態）

次に、本発明の第 2の実施の形態について図 5及び図 6を参照して詳細に説明する。

[0049] 図 5を参照すると、本実施の形態に係る画像特徴抽出装置は、指紋直接入力装置等で入力された指紋画像を保持し供給する画像入力部 1と、プログラム制御により動作するデータ処理装置 2aと、処理結果が出力される結果出力部 3aとから構成されている。

[0050] データ処理装置 2aは、機能上、画像分割方法辞書 22と、画像分割手段 23と、特徴抽出手段 24aと、特徴統合手段 25aと、制御部 21aとを含む。

[0051] これらの手段は、それぞれ概略つぎのように動作する。画像分割方法辞書 22および画像分割手段 23は、第 1の実施の形態と同じであるので、その説明を省略する。特徴抽出手段 24aは、画像分割手段 23により分割された指紋画像の各小領域の画像データを処理し、その処理結果に基づき、特徴を抽出する。特徴統合手段 25aは、上記特徴抽出手段 24aにより抽出された各画像分割方法に対応する特徴データを統合する。制御部 21aは、データ処理装置 2aの各部を制御する。これら各手段の機能は、コンピュータが予め設定されたプログラムを実行することにより実現される。このプログラムは、メモリゃノヽードディスク等の記憶媒体に格納される。

[0052] 次に、図 5及び図 6のフローチャートを参照して本実施の形態の全体の動作について詳細に説明する。

[0053] まず、画像入力部 1より与えられた指紋画像は、制御部 21aに供給される（図 5のステツプ Bl)。次に、制御部 21aは、複数の画像分割方法が記憶されている画像分割方法辞書 22を検索し、まだ選択されてヽなヽ画像分割方法の中から一つの画像分割方法を取り込み、取り込んだ画像分割方法および画像入力部 1より与えられた指紋画像は、画像分割手段 23に供給される (ステップ B2)。この画像の複数の分割方法については、第 1の実施の形態と同じ (ステップ A2の説明参照）であるので、その説明を省略する。

[0054] 次に、画像分割手段 23は、制御部 21aから与えられた画像分割方法に従、、指紋画像を小領域に分割し、その小領域画像データを特徴抽出手段 24aに供給する (ステツプ B3)。次に、特徴抽出手段 24aは、制御部 21aから与えられた小領域画像データに対して、画像処理を行い、処理結果に基づき全体の画像に再構成し、再構成された画像復元データから特徴を抽出し、抽出された特徴データを制御部 21aに供給する (ステップ B4)。

[0055] この画像処理方法および画像再構成方法については、第 1の実施の形態と同じ (ステツプ A4の説明参照)であるので、その説明を省略する。この画像から特徴を抽出する方法は、従来の技術によって実現することができる。例えば、特公昭 60— 1267 4号公報には、指紋の紋様の特徴点およびその点での方向を抽出する技術が記載されている。

[0056] 次に、制御部 21aは、画像分割方法辞書 22に記憶されてヽる画像分割方法のなかに、制御部 21aに読み込まれていない画像分割方法があるカゝ否かを判断する (ステツプ B5)。その結果、制御部 21aに読み込まれていない画像分割方法がまだある場合 (ステップ B5 : YES)に、制御部 21aは、読み込まれていない画像分割方法がなくなるまで、ステップ B2からステップ B4までの処理を繰り返し実行する。一方、制御部 21aに読み込まれていない画像分割方法力もうない場合 (ステップ B5 : NO)に、制御部 21aは、各画像分割方法に対応した、特徴抽出手段 24aにより抽出された特徴データを特徴統合手段 25aに供給する。

[0057] そして、特徴統合手段 25aは、制御部 21aから与えられた各画像分割方法に対応した、特徴抽出手段 24aにより抽出された特徴データを一つの統合特徴データに統合し、処理結果として制御部 21aに供給する (ステップ B6)。ここでは、画像分割方法に対応した、特徴抽出手段 24aに抽出された複数の特徴データに対して、互いに照合処理し、対応付けられた特徴点の位置や方向の平均値を新たな特徴点のデータとして採用することで統合後の全体の特徴データを構成する。この照合処理自体は、従来の技術により実現できるものである。例えば、特開昭 59— 142676号公報に詳述されている。

[0058] 最後に、制御部 21aは、特徴統合手段 25aから与えられた処理結果の特徴データを結果出力部 3aに与える (ステップ B7)。ここの出力装置は、例えば、オペレータが指紋画像から抽出された特徴データを検査する用途にぉヽては、ディスプレイなどの表示装置にしてもよい。また、統合特徴データを入力指紋画像データと重ねてデイスプレイなどに表示させると、オペレータが検査しやすい。さらに、複数の特徴データを一つの統合特徴データに統合せずに、直接ティスプレイなどの出力装置に出力し、品質を検査するように設定してもよヽ。

[0059] 従って、本実施の形態によれば、複数の画像分割方法を予め記憶し、画像分割方法毎に入力画像データを処理し、各画像分割方法に対応した特徴抽出結果を一つの特徴データに統合することで、画像分割方法に関する特徴抽出結果の不確実性を低減させ、安定な特徴抽出処理結果を提供できる。

[0060] (第 3の実施の形態）

次に、本発明の第 3の実施の形態について図 7〜図 9を参照して詳細に説明する。

[0061] 図 7を参照すると、本実施の形態に係る画像照合装置 (画像照合システム）は、指紋直接入力装置等で入力された指紋画像を保持し供給する画像入力部 1と、プログラム制御により動作するデータ処理装置 2bと、処理結果が出力される結果出力部 3b とカゝら構成されている。

[0062] データ処理装置 2bは、機能上、画像分割方法辞書 22と、画像分割手段 23と、特徴抽出手段 24aと、データベース部 26と、照合手段 27と、照合結果統合手段 25bと、制御部 21bとを含む。

[0063] これらの手段は、それぞれ概略つぎのように動作する。画像分割方法辞書 22、画像分割手段 23、及び特徴抽出手段 24aは、第 2の実施の形態と同じであるので、その説明を省略する。データベース部 26は、特徴抽出手段 24aにより抽出された、各画像分割方法に対応する特徴データが登録される。照合手段 27は、特徴抽出手段 24aにより抽出された指紋画像の特徴データとデータベース 26に登録されていた、各画像分割方法に対応する特徴データとを照合し、照合結果として、照合データまたは照合スコアを生成する。照合結果統合手段 25bは、照合手段 27により照合された各画像分割方法に対応する照合結果を統合する。制御部 21bは、データ処理装置 2bの各部を制御する。これら各手段の機能は、コンピュータが予め設定されたプログラムを実行することにより実現される。このプログラムは、メモリゃノヽードディスク等の記憶媒体に格納される。 [0064] 次に、図 7及び図 8、図 9のフローチャートを参照して本実施の形態の全体の動作について詳細に説明する。

[0065] まず、本人確認用の指紋照合においては事前に指紋登録処理が必要であるため、登録時の動作を説明する。

[0066] 図 8を参照すると、指紋登録時の動作を示す流れ図であり、画像入力部 1より与えられた指紋画像は、制御部 21bに供給される (ステップ Cl)。

[0067] 次に、制御部 21bは、複数の画像分割方法が記憶されて!、る画像分割方法辞書 2 2を検索し、まだ選択されて、な、画像分割方法の中から一つの画像分割方法を取り込み、取り込んだ画像分割方法および画像入力部 1より与えられた指紋画像は、画像分割手段 23に供給される (ステップ C2)。この画像の複数の分割方法については、第 2の実施の形態と同じ (ステップ B2における説明）であるのでその説明を省略する。

[0068] 次に、画像分割手段 23は、制御部 21bから与えられた画像分割方法に従ヽ、指紋画像を小領域に分割し、その小領域画像データを特徴抽出手段 24aに供給する (ステツプ C3)。

[0069] 次に、特徴抽出手段 24aは、制御部 21bから与えられた小領域画像データに対して、画像処理を行い、処理結果に基づき全体の画像に再構成し、再構成された画像データから特徴を抽出し、抽出された特徴データを制御部 21bに供給する (ステップ C4)。これらの画像処理、画像の再構成、および特徴抽出の方法については、第 2 の実施の形態と同じ (ステップ B4の説明参照）であるので、その説明を省略する。

[0070] さらに、制御部 21bは、画像分割方法辞書 22に記憶されてヽる画像分割方法のなかに、制御部 21bに読み込まれていない画像分割方法があるカゝ否かを判断する (ステツプ C5)。その結果、制御部 21bに読み込まれていない画像分割方法がまだある場合 (ステップ C5 : YES)に、制御部 21bは、読み込まれていない画像分割方法がなくなるまで、ステップ C2からステップ C4までの処理を繰り返し実行する。

[0071] 一方、制御部 21bに読み込まれて、な、画像分割方法力 Sもうな、場合 (ステップ C 5 : NO)に、制御部 21bは、各画像分割方法に対応した、特徴抽出手段 24aにより抽出された指紋画像の特徴データをデータベース部 26に登録する (ステップ C6)。 [0072] 最後に、制御部 21bは、正常終了または異常終了等の登録結果を結果出力部 3b に与える (ステップ C7)。

[0073] 次に、既に指紋登録されている状態での照合時の動作を説明する。

[0074] 図 9を参照すると、照合時の動作を示す流れ図であり、画像入力部 1により与えられた指紋画像は、制御部 21bに供給される (ステップ Dl)。

[0075] 次に、制御部 21bは、複数の画像分割方法が記憶されて!、る画像分割方法辞書 2 2を検索し、まだ選択されて、な、画像分割方法の中から一つの画像分割方法を取り込み、取り込んだ画像分割方法および画像入力部 1より与えられた指紋画像は、画像分割手段 23に供給される (ステップ D2)。この画像の複数の分割方法については、第 2の実施の形態と同じ (ステップ B2の説明参照）であるので、その説明を省略する。

[0076] 次に、画像分割手段 23は、制御部 21bから与えられた画像分割方法に従い、指紋画像を小領域に分割し、その小領域画像データを特徴抽出手段 24aに供給する (ステツプ D3)。

[0077] 次に、特徴抽出手段 24aは、制御部 21bから与えられた小領域画像データに対して、画像処理を行い、処理結果に基づき全体の画像に再構成し、再構成された画像データから特徴を抽出し、抽出された特徴データを制御部 21bに供給する (ステップ D4)。これらの画像処理、画像の再構成および特徴抽出の方法については、第 2の実施の形態と同じ (ステップ B4の説明参照）であるので、その説明を省略する。

[0078] 次に、制御部 21bは、画像分割方法辞書 22に記憶されてヽる画像分割方法のなかに、制御部 21bに読み込まれていない画像分割方法があるカゝ否かを判断する (ステツプ D5)。その結果、制御部 21bに読み込まれていない画像分割方法がまだある場合 (ステップ D5 : YES)に、制御部 21bは、読み込まれていない画像分割方法がなくなるまで、ステップ D2からステップ D4までの処理を繰り返し実行する。

[0079] 一方、制御部 21bに読み込まれて、な、画像分割方法力 Sもうな、場合 (ステップ D 5 : NO)に、制御部 21bは、データベース部 26に登録されている各画像分割方法に対応した特徴データを読み込み、入力指紋画像から抽出された各画像分割方法に対応した特徴データと合わせて、照合手段 27に供給する。 [0080] 次に、照合手段 27は、入力指紋画像の抽出された各画像分割方法に対応した特徴データと登録された各画像分割方法に対応した特徴データとを互いに照合処理し、照合データまたは照合スコアを照合結果統合手段 25bに供給する (ステップ D6)。ここでは、照合処理の組み合わせ方法について、入力指紋画像の複数の特徴データと登録された複数の特徴データとのすべての組み合わせについて照合処理を行うように設定することができる。また、対応する画像分割方法の特徴データ同士のみ照合処理を行うように設定することもできる。この照合処理自体は、従来の技術により実現できるものである。例えば、特開昭 59— 142676号公報に詳述されている。

[0081] さらに、照合結果統合手段 25bは、与えられた照合データまたは照合スコアを統合し、統合後の照合データまたは照合スコアを制御部 21bに供給する (ステップ D7)。ここでは、照合データを統合する際に、例えば、複数の照合データの共通対応特徴量を新たな特徴量として採用することで統合照合データを構成するようにしてもょ、。また、照合スコアを統合する際に、すべての照合スコアの平均値を新たな照合スコア値として採用することで統合後の照合スコアを構成する。また、すべての照合スコアの最大値、或いは最小値を新たな照合スコア値として採用することで統合後の照合スコアを構成するように設定することができる。

[0082] 最後に、制御部 21bは、与えられた統合後の照合データまたは照合スコアを結果出力部 3bに与える (ステップ D8)。ここで、例えば、個人認証の用途において、統合照合スコアと予め定められた照合スコア閾値と比較し、比較結果を照合される指紋画像が同じ指のものかどうかの判定結果として結果出力部 3bに出力してもよい。

[0083] 従って、本実施の形態によれば、複数の画像分割方法を予め記憶し、画像分割方法毎に入力画像データを処理し、各画像分割方法に対応した特徴抽出結果とデータベースに登録された比較対象の特徴データと照合し、得られた照合結果を統合することで、画像分割方法に関する照合結果データの不確実性を低減させ、安定な照合結果を提供できる。このため、画像間の照合スコアの不確実性および画像照合システムの識別エラー率を減少でき、画像照合システムの識別精度を高める効果が得られる。

[0084] (第 4の実施の形態）次に、本発明の第 4の実施の形態について図 10を参照して詳細に説明する。本実施の形態に係る画像照合装置 (画像照合システム）は、第 3の実施の形態と比べると、その構成（図 7参照）および指紋登録時の動作（図 8参照）が同じであるが、照合時の動作が異なる。以下、図 10のフローチャートを参照して、指紋登録されている状態での、照合時の動作について詳細に説明する。

[0085] 図 10を参照すると、照合時の動作を示す流れ図であり、画像入力部 1により与えられた指紋画像は、制御部 21bを通じて画像分割手段 23に供給される (ステップ E1) 。次に、画像分割手段 23は、固定された画像分割方法に従い、指紋画像を小領域に分割し、その小領域画像データを特徴抽出手段 24aに供給する (ステップ E2)。

[0086] 次に、特徴抽出手段 24aは、制御部 21bから与えられた小領域画像データに対して、画像処理を行い、処理結果に基づき全体の画像に再構成し、再構成された画像データから特徴を抽出し、抽出された特徴データを制御部 21bに供給する (ステップ E3)。これらの画像処理、画像の再構成および特徴抽出の方法については、第 2の実施の形態と同じ (ステップ B4の説明参照）であるので、その説明を省略する。

[0087] 次に、制御部 21bは、データベース部 26に登録されている各画像分割方法に対応した特徴データを読み込み、与えられた指紋画像の特徴データとデータベース部 26 に登録されて!ヽる各画像分割方法に対応した特徴データを、照合手段 27に供給する（ステップ E4)。

[0088] 次に、照合手段 27は、指紋画像から抽出された特徴データと、データベース部 26 に登録されて!ヽる各画像分割方法に対応した特徴データとを照合処理し、照合結果または照合スコアを照合結果統合手段 25bに供給する (ステップ E5)。この照合処理の組み合わせ方法は、入力指紋画像の特徴データと比較対象の複数の特徴データのそれぞれと照合処理を行うように設定できる。この照合処理自体は、従来の技術により実現できるものである。例えば、特開昭 59— 142676号公報に詳述されている。

[0089] さらに、照合結果統合手段 25bは、与えられた照合結果または照合スコアを統合し、統合後の照合結果または照合スコアを制御部 21bに供給する (ステップ E6)。ここでは、照合スコアを統合する際に、すべての照合スコアの平均値を新たな照合スコア値として採用することで統合後の照合スコアを構成する。また、すべての照合スコアの最大値、或いは最小値を新たな照合スコア値として採用することで統合後の照合スコアを構成するように設定することができる。

[0090] 最後に、制御部 21bは、与えられた統合後の照合結果または照合スコアを結果出力部 3bに与える (ステップ E7)。

[0091] 従って、本実施の形態によれば、照合時の処理量が多い特徴抽出処理の処理回数が一回のみであるため、計算リソースが少ない携帯端末等の装置でも、安定な照合結果が得られる高精度な指紋個人認証機能が実現できる効果が得られる。

[0092] 以上、第 1〜第 4の実施の形態を詳細に説明したが、本発明は、代表的に例示した上述の各実施の形態に限定されるものではなぐ当業者であれば、特許請求の範囲の記載内容に基づき、本発明の要旨を逸脱しない範囲内で種々の態様に変形、変更することができる。これらの変形例や変更例も本発明の権利範囲に属するものである。

[0093] 例えば、第 1の実施の形態に係る画像処理装置、第 2の実施の形態に係る画像特徴抽出装置、第 3及び第 4の実施の形態に係る画像照合装置 (画像照合システム)を構成する各手段の少なくとも一部の機能を、プログラムコードを用いて実現する場合、力かるプログラムコード及びこれを記録する記録媒体は、本発明の範疇に含まれる。この場合、オペレーティングシステムやアプリケーションソフト等の他のソフトウェアと共同して上記機能が実現される場合は、それらのプログラムコードも含まれる。

産業上の利用可能性

[0094] 本発明は、指紋、掌紋、鼻紋、虹彩、顔、血管パターン、テクスチャーパターン画像等の画像に好適に利用できる画像処理、画像特徴抽出、および画像照合を行う装置、方法、プログラム並びに画像照合システムの用途に利用可能である。

Claims

請求の範囲

[1] 入力画像を分割領域毎に画像強調する画像強調手段と、

前記画像強調手段を複数の入力画像分割方法にしたがって前記入力画像に作用させる制御手段と、

前記複数の入力画像分割方法を利用して画像強調された入力画像を合成して統合画像を生成する画像統合手段と

を備えたことを特徴とする画像処理装置。

[2] 前記画像強調手段は、前記入力画像の特徴を抽出するための前処理を施すことを特徴とする請求項 1記載の画像処理装置。

[3] 前記画像強調手段は、前記入力画像から雑音を除去することを特徴とする請求項

1又は 2記載の画像処理装置。

[4] 前記画像統合手段は、前記複数の入力画像分割方法を利用して画像強調された入力画像の同じ位置にある画素の画素値の平均値を前記統合画像の同じ位置にある画素の画素値とすることを特徴とする請求項 1乃至 3のいずれか 1項に記載の画像処理装置。

[5] 前記複数の入力画像分割方法は、分割領域の位置、サイズ、及び形状の少なくとも 1つが異なることを特徴とする請求項 1乃至 4のいずれか 1項に記載の画像処理装置。

[6] 入力画像を複数の領域に分割し該領域毎に画像特徴を抽出する画像特徴抽出手段と、

前記画像特徴抽出手段を複数の入力画像分割方法にしたがって前記入力画像に作用させる制御手段と、

前記複数の入力画像分割方法を利用して抽出された複数の特徴データを出力する画像特徴出力手段と

を備えたことを特徴とする画像特徴抽出装置。

[7] 前記複数の特徴データを用いて、全体の統合特徴データを生成する特徴統合手段をさらに備えたことを特徴とする請求項 6記載の画像特徴抽出装置。

[8] 前記特徴統合手段は、前記複数の特徴データの対応特徴量の平均値を前記統合特徴データの特徴量とすることを特徴とする請求項 7記載の画像特徴抽出装置。

[9] 前記複数の入力画像分割方法は、分割領域の位置、サイズ、及び形状の少なくとも 1つが異なることを特徴とする請求項 6乃至 8のいずれか 1項に記載の画像特徴抽出装置。

[10] 入力画像を複数の領域に分割し該領域毎に画像特徴を抽出し認証用特徴データと照合して照合結果を生成する照合手段と、

前記照合手段を複数の入力画像分割方法にしたがって前記入力画像に作用させる制御手段と、

前記複数の入力画像分割方法を利用して照合された複数の照合結果から照合データを統合する照合統合手段と

を備えたことを特徴とする画像照合装置。

[11] 前記照合統合手段は、前記複数の照合データの共通対応特徴量を、統合された照合データの対応特徴量とすることを特徴とする請求項 10記載の画像照合装置。

[12] 前記複数の入力画像分割方法は、分割領域の位置、サイズ、及び形状の少なくとも 1つが異なることを特徴とする請求項 10又は 11記載の画像照合装置。

[13] 画像データに対して、予め設定された画像の分割方法を変えて処理を施して、複数の処理された画像データを求めるステップと、

前記複数の処理された画像データを用いて統合画像データを生成するステップとを有することを特徴とする画像処理方法。

[14] 前記複数の処理された画像データを求めるステップは、画像の分割領域の位置、サイズ、及び形状の少なくとも 1つを変更して前記画像の分割方法を変えることを特徴とする請求項 13記載の画像処理方法。

[15] 画像データに対して、予め設定された画像の分割方法を変えて複数の特徴データを求めるステップと、

前記複数の特徴データを用いて統合特徴データを生成するステップとを有することを特徴とする画像特徴抽出方法。

[16] 前記複数の特徴データを求めるステップは、画像の分割領域の位置、サイズ、及び形状の少なくとも 1つを変更して前記画像の分割方法を変えることを特徴とする請求項 15記載の画像特徴抽出方法。

[17] 画像データに対して、予め設定された画像の分割方法を変えて複数の特徴データを求めるステップと、

前記複数の特徴データと外部から入力された認証用特徴データとを照合し複数の照合データを求めるステップと、

前記複数の照合データを用いて統合照合データを生成するステップとを有することを特徴とする画像照合方法。

[18] 前記複数の特徴データを求めるステップは、画像の分割領域の位置、サイズ、及び形状の少なくとも 1つを変更して前記画像の分割方法を変えることを特徴とする請求項 17記載の画像照合方法。

[19] 画像データに対して、予め設定された画像の分割方法を変えて複数の特徴データを求める手段と、

前記複数の特徴データと外部から入力された認証用特徴データとを照合し複数の照合スコアデータを求める手段と、

前記複数の照合スコアデータを用いて統合照合スコアデータを生成する手段と、前記統合照合スコアデータと予め設定された閾値とを比較して認証を行う手段とを備えたことを特徴とする画像照合システム。

[20] 前記複数の特徴データを求める手段は、画像の分割領域の位置、サイズ、及び形状の少なくとも 1つを変更して前記画像の分割方法を変えることを特徴とする請求項 19記載の画像照合システム。

[21] 前記統合照合スコアデータを生成する手段は、前記複数の照合スコアデータの平均値、最大値、及び最小値の少なくとも 1つを求めて統合照合スコアデータの値とすることを特徴とする請求項 19又は 20に記載の画像照合システム。

[22] コンピュータに、

画像データに対して、予め設定された画像の分割方法を変えて処理を施して、複数の処理された画像データを求めるステップと、

前記複数の処理された画像データを用いて統合画像データを生成するステップとを実行させることを特徴とする画像処理用プログラム。

[23] コンピュータに、

画像データに対して、予め設定された画像の分割方法を変えて複数の特徴データを求めるステップと、

前記複数の特徴データを用いて統合特徴データを生成するステップとを実行させることを特徴とする画像特徴抽出用プログラム。

[24] コンピュータに、

前記複数の照合データを用いて統合照合データを生成するステップとを実行させることを特徴とする画像照合用プログラム。