JP6493991B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

［関連出願についての記載］
本発明は、日本国特許出願：特願２０１４−２６５７６８号（２０１４年１２月２６日出願）に基づくものであり、同出願の全記載内容は引用をもって本書に組み込み記載されているものとする。
本発明は、画像処理装置、画像処理方法及びプログラムに関する。特に、入力画像の特徴を特定する画像処理装置、画像処理方法及びプログラムに関する。

曲線縞模様の多数の隆線により構成される指紋、掌紋は、古くから人物特定の手段として利用されている。特に、犯罪現場に残された遺留指紋を用いる照合は、効果的な捜査手段として活用されている。多くの警察機関には、コンピュータを利用した指紋照合システムが導入されている。データベースに登録された指紋画像と犯罪現場等にて採取された遺留指紋それぞれの特徴点を比較することで、遺留指紋に対応する人物の特定がなされる。また、指紋照合に用いられる特徴点には、指紋隆線の端点や分岐点が用いられることが多い。

特許文献１には、毛氈特性を抽出し、その出現パターンを解析し、それを予め定められた条件式で判断するという方法で正確に毛氈や汗腺口を抽出し除去できる構成を提供する、と記載されている。

特許文献２には、パラメータや処理負荷を増大させずに、画像の変形、線形空間フィルタ処理、輝度分布補正処理などの様々な種類の空間的変換処理を行える方法・装置を提供する、と記載されている。また、特許文献２には、輝度画像だけでなく、ＬＢＰ（Local Binary Pattern）画像やエッジ抽出画像を対象とした画像処理が記載されている。

特開２００７−４８０００号公報 特開２０１１−８６２６５号公報

なお、上記先行技術文献の各開示を、本書に引用をもって繰り込むものとする。以下の分析は、本発明者らによってなされたものである。

上述のように、指紋は人物特定のための有効な生体情報である。しかし、遺留指紋を捜査手段として用いる場合には、その品質が問題となる。遺留指紋に係る指紋画像は、多くのノイズを含み低品質であるのが通常である。そのため、遺留指紋に係る指紋画像に対してノイズ除去処理等を実施した後、当該指紋画像とデータベースに格納された指紋画像の照合が行われることが多い。

指紋画像の照合には、指紋画像を構成する隆線と、隆線の端点や分岐点からなる特徴点と、が指紋画像を特徴付ける情報として扱われることが多い。この場合、隆線や特徴点以外の情報はノイズと扱われ、指紋画像にノイズが含まれる場合には、そのようなノイズを除去する処理が必要となる。

例えば、図２１（ａ）に示す指紋画像に対し隆線抽出処理を施すと、図２１（ｂ）に示す隆線構造が抽出されることがある。図２１（ｂ）では、図２１（ａ）の点線円にて示す領域４０１や、領域４０２に含まれる白点（白領域）が、隆線の分岐点として扱われ、当該分岐点から延伸する２本の隆線４１１及び４１２が抽出されている。しかし、図２１（ａ）に示す指紋画像から隆線を抽出した場合には、図２１（ｃ）に示す隆線構造が抽出されることが期待される。即ち、図２１（ａ）に示す領域４０１、領域４０２に含まれる白点は隆線の分岐点ではなく、正しくは汗腺口であり、これらの汗腺口が正しい隆線の抽出を妨げている。また、図２１（ａ）には、領域４０１、領域４０２の白点以外にも複数の汗腺口が含まれ、これらの汗腺口に起因し、図２１（ｂ）に示す隆線構造が抽出されている。このように、隆線上の汗腺口は正しい隆線の抽出を妨げるため、汗腺口は指紋画像に重畳するノイズとみなし、除去されることが望まれる。

指紋画像の汗腺口をノイズとみなして除去するためには、汗腺口の存在を正しく認識する必要がある。隆線上の汗腺口を正しく認識できれば、認識された汗腺口の領域を塗りつぶす等の処理により、ノイズを除去できるためである。ここで、指紋画像に精通した鑑識官等が、図２１（ａ）に示す指紋画像に接すれば、領域４０１等に存在する白点は汗腺口であると比較的容易に判断できる。しかし、コンピュータによる画像処理に係るアルゴリズムにて、領域４０１等の白点が汗腺口であると判断するのは困難である。

仮に、コンピュータを用いた画像処理であっても、隆線が正しく抽出されていれば、当該抽出された隆線上の白点は汗腺口であると判断できる。しかし、正しい隆線を抽出するためには、汗腺口を削除する等の画像処理が必要となる。このように、指紋画像に写る汗腺口を除去しようとすると、隆線を抽出するには先に汗腺口を抽出しなければならない、汗腺口を抽出するには先に隆線を抽出しなければならないという、謂わば「鶏と卵」の関係が生じる。

この種の問題は、特許文献１に開示された技術でも生じ得る。特許文献１に開示された技術では、汗腺口の抽出前に隆線方向を抽出している。しかし、隆線方向の抽出には隆線自身が正しく抽出されていることが前提であるはずであり、指紋画像から汗腺口を除去する前に抽出された隆線構造には誤りがある可能性が存在する。

さらに、指紋取得時の状況によっては、指紋画像を構成する領域ごとに重畳しているノイズが異なるという問題がある。例えば、領域Ａの隆線上には汗腺口が多く存在し、領域Ｂの隆線上には汗腺口がほとんど存在しないという指紋画像が存在し得る。このような指紋画像に関し、指紋画像の有する特徴を画一的に定めることはできない。具体的には、上記指紋画像の特徴を、領域Ａの特徴に着目し「汗腺口が多い」と設定したり、領域Ｂの特徴に着目し「汗腺口が少ない」のように設定したりすることはできない。詳細は後述するが、領域Ａの特徴に応じて、汗腺口を除去するための処理を指紋画像全体に施すと、汗腺口がほとんど存在しない領域Ｂの品質が低下するためである。即ち、画像を構成する各領域が有する特徴が個別に特定されることが望まれる。

本発明は、画像の局所領域ごとに、各局所領域の特徴を特定する、画像処理装置、画像処理方法及びプログラムを提供することを目的とする。

本発明の第１の視点によれば、画像を入力する入力部と、前記入力部が入力した入力画像の局所領域における質感を特徴付ける画像特徴量を算出する、特徴量算出部と、前記画像特徴量から、前記局所領域に対応する第１の特徴量ベクトルを算出する、特徴量ベクトル算出部と、前記第１の特徴量ベクトルと同種の方法により算出される特徴量ベクトルであって、予め特徴が判定された画像から算出される第２の特徴量ベクトルと、前記第１の特徴量ベクトルと、に基づいて、前記局所領域の特徴を特定する、特徴特定部と、を備え、前記特徴量算出部は、前記局所領域を構成する複数の画素それぞれからＬＢＰ（Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ）値を算出すると共に、前記局所領域に含まれる複数の画素それぞれに対応する前記ＬＢＰ値のヒストグラムを、前記画像特徴量として算出し、前記特徴量算出部は、比較対象画素と中心画素間の距離が異なる複数の前記ＬＢＰ値を算出し、前記特徴量ベクトル算出部は、前記複数のＬＢＰ値から得られるヒストグラムを組み合わせて前記第１の特徴量ベクトルを算出する、画像処理装置が提供される。

本発明の第２の視点によれば、画像を入力するステップと、前記入力された入力画像の局所領域における質感を特徴付ける画像特徴量を算出するステップと、前記画像特徴量から、前記局所領域に対応する第１の特徴量ベクトルを算出するステップと、前記第１の特徴量ベクトルと同種の方法により算出される特徴量ベクトルであって、予め特徴が判定された画像から算出される第２の特徴量ベクトルと、前記第１の特徴量ベクトルと、に基づいて、前記局所領域の特徴を特定するステップと、を含み、前記画像特徴量を算出するステップは、前記局所領域を構成する複数の画素それぞれからＬＢＰ（Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ）値を算出すると共に、前記局所領域に含まれる複数の画素それぞれに対応する前記ＬＢＰ値のヒストグラムを、前記画像特徴量として算出し、前記画像特徴量を算出するステップは、比較対象画素と中心画素間の距離が異なる複数の前記ＬＢＰ値を算出し、前記第１の特徴量ベクトルを算出するステップは、前記複数のＬＢＰ値から得られるヒストグラムを組み合わせて前記第１の特徴量ベクトルを算出する、画像処理方法が提供される。

本発明の第３の視点によれば、画像を入力する処理と、前記入力された入力画像の局所領域における質感を特徴付ける画像特徴量を算出する処理と、前記画像特徴量から、前記局所領域に対応する第１の特徴量ベクトルを算出する処理と、前記第１の特徴量ベクトルと同種の方法により算出される特徴量ベクトルであって、予め特徴が判定された画像から算出される第２の特徴量ベクトルと、前記第１の特徴量ベクトルと、に基づいて、前記局所領域の特徴を特定する処理と、を画像処理装置を制御するコンピュータに実行させるプログラムであって、前記画像特徴量を算出する処理は、前記局所領域を構成する複数の画素それぞれからＬＢＰ（Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ）値を算出すると共に、前記局所領域に含まれる複数の画素それぞれに対応する前記ＬＢＰ値のヒストグラムを、前記画像特徴量として算出し、前記画像特徴量を算出する処理は、比較対象画素と中心画素間の距離が異なる複数の前記ＬＢＰ値を算出し、前記第１の特徴量ベクトルを算出する処理は、前記複数のＬＢＰ値から得られるヒストグラムを組み合わせて前記第１の特徴量ベクトルを算出する、プログラムが提供される。
なお、このプログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント（non-transient）なものとすることができる。本発明は、コンピュータプログラム製品として具現することも可能である。

本発明の各視点によれば、画像の局所領域ごとに、各局所領域の特徴を特定することに寄与する、画像処理装置、画像処理方法及びプログラムが、提供される。

一実施形態の概要を説明するための図である。 第１の実施形態に係る画像ノイズ除去システムの一例を示す図である。 指紋画像の一例を示す図である。 局所領域が有する特徴とその名称の関係の一例を示す図である。 画像処理装置の内部構成の一例を示す図である。 特徴量算出部による画像特徴量の算出動作を説明するための図である。 特徴量算出部によるＬＢＰ値の算出動作を説明するための図である。 特徴量算出部が算出するヒストグラムの一例を示す図である。 特徴量ベクトル算出部が出力する情報の一例を示す図である。 記憶部に構築される画像特徴データベースの一例である。 特徴特定部が出力する局所領域特徴情報の一例を示す図である。 画像処理装置の動作の一例を示すフローチャートである。 第１の実施形態に係るフィルタ装置の内部構成の一例を示す図である。 指紋画像の一例を示す図である。 指紋照合における照合精度特性曲線の一例を示す図である。 第２の実施形態に係る画像領域抽出システムの一例を示す図である。 第２の実施形態に係る画像検査システムの一例を示す図である。 第２の実施形態に係る画質警報システムの一例を示す図である。 記憶部に構築される画像特徴データベースの他の一例である。 画像処理装置の内部構成の他の一例を示す図である。 （ａ）指紋画像の一例と、（ｂ）、（ｃ）指紋画像から抽出された隆線構造の一例と、を示す図である。

初めに、一実施形態の概要について説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、この概要の記載はなんらの限定を意図するものではない。

上述のように、画像の局所領域ごとに、各局所領域の特徴を特定することが望まれる。

そこで、一例として図１に示す画像処理装置１００を提供する。画像処理装置１００は、入力部１０１と、特徴量算出部１０２と、特徴量ベクトル算出部１０３と、特徴特定部１０４と、を備える。入力部１０１は、画像を入力する。特徴量算出部１０２は、入力部１０１が入力した入力画像の局所領域における質感を特徴付ける画像特徴量を算出する。特徴量ベクトル算出部１０３は、画像特徴量から、局所領域に対応する第１の特徴量ベクトルを算出する。特徴特定部１０４は、第１の特徴量ベクトルと同種の方法により算出される特徴量ベクトルであって、予め特徴が判定された画像から算出される第２の特徴量ベクトルと、第１の特徴量ベクトルと、に基づいて、局所領域の特徴を特定する。

画像処理装置１００は、指紋画像の局所的な質感を示す画像特徴量を算出し、当該画像特徴量を、第１の特徴量ベクトルの形式にて数値化する。また、画像処理装置１００は、算出した第１の特徴量ベクトルと、ノイズ（例えば、隆線上の汗腺口や隆線のかすれ）が重畳した画像から算出された第２の特徴量ベクトルと、の類似度等を計算するなどして、第１の特徴量ベクトルに近似する第２の特徴量ベクトルを特定する。第２の特徴量ベクトルは、予め特徴が判定されている画像から算出され、画像の特徴と関連付けられているため、画像処理装置１００は、第１の特徴量ベクトルに近い第２の特徴量ベクトルを特定することで、局所領域の特徴を特定できる。なお、本書における質感には、少なくとも、入力画像を構成する各画素それぞれの輝度値（画素値）の相違から生じる凹凸の高低ないしその大きさ、明暗の幅ないしその繰り返しの周期、近似する輝度の勾配方位、等により表せる表面性状が含まれる。

以下に具体的な実施の形態について、図面を参照してさらに詳しく説明する。なお、各実施形態において同一構成要素には同一の符号を付し、その説明を省略する。

［第１の実施形態］
第１の実施形態について、図面を用いてより詳細に説明する。

図２は、第１の実施形態に係る画像ノイズ除去システムの一例を示す図である。図２を参照すると、画像ノイズ除去システムは、画像処理装置１０と、フィルタ装置２０と、を含んで構成される。

画像処理装置１０は、指紋画像を入力する。画像処理装置１０は、入力した指紋画像を複数の領域に分割し、当該分割された局所領域の特徴を特定する。例えば、画像処理装置１０は、５１２ピクセル×５１２ピクセルのサイズの指紋画像を入力し、当該指紋画像を３２ピクセル×３２ピクセルの局所領域（ブロック）に分割する（図３参照）。即ち、画像処理装置１０は、入力した指紋画像を縦方向、横方向ともに１６分割する。

画像処理装置１０は、局所領域それぞれの特徴を特定する。例えば、図３に示す局所領域２０１には指紋が写っていないので、画像処理装置１０は、局所領域２０１の特徴を「非指紋」とする。または、局所領域２０２の隆線上に汗腺口が多く存在する場合には、画像処理装置１０は、局所領域２０２の特徴を「汗腺口」とする。あるいは、局所領域２０３には、隆線が途切れるなどの特徴が認められる場合には、画像処理装置１０は、局所領域２０３の特徴を「かすれ」とする。

このように、画像処理装置１０は、指紋画像を構成する局所領域それぞれの特徴を特定する。なお、第１の実施形態では、局所領域の特徴とその名称の関係を図４のように規定し、説明する。但し、画像処理装置１０が扱う局所領域の特徴を、図４の開示に限定する趣旨ではない。例えば、画像処理装置１０が特定する各局所領域の特徴には、皺や毛氈等が考えられる。皺は汗腺口と同様に、隆線画素群の内部に存在する白色領域であり、谷線と誤認される可能性がある。また、毛氈は、谷線画素群の内部に存在する黒色領域であり、隆線と誤認される可能性がある。即ち、皺や毛氈等は、本来あるべき濃度値と反対の濃度値を有する領域と言える。

ここで、図４に示す特徴のうち、「非指紋」と「指紋」を除くと、画像処理装置１０が特定する各局所領域の特徴は、入力した指紋画像に重畳しているノイズとみなすことができる。従って、画像処理装置１０は、指紋画像の局所領域にどのようなノイズが重畳しているかを特定する装置とみなせる。

図２を参照すると、画像処理装置１０は、指紋画像と、指紋画像を構成する局所領域ごとの特徴と、をフィルタ装置２０に出力する。フィルタ装置２０は、画像処理装置１０から取得した局所領域ごとの特徴に基づき、指紋画像に対してノイズを除去する処理（フィルタリング処理）を施す。その際、フィルタ装置２０は、指紋画像の局所領域ごとに、当該局所領域に適した処理を施す。

例えば、図３を参照すると、局所領域２０２は「汗腺口」に係る特徴を有するので、フィルタ装置２０は、指紋画像の局所領域２０２に対して汗腺口を除去するような処理を施す。具体的には、フィルタ装置２０は、局所領域２０２に含まれる各画素とその近傍の画素の画素値を平均することで、局所領域２０２の画像を「ぼかす」処理を施す。局所領域２０２に対して、ぼかし処理が施されることで、隆線上の汗腺口が除去される。

また、図３に示す局所領域２０３は、「かすれ」に係る特徴を有するので、フィルタ装置２０は、指紋画像の局所領域２０３に対して「隆線のかすれ」を除去するような処理を施す。具体的には、フィルタ装置２０は、局所領域２０３における途切れた隆線を接続するような処理を施す。フィルタ装置２０は、フィルタリング処理が施された指紋画像を、後段の装置（例えば、特徴点抽出装置；図示せず）に出力する。

図５は、画像処理装置１０の内部構成の一例を示す図である。図５を参照すると、画像処理装置１０は、画像入力部１１と、特徴量算出部１２と、特徴量ベクトル算出部１３と、特徴特定部１４と、出力部１５と、ハードディスク等の記録媒体からなる記憶部１６と、を含んで構成される。

画像入力部１１は、指紋画像を入力する。具体的には、画像入力部１１は、ＵＳＢ（Universal Serial Bus）メモリ等の外部記憶装置に格納された画像データを指紋画像として入力する。あるいは、画像入力部１１は、ネットワークを介して指紋画像を入力してもよい。あるいは、画像入力部１１に所謂スキャナ機能を持たせて、指紋を撮影することで指紋画像を入力してもよい。なお、入力する指紋画像は、各画素の輝度値が８ビット（０〜２５５）で表現されたグレースケール画像とする。但し、入力する指紋画像の形式（画像の階調、色彩のフォーマット等）を限定する趣旨ではなく、例えば、指紋画像はカラー画像であってもよい。また、第１の実施形態では、指紋画像のサイズは５１２ピクセル×５１２ピクセルとして説明するが、指紋画像のサイズを限定する趣旨ではない。指紋画像のサイズは他の大きさであってもよいことは勿論である。画像入力部１１は、取得した指紋画像を特徴量算出部１２に出力する。

特徴量算出部１２は、画像入力部１１が入力した入力画像（指紋画像）の局所領域における質感（テクスチャー）を特徴付ける画像特徴量を算出する手段である。具体的には、特徴量算出部１２は、指紋画像を予め定めた大きさに分割し、当該分割された領域（局所領域）ごとに、局所領域の質感を特徴付ける画像特徴量を算出する。第１の実施形態では、特徴量算出部１２は、局所領域の画像特徴量として、ＬＢＰ（Local Binary Pattern）特徴量を算出する。

例えば、特徴量算出部１２は、図６（ａ）に示すような５１２ピクセル×５１２ピクセルの指紋画像を縦、横それぞれ１６分割する（図６（ｂ）参照）。分割された領域のそれぞれが、局所領域（ＬＡ；Local Area）となる。図６以降の図面において、指紋画像における局所領域の位置をＬＡ（Ｘ、Ｙ）のように示す（但し、Ｘ、Ｙは、０≦Ｘ、Ｙ≦１５の範囲の整数）。

なお、特徴量算出部１２における指紋画像の分割数は、１６に限定されない。１６よりも大きい数字であってもよいし、小さい数字であってもよい。さらに、指紋画像の縦方向と横方向にて、分割数が異なっていてもよい。例えば、縦方向に１６分割、横方向に３２分割としてもよい。

特徴量算出部１２は、図６（ｂ）に示す局所領域ごとにＬＢＰ特徴量を算出する。特徴量算出部１２は、ＬＢＰ特徴量の算出にあたり、指紋画像をなす画素の画素値からＬＢＰ値を算出する。特徴量算出部１２は、ＬＢＰ値の算出対象となる画素を中心画素に設定し、当該中心画素とその比較対象画素の画素値（輝度値）を比較することで、ＬＢＰ値を算出する。具体的には、特徴量算出部１２は、中心画素の画素値が比較対象画素の画素値以下の場合には、当該比較対象画素に「０」を割り当てる。一方、特徴量算出部１２は、中心画素の画素値が比較対象画素の画素値よりも大きい場合には、当該比較対象画素に「１」を割り当てる。

特徴量算出部１２は、各比較対象画素に対して「０」又は「１」を割り当て、所定の比較対象画素（例えば、中心画素からみた左上の画素）を先頭に、算出した数字を並べる。並べられた数字の列がＬＢＰ値となる。

例えば、図７に示す中心画素２１０のＬＢＰ値を算出する場合について説明する。なお、図７において、括弧で示す数字は、特徴量算出部１２による画素値の比較処理により得られる値（０又は１）を示す。例えば、特徴量算出部１２は、比較対象画素２１１の画素値と、中心画素２１０の画素値と、を比較し、その結果「０」を記憶する。特徴量算出部１２は、比較対象画素２１２〜２１８に関し同様の処理を繰り返す。その結果、比較対象画素２１１〜２１８は、００１１１００１（１０進数；５７）に符号化される。特徴量算出部１２は、中心画素２１０のＬＢＰ値として、符号化された値を設定する（上述の例では、中心画素２１０のＬＢＰ値は５７となる）。

比較対象画素の数（上記の例では８）をＰ、比較対象画素と中心画素の距離に相当する画素数（上記の例では１）をＲとすると、ＬＢＰ_P,Rは、以下の式（１）により算出される。

なお、ｇ_ｃは中心画素の画素値、ｐは比較対象画素の順序、ｇ_ｐはｐ番目の比較対象画素の画素値である。また、指紋画像の境界に位置する画素のＬＢＰ値を算出する場合には、特徴量算出部１２は、存在しない画素の画素値を予め定めておき、ＬＢＰ値の算出に利用してもよい。

ここで、例えば、指紋画像Ａと指紋画像Ｂという２つの指紋画像から各画素のＬＢＰ値を算出する場合を考える。この場合、指紋画像Ａと指紋画像Ｂの質感がほぼ同じであったとしても、指紋画像Ｂが指紋画像Ａに対して僅かに傾いていると、それぞれの画像から算出されるＬＢＰ値は大きく異なったものとなる。このような不都合を解消するため、実際には、ｒｏｔａｔｉｏｎ−ｉｎｖａｒｉａｎｔ ｕｎｉｆｏｒｍ ＬＢＰと呼ばれる手法によりＬＢＰ値を算出するのが望ましい。つまり、比較対象画素の位置を順次回転させてＬＢＰ値を計算し、複数得られるＬＢＰ値のうちの最小値を中心画素のＬＢＰ値とするのが望ましい。但し、第１の実施形態では、理解の容易のため、指紋画像間の傾きは存在しないものとして、式（１）により算出されるＬＢＰ値を用いる。従って、ＬＢＰ値の取り得る範囲は０〜２５５となる。

また、画像処理装置１０に入力した指紋画像の各画素が有する画素値を、特徴量算出部１２が算出したＬＢＰ値に置き替えると、ＬＢＰ画像が得られる。即ち、画像処理装置１０の内部では、入力した指紋画像をＬＢＰ画像に変換していると捉えることもできる。

特徴量算出部１２は、指紋画像を構成する各画素のＬＢＰ値の算出を終えると、局所領域ごとに、ＬＢＰ特徴量を算出する。

特徴量算出部１２は、各局所領域に対応するＬＢＰ特徴量を、指紋画像を構成する各画素のＬＢＰ値（ＬＢＰ画像の画素値）から算出する。指紋画像は５１２ピクセル×５１２ピクセルの大きさであり、この指紋画像を縦、横それぞれ１６分割しているため、１つの局所領域には、１０２４（５１２／１６＝３２；３２×３２＝１０２４）個の画素が含まれる。つまり、１つの局所領域からは、１０２４個のＬＢＰ値が取得される。

特徴量算出部１２は、ＬＢＰ値が取り得る値を所定の範囲にて区切り、階級（Ｃｌａｓｓ）を生成する。次に、特徴量算出部１２は、各階級に属するＬＢＰ値の数を計数する。階級ごとに計数されたＬＢＰ値の数が、度数（Ｆｒｅｑｕｅｎｃｙ）となる。例えば、ＬＢＰ値が取り得る値（０〜２５５）を８分割することで階級を生成すると、図８のような階数−度数の関係（ヒストグラム）が得られる。図８に示すようなヒストグラムが、指紋画像をなす各局所領域の質感を特徴付けるＬＢＰ特徴量である。特徴量算出部１２は、各局所領域それぞれのＬＢＰ特徴量に関する情報（ヒストグラム）を特徴量ベクトル算出部１３に引き渡す。

特徴量ベクトル算出部１３は、特徴量算出部１２が算出したＬＢＰ特徴量から、各局所領域に対応する特徴量ベクトル（第１の特徴量ベクトル）を算出する手段である。より具体的には、特徴量ベクトル算出部１３は、ヒストグラムをなす階級から、所定の階級を選択し、選択された階級に属する度数を要素とすることで、特徴量ベクトルを算出する。第１の実施形態では、特徴量ベクトル算出部１３は、階級ごとに計数されたＬＢＰ値の数（度数）を順に並べることで特徴量ベクトルを算出する。例えば、図８に示す例では、下記の式（２）で示される特徴量ベクトルＦＶが算出される。

ＦＶ＝｛ａ１、ａ２、・・・、ａ７、ａ８｝ ・・・（２）

なお、図８の例では、ＬＢＰ値が取り得る範囲は８階級に階級化されている。従って、特徴量ベクトル算出部１３は、８次元の特徴量ベクトルを算出する。なお、特徴量ベクトル算出部１３は、特徴量算出部１２がＬＢＰ特徴量の算出に用いるヒストグラムの階級数とは異なる次数の特徴量ベクトルを算出してもよい。即ち、ＬＢＰ特徴量の各階級のすべてが、局所領域の質感を特徴付けに寄与しているとは限らない。そこで、特徴量ベクトル算出部１３は、局所領域の特徴付けに寄与していない階級及びその度数を、特徴量ベクトルの要素として採用せず、特徴量ベクトルの次数を削減してもよい。

特徴量ベクトル算出部１３は、各局所領域について特徴量ベクトルの算出が終了すると、各局所領域の位置情報とその特徴量ベクトルを対応付けて、特徴特定部１４に出力する。具体的には、特徴量ベクトル算出部１３は、図９に示すような情報（局所領域の位置、対応する特徴量ベクトルＦＶ）を特徴特定部１４に出力する。なお、図９では、局所領域の位置を表記する際のＸ、Ｙを用いて、対応する特徴量ベクトルＦＶをＦＶ（Ｘ、Ｙ）として表記している。

特徴特定部１４は、特徴量ベクトル算出部１３が算出する特徴量ベクトル（第１の特徴量ベクトル）と、当該特徴量ベクトルと同種の方法により算出される特徴量ベクトルであって、予め特徴が判定された画像から算出される特徴量ベクトル（第２の特徴量ベクトル）と、に基づいて、各局所領域の特徴を特定する手段である。その際、特徴特定部１４は、記憶部１６に格納された情報を利用する。

記憶部１６は、予め特徴が判定された画像の特徴と、当該画像から算出された特徴量ベクトルと、を対応付けて記憶する。より具体的には、記憶部１６には、画像が有する特定の特徴と、当該特定の特徴を有する画像から算出される特徴量ベクトルと、を対応付けて記憶する画像特徴データベースが構築される。

図１０は、記憶部１６に構築される画像特徴データベースの一例である。なお、図１０に示す画像特徴データベースは、画像処理装置１０を稼働する前に予め構築されるデータベースである。

画像特徴データベースは、以下の手順により構築される。

初めに、画像ノイズ除去システムの管理者等は、特徴的な質感を有する指紋画像を用意する。具体的には、管理者は、画像処理装置１０が判定対象とする特徴を有する指紋画像を用意する。例えば、管理者は、隆線上に汗腺口が存在する指紋画像や隆線にかすれが認められる指紋画像を用意する。

次に、管理者は、用意した指紋画像を、特徴量算出部１２が指紋画像を分割するのと同じように分割し、指紋画像を局所領域の集合とする。

次に、指紋画像に関する専門的な知見を有する者（以下、専門家と表記する）が、指紋画像の局所領域それぞれについて、各局所領域が有する特徴を判定する。例えば、ある局所領域の隆線上には多くの汗腺口が写っている場合には、当該局所領域の特徴は「汗腺口」に分類される。

次に、管理者は、専門家により特徴が判定された局所領域に対し、特徴量算出部１２及び特徴量ベクトル算出部１３の動作として説明した処理をコンピュータ等に実施させ、当該局所領域に対応する特徴量ベクトルを得る。

管理者は、得られた特徴量ベクトルと、専門家により判定された局所領域の特徴と、を対応付けて画像特徴データベースに登録する。用意された指紋画像と、各指紋画像の局所領域ごとに、特徴量ベクトルの算出と専門家により判定された特徴の対応付けを繰り返すことで、図１０に示すような画像特徴データベースが構築できる。

特徴特定部１４は、指紋画像の各局所領域について、対応する特徴量ベクトルと、画像特徴データベースに格納された特徴量ベクトルと、の間の類似度に基づき、各局所領域が有する特徴を特定する。

具体的には、特徴特定部１４は、指紋画像から算出された局所領域の特徴量ベクトルを照会側の特徴量ベクトルに、画像特徴データベースに格納された特徴量ベクトルを登録側の特徴量ベクトルに、それぞれ設定する。特徴特定部１４は、これら２つの特徴量ベクトルの類似度を測る指標として、カイ二乗距離を算出する。具体的には、特徴特定部１４は、以下の式（３）を用いて、カイ二乗距離を算出する。


なお、Ｈ１及びＨ２は比較対象の２つのヒストグラム、ｉはヒストグラムにおけるビンのインデックスである。

次に、特徴特定部１４は、算出されたカイ二乗距離のうち、最小値のカイ二乗距離となる登録側の特徴量ベクトル（画像特徴データベースに格納された特徴量ベクトル）を特定する。特徴特定部１４は、当該特定された特徴量ベクトルに対応付けられた特徴を、照会側の特徴量ベクトルに対応する局所領域の特徴に設定する。

例えば、特徴特定部１４が、図６（ｂ）に示す局所領域ＬＡ（１０、５）の特徴を特定する場合を考える。この場合、特徴特定部１４は、局所領域ＬＡ（１０、５）の特徴量ベクトルＦＶ（１０、５）と、画像特徴データベースに格納された特徴量ベクトルＦＶ１−１、ＦＶ１−２、・・・、ＦＶ２−１、ＦＶ２−２、・・・のそれぞれとの間のカイ二乗距離を算出する。

算出されたカイ二乗距離のうち、特徴量ベクトルＦＶ（１０、５）と、特徴量ベクトルＦＶ３−１と、の間のカイ二乗距離が最小値であれば、特徴特定部１４は、局所領域ＬＡ（１０、５）の特徴を「汗腺口」に設定する。一方、算出されたカイ二乗距離のうち、特徴量ベクトルＦＶ（１０、５）と、特徴量ベクトルＦＶ４−１と、の間のカイ二乗距離が最小値であれば、特徴特定部１４は、局所領域ＬＡ（１０、５）の特徴を「かすれ」に設定する。

特徴特定部１４は、各局所領域について、その特徴の特定が終了すると、局所領域の位置と対応する特徴に関する局所領域特徴情報を算出し、出力部１５に出力する。具体的には、特徴特定部１４は、図１１に示すような情報（局所領域の位置、対応する特徴）を、局所領域特徴情報として、出力部１５に出力する。

出力部１５は、画像入力部１１が入力した指紋画像と、特徴特定部１４が算出した局所領域特徴情報と、をフィルタ装置２０に出力する。なお、出力部１５からフィルタ装置２０にデータ（指紋画像、局所領域特徴情報）を入力する形態はどのようなものであってもよい。例えば、外部記憶装置を用いてデータを入力する形態でもよいし、ネットワークを介してデータを入力する形態でもよい。

図１２は、画像処理装置１０の動作の一例を示すフローチャートである。図１２を参照すると、初めに、画像処理装置１０は、指紋画像を入力する（ステップＳ１０１）。

次に、画像処理装置１０は、指紋画像を所定の大きさに分割し、分割された領域（局所領域）ごとの画像特徴量を算出する（ステップＳ１０２）。

その後、画像処理装置１０は、各局所領域の画像特徴量から、各局所領域の質感を数値化した特徴量ベクトルを算出する（ステップＳ１０３）。

次に、画像処理装置１０は、各局所領域に対応する特徴量ベクトルと、記憶部１６に格納された特徴量ベクトルと、から各局所領域の有する特徴を特定する（ステップＳ１０４）。

次に、画像処理装置１０は、局所領域の位置と対応する特徴の関係を規定する、局所領域特徴情報を、外部装置（例えば、フィルタ装置２０）に出力する（ステップＳ１０５）。

次に、フィルタ装置２０について説明する。

図１３は、フィルタ装置２０の内部構成の一例を示す図である。図１３を参照すると、フィルタ装置２０は、入力部２１と、フィルタ部２２と、出力部２３と、を含んで構成される。

入力部２１は、画像処理装置１０が出力する指紋画像と局所領域特徴情報を入力する。入力部２１は、取得した情報をフィルタ部２２に引き渡す。

フィルタ部２２は、局所領域特徴情報に基づいて、指紋画像に対する画像処理を行う。その際、フィルタ部２２は、画像処理装置１０とフィルタ装置２０との間で整合を取った局所領域の大きさを単位として、指紋画像の各局所領域に対する処理（フィルタリング処理）を行う。

例えば、フィルタ部２２は、図１１に示す局所領域特徴情報を取得したとする。この場合、フィルタ部２２は、指紋画像の局所領域ＬＡ（０、０）は「非指紋」と特徴付けられているので、局所領域ＬＡ（０、０）に対して特段の処理を行わない。また、フィルタ部２２は、例えば、「指紋」と特徴付けされた局所領域に対しても、特段の処理を行わない。「指紋」に係る特徴を有する局所領域は、ノイズのない指紋が写る領域のためである。

局所領域ＬＡ（１０、５）は「汗腺口」と特徴付けられている。この場合、フィルタ部２２は、隆線上の汗腺口を除去するのに適した処理を、指紋画像の局所領域ＬＡ（１０、５）に施す。例えば、上述のように、フィルタ部２２は、汗腺口を除去するのに適する「ぼかし処理」を指紋画像の局所領域ＬＡ（１０、５）に施す。

フィルタ部２２は、指紋画像の各局所領域について、局所領域の特徴に応じた画像処理を施した後、指紋画像を出力部２３に引き渡す。

出力部２３は、各局所領域に適した画像処理が施された後の指紋画像を、フィルタ装置２０に続く装置（例えば、特徴点抽出装置；図示せず）に出力する。

ここで、第１の実施形態に係る画像処理装置１０には、指紋画像の有する特徴を決定する際、他の情報が既に判明していなければ正確な特徴を決定できないという、「鶏と卵」の問題は生じない。

上述のように、隆線上に汗腺口が存在するか否かを判断するためには、隆線を正確に抽出する必要があるが、汗腺口の存在が隆線を正確に抽出することを妨げる。画像処理装置１０は、画像の特徴を決定する際に、局所領域を特徴付ける特徴量ベクトルと、専門家が特徴を判定した画像から生成された特徴量ベクトルと、を比較することで、指紋画像の局所領域の特徴を特定している。比較する２つの特徴量ベクトルは、局所領域の質感を数値化したものと捉えることが可能であることから、画像処理装置１０は、謂わば、局所領域の質感と、リファレンス情報（辞書情報）として予め記憶部１６に格納された各種画像が有する質感と、を直接比較することで、局所領域の特徴を定めていると言える。従って、画像処理装置１０には、指紋画像の有する特徴を決定する際、他の情報が既に判明していなければ正確な特徴を決定できないという、所謂「鶏と卵」の問題は生じない。

さらに、画像処理装置１０は、指紋画像を構成する局所領域の画像特徴量としてＬＢＰ特徴量を用いるため、指紋画像間に明度の差が存在しても、正確に局所領域の特徴を特定できる。ＬＢＰ特徴量には、その算出方法に起因し、元画像（指紋画像）の明度の影響がキャンセルされるという特徴が存在するためである。つまり、指紋画像を取得した際の条件の違いにより、２つの指紋画像の明度が異なっていても、質感が似通っていれば、正しく指紋画像における局所領域の特徴が特定される。

また、画像処理装置１０により、指紋画像を構成する局所領域の特徴が正確に特定されると、フィルタ装置２０による画像処理された結果の指紋画像の品質が向上する。

例えば、図１４（ａ）に示す指紋画像に重畳したノイズを除去することを考える。図１４（ａ）に示す指紋画像は、一部の領域にはノイズが重畳しておらず、他の一部の領域の隆線上に「汗腺口」が多く写り、他の領域の隆線は、かすれているものとする。

具体的には、図１４（ｂ）に示すように、領域３０１はノイズが重畳していない領域（「指紋」に係る特徴を有する領域）であり、領域３０２は「汗腺口」に係るノイズが存在し、領域３０３は「かすれ」に係るノイズが存在するとする。図１４（ａ）に示す指紋画像に対して、何らの画像処理を施さないと、領域３０２や領域３０３の画像品質が低いままである。

そこで、指紋画像の全体に対して、汗腺口を除去するのに適した処理を施すと仮定する。すると、領域３０２の画像品質は向上するが、領域３０１や領域３０３の画像品質が低下する可能性がある。領域３０１には本来ノイズが重畳していないので、何らの処理を施さないことが望まれる。しかし、領域３０１に対し、汗腺口を除去するのに適した処理（例えば、ぼかし処理）を施すと、隆線や特徴点の輪郭が曖昧となり、隆線構造を破壊する可能性がある。また、領域３０３は「かすれ」に係るノイズが存在するので、汗腺口を除去するのに適した処理を施したとしても隆線のかすれを修復することにはならない。

このように、指紋画像に重畳しているノイズは千差万別であるため、指紋画像の各局所領域に重畳しているノイズに適した画像処理を施さないと、ノイズが除去できないばかりか画像品質を引き下げることになる。あるいは、指紋画像に重畳しているノイズに対応する処理を全て盲目的に混在させて実施すると、ノイズのない領域の隆線構造を破壊するなどの副作用が想定される。

一方、第１の実施形態に係る画像処理装置１０は、図１４（ａ）に示す指紋画像の各局所領域のうち、領域３０１に属する局所領域に関しては「指紋」と特徴を特定する。同様に、画像処理装置１０は、領域３０２に属する局所領域に関しては「汗腺口」、領域３０３に属する局所領域に関しては「かすれ」とそれぞれ特徴を特定する。画像処理装置１０は、領域３０１は「指紋」、領域３０２は「汗腺口」、領域３０３は「かすれ」、を意味する局所領域特徴情報をフィルタ装置２０に出力する。当該局所領域特徴情報を取得したフィルタ装置２０は、領域３０１には何らの処理を施さない、領域３０２には汗腺口を除去するのに適した処理を施す、領域３０３には隆線のかすれを修復するのに適した処理を施す、と言ったように領域ごとに適用する処理を使い分けることができる。

即ち、第１の実施形態に係るフィルタ装置２０は、指紋画像の特定領域に重畳しているノイズに最適な処理を施すことができる。その結果、第１の実施形態に係る画像ノイズ除去システムでは、指紋画像全体の品質を向上させることができる。

図１５は、指紋照合における照合精度特性（ＲＯＣ；Receiver Operating Characteristic）曲線の一例を示す図である。図１５（ａ）は、照会側及び登録側の指紋画像ともに汗腺口に係るノイズが一部の領域に多く重畳している場合のシミュレーション結果である。図１５（ｂ）は、照会側及び登録側の指紋画像ともに汗腺口に係るノイズが図１５（ａ）の場合よりも少ない場合のシミュレーション結果である。なお、汗腺口に係るノイズが多いとは、照合結果に悪影響を及ぼす程の大きさの汗腺口が存在する隆線領域の面積が広いことを意味し、汗腺口に係るノイズが少ないとは照合結果に悪影響を及ぼす程の大きさの汗腺口が存在する隆線領域の面積が狭いことを意味する。

図１５のグラフの縦軸は本人拒否率（ＦＲＲ；False Rejection Rate）を示し、横軸は他人受入率（ＦＡＲ；False Acceptance Rate）を示す。図１５では、照合結果に係る曲線が、左下に傾くほど照合結果が高い事を示す。

図１５の曲線３１１は、照会側と登録側のいずれの指紋画像に対してもフィルタ処理を実施せず、照合を行った結果である。曲線３１２は、照会側の指紋画像にはフィルタ処理を実施せず、登録側の指紋画像に汗腺口を除去するのに適した「ぼかし処理」を実施し、照合を行った結果である。曲線３１３は、照会側の指紋画像に「ぼかし処理」を実施し、登録側の指紋画像にはフィルタ処理を実施せず、照合を行った結果である。曲線３１４は、照会側と登録側の指紋画像に「ぼかし処理」を実施し、照合を行った結果である。曲線３２１は、照会側と登録側の指紋画像に対し、第１の実施形態に係るフィルタ装置２０のフィルタ処理を実施し、照合を行った結果である。

図１５を参照すると、汗腺口が多い（図１５（ａ））場合であっても、汗腺口が少ない（図１５（ｂ））場合であっても、曲線３２１に係る照合結果が最も良好であることが分かる。この事実は、第１の実施形態に係るフィルタ装置２０が、照会側及び登録側の指紋画像に対して画像処理（フィルタリング処理）を行った後の指紋画像の品質が、最も高いことを示す。指紋画像の品質が高いほど、照合精度が高くなる（照合精度特性が図１５の左下に傾く）ためである。

また、図１５（ａ）を参照すると、曲線３１１（照会側、登録側共にフィルタ処理非適用）よりも、曲線３１４（照会側、登録側共にぼかし処理適用）の照合結果が悪いことが理解される。これは、指紋画像をなす領域のうち、ぼかし処理を必要とする領域（汗腺口が存在する領域）よりも、ぼかし処理を必要としない領域（例えば、ノイズが重畳していない領域）の方が広いことを示す。つまり、ぼかし処理を指紋画像全体に実施することで、特定領域の隆線上の汗腺口を削除できたとしても、当該ぼかし処理の副作用により、ほかし処理を必要としない領域の隆線構造等が破壊され、照合結果が悪化したと考えられる。

一方、図１５（ｂ）を参照すると、曲線３１１と曲線３２１の照合結果にはさほど顕著な差が生じていないことが理解される。これは、照会側と登録側の指紋画像に含まれるそれぞれの隆線上に汗腺口が少なく、汗腺口に係るノイズが重畳した領域にぼかし処理を適用したとしても照合の結果にはさほど影響を与えていないためと考えられる。

図１５に示す結果からも、第１の実施形態に係るフィルタ装置２０が、指紋画像の特定領域に重畳しているノイズに最適な処理を施すことにより、指紋画像全体の品質を向上させていることが分かる。

以上のように、第１の実施形態に係る画像処理装置１０は、指紋画像を分割し、分割された局所領域ごとにＬＢＰ特徴量（ＬＢＰ値のヒストグラム）を算出する。画像処理装置１０は、この局所領域ごとのヒストグラムから、各局所領域の質感を数値化した特徴量ベクトルを算出し、専門家により特徴が判定された画像から生成した特徴量ベクトルとの間の類似度を計算する。画像処理装置１０は、計算した類似度に基づき、各局所領域の有する特徴（即ち、質感）を特定する。その結果、画像処理装置１０は、指紋画像を構成する局所領域ごとにその特徴を正確に特定できる。

また、第１の実施形態に係る画像ノイズ除去システムでは、画像処理装置１０が出力する局所領域特徴情報を利用することで、高品質な指紋画像を得ることができる。

［第２の実施形態］
続いて、第２の実施形態について図面を参照して詳細に説明する。

第１の実施形態では、画像処理装置１０が出力する局所領域特徴情報を、指紋画像に適用するフィルタ処理の選択に利用する場合を説明した。第２の実施形態では、局所領域特徴情報の他の利用形態について説明する。

例えば、図１６に示すように、画像処理装置１０は、指紋画像と局所領域特徴情報を抽出装置３０に出力する。抽出装置３０の抽出部３１は、局所領域特徴情報を用いて、指紋画像から「非指紋」の特徴を有する局所領域を除去することで、指紋画像だけを抽出することができる。例えば、抽出部３１は、指紋画像から図１４（ｂ）に示す領域３０１〜３０３を抽出することができる。

あるいは、図１７に示すように、画像処理装置１０は、検査画像を入力する。検査画像とは、当該検査画像に指紋が写っているか否かの判定対象となる画像である。画像処理装置１０は、検査画像に関する局所領域特徴情報を、検査装置４０に出力する。その際、画像処理装置１０は、検査画像の中に指紋が存在するか否かを判定し、その結果を局所領域特徴情報に含める。具体的には、画像処理装置１０の画像特徴データベースに、ノイズの少ない指紋画像が有する特徴量ベクトルをリファレンスとして格納する。その上で、検査画像の局所領域の中に「指紋」と判定される局所領域が存在すれば、画像処理装置１０は、当該局所領域の特徴として「指紋」を設定する。検査装置４０の検査部４１は、入力した局所領域特徴情報の中に「指紋」に係る特徴が設定されていれば、検査画像の少なくとも一部には指紋が写っていると判定する。あるいは、画像処理装置１０の画像特徴データベースに、指紋と判定してはならない画像（指紋と区別が難しい非指紋画像）の特徴量ベクトルを格納してもよい。その上で、画像処理装置１０は、検査画像の局所領域のなかに指紋と紛らわしい特徴を持つ局所領域が存在すれば、当該局所領域の特徴に「非指紋画像」を設定する。検査部４１は、「非指紋画像」が設定された局所領域が存在する検査画像に関しては、当該検査画像に指紋が写っていないと判定してもよい。

あるいは、図１８に示すように、画像処理装置１０は、指紋画像と局所領域特徴情報を警報装置５０に出力してもよい。警報装置５０の警報部５１は、指紋画像の品質が悪いと判断した場合には、その旨を警報情報として出力する。この場合、画像処理装置１０の画像特徴データベースには、品質の低いと判断される指紋画像に対応する特徴量ベクトルが格納される。その上で、指紋画像の局所領域の中に、当該品質の低いと判断される特徴に類似する局所領域が存在すれば、画像処理装置１０は、当該局所領域の特徴に「低品質」を設定する。警報部５１は、局所領域特徴情報のなかに「低品質」と設定された局所領域が存在すれば、当該指紋画像は品質が低い旨の警報情報を出力する。

図１８に示す画質警報システムは、例えば、スキャナにて指紋画像を採取するシステムに好適である。スキャナにて採取した指紋画像を画像処理装置１０に入力し、画像処理装置１０は、当該指紋画像と局所領域特徴情報を、警報装置５０に出力する。警報装置５０は、局所領域特徴情報の中に「低品質」に係る特徴が設定された局所領域が存在すれば、ランプ等により取得した指紋画像の品質が低いことを通知し、指紋画像の再取得を促すことができる。なお、画像処理装置１０による局所領域特徴情報の生成は、処理負荷の軽い実装にて実現できる。つまり、ＬＢＰ特徴量や特徴量ベクトル算出に係る処理は、数字の比較や並び替えといったアルゴリズムにより実現可能なためである。従って、画像処理装置１０が出力する局所領域特徴情報の利用は、指紋画像の品質をリアルタイムに判定し、必要に応じて指紋画像の再取得を促す等の用途にも好適となる。

以上のように、画像処理装置１０が出力する局所領域特徴情報の利用は、指紋画像に適用するフィルタの選択に限定されず、種々の用途に利用可能である。

［変形例］
なお、上記各実施形態の任意の組み合わせが更なる実施形態として含まれる。例えば、図２に示す画像処理装置１０とフィルタ装置２０の間に、図１８に示す警報装置５０を挿入してもよい。この場合、警報装置５０にて画像品質が最低限保証された指紋画像に限りフィルタ装置２０に入力される。

第１及び第２の実施形態では、画像処理装置１０に入力する画像として指紋画像を例にとり、説明したが、入力画像は指紋画像に限定されない。例えば、指紋画像と同じように、曲線縞模様を有する掌紋画像であってもよい。あるいは、瞳の虹彩模様が写る画像を、その局所領域の特徴特定に係る対象としてもよい。即ち、凡そ質感（即ち、視覚上の凹凸等）を有する画像であれば、どのような画像であっても画像処理装置１０による特徴判定の対象となり得る。

第１の実施形態では、特徴量算出部１２が算出する画像特徴量として、ＬＢＰ特徴量を用いて説明した。しかし、画像特徴量はＬＢＰ特徴量に限定されない。例えば、指紋画像に対してウェーブレット変換を施すことで得られる特徴量を用いても良い。具体的には、特徴量算出部１２は、指紋画像の各局所領域をウェーブレット変換することで得られるウェーブレット係数を、局所領域の質感を特徴付ける画像特徴量としてもよい。つまり、特徴量算出部１２は、局所領域に含まれる画素の画素値を、複数の周波数帯域成分に分解し、当該局所領域の質感を特徴付ける画像特徴量を算出してもよい。なお、ウェーブレット変換は、特開２００４−１２７０６４号公報に記載のように公知の手法であるので説明を省略する。

あるいは、特徴量算出部１２が算出する画像特徴量は、ＨＯＧ（Histograms of Oriented Gradients）特徴量やＳＩＦＴ（Scale-Invariant Feature Transform）特徴量等であってもよい。即ち、画像の局所的な質感を表現できる画像特徴量であれば、どのようなものでもよい。

また、第１の実施形態では、特徴量算出部１２が、ＬＢＰ値を算出する際の比較対象画素と中心画素間の距離は１ピクセルとしたが、他の数字であってもよい。例えば、３ピクセル、５ピクセルを比較対象画素と中心画素間の距離としてもよい。また、特徴量算出部１２が算出するＬＢＰ値は、式（１）により算出されるＬＢＰ値や、上記ｒｏｔａｔｉｏｎ−ｉｎｖａｒｉａｎｔ ｕｎｉｆｏｒｍ ＬＢＰと呼ばれる手法により算出されるＬＢＰ値に限定されない。例えば、種々の派生アルゴリズムにより算出されたＬＢＰ値であってもよい。

また、第１の実施形態では、特徴量ベクトル算出部１３は、局所領域から算出されるＬＢＰ値であって、比較対象画素と中心画素間の距離が１の場合のＬＢＰ値から得られるヒストグラムに基づき、当該局所領域の特徴量ベクトルを算出している。しかし、特徴量ベクトルの算出は、当該算出方法に限定されない。例えば、特徴量算出部１２は、比較対象画素と中心画素間の距離を３ピクセル、５ピクセルとしてＬＢＰ値を算出する。特徴量ベクトル算出部１３は、これらのＬＢＰ値から得られるヒストグラムを組み合わせて特徴量ベクトルを算出してもよい。例えば、特徴量ベクトル算出部１３は、下記の式（４）に示すような特徴量ベクトルを用いてもよい。

ＦＶ＝｛ＦＶ_Ｃ１、ＦＶ_Ｃ３、ＦＶ_Ｃ５｝ ・・・（４）

なお、ＦＶ_Ｃ１は、比較対象画素と中心画素間の距離が１ピクセルの場合のヒストグラムから算出した特徴量ベクトルである。ＦＶ_Ｃ３は、比較対象画素と中心画素間の距離が３ピクセルの場合のヒストグラムから算出した特徴量ベクトルである。ＦＶ_Ｃ５は、比較対象画素と中心画素間の距離が５ピクセルの場合のヒストグラムから算出した特徴量ベクトルである。

このように、特徴量ベクトル算出部１３は、比較対象画素と中心画素間の距離が異なるＬＢＰ値から算出された特徴量ベクトルを多重化してもよい。比較対象画素と中心画素間の距離が異なるＬＢＰ値から特徴量ベクトルを算出することで、観点の異なる質感が数値化される。その結果、画像処理装置１０による、局所領域の特徴特定に係る精度が向上する。

また、記憶部１６に構築される画像特徴データベースには、特徴が判定された画像から算出された特徴量ベクトルを格納しているが、データベースには特徴が判定された画像に係るデータを格納してもよい。つまり、画像データから特徴量ベクトルを算出するのに要する処理時間が、システムにとって許容される場合には、特徴特定部１４が、必要に応じて、データベースに格納された画像から特徴量ベクトルを算出し、特徴の特定に利用してもよい。

さらに、画像特徴データベースに登録する画像の特徴は、単一の特徴に限定されない。例えば、指紋画像の中には、同じ局所領域にて汗腺口と隆線のかすれが同時に生じている場合もある。このような場合であっても、図１９に示すように、当該２つの特徴を持つ画像から算出した特徴量ベクトルを登録しておけば、画像処理装置１０は、当該特徴を正確に特定できる

なお、画像特徴データベースを構築する際の指紋画像は多いほどよい。指紋画像の局所領域が有する特徴（例えば、汗腺口やかすれ）が同じであっても、質感が微妙に異なることがある。そのため、多くのリファレンス情報を用意し、多くの特徴量ベクトルを画像特徴データベースに登録することで、画像処理装置１０による特徴の特定精度が向上する。

特徴特定部１４は、２つの特徴量ベクトル（ヒストグラム）の類似度を判定する際、カイ二乗距離を指標として用いている。しかし、特徴量ベクトルの類似度を判定に使用する指標は、ユークリッド距離等他の指標であってもよい。但し、カイ二乗距離には、２つの特徴量ベクトルの類似度を厳密に比較しないという特徴があり、多少の相違は許容される。指紋画像も、例えば、照会側と登録側の質感が厳密に一致することは稀であることから、カイ二乗距離を２つの特徴量ベクトルの類似度を測る指標として使用するのが好適である。

特徴特定部１４は、予め特徴が判定された画像の特徴と、予め特徴が判定された画像に対応する特徴量ベクトルと、を教師データとして入力し、モデルの学習を行う機能（機械学習機能）を備えていてもよい。特徴特定部１４は、学習されたモデルに基づき、特徴量ベクトル算出部１３により算出された特徴量ベクトルに対応する局所領域の特徴を特定してもよい。なお、教師データを用いた学習には、サポートベクタマシン等を用いた方法が挙げられる。

あるいは、特徴特定部１４は、外部の判定装置に特徴量ベクトルを入力し、当該判定装置から局所領域の特徴を取得してもよい。例えば、図２０に示すように、機械学習機能を有する判定装置６０に、予め特徴が判定された画像の特徴と、予め特徴が判定された画像に対応する特徴量ベクトルと、を教師データとして入力する。即ち、特徴特定部１４は、局所領域の特徴判定に係る動作を、外部の判定装置６０に委託してもよい。

出力部１５が出力する局所領域特徴情報（図１１参照）には、指紋画像を構成する全ての局所領域に関する位置情報とその特徴が含まれていなくともよい。例えば、画像処理装置１０の後段にある装置に対し、指紋が写っていない領域（「非指紋」に係る特徴を有する局所領域）を通知する必要がない場合には、出力部１５は、「非指紋」に係る特徴を有する局所領域を、局所領域特徴情報から除外してもよい。

第１の実施形態では、フィルタ装置２０は、局所領域ごとに適したフィルタリング処理を施すことを説明した。その際、フィルタ装置２０は、同種の特徴を有する局所領域を統合し、当該統合された局所領域に対応する指紋画像に対して一括してフィルタリング処理を施してもよい。例えば、図１４（ｂ）を参照すると、フィルタ装置２０は、指紋画像のうち領域３０２や領域３０３に該当する領域に対して、一括してフィルタリング処理を行ってもよい。

また、図２や図５等に示す構成は例示であって、各システムの構成や画像処理装置１０の構成を限定する趣旨ではない。例えば、記憶部１６に構築される画像特徴データベースは、画像処理装置１０の外部に設置されたデータベースサーバに構築されてもよい。あるいは、図２に示すフィルタ装置２０の主要な機能（フィルタ部２２）を画像処理装置１０の内部に取り込んで、画像処理装置１０にて、入力画像のフィルタリング処理を実行してもよい。図１６〜図１８に示す抽出装置３０、検査装置４０、警報装置５０に関しても同様に、これらの装置の有する主要な機能（抽出部３１、検査部４１、警報部５１）を画像処理装置１０に取り込んでもよい。

また、画像処理装置１０に含まれる特徴量算出部１２等の各部が行う処理は、画像処理装置１０に搭載されたコンピュータに、そのハードウェアを用いて、上述した各処理を実行させるコンピュータプログラムにより実現できる。つまり、特徴量算出部１２等が行う機能を何らかのハードウェア、及び／又は、ソフトウェアで実行する手段があればよい。

さらに、コンピュータの記憶部に、上述したコンピュータプログラムをインストールすることにより、コンピュータを画像処理装置として機能させることができる。さらにまた、上述したコンピュータプログラムをコンピュータに実行させることにより、コンピュータにより画像処理方法を実行することができる。また、上記プログラムは、ネットワークを介してダウンロードするか、又は、プログラムを記憶した記憶媒体を用いて、更新することができる。

上記の実施形態の一部又は全部は、以下の形態のようにも記載され得るが、以下には限られない。

［形態１］
画像を入力する入力部と、
前記入力部が入力した入力画像の局所領域における質感を特徴付ける画像特徴量を算出する、特徴量算出部と、
前記画像特徴量から、前記局所領域に対応する第１の特徴量ベクトルを算出する、特徴量ベクトル算出部と、
前記第１の特徴量ベクトルと同種の方法により算出される特徴量ベクトルであって、予め特徴が判定された画像から算出される第２の特徴量ベクトルと、前記第１の特徴量ベクトルと、に基づいて、前記局所領域の特徴を特定する、特徴特定部と、
を備える画像処理装置。
［形態２］
前記特徴量算出部は、前記局所領域を構成する複数の画素それぞれからＬＢＰ（Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ）値を算出すると共に、前記局所領域に含まれる複数の画素それぞれに対応する前記ＬＢＰ値のヒストグラムを、前記画像特徴量として算出する、形態１の画像処理装置。
［形態３］
前記特徴量ベクトル算出部は、前記ヒストグラムをなす階級から、所定の階級を選択し、前記選択された階級に属する度数を要素とすることで、前記第１の特徴量ベクトルを算出する、形態２の画像処理装置。
［形態４］
前記特徴特定部は、前記第１の特徴量ベクトルと、前記第２の特徴量ベクトルと、の間の類似度を算出し、前記類似度に基づいて、前記局所領域の特徴を特定する、形態１乃至３のいずれか一に記載の画像処理装置。
［形態５］
前記予め特徴が判定された画像の特徴と、前記第２の特徴量ベクトルと、を対応付けて記憶する記憶部をさらに備え、
前記特徴特定部は、前記記憶部が記憶する複数の前記第２の特徴量ベクトルのうち、前記第１の特徴量ベクトルと最も類似度の高い特徴量ベクトルに対応する特徴を、前記局所領域の特徴とする、形態４の画像処理装置。
［形態６］
前記特徴量算出部は、前記入力画像を複数の領域に分割することで、複数の前記局所領域を算出し、
前記特徴特定部は、
前記第１及び第２の特徴量ベクトル間の類似度を算出し、前記複数の局所領域それぞれの特徴を特定することを繰り返し、
前記入力画像における前記複数の局所領域それぞれの位置情報と、前記複数の局所領域それぞれの特徴と、を対応付ける局所領域特徴情報を算出する、形態５の画像処理装置。
［形態７］
前記特徴特定部は、前記第１及び第２の特徴量ベクトル間の類似度を測る指標として、カイ二乗距離を用いる、形態４乃至６のいずれか一に記載の画像処理装置。
［形態８］
前記入力画像は、隆線により曲線縞模様が形成されている画像である、形態１乃至７のいずれか一に記載の画像処理装置。
［形態９］
前記特徴特定部は、
前記予め特徴が判定された画像の特徴と、前記予め特徴が判定された画像に対応する第２の特徴量ベクトルと、を教師データとして入力し、モデルの学習を行うと共に、
前記学習されたモデルに基づき、前記第１の特徴量ベクトルに対応する局所領域の特徴を特定する、形態１乃至３のいずれか一に記載の画像処理装置。
［形態１０］
前記局所領域特徴情報に応じて、前記複数の局所領域それぞれに適用する処理を変更する、フィルタ部をさらに備える、形態６乃至８のいずれか一に記載の画像処理装置。
［形態１１］
前記局所領域特徴情報に基づいて、前記入力画像から特定の特徴を有する前記局所領域を抽出する抽出部、
前記局所領域特徴情報に基づいて、前記入力画像を構成する複数の局所領域の中に、特定の特徴を有する局所領域が存在するか否かを検査する検査部、及び、
前記局所領域特徴情報に基づいて、前記入力画像の画質に関する警報を行う警報部のうち少なくとも１つをさらに備える形態６乃至８のいずれか一に記載の画像処理装置。
［形態１２］
画像を入力するステップと、
前記入力された入力画像の局所領域における質感を特徴付ける画像特徴量を算出するステップと、
前記画像特徴量から、前記局所領域に対応する第１の特徴量ベクトルを算出するステップと、
前記第１の特徴量ベクトルと同種の方法により算出される特徴量ベクトルであって、予め特徴が判定された画像から算出される第２の特徴量ベクトルと、前記第１の特徴量ベクトルと、に基づいて、前記局所領域の特徴を特定するステップと、
を含む画像処理方法。
［形態１３］
画像を入力する処理と、
前記入力された入力画像の局所領域における質感を特徴付ける画像特徴量を算出する処理と、
前記画像特徴量から、前記局所領域に対応する第１の特徴量ベクトルを算出する処理と、
前記第１の特徴量ベクトルと同種の方法により算出される特徴量ベクトルであって、予め特徴が判定された画像から算出される第２の特徴量ベクトルと、前記第１の特徴量ベクトルと、に基づいて、前記局所領域の特徴を特定する処理と、
を画像処理装置を制御するコンピュータに実行させるプログラム。
なお、形態１２及び形態１３は、形態１の形態と同様に、形態２〜形態１１のように展開することが可能である。

なお、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の全開示の枠内において種々の開示要素（各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む）の多様な組み合わせ、ないし、選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。

１０、１００ 画像処理装置
１１ 画像入力部
１２、１０２ 特徴量算出部
１３、１０３ 特徴量ベクトル算出部
１４、１０４ 特徴特定部
１５ 出力部
１６ 記憶部
２０ フィルタ装置
２１ 入力部
２２ フィルタ部
２３ 出力部
３０ 抽出装置
３１ 抽出部
４０ 検査装置
４１ 検査部
５０ 警報装置
５１ 警報部
６０ 判定装置
１０１ 入力部
２０１〜２０３ 局所領域
２１０ 中心画素
２１１〜２１８ 比較対象画素
３１１〜３１４、３２１ 照合精度特性曲線
３０１〜３０３、４０１、４０２ 領域
４１１、４１２ 隆線

Claims (12)

1. 画像を入力する入力部と、
   前記入力部が入力した入力画像の局所領域における質感を特徴付ける画像特徴量を算出する、特徴量算出部と、
   前記画像特徴量から、前記局所領域に対応する第１の特徴量ベクトルを算出する、特徴量ベクトル算出部と、
   前記第１の特徴量ベクトルと同種の方法により算出される特徴量ベクトルであって、予め特徴が判定された画像から算出される第２の特徴量ベクトルと、前記第１の特徴量ベクトルと、に基づいて、前記局所領域の特徴を特定する、特徴特定部と、
   を備え、
   前記特徴量算出部は、前記局所領域を構成する複数の画素それぞれからＬＢＰ（Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ）値を算出すると共に、前記局所領域に含まれる複数の画素それぞれに対応する前記ＬＢＰ値のヒストグラムを、前記画像特徴量として算出し、
   前記特徴量算出部は、比較対象画素と中心画素間の距離が異なる複数の前記ＬＢＰ値を算出し、
   前記特徴量ベクトル算出部は、前記複数のＬＢＰ値から得られるヒストグラムを組み合わせて前記第１の特徴量ベクトルを算出する、画像処理装置。
2. 前記特徴量ベクトル算出部は、前記ヒストグラムをなす階級から、所定の階級を選択し、前記選択された階級に属する度数を要素とすることで、前記第１の特徴量ベクトルを算出する、請求項１の画像処理装置。
3. 前記特徴特定部は、前記第１の特徴量ベクトルと、前記第２の特徴量ベクトルと、の間の類似度を算出し、前記類似度に基づいて、前記局所領域の特徴を特定する、請求項１又は２に記載の画像処理装置。
4. 前記予め特徴が判定された画像の特徴と、前記第２の特徴量ベクトルと、を対応付けて記憶する記憶部をさらに備え、
   前記特徴特定部は、前記記憶部が記憶する複数の前記第２の特徴量ベクトルのうち、前記第１の特徴量ベクトルと最も類似度の高い特徴量ベクトルに対応する特徴を、前記局所領域の特徴とする、請求項３の画像処理装置。
5. 前記特徴量算出部は、前記入力画像を複数の領域に分割することで、複数の前記局所領域を算出し、
   前記特徴特定部は、
   前記第１及び第２の特徴量ベクトル間の類似度を算出し、前記複数の局所領域それぞれの特徴を特定することを繰り返し、
   前記入力画像における前記複数の局所領域それぞれの位置情報と、前記複数の局所領域それぞれの特徴と、を対応付ける局所領域特徴情報を算出する、請求項４の画像処理装置。
6. 前記特徴特定部は、前記第１及び第２の特徴量ベクトル間の類似度を測る指標として、カイ二乗距離を用いる、請求項３乃至５のいずれか一項に記載の画像処理装置。
7. 前記入力画像は、隆線により曲線縞模様が形成されている画像である、請求項１乃至６のいずれか一項に記載の画像処理装置。
8. 前記特徴特定部は、
   前記予め特徴が判定された画像の特徴と、前記予め特徴が判定された画像に対応する第２の特徴量ベクトルと、を教師データとして入力し、モデルの学習を行うと共に、
   前記学習されたモデルに基づき、前記第１の特徴量ベクトルに対応する局所領域の特徴を特定する、請求項１又は２に記載の画像処理装置。
9. 前記局所領域特徴情報に応じて、前記複数の局所領域それぞれに適用する処理を変更する、フィルタ部をさらに備える、請求項５乃至７のいずれか一項に記載の画像処理装置。
10. 前記局所領域特徴情報に基づいて、前記入力画像から特定の特徴を有する前記局所領域を抽出する抽出部、
    前記局所領域特徴情報に基づいて、前記入力画像を構成する複数の局所領域の中に、特定の特徴を有する局所領域が存在するか否かを検査する検査部、及び、
    前記局所領域特徴情報に基づいて、前記入力画像の画質に関する警報を行う警報部のうち少なくとも１つをさらに備える請求項５乃至７のいずれか一項に記載の画像処理装置。
11. 画像を入力するステップと、
    前記入力された入力画像の局所領域における質感を特徴付ける画像特徴量を算出するステップと、
    前記画像特徴量から、前記局所領域に対応する第１の特徴量ベクトルを算出するステップと、
    前記第１の特徴量ベクトルと同種の方法により算出される特徴量ベクトルであって、予め特徴が判定された画像から算出される第２の特徴量ベクトルと、前記第１の特徴量ベクトルと、に基づいて、前記局所領域の特徴を特定するステップと、
    を含み、
    前記画像特徴量を算出するステップは、前記局所領域を構成する複数の画素それぞれからＬＢＰ（Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ）値を算出すると共に、前記局所領域に含まれる複数の画素それぞれに対応する前記ＬＢＰ値のヒストグラムを、前記画像特徴量として算出し、
    前記画像特徴量を算出するステップは、比較対象画素と中心画素間の距離が異なる複数の前記ＬＢＰ値を算出し、
    前記第１の特徴量ベクトルを算出するステップは、前記複数のＬＢＰ値から得られるヒストグラムを組み合わせて前記第１の特徴量ベクトルを算出する、画像処理方法。
12. 画像を入力する処理と、
    前記入力された入力画像の局所領域における質感を特徴付ける画像特徴量を算出する処理と、
    前記画像特徴量から、前記局所領域に対応する第１の特徴量ベクトルを算出する処理と、
    前記第１の特徴量ベクトルと同種の方法により算出される特徴量ベクトルであって、予め特徴が判定された画像から算出される第２の特徴量ベクトルと、前記第１の特徴量ベクトルと、に基づいて、前記局所領域の特徴を特定する処理と、
    を画像処理装置を制御するコンピュータに実行させるプログラムであって、
    前記画像特徴量を算出する処理は、前記局所領域を構成する複数の画素それぞれからＬＢＰ（Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ）値を算出すると共に、前記局所領域に含まれる複数の画素それぞれに対応する前記ＬＢＰ値のヒストグラムを、前記画像特徴量として算出し、
    前記画像特徴量を算出する処理は、比較対象画素と中心画素間の距離が異なる複数の前記ＬＢＰ値を算出し、
    前記第１の特徴量ベクトルを算出する処理は、前記複数のＬＢＰ値から得られるヒストグラムを組み合わせて前記第１の特徴量ベクトルを算出する、プログラム。