JP6668775B2 - 局所特徴量抽出装置 - Google Patents

Description

本発明は、局所特徴量抽出装置、局所特徴量抽出方法、個体識別システム、およびプログラムに関する。

従来から、工業製品や製品パッケージには製造番号が付与され、生産品の品質・流通管理に広く用いられている。また、ＩＣタグやＲＦＩＤを生産品に内蔵し、生産品のロットや個体を識別する方法も用いられている。しかしながら、たとえば微小な電子部品に対しては、個々の部品に印字を行ったり、ＩＣタグを付与したりといった方法はコストや技術面で困難があり、上記の方法を用いてロット・個体管理を行うのは従来難しかった。

これに対し近年では、生産品の表面もしくは表面に付与された素材表面のランダムパターンを画像で識別し、個体識別を行う方法が提案されている。

例えば特許文献１では、基準とする物品に付与された印刷部の画像から特徴を取得し、個体識別に用いる方法について提案されている。この例は、物品の印刷部として、ランダムな絵柄やタガント（微小細粒）のランダム分布を付与し、絵柄やタガント分布のランダムパターンを用いて個体識別を行うものである。

他方、本発明に関連する他の技術として以下のようなものが提案されている。

例えば特許文献２では、入力画像から特徴点を抽出し、画像検索に用いる方法について提案されている。この例は、入力画像および当該入力画像を縮小変換した縮小画像のそれぞれから特徴点を抽出し、入力画像とその縮小画像のそれぞれで対応する位置から抽出されている特徴点を対応特徴点として決定し、対応特徴点に関する局所特徴量を入力画像の局所特徴量として算出するものである。そして、局所特徴量として、２次元配列における画素値の分布の勾配や勾配方向に基づいて対応特徴点ごとにオリエンテーション（方向）を割当てる方法、例えばＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）特徴量が例示されている。

また、特許文献３では、クエリ画像から特徴点の特徴量を抽出し、また登録画像から複数の特徴点の局所特徴量を抽出し、画像検索に用いる方法について提案されている。この例は、登録画像および登録画像に画像変換処理（変形処理や明るさ変換処理）を施して生成した変換画像のそれぞれから複数の特徴点の局所特徴量を抽出して特徴量データベースに登録し、クエリ画像から抽出した特徴点の局所特徴量を、上記登録画像およびその変換画像の複数の特徴点の局所特徴量と比較して、クエリ画像に類似する登録画像を検索するものである。そして、局所特徴量としてＳＩＦＴ特徴量が例示されている。

また、特許文献４では、入力画像から複数の特徴点を抽出した後に選定し、選定した特徴点を用いて照合を行う方法について提案されている。この例は、入力画像から多数の特徴点を抽出し、各特徴点に関する座標位置、スケール、オリエンテーションなどを含む特徴点情報に基づいて、上記多数の特徴点の中から重要度順に所定数の特徴点を選定するものである。そして、重要度としてスケールの大きさが例示されている。また、選定した特徴点に対する局所領域を取得し、各局所領域を複数のサブ領域に分割し、サブ領域毎に複数次元の特徴ベクトルを生成し、各局所領域内のサブ領域の位置関係に基づいて、近接するサブ領域間の相関が低くなるようにサブ領域毎に特徴ベクトルから次元を選定し、選定された次元の要素を局所領域の特徴量とするものである。そして、特徴ベクトルとして、ＳＩＦＴ特徴量が例示されている。

特開２０１３−１９６４１８号公報 特開２０１０−７９５４５号公報 特開２０１５−２２６３１号公報 ＷＯ２０１３／０７３６２２

Ｅ．Ｒｕｂｌｅｅ，ｅｔ．ａｌ．，"ＯＲＢ：ａｎ ｅｆｆｉｃｉｅｎｔ ａｌｔｅｒｎａｔｉｖｅ ｔｏ ＳＩＦＴ ｏｒ ＳＵＲＦ"，Ｐｒｏｃ．ＩＣＣＶ，２０１１．

ところで、入力画像中の特徴点の特徴量を用いて精度良く個体識別や画像検索などを行うためには、特徴点の局所特徴量が安定して抽出できる必要がある。しかるに、上述した特許文献１乃至４に記載の技術は、特徴点近傍の輝度勾配が小さい特徴点が多く検出されるランダムパターンを有する入力画像や、画像撮影時の照明のムラ等の外的要因や撮影装置に起因するノイズ等の内的要因によって特徴点近傍の輝度勾配が減少した入力画像に対しては、特徴点の局所特徴量を安定して抽出できないという課題がある。

例えば特許文献１では、入力画像から輪郭抽出処理によって各タガントの輪郭を抽出し、抽出される輪郭によって各タガントの領域を特定し、特定される領域の重心位置を、特徴点とする。このため、各タガント近傍の輝度が変化すると、輪郭抽出できないタガントが発生し、また、特定されるタガントの領域が変化し、その結果、特徴点を安定して抽出することができない。

また特許文献２では、入力画像とその縮小画像のそれぞれで対応する位置から抽出されている特徴点を対応特徴点として決定し、対応特徴点に関する局所特徴量を入力画像の局所特徴量として算出する。これにより、画像の拡大または縮小による影響を軽減している。しかし、局所特徴量として２次元配列における画素値の分布の勾配や勾配方向に基づいて対応特徴点ごとにオリエンテーション（方向）を割当てる方法を使用するため、特徴点の近傍の輝度勾配が小さい特徴点が多く存在すると、オリエンテーションが不安定な特徴点が多く検出され、局所特徴量を安定して抽出することができない。

また特許文献３では、登録画像および登録画像に明るさ変換処理などを施して生成した変換画像から複数の特徴点の局所特徴量を抽出して特徴量データベースに登録し、クエリ画像から抽出した特徴点の特徴量を、登録画像およびその変換画像から抽出しておいた複数の特徴点の局所特徴量と比較して、クエリ画像に類似する登録画像を検索する。そして、特徴量としてＳＩＦＴ特徴量を使用する。このため、特許文献２と同様に、特徴点の近傍の輝度勾配が小さい特徴点が多く存在すると、オリエンテーションが不安定な特徴点が多く検出され、局所特徴量を安定して抽出することができない。

また特許文献４では、入力画像から多数の特徴点を抽出し、この多数の特徴点の中からスケールの大きい特徴点ほど重要度が高いと判断して、重要度順に所定数の特徴点を選定し、選定した特徴点の局所領域の特徴量を入力画像の特徴量として抽出する。これにより、画像中に写る物体の大きさの変動に幅広く対応することが可能になる。しかし、選定したスケールの大きな特徴点であっても、それら特徴点の近傍の輝度勾配が小さいならば、特許文献２および特許文献３と同様に、ＳＩＦＴ特徴量である特徴ベクトルを求める際のオリエンテーション（方向）が不安定になり、選定した特徴点の局所領域の特徴量を安定して抽出することができない。

このように上述した特許文献１乃至４は、特徴点近傍の輝度勾配が小さい特徴点が多く存在する入力画像から、特徴点の局所特徴量を安定して抽出することは困難である。

本発明の目的は、上述した課題を解決する局所特徴量抽出装置を提供することにある。

本発明の一実施形態に係る局所特徴量抽出装置は、
入力画像から複数の特徴点を検出する検出手段と、
前記特徴点の近傍の輝度勾配から算出される特徴点の信頼度に基づき、前記複数の特徴点の中から局所特徴量を抽出するための特徴点を選択する選択手段と、
を有する。

また、本発明の他の実施形態に係る局所特徴量抽出方法は、
入力画像から複数の特徴点を検出し、
前記特徴点の近傍の輝度勾配から算出される当該特徴点の信頼度に基づき、前記複数の特徴点の中から局所特徴量を抽出するための特徴点を選択する。

また、本発明の他の実施形態に係るプログラムは、
コンピュータを、
入力画像から複数の特徴点を検出する検出手段と、
前記特徴点の近傍の輝度勾配から算出される当該特徴点の信頼度に基づき、前記複数の特徴点の中から局所特徴量を抽出するための特徴点を選択する選択手段と、
して機能させる。

また、本発明の他の実施形態に係る個体識別システムは、
本発明の実施形態に係る前記局所特徴量抽出装置と、
前記局所特徴量抽出装置によって選択された前記特徴点に基づいて、前記入力画像に含まれる物体を個別に識別する識別手段と、
を有する。

本発明は上述した構成を有するため、特徴点近傍の輝度勾配が小さい特徴点が多く存在する入力画像から、特徴点の局所特徴量を安定して抽出することができる。

本発明の第１の実施形態に係る個体識別システムのブロック図である。 本発明の第１の実施形態に係る個体識別システムにおける特徴量データベースの一例を示す図である。 本発明の第１の実施形態に係る個体識別システムにおける画像撮影部から登録・照合装置に入力される画像の例を示す図である。 本発明の第１の実施形態に係る個体識別システムにおける入力画像に対して補正処理した画像の例を示す図である。 本発明の第１の実施形態に係る個体識別システムにおけるオリエンテーション信頼度の算出例を示す図である。 本発明の第１の実施形態に係る個体識別システムにおける登録・照合装置を実現する情報処理装置のブロック図である。 本発明の第１の実施形態に係る個体識別システムにおける特徴量抽出処理の手順を示すフローチャートである。 本発明の第１の実施形態に係る個体識別システムにおける特徴量照合処理の手順を示すフローチャートである。 本発明の第２の実施形態に係る登録システムのブロック図である。 本発明の第３の実施形態に係る照合システムのブロック図である。 本発明の第４の実施形態において勾配方向ヒストグラムを作成するための計算式を示す図である。 本発明の第４の実施形態において作成された勾配方向ヒストグラムの一例を示す図である。 本発明の第５の実施形態に係る局所特徴量抽出装置のブロック図である。

次に本発明の実施の形態について図面を参照して詳細に説明する。
[第１の実施形態]
図１は、本発明に係る一実施形態の個体識別システムのブロック図である。

本実施形態に係る個体識別システム１００は、計測装置１１０、記憶装置１２０および登録・照合装置１３０を有している。

計測装置１１０は、画像撮影部１１１を含む。画像撮影部１１１は、物体１４０の表面を撮像して得た、物体表面が認識可能な画像データを登録・照合装置１３０に出力する。物体１４０は、工業製品や製品パッケージなど、個体識別を行う対象である。物体１４０の表面層は、微細な凹凸を持つ層であってよい。この場合、物体表面の凹凸を持つ層の画像が画像撮影部１１１から登録・照合装置１３０に入力される。また物体１４０の表面層は、微小な粒を含有する層であってよい。微小な粒は層を構成する材料（微小な粒を除く）と反射特性が異なる粒であることが望ましい。この場合、微小な粒を含有する層の画像が画像撮影部１１１から登録・照合装置１３０に入力される。

記憶装置１２０は、特徴量データベース１２１を含む。特徴量データベース１２１は、基準物体の特徴量データを記憶する。図２は、特徴量データベース１２１の内容の一例を示す。この例の特徴量データベース１２１は、個体番号と特徴量データとを対応付けて記憶する。個体番号は、基準とする物体の識別番号である。特徴量データは、基準とする物体の表面が認識可能な画像データから抽出された特徴点の局所特徴量の集合である。例えば、特徴量データベース１２１の１行目は、個体番号１の基準物体の特徴量データは、局所特徴量１１、局所特徴量１２、…、局所特徴量１Ｎ（Ｎは次元数）であることを表している。例えば、ＳＩＦＴ特徴量を使用する場合、Ｎは１２８である。

個体識別システム１００は、登録モード、照合モードという２つのモードの何れかで動作する。特徴量データベース１２１は、登録モードでは、物体１４０の画像から算出された特徴量データを登録・照合装置１３０から入力して記憶する。また特徴量データベース１２１は、照合モードでは、物体１４０の画像から算出された特徴量データと比較するための基準物体の特徴量データを登録・照合装置１３０へ出力する。

登録・照合装置１３０は、画像補正部１３１、特徴点検出部１３２、特徴点信頼度算出部１３３、特徴点選択部１３４、局所特徴量抽出部１３５、対応特徴点決定部１３６、誤対応点除去部１３７、および照合判定部１３８を含む。なお、対応特徴点決定部１３６、誤対応点除去部１３７、および照合判定部１３８は、総称して、識別手段とも称される。

画像補正部１３１は、入力画像に補正処理を施して補正画像を生成する。画像補正部１３１が入力画像に施す補正処理は、輝度値を補正する処理であってよい。具体的には、補正処理は、入力画像の輝度ヒストグラムの最小値と最大値を引き延ばす強調処理であってよい。例えば、入力画像がグレースケール８ビット画像の場合、画像処理部１３１は、最小値が０、最大値が２５５となるように頻度ヒストグラムを引き延ばす処理を施す。これについて、図３および図４を参照しながら説明する。

図３は入力画像の例である。また図４は入力画像に頻度ヒストグラムを引き延ばす処理を施して得られた補正画像の例である。入力画像が図３のように濃淡が薄い画像であった場合、入力画像に頻度ヒストグラムを引き延ばす画像補正処理を施すことで、図４のようにランダムパターンが鮮明に写った補正画像を得ることができる。なお、入力画像にすでに図４のような鮮明なランダムパターンが写っている場合も、上記補正処理を施すことで何ら不都合は生じない。

また画像補正部１３１は、入力画像の輝度ヒストグラムの分散を用いた外れ値除去または入力画像の輝度ヒストグラムのパーセンタイル点を用いた外れ値除去によって、極端に高い或いは低い輝度値を有する少数のピクセルの輝度値を除去した後、上記強調処理を行うように構成されていてよい。

特徴点検出部１３２は、画像補正部１３１によって生成された補正画像から複数の特徴点を検出する。また特徴点検出部１３２は、検出される特徴点の数を所定閾値以下に低減するために、画像補正部１３１によって生成された補正画像を予め定められた基準で平滑化した画像から複数の特徴点を検出するように構成されていてよい。画像の平滑化には、例えば、ガウシアンフィルタ等を用いることができる。

また特徴点検出部１３２は、特徴点を検出すると、検出した特徴点に関する情報である特徴点情報を出力する。ここで、特徴点情報とは、例えば、検出された特徴点の座標位置やスケール、特徴点に対して割当てられた固有のＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）である特徴点番号などを示すものである。特徴点検出部１３２は、画像から特徴点を検出して特徴点情報を抽出する際に、例えば、非特許文献１記載のようにＦＡＳＴ検出器等を用いることができる。具体的には、特徴点検出部１３２は、ＦＡＳＴコーナー検出処理を元画像および複数サイズの縮小画像に適用することで、特徴点の位置とスケールを決定することができる。なお、特徴点検出部１３２は、画像から特徴点を検出して特徴点情報を抽出する際に、ＤｏＧ（Ｄｉｆｆｅｒｅｎｃｅ−ｏｆ−Ｇａｕｓｓｉａｎ）等の他の手法を用いてもよい。また特徴点検出部１３２は、その内部で検出された特徴点の中から重要な特徴点のみを選び出し、その特徴点に関する情報のみを特徴点情報として出力してもよい。

特徴点信頼度算出部１３３は、特徴点検出部１３２で検出された特徴点毎に、特徴点の近傍の輝度勾配に基づいて当該特徴点の信頼度を算出する。具体的には、特徴点信頼度算出部１３３は、特徴点のオリエンテーション（方向）を算出し、そのオリエンテーションを算出する際にそのオリエンテーションの信頼度を算出し、このオリエンテーション信頼度を当該特徴点の信頼度とする。ここで、オリエンテーション信頼度とは、オリエンテーションを求める際に参照する一つないし複数の値のことを指す。以下、特徴点信頼度算出部１３３が、オリエンテーションおよびオリエンテーション信頼度を算出する動作について、図５を参照して説明する。

図５には、２つの画像パッチ（画像の一部分）４１、４２が描かれている。画像パッチ４１、４２において、白色の領域は高輝度領域、黒色の領域は低輝度領域をそれぞれ示す。この画像パッチ４１、４２に対して上述した特徴点検出部１３２による特徴点検出処理を施すと、画像パッチ４１、４２から幾つかの特徴点が検出される。画像パッチ４１、４２に付記されている点Ｏは、その中の１つの特徴点を示している。また、画像パッチ４１、４２に付記されている点Ｃは、画像パッチ４１、４２の輝度分布の重心位置を示す。このとき、特徴点Ｏと点Ｃを結ぶベクトルＯＣの向きは、特徴点Ｏ近傍の大域的な輝度勾配方向に相当し、特徴点Ｏのオリエンテーションとして用いることが可能である。また、上記ベクトルＯＣのベクトル長（ベクトルＯＣの絶対値）は、特徴点Ｏ近傍の大域的な輝度勾配の大きさに相当する。大域的な輝度勾配が大きい特徴点は、多少の画像変動（輝度変動）に対して大域的な勾配方向（つまりオリエンテーション）が頑健である。そのため、ベクトルＯＣのベクトル長（ベクトルＯＣの絶対値）を、特徴点Ｏのオリエンテーション信頼度として用いることが可能である。

図５において、画像パッチ４１の特徴点Ｏは、ベクトルＯＣのベクトル長が長いのでオリエンテーション信頼度が高い特徴点の例である。これに対して画像パッチ４２の特徴点Ｏは、ベクトルＯＣのベクトル長が短いのでオリエンテーション信頼度が低い特徴点の例である。一般に、細かな濃淡分布で構成されるランダムパターンからは、画像パッチ４２の特徴点Ｏのような、特徴点近傍の大域的な輝度勾配が小さい、すなわちオリエンテーションの向きが不安定な特徴点が多く検出される一方、画像パッチ４１の特徴点Ｏのような、特徴点近傍の大域的な輝度勾配が大きい、すなわちオリエンテーションの向きが安定な特徴点はそれほど多くは検出されない傾向がある。

再び図１を参照すると、特徴点選択部１３４は、特徴点検出部１３２で検出された特徴点の中から、特徴点信頼度算出部１３３で算出された特徴点毎の信頼度に基づき、局所特徴量を抽出するための特徴点を選択する。具体的には、特徴点選択部１３４は、図５を参照して説明したように、ベクトルＯＣのベクトル長をオリエンテーション信頼度として、オリエンテーション信頼度が所定値以上の特徴点を選別する。これにより、特徴点付近の大域的な輝度勾配が大きく、オリエンテーションの安定した特徴点のみを選択できる。特徴点選択部１３４は、選択した特徴点毎に、特徴点に関する情報である特徴点情報を局所特徴量抽出部１３５へ出力する。特徴点情報は、選択された高信頼度の特徴点に対して割り当てられた固有のＩＤ、特徴点の座標値、スケール、オリエンテーションなどを含む。ここで、特徴点のＩＤと座標値とスケールは、特徴点検出部１３２で算出されたものを用いることができ、オリエンテーションは、特徴点信頼度算出部１３３で算出したものを用いることができる。

局所特徴量抽出部１３５は、特徴点選択部１３４から受け取った特徴点の特徴点情報に基づいて、特徴点選択部１３４によって選択された高信頼度の特徴点毎に、特徴点の近傍の局所領域の特徴量（局所特徴量）を抽出する。局所特徴量抽出部１３５は、画像撮影部１１１から画像補正部１３１に入力された画像または画像補正部１３１で補正処理を施されて得られた画像に対して、所定の正規化処理を施して得られた正規化画像から、特徴点の局所特徴量を抽出する。

具体的には、局所特徴量抽出部１３５は、まず、特徴点の特徴点情報に基づいて、特徴量抽出を行う局所領域を取得する。例えば局所特徴量抽出部１３５は、特徴点情報に含まれる特徴点の座標値、スケール、オリエンテーションから、特徴量抽出を行う、正規化した矩形の局所領域を取得する。特徴点の座標値は局所領域の中心を規定し、スケールは局所領域のサイズを規定し、オリエンテーションは局所領域の向きを規定する。次に局所特徴量抽出部１３５は、局所領域から局所特徴量を抽出する。抽出する局所特徴量としては、例えば非特許文献１記載のＢＲＩＥＦ特徴量を用いることができる。しかし、ＢＲＩＥＦ特徴量に限定されず、ＳＩＦＴ特徴量など他の種類の特徴量であってもよい。

局所特徴量抽出部１３５は、前述したように、画像補正部１３１の入力画像から特徴点の局所特徴量を抽出してもよいし、画像補正部１３１で補正処理して得られた補正画像から特徴点の局所特徴量を抽出してもよい。

また、局所特徴量抽出部１３５は、入力画像に、局所領域ごとの輝度値の平均と分散を正規化する局所コントラスト正規化処理等、画像補正部１３１とは異なる処理を施して得られる画像から特徴点の局所特徴量を抽出するように構成されていてよい。画像補正部１３１と異なる処理を用いる効果は、例えば、局所コントラスト正規化処理は、細かなコントラストを際立たせ、ランダムパターンの識別性を高める効果が期待できる反面、オリエンテーションを求めるのに有効な大域的な輝度勾配を消失させる効果があるため、局所特徴量抽出部１３５のみで用いることが望ましいためである。

局所特徴量抽出部１３５は、登録モードの場合、抽出した特徴点の局所特徴量を特徴量データベース１２１に登録し、処理を終了する。他方、照合モードの場合、局所特徴量抽出部１３５は、抽出した特徴点の局所特徴量と共に制御を対応特徴点決定部１３６へ渡す。

対応特徴点決定部１３６は、局所特徴量抽出部１３５から受け取った入力画像の特徴点の局所特徴量（以下、入力特徴量と記す）と特徴量データベース１２１に登録されている基準物体の特徴点の局所特徴量（以下、登録特徴量と記す）とを比較することによって、入力画像の特徴点と基準物体の特徴点とを対応付ける。例えば、対応特徴点決定部１３６は、入力特徴量および登録特徴量としてＢＲＩＥＦ等の２値特徴量を用いている場合、特徴量空間におけるハミング距離計算をこれら２つの特徴量に含まれる全ての特徴点について行い、その距離値が他のどの特徴点と比べても最小となる特徴量同士の組み合わせに関して、その特徴量及び特徴量記述の基になっている特徴点は対応していると判断し、特徴点の位置情報と対応する特徴点の位置情報を対応特徴点情報として出力する。

誤対応点除去部１３７は、対応特徴点決定部１３６が出力する対応特徴点情報を検査する。具体的には、誤対応点除去部１３７は、対応特徴点決定部１３６から対応特徴点情報を受け取り、受け取った対応特徴点の中から、正しく対応している特徴点と誤って対応している特徴点を判別して、その判別した特徴点情報をそれぞれ出力する。例えば、誤対応点除去部１３７は、対応特徴点決定部１３６から受け取った対応特徴点情報に対し、ＲＡＮＳＡＣ等の手法を適用して、参照画像中の座標から入力画像中の座標への幾何変換情報を推定する。ここで推定された幾何変換情報を、対応特徴点の参照画像側の特徴点に対しそれぞれ作用させ、それらが入力画像側の特徴点にほぼ一致する場合は正しく対応している特徴点であると判断し、逆に入力側の特徴点に一致しない場合は誤って対応している特徴点であると判断する。上記のような処理に使用する参照画像は、登録特徴量に対応して特徴量データベース１２１に記憶しておくか、別の記憶装置に記憶しておけばよい。

照合判定部１３８は、入力画像に含まれる物体が特徴量データベース１２１に登録されている何れの基準物体と同一であるかを表す照合判定結果を出力する。具体的には、照合判定部１３８は、誤対応点除去部１３７から対応特徴点情報を受け取り、対応特徴点情報から得られる識別スコアを用いて照合判定結果を出力する。識別スコアは、入力特徴量と登録特徴量との類似の程度を表す。上記識別スコアが所定閾値以上である場合は同一個体を写した画像であると判定し、その登録済み特徴量に紐付いた個体番号等を含む照合判定結果を出力する。上記識別スコアが所定閾値未満であれば、異なる個体を写した画像であるとの照合判定結果を出力する。識別スコアとしては例えば、誤対応点除去部１３７で正しく対応した特徴点の組合せ数（インライア数）や、上記組合せ数を、対応特徴点決定部１３６で得られた対応特徴点数で除した比率（インライア比率）を用いることができる。

上述した抽出・照合装置１３０は、例えば図６に示すように、１以上のマイクロプロセッサ等の演算処理部５１と、メモリやハードディスク等の記憶部５２とを有する情報処理装置５３と、プログラム５４とで実現することができる。プログラム５４は、情報処理装置５３の立ち上げ時等に外部のコンピュータ読み取り可能な記録媒体からメモリに読み込まれ、演算処理部５１の動作を制御することにより、演算処理部５１上に、画像補正部１３１、特徴点検出部１３２、特徴点信頼度算出部１３３、特徴点選択部１３４、局所特徴量抽出部１３５、対応特徴点決定部１３６、誤対応点除去部１３７、および照合判定部１３８といった機能的手段を実現する。

次に、図７および図８を参照して、本実施形態に係る個体識別システム１００の動作を説明する。

［特徴量抽出処理］
まず、画像から特徴量を抽出する処理について、図７を参照しながら説明する。図７は、図１の画像補正部１３１、特徴点検出部１３２、特徴点信頼度算出部１３３、特徴点選択部１２４、および局所特徴量抽出部１３５の処理手順を概略的に示すフローチャートである。

まず、画像補正部１３１は、画像撮影部１１１で撮像され転送された入力画像２１に上述した頻度ヒストグラムを引き延ばす補正処理を施し、補正画像を出力する（ステップＳ２０１）。

次に、特徴点検出部１３２は、画像補正部１３１で変換された補正画像から、特徴的な点（特徴点）を多数検出し、各特徴点に関する情報である特徴点情報を出力する（ステップＳ２０２）。ここで、特徴点情報には、前述したように、例えば、検出された特徴点の座標位置やスケール、特徴点に対して割り当てられた固有のＩＤである特徴点番号等が含まれる。特徴点検出部１３２は、検出された特徴点数が所定閾値以下となった場合（ステップＳ２０３のＹＥＳ）は、処理をステップＳ２０５に進める。一方、特徴点検出部１３２は、検出された特徴点数が所定閾値以上の場合（ステップＳ２０３のＮＯ）は、画像に平滑化処理を施し（ステップＳ２０４）、再度特徴点抽出を行う（ステップＳ２０２）。その理由は、一般にランダムパターンを平滑化した画像から検出される特徴量の数は、元のランダムパターンから検出される特徴量の数より少なくなるためである。特徴点検出部１３２は、上記の処理を、特徴点数が所定閾値以下になるまで繰り返す。なお、特徴点検出部１３２は、再び平滑化処理を行う場合、前回の平滑化処理に比べて平滑化の程度をより高めた平滑化処理を実施する。その理由は、平滑化の程度がより高くなるほど検出される特徴量の数がより少なくなるためである。

次に、特徴点信頼度算出部１３３は、特徴点検出部１３２で検出された特徴点毎に、その特徴点のオリエンテーションとその信頼度を算出する（ステップＳ２０５）。次に、特徴点選択部１３４は、特徴点検出部１３２で検出された特徴点の中から、オリエンテーション信頼度が所定閾値以上の特徴点を、局所特徴量を抽出するための高信頼の特徴点として選択する（ステップＳ２０６）。特徴点選択部１３４は、選択した高信頼の特徴点毎に、特徴点の座標値、スケール、オリエンテーションなどを含む特徴点情報２２を局所特徴量抽出部１３５へ出力する。

次に、局所特徴量抽出部１３５は、特徴点選択部１３４から特徴点の特徴点情報２２を受け取ると、以下のような処理を行う。まず、局所特徴量抽出部１３５は、入力画像に上述した局所コントラスト正規化処理を施して（ステップＳ２０８）、正規化画像２３を生成する。次に局所特徴量抽出部１３５は、特徴点毎に、特徴点情報２２に含まれる特徴点の座標値、スケール、オリエンテーションから、特徴量抽出を行う矩形の局所領域を取得し、その局所領域から局所特徴量２４を算出する（ステップＳ２０７）。

局所特徴量抽出部１３５で抽出された局所特徴量２４を特徴量データベース１２１に登録する場合は、登録後、処理を終了する。局所特徴量２４を特徴量データベース１２１に登録済みの特徴量と照合する場合は、対応特徴点決定部１３６に処理を進める。

［特徴量照合処理］
続いて、登録済みの個体との照合処理について、図８を参照しながら説明する。図８は、図１の対応特徴点決定部１３６、誤対応点除去部１３７、および照合判定部１３８の処理手順を概略的に示すフローチャートである。

まず、対応特徴点決定部１３６は、局所特徴量抽出部１３５から受け取った入力画像の特徴点の局所特徴量（入力特徴量３１）と特徴量データベース１２１に登録されている基準物体の特徴点の局所特徴量（登録特徴量３２）とから、特徴点の対応付けを行い、対応付けの結果である対応特徴点情報を出力する（ステップＳ３０１）。

次に、誤対応点除去部１３７は、対応特徴点決定部１３６から対応特徴点情報を受け取り、受け取った対応特徴点の中から、正しく対応している特徴点と誤って対応している特徴点を判別して、その判別した特徴点情報をそれぞれ出力する（ステップＳ３０２）。

次に、照合判定部１３８は、誤対応点除去部１３７から対応特徴点情報を受け取り、対応特徴点情報から得られる識別スコアを用いて照合判定結果を出力する。即ち、照合判定部１３８は、識別スコアが所定閾値以上である場合は同一個体を写した画像であると判定し（ステップＳ３０３のＹＥＳ）、その登録済み特徴量に紐付いた個体番号等を含む判定結果３３を出力する。上記識別スコアが所定閾値未満であれば、異なる個体を写した画像であるとの判定結果３４を出力する（ステップＳ３０３のＮＯ）。

このように本実施形態によれば、特徴点近傍の輝度勾配が小さい特徴点が多く存在する入力画像から、特徴点の局所特徴量を安定して抽出することができる。その理由は、特徴点選択部１３４が、特徴点の近傍の輝度勾配から算出される特徴点のオリエンテーション信頼度に基づき、特徴点検出部１３２が検出した複数の特徴点の中から局所特徴量を抽出するための特徴点を選択するためである。そして、本実施形態によれば、入力画像から特徴点の局所特徴量を安定して抽出することができるので、局所特徴量を用いた物体の個体識別を精度よく行うことができる。本実施形態は、図３に示されるようなランダムパターンを用いる個体識別に特に有用である。但し、本発明は図３に示されるようなランダムパターンを用いる個体識別に限定されず、概ね特徴点周囲の輝度パターンが非対称であり、特徴点周囲一定範囲の輝度勾配等を用いて、安定したオリエンテーションを求めることができるパターンを用いる個体識別に対しても勿論適用可能である。

これに対して、図３に示されるようなランダムパターンの照合に、非特許文献１に記載されるような局所特徴方式をそのまま用いると、特徴点のオリエンテーションが正しく求まる比率が低く、照合精度が低下する。その理由は、図３のようなランダムパターンでは、特徴点周囲の輝度勾配が小さい場合が多く、オリエンテーションの安定しない特徴点が多数発生するけれども、非特許文献１に記載されるような局所特徴方式をそのまま用いると、そのようなオリエンテーションの安定しない特徴点が局所特徴量を抽出するための特徴点となってしまうためである。

[第２の実施形態]
図９は、本発明の他の実施形態に係る登録システムのブロック図である。

本実施形態に係る登録システム２００は、画像撮影部１１１を含む計測装置１１０、特徴量データベース１２１を含む記憶装置１２０、および登録装置１５０を有している。このうち、計測装置１１０、画像撮影部１１１、記憶装置１２０、特徴量データベース１２１は、図１の計測装置１１０、画像撮影部１１１、記憶装置１２０、特徴量データベース１２１と同じである。

登録装置１５０は、画像補正部１３１、特徴点検出部１３２、特徴点信頼度算出部１３３、特徴点選択部１３４、および局所特徴量抽出部１３５を含む。これらの画像補正部１３１、特徴点検出部１３２、特徴点信頼度算出部１３３、特徴点選択部１３４、および局所特徴量抽出部１３５は、図１の画像補正部１３１、特徴点検出部１３２、特徴点信頼度算出部１３３、特徴点選択部１３４、および局所特徴量抽出部１３５と同じである。

このように構成された登録システム２００は、図７を参照して説明した特徴量抽出処理（ステップＳ２０１〜Ｓ２０８）と同様の処理を行う。

[第３の実施形態]
図１０は、本発明の他の実施形態に係る照合システムのブロック図である。

本実施形態に係る照合システム３００は、画像撮影部１１１を含む計測装置１１０、特徴量データベース１２１を含む記憶装置１２０、および照合装置１６０を有している。このうち、計測装置１１０、画像撮影部１１１、記憶装置１２０、特徴量データベース１２１は、図１の計測装置１１０、画像撮影部１１１、記憶装置１２０、特徴量データベース１２１と同じである。

照合装置１６０は、画像補正部１３１、特徴点検出部１３２、特徴点信頼度算出部１３３、特徴点選択部１３４、局所特徴量抽出部１３５、対応特徴点決定部１３６、誤対応点除去部１３７、および照合判定部１３８を含む。これらの画像補正部１３１、特徴点検出部１３２、特徴点信頼度算出部１３３、特徴点選択部１３４、局所特徴量抽出部１３５、対応特徴点決定部１３６、誤対応点除去部１３７、および照合判定部１３８は、図１の画像補正部１３１、特徴点検出部１３２、特徴点信頼度算出部１３３、特徴点選択部１３４、および局所特徴量抽出部１３５、対応特徴点決定部１３６、誤対応点除去部１３７、および照合判定部１３８と同じである。但し、図１０の局所特徴量抽出部１３５は、抽出した特徴点の局所特徴量は特徴量データベース１２１には登録しない。

このように構成された照合システム３００は、図７を参照して説明した特徴量抽出処理（ステップＳ２０１〜Ｓ２０８）と図８を参照して説明した特徴量照合処理（ステップＳ３０１〜Ｓ３０３）と同様の処理を行う。

[第４の実施形態]
本実施形態では、特徴点信頼度算出部１３３の他の例について説明する。

上記第１乃至第３の実施形態における特徴点信頼度算出部１３３は、特徴点の位置と当該特徴点近傍の輝度分布の重心位置とを結ぶベクトルの方向とベクトル長を、当該特徴点のオリエンテーションとその信頼度として用いた。換言すれば、上記第１乃至第３の実施形態における特徴点信頼度算出部１３３は、特徴点近傍の大域的な輝度勾配の方向とその信頼度を、特徴点近傍の輝度分布の重心位置とを結ぶベクトルの方向とベクトル長から算出した。これに対して、本実施形態における特徴点信頼度算出部１３３は、特徴点近傍の大域的な輝度勾配の方向とその信頼度を、勾配方向ヒストグラムを作成して算出する。

本実施形態における特徴点信頼度算出部１３３は、特徴点検出部１３２が検出した特徴点毎に、勾配方向ヒストグラムを作成する。具体的には、特徴点信頼度算出部１３３は、まず、特徴点が検出された画像（平滑化画像）Ｌ（ｕ，ｖ）のスケールに対応する局所領域内の各画素の勾配強度ｍ（ｕ，ｖ）とその勾配方向θ（ｕ，ｖ）を図１１に示す式１、式２、式３により算出する。次に、特徴点信頼度算出部１３３は、局所領域における勾配強度ｍ（ｕ，ｖ）とその勾配方向θ（ｕ，ｖ）から、図１２に示すような重み付き勾配方向ヒストグラムを、図１１に示す式４、式５により作成する。

ここで、ｈθは、全方向を３６方向に量子化したヒストグラムであり、ｈθ’は、或る方向θ’に対応する勾配強度の総和である。ｗ（ｕ，ｖ）は局所領域のある画素（ｘ，ｙ）での重みであり、特徴点が持つスケールサイズのガウス窓Ｇ（ｘ，ｙ，σ）と勾配強度ｍ（ｘ，ｙ）から求める。δはＫｒｏｎｅｃｋｅｒのデルタ関数で、勾配方向θ（ｘ，ｙ）が量子化した方向θ’に含まれるとき１を返す。

次に特徴点信頼度算出部１３３は、作成した勾配方向ヒストグラムの最大値から例えば８０％以上となるピークを特徴点のオリエンテーションとして割当てる。例えば、図１１の場合、符号４０１で示すピークの方向θ’をオリエンテーションに割当てる。

また特徴点信頼度算出部１３３は、オリエンテーションに割当てたピークの方向θ’に対応する式４のｈθ’の値を、オリエンテーションの信頼度とする。或いは、特徴点信頼度算出部１３３は、オリエンテーションに割当てたピークの方向θ’に対応する式４のｈθ’の値と、オリエンテーションに割当てられなかったピークのうちの最大値に対応する式４のｈθ’の値との差の絶対値を、オリエンテーションの信頼度とする。或いは、特徴点信頼度算出部１３３は、オリエンテーションに割当てられなかったピークのうちの最大値に対応する式４のｈθ’の値に対する、オリエンテーションに割当てたピークの方向θ’に対応する式４のｈθ’の値の割合を、オリエンテーションの信頼度とする。

上記以外の構成および動作は、第１乃至第３の実施形態と同じである。

[第５の実施形態]
図１３を参照すると、本発明の第５の実施形態に係る局所特徴量抽出装置５００は、検出手段５０１と選択手段５０２とを有する。

検出手段５０１は、入力画像５０３から複数の特徴点を検出する機能を有する。選択手段５０２は、上記特徴点の近傍の輝度勾配から算出される特徴点の信頼度に基づき、検出手段５０１が検出した複数の特徴点の中から局所特徴量を抽出するための特徴点を選択する機能を有する。

このように構成された本実施形態に係る局所特徴量抽出装置５００は、以下のように動作する。まず、検出手段５０１が、入力画像５０３から複数の特徴点を検出する。次に、選択手段５０２が、上記特徴点の近傍の輝度勾配から算出される特徴点の信頼度に基づき、上記複数の特徴点の中から局所特徴量を抽出するための特徴点を選択する。

本実施形態に係る局所特徴量抽出装置５００は、上述のように構成され動作することにより、特徴点近傍の輝度勾配が小さい特徴点が多く存在する入力画像から、特徴点の局所特徴量を安定して抽出することができる。その理由は、選択手段５０２が、特徴点の近傍の輝度勾配から算出される特徴点の信頼度に基づき、入力画像５０３から検出された複数の特徴点の中から局所特徴量を抽出するための特徴点を選択するためである。

以上、図面を参照して本発明の実施形態について述べたが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

本発明は、工業製品や製品パッケージの表面もしくは表面に付与された素材表面のランダムパターンが画像で識別し、個体識別を行う分野、画像の検索を行う分野等に適用できる。

４１、４２…画像パッチ
５１…演算処理部
５２…記憶部
５３…情報処理装置
５４…プログラム
１００…個体識別システム
１１０…計測装置
１１１…画像撮像部
１２０…記憶装置
１２１…特徴量データベース
１３０…登録・照合装置
１３１…画像補正部
１３２…特徴点検出部
１３３…特徴点信頼度算出部
１３４…特徴点選択部
１３５…局所特徴量抽出部
１３６…対応特徴点決定部
１３７…誤対応点除去部
１３８…照合判定部
１４０…物体
１５０…登録装置
１６０…照合装置
５００…局所特徴量抽出装置
５０１…検出手段
５０２…選択手段
５０３…入力画像

Claims (16)

1. 入力画像から複数の特徴点を検出する検出手段と、
   前記特徴点の近傍の輝度勾配から算出される当該特徴点の信頼度に基づき、前記複数の特徴点の中から局所特徴量を抽出するための特徴点を選択する選択手段と、
   を有し、
   前記検出手段は、画像平滑化処理により前記特徴点の検出数を所定閾値以下とする、
   局所特徴量抽出装置。
2. 入力画像から複数の特徴点を検出する検出手段と、
   前記特徴点の近傍の輝度勾配から算出される当該特徴点の信頼度に基づき、前記複数の特徴点の中から局所特徴量を抽出するための特徴点を選択する選択手段と、
   を有し、
   前記特徴点の信頼度は、前記特徴点の位置と前記特徴点の周囲の輝度分布の重心位置とを結ぶベクトルの絶対値に基づいて算出される、
   局所特徴量抽出装置。
3. 入力画像から複数の特徴点を検出する検出手段と、
   前記特徴点の近傍の輝度勾配から算出される当該特徴点の信頼度に基づき、前記複数の特徴点の中から局所特徴量を抽出するための特徴点を選択する選択手段と、
   を有し、
   前記特徴点の信頼度は、前記特徴点の近傍の局所領域の大域的な輝度勾配方向の信頼度に基づいて算出される、局所特徴量抽出装置。
4. 入力画像から複数の特徴点を検出する検出手段と、
   前記特徴点の近傍の輝度勾配から算出される当該特徴点の信頼度に基づき、前記複数の特徴点の中から局所特徴量を抽出するための特徴点を選択する選択手段と、
   を有し、
   前記特徴点の信頼度は、前記特徴点の近傍の局所領域内の各画素の勾配強度と勾配方向とから作成される勾配方向ヒストグラムにおける前記勾配強度の総和の最大値に基づいて算出される、
   局所特徴量抽出装置。
5. 入力画像から複数の特徴点を検出する検出手段と、
   前記特徴点の近傍の輝度勾配から算出される当該特徴点の信頼度に基づき、前記複数の特徴点の中から局所特徴量を抽出するための特徴点を選択する選択手段と、
   前記特徴点に関するオリエンテーションおよびオリエンテーション信頼度を算出する算出手段と、
   を有し、
   前記選択手段は、前記オリエンテーション信頼度を前記特徴点の信頼度に用いる、
   局所特徴量抽出装置。
6. 入力画像から複数の特徴点を検出し、
   前記特徴点の近傍の輝度勾配から算出される当該特徴点の信頼度に基づき、前記複数の特徴点の中から局所特徴量を抽出するための特徴点を選択し、
   前記検出では、画像平滑化処理により前記特徴点の検出数を所定閾値以下とする、局所特徴量抽出方法。
7. 入力画像から複数の特徴点を検出し、
   前記特徴点の近傍の輝度勾配から算出される当該特徴点の信頼度に基づき、前記複数の特徴点の中から局所特徴量を抽出するための特徴点を選択し、
   前記特徴点の信頼度は、前記特徴点の位置と前記特徴点の周囲の輝度分布の重心位置とを結ぶベクトルの絶対値に基づいて算出される、
   局所特徴量抽出方法。
8. 入力画像から複数の特徴点を検出し、
   前記特徴点の近傍の輝度勾配から算出される当該特徴点の信頼度に基づき、前記複数の特徴点の中から局所特徴量を抽出するための特徴点を選択し、
   前記特徴点の信頼度は、前記特徴点の近傍の局所領域の大域的な輝度勾配方向の信頼度に基づいて算出される、局所特徴量抽出方法。
9. 入力画像から複数の特徴点を検出し、
   前記特徴点の近傍の輝度勾配から算出される当該特徴点の信頼度に基づき、前記複数の特徴点の中から局所特徴量を抽出するための特徴点を選択し、
   前記特徴点の信頼度は、前記特徴点の近傍の局所領域内の各画素の勾配強度と勾配方向とから作成される勾配方向ヒストグラムにおける前記勾配強度の総和の最大値に基づいて算出される局所特徴量抽出方法装置。
10. 入力画像から複数の特徴点を検出し、
    前記特徴点の近傍の輝度勾配から算出される当該特徴点の信頼度に基づき、前記複数の特徴点の中から局所特徴量を抽出するための特徴点を選択し、
    前記特徴点に関するオリエンテーションおよびオリエンテーション信頼度を算出し、
    前記選択では、前記オリエンテーション信頼度を前記特徴点の信頼度に用いる、
    局所特徴量抽出方法。
11. コンピュータに、
    入力画像から複数の特徴点を検出する処理と、
    前記特徴点の近傍の輝度勾配から算出される当該特徴点の信頼度に基づき、前記複数の特徴点の中から局所特徴量を抽出するための特徴点を選択する処理と、
    を行わせ、
    前記検出では、画像平滑化処理により前記特徴点の検出数を所定閾値以下とする、
    プログラム。
12. コンピュータに、
    入力画像から複数の特徴点を検出する処理と、
    前記特徴点の近傍の輝度勾配から算出される当該特徴点の信頼度に基づき、前記複数の特徴点の中から局所特徴量を抽出するための特徴点を選択する処理と、
    を行わせ、
    前記検出では、画像平滑化処理により前記特徴点の検出数を所定閾値以下とする、
    プログラム。
13. コンピュータに、
    入力画像から複数の特徴点を検出する処理と、
    前記特徴点の近傍の輝度勾配から算出される当該特徴点の信頼度に基づき、前記複数の特徴点の中から局所特徴量を抽出するための特徴点を選択する処理と、
    を行わせ、
    前記特徴点の信頼度は、前記特徴点の近傍の局所領域の大域的な輝度勾配方向の信頼度に基づいて算出される、
    プログラム。
14. コンピュータに、
    入力画像から複数の特徴点を検出する処理と、
    前記特徴点の近傍の輝度勾配から算出される当該特徴点の信頼度に基づき、前記複数の特徴点の中から局所特徴量を抽出するための特徴点を選択する処理と、
    を行わせ、
    前記特徴点の信頼度は、前記特徴点の近傍の局所領域内の各画素の勾配強度と勾配方向とから作成される勾配方向ヒストグラムにおける前記勾配強度の総和の最大値に基づいて算出される
    プログラム。
15. コンピュータに、
    入力画像から複数の特徴点を検出する処理と、
    前記特徴点の近傍の輝度勾配から算出される当該特徴点の信頼度に基づき、前記複数の特徴点の中から局所特徴量を抽出するための特徴点を選択する処理と、
    前記特徴点に関するオリエンテーションおよびオリエンテーション信頼度を算出する処理と、
    を行わせ、
    前記選択では、前記オリエンテーション信頼度を前記特徴点の信頼度に用いる、
    プログラム。
16. 請求項１乃至５の何れか１項に記載の局所特徴量抽出装置と、
    前記局所特徴量抽出装置によって選択された前記特徴点に基づいて、前記入力画像に含まれる物体を個別に識別する識別手段と、
    を有する個体識別システム。