JP6143111B2 - 物体識別装置、物体識別方法、及びプログラム - Google Patents

Description

本発明は、画像中の物体を正確に識別する装置及び方法及びプログラムに関する。

画像内の被写体を、撮影サイズや角度の変化、オクルージョンに対して頑健に識別可能とするために、画像内の特徴的な点（特徴点）を多数検出し、各特徴点周辺の局所領域の特徴量（局所特徴量）を抽出する方式が提案されている。その代表的な方式として、特許文献１や非特許文献１には、ＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）特徴量を用いる局所特徴量抽出装置が開示されている。

従来、局所特徴量抽出装置では、まず画像の各画素から輝度に関する情報のみを抽出し、抽出した輝度情報から特徴的な点（特徴点）を多数検出し、各特徴点に関する情報である特徴点情報を出力する。ここで、特徴点情報とは、例えば、検出された局所特徴点の座標位置やスケール、特徴点のオリエンテーション等を示すものである。そして、検出された各特徴点の座標値、スケール、及びオリエンテーション等の特徴点情報から、特徴量抽出を行う局所領域を取得して、局所特徴量を生成（記述）する。

例えば、非特許文献１に記載されているように、撮影した画像内の被写体と同一の被写体が写っている画像を識別するために、撮影した画像（すなわち入力画像）から抽出される局所特徴量１と、参照する画像から生成される局所特徴量２とを比較する。具体的には、まず、局所特徴量１を構成する複数の特徴点についての各特徴量と、局所特徴量２を構成する複数の特徴点についての各特徴量との全組み合わせについて、特徴空間上での距離計算を行い、最も近傍にある特徴量を対応している特徴量と判定する。対応している特徴量については、特徴量生成の元となっている特徴点についても対応していると判定する。その後、対応していると判定された特徴点の組み合わせに関して、入力画像における特徴点の座標位置を特定の幾何変換に従って移動したときの座標位置と、参照画像における特徴点の座標位置とが一致するか否かに基づいて、対応している特徴点の正誤を決定する。ここで正しく対応していると判定される特徴点数が一定値以上であるとき、同一の被写体が写っている（すなわち、入力画像内の被写体と参照画像内の被写体とが一致する）と判定される。

米国特許第６７１１２９３号明細書 特開２０１０−７９５４５号公報

David G. Lowe著、「Distinctive image features from scale-invariant keypoints」、（米国）、International Journal of Computer Vision、60(2)、2004年、p. 91-110

従来の局所特徴量を利用する物体識別方式は、入力画像の輝度情報から抽出される局所特徴量と、参照画像の輝度情報から抽出される局所特徴量との対応関係に基づいて物体の識別を行っている。このような識別方法では、入力画像に写っている物体と参照画像に写っている物体とは異なるものであるが、両者の間にわずかな差異しか存在しない場合、対応する特徴点が多数存在するため、同一物体を写した画像であると誤って識別してしまう問題点がある。

本発明は、上記に鑑みてなされたものであり、その課題は、画像に写っている物体と同一の物体が写された画像をより正確に識別する技術を提供することにある。

本発明の物体識別装置は、入力画像から抽出した特徴点のそれぞれの特徴量と、参照画像から抽出した特徴点のそれぞれの特徴量とが正しく対応しているか否かを判定する局所特徴量照合手段と、前記入力画像を分割した各分割領域から特徴量を抽出する入力画像分割領域特徴量抽出手段と、前記局所特徴量照合手段によって正しく対応していると判定された特徴量の組み合わせ数に基づくスコアが所定値以上である場合、前記入力画像と前記参照画像との間の幾何的なずれを補正する幾何変換を前記参照画像の所定の領域に対して行うことによって得られた画像領域の位置に対応する前記入力画像における領域に含まれる前記分割領域の特徴量を取得する入力画像分割領域特徴量変換手段と、前記入力画像分割領域特徴量変換手段によって取得された特徴量と、前記参照画像の前記所定の領域から抽出された特徴量とを照合し、照合結果を出力する特徴量照合手段とを備えたことを特徴とする。

本発明の物体識別方法は、入力画像から抽出した特徴点のそれぞれの特徴量と、参照画像から抽出した特徴点のそれぞれの特徴量とが正しく対応しているか否かを判定する局所特徴量照合ステップと、前記入力画像を分割した各分割領域から特徴量を抽出する入力画像分割領域特徴量抽出ステップと、前記局所特徴量照合ステップによって正しく対応していると判定された特徴量の組み合わせ数に基づくスコアが所定値以上である場合、前記入力画像と前記参照画像との間の幾何的なずれを補正する幾何変換を前記参照画像の所定の領域に対して行うことによって得られた画像領域の位置に対応する前記入力画像における領域に含まれる前記分割領域の特徴量を取得する入力画像分割領域特徴量変換ステップと、前記入力画像分割領域特徴量変換ステップによって取得された特徴量と、前記参照画像の前記所定の領域から抽出された特徴量とを照合し、照合結果を出力する特徴量照合ステップとを備えたことを特徴とする。

本発明のプログラムは、コンピュータを、入力画像から抽出した特徴点のそれぞれの特徴量と、参照画像から抽出した特徴点のそれぞれの特徴量とが正しく対応しているか否かを判定する局所特徴量照合手段、前記入力画像を分割した各分割領域から特徴量を抽出する入力画像分割領域特徴量抽出手段、前記局所特徴量照合手段によって正しく対応していると判定された特徴量の組み合わせ数に基づくスコアが所定値以上である場合、前記入力画像と前記参照画像との間の幾何的なずれを補正する幾何変換を前記参照画像の所定の領域に対して行うことによって得られた画像領域の位置に対応する前記入力画像における領域に含まれる前記分割領域の特徴量を取得する入力画像分割領域特徴量変換手段、前記入力画像分割領域特徴量変換手段によって取得された特徴量と、前記参照画像の前記所定の領域から抽出された特徴量とを照合し、照合結果を出力する特徴量照合手段として機能させることを特徴とする。

本発明によれば、画像に写っている物体と同一の物体が写された画像をより正確に識別する技術を提供することができる。

第１の実施の形態における物体識別装置の構成例を表すブロック図である。 入力画像差異領域決定部１４の動作例を示すフローチャートである。 局所特徴量抽出部１１の構成例を表すブロック図である。 局所特徴量照合部１２の構成例を表すブロック図である。 入力画像分割領域特徴量抽出部１３の構成例を表すブロック図である。 分割領域の生成パターンの例を示した図である。 入力画像分割領域特徴量変換部１５の構成例を表すブロック図である。 特徴量照合部１６の構成例を表すブロック図である。 第１の実施の形態の変形例における物体識別装置の構成例を表すブロック図である。 参照画像に対する差異領域、入力画像に対する入力画像差異領域の関係を示したイメージ図である。 参照画像に対する差異領域、入力画像に対する入力画像差異領域の関係を示したイメージ図である。 参照画像に対する差異領域、入力画像に対する入力画像差異領域の関係を示したイメージ図である。 参照画像に対する差異領域、入力画像に対する入力画像差異領域の関係を示したイメージ図である。 ネットワークを介して第１の実施の形態における物体識別装置を構成する場合におけるクライアント側の構成例を表すブロック図である。 ネットワークを介して第１の実施の形態における物体識別装置を構成する場合におけるサーバー側の構成例を表すブロック図である。 ネットワークを介して第１の実施の形態における物体識別装置を構成する場合における全体の構成例を表すブロック図である。 第２の実施の形態における物体識別装置の構成例を示すブロック図である。 局所特徴量照合部１７の構成例を表すブロック図である。 差異領域推定部１８の構成例を表すブロック図である。 差異領域特徴量抽出部１９の構成例を表すブロック図である。 第３の実施の形態における物体識別装置の構成例を示すブロック図である。 差異領域推定部２０の構成例を表すブロック図である。 第４の実施の形態における物体識別装置の構成例を示すブロック図である。 差異領域推定部２１の構成例を表すブロック図である。 差異領域推定部２１の構成例を表すブロック図である。 第５の実施の形態における物体識別装置の構成例を示すブロック図である。 差異領域推定部２２の構成例を表すブロック図である。 差異領域推定部２２の構成例を表すブロック図である。 差異領域推定部２２の構成例を表すブロック図である。 第６の実施の形態における物体識別装置の構成例を示すブロック図である。 分割領域特徴量抽出部２３の構成例を表すブロック図である。 分割領域特徴量変換部２４の構成例を表すブロック図である。 第７の実施の形態における物体識別装置の構成例を示すブロック図である。 入力画像分割領域特徴量変換部２５の構成例を表すブロック図である。 選択分割領域特徴量抽出部２６の構成例を表すブロック図である。 入力画像中の入力画像選択分割領域と参照画像中の選択分割領域の関係を示した図である。 第８の実施の形態における物体識別装置の構成例を示すブロック図である。 局所特徴量照合部２７の構成例を表すブロック図である。 特徴量照合部２８の構成例を表すブロック図である。 識別スコア統合判定部２９の構成例を表すブロック図である。

（第１の実施の形態）
本発明の第１の実施の形態について図面を参照して説明する。
図１は本発明の第１の実施の形態である物体識別装置の構成を示すブロック図である。物体識別装置は、局所特徴量抽出部１１、局所特徴量照合部１２、入力画像分割領域特徴量抽出部１３、入力画像差異領域決定部１４、入力画像分割領域特徴量変換部１５、及び特徴量照合部１６を備える。物体識別装置は、例えば、パーソナルコンピュータや携帯情報端末等の情報処理装置を用いて構成することができる。そして、物体識別装置を構成する各部の機能は、例えば、プロセッサが記憶部に格納されているプログラムをメモリに展開して実行することによって実現される。なお、後述する他の実施形態における構成要素についても同様に実現することができる。

局所特徴量抽出部１１は、入力画像から特徴点を検出し、検出された特徴点とその付近の領域である局所領域の特徴量を局所特徴量として抽出する。局所特徴量抽出部１１による処理の詳細については後述する。

局所特徴量照合部１２は、局所特徴量抽出部１１において入力画像から抽出された局所特徴量１と、参照画像から抽出された局所特徴量２とを照合して対応する局所特徴量を特定する。対応する局所特徴量を特定する方法についての詳細は、図４を参照して後述する。局所特徴量照合部１２は、局所特徴量が対応する局所領域を幾何変換したときの位置に応じて、入力画像と参照画像との間で対応する局所領域を特定する。例えば、入力画像における局所領域を、画像の中心を軸として所定の角度だけ回転移動したときの局所領域の座標位置が、参照領域における局所特徴量が対応する局所領域の座標位置と一致する場合、入力画像及び参照画像において座標位置が一致した局所領域は、対応する局所領域として特定される。すなわち、上記の幾何変換は参照画像と入力画像との間の幾何的なずれが補正されるように行われる。また、局所特徴量照合部１２は、対応する局所領域が特定された場合、用いられた幾何変換についての情報（幾何変換情報）と、局所領域が対応すると判定された参照画像の画像ＩＤである局所特徴識別画像ＩＤとを出力する。

参照画像から抽出された局所特徴量２は、あらかじめ複数の参照画像から抽出しておき、図１に示す局所特徴量ＤＢなどのデータベースに記憶しておいても良いし、オンザフライで参照画像から局所特徴量抽出部１１を利用して抽出しても良い。データベースに記憶しておく場合、類似するオブジェクトを含む（類似する物体を被写体とする）参照画像から抽出される局所特徴量を関連付けて登録しておいても良い。局所特徴量照合部１２の詳細については後述する。

入力画像分割領域特徴量抽出部１３は、入力画像を受け取り、当該入力画像に基づいて、入力画像分割領域特徴量と入力画像分割領域情報を出力する。入力画像分割領域特徴量抽出部１３による処理の詳細については後述する。

入力画像差異領域決定部１４は、局所特徴量照合部１２から出力された局所特徴識別画像ＩＤに対応する参照画像、又は局所特徴識別画像ＩＤに関連付いた参照画像群の差異領域に対し、局所特徴量照合部１２から出力された幾何変換情報が示す幾何変換を行い、入力画像差異領域情報を出力する。

ここで、本実施形態において、参照画像の差異領域とは、入力画像に写っている物体と参照画像に写っている物体とでわずかに差異が生じ得ることが予測されている場合に、参照画像においてその差異が生じ得る部分が写された領域である。参照画像の差異領域情報は、例えば差異領域が矩形である場合、その矩形の４隅の座標値情報であっても良い。または、差異領域を構成する参照画像中の画素群の座標値を表す情報であっても良い。

入力画像差異領域情報は、参照画像における差異領域の４隅の座標値のそれぞれに対して幾何変換を行うことによって得られる入力画像における座標値とすることができる。または、参照画像の差異領域の情報がその差異領域を構成する画素群の座標値情報である場合、それらの画素群のそれぞれに対して、幾何変換情報に対応する幾何変換を行い、入力画像における差異領域を構成する画素群の座標値情報を入力画像差異領域情報とすることができる。

参照画像の差異領域情報は、事前にデータベースに記憶されている。例えば、局所特徴量２を図１の局所特徴量ＤＢなどのデータベースに記憶しておく場合には、参照画像の差異領域情報を局所特徴量２とともに局所特徴量ＤＢに記憶しても良い。

入力画像分割領域特徴量変換部１５は、入力画像差異領域決定部１４から出力される入力画像差異領域情報と、入力画像分割領域特徴量抽出部１３から出力される入力画像分割領域特徴量及び入力画像分割領域情報を受け取り、受け取った情報に基づいて、入力画像中の差異領域から抽出された特徴量である特徴量１を出力する。入力画像分割領域特徴量変換部１５による処理の詳細については後述する。

特徴量照合部１６は、入力画像分割領域特徴量変換部１５から出力される特徴量１と、参照画像中の差異領域から抽出された特徴量である特徴量２とを照合して、照合結果を出力する。特徴量照合部１６は、当該照合において、入力画像に含まれるオブジェクトと参照画像に含まれるオブジェクトが同一であるか（入力画像と参照画像とが同一の物体を被写体としているか）を判定する。同一であると判定された場合、特徴量照合部１６は、同一であると判定された入力画像の画像ＩＤを差異領域識別画像ＩＤとして出力する。

特徴量２は、図１のように、あらかじめ複数の参照画像から抽出しておきデータベースに記憶しておいても良いし、オンザフライで参照画像から抽出しても良い。データベースに記憶しておく場合、類似する物体を関連付けて登録しておいても良い。特徴量照合部１６の詳細については後述する。

図２は、図１に示した入力画像差異領域決定部１４による処理のフローを示すフローチャートである。図２に示すように、まず、Ｓ１４１で処理を制御するための変数ｉの初期化が行われる。

Ｓ１４２においては、局所特徴量照合部１２から出力された幾何変換情報が取得される。Ｓ１４３においては、局所特徴量ＤＢから参照画像の差異領域情報が取得される。ここで取得する差異領域情報は、参照画像の差異領域が矩形である場合、その矩形の４隅の座標値情報であっても良いし、差異領域を構成する参照画像中の画素群の座標値を表す情報であっても良い。

Ｓ１４４では、Ｓ１４２で取得した幾何変換情報を、Ｓ１４３で取得した差異領域情報に対して行う。ここで、差異領域情報が、４隅の座標値情報である場合は、４つの座標値のうちの１つに幾何変換を行う。また、差異領域情報が、差異領域を構成する参照画像中の画素群の座標値情報である場合は、画素群のうちの１つの画素に幾何変換を行う。この時点で変数ｉが一定数Ｎ未満である場合、Ｓ１４５において変数ｉの値を更新し、変数ｉの値がＮ以上になるまでＳ１４３とＳ１４４の処理を継続する。Ｓ１４３において取得する差異領域情報が、４隅の参照画像における座標値情報である場合にはＮ＝４とし、差異領域情報が、差異領域を構成する参照画像中の画素群の座標値情報である場合には、差異領域を構成する参照画像中の画素群の数がＮの値として設定される。最後に、Ｓ１４６では、Ｓ１４４で算出した入力画像差異領域情報を出力し、処理を終了する。

次に、図３を参照して、局所特徴量抽出部１１について詳述する。図３は、局所特徴量抽出部１１の構成例を表すブロック図である。局所特徴量抽出部１１は、輝度情報抽出部１０１、局所特徴点検出部１０２、及び局所特徴量生成部１０３を備える。

輝度情報抽出部１０１は、入力画像を受け取り、その入力画像の各画素から輝度に関する情報のみを抽出し出力する。ここで受け取る入力画像は、デジタルカメラやデジタルビデオカメラ、携帯電話等の撮像機器で撮影された画像や、スキャナー等を通して取り込まれた画像などである。また、画像は、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）のように圧縮された画像であってもよいし、ＴＩＦＦ（Ｔａｇｇｅｄ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）のように圧縮されていない画像であってもよい。

局所特徴点検出部１０２は、画像から特徴的な点（特徴点）を多数検出し、各特徴点に関する情報である特徴点情報を出力する。ここで、特徴点情報とは、例えば、検出された局所特徴点の座標位置やスケール、特徴点のオリエンテーション、特徴点に対して割り当てられた固有のＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）である「特徴点番号」等を示すものである。なお、局所特徴点検出部１０２は、特徴点情報を、各特徴点のオリエンテーションの方向毎に別々の特徴点情報として出力しても良い。例えば、局所特徴点検出部１０２は、各特徴点における最も主たるオリエンテーションの方向についてのみ特徴点情報を出力することとしてもよいし、２番目以降の主たるオリエンテーションの方向についての特徴点情報も出力することとしてもよい。また、局所特徴点検出部１０２は、２番目以降の主たるオリエンテーションの方向についての特徴点情報も出力する場合、各特徴点におけるオリエンテーションの方向ごとに異なる特徴点番号を付与することができる。局所特徴点検出部１０２は、画像から特徴点を検出して特徴点情報を抽出する際に、例えば、ＤｏＧ（Ｄｉｆｆｅｒｅｎｃｅ−ｏｆ−Ｇａｕｓｓｉａｎ）処理を用いることができる。具体的には、局所特徴点検出部１０２は、ＤｏＧ処理を用いてスケールスペースにおける極値探索をすることで特徴点の位置とスケールを決定することができる。さらに局所特徴点検出部１０２は、決定した特徴点の位置およびスケールと周辺領域の勾配情報とを用いて各特徴点のオリエンテーションを算出することができる。なお、局所特徴点検出部１０２は、画像から特徴点を検出して特徴点情報を抽出する際に、ＤｏＧではなく、Ｆａｓｔ−Ｈｅｓｓｉａｎ Ｄｅｔｅｃｔｏｒ等の他の手法を用いてもよい。局所特徴点検出部１０２は、その内部で検出された特徴点の中から重要な特徴点のみを選び出し、その特徴点に関する情報のみを特徴点情報として出力しても良い。

局所特徴量生成部１０３は、局所特徴点検出部１０２から出力される特徴点情報を受け取り、各特徴点に対する局所領域（特徴点とその周辺の領域）の特徴量である局所特徴量を生成（記述）する。なお、局所特徴量生成部１０３は、ＺＩＰやＬＺＨ等の可逆圧縮で圧縮された形式で局所特徴量を出力してもよい。局所特徴量生成部１０３は、局所特徴点検出部１０２において、検出する特徴点の重要度を決めている場合、その特徴点の重要度順に局所特徴量を生成して出力することができる。また、局所特徴量生成部１０３は、特徴点の座標位置順に局所特徴量を生成して出力してもよい。局所特徴量生成部１０３では、まず、特徴点情報に基づいて、検出された各特徴点の座標値、スケール、及びオリエンテーションから、特徴量抽出を行う局所領域を取得する。なお、１つの特徴点に対してオリエンテーションの異なる複数の特徴点情報が存在する場合、各特徴点情報に対して局所領域を取得することができる。次に、局所領域を特徴点のオリエンテーション方向に応じて回転させて正規化した後、サブ領域に分割する。例えば、局所領域を１６ブロック（４×４ブロック）に分割することができる。次に、局所領域のサブ領域ごとに特徴ベクトルを生成する。サブ領域の特徴ベクトルとしては、例えば、勾配方向ヒストグラムを用いることができる。具体的には、各サブ領域の画素ごとに勾配方向を算出し、それを８方向に量子化して、サブ領域ごとに量子化された８方向の頻度を集計し、勾配方向ヒストグラムを生成する。この時、各特徴点に対して生成される１６ブロック×８方向の勾配方向ヒストグラムにより構成される特徴ベクトルを局所特徴量として出力する。出力される局所特徴量には、特徴点の座標位置情報を含めて出力する。

次に、図４を参照して、局所特徴量照合部１２について詳述する。図４は、局所特徴量照合部１２の構成例を表すブロック図である。図４に示すように、局所特徴量照合部１２は、対応特徴点決定部２０１、誤対応点除去部２０２、識別スコア算出部２０３、及び閾値判定部２０４を備える。

対応特徴点決定部２０１は、局所特徴量抽出部１１で入力画像から抽出される局所特徴量１と、参照画像から抽出される局所特徴量２とを受け取る。対応特徴点決定部２０１は、局所特徴量１と局所特徴量２が対応するか否かを判定し、対応する場合、局所特徴量１と局所特徴量２は対応するものであるとして、対応特徴点情報を出力する。例えば、前記局所特徴量１と前記局所特徴量２がそれぞれ特徴点周辺の勾配ヒストグラムを記述した特徴量の集合である場合、まず、特徴量空間における距離計算を局所特徴量の全組み合わせについて行う。最小となる距離値が次に小さい距離値に対して十分に小さくなる場合に限り、その距離値が最小となる局所特徴量の組み合わせに関して、その局所特徴量及びその局所特徴量の局所特徴領域は対応していると判断し、局所特徴領域の位置情報と対応する局所特徴領域の位置情報を対応特徴点情報として出力する。

誤対応点除去部２０２は、対応特徴点決定部２０１から対応特徴点情報を受け取り、それらの対応特徴点の中から、正しく対応している特徴点と誤って対応している特徴点を判別して、その判別した特徴点情報をそれぞれ出力すると共に、その判別に使用する幾何変換情報もあわせて出力する。例えば、対応特徴点決定部２０１から受け取った対応特徴点情報に対し、ＲＡＮＳＡＣ等の手法を適用して、参照画像中の座標を入力画像中の座標へ移動させる幾何変換を推定し、当該幾何変換についての情報を幾何変換情報とする。ここで推定された幾何変換を、対応特徴点の参照画像側の特徴点に対しそれぞれ作用させ、それらが入力画像側の特徴点にほぼ一致する場合は正しく対応している特徴点であると判断し、逆に入力側の特徴点に一致しない場合は誤って対応している特徴点であると判断する。

識別スコア算出部２０３は、誤対応点除去部２０２から対応特徴点情報を受け取り、識別スコアを出力する。出力する識別スコアは、例えば、誤対応点除去部２０２から受け取った対応特徴点情報の中から、正しく対応した特徴点の組み合わせ数をカウントし、その数を０から１の間のスコアにマッピングさせるためのテーブルをあらかじめ用意しておき、そのテーブルを参照して識別スコアを出力しても良い。または、正しく対応した特徴点の組み合わせ数がｃである場合、あらかじめ定められた特徴点の最低対応数をｍとして、ｍ／（ｃ＋ｍ）を識別スコアとして算出しても良い。閾値判定部２０４は、識別スコア算出部２０３から出力された識別スコアを閾値処理し、閾値以上である場合は同一の物体を写した画像であると判定し、その参照画像のＩＤを局所特徴識別画像ＩＤとして出力する。この閾値判定部２０４で設定される閾値は、事前に決定され内部に保持された値であっても良いし、外部から与える値であっても良い。

次に、図５を参照して、入力画像分割領域特徴量抽出部１３について詳述する。図５は、入力画像分割領域特徴量抽出部１３の構成例を表すブロック図である。入力画像分割領域特徴量抽出部１３は、分割領域画像生成部３０１、及び特徴量抽出部３０２を備える。

分割領域画像生成部３０１は、入力画像を受け取り、あらかじめ定められた規則に従って入力画像を分割する。分割領域画像生成部３０１は、その分割された各領域の画像である分割領域画像と、各領域の座標情報及び各領域の領域ＩＤを含む情報である入力画像分割領域情報とを出力する。各領域の座標情報は、例えば、各領域が矩形である場合は、各領域の４隅の座標情報とすることができる。

図６は、分割領域の生成パターンの例を示した図である。図６（ａ）、（ｂ）に示すように、入力画像を上下左右方向や斜め方向で均一な大きさの領域に分割して分割領域を生成しても良い。または、図６（ｃ）に示すように、不均一な大きさの領域に分割して分割領域を生成しても良い。図６（ｄ）に示すように、複数の分割領域生成パターンを用いて階層的に分割領域を生成しても良い。

特徴量抽出部３０２は、分割領域画像生成部３０１で生成された分割領域画像のそれぞれから特徴量を抽出し、その抽出された特徴量を入力画像分割領域特徴量として出力する。特徴量抽出部３０２で出力する入力画像分割領域特徴量として、例えば、入力画像の差異領域と参照画像の差異領域の色情報に関する解析を行うため「色配置」「色ヒストグラム」等の特徴量を抽出しても良い。あるいは、入力画像の差異領域と参照画像の差異領域の細かな文字の違いを解析するため、「文字らしさ」を表現可能な特徴量を抽出しても良い。

次に、図７を参照して、入力画像分割領域特徴量変換部１５について詳述する。図７は、入力画像分割領域特徴量変換部１５の構成例を表すブロック図である。図７に示すように、入力画像分割領域特徴量変換部１５は、差異領域内分割領域特徴量統合部５０１を備える。

差異領域内分割領域特徴量統合部５０１は、入力画像差異領域決定部１４から入力画像差異領域情報を受け取り、入力画像分割領域特徴量抽出部１３から入力画像分割領域特徴量及び入力画像分割領域情報を受け取る。差異領域内分割領域特徴量統合部５０１は、受け取った情報に基づいて、入力画像の差異領域における特徴量である特徴量１を出力する。

具体的には、差異領域内分割領域特徴量統合部５０１は、まず、入力画像差異領域情報と入力画像分割領域情報とに基づき、差異領域内に含まれる分割領域を特定する。特定された分割領域のそれぞれから抽出された特徴量である入力画像分割領域特徴量を統合して、差異領域における特徴量を表す特徴量１の値を決定する。例えば、入力画像分割領域特徴量抽出部１３から出力される入力画像分割領域特徴量が「色ヒストグラム」である場合、差異領域内に含まれる分割領域に関して、その色ヒストグラムを足し合わせ正規化した値を特徴量１として出力しても良い。また、差異領域内に含まれる分割領域の中でも、差異領域の中に完全に含まれる分割領域と、一部しか差異領域の中に含まれていない分割領域が存在する事に着目し、完全に含まれる分割領域については特徴量を統合する際の重みを上げ、一部しか差異領域の中に含まれていない分割領域については重みを下げるようにしても良い。この場合、重みは、例えば、「各分割領域の面積に対する、その分割領域の中で差異領域内に含まれている面積の割合」に基づいて設定しても良い。各分割領域の大きさが差異領域よりも大きい場合は、差異領域と最も重複している分割領域から抽出された特徴量を特徴量１としてそのまま出力しても良い。なお、入力画像分割領域特徴量抽出部１３から出力される入力画像分割領域特徴量が、複数の分割領域生成パターンを用いて階層的に生成された分割領域から抽出された特徴量である場合、差異領域内分割領域特徴量統合部５０１では、階層的な分割領域生成パターンのうち、入力画像の差異領域内に完全に含まれる分割領域数が最も多くなるパターンだけを用いて、入力画像分割領域特徴量の統合を行っても良い。

次に、図８を参照して、特徴量照合部１６について詳述する。図８は、特徴量照合部１６の構成例を表すブロック図である。特徴量照合部１６は、差異領域識別スコア算出部６０１、及び閾値判定部６０２を備える。

差異領域識別スコア算出部６０１は、入力画像の差異領域から抽出される特徴量を特徴量１として、参照画像の差異領域から抽出される特徴量を特徴量２として、それぞれ受け取る。差異領域識別スコア算出部６０１は、受け取った２つの特徴量から決定される識別スコアを差異領域識別スコアとして出力する。差異領域識別スコアは、特徴量１と特徴量２が類似している程、その値が高くなるような尺度である。例えば、特徴量１と特徴量２の特徴量空間上での距離を計算し、その逆数を差異領域識別スコアとして出力しても良い。または、特徴量１と、複数の参照画像群からそれぞれ抽出した特徴量２を照合する場合、特徴量の全組み合わせの中で特徴量空間上での距離の最小値を見つけ、その最小値で、特徴量の全組み合わせにおける特徴量空間上での距離を割った値の逆数を差異領域識別スコアとして出力しても良い。または、特徴量１と特徴量２の特徴量空間上での距離値を、０〜１の間のスコアにマッピングさせるためのテーブルをあらかじめ用意しておき、そのテーブルを参照して差異領域識別スコアを出力しても良い。

閾値判定部６０２は、差異領域識別スコア算出部６０１から出力された差異領域識別スコアを閾値と比較し、閾値以上である場合は同一の物体を写した画像であると判定し、その参照画像のＩＤを差異領域識別画像ＩＤとして出力する。この閾値判定部６０２で設定される閾値は、事前に決定され内部に保持された値であっても良いし、外部から与える値であっても良い。

図９は、本実施の形態の変形例における物体識別装置の構成を示している。図９に示す物体識別装置は、差異領域情報のみを格納したデータベースである差異領域情報ＤＢを設けている点で、図１に示す物体識別装置と異なる。局所特徴量２がデータベースとして記憶されておらず、参照画像からオンザフライで抽出される場合には、この図９の構成で本実施の形態が実現できる。

図１０から図１３は、それぞれ、参照画像における差異領域、入力画像における入力画像差異領域との間の関係として考えられるパターンを示したイメージ図である。

図１０は、物体が参照画像全体に表示され、差異領域が参照画像全体に対して設定されている場合の例を示している。この例は、同一銘柄で味付けが異なるお菓子パッケージ等でよく見られるように、物体に刻まれている文字・模様等はほぼ同一だが、その物体の色が異なる場合等が該当する。すなわち、この例では、入力画像の全体が参照画像の全体と異なりうることが考えられるため、参照画像の全体が差異領域として設定される。

図１１は、物体が参照画像全体に表示され、差異領域が参照画像の一部に対して設定される場合の例を示している。この例は、同一シリーズで巻が異なる本の背表紙等でよく見られるように、物体はほぼ同一なのだが、物体の一部分のみ、色や文字や模様が異なる場合が該当する。すなわち、この例では、入力画像の一部が参照画像の一部と異なりうることが考えられるため、参照画像の一部が差異領域として設定される。図１２及び図１３に示す例は、図１０及び図１１に示した例とそれぞれほぼ同様だが、参照画像が画像全体ではなくその一部にしか写っていない点が異なる。

いずれの例においても、本実施の形態では、その差異領域として設定された領域の情報が事前にデータベース登録されている。本実施形態において、登録されている参照画像中の差異領域及び入力画像中の差異領域は、それぞれ、差異が生じ得ることが予測されている必要最小限の領域を参照画像及び入力画像のそれぞれから抽出したものである。そのため、参照画像の全体の局所特徴量と入力画像の全体の局所特徴量とを比較したときに、差異がわずかであるために同一の画像であると判定されてしまった場合であっても、参照画像及び入力画像の差異画像の特徴量のみを再度比較することによって、物品の違いに起因する細かな差異を見分けることができる。その結果、局所特徴量のみを使った場合に問題となっていた誤判定を抑制する事が可能となる。

また、図１４から図１６は、本実施の形態の物体識別装置を、ネットワークを介したサーバークライアントシステムとして構成した場合の例を示している。図１４はクライアント側の構成例、図１５はサーバー側の構成例、図１６は全体の構成例をそれぞれ示すブロック図である。

図１４に示すように、クライアント側は、局所特徴量抽出部１１及び入力画像分割領域特徴量抽出部１３を備える。局所特徴量抽出部１１で出力される局所特徴量１と、入力画像分割領域特徴量抽出部１３で出力される入力画像分割領域特徴量及び入力画像分割領域情報とが、クライアント側からサーバー側に伝送される。

図１５に示すように、サーバー側は、局所特徴量照合部１２、入力画像差異領域決定部１４、入力画像分割領域特徴量変換部１５、及び特徴量照合部１６を備える。サーバー側では、クライアント側から伝送されてくる局所特徴量１、入力画像分割領域特徴量、及び入力画像分割領域情報を用いて、入力画像に写った物体を識別する。

図１６に示すように、図１４と図１５に示した構成をネットワーク越しに連結させる事で、本実施の形態の物体識別装置をサーバークライアントシステムが構成される。この構成では、入力画像を直接サーバー側に伝送する必要はなく、入力画像よりも軽量な局所特徴量、分割領域特徴量、及び分割領域情報を伝送すれば良い。そのため、本実施の形態では、クライアント側では処理をすることなくサーバー側に入力画像を伝送するだけの構成にした場合と比べて、サーバー側で識別処理を行い、その識別結果をクライアント側が得るまでの時間を短縮させる事が可能となる。

以上のように本実施形態によれば、局所特徴量照合部１２は、入力画像から抽出した特徴点のそれぞれの特徴量と、参照画像から抽出した特徴点のそれぞれの特徴量とが対応するかを判定する。入力画像分割領域特徴量抽出部１３は、入力画像を分割した各分割領域から特徴量を抽出する。入力画像分割領域特徴量変換部１５は、局所特徴量照合部１２によって対応すると判定された特徴量の組み合わせ数に基づくスコアが所定値以上である場合、入力画像と参照画像との間の幾何的なずれを補正する幾何変換を参照画像の所定の領域（差異領域）に対して行うことによって得られた画像領域の位置に対応する入力画像における領域に含まれる分割領域の特徴量を取得する。なお、本実施形態において参照画像の差異領域は、入力画像差異領域決定部１４によって決定される。特徴量照合部１６は、入力画像分割領域特徴量変換部１５によって取得された特徴量と、参照画像の差異領域から抽出された特徴量とを照合し、照合結果を出力する。その結果、参照画像に写っている物体と同一の物体が写された入力画像をより正確に識別することができる。

（第２の実施の形態）
本発明の第２の実施の形態について図面を参照して説明する。第２の実施の形態では、参照画像中の差異領域を事前にデータベース登録せずに、参照画像中の差異領域を推定して識別を行う。

図１７は、本発明の第２の実施の形態における物体識別装置の構成を示すブロック図である。図１７に示すように、第２の実施の形態の物体識別装置は、局所特徴量抽出部１１、局所特徴量照合部１７、入力画像分割領域特徴量抽出部１３、入力画像差異領域決定部１４、入力画像分割領域特徴量変換部１５、特徴量照合部１６、差異領域推定部１８、及び差異領域特徴量抽出部１９を備える。

このように、第２の実施の形態の物体識別装置では、第１の実施の形態の物体識別装置の局所特徴量照合部１２が局所特徴量照合部１７に変更され、差異領域情報を格納したデータベースである差異領域情報ＤＢが差異領域推定部１８及び差異領域特徴量抽出部１９に変更されている点で第１の実施の形態と異なる。局所特徴量照合部１７、差異領域推定部１８、差異領域特徴量抽出部１９による処理の詳細については後述する。その他の構成要素については第１の実施の形態と同様であるため第１の実施の形態と同一の符号を付して詳細な説明は省略する。

図１８は、局所特徴量照合部１７の構成例を表すブロック図である。図１８に示すように、局所特徴量照合部１７は、対応特徴点決定部２０１、誤対応点除去部２０２、識別スコア算出部２０３、及び閾値判定部２０４を備える。すなわち、図１８に示される局所特徴量照合部１７の構成要素は、図４に示される局所特徴量照合部１２の構成要素と同一である。しかし、図１８に示される局所特徴量照合部１７は、誤対応点除去部２０２から幾何変換情報が出力され、閾値判定部２０４から局所特徴識別画像ＩＤが出力されることに加え、誤対応点除去部２０２から出力される対応特徴点情報が局所特徴量照合部１７から出力されている点が図１８の局所特徴量照合部１７とは異なっている。

図１９は、差異領域推定部１８の構成を表すブロック図である。図１９に示すように、差異領域推定部１８は、誤対応特徴点密集度探索部８０１を備える。誤対応特徴点密集度探索部８０１は、局所特徴量照合部１７から対応特徴点情報を受け取り、参照画像中の差異領域に関する情報である差異領域情報を出力する。局所特徴量照合部１７から受け取る対応特徴点情報は、正しく対応している特徴点の情報と、誤って対応している特徴点の情報とが含まれている。そのため、対応特徴点情報に含まれている誤って対応している特徴点の情報を用いて、誤って対応している特徴点が密集している領域を参照画像中から探索する事によって、参照画像中の差異領域を推定する事が可能である。誤って対応している特徴点が密集している領域の探索は、例えば、一定の大きさの矩形窓を規定し、差分画像中でこの矩形窓を動かしていき、誤って対応している特徴点の数が矩形窓内で一定数以上である場合、その矩形窓の領域を差異領域とすることができる。参照画像中の差異領域を推定する方法はこれに限定されず、誤って対応している特徴点が密集している領域に基づいて推定する方法であれば、任意の方法で実施することができる。すなわち、参照画像の差異領域（所定の領域）は、局所特徴量照合部１７によって、参照画像において誤って対応している特徴点が密集していると判定された領域を含む領域である。

図２０は、差異領域特徴量抽出部１９の構成例を表すブロック図である。図２０に示すように、差異領域特徴量抽出部１９は、差異領域画像生成部９０１、及び差異領域特徴量算出部９０２を備える。

差異領域画像生成部９０１は、参照画像ＤＢから参照画像を受け取り、差異領域推定部１８から差異領域情報を受け取る。受け取った差異領域情報が、参照画像における差異領域の４隅の座標値情報である場合、４隅のうち隣り合う２隅を直線で結んだ線上に位置する画素を順に読み取る等して、参照画像中からその値を読み取っていく画素とその順序を決定する事により、入力画像中の差異領域画像を生成し出力する。または、差異領域推定部１８から受け取る差異領域情報が、参照画像における差異領域を構成する画素群の座標値を表す情報である場合、差異領域画像生成部９０１は、その順序で参照画像を読み取り、入力画像中の差異領域画像として出力する。

差異領域特徴量算出部９０２は、差異領域画像生成部９０１で生成された差異領域画像から特徴量を抽出し、その特徴量を出力する。差異領域特徴量算出部９０２で抽出する特徴量として、例えば、「色配置」「色ヒストグラム」等の特徴量を抽出しても良いし、あるいは、「文字らしさ」を表現可能な特徴量を抽出しても良い。ここで抽出される特徴量は、図５で示される、入力画像分割領域特徴量抽出部１３の構成要素である特徴量抽出部３０２と同一の処理で抽出される特徴量でなければならない。

以上のように本実施の形態では、参照画像中の差異領域を事前にデータベース登録しておかなくても、参照画像中の差異領域を推定する事ができるため、物体識別を利用した検品システムで、差異が生じ得ることが予測される領域を差異領域として事前に登録しておく事ができない場合（例えば、多数の製品の中からどこかに傷を持つ製品だけを見分ける場合など）に効果的である。そして、本実施の形態で行われる参照画像中の差異領域の推定は、差異領域が物体全体の場合であっても、物体の一部の場合であっても可能であるため、図１０から図１３に示したいずれの例の場合に対しても、本実施の形態は有効である。

また、本実施の形態を、ネットワークを介したサーバークライアントシステムとして構成しようとする場合、第１の実施の形態と同様、入力画像を直接サーバー側に伝送する必要はなく、入力画像よりも軽量な局所特徴量、分割領域特徴量、分割領域情報のみを伝送すれば良い。そのため、本実施の形態では、クライアント側では処理をすることなくサーバー側に画像を伝送するだけの構成にした場合と比べて、サーバー側で識別処理を行い、その識別結果をクライアント側が得るまでの時間を短縮させる事が可能となる。

（第３の実施の形態）
本発明の第３の実施の形態について図面を参照して説明する。
図２１は、本発明の第３の実施の形態における物体識別装置の構成を示すブロック図である。図２１に示すように、第３の実施の形態の物体識別装置は、局所特徴量抽出部１１、局所特徴量照合部１７、入力画像分割領域特徴量抽出部１３、入力画像差異領域決定部１４、入力画像分割領域特徴量変換部１５、特徴量照合部１６、差異領域推定部２０、及び差異領域特徴量抽出部１９を備える。

このように、第３の実施の形態の物体識別装置では、第２の実施の形態の物体識別装置の差異領域推定部１８が差異領域推定部２０に変更されている点が第２の実施の形態と異なる。差異領域推定部２０による処理の詳細については後述する。その他の構成要素については、第２の実施の形態と同様であり、同一の符号を付して詳細な説明は省略する。

図２２は、差異領域推定部２０の構成例を表すブロック図である。図２２に示すように、差異領域推定部２０は、物体領域推定部２００１、及び誤対応特徴点密集度探索部２００２を備える。

物体領域推定部２００１は、局所特徴量照合部１７から出力される局所特徴識別画像ＩＤに対応する参照画像、あるいはその局所特徴識別画像ＩＤに関連付いた参照画像群を受け取り、参照画像中で物体が存在している領域を表す情報である物体領域情報を出力する。ここで受け取る参照画像は、図２１のように、あらかじめデータベースに記憶しておいても良いし、物体識別装置の外部から取得してもよい。物体領域推定部２００１における処理としては、例えば、参照画像中のエッジ強度を解析することで物体領域を大まかに推定する方法や、背景領域の画像パターンをあらかじめ学習しておき背景以外の領域として物体領域を大まかに推定する方法等が考えられる。

誤対応特徴点密集度探索部２００２は、図１９に示した差異領域推定部１８の構成要素である誤対応特徴点密集度探索部８０１と類似している。しかしながら、誤対応特徴点密集度探索部２００２は、局所特徴量照合部１７から受け取る対応特徴点情報に加えて、物体領域推定部２００１から出力される物体領域情報が入力される点が第２の実施の形態とは異なっている。誤対応特徴点密集度探索部２００２は、対応特徴点のうち、物体領域の内部に存在する点のみに着目し、誤って対応している特徴点が密集している領域を探索する。

すなわち、誤対応特徴点密集度探索部２００２は、参照画像中の物体領域の内部から差異領域を推定する。そのため、本実施の形態において、物体以外の領域から出現する誤った対応の特徴点の影響を受けることなく、参照画像中の差異領域を推定する事が可能である。つまり、参照画像における差異領域（所定の領域）は、参照画像において物品が写った領域のうち、誤って対応している特徴点が密集していると局所特徴量照合部１７によって判定された領域を含む領域となる。また、誤対応特徴点密集度探索部２００２は、参照画像中で誤って対応している特徴点が密集している領域を探索する範囲が限定されるため、探索範囲が参照画像全体である誤対応特徴点密集度探索部８０１と比べて高速な処理が可能である。

本実施の形態では、実施の形態２と同様、参照画像中の差異領域を事前にデータベース登録しておかなくても、参照画像中の差異領域を推定する事ができるため、物体識別を利用した検品システムで、事前に差異領域に関する情報を登録しておく事ができない場合（例えば、多数の製品の中からどこかに傷を持つ製品だけを見分ける場合など）に効果的である。そして、本実施の形態で行われる参照画像中の差異領域の推定は、差異領域が物体全体の場合であっても、物体の一部の場合であっても可能であるが、物体以外の領域から出現する誤った対応の特徴点の影響を受けることなく差異領域を高精度に推定する事が可能であるため、図１２及び図１３に示した例のような場合に特に有効である。

また、本実施の形態を、ネットワークを介したサーバークライアントシステムとして構成しようとする場合、第１、２の実施の形態と同様、入力画像を直接サーバー側に伝送する必要はなく、入力画像よりも軽量な局所特徴量、分割領域特徴量、分割領域情報のみを伝送すれば良い。そのため、本実施の形態では、クライアント側では処理をすることなくサーバー側に画像を伝送するだけの構成にした場合と比べて、サーバー側で識別処理を行い、その識別結果をクライアント側が得るまでの時間を短縮させる事が可能となる。

（第４の実施の形態）
本発明の第４の実施の形態について図面を参照して説明する。第４の実施の形態では、差異領域の推定方法として他の方法を用いる。

図２３は、本発明の第４の実施の形態における物体識別装置の構成を示すブロック図である。図２３に示すように、第４の実施の形態の物体識別装置は、局所特徴量抽出部１１、局所特徴量照合部１２、入力画像分割領域特徴量抽出部１３、入力画像差異領域決定部１４、入力画像分割領域特徴量変換部１５、特徴量照合部１６、差異領域推定部２１、及び差異領域特徴量抽出部１９を備える。

このように、第４の実施の形態の物体識別装置では、第３の実施の形態の物体識別装置の局所特徴量照合部１７及び差異領域推定部２０が、局所特徴量照合部１２及び差異領域推定部２１に変更されている点が第３の実施の形態と異なる。局所特徴量照合部１２は、第１の実施の形態の物体識別装置の局所特徴量照合部１２と同様であり、詳細な説明は省略する。差異領域推定部２１の詳細については後述する。その他の構成要素については、第３の実施の形態と同様であり、同一の符号を付して詳細な説明は省略する。

図２４及び図２５は、差異領域推定部２１の構成例を表すブロック図であり、以下に各図について説明する。
図２４に示す差異領域推定部２１は、テンプレートマッチング部２１０１を備える。テンプレートマッチング部２１０１は、局所特徴量照合部１２から出力される局所特徴識別画像ＩＤに対応する参照画像（あるいはその局所特徴識別画像ＩＤに関連付いた参照画像群）を受け取ると共に、局所特徴量照合部１２から出力される局所特徴識別画像ＩＤに対応する差異領域のテンプレート画像（あるいはその局所特徴識別画像ＩＤに関連付いたテンプレート画像群）も受け取り、受け取った画像群に基づいて、差異領域情報を出力する。具体的には、このテンプレート画像は、差異領域周辺で典型的に見られる画像パターンである。テンプレートマッチング部２１０１は、参照画像中の各領域とこのテンプレート画像とをマッチングし、テンプレート画像に最も類似する領域を探すテンプレートマッチング処理を行うことによって、参照画像中の差異領域を推定する。すなわち、参照画像中において所定のパターン画像との類似度が所定値以上である領域が、参照画像中の差異領域として設定される。テンプレート画像は、図２３のように、あらかじめデータベースに記憶しておいても良いし、物体識別装置の外部から取得しても良い。

また、変形例として、図２５に示すように、差異領域推定部２１は、物体領域推定部２００１、及びテンプレートマッチング部２１０２を備えても良い。図２５の物体領域推定部２００１は、図２０で示される差異領域推定部２０の構成要素である物体領域推定部２００１と同一であり、詳細な説明は省略する。

テンプレートマッチング部２１０２は、図２４で示される差異領域推定部２１の構成要素であるテンプレートマッチング部２１０１と類似している。テンプレートマッチング部２１０２は、局所特徴量照合部１２から出力される局所特徴識別画像ＩＤに対応する参照画像と、局所特徴量照合部１２から出力される局所特徴識別画像ＩＤに対応する差異領域のテンプレート画像とに加えて、物体領域推定部２００１から出力される物体領域情報が入力される点が異なっている。テンプレートマッチング部２１０２は、参照画像中の物体領域についてのみ、テンプレート画像を用いたテンプレートマッチングを行う事により、参照画像中の差異領域を推定する事が可能である。また、テンプレートマッチング部２１０２は、テンプレート画像とマッチングする参照画像中の領域の範囲が限定されるため、テンプレート画像とマッチングする領域の範囲が参照画像全体であるテンプレートマッチング部２１０１と比べて高速な処理が可能である。

本実施の形態では、実施の形態２、３と同様、参照画像中の差異領域を事前にデータベース登録しておく必要はないが、差異領域に見られる典型的な画像パターンが事前にわかれば、その画像パターンをテンプレート画像として利用する事で、差異領域を推定する事ができる。例えば、同一の封筒で宛名だけが異なる複数の郵便画像の中から特定の郵便だけを識別しようとする場合には、宛名が記載された領域は郵便番号・住所・宛名といったように文字列のレイアウトがある程度決まった画像パターンとして定義できるので効果的である。そして、本実施の形態で行われる参照画像中の差異領域の推定は、差異領域が物体全体の場合であっても、物体の一部の場合であっても可能であるが、差異領域推定部２１の構成が図２５の場合は、実施の形態３と同様、まず物体領域を推定することにより背景の影響を取り除いた上で、改めて差異領域を推定する事が可能になるため、差異領域を高精度に推定する事ができ、図１２及び図１３に示した例のような場合に特に有効である。

また、本実施の形態を、ネットワークを介したサーバークライアントシステムとして構成しようとする場合、第１〜３の実施の形態と同様、入力画像を直接サーバー側に伝送する必要はなく、入力画像よりも軽量な局所特徴量、分割領域特徴量、分割領域情報のみを伝送すれば良い。そのため、本実施の形態では、クライアント側では処理をすることなくサーバー側に画像を伝送するだけの構成にした場合と比べて、サーバー側で識別処理を行い、その識別結果をクライアント側が得るまでの時間を短縮させる事が可能となる。

（第５の実施の形態）
本発明の第５の実施の形態について図面を参照して説明する。
図２６は、本発明の第５の実施の形態における物体識別装置の構成を示すブロック図である。図２６に示すように、第５の実施の形態の物体識別装置は、局所特徴量抽出部１１、局所特徴量照合部１７、入力画像分割領域特徴量抽出部１３、入力画像差異領域決定部１４、入力画像分割領域特徴量変換部１５、特徴量照合部１６、差異領域推定部２２、及び差異領域特徴量抽出部１９を備える。

このように、第５の実施の形態の物体識別装置では、第２の実施の形態の物体識別装置と第４の実施の形態の物体識別装置をあわせた構成になっている。第２の実施の形態の物体識別装置との比較では、差異領域推定部１８が差異領域推定部２２に変更されている点が異なる。差異領域推定部２２による処理の詳細については後述する。その他の構成要素については、第２の実施の形態と同様であり、同一の符号を付して詳細な説明は省略する。

図２７から図２９は、差異領域推定部２２の構成例を表すブロック図であり、以下に各図について説明する。
図２７に示す差異領域推定部２２は、誤対応特徴点密集度探索部２２０１、及びテンプレートマッチング部２２０２を備える。図２７の誤対応特徴点密集度探索部２２０１は、図１９に示した差異領域推定部１８の構成要素である誤対応特徴点密集度探索部８０１とほぼ同一であるが、差異領域情報ではなく差異候補領域情報を出力する点が異なっている。この誤対応特徴点密集度探索部２２０１が出力する差異候補領域情報は、誤対応特徴点密集度探索部８０１で出力される差異領域情報と同一であっても良いし、その差異領域情報よりもわずかに広げた領域として捉え、その領域情報としても良い。

また、図２７のテンプレートマッチング部２２０２は、図２５で示される差異領域推定部２１の構成要素であるテンプレートマッチング部２１０２と類似しているが、物体領域情報の代わりに差異候補領域情報が入力される点が異なっている。すなわち、図２７のテンプレートマッチング部２２０２は、誤対応特徴点密集度探索部２２０１で推定された参照画像中の差異候補領域についてのみ、テンプレート画像を用いたテンプレートマッチングを行い、参照画像中の差異領域を推定する。テンプレートマッチング部２２０２から出力される差異領域情報は、誤対応特徴点密集度探索部２２０１で推定される差異候補領域の中から、さらにテンプレートマッチング部２２０２によって差異領域を絞りこむため、信頼性の高い差異領域情報が出力される。

また、図２８に示す差異領域推定部２２は、テンプレートマッチング部２２０３、誤対応特徴点密集度探索部２２０４で構成する事も可能である。図２８のテンプレートマッチング部２２０３は、図２４に示した差異領域推定部２１の構成要素であるテンプレートマッチング部２１０１とほぼ同一であるが、差異領域情報ではなく差異候補領域情報を出力する点が異なっている。このテンプレートマッチング部２２０３が出力する差異候補領域情報は、テンプレートマッチング部２１０１で出力される差異領域情報と同一であっても良いし、その差異領域情報よりもわずかに広げた領域として捉え、その領域情報としても良い。

また、図２８の誤対応特徴点密集度探索部２２０４は、図２２で示される差異領域推定部２０の構成要素である誤対応特徴点密集度探索部２００２と類似しているが、物体領域情報の代わりに差異候補領域情報が入力される点が異なっている。誤対応特徴点密集度探索部２２０４から出力される差異領域情報は、テンプレートマッチング部２２０３で推定される差異候補領域の中から、さらに誤対応特徴点密集度探索部２２０４によって差異領域を絞りこむため、信頼性の高い差異領域情報が出力される。

また、図２９に示す差異領域推定部２２は、誤対応特徴点密集度探索部２２０１、テンプレートマッチング部２２０３、及び差異候補領域重複検出部２２０５を備える。図２９の誤対応特徴点密集度探索部２２０１は、図２７で示される差異領域推定部２２の構成要素である誤対応特徴点密集度探索部２２０１と同一であり、詳細な説明は省略する。図２９のテンプレートマッチング部２２０３は、図２８で示される差異領域推定部２２の構成要素であるテンプレートマッチング部２２０３と同一であり、詳細な説明は省略する。

差異候補領域重複検出部２２０５は、誤対応特徴点密集度探索部２２０１から出力される差異候補領域情報と、テンプレートマッチング部２２０３から出力される差異候補領域情報とを受け取り、これらの２つの差異候補領域が重複している領域を差異領域と判断し、その差異領域情報を出力する。差異候補領域重複検出部２２０５から出力される差異領域情報は、誤対応特徴点密集度探索部２２０１とテンプレートマッチング部２２０３でいずれも差異候補領域として判定される領域の情報となっているため、信頼性の高い差異領域情報が出力される。

本実施の形態では、実施の形態２〜４と同様、参照画像中の差異領域を事前にデータベース登録しておく必要はないが、実施の形態４と同様、差異領域に見られる典型的な画像パターンが事前にわかれば、その画像パターンをテンプレート画像として利用する事で、差異領域を推定する事ができる。例えば、同一の封筒で宛名だけが異なる複数の郵便画像の中から特定の郵便だけを識別しようとする場合には、宛名が記載された領域は郵便番号・住所・宛名といったように文字列のレイアウトがある程度決まった画像パターンとして定義できるので効果的である。そして、本実施の形態で行われる参照画像中の差異領域の推定は、差異領域が物体全体の場合であっても、物体の一部の場合であっても可能であるが、第２の実施の形態等と比べて、信頼性の高い差異領域が得られるため、高精度の識別を実現できる。なお、ここまで述べてきた本実施の形態は、第２の実施の形態の物体識別装置と第４の実施の形態の物体識別装置をあわせた構成の場合であるが、図２６の構成は、第３の実施の形態の物体識別装置と第４の実施の形態の物体識別装置をあわせた構成と捉えることもできる。すなわち、差異領域推定部２２が図２７、図２８、図２９の構成の場合、誤対応特徴点密集度探索部２２０１とテンプレートマッチング部２２０３の前に物体領域推定部を加える事ができ、この場合、背景の影響を取り除いた上で物体領域の中から差異領域を推定することになるため、図１２や図１３の場合に特に有効な構成となる。

また、本実施の形態を、ネットワークを介したサーバークライアントシステムとして構成しようとする場合、第１〜４の実施の形態と同様、入力画像を直接サーバー側に伝送する必要はなく、入力画像よりも軽量な局所特徴量、分割領域特徴量、分割領域情報のみを伝送すれば良い。そのため、本実施の形態では、クライアント側では処理をすることなくサーバー側に画像を伝送するだけの構成にした場合と比べて、サーバー側で識別処理を行い、その識別結果をクライアント側が得るまでの時間を短縮させる事が可能となる。

（第６の実施の形態）
本発明の第６の実施の形態について図面を参照して説明する。
図３０は、本発明の第６の実施の形態における物体識別装置の構成例を示すブロック図である。図３０に示すように、第６の実施の形態の物体識別装置は、局所特徴量抽出部１１、局所特徴量照合部１７、入力画像分割領域特徴量抽出部１３、入力画像差異領域決定部１４、入力画像分割領域特徴量変換部１５、特徴量照合部１６、差異領域推定部１８、分割領域特徴量抽出部２３、及び分割領域特徴量変換部２４を備える。

このように、第６の実施の形態の物体識別装置では、第２の実施の形態の物体識別装置の差異領域特徴量抽出部１９が、分割領域特徴量抽出部２３及び分割領域特徴量変換部２４に変更されている点が異なる。分割領域特徴量抽出部２３と分割領域特徴量変換部２４の詳細については後述する。その他の構成要素については、第２の実施の形態と同様であるため、第２の実施の形態と同一の符号を付して詳細な説明は省略する。

図３１は、分割領域特徴量抽出部２３の構成例を表すブロック図である。図３１に示すように、分割領域特徴量抽出部２３は、分割領域画像生成部２３０１、及び特徴量抽出部２３０２を備える。

分割領域画像生成部２３０１は、図５で示される入力画像分割領域特徴量抽出部１３の構成要素である分割領域画像生成部３０１とほぼ同一である。分割領域画像生成部２３０１は、入力画像ではなく参照画像を受け取る点と、入力画像分割領域情報ではなく分割領域情報が出力される点が分割領域画像生成部３０１とは異なっている。

特徴量抽出部２３０２も、図５で示される入力画像分割領域特徴量抽出部１３の構成要素である特徴量抽出部３０２とほぼ同一である。特徴量抽出部２３０２は、入力画像分割領域特徴量ではなく分割領域特徴量を出力している点が特徴量抽出部３０２と異なっている。

図３２は、分割領域特徴量変換部２４の構成例を表すブロック図である。図３２に示すように、分割領域特徴量変換部２４は、差異領域内分割領域特徴量統合部２４０１を備える。

差異領域内分割領域特徴量統合部２４０１は、図７で示される入力画像分割領域特徴量変換部１５の構成要素である差異領域内分割領域特徴量統合部５０１とほぼ同一である。差異領域内分割領域特徴量統合部２４０１は、入力画像差異領域情報ではなく差異領域情報を受け取り、入力画像分割領域特徴量ではなく分割領域特徴量を受け取り、入力画像分割領域情報ではなく分割領域情報を受け取る点が差異領域内分割領域特徴量統合部５０１と異なっている。すなわち、図３１及び図３２で示される分割領域特徴量抽出部２３、分割領域特徴量変換部２４では、上述の入力画像の分割と同様に、参照画像を分割し、差異領域内に含まれる分割領域画像から抽出された特徴量を統合することによって、参照画像の差異領域における特徴量である特徴量２を生成する。

本実施の形態では、実施の形態１〜５のように、差異領域情報で示される参照画像中の領域から特徴量２を直接抽出するのではなく、一度画像を分割して分割した各領域から特徴量を抽出しておき、差異領域内に含まれる分割領域の特徴量を統合して特徴量２の値を決定する。入力画像の差異領域における特徴量を表す特徴量１と、参照画像の差異領域における特徴量を表す特徴量２とを、同じ条件で抽出する事で、より正確な特徴量照合が実現可能となる。

なお、本実施の形態の構成例として図３０に示した構成は、第２の実施の形態を基にした構成であるが、同様に、第３〜５の実施の形態における構成をそれぞれ基にした構成にする事も可能である。すなわち、第３〜５の実施の形態の構成例において、差異領域特徴量抽出部を、分割領域特徴量抽出部２３及び分割領域特徴量変換部２４に置換する事で構成する事が可能である。第１の実施の形態についても、特徴量２を、図１のようにあらかじめ複数の参照画像から抽出しておきデータベースに記憶しておくのではなく、オンザフライで参照画像から抽出する場合は、分割領域特徴量抽出部２３及び分割領域特徴量変換部２４を備える構成とする事が可能である。

また、本実施の形態を、ネットワークを介したサーバークライアントシステムとして構成しようとする場合、第１〜５の実施の形態と同様、入力画像を直接サーバー側に伝送する必要はなく、入力画像よりも軽量な局所特徴量、分割領域特徴量、分割領域情報のみを伝送すれば良い。そのため、本実施の形態では、クライアント側では処理をすることなくサーバー側に画像を伝送するだけの構成にした場合と比べて、サーバー側で識別処理を行い、その識別結果をクライアント側が得るまでの時間を短縮させる事が可能となる。

（第７の実施の形態）
本発明の第７の実施の形態について図面を参照して説明する。
図３３は、本発明の第７の実施の形態である物体識別装置の構成例を示すブロック図である。図３３に示すように、第７の実施の形態の物体識別装置は、局所特徴量抽出部１１、局所特徴量照合部１７、入力画像分割領域特徴量抽出部１３、入力画像差異領域決定部１４、入力画像分割領域特徴量変換部２５、特徴量照合部１６、差異領域推定部１８、及び選択分割領域特徴量抽出部２６を備える。

このように、第７の実施の形態の物体識別装置では、第２の実施の形態の物体識別装置の入力画像分割領域特徴量変換部１５及び差異領域特徴量抽出部１９が、入力画像分割領域特徴量変換部２５及び選択分割領域特徴量抽出部２６に変更されている点が異なる。入力画像分割領域特徴量変換部２５、選択分割領域特徴量抽出部２６の詳細については後述する。その他の構成要素については第２の実施の形態と同様であり、同一の符号を付して詳細な説明は省略する。

図３４は、入力画像分割領域特徴量変換部２５の構成例を表すブロック図である。図３４に示すように、入力画像分割領域特徴量変換部２５は、分割領域特徴量選択部２５０１を備える。

分割領域特徴量選択部２５０１は、図７で示される入力画像分割領域特徴量変換部１５の構成要素である差異領域内分割領域特徴量統合部５０１と類似している。分割領域特徴量選択部２５０１は、特徴量１に加えて、入力画像選択分割領域情報を出力する点が差異領域内分割領域特徴量統合部５０１と異なっている。分割領域特徴量選択部２５０１は、入力画像の差異領域内に完全に収まっている分割領域に関する情報を入力画像選択分割領域情報として出力すると同時に、入力画像分割領域特徴量の中で、入力画像の差異領域内に完全に収まっている分割領域の特徴量のみを選択し、それを特徴量１として出力する。この入力画像選択分割領域情報は、入力画像の差異領域内に完全に収まっている分割領域の４隅の座標情報及び領域ＩＤを含む情報である。

図３５は、選択分割領域特徴量抽出部２６の構成例を表すブロック図である。図３５に示すように、選択分割領域特徴量抽出部２６は、選択分割領域決定部２６０１、選択分割領域画像生成部２６０２、及び特徴量抽出部２６０３を備える。

選択分割領域決定部２６０１は、入力画像分割領域特徴量変換部２５から受け取る入力画像選択分割領域情報に対し、局所特徴量照合部１７から受け取る幾何変換情報が示す幾何変換を行い、参照画像中で、入力画像中の入力画像選択分割領域に対応する領域の情報を示す選択分割領域情報を出力する。ただし、ここで使用する幾何変換情報は、入力画像中の座標から参照画像中の座標へ変換する情報となっていなければならない。

図３６は、入力画像中の入力画像選択分割領域と参照画像中の選択分割領域の関係を示した図である。図３６に示すように、選択分割領域決定部２６０１では、入力画像分割領域特徴量変換部２５から受け取る入力画像選択分割領域情報が示す入力画像の差異領域内に完全に収まっている分割領域の４隅の座標値に対し、幾何変換情報が示す幾何変換を行い、参照画像中で特徴量を抽出する対象とする領域を選択分割領域として決定する。

選択分割領域画像生成部２６０２は、図２０に示された差異領域特徴量抽出部１９の構成要素である差異領域画像生成部と類似している。選択分割領域画像生成部２６０２は、差異領域情報ではなく選択分割領域情報が入力され、差異領域画像ではなく選択分割領域画像を出力する点が異なっている。

特徴量抽出部２６０３は、図２０で示される差異領域特徴量抽出部１９の構成要素である差異領域特徴量算出部９０２と類似している。特徴量抽出部２６０３は、差異領域画像ではなく選択分割領域画像が入力される点が異なっている。この特徴量抽出部２６０３で抽出される特徴量は、差異領域特徴量算出部９０２と同様、図５で示される、入力画像分割領域特徴量抽出部１３の構成要素である特徴量抽出部３０２と同一の処理で抽出される特徴量でなければならない。

本実施の形態では、実施の形態１〜５のように、参照画像の差異領域における特徴量２を入力画像と独立して抽出するのではなく、特徴量１を生成する元となった分割領域に関する情報を幾何変換情報によって変換し、参照画像中で特徴量を生成する領域を決定した上で、その領域から特徴量２を生成する。このような処理を行う事で、入力画像と参照画像の物体の写っている向きや大きさの違いを補正した上で、対応する分割領域からそれぞれ抽出した特徴量同士を比較する事ができるため、より正確な特徴量照合が実現可能となる。なお、本実施の形態の構成例として、ここまで順番に説明してきた図３３は、第２の実施の形態を基にした構成であり、同様に、第３〜５の実施の形態をそれぞれ基にした構成にする事も可能である。すなわち、第３〜５の実施の形態の構成例において、差異領域特徴量抽出部を選択分割領域特徴量抽出部に変更し、入力画像分割領域特徴量変換部から選択分割領域情報を出力させ、その選択分割領域情報を選択分割領域特徴量抽出部に入力する事で構成する事が可能である。第１の実施の形態についても、特徴量２を、図１のようにあらかじめ複数の参照画像から抽出しておきデータベースに記憶しておくのではなく、オンザフライで参照画像から抽出する場合は、入力画像分割領域特徴量変換部２５及び選択分割領域特徴量抽出部２６を備える事で構成する事が可能である。

また、本実施の形態を、ネットワークを介したサーバークライアントシステムとして構成しようとする場合、第１〜６の実施の形態と同様、入力画像を直接サーバー側に伝送する必要はなく、入力画像よりも軽量な局所特徴量、分割領域特徴量、分割領域情報のみを伝送すれば良い。そのため、本実施の形態では、クライアント側では処理をすることなくサーバー側に画像を伝送するだけの構成にした場合と比べて、サーバー側で識別処理を行い、その識別結果をクライアント側が得るまでの時間を短縮させる事が可能となる。

（第８の実施の形態）
本発明の第８の実施の形態について図面を参照して説明する。
図３７は、本発明の第８の実施の形態における物体識別装置の構成例を示すブロック図である。図３７に示すように、第８の実施の形態の物体識別装置は、局所特徴量抽出部１１、局所特徴量照合部２７、入力画像分割領域特徴量抽出部１３、入力画像差異領域決定部１４、入力画像分割領域特徴量変換部１５、特徴量照合部２８、及び識別スコア統合判定部２９を備える。

このように、第８の実施の形態の物体識別装置では、第１の実施の形態の物体識別装置の局所特徴量照合部１２及び特徴量照合部１６が、局所特徴量照合部２７及び特徴量照合部２８に変更され、識別スコア統合判定部２９が新たな構成要素として加わっている点が第１の実施の形態とは異なる。局所特徴量照合部２７、特徴量照合部２８、識別スコア統合判定部２９の詳細については後述する。その他の構成要素については、第１の実施の形態と同様であり、同一の符号を付して詳細な説明は省略する。

図３８は、局所特徴量照合部２７の構成例を表すブロック図である。図３８に示すように、局所特徴量照合部２７は、対応特徴点決定部２０１、誤対応点除去部２０２、識別スコア算出部２０３、及び閾値判定部２７０１を備える。

図３８の対応特徴点決定部２０１、誤対応点除去部２０２、識別スコア算出部２０３は、図４に示した局所特徴量照合部１２の構成要素である対応特徴点決定部２０１、誤対応点除去部２０２、識別スコア算出部２０３と同一であり、詳細な説明は省略する。

図３８の閾値判定部２７０１は、図４に示した局所特徴量照合部１２の構成要素である閾値判定部２０４とほぼ同一だが、局所特徴識別画像ＩＤだけではなく、その局所特徴識別画像ＩＤに対応する参照画像（あるいはそれと関連付いた参照画像群）から抽出した局所特徴との識別スコアを出力している点が異なっている。この閾値判定部２７０１で設定される閾値は、閾値判定部２０４で設定される閾値よりも緩めにして、局所特徴識別画像ＩＤと識別スコアが多数出力されるようにしても良い。

図３９は、特徴量照合部２８の構成例を表すブロック図である。図３９に示すように、特徴量照合部２８は、差異領域識別スコア算出部６０１、及び閾値判定部２８０１を備える。図３９の差異領域識別スコア算出部６０１は、図８に示した特徴量照合部１６の構成要素である差異領域識別スコア算出部６０１と同一であり、詳細な説明は省略する。

図３９の閾値判定部２８０１は、図８で示される特徴量照合部１６の構成要素である閾値判定部６０２とほぼ同一だが、差異領域識別画像ＩＤだけではなく、その差異領域識別画像ＩＤに対応する参照画像あるいはそれと関連付いた参照画像群の差異領域から抽出した特徴量との差異領域識別スコアを出力している点が異なっている。この閾値判定部２８０１で設定される閾値は、閾値判定部６０２で設定される閾値よりも緩めにして、差異領域識別画像ＩＤと差異領域識別スコアが多数出力されるようにしても良い。

図４０は、識別スコア統合判定部２９の構成例を表すブロック図である。図４０に示すように、識別スコア統合判定部２９は、識別スコア統合部２９０１、及び閾値判定部２９０２を備える。

識別スコア統合部２９０１は、局所特徴量照合部２７から出力された識別スコアと、特徴量照合部２８から出力された差異領域識別スコアとを受け取り、受け取ったスコアに基づいて統合スコアを算出して出力する。この時、例えば同一の画像ＩＤに対応する識別スコアと差異領域識別スコアの積を求め、その値を統合スコアとして出力しても良い。

図４０の閾値判定部２９０２は、図４で示される局所特徴量照合部１２の構成要素である閾値判定部２０４や図８で示される特徴量照合部１６の構成要素である閾値判定部６０２とほぼ同一である。閾値判定部２０４及び閾値判定部６０２と異なる点として、閾値判定部２９０２は、識別スコア統合部２９０１から出力された統合スコアを所定の閾値と比較し、閾値以上となる場合、その入力画像と参照画像は、同一の物体を被写体とする画像であると判定し、その入力画像の画像ＩＤを識別画像ＩＤとして出力し、閾値未満の場合、その入力画像と参照画像は、同一の物体を被写体とする画像ではないと判定する。すなわち、閾値判定部２９０２は、局所特徴量照合部２７による照合の結果と、特徴量照合部２８による照合の結果とに基づいて、入力画像と参照画像は、同一の物体を被写体とする画像であるか否かを判定する。

本実施の形態では、実施の形態１〜７とは異なり、差異領域識別スコアだけで最終的な識別結果を決定するのではなく、これらを局所特徴量による識別スコアと統合したスコアから最終的な識別結果を判定する。同一物体を写した画像が悪環境（例えば、暗い環境）で、他の類似物体は理想的な環境で撮影されているような場合、それらの類似物体がテクスチャだけでなく色味も類似しているとしたら、差異領域から抽出した特徴量だけでは正しい識別ができないが、局所特徴量による識別結果とあわせることで、同一物体に対する識別結果を相対的に上げる事ができる。なお、本実施の形態の構成例として、ここまで順番に説明してきた図３７は、第１の実施の形態を基にした構成であり、同様に、第２〜７の実施の形態をそれぞれ基にした構成にする事も可能である。すなわち、第２〜７の実施の形態の構成例において、局所特徴量照合部から識別スコアを、特徴量照合部から差異領域識別スコアを、それぞれ出力するようにし、それらを識別スコア統合判定部に入力させる事で構成する事が可能である。

また、本実施の形態を、ネットワークを介したサーバークライアントシステムとして構成しようとする場合、第１〜７の実施の形態と同様、入力画像を直接サーバー側に伝送する必要はなく、入力画像よりも軽量な局所特徴量、分割領域特徴量、分割領域情報のみを伝送すれば良い。そのため、本実施の形態では、クライアント側では処理をすることなくサーバー側に画像を伝送するだけの構成にした場合と比べて、サーバー側で識別処理を行い、その識別結果をクライアント側が得るまでの時間を短縮させる事が可能となる

この出願は、２０１２年８月２３日に出願された日本出願特願２０１２−１８４５３６を基礎とする優先権を主張し、その開示の全てをここに取り込む。

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

上記の実施の形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）入力画像から抽出した特徴点のそれぞれの特徴量と、参照画像から抽出した特徴点のそれぞれの特徴量とが正しく対応しているか否かを判定する局所特徴量照合手段と、
前記入力画像を分割した各分割領域から特徴量を抽出する入力画像分割領域特徴量抽出手段と、
前記局所特徴量照合手段によって正しく対応していると判定された特徴量の組み合わせ数に基づくスコアが所定値以上である場合、前記入力画像と前記参照画像との間の幾何的なずれを補正する幾何変換を前記参照画像の所定の領域に対して行うことによって得られた画像領域の位置に対応する前記入力画像における領域に含まれる前記分割領域の特徴量を取得する入力画像分割領域特徴量変換手段と、
前記入力画像分割領域特徴量変換手段によって取得された特徴量と、前記参照画像の前記所定の領域から抽出された特徴量とを照合し、照合結果を出力する特徴量照合手段と
を備えたことを特徴とする物体識別装置。

（付記２）前記参照画像の前記所定の領域についての情報を記憶した記憶手段を備えることを特徴とする付記１に記載の物体識別装置。

（付記３）前記参照画像の前記所定の領域は、前記局所特徴量照合手段によって特徴量が誤って対応していると判定された参照画像における特徴点を含む領域であることを特徴とする付記１に記載の物体識別装置。

（付記４）前記参照画像の前記所定の領域は、物品が写った領域のうち、前記局所特徴量照合手段によって特徴量が誤って対応していると判定された参照画像における特徴点を含む領域であることを特徴とする付記１に記載の物体識別装置。

（付記５）前記参照画像の前記所定の領域は、前記参照画像中において所定のパターン画像との類似度が所定値以上である領域を含む領域であることを特徴とする付記１に記載の物体識別装置。

（付記６）前記参照画像の前記所定の領域は、前記参照画像中において、前記局所特徴量照合手段によって特徴量が誤って対応していると判定され、かつ、所定のパターン画像との類似度が所定値以上である領域を含む領域であることを特徴とする付記１に記載の物体識別装置。

（付記７）前記参照画像を分割した各分割領域から特徴量を抽出する分割領域特徴量抽出手段と、
前記参照画像の所定の領域に含まれる前記分割領域の特徴量を取得する分割領域特徴量変換手段と
を備え、
前記特徴量照合手段による照合に用いられる前記参照画像の前記所定の領域から抽出された特徴量は、前記分割領域特徴量変換手段により取得された特徴量であることを特徴とする付記１から６のいずれか１つに記載の物体識別装置。

（付記８）前記入力画像分割領域特徴量変換手段により特徴量が取得された前記入力画像における前記分割領域に対応する前記参照画像における領域の特徴量を抽出する選択分割領域特徴量抽出手段を備え、
前記特徴量照合手段による照合に用いられる前記参照画像の前記所定の領域から抽出された特徴量は、前記選択分割領域特徴量抽出手段により抽出された特徴量であることを特徴とする付記３から６のいずれか１項に記載の物体識別装置。

（付記９）前記局所特徴量照合手段による前記判定の結果と、前記特徴量照合手段による前記照合の結果とに基づいて、前記入力画像と前記参照画像は、同一の物体を被写体とする画像であるか否かを判定する統合判定手段を備えることを特徴とする付記１から８のいずれか１つに記載の物体識別装置。

（付記１０）入力画像から抽出した特徴点のそれぞれの特徴量と、参照画像から抽出した特徴点のそれぞれの特徴量とが正しく対応しているか否かを判定する局所特徴量照合ステップと、
前記入力画像を分割した各分割領域から特徴量を抽出する入力画像分割領域特徴量抽出ステップと、
前記局所特徴量照合ステップによって正しく対応していると判定された特徴量の組み合わせ数に基づくスコアが所定値以上である場合、前記入力画像と前記参照画像との間の幾何的なずれを補正する幾何変換を前記参照画像の所定の領域に対して行うことによって得られた画像領域の位置に対応する前記入力画像における領域に含まれる前記分割領域の特徴量を取得する入力画像分割領域特徴量変換ステップと、
前記入力画像分割領域特徴量変換ステップによって取得された特徴量と、前記参照画像の前記所定の領域から抽出された特徴量とを照合し、照合結果を出力する特徴量照合ステップと
を備えたことを特徴とする物体識別方法。

（付記１１）コンピュータを、
入力画像から抽出した特徴点のそれぞれの特徴量と、参照画像から抽出した特徴点のそれぞれの特徴量とが正しく対応しているか否かを判定する局所特徴量照合手段、
前記入力画像を分割した各分割領域から特徴量を抽出する入力画像分割領域特徴量抽出手段、
前記局所特徴量照合手段によって正しく対応していると判定された特徴量の組み合わせ数に基づくスコアが所定値以上である場合、前記入力画像と前記参照画像との間の幾何的なずれを補正する幾何変換を前記参照画像の所定の領域に対して行うことによって得られた画像領域の位置に対応する前記入力画像における領域に含まれる前記分割領域の特徴量を取得する入力画像分割領域特徴量変換手段、
前記入力画像分割領域特徴量変換手段によって取得された特徴量と、前記参照画像の前記所定の領域から抽出された特徴量とを照合し、照合結果を出力する特徴量照合手段
として機能させるためのプログラム。

従来の局所特徴量のみを用いた物体識別では、同一銘柄でパッケージの色や一部の文字のみが異なる製品の正確な識別、同一封筒で宛名だけが異なる郵便物の正確な識別は困難であるが、本発明によれば、従来の局所特徴量による照合だけでは識別できなかった細かな差異を見分け、同一の物体を写した画像のみを識別する事が可能になり、バーコードレスのPOSシステム、検品システム、郵便物自動仕分けシステム等に適用可能である。

１１ 局所特徴量抽出部
１２ 局所特徴量照合部
１３ 入力画像分割領域特徴量抽出部
１４ 入力画像差異領域決定部
１５ 入力画像分割領域特徴量変換部
１６ 特徴量照合部
１７ 局所特徴量照合部
１８ 差異領域推定部
１９ 差異領域特徴量抽出部
２０、２１、２２ 差異領域推定部
２３、２４ 分割領域特徴量抽出部
２５ 入力画像分割領域特徴量変換部
２６ 選択分割領域特徴量抽出部
２７ 局所特徴量照合部
２８ 特徴量照合部
２９ 識別スコア統合判定部
１０１ 輝度情報抽出部
１０２ 局所特徴点検出部
１０３ 局所特徴量生成部
２０１ 対応特徴点決定部
２０２ 誤対応点除去部
２０３ 識別スコア算出部
２０４ 閾値判定部
３０１ 分割領域画像生成部
３０２ 特徴量抽出部
５０１ 差異領域内分割領域特徴量統合部
６０１ 差異領域識別スコア算出部
６０２ 閾値判定部
８０１ 誤対応特徴点密集度探索部
９０１ 差異領域画像生成部
９０２ 差異領域特徴量算出部
２００１ 物体領域推定部
２００２ 誤対応特徴点密集度探索部
２１０１、２１０２ テンプレートマッチング部
２２０１ 誤対応特徴点密集度探索部
２２０２、２２０３ テンプレートマッチング部
２２０４ 誤対応特徴点密集度探索部
２２０５ 差異候補領域重複検出部
２３０１ 分割領域画像生成部
２３０２ 特徴量抽出部
２４０１ 差異領域内分割領域特徴量統合部
２５０１ 分割領域特徴量選択部
２６０１ 選択分割領域決定部
２６０２ 選択分割領域画像生成部
２６０３ 特徴量抽出部
２７０１、２８０１ 閾値判定部
２９０１ 識別スコア統合部
２９０２ 閾値判定部

Claims (10)

1. 入力画像から抽出した特徴点のそれぞれの特徴量と、参照画像から抽出した特徴点のそれぞれの特徴量とが正しく対応しているか否かを判定する局所特徴量照合手段と、
   前記入力画像を分割した各分割領域から特徴量を抽出する入力画像分割領域特徴量抽出手段と、
   前記局所特徴量照合手段によって正しく対応していると判定された特徴量の組み合わせ数に基づくスコアが所定値以上である場合、前記入力画像と前記参照画像との間の幾何的なずれを補正する幾何変換を前記参照画像の所定の領域に対して行うことによって得られた画像領域の位置に対応する前記入力画像における領域に含まれる前記分割領域の特徴量を取得する入力画像分割領域特徴量変換手段と、
   前記入力画像分割領域特徴量変換手段によって取得された特徴量と、前記参照画像の前記所定の領域から抽出された特徴量とを照合し、照合結果を出力する特徴量照合手段と
   を備えたことを特徴とする物体識別装置。
2. 前記参照画像の前記所定の領域についての情報を記憶した記憶手段を備えることを特徴とする請求項１に記載の物体識別装置。
3. 前記参照画像の前記所定の領域は、前記局所特徴量照合手段によって特徴量が誤って対応していると判定された参照画像における特徴点を含む領域であることを特徴とする請求項１に記載の物体識別装置。
4. 前記参照画像の前記所定の領域は、物品が写った領域のうち、前記局所特徴量照合手段によって特徴量が誤って対応していると判定された参照画像における特徴点を含む領域であることを特徴とする請求項１に記載の物体識別装置。
5. 前記参照画像の前記所定の領域は、前記参照画像中において所定のパターン画像との類似度が所定値以上である領域を含む領域であることを特徴とする請求項１に記載の物体識別装置。
6. 前記参照画像の前記所定の領域は、前記参照画像中において、前記局所特徴量照合手段によって特徴量が誤って対応していると判定され、かつ、所定のパターン画像との類似度が所定値以上である領域を含む領域であることを特徴とする請求項１に記載の物体識別装置。
7. 前記参照画像を分割した各分割領域から特徴量を抽出する分割領域特徴量抽出手段と、
   前記参照画像の所定の領域に含まれる前記分割領域の特徴量を取得する分割領域特徴量変換手段と
   を備え、
   前記特徴量照合手段による照合に用いられる前記参照画像の前記所定の領域から抽出された特徴量は、前記分割領域特徴量変換手段により取得された特徴量であることを特徴とする請求項１から６のいずれか１項に記載の物体識別装置。
8. 前記入力画像分割領域特徴量変換手段により特徴量が取得された前記入力画像における前記分割領域に対応する前記参照画像における領域の特徴量を抽出する選択分割領域特徴量抽出手段を備え、
   前記特徴量照合手段による照合に用いられる前記参照画像の前記所定の領域から抽出された特徴量は、前記選択分割領域特徴量抽出手段により抽出された特徴量であることを特徴とする請求項３から６のいずれか１項に記載の物体識別装置。
9. 入力画像から抽出した特徴点のそれぞれの特徴量と、参照画像から抽出した特徴点のそれぞれの特徴量とが正しく対応しているか否かを判定する局所特徴量照合ステップと、
   前記入力画像を分割した各分割領域から特徴量を抽出する入力画像分割領域特徴量抽出ステップと、
   前記局所特徴量照合ステップによって正しく対応していると判定された特徴量の組み合わせ数に基づくスコアが所定値以上である場合、前記入力画像と前記参照画像との間の幾何的なずれを補正する幾何変換を前記参照画像の所定の領域に対して行うことによって得られた画像領域の位置に対応する前記入力画像における領域に含まれる前記分割領域の特徴量を取得する入力画像分割領域特徴量変換ステップと、
   前記入力画像分割領域特徴量変換ステップによって取得された特徴量と、前記参照画像の前記所定の領域から抽出された特徴量とを照合し、照合結果を出力する特徴量照合ステップと
   を備えたことを特徴とする物体識別方法。
10. コンピュータを、
    入力画像から抽出した特徴点のそれぞれの特徴量と、参照画像から抽出した特徴点のそれぞれの特徴量とが正しく対応しているか否かを判定する局所特徴量照合手段、
    前記入力画像を分割した各分割領域から特徴量を抽出する入力画像分割領域特徴量抽出手段、
    前記局所特徴量照合手段によって正しく対応していると判定された特徴量の組み合わせ数に基づくスコアが所定値以上である場合、前記入力画像と前記参照画像との間の幾何的なずれを補正する幾何変換を前記参照画像の所定の領域に対して行うことによって得られた画像領域の位置に対応する前記入力画像における領域に含まれる前記分割領域の特徴量を取得する入力画像分割領域特徴量変換手段、
    前記入力画像分割領域特徴量変換手段によって取得された特徴量と、前記参照画像の前記所定の領域から抽出された特徴量とを照合し、照合結果を出力する特徴量照合手段
    として機能させるためのプログラム。

Images