(第1の実施の形態)
本発明の第1実施の形態について図面を参照して説明する。
図1は第1の実施の形態における物体識別装置の構成を示すブロック図である。物体識別装置は、局所特徴量抽出部11、局所特徴量照合部12、入力画像差異領域決定部13、入力画像差異領域特徴量抽出部14、及び特徴量照合部15を備える。物体識別装置は、例えば、パーソナルコンピュータや携帯情報端末等の情報処理装置を用いて構成することができる。そして、物体識別装置を構成する各部の機能は、例えば、プロセッサが、記憶領域に格納されているプログラムをメモリに展開して実行することによって実現される。なお、後述する他の実施形態における構成要素についても同様に実現することができる。
局所特徴量抽出部11は、入力画像から特徴点を検出し、検出された特徴点とその付近の領域である局所領域の特徴量を局所特徴量として抽出する。局所特徴量抽出部11による処理の詳細については後述する。
局所特徴量照合部12は、局所特徴量抽出部11において入力画像から抽出された局所特徴量1と、参照画像から抽出された局所特徴量2とを照合して対応する局所特徴量を特定する。対応する局所特徴量を特定する方法についての詳細は、図4を参照して後述する。局所特徴量照合部12は、局所特徴量が対応する局所領域を幾何変換したときの位置に応じて、入力画像と参照画像との間で対応する局所領域を特定する。例えば、入力画像における局所領域を、画像の中心を軸として所定の角度だけ回転移動したときの局所領域の座標位置が、参照領域における局所特徴量が対応する局所領域の座標位置と一致する場合、入力画像及び参照画像において座標位置が一致した局所領域は、対応する局所領域として特定される。すなわち、上記の幾何変換は参照画像と入力画像との間の幾何的なずれが補正されるように行われる。また、局所特徴量照合部12は、対応する局所領域が特定された場合、用いられた幾何変換についての情報(幾何変換情報)と、局所領域が対応すると判定された参照画像の画像IDである局所特徴識別画像IDとを出力する。
参照画像から抽出された局所特徴量2は、あらかじめ複数の参照画像から抽出しておき、図1に示す局所特徴量DBなどのデータベースに記憶しておいても良いし、オンザフライで参照画像から局所特徴量抽出部11を利用して抽出しても良い。データベースに記憶しておく場合、類似するオブジェクトを含む(類似する物体を被写体とする)参照画像から抽出される局所特徴量を関連付けて登録しておいても良い。局所特徴量照合部12の詳細については後述する。
入力画像差異領域決定部13は、局所特徴量照合部12から出力された局所特徴識別画像IDに対応する参照画像、又は局所特徴識別画像IDに関連付いた参照画像群の差異領域に対し、局所特徴量照合部12から出力された幾何変換情報が示す幾何変換を行い、入力画像差異領域情報を出力する。
ここで、本実施形態において、参照画像の差異領域とは、入力画像に写っている物体と参照画像に写っている物体とでわずかに差異が生じ得ることが予測されている場合に、参照画像においてその差異が生じ得る部分が写された領域である。参照画像の差異領域の情報は、例えば差異領域が矩形である場合、その矩形の4隅の座標値情報であっても良い。または、差異領域を構成する参照画像中の画素群の座標値を表す情報であっても良い。
入力画像差異領域情報は、参照画像における差異領域の4隅の座標値のそれぞれに対して幾何変換を行うことによって得られる入力画像における座標値とすることができる。または、参照画像の差異領域の情報がその差異領域を構成する画素群の座標値情報である場合、それらの画素群のそれぞれに対して、幾何変換情報に対応する幾何変換を行い、入力画像における差異領域を構成する画素群の座標値情報を入力画像差異領域情報とすることができる。
参照画像の差異領域情報は、事前にデータベースに記憶されている。例えば、局所特徴量2を図1の局所特徴量DBなどのデータベースに記憶しておく場合には、参照画像の差異領域情報を局所特徴量2とともに局所特徴量DBに記憶しても良い。
入力画像差異領域特徴量抽出部14は、入力画像差異領域決定部13から出力された入力画像差異領域情報が示す入力画像における領域(入力画像中の差異領域)から特徴量を抽出する。入力画像差異領域特徴量抽出部14の詳細については後述する。
特徴量照合部15は、入力画像差異領域特徴量抽出部14において入力画像中の差異領域から抽出された特徴量1と、参照画像中の差異領域から抽出された特徴量2とを照合して、照合結果を出力する。特徴量照合部15は、当該照合において、入力画像に含まれるオブジェクトと参照画像に含まれるオブジェクトが同一であるか(入力画像と参照画像とが同一の物体を被写体としているか)を判定する。同一であると判定された場合、特徴量照合部15は、同一であると判定された入力画像の画像IDを差異領域識別画像IDとして出力する。
特徴量2は、図1のように、あらかじめ複数の参照画像から抽出しておきデータベースに記憶しておいても良いし、オンザフライで参照画像から抽出しても良い。データベースに記憶しておく場合、類似する物体を関連付けて登録しておいても良い。特徴量照合部15の詳細については後述する。
図2は、図1に示した入力画像差異領域決定部13による処理のフローを示すフローチャートである。図2に示すように、まず、S131で処理を制御するための変数iの初期化が行われる。
S132においては、局所特徴量照合部12から出力された幾何変換情報が取得される。S133においては、局所特徴量DBから参照画像の差異領域情報が取得される。ここで取得する差異領域情報は、参照画像の差異領域が矩形である場合、その矩形の4隅の座標値情報であっても良いし、差異領域を構成する参照画像中の画素群の座標値を表す情報であっても良い。
S134では、S132で取得した幾何変換情報が示す幾何変換を、S133で取得した差異領域情報に対して行う。ここで、差異領域情報が、4隅の座標値情報である場合は、4つの座標値のうちの1つに幾何変換を行う。また、差異領域情報が、差異領域を構成する参照画像中の画素群の座標値情報である場合は、画素群のうちの1つの画素に幾何変換を行う。この時点で変数iが一定数N未満である場合、S135において変数iの値を更新し、変数iの値がN以上になるまでS133とS134の処理を継続する。S133において取得する差異領域情報が、4隅の参照画像における座標値情報である場合にはN=4とし、差異領域情報が、差異領域を構成する参照画像中の画素群の座標値情報である場合には、差異領域を構成する参照画像中の画素群の数がNの値として設定される。最後に、S136では、S134で算出した入力画像差異領域情報を出力し、処理を終了する。
次に、図3を参照して、局所特徴量抽出部11について詳述する。図3は、局所特徴量抽出部11の構成例を表すブロック図である。局所特徴量抽出部11は、輝度情報抽出部101、局所特徴点検出部102、及び局所特徴量生成部103を備える。
輝度情報抽出部101は、入力画像を受け取り、その入力画像の各画素から輝度に関する情報のみを抽出し出力する。ここで受け取る入力画像は、デジタルカメラやデジタルビデオカメラ、携帯電話等の撮像機器で撮影された画像や、スキャナー等を通して取り込まれた画像などである。また、画像は、JPEG(Joint Photographic Experts Group)のように圧縮された画像であってもよいし、TIFF(Tagged Image File Format)のように圧縮されていない画像であってもよい。
局所特徴点検出部102は、画像から特徴的な点(特徴点)を多数検出し、各特徴点に関する情報である特徴点情報を出力する。ここで、特徴点情報とは、例えば、検出された特徴点の座標位置やスケール、特徴点のオリエンテーション、特徴点に対して割り当てられた固有のID(Identification)である「特徴点番号」等を示すものである。なお、局所特徴点検出部102は、特徴点情報を、各特徴点のオリエンテーションの方向毎に別々の特徴点情報として出力しても良い。例えば、局所特徴点検出部102は、各特徴点における最も主たるオリエンテーションの方向についてのみ特徴点情報を出力することとしてもよいし、2番目以降の主たるオリエンテーションの方向についての特徴点情報も出力することとしてもよい。また、局所特徴点検出部102は、2番目以降の主たるオリエンテーションの方向についての特徴点情報も出力する場合、各特徴点におけるオリエンテーションの方向ごとに異なる特徴点番号を付与することができる。局所特徴点検出部102は、画像から特徴点を検出して特徴点情報を抽出する際に、例えば、DoG(Difference−of−Gaussian)処理を用いることができる。具体的には、局所特徴点検出部102は、DoG処理を用いてスケールスペースにおける極値探索をすることで特徴点の位置とスケールを決定することができる。さらに局所特徴点検出部102は、決定した特徴点の位置およびスケールと周辺領域の勾配情報とを用いて各特徴点のオリエンテーションを算出することができる。なお、局所特徴点検出部102は、画像から特徴点を検出して特徴点情報を抽出する際に、DoGではなく、Fast−Hessian Detector等の他の手法を用いてもよい。局所特徴点検出部102は、その内部で検出された特徴点の中から重要な特徴点のみを選び出し、その特徴点に関する情報のみを特徴点情報として出力しても良い。
局所特徴量生成部103は、局所特徴点検出部102から出力される特徴点情報を受け取り、各特徴点に対する局所領域(特徴点とその周辺の領域)の特徴量である局所特徴量を生成(記述)する。なお、局所特徴量生成部103は、ZIPやLZH等の可逆圧縮で圧縮された形式で局所特徴量を出力してもよい。局所特徴量生成部103は、局所特徴点検出部102において、検出する特徴点の重要度を決めている場合、その特徴点の重要度順に局所特徴量を生成して出力することができる。また、局所特徴量生成部103は、特徴点の座標位置順に局所特徴量を生成して出力してもよい。局所特徴量生成部103では、まず、特徴点情報に基づいて、検出された各特徴点の座標値、スケール、及びオリエンテーションから、特徴量抽出を行う局所領域を取得する。なお、1つの特徴点に対してオリエンテーションの異なる複数の特徴点情報が存在する場合、各特徴点情報に対して局所領域を取得することができる。次に、局所領域を特徴点のオリエンテーション方向に応じて回転させて正規化した後、サブ領域に分割する。例えば、局所領域を16ブロック(4×4ブロック)に分割することができる。次に、局所領域のサブ領域ごとに特徴ベクトルを生成する。サブ領域の特徴ベクトルとしては、例えば、勾配方向ヒストグラムを用いることができる。具体的には、各サブ領域の画素ごとに勾配方向を算出し、それを8方向に量子化して、サブ領域ごとに量子化された8方向の頻度を集計し、勾配方向ヒストグラムを生成する。この時、各特徴点に対して生成される16ブロック×8方向の勾配方向ヒストグラムにより構成される特徴ベクトルを局所特徴量として出力する。出力される局所特徴量には、特徴点の座標位置情報を含めて出力する。
次に、図4を参照して、局所特徴量照合部12について詳述する。図4は、局所特徴量照合部12の構成例を表すブロック図である。図4に示すように、局所特徴量照合部12は、対応特徴点決定部201、誤対応点除去部202、識別スコア算出部203、及び閾値判定部204を備える。
対応特徴点決定部201は、局所特徴量抽出部11で入力画像から抽出される局所特徴量1と、参照画像から抽出される局所特徴量2とを受け取る。対応特徴点決定部201は、局所特徴量1と局所特徴量2が対応するか否かを判定し、対応する場合、局所特徴量1と局所特徴量2は対応するものであるとして、対応特徴点情報を出力する。例えば、前記局所特徴量1と前記局所特徴量2がそれぞれ特徴点周辺の勾配ヒストグラムを記述した特徴量の集合である場合、まず、特徴量空間における距離計算を局所特徴量の全組み合わせについて行う。最小となる距離値が次に小さい距離値に対して十分に小さくなる場合に限り、その距離値が最小となる局所特徴量の組み合わせに関して、その局所特徴量及びその局所特徴量の局所特徴領域は対応していると判断し、局所特徴領域の位置情報と対応する局所特徴領域の位置情報を対応特徴点情報として出力する。
誤対応点除去部202は、対応特徴点決定部201から対応特徴点情報を受け取り、それらの対応特徴点の中から、正しく対応している特徴点と誤って対応している特徴点を判別して、その判別した特徴点情報をそれぞれ出力すると共に、その判別に使用する幾何変換情報もあわせて出力する。例えば、対応特徴点決定部201から受け取った対応特徴点情報に対し、RANSAC等の手法を適用して、参照画像中の座標を入力画像中の座標へ移動させる幾何変換についての情報を幾何変換情報として推定する。ここで推定された幾何変換情報を、対応特徴点の参照画像側の特徴点に対しそれぞれ作用させ、それらが入力画像側の特徴点にほぼ一致する場合は正しく対応している特徴点であると判断し、逆に入力側の特徴点に一致しない場合は誤って対応している特徴点であると判断する。
識別スコア算出部203は、誤対応点除去部202から対応特徴点情報を受け取り、識別スコアを出力する。出力する識別スコアは、例えば、誤対応点除去部202から受け取った対応特徴点情報の中から、正しく対応した特徴点の組み合わせ数をカウントし、その数を0から1の間のスコアにマッピングさせるためのテーブルをあらかじめ用意しておき、そのテーブルを参照して識別スコアを出力しても良い。または、正しく対応した特徴点の組み合わせ数がcである場合、あらかじめ定められた特徴点の最低対応数をmとして、m/(c+m)を識別スコアとして算出しても良い。閾値判定部204は、識別スコア算出部203から出力された識別スコアを閾値処理し、閾値以上である場合は同一の物体を写した画像であると判定し、その参照画像のIDを局所特徴識別画像IDとして出力する。この閾値判定部204で設定される閾値は、事前に決定され内部に保持された値であっても良いし、外部から与える値であっても良い。
次に、図5を参照して、入力画像差異領域特徴量抽出部14について詳述する。図5は、入力画像差異領域特徴量抽出部14の構成例を表すブロック図である。図5に示すように、入力画像差異領域特徴量抽出部14は、差異領域画像生成部401、及び差異領域特徴量算出部402を備える。
差異領域画像生成部401は、入力画像と、入力画像差異領域決定部13から入力画像差異領域情報を受け取り、その入力画像差異領域情報が、入力画像における差異領域の4隅の座標値情報である場合、4隅のうち隣り合う2隅をそれぞれ直線で結んだ時にその直線上の画素を順に読み取る。読み取られた画素群に囲まれた領域について、入力画像中からその値を読み取っていく画素とその順序を決定する事により、入力画像中の差異領域画像を生成し出力する。または、入力画像差異領域決定部13から受け取る入力画像差異領域情報が、入力画像における差異領域を構成する画素群の座標値を表す情報である場合、差異領域画像生成部401は、その順序で入力画像を読み取り、入力画像中の差異領域画像として出力する。
差異領域特徴量算出部402は、差異領域画像生成部401で生成された差異領域画像から特徴量を抽出し、その特徴量を出力する。差異領域特徴量算出部402で抽出する特徴量として、例えば、入力画像の差異領域と参照画像の差異領域の色情報に関する解析を行うため「色配置」「色ヒストグラム」等の特徴量を抽出しても良い。あるいは、入力画像の差異領域と参照画像の差異領域の細かな文字の違いを解析するため、「文字らしさ」を表現可能な特徴量を抽出しても良い。
次に、図6を参照して、特徴量照合部15について詳述する。図6は、特徴量照合部15の構成例を表すブロック図である。図6に示すように、特徴量照合部15は、差異領域識別スコア算出部501、及び閾値判定部502を備える。
差異領域識別スコア算出部501は、入力画像の差異領域から抽出される特徴量を特徴量1として、参照画像の差異領域から抽出される特徴量を特徴量2として、それぞれ受け取る。差異領域識別スコア算出部501は、受け取った2つの特徴量から決定される識別スコアを差異領域識別スコアとして出力する。差異領域識別スコアは、特徴量1と特徴量2が類似している程、その値が高くなるような尺度である。例えば、特徴量1と特徴量2の特徴量空間上での距離を計算し、その逆数を差異領域識別スコアとして出力しても良い。または、特徴量1と、複数の参照画像群からそれぞれ抽出した特徴量2を照合する場合、特徴量の全組み合わせの中で特徴量空間上での距離の最小値を見つけ、その最小値で、特徴量の全組み合わせにおける特徴量空間上での距離を割った値の逆数を差異領域識別スコアとして出力しても良い。または、特徴量1と特徴量2の特徴量空間上での距離値を、0〜1の間のスコアにマッピングさせるためのテーブルをあらかじめ用意しておき、そのテーブルを参照して差異領域識別スコアを出力しても良い。
閾値判定部502は、差異領域識別スコア算出部501から出力された差異領域識別スコアを閾値と比較し、閾値以上である場合は同一の物体を写した画像であると判定し、その参照画像のIDを差異領域識別画像IDとして出力する。この閾値判定部502で設定される閾値は、事前に決定され内部に保持された値であっても良いし、外部から与える値であっても良い。
図7は、本実施の形態の変形例における物体識別装置の構成を示している。図7に示す物体識別装置は、差異領域情報のみを格納したデータベースである差異領域情報DBを設けている点で、図1に示す物体識別装置と異なる。局所特徴量2がデータベースとして記憶されておらず、参照画像からオンザフライで抽出される場合、この図7の構成で本実施の形態が実現できる。
図8から図11は、それぞれ、参照画像における差異領域と、入力画像における差異領域との間の関係として考えられるパターンを示したイメージ図である。
図8は、物体が参照画像全体に表示され、差異領域が参照画像全体に対して設定される場合の例を示している。この例は、同一銘柄で味付けが異なるお菓子パッケージ等でよく見られるように、物体に刻まれている文字・模様等はほぼ同一だが、その物体の色が異なる場合等が該当する。すなわち、この例では、入力画像の全体が参照画像の全体と異なりうることが考えられるため、参照画像の全体が差異領域として設定される。
図9は、物体が参照画像全体に表示され、差異領域が参照画像の一部に対して設定される場合の例を示している。この例は、同一シリーズで巻が異なる本の背表紙等でよく見られるように、物体はほぼ同一なのだが、物体の一部分のみ、色や文字や模様が異なる場合が該当する。すなわち、この例では、入力画像の一部が参照画像の一部と異なりうることが考えられるため、参照画像の一部が差異領域として設定される。図10及び図11に示す例は、図8及び図9に示した例とそれぞれほぼ同様だが、参照画像が画像全体ではなくその一部にしか写っていない点が異なる。
いずれの例においても、本実施の形態では、その差異領域として設定された領域の情報が事前にデータベース登録されている。本実施形態において、登録されている参照画像中の差異領域及び入力画像中の差異領域は、それぞれ、差異が生じ得ることが予測されている必要最小限の領域を参照画像及び入力画像のそれぞれから抽出したものである。そのため、参照画像の全体の局所特徴量と入力画像の全体の局所特徴量とを比較したときに、差異がわずかであるために同一の画像であると判定されてしまった場合であっても、参照画像及び入力画像の差異画像の特徴量のみを再度比較することによって、物品の違いに起因する細かな差異を見分けることができる。その結果、局所特徴量のみを使った場合に問題となっていた誤判定を抑制する事が可能となる。
以上のように本実施形態によれば、局所特徴量照合部12は、入力画像から抽出した特徴点のそれぞれの特徴量と、参照画像から抽出した特徴点のそれぞれの特徴量とが対応するかを判定する。入力画像差異領域特徴量抽出部14は、局所特徴量照合部12によって対応すると判定された特徴量の組み合わせ数に基づくスコアが所定値以上の場合、入力画像と参照画像との間の幾何的なずれを補正する幾何変換を参照画像の所定の領域(差異領域)に対して行うことによって得られた画像領域の位置に対応する入力画像における領域から特徴量を抽出する。なお、本実施形態において参照画像の差異領域は、入力画像差異領域決定部13によって決定される。特徴量照合部15は、入力画像差異領域特徴量抽出部14によって抽出された特徴量と、参照画像の差異領域から抽出された特徴量とを照合し、照合結果を出力する。その結果、参照画像に写っている物体と同一の物体が写された入力画像をより正確に識別することができる。
(第2の実施の形態)
本発明の第2の実施の形態について図面を参照して説明する。第2の実施の形態では、参照画像中の差異領域を事前にデータベース登録せずに、参照画像中の差異領域を推定して識別を行う。
図12は、本発明の第2の実施の形態における物体識別装置の構成を示すブロック図である。図12に示すように、本実施形態の物体識別装置は、局所特徴量抽出部11、局所特徴量照合部16、入力画像差異領域決定部13、入力画像差異領域特徴量抽出部14、差異領域推定部17、差異領域特徴量抽出部18、及び特徴量照合部15を備える。このように、第2の実施の形態の物体識別装置では、第1の実施の形態の物体識別装置の局所特徴量照合部12が局所特徴量照合部16に変更され、差異領域情報を格納したデータベースである差異領域情報DBが差異領域推定部17及び差異領域特徴量抽出部18に変更されている点で、第1の実施の形態と異なる。局所特徴量照合部16、差異領域推定部17、差異領域特徴量抽出部18の詳細については後述する。その他の構成要素については第1の実施の形態と同様であるため同一の符号を付して詳細な説明は省略する。
図13は、局所特徴量照合部16の構成例を表すブロック図である。図13に示すように、局所特徴量照合部16は、対応特徴点決定部201、誤対応点除去部202、識別スコア算出部203、及び閾値判定部204を備える。すなわち、図13に示される局所特徴量照合部16の構成要素は、図4に示される局所特徴量照合部12の構成要素と同一である。しかし、図13に示される局所特徴量照合部16は、誤対応点除去部202から幾何変換情報が出力され、閾値判定部204から局所特徴識別画像IDが出力されることに加え、誤対応点除去部202から出力される対応特徴点情報が局所特徴量照合部16から出力されている点が図4の局所特徴量照合部12とは異なっている。
図14は、差異領域推定部17の構成を表すブロック図である。図14に示すように、差異領域推定部17は、誤対応特徴点密集度探索部701を備える。誤対応特徴点密集度探索部701は、局所特徴量照合部16から対応特徴点情報を受け取り、参照画像中の差異領域に関する情報である差異領域情報を出力する。局所特徴量照合部16から受け取る対応特徴点情報は、正しく対応している特徴点の情報と、誤って対応している特徴点の情報とが含まれている。そのため、対応特徴点情報に含まれている誤って対応している特徴点の情報を用いて、誤って対応している特徴点が密集している領域を参照画像中から探索する事によって、参照画像中の差異領域を推定する事が可能である。誤って対応している特徴点が密集している領域の探索は、例えば、一定の大きさの矩形窓を規定し、差分画像中でこの矩形窓を動かしていき、誤って対応している特徴点の数が矩形窓内で一定数以上である場合、その矩形窓の領域を差異領域とすることができる。参照画像中の差異領域を推定する方法はこれに限定されず、誤って対応している特徴点が密集している領域に基づいて推定する方法であれば、任意の方法で実施することができる。すなわち、参照画像の差異領域(所定の領域)は、局所特徴量照合部16によって、参照画像において誤って対応している特徴点が密集していると判定された領域を含む領域である。
図15は、差異領域特徴量抽出部18の構成例を表すブロック図である。図15に示すように、差異領域特徴量抽出部18は、差異領域画像生成部801、及び差異領域特徴量算出部402を備える。
差異領域画像生成部801は、図5に示した入力画像差異領域特徴量抽出部14の構成要素である差異領域画像生成部401とほぼ同一である。しかしながら、差異領域画像生成部801は、入力画像及び入力画像差異領域情報の代わりに、参照画像及び差異領域情報がそれぞれ入力される点で差異領域画像生成部401とは異なる。また、差異領域画像生成部801で生成される差異画像は、入力画像差異領域情報に基づいて入力画像から生成されるのではなく、参照画像中の差異領域情報に基づいて参照画像から生成される点が異なっている。
差異領域特徴量算出部402は、図5に示した入力画像差異領域特徴量抽出部14の構成要素である差異領域特徴量算出部402と同一であるため、詳細な説明は省略する。なお、図5と図15における差異領域特徴量算出部402で算出する特徴量は、同一の処理で算出される特徴量でなければならない。
以上のように本実施の形態では、参照画像中の差異領域を事前にデータベース登録しておかなくても、参照画像中の差異領域を推定する事ができるため、物体識別を利用した検品システムで、差異が生じ得ることが予測される領域を差異領域として事前に登録しておく事ができない場合(例えば、多数の製品の中からどこかに傷を持つ製品だけを見分ける場合など)に効果的である。そして、本実施の形態で行われる参照画像中の差異領域の推定は、差異領域が物体全体の場合であっても、物体の一部の場合であっても可能であるため、図8から図11に示したいずれの例の場合に対しても、本実施の形態は有効である。
(第3の実施の形態)
本発明の第3の実施の形態について図面を参照して説明する。
図16は、本発明の第3の実施の形態である物体識別装置の構成を示すブロック図である。図16に示すように、第3の実施の形態の物体識別装置は、局所特徴量抽出部11、局所特徴量照合部16、入力画像差異領域決定部13、入力画像差異領域特徴量抽出部14、特徴量照合部15、差異領域推定部19、及び差異領域特徴量抽出部18を備える。
このように、第3の実施の形態の物体識別装置では、第2の実施の形態の物体識別装置の差異領域推定部17が差異領域推定部19に変更されている点が第2の実施の形態と異なる。差異領域推定部19の詳細については後述する。その他の構成要素については、第2の実施の形態と同様であり、同一の符号を付して詳細な説明は省略する。
図17は、差異領域推定部19の構成例を表すブロック図である。図17に示すように、差異領域推定部19は、物体領域推定部901、及び誤対応特徴点密集度探索部902を備える。
物体領域推定部901は、局所特徴量照合部16から出力される局所特徴識別画像IDに対応する参照画像、あるいはその局所特徴識別画像IDに関連付いた参照画像群を受け取り、参照画像中で物体が存在している領域を表す情報である物体領域情報を出力する。ここで受け取る参照画像は、図16のように、あらかじめデータベースに記憶しておいても良いし、物体識別装置の外部から取得しても良い。物体領域推定部901における処理としては、例えば、参照画像中のエッジ強度を解析することで物体領域を大まかに推定する方法や、背景領域の画像パターンをあらかじめ学習しておき背景以外の領域として物体領域を大まかに推定する方法等が考えられる。
誤対応特徴点密集度探索部902は、図14に示した差異領域推定部17の構成要素である誤対応特徴点密集度探索部701と類似している。しかしながら、誤対応特徴点密集度探索部902は、局所特徴量照合部16から受け取る対応特徴点情報に加えて、物体領域推定部901から出力される物体領域情報が入力される点が第2の実施の形態とは異なっている。誤対応特徴点密集度探索部902は、対応特徴点のうち、物体領域の内部に存在する点のみに着目し、誤って対応している特徴点が密集している領域を探索する。
すなわち、誤対応特徴点密集度探索部902は、参照画像中の物体領域の内部から差異領域を推定する。そのため、本実施の形態において、物体以外の領域から出現する誤った対応の特徴点の影響を受けることなく、参照画像中の差異領域を推定する事が可能である。つまり、参照画像における差異領域(所定の領域)は、参照画像において物品が写った領域のうち、誤って対応している特徴点が密集していると局所特徴量照合部16によって判定された領域を含む領域となる。また、誤対応特徴点密集度探索部902は、参照画像中で誤って対応している特徴点が密集している領域を探索する範囲が限定されるため、探索範囲が参照画像全体である誤対応特徴点密集度探索部701と比べて高速な処理が可能である。
本実施の形態では、実施の形態2と同様、参照画像中の差異領域を事前にデータベース登録しておかなくても、参照画像中の差異領域を推定する事ができるため、物体識別を利用した検品システムで、事前に差異領域に関する情報を登録しておく事ができない場合(例えば、多数の製品の中からどこかに傷を持つ製品だけを見分ける場合など)に効果的である。そして、本実施の形態で行われる参照画像中の差異領域の推定は、差異領域が物体全体の場合であっても、物体の一部の場合であっても可能であるが、物体以外の領域から出現する誤った対応の特徴点の影響を受けることなく差異領域を高精度に推定する事が可能であるため、図10及び図11に示した例の場合に特に有効である。
(第4の実施の形態)
本発明の第4の実施の形態について図面を参照して説明する。第4の実施の形態では、差異領域の推定方法として他の方法を用いた場合について説明する。
図18は、本発明の第4の実施の形態である物体識別装置の構成を示すブロック図である。図18に示すように、第4の実施の形態の物体識別装置は、局所特徴量抽出部11、局所特徴量照合部12、入力画像差異領域決定部13、入力画像差異領域特徴量抽出部14、特徴量照合部15、差異領域推定部20、及び差異領域特徴量抽出部18を備える。このように、第4の実施の形態の物体識別装置では、第3の実施の形態の物体識別装置の局所特徴量照合部16及び差異領域推定部19が、局所特徴量照合部12及び差異領域推定部20に変更されている点が第3の実施の形態と異なる。局所特徴量照合部12は、第1の実施の形態の物体識別装置の局所特徴量照合部12と同様であり、詳細な説明は省略する。差異領域推定部20の詳細については後述する。その他の構成要素については、第3の実施の形態と同様であり、同一の符号を付して詳細な説明は省略する。
図19は、差異領域推定部20の構成例を表すブロック図である。図19に示すように、差異領域推定部20は、変換画像生成部2001、差分画像生成部2002、物体領域推定部2003、及び大差分領域検出部2004を備える。
変換画像生成部2001は、入力画像と、局所特徴量照合部12から出力される幾何変換情報とを受け取り、入力画像に対して幾何変換情報が示す幾何変換を行い、変換画像を出力する。ここで出力される変換画像は、例えば、入力画像の各画素に対して、幾何変換情報が示す幾何変換を行い、入力画像の各画素を参照画像と同じ大きさの画像上に投影させていくことで、変換画像を生成する。このとき、投影先の画像において、入力画像中の画素が投影されない画素については、その画素値を0等で埋めて変換画像を生成する。また、局所特徴量照合部12から出力される幾何変換情報が、参照画像中の座標から入力画像中の座標へ変換する情報である場合、この変換画像生成部2001で作用させる幾何変換情報は、その逆の変換を行う情報になっている必要がある。すなわち、局所特徴量照合部12から出力される幾何変換情報が、参照画像中の座標から入力画像中の座標へ変換する3×3の行列である場合、変換画像生成部2001で作用させる幾何変換情報は、その逆行列を用いる。
差分画像生成部2002は、局所特徴量照合部12から出力される局所特徴識別画像IDに対応する参照画像(又はその局所特徴識別画像IDに関連付いた参照画像群)と、変換画像生成部2001から出力される変換画像とを受け取る。差分画像生成部2002は、参照画像と変換画像の差分を取った画像を差分画像として出力する。なお、参照画像と変換画像の差分を取る際、例えば、両方の画像の輝度の平均値が一致するよう、一方の画像の輝度を補正してから差分を取っても良い。ここで受け取る参照画像は、図18のように、あらかじめデータベースに記憶しておいても良いし、物品識別装置の外部から取得しても良い。
物体領域推定部2003は、差分画像生成部2002から差分画像を受け取り、当該差分画像中の物体領域情報(参照画像中で物体が存在している領域を表す情報)を推定して出力する。ここで出力される物体領域情報は、例えば、差分画像の中でその差分値が小さい領域を画像中から探索する事によって推定する事が可能である。これは、差分画像の中で差分値が小さい領域は、参照画像と変換画像で同一の物体が写っている可能性が高い領域と考えられるためである。物体領域の推定は、例えば、一定の大きさの矩形窓を考え、差分画像中でこの矩形窓を動かしていき、矩形窓内で画素値の小さい画素が一定数以上あった場合、その矩形窓の領域を物体領域とすることもできるし、他の方法であっても良い。
大差分領域検出部2004は、差分画像生成部2002から出力される差分画像と、物体領域推定部2003から出力される物体領域情報とを受け取る。大差分領域検出部2004は、物体領域において、差分画像内の差分値が大きくなっている箇所は、参照画像に写っている物体と変換画像に写っている物体とで差異が存在している箇所である可能性が高いと判断する。従って、大差分領域検出部2004は、差分値が大きい箇所を画像内から探索し、その領域情報を差異領域情報として出力する。差分値が大きい箇所(すなわち差異領域)の探索は、例えば、一定の大きさの矩形窓を規定し、差分画像内の物体領域中でこの矩形窓を動かしていき、矩形窓内で画素値の大きい画素が一定数以上あった場合、その矩形窓の領域を差異領域とすることもできるし、他の方法で探索しても良い。
以上のように本実施の形態では、変換画像生成部2001は、入力画像と参照画像との間の幾何的なずれを補正する幾何変換を入力画像に対して行って、変換画像を出力する。大差分領域検出部2004は、変換画像と参照画像との差分が所定値以上である領域を含む領域についての情報を差分領域情報として出力する。また、大差分領域検出部2004は、参照画像中で物体が存在している領域のうち、変換画像と参照画像との差分が所定値以上である領域を含む領域についての情報を差分領域情報として出力することができる。
本実施の形態では、実施の形態2、3と同様、参照画像中の差異領域を事前にデータベース登録しておかなくても、参照画像中の差異領域を推定する事ができるため、物体識別を利用した検品システムで、事前に差異領域に関する情報を登録しておく事ができない場合(例えば、多数の製品の中からどこかに傷を持つ製品だけを見分ける場合など)に効果的である。そして、本実施の形態で行われる参照画像中の差異領域の推定は、差異領域が物体全体の場合であっても、物体の一部の場合であっても可能であるが、実施の形態3と同様、まず物体領域を推定することにより背景の影響を取り除いた上で、改めて差異領域を推定するため、差異領域を高精度に推定する事ができ、図10や図11に示した例のような場合に特に有効である。
(第5の実施の形態)
本発明の第5の実施の形態について図面を参照して説明する。
図20は、本発明の第5の実施の形態である物体識別装置の構成を示すブロック図である。図20に示すように、第5の実施の形態の物体識別装置は、局所特徴量抽出部11、局所特徴量照合部16、入力画像差異領域決定部13、入力画像差異領域特徴量抽出部14、特徴量照合部15、差異領域推定部21、及び差異領域特徴量抽出部18を備える。このように、第5の実施の形態の物体識別装置では、第3の実施の形態の物体識別装置と第4の実施の形態の物体識別装置をあわせた構成になっている。第3の実施の形態の物体識別装置との比較では、差異領域推定部19が差異領域推定部21に変更されている点が異なる。差異領域推定部21の詳細については後述する。その他の構成要素については、第3の実施の形態と同様であり、同一の符号を付して詳細な説明は省略する。
図21から図24は、差異領域推定部21の構成例を表すブロック図であり、以下に各図について説明する。
図21に示す差異領域推定部21は、変換画像生成部2001、差分画像生成部2002、物体領域推定部2003、及び誤対応特徴点密集度探索部902を備える。図21の変換画像生成部2001、差分画像生成部2002、物体領域推定部2003は、図19で示される差異領域推定部20の構成要素である変換画像生成部2001、差分画像生成部2002、物体領域推定部2003と同一であり、詳細な説明は省略する。また、図21の誤対応特徴点密集度探索部902は、図17で示される差異領域推定部19の構成要素である誤対応特徴点密集度探索部902と同一であり、詳細な説明は省略する。
すなわち、差異領域推定部21は、差異領域推定部19のように、参照画像だけを利用して推定した物体領域から誤対応の特徴点が密集している領域を探索するのではなく、変換した入力画像と参照画像の差分を利用して推定した物体領域から誤対応の特徴点が密集している領域を探索することで、差分領域を推定する。
また、図22に示す差異領域推定部21は、変換画像生成部2001、差分画像生成部2002、物体領域推定部2003、大差分領域検出部2101、及び誤対応特徴点密集度探索部2102を備える。図22の変換画像生成部2001、差分画像生成部2002、物体領域推定部2003は、図19で示される差異領域推定部20の構成要素である変換画像生成部2001、差分画像生成部2002、物体領域推定部2003と同一であり、詳細な説明は省略する。
図22の大差分領域検出部2101は、図19で示される差異領域推定部20の構成要素である大差分領域検出部2004とほぼ同一であるが、差異領域情報ではなく差異候補領域情報を出力する点が異なっている。この大差分領域検出部2101が出力する差異候補領域情報は、大差分領域検出部2004で出力される差異領域情報と同一であっても良いし、その差異領域情報よりもわずかに広げた領域として捉え、その領域情報としても良い。
図22の誤対応特徴点密集度探索部2102は、図17で示される差異領域推定部19の構成要素である誤対応特徴点密集度探索部902と類似しているが、物体領域情報の代わりに差異候補領域情報が入力される点が異なっている。誤対応特徴点密集度探索部2102から出力される差異領域情報は、変換画像生成部2001、差分画像生成部2002、物体領域推定部2003、大差分領域検出部2101の4つの組み合わせで推定される差異候補領域の中から、さらに誤対応特徴点密集度探索部2102で差異領域を絞りこむため、信頼性の高い差異領域情報が出力される。
また、図23に示す差異領域推定部21は、変換画像生成部2001、誤対応特徴点密集度探索部2103、差分画像生成部2104、大差分領域検出部2105を備える。図23の変換画像生成部2001は、図19で示される差異領域推定部20の構成要素である変換画像生成部2001と同一であり、詳細な説明は省略する。
図23の誤対応特徴点密集度探索部2103は、図14で示される差異領域推定部17の構成要素である誤対応特徴点密集度探索部701とほぼ同一であるが、差異領域情報ではなく差異候補領域情報を出力する点が異なっている。この誤対応特徴点密集度探索部2103が出力する差異候補領域情報は、誤対応特徴点密集度探索部701で出力される差異領域情報と同一であっても良いし、その差異領域情報よりもわずかに広げた領域として捉え、その領域情報としても良い。
図23の差分画像生成部2104は、図19で示される差異領域推定部20の構成要素である差分画像生成部2002と類似しているが、参照画像と変換画像に加えて差異候補領域情報が入力される点が異なっている。差分画像生成部2104では、参照画像と変換画像の差分を取る事によって生成される差分画像から、差異候補領域情報で示される領域の画像を差分画像として出力する。
図23の大差分領域検出部2105は、図19で示される差異領域推定部20の構成要素である大差分領域検出部2004と類似しているが、差分画像のみが入力される点が異なっている。大差分領域検出部2105に入力される差分画像は、誤対応特徴点密集度探索部2103で既に差異候補領域として推定された領域に関してのみ出力された差分画像であるため、既にこの段階で、物体領域の全体あるいはその一部を表す領域の画像となっている。大差分領域検出部2105から出力される差異領域情報は、誤対応特徴点密集度探索部2103で推定される差異候補領域の中から、さらに大差分領域検出部2402で差異領域を絞り込むため、信頼性の高い差異領域情報が出力される。
また、図24に示す差異領域推定部21は、変換画像生成部2001、差分画像生成部2002、物体領域推定部2003、大差分領域検出部2101、誤対応特徴点密集度探索部2103、差異候補領域重複検出部2106を備える。図24の変換画像生成部2001、差分画像生成部2002、物体領域推定部2003は、図19で示される差異領域推定部20の構成要素である変換画像生成部2001、差分画像生成部2002、物体領域推定部2003と同一であり、詳細な説明は省略する。図24の大差分領域検出部2101は、図22の大差分領域検出部2101と同一であり、詳細な説明は省略する。また、図24の誤対応特徴点密集度探索部2103は、図23の誤対応特徴点密集度探索部2103と同一であり、詳細な説明は省略する。
図24の差異候補領域重複検出部2106は、大差分領域検出部2101から出力される差異候補領域情報、誤対応特徴点密集度探索部2103から出力される差異候補領域情報を受け取り、これらの2つの差異候補領域が重複している領域を差異領域と判断し、その差異領域情報を出力する。差異候補領域重複検出部2106から出力される差異領域情報は、大差分領域検出部2101と誤対応特徴点密集度探索部2103でいずれも差異候補領域として判定される領域の情報となっているため、信頼性の高い差異領域情報が出力される。
本実施の形態では、実施の形態2、3、4と同様、参照画像中の差異領域を事前にデータベース登録しておかなくても、参照画像中の差異領域を推定する事ができるため、物体識別を利用した検品システムで、多数の製品の中からどこかに傷を持つ製品だけを見分ける場合のように、事前に差異領域に関する情報を登録しておく事ができない場合に効果的である。また、本実施の形態では、そして、本実施の形態で行われる参照画像中の差異領域の推定は、差異領域が物体全体の場合であっても、物体の一部の場合であっても可能であるが、第2の実施の形態等と比べて、信頼性の高い差異領域が得られるため、高精度の識別を実現できる。なお、本実施の形態では、差異領域推定部21が図23や図24の構成の場合、誤対応特徴点密集度探索部2103の前に物体領域推定部を加える事ができ、その場合、推定された物体領域の中から誤対応特徴点密集度探索を行って差異候補領域を推定することになる。この時、実施の形態3、4と同様、まず背景の影響を取り除いた上で、改めて差異領域を推定する事が可能であるため、図10及び図11に示した例のような場合に特に有効である。
(第6の実施の形態)
本発明の第6の実施の形態について図面を参照して説明する。
図25は、本発明の第6の実施の形態である物体識別装置の構成を示すブロック図である。図25に示すように、第6の実施の形態の物体識別装置は、局所特徴量抽出部11、局所特徴量照合部12、入力画像差異領域決定部13、入力画像差異領域特徴量抽出部14、特徴量照合部15、差異領域推定部22、差異領域特徴量抽出部18を備える。このように、第6の実施の形態の物体識別装置では、第4の実施の形態の物体識別装置の差異領域推定部20が差異領域推定部22に変更されている点が第4の実施の形態と異なる。差異領域推定部22の詳細については後述する。その他の構成要素については、第4の実施の形態と同様であり、同一の符号を付して詳細な説明は省略する。
図26及び図27は、差異領域推定部22の構成例を表すブロック図であり、以下に各図について説明する。
図26に示すように、差異領域推定部22は、テンプレートマッチング部2201を備える。テンプレートマッチング部2201は、局所特徴量照合部12から出力される局所特徴識別画像IDに対応する参照画像(あるいはその局所特徴識別画像IDに関連付いた参照画像群)を受け取ると共に、局所特徴量照合部12から出力される局所特徴識別画像IDに対応する差異領域のテンプレート画像(あるいはその局所特徴識別画像IDに関連付いたテンプレート画像群)も受け取り、受け取った画像群に基づいて、差異領域情報を出力する。具体的には、このテンプレート画像は、差異領域周辺で典型的に見られる画像パターンである。テンプレートマッチング部2201は、参照画像中の各領域とこのテンプレート画像とをマッチングし、テンプレート画像に最も類似する領域を探すテンプレートマッチング処理を行うことによって、参照画像中の差異領域を推定する。すなわち、参照画像中において所定のパターン画像との類似度が所定値以上である領域が、参照画像中の差異領域として設定される。テンプレート画像は、図25のように、あらかじめデータベースに記憶しておいても良いし、物体識別装置の外部から取得しても良い。
また、変形例として、図27に示すように、差異領域推定部22は、物体領域推定部901、及びテンプレートマッチング部2202を備えてもよい。図27の物体領域推定部901は、図17で示される差異領域推定部19の構成要素である物体領域推定部901と同一であり、詳細な説明は省略する。
テンプレートマッチング部2202は、図26で示される差異領域推定部22の構成要素であるテンプレートマッチング部2201と類似している。テンプレートマッチング部2202は、局所特徴量照合部12から出力される局所特徴識別画像IDに対応する参照画像と、局所特徴量照合部12から出力される局所特徴識別画像IDに対応する差異領域のテンプレート画像とに加えて、物体領域推定部901から出力される物体領域情報が入力される点がテンプレートマッチング部2201と異なっている。テンプレートマッチング部2202は、参照画像中の物体領域についてのみ、テンプレート画像を用いたテンプレートマッチングを行う事により、参照画像中の差異領域を推定する事が可能である。また、テンプレートマッチング部2202は、テンプレート画像とマッチングする参照画像中の領域の範囲が限定されるため、テンプレート画像とマッチングする領域の範囲が参照画像全体であるテンプレートマッチング部2201と比べて高速な処理が可能である。
本実施の形態では、実施の形態2〜5と同様、参照画像中の差異領域を事前にデータベース登録しておく必要はないが、差異領域に見られる典型的な画像パターンが事前にわかれば、その画像パターンをテンプレート画像として利用する事で、差異領域を推定する事ができる。例えば、同一の封筒で宛名だけが異なる複数の郵便画像の中から特定の郵便だけを識別しようとする場合には、宛名が記載された領域は郵便番号・住所・宛名といったように文字列のレイアウトがある程度決まった画像パターンとして定義できるので効果的である。そして、本実施の形態で行われる参照画像中の差異領域の推定は、差異領域が物体全体の場合であっても、物体の一部の場合であっても可能であるが、差異領域推定部22の構成が図27の場合は、実施の形態3〜5と同様、まず物体領域を推定することにより背景の影響を取り除いた上で、改めて差異領域を推定する事が可能になるため、差異領域を高精度に推定する事ができ、図10及び図11に示した例のような場合に特に有効である。
(第7の実施の形態)
本発明の第7の実施の形態について図面を参照して説明する。
図28は、本発明の第7の実施の形態である物体識別装置の構成を示すブロック図である。図28に示すように、第7の実施の形態の物体識別装置は、局所特徴量抽出部11、局所特徴量照合部16、入力画像差異領域決定部13、入力画像差異領域特徴量抽出部14、特徴量照合部15、差異領域推定部23、差異領域特徴量抽出部18を備える。このように、第7の実施の形態の物体識別装置では、第2の実施の形態の物体識別装置と第6の実施の形態の物体識別装置をあわせた構成になっている。第2の実施の形態の物体識別装置との比較では、差異領域推定部17が差異領域推定部23に変更されている点が第2の実施の形態とは異なる。差異領域推定部23の詳細については後述する。その他の構成要素については、第2の実施の形態と同様であり、同一の符号を付して詳細な説明は省略する。
図29、図30及び図31は、差異領域推定部23の構成例を表すブロック図であり、以下に各図について説明する。
図29に示す差異領域推定部23は、誤対応特徴点密集度探索部2103、及びテンプレートマッチング部2301を備える。図29の誤対応特徴点密集度探索部2103は、図23に示した差異領域推定部21の構成要素である誤対応特徴点密集度探索部2103と同一であり、詳細な説明は省略する。
また、図29のテンプレートマッチング部2301は、図27で示される差異領域推定部22の構成要素であるテンプレートマッチング部2202と類似しているが、物体領域情報の代わりに差異候補領域情報が入力される点が異なっている。すなわち、図29のテンプレートマッチング部2301は、誤対応特徴点密集度探索部2103で推定された参照画像中の差異候補領域についてのみ、テンプレート画像を用いたテンプレートマッチングを行い、参照画像中の差異領域を推定する。テンプレートマッチング部2301から出力される差異領域情報は、誤対応特徴点密集度探索部2103で推定される差異候補領域の中から、さらにテンプレートマッチング部2301によって差異領域を絞りこむため、信頼性の高い差異領域情報が出力される。
また、図30に示す差異領域推定部23は、テンプレートマッチング部2302、誤対応特徴点密集度探索部2102で構成する事も可能である。図30のテンプレートマッチング部2302は、図26に示した差異領域推定部22の構成要素であるテンプレートマッチング部2201とほぼ同一であるが、差異領域情報ではなく差異候補領域情報を出力する点がテンプレートマッチング部2201とは異なっている。このテンプレートマッチング部2302が出力する差異候補領域情報は、テンプレートマッチング部2201で出力される差異領域情報と同一であっても良いし、その差異領域情報よりもわずかに広げた領域として捉え、その領域情報としても良い。
また、図30の誤対応特徴点密集度探索部2102は、図22で示される差異領域推定部21の構成要素である誤対応特徴点密集度探索部2102と同一であり、詳細な説明は省略する。すなわち、図30の誤対応特徴点密集度探索部2102は、対応特徴点のうち、テンプレートマッチング部2302で推定された参照画像中の差異候補領域の内部に存在する点のみに着目し、誤って対応している特徴点が密集している領域を探索し、差異領域を推定する。誤対応特徴点密集度探索部2102から出力される差異領域情報は、テンプレートマッチング部2302で推定される差異候補領域の中から、さらに誤対応特徴点密集度探索部2102によって差異領域を絞りこむため、信頼性の高い差異領域情報が出力される。
また、図31に示す差異領域推定部23は、誤対応特徴点密集度探索部2103、テンプレートマッチング部2302、差異候補領域重複検出部2106を備える。図31の誤対応特徴点密集度探索部2103は、図23で示される差異領域推定部21の構成要素である誤対応特徴点密集度探索部2103と同一であり、詳細な説明は省略する。図31のテンプレートマッチング部2302は、図30で示される差異領域推定部23の構成要素であるテンプレートマッチング部2302と同一であり、詳細な説明は省略する。差異候補領域重複検出部2106は、図24で示される差異領域推定部21の構成要素である差異候補領域重複検出部2106と同一であり、詳細な説明は省略する。
図31の構成で差異候補領域重複検出部2106から出力される差異領域情報は、誤対応特徴点密集度探索部2103とテンプレートマッチング部2302でいずれも差異候補領域として判定される領域の情報となっているため、信頼性の高い差異領域情報が出力される。
本実施の形態では、実施の形態2〜6と同様、参照画像中の差異領域を事前にデータベース登録しておく必要はないが、実施の形態6と同様、差異領域に見られる典型的な画像パターンが事前にわかれば、その画像パターンをテンプレート画像として利用する事で、差異領域を推定する事ができる。例えば、同一の封筒で宛名だけが異なる複数の郵便画像の中から特定の郵便だけを識別しようとする場合には、宛名が記載された領域は郵便番号・住所・宛名といったように文字列のレイアウトがある程度決まった画像パターンとして定義できるので効果的である。そして、本実施の形態で行われる参照画像中の差異領域の推定は、差異領域が物体全体の場合であっても、物体の一部の場合であっても可能であるが、第5の実施の形態と同様、第2の実施の形態等と比べて、信頼性の高い差異領域が得られるため、高精度の識別を実現できる。なお、ここまで述べてきた本実施の形態は、第2の実施の形態の物体識別装置と第6の実施の形態の物体識別装置をあわせた構成の場合であるが、図28の構成は、第3の実施の形態の物体識別装置と第6の実施の形態の物体識別装置をあわせた構成と捉えることもできる。すなわち、差異領域推定部23が図29、図30、図31の構成の場合、誤対応特徴点密集度探索部2103とテンプレートマッチング部2302の前に物体領域推定部を加える事ができ、この場合、背景の影響を取り除いた上で物体領域の中から差異領域を推定することになるため、図10及び図11に示した例のような場合に特に有効な構成となる。
(第8の実施の形態)
本発明の第8の実施の形態について図面を参照して説明する。
図32は、本発明の第8の実施の形態である物体識別装置の構成を示すブロック図である。図32に示すように、第8の実施の形態の物体識別装置は、局所特徴量抽出部11、局所特徴量照合部12、入力画像差異領域決定部13、入力画像差異領域特徴量抽出部14、特徴量照合部15、差異領域推定部24、差異領域特徴量抽出部18を備える。このように、第8の実施の形態の物体識別装置では、第4の実施の形態の物体識別装置と第6の実施の形態の物体識別装置をあわせた構成になっており、第4の実施の形態の物体識別装置との比較では、差異領域推定部20が差異領域推定部24に変更されている点が異なる。差異領域推定部24の詳細については後述する。その他の構成要素については、第4の実施の形態と同様であり、同一の符号を付して詳細な説明は省略する。
図33から図35は、差異領域推定部24の構成例を表すブロック図であり、以下に各図について説明する。
図33に示す差異領域推定部24は、変換画像生成部2001、差分画像生成部2002、物体領域推定部2003、大差分領域検出部2101、及びテンプレートマッチング部2301を備える。図33の変換画像生成部2001、差分画像生成部2002、物体領域推定部2003は、図19で示される差異領域推定部20の構成要素である変換画像生成部2001、差分画像生成部2002、物体領域推定部2003と同一であり、詳細な説明は省略する。図33の大差分領域検出部2101は、図22で示される差異領域推定部21の構成要素である大差分領域検出部2101と同一であり、詳細な説明は省略する。また、図33のテンプレートマッチング部2301は、図29で示される差異領域推定部23の構成要素であるテンプレートマッチング部2301と同一であり、詳細な説明は省略する。
すなわち、図33のテンプレートマッチング部2301は、大差分領域検出部2101で推定された参照画像中の差異候補領域についてのみテンプレート画像を用いたテンプレートマッチングを行い、参照画像中の差異領域を推定する。テンプレートマッチング部2301から出力される差異領域情報は、大差分領域検出部2101で推定される差異候補領域の中から、さらにテンプレートマッチング部2301によって差異領域を絞り込むため、信頼性の高い差異領域情報が出力される。
また、図34に示す差異領域推定部24は、変換画像生成部2001、テンプレートマッチング部2302、差分画像生成部2104、及び大差分領域検出部2105を備える。図34の変換画像生成部2001は、図19で示される差異領域推定部20の構成要素である変換画像生成部2001と同一であり、詳細な説明は省略する。また、図34のテンプレートマッチング部2302は、図30で示される差異領域推定部23の構成要素であるテンプレートマッチング部2302と同一であり、詳細な説明は省略する。図34の差分画像生成部2104及び大差分領域検出部2105は、それぞれ、図23で示される差異領域推定部21の構成要素である差分画像生成部2104及び大差分領域検出部2105と同一であり、詳細な説明は省略する。
大差分領域検出部2105から出力される差異領域情報は、テンプレートマッチング2302で推定される差異候補領域の中から、さらに大差分領域検出部2105によって差異領域を絞り込むため、信頼性の高い差異領域情報が出力される。
また、図35に示す差異領域推定部24は、変換画像生成部2001、差分画像生成部2002、物体領域推定部2003、大差分領域検出部2101、テンプレートマッチング部2302、及び差異候補領域重複検出部2106を備える。
図35の変換画像生成部2001、差分画像生成部2002、物体領域推定部2003は、図19で示される差異領域推定部20の構成要素である変換画像生成部2001、差分画像生成部2002、物体領域推定部2003と同一であり、詳細な説明は省略する。また、図35の大差分領域検出部2101は、図22で示される差異領域推定部21の構成要素である大差分領域検出部2101と同一であり、詳細な説明は省略する。また、図35のテンプレートマッチング部2302は、図30で示される差異領域推定部23の構成要素であるテンプレートマッチング部2302と同一であり、詳細な説明は省略する。また、図35の差異候補領域重複検出部2106は、図24で示される差異領域推定部21の構成要素である差異候補領域重複検出部2106と同一であり、詳細な説明は省略する。
図35の構成で差異候補領域重複検出部2106から出力される差異領域情報は、大差分領域検出部2101とテンプレートマッチング部2302でいずれも差異候補領域として判定される領域の情報となっているため、信頼性の高い差異領域情報が出力される。
本実施の形態では、実施の形態2〜7と同様、参照画像中の差異領域を事前にデータベース登録しておく必要はなく、実施の形態6や7と同様、差異領域に見られる典型的な画像パターンが事前にわかれば、その画像パターンをテンプレート画像として利用する事で、差異領域を推定する事ができる。例えば、同一の封筒で宛名だけが異なる複数の郵便画像の中から特定の郵便だけを識別しようとする場合には、宛名が記載された領域は郵便番号・住所・宛名といったように文字列のレイアウトがある程度決まった画像パターンとして定義できるので効果的である。そして、本実施の形態で行われる参照画像中の差異領域の推定は、差異領域が物体全体の場合であっても、物体の一部の場合であっても可能であるが、第5及び第7の実施の形態と同様、第2の実施の形態等と比べて、信頼性の高い差異領域が得られるため、高精度の識別を実現できる。なお、本実施の形態では、差異領域推定部24が図34や図35の構成の場合、テンプレートマッチング部2302の前に物体領域推定部を加える事ができ、その場合、背景の影響を取り除いた上で物体領域の中から差異領域を推定することになるため、図10や図11の場合に特に有効な構成となる。
(第9の実施の形態)
本発明の第9の実施の形態について図面を参照して説明する。
図36は、本発明の第9の実施の形態である物体識別装置の構成を示すブロック図である。図36に示すように、第9の実施の形態の物体識別装置は、局所特徴量抽出部11、局所特徴量照合部16、入力画像差異領域決定部13、入力画像差異領域特徴量抽出部14、特徴量照合部15、差異領域推定部25、及び差異領域特徴量抽出部18を備える。
このように、第9の実施の形態の物体識別装置では、第5の実施の形態の物体識別装置と第6の実施の形態の物体識別装置をあわせた構成になっている。第9の実施の形態の物体識別装置は、第5の実施の形態の物体識別装置との比較では、差異領域推定部21が差異領域推定部25に変更されている点が異なる。差異領域推定部25の詳細については後述する。その他の構成要素については、第5の実施の形態と同様であり、同一の符号を付して詳細な説明は省略する。
差異領域推定部25は、図14のように誤対応特徴点密集度探索部701のみで差異領域を推定する構成と、図19のように変換画像生成部2001、差分画像生成部2002、物体領域推定部2003、及び大差分領域検出部2004で差異領域を推定する構成と、図26のようにテンプレートマッチング部2201のみで差異領域を推定する構成の組み合わせとして構成する事ができる。これら3つの差異領域を推定する構成に関して、ある1つの構成でまず差異候補領域を推定した後、別の構成でその差異候補領域を更に絞り込んでいく構成にする場合、3つの差異領域を推定する構成をどのような順番で構成しても良い。また、これら3つの差異領域を推定する構成に関して、各構成で差異候補領域をそれぞれ推定し、その各構成で推定された差異候補領域の重複領域を最終的な差異領域として出力するような構成にしても良い。また、これら3つの差異領域を推定する構成に関して、ある1つの構成でまず差異候補領域を推定した後、その差異候補領域の中から、残り2つの各構成で差異候補領域をそれぞれ絞り込み、その2つの構成で推定された差異候補領域の重複領域を最終的な差異領域として出力するような構成にしても良い。また、これら3つの差異領域を推定する構成に関して、まず2つの構成で差異候補領域をそれぞれ推定し、その2つの構成で推定された差異候補領域の重複領域の中から、残り1つの構成で差異候補領域を絞り込み、そこで絞り込まれた領域を最終的な差異領域として出力するような構成にしても良い。
図37及び図38は、差異領域推定部25の構成例を表すブロック図であり、以下に各図について説明する。
図37に示すように、差異領域推定部25は、変換画像生成部2001、差分画像生成部2002、物体領域推定部2003、大差分領域検出部2101、テンプレートマッチング部2501、及び誤対応特徴点密集度探索部2102を備える。
図37の変換画像生成部2001、差分画像生成部2002、物体領域推定部2003は、図19で示される差異領域推定部20の構成要素である変換画像生成部2001、差分画像生成部2002、物体領域推定部2003と同一であり、詳細な説明は省略する。図37の大差分領域検出部2101は、図22の大差分領域検出部2101と同一であり、詳細な説明は省略する。
図37のテンプレートマッチング部2501は、図29で示される差異領域推定部23の構成要素であるテンプレートマッチング部2301とほぼ同一であるが、差分領域情報ではなく差分候補領域情報を出力する点が異なっている。
図37の誤対応特徴点密集度探索部2102は、図22で示される差異領域推定部21の構成要素である誤対応特徴点密集度探索部2102と同一であり、詳細な説明は省略する。すなわち、図37の誤対応特徴点密集度探索部2102は、対応特徴点のうち、テンプレートマッチング部2501で推定された参照画像中の差異候補領域の内部に存在する点のみに着目し、誤って対応している特徴点が密集している領域を探索し、差異領域を推定する。そして、このテンプレートマッチング部2501も、大差分領域検出部2101で推定された参照画像中の差異候補領域についてのみテンプレート画像を用いたテンプレートマッチングを行い、参照画像中の差異領域候補を推定する。誤対応特徴点密集度探索部2102から出力される差異領域情報は、大差分領域検出部2101及びテンプレートマッチング部2501で推定される差異候補領域の中から、さらに誤対応特徴点密集度探索部2102によって差異領域を絞りこむため、信頼性の高い差異領域情報が出力される。
また、図38に示すように、差異領域推定部25は、変換画像生成部2001、差分画像生成部2002、物体領域推定部2003、大差分領域検出部2101、テンプレートマッチング部2302、誤対応特徴点密集度探索部2103、及び差異候補領域重複検出部2502で構成する事も可能である。図38の変換画像生成部2001、差分画像生成部2002、物体領域推定部2003は、図19で示される差異領域推定部20の構成要素である変換画像生成部2001、差分画像生成部2002、物体領域推定部2003と同一であり、詳細な説明は省略する。また、図38の大差分領域検出部2101は、図22で示される差異領域推定部21の構成要素である大差分領域検出部2101と同一であり、詳細な説明は省略する。また、図38のテンプレートマッチング部2302は、図30で示される差異領域推定部23の構成要素であるテンプレートマッチング部2302と同一であり、詳細な説明は省略する。また、図38の誤対応特徴点密集度探索部2103は、図23で示される差異領域推定部21の構成要素である誤対応特徴点密集度探索部2103と同一であり、詳細な説明は省略する。
図38の差異候補領域重複検出部2502は、図24で示される差異領域推定部21の構成要素である差異候補領域重複検出部2106と類似している。図38の差異候補領域重複検出部2502は、大差分領域検出部2101、テンプレートマッチング部2302、誤対応特徴点密集度探索部2103からそれぞれ出力される3つの差異候補領域情報を受け取り、これらの3つの差異候補領域が重複している領域を差異領域と判断し、その差異領域情報を出力するという点が差異候補領域重複検出部2106と異なっている。差異候補領域重複検出部2502から出力される差異領域情報は、大差分領域検出部2101とテンプレートマッチング2302と誤対応特徴点密集度探索部2103でいずれも差異候補領域として判定される領域の情報となっているため、信頼性の高い差異領域情報が出力される。
なお、差異領域推定部25は、図37や図38以外でも構成することができる。例えば、まず誤対応特徴点密集度探索部2103で推定された差異候補領域に対して、テンプレートマッチング部2501でさらに差異候補領域を絞り込む。この絞り込まれた差異候補領域の中からさらに、変換画像生成部2001、差分画像生成部2104、大差分領域検出部2105の組み合わせで最終的な差異領域情報を推定しても良い。また、誤対応特徴点密集度探索を用いた差異候補領域の推定、テンプレートマッチングを用いた差異候補領域の推定、大差分領域検出を用いた差異候補領域の推定の処理順は、ここまで述べてきた構成例以外の順序であっても良い。
本実施の形態では、実施の形態2〜8と同様、参照画像中の差異領域を事前にデータベース登録しておく必要はないが、実施の形態6〜8と同様、差異領域に見られる典型的な画像パターンが事前にわかれば、その画像パターンをテンプレート画像として利用する事で、差異領域を推定する事ができる。例えば、同一の封筒で宛名だけが異なる複数の郵便画像の中から特定の郵便だけを識別しようとする場合には、宛名が記載された領域は郵便番号・住所・宛名といったように文字列のレイアウトがある程度決まった画像パターンとして定義できるので効果的である。そして、本実施の形態で行われる参照画像中の差異領域の推定は、差異領域が物体全体の場合であっても、物体の一部の場合であっても可能であるが、第5、7、8の実施の形態と同様、第2の実施の形態等と比べて、信頼性の高い差異領域が得られるため、高精度の識別を実現できる。なお、本実施の形態では、例えば、差異領域推定部25が図38の構成の場合、テンプレートマッチング部2302や誤対応特徴点密集度探索部2103の前に物体領域推定部を加える事ができ、その場合、背景の影響を取り除いた上で物体領域の中から差異領域を推定することになるため、図10や図11の場合に特に有効な構成となる。
(第10の実施の形態)
本発明の第10の実施の形態について図面を参照して説明する。
図39は、本発明の第10の実施の形態である物体識別装置の構成例を示すブロック図である。図39に示すように、第10の実施の形態の物体識別装置は、局所特徴量抽出部11、局所特徴量照合部12、入力画像差異領域決定部13、入力画像差異領域特徴量抽出部26、特徴量照合部27を備える。
このように、第10の実施の形態の物体識別装置では、第1の実施の形態の物体識別装置の入力画像差異領域特徴量抽出部14及び特徴量照合部15が、入力画像差異領域特徴量抽出部26及び特徴量照合部27に変更されている点が異なる。入力画像差異領域特徴量抽出部26と特徴量照合部27の詳細については後述する。その他の構成要素については、第1の実施の形態と同様であり、同一の符号を付して詳細な説明は省略する。
図40は、入力画像差異領域特徴量抽出部26の構成例を表すブロック図である。図40に示すように、入力画像差異領域特徴量抽出部26は、差異領域局所特徴量抽出部2601を備える。
差異領域局所特徴量抽出部2601は、入力画像差異領域決定部13から出力される入力画像差異領域情報と、局所特徴量抽出部11において入力画像から抽出される局所特徴量である局所特徴量1とを受け取り、受け取った入力画像差異領域情報及び局所特徴量に基づいて特徴量1を抽出する。ここで抽出される特徴量1は、局所特徴量1を記述する際の基となっている特徴点の座標情報に基づき、入力画像の差異領域内に存在する特徴点を探索し、その特徴点周辺の情報を局所特徴量として記述した特徴量を特徴量1として出力する。すなわち、ここで出力される特徴量1は、局所特徴量1の一部を切り出して生成した特徴量である。本実施の形態において、特徴量照合部27で特徴量1と照合する特徴量2は、特徴量1と同様、参照画像から抽出された局所特徴量である局所特徴量2の一部を切り出して生成した特徴量である。
図41は、特徴量照合部27の構成例を表すブロック図である。図41に示すように、特徴量照合部27は、対応特徴点決定部201、誤対応点除去部2701、識別スコア算出部203、及び閾値判定部2702を備える。図41の対応特徴点決定部201、識別スコア算出部203は、図4で示される局所特徴量照合部12の構成要素である対応特徴点決定部201、識別スコア算出部203と同一であり、詳細な説明は省略する。
図41の誤対応点除去部2701は、図4で示される局所特徴量照合部12の構成要素である誤対応点除去部202とほぼ同一だが、幾何変換情報は出力せず、対応特徴点情報のみを出力する点が異なっている。図41の閾値判定部2702は、図4で示される局所特徴量照合部12の構成要素である閾値判定部204とほぼ同一だが、局所特徴識別画像IDではなく差異領域識別画像IDを出力している点が異なっている。
以上のように本実施の形態では、特徴量照合部27による照合で用いられる入力画像の特徴量と参照画像の特徴量はそれぞれ、局所特徴量照合部12による照合(判定)で用いられた入力画像の特徴量と参照画像の特徴量のそれぞれの一部である。
本実施の形態では、実施の形態1〜9とは異なり、局所特徴量の一部を切り出して生成した特徴量を差異領域の識別に使用するので、入力画像差異領域特徴量抽出部において特徴量を生成する際は、入力画像から抽出された局所特徴量が入力されれば良く、入力画像そのものを必要としない。そのため、局所特徴量の抽出のみをクライアント側で行い、その他の処理をサーバー側で行うようなサーバークライアントシステムとして物体識別装置が構成されている場合、本実施の形態では、入力画像よりも軽量な局所特徴量のみをサーバー側に伝送すれば良く、識別結果を得るまでの処理時間を短縮させる事が可能となる。また、本実施の形態における特徴量照合部では、局所特徴量照合部とほぼ同一の処理を行うが、差異領域以外から検出される特徴点の対応による影響を除外し、差異領域のみでの照合を行う事ができるため、画像全体から抽出された局所特徴量を全て用いる従来の方式と比べて、物体内の差異をより見分ける事ができ、結果的に高精度の識別を実現可能となる。なお、本実施の形態の構成例として、ここまで順番に説明してきた図39は、第1の実施の形態を基にした構成であるが、同様に、第2〜9の実施の形態をそれぞれ基にした構成にする事も可能である。すなわち、第2〜9の実施の形態の構成例における入力画像差異領域特徴量抽出部14への入力を、入力画像ではなく局所特徴量1にして構成する事も可能である。
(第11の実施の形態)
本発明の第11の実施の形態について図面を参照して説明する。
図42は、本発明の第11の実施の形態である物体識別装置の構成例を示すブロック図である。図42に示すように、第11の実施の形態の物体識別装置は、局所特徴量抽出部11、局所特徴量照合部28、入力画像差異領域決定部13、入力画像差異領域特徴量抽出部14、特徴量照合部29、及び識別スコア統合判定部30を備える。
このように、第11の実施の形態の物体識別装置では、第1の実施の形態の物体識別装置の局所特徴量照合部12及び特徴量照合部15が、局所特徴量照合部28及び特徴量照合部29に変更され、識別スコア統合判定部30が新たな構成要素として加わっている点が第1の実施の形態とは異なる。局所特徴量照合部28、特徴量照合部29、識別スコア統合判定部30の詳細については後述する。その他の構成要素については、第1の実施の形態と同様であり、同一の符号を付して詳細な説明は省略する。
図43は、局所特徴量照合部28の構成例を表すブロック図である。図43に示すように、局所特徴量照合部28は、対応特徴点決定部201、誤対応点除去部202、識別スコア算出部203、及び閾値判定部2801を備える。
図43の対応特徴点決定部201、誤対応点除去部202、識別スコア算出部203は、図4に示した局所特徴量照合部12の構成要素である対応特徴点決定部201、誤対応点除去部202、識別スコア算出部203と同一であり、詳細な説明は省略する。
図43の閾値判定部2801は、図4に示した局所特徴量照合部12の構成要素である閾値判定部204とほぼ同一だが、局所特徴識別画像IDだけではなく、その局所特徴識別画像IDに対応する参照画像(あるいはそれと関連付いた参照画像群)から抽出した局所特徴との識別スコアを出力している点が異なっている。この閾値判定部2801で設定される閾値は、閾値判定部204で設定される閾値よりも緩めにして、局所特徴識別画像IDと識別スコアが多数出力されるようにしても良い。
図44は、特徴量照合部29の構成例を表すブロック図である。図44に示すように、特徴量照合部29は、差異領域識別スコア算出部501、及び閾値判定部2901を備える。図44の差異領域識別スコア算出部501は、図6に示した特徴量照合部15の構成要素である差異領域識別スコア算出部501と同一であり、詳細な説明は省略する。
図44の閾値判定部2901は、図6で示される特徴量照合部15の構成要素である閾値判定部502とほぼ同一だが、差異領域識別画像IDだけではなく、その差異領域識別画像IDに対応する参照画像あるいはそれと関連付いた参照画像群の差異領域から抽出した特徴量との差異領域識別スコアを出力している点が異なっている。この閾値判定部2901で設定される閾値は、閾値判定部502で設定される閾値よりも緩めにして、差異領域識別画像IDと差異領域識別スコアが多数出力されるようにしても良い。
図45は、識別スコア統合判定部30の構成例を表すブロック図である。図45に示すように、識別スコア統合判定部30は、識別スコア統合部3001、及び閾値判定部3002を備える。
識別スコア統合部3001は、局所特徴量照合部28から出力された識別スコアと、特徴量照合部29から出力された差異領域識別スコアとを受け取り、受け取ったスコアに基づいて統合スコアを算出して出力する。この時、例えば同一の画像IDに対応する識別スコアと差異領域識別スコアの積を求め、その値を統合スコアとして出力しても良い。
図45の閾値判定部3002は、図4で示される局所特徴量照合部12の構成要素である閾値判定部204や図6で示される特徴量照合部15の構成要素である閾値判定部502とほぼ同一である。閾値判定部204及び閾値判定部502と異なる点として、閾値判定部3002は、識別スコア統合部3001から出力された統合スコアを所定の閾値と比較し、閾値以上となる場合、その入力画像と参照画像は、同一の物体を被写体とする画像であると判定し、その入力画像の画像IDを識別画像IDとして出力し、閾値未満の場合、その入力画像と参照画像は、同一の物体を被写体とする画像ではないと判定する。すなわち、閾値判定部3002は、局所特徴量照合部28による照合の結果と、特徴量照合部29による照合の結果とに基づいて、入力画像と参照画像は、同一の物体を被写体とする画像であるか否かを判定する。
本実施の形態では、実施の形態1〜10とは異なり、差異領域識別スコアだけで最終的な識別結果を決定するのではなく、これらを局所特徴量による識別スコアと統合したスコアから最終的な識別結果を判定する。同一物体を写した画像が悪環境(例えば、暗い環境)で、他の類似物体は理想的な環境で撮影されているような場合、それらの類似物体がテクスチャだけでなく色味も類似しているとしたら、差異領域から抽出した特徴量だけでは正しい識別ができないが、局所特徴量による識別結果とあわせることで、同一物体に対する識別結果を相対的に上げる事ができる。なお、本実施の形態の構成例として、ここまで順番に説明してきた図42は、第1の実施の形態を基にした構成であり、同様に、第2〜10の実施の形態をそれぞれ基にした構成にする事も可能である。すなわち、第2〜10の実施の形態の構成例において、局所特徴量照合部から識別スコアを、特徴量照合部から差異領域識別スコアを、それぞれ出力するようにし、それらを識別スコア統合判定部に入力させる事で構成する事が可能である。
本発明の具体的な構成は前述の実施の形態に限られるものではなく、この発明の要旨を逸脱しない範囲の変更があってもこの発明に含まれる。
この出願は、2012年8月23日に出願された日本出願特願2012−814534を基礎とする優先権を主張し、その開示の全てをここに取り込む。
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
上記の実施の形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)入力画像から抽出した特徴点のそれぞれの特徴量と、参照画像から抽出した特徴点のそれぞれの特徴量とが正しく対応しているか否かを判定する局所特徴量照合手段と、
前記局所特徴量照合手段によって正しく対応していると判定された特徴量の組み合わせ数に基づくスコアが所定値以上である場合、前記入力画像と前記参照画像との間の幾何的なずれを補正する幾何変換を前記参照画像の所定の領域に対して行うことによって得られた画像領域の位置に対応する前記入力画像における領域の特徴量を抽出する入力画像差異領域特徴量抽出手段と、
前記入力画像差異領域特徴量抽出手段によって抽出された特徴量と、前記参照画像の前記所定の領域から抽出された特徴量とを照合し、照合結果を出力する特徴量照合手段と
を備えたことを特徴とする物体識別装置。
(付記2)前記参照画像の前記所定の領域についての情報を記憶した記憶手段を備えることを特徴とする付記1に記載の物体識別装置。
(付記3)前記参照画像の前記所定の領域は、前記局所特徴量照合手段によって特徴量が誤って対応していると判定された参照画像における特徴点を含む領域であることを特徴とする付記1に記載の物体識別装置。
(付記4)前記参照画像の前記所定の領域は、物品が写った領域のうち、前記局所特徴量照合手段によって特徴量が誤って対応していると判定された参照画像における特徴点を含む領域であることを特徴とする付記1に記載の物体識別装置。
(付記5)前記参照画像の前記所定の領域は、前記入力画像と前記参照画像との間の幾何的なずれを補正する幾何変換を前記入力画像に対して行うことで得られた画像と前記参照画像との間の差分が所定値以上である領域を含むことを特徴とする付記1に記載の物体識別装置。
(付記6)前記参照画像の前記所定の領域は、物品が写った領域のうち前記局所特徴量照合手段によって特徴量が誤って対応していると判定された特徴点を含み、かつ、前記入力画像と前記参照画像との間の幾何的なずれを補正する幾何変換を前記入力画像に対して行うことで得られた画像と前記参照画像との間の差分が所定値以上である領域を含む領域であることを特徴とする付記1に記載の物体識別装置。
(付記7)前記参照画像の前記所定の領域は、前記参照画像中において所定のパターン画像との類似度が所定値以上である領域を含む領域であることを特徴とする付記1に記載の物体識別装置。
(付記8)前記参照画像の前記所定の領域は、前記参照画像中において、前記局所特徴量照合手段によって特徴量が誤って対応していると判定され、かつ、所定のパターン画像との類似度が所定値以上である領域を含む領域であることを特徴とする付記1に記載の物体識別装置。
(付記9)前記参照画像の前記所定の領域は、前記入力画像と前記参照画像との間の幾何的なずれを補正する幾何変換を前記入力画像に対して行うことで得られた画像と前記参照画像との間の差分が所定値以上であり、かつ、前記参照画像中において所定のパターン画像との類似度が所定値以上である領域を含む領域であることを特徴とする付記1に記載の物体識別装置。
(付記10)前記参照画像の前記所定の領域は、前記局所特徴量照合手段によって特徴量が誤って対応していると判定された特徴点を含み、かつ、前記入力画像と前記参照画像との間の幾何的なずれを補正する幾何変換を前記入力画像に対して行うことで得られた画像と前記参照画像との間の差分が所定値以上であり、かつ、前記参照画像中において所定のパターン画像との類似度が所定値以上である領域を含む領域であることを特徴とする付記1に記載の物体識別装置。
(付記11)前記特徴量照合手段による照合で用いられる前記入力画像の特徴量と前記参照画像の特徴量はそれぞれ、前記局所特徴量照合手段による判定で用いられた前記入力画像の特徴量と前記参照画像の特徴量のそれぞれの一部であることを特徴とする付記1から10のいずれか1つに記載の物体識別装置。
(付記12)前記局所特徴量照合手段による前記判定の結果と、前記特徴量照合手段による前記照合の結果とに基づいて、前記入力画像と前記参照画像は、同一の物体を被写体とする画像であるか否かを判定する統合判定手段を備えることを特徴とする付記1から11のいずれか1つに記載の物体識別装置。
(付記13)入力画像から抽出した特徴点のそれぞれの特徴量と、参照画像から抽出した特徴点のそれぞれの特徴量とが正しく対応しているか否かを判定する局所特徴量照合ステップと、
前記局所特徴量照合ステップによって正しく対応していると判定された特徴量の組み合わせ数に基づくスコアが所定値以上である場合、前記入力画像と前記参照画像との間の幾何的なずれを補正する幾何変換を前記参照画像の所定の領域に対して行うことによって得られた画像領域の位置に対応する前記入力画像における領域の特徴量を抽出する入力画像差異領域特徴量抽出ステップと、
前記入力画像差異領域特徴量抽出ステップによって抽出された特徴量と、前記参照画像の前記所定の領域から抽出された特徴量とを照合し、照合結果を出力する特徴量照合ステップと
を備えたことを特徴とする物体識別方法。
(付記14)コンピュータを
入力画像から抽出した特徴点のそれぞれの特徴量と、参照画像から抽出した特徴点のそれぞれの特徴量とが正しく対応しているか否かを判定する局所特徴量照合手段、
前記局所特徴量照合手段によって正しく対応していると判定された特徴量の組み合わせ数に基づくスコアが所定値以上である場合、前記入力画像と前記参照画像との間の幾何的なずれを補正する幾何変換を前記参照画像の所定の領域に対して行うことによって得られた画像領域の位置に対応する前記入力画像における領域の特徴量を抽出する入力画像差異領域特徴量抽出手段、
前記入力画像差異領域特徴量抽出手段によって抽出された特徴量と、前記参照画像の前記所定の領域から抽出された特徴量とを照合し、照合結果を出力する特徴量照合手段
として機能させるためのプログラム。