JP6668228B2 - 被写体識別装置、方法、及びプログラム - Google Patents

Description

本発明は、被写体識別装置、方法、及びプログラムに係り、特に、画像に写る被写体を識別するための被写体識別装置、方法、及びプログラムに関する。

スマートフォンやウェアラブルデバイス、ロボットに搭載されたカメラ等で撮影されたテスト画像の中に写る被写体が、予め用意した訓練画像群で登録された被写体のうちどれに該当するのか、あるいはどれにも該当しない(登録されていない)のかを推定する被写体識別技術は、ユーザへの情報提示やナビゲーション、ロボットの自律的な空間認識を実現させるための必須要素技術であり、その産業応用性は極めて高い。被写体識別を実現する手段として、例えば非特許文献１では、まずテスト画像と各訓練画像からそれぞれ抽出される局所特徴量(非特許文献１では、SIFT)の暫定対応付けを行い、得られた結果からロバスト推定により画像間の２次元アフィン変換を推定することで誤対応を除去し、残った対応点の数に基づいて訓練画像をスコアリングする方法が開示されている。非特許文献１では立体的な構造を持つ被写体の見えの変化に頑健ではないという問題があるため、これを解決する手段として、特許文献１では、局所特徴量の属性情報(スケールや回転方向とその量)と同じ数の次元を持つ投票空間を構築し、所定の数以上の対応点を持つ投票空間中のセル単位で画像間の幾何モデルを推定することで、より精度よく誤対応を除去する方法が開示されている。

特開２０１５−２０１１２３号公報

D. G. Lowe, Distinctive Image Features from Scale-Invariant Keypoints, IJCV, 2004. K. E. A. van de Sande, et al, Evaluation of Color Descriptors for Object and Scene Recognition, TPAMI, 2010.

ところで、非特許文献１や特許文献１で開示されている技術で用いられる局所特徴量は、多くの場合グレースケールに変換された画像を入力として、その局所的な輝度勾配の方向とその量から算出される。すなわち、画像間の類似性を評価する際に画像が持つ色情報を用いてはいないため、色情報を用いないと見分けることが難しい被写体、例えば図８に示すような色違いの被写体を精度よく見分けることができないという問題がある。この課題を解決する最も単純な方法は、画像から抽出される局所特徴量に色情報を含ませるというものである。非特許文献２では、カラー画像の複数チャネル(RGB、YUV、HSなど)各々からSIFT等の局所特徴量を抽出し、それらを連結させることで色情報も含んだ局所特徴量を抽出する手法を実現している。しかし、このような手法を用いた場合、局所特徴ベクトルのサイズは考慮したチャネル数に比例して大きくなるため、画像間の局所特徴集合の暫定対応付けの計算コストが増大してしまうという問題がある。暫定対応付けを高速化するために、局所特徴の低次元空間への写像をPCAなどで事前に学習しておき、対応付けの前に各局所特徴を次元圧縮するという方法も考えられるが、写像関数を格納しておくための追加の計算資源(メモリ、ハードディスク)が必要となったり、精度のよい対応付けを実現する写像関数の学習には膨大なデータを追加しなくてはならないといった問題がある。

以上のように、公知の技術およびその組み合わせでは、追加の学習データを用いずに、色違いの被写体を精度良くかつ高速に識別することができない、という問題があった。

本発明は、上記問題点を解決するために成されたものであり、精度よく、かつ、高速に被写体を識別できる被写体識別装置、方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、第１の発明に係る被写体識別装置は、テスト画像に写る対象物体である被写体を、複数の訓練画像を用いて自動で識別する被写体識別装置であって、テスト画像から局所特徴と、前記局所特徴の属性を示す属性情報とを抽出する局所特徴抽出部と、前記テスト画像と前記複数の訓練画像とのペアの各々について、前記ペアの前記テスト画像から抽出された局所特徴と、前記訓練画像から予め抽出された局所特徴とを比較して、前記ペアの前記テスト画像と前記訓練画像とにおける、暫定的な対応点である暫定対応点を決定する暫定対応点決定部と、前記ペアの各々について、前記決定された暫定対応点に対して、画像上の線形変換を表す幾何モデルにあてはめ、前記幾何モデルの変換値である幾何変換パラメータを推定し、前記幾何変換パラメータを用いて、前記暫定対応点のうち外れ値でないインライア対応点を求める幾何検証部と、前記ペアの各々について、前記インライア対応点に基づいて前記ペアの前記訓練画像の信頼度を算出する信頼度算出部と、前記信頼度算出部で得られた信頼度が上位の訓練画像の各々と、前記テスト画像とのペアの各々について、前記インライア対応点で定義される画像部分領域から前記被写体の色に関する色特徴を抽出する色特徴抽出部と、前記上位の訓練画像の各々と、前記テスト画像とのペアの各々について、前記色特徴抽出部で抽出された前記色特徴を比較して、前記上位の訓練画像の信頼度を更新する信頼度更新部と、を含んで構成されている。

また、第１の発明に係る被写体識別装置において、前記色特徴抽出部は、前記幾何検証部で得られた前記インライア対応点における前記属性情報で定義される画像部分領域から前記色特徴を抽出してもよい。

また、第１の発明に係る被写体識別装置において、前記色特徴抽出部は、前記幾何検証部で得られた前記インライア対応点を用いた凸包領域で定義される画像部分領域から前記色特徴を抽出してもよい。

また、第１の発明に係る被写体識別装置において、前記信頼度算出部で算出された前記信頼度が上位の訓練画像と前記テスト画像とのペアの各々について、前記インライア対応点に基づいて、前記訓練画像の座標から前記テスト画像の座標へ変換することについての幾何変換行列を推定する幾何変換行列推定部を更に含み、前記色特徴抽出部は、前記信頼度が上位の訓練画像と前記テスト画像とのペアの各々について、前記訓練画像から前記色特徴を抽出し、前記テスト画像のうち、前記幾何変換行列推定部で推定された前記幾何変換行列を用いて前記訓練画像を変換して得られる画像部分領域から、前記色特徴を抽出してもよい。

第２の発明に係る被写体識別方法は、テスト画像に写る対象物体である被写体を、複数の訓練画像を用いて自動で識別する被写体識別装置における被写体識別方法であって、局所特徴抽出部が、テスト画像から局所特徴と、前記局所特徴の属性を示す属性情報とを抽出するステップと、暫定対応点決定部が、前記テスト画像と前記複数の訓練画像とのペアの各々について、前記ペアの前記テスト画像から抽出された局所特徴と、前記訓練画像から予め抽出された局所特徴とを比較して、前記ペアの前記テスト画像と前記訓練画像とにおける、暫定的な対応点である暫定対応点を決定するステップと、幾何検証部が、前記ペアの各々について、前記決定された暫定対応点に対して、画像上の線形変換を表す幾何モデルにあてはめ、前記幾何モデルの変換値である幾何変換パラメータを推定し、前記幾何変換パラメータを用いて、前記暫定対応点のうち外れ値でないインライア対応点を求めるステップと、信頼度算出部が、前記ペアの各々について、前記インライア対応点に基づいて前記ペアの前記訓練画像の信頼度を算出するステップと、色特徴抽出部が、前記信頼度算出部で得られた信頼度が上位の訓練画像の各々と、前記テスト画像とのペアの各々について、前記インライア対応点で定義される画像部分領域から前記被写体の色に関する色特徴を抽出するステップと、信頼度更新部が、前記上位の訓練画像の各々と、前記テスト画像とのペアの各々について、前記色特徴抽出部で抽出された前記色特徴を比較して、前記上位の訓練画像の信頼度を更新するステップと、を含んで実行することを特徴とする。

また、第３の発明に係るプログラムは、コンピュータを、第１の発明に係る被写体識別装置の各部として機能させるためのプログラムである。

本発明の被写体識別装置、方法、及びプログラムによれば、テスト画像から局所特徴と、局所特徴の属性を示す属性情報とを抽出し、テスト画像と複数の訓練画像とのペアの各々について、ペアのテスト画像から抽出された局所特徴と、訓練画像から予め抽出された局所特徴とを比較して、ペアのテスト画像と訓練画像とにおける、暫定的な対応点である暫定対応点を決定し、決定された暫定対応点に対して、画像上の線形変換を表す幾何モデルにあてはめ、幾何モデルの変換値である幾何変換パラメータを推定し、幾何変換パラメータを用いて、暫定対応点のうち外れ値でないインライア対応点を求め、ペアの各々について、インライア対応点に基づいてペアの訓練画像の信頼度を算出し、信頼度が上位の訓練画像の各々と、テスト画像とのペアの各々について、インライア対応点で定義される画像部分領域から被写体の色に関する色特徴を抽出し、上位の訓練画像の各々と、テスト画像とのペアの各々について、色特徴を比較して、上位の訓練画像の信頼度を更新することにより、精度よく、かつ、高速に被写体を識別できる、という効果が得られる。

本発明の実施の形態に係る学習装置の構成を示すブロック図である。 本発明の実施の形態に係る学習装置における学習処理ルーチンを示すフローチャートである。 本発明の第１の実施の形態に係る被写体識別装置の構成を示すブロック図である。 色特徴を抽出する画像部分領域の定義の手法の例を示す図である。 本発明の第１の実施の形態に係る被写体識別装置における被写体識別処理ルーチンを示すフローチャートである。 本発明の第２の実施の形態に係る被写体識別装置の構成を示すブロック図である。 本発明の第２の実施の形態に係る被写体識別装置における被写体識別処理ルーチンを示すフローチャートである。 色違いの被写体の識別において、テスト画像と訓練画像群とをグレースケール変換した場合の一例を示す図である。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

＜本発明の第１の実施の形態に係る学習装置の構成＞

まず、本発明の第１の実施の形態に係る学習装置の構成について説明する。図１に示すように、本発明の第１の実施の形態に係る学習装置１００は、ＣＰＵと、ＲＡＭと、後述する学習処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この学習装置１００は、機能的には図１に示すように入力部１０と、演算部２０と、特徴ＤＢ５０とを備えている。

入力部１０は、写る被写体を示すラベルが付与された複数の訓練画像を受け付ける。

演算部２０は、前処理部３０と、局所特徴抽出部３２と、特徴属性情報保存部３４とを含んで構成されている。

前処理部３０は、入力部１０で受け付けた複数の訓練画像の各々を、所定のサイズに拡大縮小する前処理を行う。前処理部３０では、この他にも、例えば訓練画像のノイズを軽減するために平滑化処理を行ってもよい。

局所特徴抽出部３２は、前処理部３０で前処理された複数の訓練画像の各々から、複数の局所特徴点の局所特徴と、複数の局所特徴点の局所特徴の属性を示す属性情報を抽出する。抽出する局所特徴として、任意の公知の技術の局所特徴量を用いることが可能であり、例えば非特許文献１で開示されているSIFTや、他にもSURF、BEIEF、BRISK、ORB、FREAK、AKAZE等を用いることができる。また属性情報としては、非特許文献１と同様に、位置(ｘ,ｙ)、スケール、回転量の４つの情報を取得してもよいし、参考文献１で開示されている方法を用いて位置(ｘ,ｙ)、スケール、回転（ロー、ピッチ、ヨー）の６つの情報を取得してもよい。

参考文献１：J. Morel et al., ASIFT: A New Framework for Fully Affine Invariant Image Comparison, SIAM Journal on Image Sciences, 2009.

特徴属性情報保存部３４は、前処理部３０で前処理された訓練画像の各々と、局所特徴抽出部３２で抽出された訓練画像の各々の局所特徴、及び属性情報とを、特徴ＤＢ５０に格納する。

＜本発明の第１の実施の形態に係る学習装置の作用＞

次に、本発明の第１の実施の形態に係る学習装置１００の作用について説明する。入力部１０において被写体が写る複数の訓練画像を受け付けると、学習装置１００は、図２に示す学習処理ルーチンを実行する。

まず、ステップＳ１００では、入力部１０で受け付けた複数の訓練画像の各々を、所定のサイズに拡大縮小する前処理を行う。

次に、ステップＳ１０２では、ステップＳ１０２で前処理された複数の訓練画像の各々から、複数の局所特徴点の局所特徴と、複数の局所特徴点の局所特徴の属性を示す属性情報を抽出する。

ステップＳ１０４では、前処理された訓練画像の各々、訓練画像の各々の局所特徴、及び属性情報を、特徴ＤＢ５０に格納し、処理を終了する。

＜本発明の第１の実施の形態に係る被写体識別装置の構成＞

次に、本発明の第１の実施の形態に係る被写体識別装置の構成について説明する。図３に示すように、本発明の第１の実施の形態に係る被写体識別装置２００は、ＣＰＵと、ＲＡＭと、後述する被写体識別処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この被写体識別装置２００は、機能的には図３に示すように入力部２１０と、演算部２２０と、特徴ＤＢ２５０と、出力部２５２とを備えている。

入力部２１０は、テスト画像を受け付ける。

特徴ＤＢ２５０には、学習装置１００で学習された特徴ＤＢ５０に格納されたものと同じ訓練画像の各々と、訓練画像の各々の局所特徴、及び属性情報が格納されている。

演算部２２０は、前処理部２３０と、局所特徴抽出部２３２と、暫定対応点決定部２３４と、幾何検証部２３６と、信頼度算出部２３８と、色特徴抽出部２４０と、信頼度更新部２４２とを含んで構成されている。

前処理部２３０は、入力部２１０で受け付けたテスト画像に対し、上記学習装置１００の前処理部３０と同様に、所定のサイズに拡大縮小する前処理を行う。

局所特徴抽出部２３２は、前処理部２３０で前処理されたテスト画像から局所特徴と、局所特徴の属性を示す属性情報とを抽出する。具体的な処理は上記学習装置１００の局所特徴抽出部３２と同様である。

暫定対応点決定部２３４は、前処理部２３０で前処理されたテスト画像と、特徴ＤＢ２５０に格納されている複数の訓練画像とのペアの各々について、当該ペアのテスト画像から抽出された局所特徴と、訓練画像から予め抽出された局所特徴とを比較して、当該ペアのテスト画像と訓練画像とにおける、暫定的な対応点である暫定対応点を決定する。局所特徴の比較の方法は任意であり、例えば、局所特徴を表す局所特徴ベクトル間のＬ２ノルムを計算し、その値が最も小さい画像間局所特徴ペアを暫定対応点として対応付けるなどすればよい。

幾何検証部２３６は、テスト画像と複数の訓練画像とのペアの各々について、暫定対応点決定部２３４で決定された暫定対応点に対して、画像上の線形変換を表す幾何モデルにあてはめ、幾何モデルの変換値である幾何変換パラメータを推定し、幾何変換パラメータを用いて、局所特徴点の座標を変換し、暫定対応点のうち外れ値でないインライア対応点を求める。所定の幾何モデルは任意であり、例えばアフィン変換やホモグラフィ変換を用いることができる。また特許文献１で開示されている方法を用いて、局所特徴抽出部２３２で得られた属性情報を用いて投票空間を構築し、投票数の多いセル単位で幾何モデルのパラメータを推定し誤対応となる暫定対応点を除去してもよい。

信頼度算出部２３８は、テスト画像と複数の訓練画像とのペアの各々について、インライア対応点に基づいて当該ペアの訓練画像の信頼度を算出する。信頼度算出部２３８では、テスト画像と訓練画像とで幾何的な整合性がとれているかを評価するが、信頼度の算出方法は任意であり、例えば非特許文献１のように、推定した幾何変換パラメータを用いてテスト画像を訓練画像上にマッピングし、当該マッピング領域内の局所特徴点数に応じて誤対応が生じる確率を算出するといった方法を用いることができる。

色特徴抽出部２４０は、信頼度算出部２３８で得られた信頼度が上位の訓練画像の各々と、テスト画像とのペアの各々について、インライア対応点で定義される画像部分領域から被写体の色に関する色特徴を抽出する。

色特徴抽出部２４０で抽出する色に関連する特徴量は任意であり、例えばLabカラーヒストグラム等を用いればよい。また、抽出対象とする画像部分領域は、図４（Ａ）に示すようなインライア対応点の属性情報で定義される画像部分領域の集合で定義し、定義された画像部分領域の集合から色特徴を抽出する。例えばSIFT等の特徴点検出手法では、特徴点のスケールが推定できるため、推定したスケールを利用して各対応点における近傍領域を画像部分領域として定義すればよい。また、インライア対応点から画像部分領域を定義する他の方法として、図４（Ｂ）に示すように、インライア対応点を結ぶことで得られる凸包領域で画像部分領域を定義し、画像部分領域から色特徴を抽出することもできる。上記のような手法を用いることによって、画像中に写り込む認識対象以外の領域の情報の影響を抑えつつ、認識対象をよく捉えた色特徴を抽出することができる。

信頼度更新部２４２は、信頼度が上位の訓練画像の各々と、テスト画像とのペアの各々について、色特徴抽出部２４０で抽出された色特徴を比較して、上位の訓練画像の信頼度を更新し、識別結果を出力部２５２に出力する。

このように色特徴抽出部２４０で得られた色の特徴量を信頼度更新部２４２で比較することで信頼度を更新し、信頼度算出部２３８で特に信頼度が高かった訓練画像の中から、色特徴の観点で類似している訓練画像ほど信頼度が高くなるようスコアリングする。信頼度更新部２４２で色特徴を比較する方法は任意であり、例えばＬａｂカラーヒストグラムなどのヒストグラム特徴を用いるのであれば、コサイン類似度等を用いることができる。また信頼度の更新方法も任意であり、色特徴の比較で得られる値をそのまま信頼度として用いてもよいし、あるいは信頼度算出部２３８で得られた信頼度との重み付け線形和で信頼度を更新してもよい。以上の処理から、テスト画像に対する信頼度が上位の訓練画像のスコアが出力として得られ、この値が特に高い訓練画像に写る物体のラベルを出力したり、信頼度を閾値処理したりすることによって、テスト画像に写る被写体を識別したり、あるいはテスト画像には認識対象の被写体は写っていないと判定したりすることができる。

＜本発明の実施の第１の形態に係る被写体識別装置の作用＞

次に、本発明の第１の実施の形態に係る被写体識別装置２００の作用について説明する。入力部２１０においてテスト画像を受け付けると、被写体識別装置２００は、図５に示す被写体識別処理ルーチンを実行する。

まず、ステップＳ２００では、入力部２１０で受け付けたテスト画像に対し、所定のサイズに拡大縮小する前処理を行う。

次に、ステップＳ２０２では、ステップＳ２００で前処理されたテスト画像から局所特徴と、局所特徴の属性を示す属性情報とを抽出する。

ステップＳ２０４では、ステップＳ２００で前処理されたテスト画像と、特徴ＤＢ２５０に格納されている複数の訓練画像とのペアの各々について、当該ペアのテスト画像から抽出された局所特徴と、訓練画像から予め抽出された局所特徴とを比較して、当該ペアのテスト画像と訓練画像とにおける、暫定的な対応点である暫定対応点を決定する。

ステップＳ２０６では、テスト画像と複数の訓練画像とのペアの各々について、暫定対応点決定部２３４で決定された暫定対応点に対して、画像上の線形変換を表す幾何モデルにあてはめ、幾何モデルの変換値である幾何変換パラメータを推定し、幾何変換パラメータを用いて、局所特徴点の座標を変換し、暫定対応点のうち外れ値でないインライア対応点を求める。

ステップＳ２０８では、テスト画像と複数の訓練画像とのペアの各々について、ステップＳ２０６で求められたインライア対応点に基づいて当該ペアの訓練画像の信頼度を算出する。

ステップＳ２１０では、ステップＳ２０８で得られた信頼度が上位の訓練画像の各々と、テスト画像とのペアの各々について、インライア対応点で定義される画像部分領域から被写体の色に関する色特徴を抽出する。

ステップＳ２１２では、信頼度が上位の訓練画像の各々と、テスト画像とのペアの各々について、ステップＳ２１０で抽出された色特徴を比較して、上位の訓練画像の信頼度を更新し、識別結果を出力部２５２に出力し、処理を終了する。

以上説明したように、第１の実施の形態に係る被写体識別装置によれば、テスト画像から局所特徴と、局所特徴の属性を示す属性情報とを抽出し、テスト画像と複数の訓練画像とのペアの各々について、ペアのテスト画像から抽出された局所特徴と、訓練画像から予め抽出された局所特徴とを比較して、ペアのテスト画像と訓練画像とにおける、暫定的な対応点である暫定対応点を決定し、決定された暫定対応点に対して、画像上の線形変換を表す幾何モデルにあてはめ、幾何モデルの変換値である幾何変換パラメータを推定し、幾何変換パラメータを用いて、暫定対応点のうち外れ値でないインライア対応点を求め、ペアの各々について、インライア対応点に基づいてペアの訓練画像の信頼度を算出し、信頼度が上位の訓練画像の各々と、テスト画像とのペアの各々について、インライア対応点で定義される画像部分領域から被写体の色に関する色特徴を抽出し、上位の訓練画像の各々と、テスト画像とのペアの各々について、色特徴を比較して、上位の訓練画像の信頼度を更新することにより、精度よく、かつ、高速に被写体を識別できる。

＜本発明の第２の実施の形態に係る学習装置の構成＞

本発明の第２の実施の形態の学習装置は、第１の実施の形態と同様であるため説明を省略する。

＜本発明の第２の実施の形態に係る被写体識別装置の構成＞

次に、本発明の第２の実施の形態に係る被写体識別装置の構成について説明する。第２の実施の形態では、幾何変換行列を推定する点が第１の実施の形態と異なっている。なお、第１の実施の形態と同様となる構成については同一符号を付して説明を省略する。

図６に示すように、本発明の第２の実施の形態に係る被写体識別装置３００は、入力部２１０と、演算部３２０と、特徴ＤＢ２５０と、出力部２５２とを備えている。

演算部３２０は、前処理部２３０と、局所特徴抽出部２３２と、暫定対応点決定部２３４と、幾何検証部２３６と、信頼度算出部２３８と、幾何変換行列推定部３３８と、色特徴抽出部３４０と、信頼度更新部２４２とを含んで構成されている。

幾何変換行列推定部３３８は、信頼度算出部２３８で算出された信頼度が上位の訓練画像とテスト画像とのペアの各々について、インライア対応点に基づいて、訓練画像の座標からテスト画像の座標へ変換することについての幾何変換行列を推定する。

仮定する幾何変換行列の幾何モデルは任意であり、例えばアフィン変換やホモグラフィ変換を用いることができる。幾何変換行列により、テスト画像中のどの位置に被写体が写り込んでいるのかを推定することも可能になる。

色特徴抽出部３４０は、信頼度が上位の訓練画像とテスト画像とのペアの各々について、訓練画像から色特徴を抽出し、テスト画像のうち、幾何変換行列推定部３３８で推定された幾何変換行列を用いて訓練画像を変換して得られる画像部分領域から、色特徴を抽出する。図４（Ｃ）に、訓練画像に対応するテスト画像の画像部分領域から色特徴を抽出する例を示す。このような手法により、図４（Ａ）、図４（Ｂ）同様、画像中に写り込む認識対象以外の領域の情報の影響を抑えつつ、認識対象をよく捉えた色特徴を抽出することができる。

なお、第２の実施の形態の他の構成については第１の実施の形態と同様であるため、詳細な説明を省略する。

＜本発明の実施の第２の形態に係る被写体識別装置の作用＞

次に、本発明の第２の実施の形態に係る被写体識別装置３００の作用について説明する。なお、第１の実施の形態と同様の作用となる箇所については説明を省略する。

入力部２１０においてテスト画像を受け付けると、被写体識別装置３００は、図７に示す被写体識別処理ルーチンを実行する。

ステップＳ３００では、ステップＳ２０８で算出された信頼度が上位の訓練画像とテスト画像とのペアの各々について、インライア対応点に基づいて、訓練画像の座標からテスト画像の座標へ変換することについての幾何変換行列を推定する。

ステップＳ３０２では、頼度が上位の訓練画像とテスト画像とのペアの各々について、訓練画像から色特徴を抽出し、テスト画像のうち、ステップＳ３００で推定された幾何変換行列を用いて訓練画像を変換して得られる画像部分領域から、色特徴を抽出する。

なお、第２の実施の形態の他の作用については第１の実施の形態と同様であるため、詳細な説明を省略する。

以上説明したように、第２の実施の形態に係る被写体識別装置によれば、テスト画像から局所特徴と、局所特徴の属性を示す属性情報とを抽出し、テスト画像と複数の訓練画像とのペアの各々について、ペアのテスト画像から抽出された局所特徴と、訓練画像から予め抽出された局所特徴とを比較して、ペアのテスト画像と訓練画像とにおける、暫定的な対応点である暫定対応点を決定し、決定された暫定対応点に対して、画像上の線形変換を表す幾何モデルにあてはめ、幾何モデルの変換値である幾何変換パラメータを推定し、幾何変換パラメータを用いて、暫定対応点のうち外れ値でないインライア対応点を求め、ペアの各々について、インライア対応点に基づいてペアの訓練画像の信頼度を算出し、インライア対応点に基づいて、訓練画像の座標からテスト画像の座標へ変換することについての幾何変換行列を推定し、信頼度が上位の訓練画像の各々と、テスト画像とのペアの各々について、幾何変換行列を用いて訓練画像を変換して得られる画像部分領域から被写体の色に関する色特徴を抽出し、上位の訓練画像の各々と、テスト画像とのペアの各々について、色特徴を比較して、上位の訓練画像の信頼度を更新することにより、精度よく、かつ、高速に被写体を識別できる。

なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

例えば、上述した実施の形態では、学習装置と被写体識別装置とに分けて構成する場合について説明したが、これに限定されるものではなく、一つの装置によって学習と被写体識別とを行うようにしてもよい。

１０、２１０ 入力部
２０、２２０、３２０ 演算部
３０、２３０ 前処理部
３２、２３２ 局所特徴抽出部
３４ 特徴属性情報保存部
１００ 学習装置
２００、３００ 被写体識別装置
２３４ 暫定対応点決定部
２３６ 幾何検証部
２３８ 信頼度算出部
２４０、３４０ 色特徴抽出部
２４２ 信頼度更新部
２５２ 出力部
３３８ 幾何変換行列推定部

Claims (6)

1. テスト画像に写る対象物体である被写体を、複数の訓練画像を用いて自動で識別する被写体識別装置であって、
   テスト画像から局所特徴と、前記局所特徴の属性を示す属性情報とを抽出する局所特徴抽出部と、
   前記テスト画像と前記複数の訓練画像とのペアの各々について、前記ペアの前記テスト画像から抽出された局所特徴と、前記訓練画像から予め抽出された局所特徴とを比較して、前記ペアの前記テスト画像と前記訓練画像とにおける、暫定的な対応点である暫定対応点を決定する暫定対応点決定部と、
   前記ペアの各々について、前記決定された暫定対応点に対して、画像上の線形変換を表す幾何モデルにあてはめ、前記幾何モデルの変換値である幾何変換パラメータを推定し、前記幾何変換パラメータを用いて、前記暫定対応点のうち外れ値でないインライア対応点を求める幾何検証部と、
   前記ペアの各々について、前記インライア対応点に基づいて前記ペアの前記訓練画像の信頼度を算出する信頼度算出部と、
   前記信頼度算出部で得られた信頼度が上位の訓練画像の各々と、前記テスト画像とのペアの各々について、前記インライア対応点で定義される画像部分領域から前記被写体の色に関する色特徴を抽出する色特徴抽出部と、
   前記上位の訓練画像の各々と、前記テスト画像とのペアの各々について、前記色特徴抽出部で抽出された前記色特徴を比較して、前記上位の訓練画像の信頼度を更新する信頼度更新部と、
   を含む被写体識別装置。
2. 前記色特徴抽出部は、前記幾何検証部で得られた前記インライア対応点における前記属性情報で定義される画像部分領域から前記色特徴を抽出する請求項１に記載の被写体識別装置。
3. 前記色特徴抽出部は、前記幾何検証部で得られた前記インライア対応点を用いた凸包領域で定義される画像部分領域から前記色特徴を抽出する請求項１に記載の被写体識別装置。
4. 前記信頼度算出部で算出された前記信頼度が上位の訓練画像と前記テスト画像とのペアの各々について、前記インライア対応点に基づいて、前記訓練画像の座標から前記テスト画像の座標へ変換することについての幾何変換行列を推定する幾何変換行列推定部を更に含み、
   前記色特徴抽出部は、前記信頼度が上位の訓練画像と前記テスト画像とのペアの各々について、前記訓練画像から前記色特徴を抽出し、前記テスト画像のうち、前記幾何変換行列推定部で推定された前記幾何変換行列を用いて前記訓練画像を変換して得られる画像部分領域から、前記色特徴を抽出する請求項１に記載の被写体識別装置。
5. テスト画像に写る対象物体である被写体を、複数の訓練画像を用いて自動で識別する被写体識別装置における被写体識別方法であって、
   局所特徴抽出部が、テスト画像から局所特徴と、前記局所特徴の属性を示す属性情報とを抽出するステップと、
   暫定対応点決定部が、前記テスト画像と前記複数の訓練画像とのペアの各々について、前記ペアの前記テスト画像から抽出された局所特徴と、前記訓練画像から予め抽出された局所特徴とを比較して、前記ペアの前記テスト画像と前記訓練画像とにおける、暫定的な対応点である暫定対応点を決定するステップと、
   幾何検証部が、前記ペアの各々について、前記決定された暫定対応点に対して、画像上の線形変換を表す幾何モデルにあてはめ、前記幾何モデルの変換値である幾何変換パラメータを推定し、前記幾何変換パラメータを用いて、前記暫定対応点のうち外れ値でないインライア対応点を求めるステップと、
   信頼度算出部が、前記ペアの各々について、前記インライア対応点に基づいて前記ペアの前記訓練画像の信頼度を算出するステップと、
   色特徴抽出部が、前記信頼度算出部で得られた信頼度が上位の訓練画像の各々と、前記テスト画像とのペアの各々について、前記インライア対応点で定義される画像部分領域から前記被写体の色に関する色特徴を抽出するステップと、
   信頼度更新部が、前記上位の訓練画像の各々と、前記テスト画像とのペアの各々について、前記色特徴抽出部で抽出された前記色特徴を比較して、前記上位の訓練画像の信頼度を更新するステップと、
   を含む被写体識別方法。
6. コンピュータを、請求項１〜請求項４のいずれか１項に記載の被写体識別装置の各部として機能させるためのプログラム。