JP5361664B2 - 画像処理装置、画像処理方法 - Google Patents

Description

本発明は、画像における特徴量を取り扱う技術に関するものである。

近年、工場等で行われる組立等の作業をロボットに行わせる需要が高まっている。位置および姿勢が常に一定でない作業対象物体をロボットで扱う場合、作業対象物体の位置および姿勢を計測する手段が必要となり、視覚センサはその手段として一般的によく用いられる。

より高度な組立等の作業をロボットに行わせるためには、組み立てる部品等を視覚センサを用いて認識する必要がある。古くから部品のＣＡＤデータ等の形状情報と視覚センサ等により得られる２次元もしくは３次元情報とを照合して、部品の種別および位置・姿勢を認識する研究がなされてきた。また、認識手法のひとつとして、撮像手段によって得られる対象物体の画像から抽出される特徴量をコンピュータに学習させ、入力された画像中に映る被写体物体の種別を認識する研究も活発になされてきた。

現在、工場では大量生産の時代から多品種生産の時代に対応するために、同じ生産ラインで多品種の製品を組み立てる場合があり、各組立工程において類似した部品、似て非なる部品を組み立てる必要がある。このような組立工程を自動化するためには、類似した部品、似て非なる部品を識別することが可能な認識手法が必要と考えられる。

そこで、工場内等での物品の識別や搬送を行うロボットの視覚を想定し、対象物体に対するカメラ等の視覚センサの位置・姿勢を制御して変化させることができるアクティブビジョンを用いた研究がなされている。

非特許文献１では、入力画像上に現われた認識対象物体について、各モデル物体のどの物体であるかを認識した結果を各モデルである基本確率の和で表される認識曖昧度で表現する。そして、その認識曖昧度をカメラの位置・姿勢の関数とし、その認識曖昧度を最小化するように最急降下法を用いてカメラを移動させる。

非特許文献２では、移動可能なカメラによって多方向からの画像を取得し、認識を行っている。類似物の識別では先ず、２つのＣＡＤ図形情報の差分を求めることで２つのＣＡＤ図形の異なっている部分を推定し、その部分を識別しやすいカメラの位置及び方向を決定する。そして、その位置及び方向から入力画像とＣＡＤ図形を比較することで、類似物の識別を可能にする。

非特許文献３では、対象物体の視点変動や照明変動によるアピアランス変化を固有空間上で多様体として学習する。認識時には認識結果を確率分布によって表現し、多様体上で最適化することでその物体の識別と位置・姿勢推定を行う。

特許文献１では、撮像装置が取得した２次元画像データから３次元物体を認識する際、ニューラルネットワークの認識結果を判定部に入力し、ニューロンの興奮の大きさが予め設定されたレベルより小さい場合には撮像装置の位置を変える。そして、異なる位置から３次元物体の２次元画像データを取得する。ニューロンの興奮の大きさが予め設定されたレベルより大きくなるまで、撮像位置の変更、認識、判定のプロセスを繰り返す。

特許文献２では、撮像した被写物体の画像情報と既知物体に関する３次元形状、見かけの形状、物体表面の色の知識情報との形状および色の比較に基づき、撮像した被写物体の画像情報がどのような物体をどの方向から見ている画像の情報かを判定する。そして、この判定結果より物体の形状が判別できた場合には処理を終了する。一方、判定時に画像情報が不足して物体形状が判別できない場合には、不足している画像情報を獲得するための撮像位置を求め、この位置に従って撮像機を移動させて撮像することで、不足している画像情報を補充する。

特許文献３では、撮像装置から入力される認識対象と撮像装置との間の離間距離情報から、認識装置の認識操作に適した撮像条件を算定し、その算定した条件に基づいて撮像装置の撮像動作を制御している。実施例では、ナンバープレートの車番のサイズが画像上で記憶している車番のサイズとほぼ同じ大きさになるように、車番とレンズとの離間距離、焦点距離、車番サイズ、撮像素子上での車番のサイズから、カメラの画角を算定している。

また、画像からある特徴量を抽出し、その特徴ベクトルによって張られる特徴空間にマッピングし、識別関数を学習する認識技術の研究のなかで、類似している対象物、似て非なる対象物同士を識別するための研究も多くなされている。

特許文献４では、特徴ベクトル空間内で各々の特徴ベクトルに対して近い距離にある特徴ベクトルを選出し、その選出された特徴ベクトル群に対して直交射影したときに、局所的な散在性が最も大きくなるような部分空間ベクトル空間を出力する。生成された部分空間に対して射影して識別を行うことで、紛らわしいデータの識別も従来より精度よく行うことが可能になる。

特許文献５では、類似カテゴリ識別の為に、次のような構成が示されている。即ち、着目カテゴリと類似する類似カテゴリの共分散行列の加重平均及び着目カテゴリの共分散行列を混合した部分空間の軸方向に射影して求めた分散を用いて形成した二次識別関数に基づいて類似カテゴリとの誤認識を回避している。

特許文献６では、検索（認識）の精度を維持しつつ、学習の際に保存する画像の数を抑制するために、検索（認識）対象が含まれる画像から抽出される特徴量をもちいて、特徴量空間上で検索（認識）対象が張る範囲を求める。次に、検索（認識）対象が含まれない学習画像すべてに対して特徴空間上で距離を算出し、その距離が予め設定された値の範囲内にある画像を類似画像として登録し、特徴空間中の検索（認識）対象領域（空間）と類似画像領域（空間）のみを保存しておく。

特開平５−２８８５３１号公報 特許第３１５４５０１号公報 特開２０００−２８５１９８号公報 特許第３８４１４８１号 特許第３９４５９７１号 特開２００３−３４５８３０号公報

西川昇、大西正輝、松本拓矢、泉正夫、福永邦雄、"カメラ位置姿勢制御を用いたモデルベース物体認識"、電学論Ｃ、118巻2号、平成10年 神代充、大崎紘一、柴田諭、清水顕、"移動可能なカメラによる画像処理と三次元ＣＡＤ図形情報を組合せた認識手法に関する研究"、日本機械学会論文集66巻650号. H.Borotschnig, "Appearance-based active object recognition", Image and Vision Computing 18(2000) pp.715-727.

画像からある特徴量を抽出し、その特徴量ベクトルによって張られる特徴空間にマッピングして、識別関数を学習する認識技術の研究のなかで、類似している対象物、似て非なる対象物同士を高精度に識別することが困難であるという問題がある。

類似している対象物、似て非なる対象物をある撮像条件でとらえた画像から特徴抽出を行って特徴空間中にマッピングした場合、特徴空間中で近接する。その距離が測定誤差等より小さければ、これらは識別することはできない。その場合、撮像条件を変更して対象物体の画像を再度取得するか２次識別等の工夫が必要となる。

非特許文献１では、認識曖昧度をカメラの位置・姿勢を変数とする関数で表すことで、最急降下法によって、認識曖昧度を減少させる方向で最適化を行う。しかし、認識対象物体に対して最適な撮像装置の位置が一意に決定されるわけではない。また、変更する撮像条件のパラメータが撮像装置の位置・姿勢に限定されている。

非特許文献２では、３次元ＣＡＤデータと移動可能なカメラを用いて、カメラの視点位置を変更しながら認識を行うが、限定条件が多い。対象物は認識領域にひとつだけ置かれ、鉛直上向きから一様な光が照射しているものとし、認識領域は黒く塗られており、処理の際には対象物よりも輝度値が小さくなるものとしている。また、基本的にはＣＡＤデータの幾何情報と輝度値ベースの手法で、画像から得られる特徴量を使用するものではない。また、最適なカメラ位置・姿勢を一意に決めるものでもない。

非特許文献３では、単一物体の姿勢推定のみについて言及されており、類似物、似て非なる対象物の識別・区別について述べられておらず、それらを区別する撮像条件が一意に決定される手法ではない。

特許文献１では、ニューロンの興奮の大きさがあらかじめ設定されたレベルよりも大きくなるまで、撮像装置の位置を変更して認識を繰り返すため、認識対象物体に対して最適な撮像装置の位置が一意に決定されるわけではない。また、変更する位置も認識や学習結果によって決定されるわけではない。非特許文献１と同様に変更する撮像条件のパラメータが撮像装置の位置・姿勢に限定されている。

特許文献２では、特許文献１と同様、変更する撮像条件のパラメータが撮像装置の位置に限定されている。また、実施例においては対象物体の隠れ（オクルージョン）に対応するものであり、類似物、似て非なる対象物の識別をするために撮像装置の位置を変更するといった課題を解決する方法ではない。

特許文献４、５では、類似対象物をある視点で捉えた際に見えが同一となって、画像から抽出される特徴量などがほぼ同一の場合に識別することが困難である。その場合に対象物の画像を取得するための撮像条件を変更するなどの課題を解決するものではない。

特許文献６では、特徴空間上で距離を算出し、その距離に応じて類似画像領域を特徴空間上で学習している。しかし、先の特許文献４、５と同様に、類似対象物をある視点で捉えた際に見えが同一となって、識別の際に検索（認識）画像なのか類似画像なのか区別がつかない場合について解決するものではない。

本発明は以上の問題に鑑みてなされたものであり、類似している対象物、似て非なる対象物同士を識別するために有用な技術を提供することを目的とする。

本発明の目的を達せするために、例えば、本発明の画像処理装置は以下の構成を備える。即ち、Ｎ（Ｎ≧２）種類の撮像条件のそれぞれに基づいて撮像されたＮ枚の撮像画像を取得する手段と、前記Ｎ枚の撮像画像のそれぞれから特徴量を抽出し、該抽出した特徴量の集合を、該特徴量の抽出元の撮像画像の撮像条件と関連付けて、特徴量クラスタとして管理する管理手段と、前記管理手段が管理する第１の特徴量クラスタ中の特徴量と類似する特徴量を含む第２の特徴量クラスタを、前記管理手段が管理する特徴量クラスタ群から特定する第１の特定手段と、前記第１の特徴量クラスタ及び前記第２の特徴量クラスタから同じ撮像条件に関連付けられている特徴量を特定し、該特定した特徴量間の距離を求める第２の特定手段と、前記第２の特定手段が前記Ｎ種類の撮像条件のそれぞれについて求めた距離のうち、最も大きい距離を特定する第３の特定手段と、前記Ｎ種類の撮像条件のうち、前記第３の特定手段により特定された最も大きい距離を求めた撮像条件を、前記第１の特徴量クラスタと前記第２の特徴量クラスタとの間の識別が可能な撮像条件として出力する手段とを備えることを特徴とする。

本発明の構成によれば、類似している対象物、似て非なる対象物同士を識別するために有用な技術を提供することができる。

画像処理装置の機能構成例を示すブロック図。 計算部２００が行う処理のフローチャート。 （ａ）、（ｂ）は画像処理装置の外観例を示す図、（ｃ）〜（ｈ）は特徴空間を説明する図。 対象物識別処理のフローチャート。 画像処理装置の機能構成例を示すブロック図。 コンピュータのハードウェア構成例を示すブロック図。 画像処理装置の機能構成例を示すブロック図。 計算部２００が行う処理のフローチャート。 画像処理装置の機能構成例を示すブロック図。 画像処理装置の機能構成例を示すブロック図。 （ａ）は計算部２００が行う処理のフローチャート、（ｂ）は識別処理のフローチャート。

以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。

［第１の実施形態］
図１は、本実施形態に係る画像処理装置の機能構成例を示すブロック図である。図１に示す如く、本実施形態に係る画像処理装置は、設定された撮像条件に基づいて現実空間の撮像を行う撮像部１００と、後述する様々な計算処理を行う計算部２００と、で構成されている。更に計算部２００は、撮像条件制御部２１０、画像データ保持部２０１、特徴量クラスタ生成部２２０、特徴量クラスタ保持部２０２、特徴空間距離算出部２３０、特徴空間距離保持部２０３、撮像条件設定部２４０、撮像条件保持部２０４を有する。

図３（ａ）は、本実施形態に係る画像処理装置の外観例を示す図である。図３（ａ）に示す如く、撮像部１００は、複数台のカメラ１０により構成されており、それぞれは様々な撮像条件に基づいて１つの対象物２０を撮像している。この「撮像条件」には、カメラ１０の位置姿勢情報に加え、対象物２０に照射する照明条件、獲得する画像の解像度、カメラ１０の画角、及びその組み合わせなどがある。

計算部２００は、図３（ａ）に示す如く、一般のＰＣ（パーソナルコンピュータ）で、後述する様々な計算処理を実行する。図６は、計算部２００に適用可能なコンピュータのハードウェア構成例を示すブロック図である。

ＣＰＵ２５０１は、ＲＡＭ２５０２やＲＯＭ２５０３に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、計算部２００が行うものとして後述する各処理を実行する。

ＲＡＭ２５０２は、コンピュータ読み取り可能な記憶媒体の一例として機能するものである。ＲＡＭ２５０２は、外部記憶装置２５０７からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）２５０８を介して撮像部１００から取得した画像のデータを一時的に記憶するためのエリアを有する。更に、ＲＡＭ２５０２は、ＣＰＵ２５０１が各種の処理を実行する際に用いるワークエリアも有する。即ち、ＲＡＭ２５０２は、各種のエリアを適宜提供することができる。ＲＯＭ２５０３は、コンピュータ読み取り可能な記憶媒体の一例として機能するもので、コンピュータの設定データやブートプログラムなどを格納する。

操作部２５０４は、キーボードやマウスなどにより構成されており、ユーザが操作することで、各種の指示をＣＰＵ２５０１に対して入力することができる。表示部２５０６は、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ２５０１による処理結果を画像や文字などでもって表示することができる。

外部記憶装置２５０７は、コンピュータ読み取り可能な記憶媒体の一例として機能するもので、ハードディスクドライブ装置に代表される大容量情報記憶装置である。外部記憶装置２５０７には、ＯＳ（オペレーティングシステム）や、計算部２００が行うものとして後述する各処理をＣＰＵ２５０１に実行させるためのコンピュータプログラムやデータが保存されている。

係るコンピュータプログラムには、図１に示した撮像条件制御部２１０、特徴量クラスタ生成部２２０、特徴空間距離算出部２３０、撮像条件設定部２４０のそれぞれに対応するコンピュータプログラム（若しくは関数）が含まれている。また、係るデータには、処理対象の画像のデータや、以下の説明において既知の情報として用いるものが含まれている。即ち、外部記憶装置２５０７は、図１に示した画像データ保持部２０１、特徴量クラスタ保持部２０２、特徴空間距離保持部２０３、撮像条件保持部２０４としても機能することになる。

外部記憶装置２５０７に保存されているコンピュータプログラムやデータは、ＣＰＵ２５０１による制御に従って適宜ＲＡＭ２５０２にロードされ、ＣＰＵ２５０１による処理対象となる。

Ｉ／Ｆ２５０８は、撮像部１００を接続する為のもので、本コンピュータはこのＩ／Ｆ２５０８を介して撮像部１００とのデータ通信を行う。２５０９は、上述の各部を繋ぐバスである。

次に、計算部２００が行う処理について、図２（ａ）のフローチャートを用いて説明する。なお、図２（ａ）のフローチャートに従った処理をＣＰＵ２５０１に実行させるためのコンピュータプログラムは外部記憶装置２５０７に保存されており、ＣＰＵ２５０１はこれをＲＡＭ２５０２にロードして実行する。

以下では説明上、図１に示した各部を処理の主体として説明する。しかし上記の通り、撮像条件制御部２１０、特徴量クラスタ生成部２２０、特徴空間距離算出部２３０、撮像条件設定部２４０は何れもコンピュータプログラムとして実装し、このコンピュータプログラムはＣＰＵ２５０１によって実行される。然るに実際には、図２（ａ）のフローチャートに従った処理の主体はＣＰＵ２５０１となる。

先ず、ステップＳ１１０では、撮像条件制御部２１０は、それぞれ異なる撮像条件を、撮像部１００を構成するそれぞれのカメラに設定し、それぞれのカメラに対象物Ａを撮像させる。本実施形態では撮像部１００はＮ（Ｎ≧２）台のカメラで構成されているものとするので、撮像条件はカメラの台数分、即ちＮ種類存在することになる。そして撮像条件制御部２１０は、この撮像により得られるＮ枚の撮像画像を撮像部１００から取得し、画像データ保持部２０１に格納する。以下では、対象物Ａを撮像したＮ枚の撮像画像を「撮像画像群Ａ」と呼称する。

なお、Ｎ種類の撮像条件のそれぞれに基づいて撮像されたＮ枚の撮像画像を取得することができるのであれば、そのための構成は１つに限定するものではなく様々な構成が考え得る。例えば、１台のカメラを移動させながら対象物Ａを撮像し、それぞれ撮像条件が異なるＮ枚の撮像画像を取得するようにしても良い。また、図３（ｂ）に示す如く、回転ステージ１１上に対象物２０を配置し、回転ステージ１１を回転させながら対象物２０を１台のカメラ１０を用いて撮像することで、それぞれ撮像条件が異なるＮ枚の撮像画像を取得するようにしても良い。

次に、特徴量クラスタ生成部２２０は、画像データ保持部２０１に格納されている撮像画像群Ａを読み出し、撮像画像群Ａを構成するＮ枚の撮像画像のそれぞれから特徴量（特徴点及びその特徴点まわりを記述する特徴量）を抽出する。例えば、以下の文献１に詳述されている、ＳＵＲＦのような抽出された特徴点まわりの輝度勾配などの情報を記述するものでよい。

・ （文献１） H.Bay, “Speeded-Up Robust Features (SURF)”, Computing Vision and Image Understanding, Vol.110 (3) June 2008, pp.346-359.
また、以下の文献２，３に詳述されている、その他のいわゆるＫｅｙｐｏｉｎｔｓなどの特徴点でも良い。

・ （文献２） E.Tola, “A Fast Local Descriptor for Dense Matching”, CVPR 2008.
・ （文献３） K.Mikolajczyk, “A Performance Evaluation of Local Descriptors”, PAMI, 27(10) 2004, pp.1615-1630.
本実施形態では、Ｂａｇ−ｏｆ−ｋｅｙｐｏｉｎｔｓ（Ｂａｇ−ｏｆ−ｗｏｒｄｓ）のように、各特徴点から得られた特徴量（ベクトル）をベクトル量子化し、撮像画像毎にヒストグラムを作成し、そのヒストグラムをもって撮像画像から得られる特徴量とする。もちろん、特徴量については様々なものがあるので、何れか１つに限定するものではない。

これにより、撮像画像群Ａのそれぞれの撮像画像から抽出した特徴量の集合を特徴量クラスタとして得ることができる。そして本実施形態では、以上説明した各処理を複数の対象物（対象物Ｂ、対象物Ｃ、…）のそれぞれについて行う。これにより、対象物Ａ、対象物Ｂ、対象物Ｃ、…のそれぞれについて特徴量クラスタを生成することができる。特徴量クラスタは、以下のように表記することができる。

係る式においてＦ_ｍｉは、対象物ｍ（ｍ＝Ａ、Ｂ、Ｃ、…）の撮像画像群ｍを構成する撮像画像ｉ（ｉ＝１，２，…，Ｎ）から抽出された特徴量（ベクトル）を示している。例えばＳＵＲＦの場合、撮像画像から特徴点を抽出し、その特徴点のスケールに従って、特徴点まわりの領域を切り出し、その領域内のｘ方向、ｙ方向の勾配の和を記述子とする。あらかじめ求められたｖｉｓｕａｌ ｗｏｒｄｓ（ｃｏｄｅｂｏｏｋ）に基づいてＳＵＲＦをベクトル量子化し、撮像画像ごとにヒストグラムを作成し、これをＦとする。

Φｍは、撮像画像群ｍから抽出した特徴量Ｆ_ｍｉの集合である。また、撮像画像毎に撮像条件は異なるので、インデックスｉは、撮像条件に対するインデックスでもある。

特徴量クラスタ生成部２２０は、このようにして生成した特徴量クラスタを特徴量クラスタ保持部２０２に格納するのであるが、その際、特徴量クラスタ中のそれぞれの特徴量には、対応する撮像条件を関連付ける。即ち、特徴量Ｆ_ｍｉには、対象物ｍの撮像画像ｉの撮像条件ｉと関連付ける。

図３（ｃ）は、特徴量クラスタを特徴空間にマッピングした場合における、特徴空間を示す図である。４０は特徴空間の軸を示しており、５０はある対象物に対して得られた特徴量クラスタを示しており、各点は各撮像条件における撮像画像から得られた特徴量を示している。なお、カメラと対象物との相対位置・姿勢を変化させる場合などは、図３（ｄ）に示す如く、特徴量間を補間若しくは関数近似を行い、５０に示す如く、ｍａｎｉｆｏｌｄ（多様体）を生成してもよい。

これにより、Ｎ種類の撮像条件のそれぞれに基づいて撮像されたＮ枚の撮像画像を取得し、取得したＮ枚の撮像画像のそれぞれから特徴量を抽出し、抽出したそれぞれの特徴量を対応する撮像条件と関連付けて特徴量クラスタとして管理することができる。また、この特徴量クラスタは対象物毎に生成されるので、対象物毎に特徴量クラスタを管理することになる。なお、ステップＳ１１０における上記処理は前もって行っておき、本実施形態では、ステップＳ１２０以降の処理を開始するようにしても良い。

図２（ａ）に戻って次に、ステップＳ１２０では、特徴空間距離算出部２３０は、特徴量クラスタ保持部２０２から１つの特徴量クラスタ（第１の特徴量クラスタ）を取得する。そしてこの第１の特徴量クラスタ中の各特徴量について、最も類似する特徴量を含む特徴量クラスタを、特徴量クラスタ保持部２０２が保持する特徴量クラスタ群から特定する（第１の特定）。具体的には、特徴空間において、第１の特徴量クラスタ中の着目特徴量との距離が最小となる特徴量を含む特徴量クラスタ（第２の特徴量クラスタ）を特徴量クラスタ保持部２０２から特定する処理を、第１の特徴量クラスタ中のそれぞれの特徴量について行う。

図３（ｅ）は、特徴量クラスタ５０と、特徴量クラスタ５１との間での特徴量間の距離６０を説明する図である。なお、特徴量ｘ１と特徴量ｘ２との間の距離ｄ（ｘ１，ｘ２）は、以下の式に従って求める。

係る式においてｎは特徴空間の全次元数を示しており、ｊは各次元を表すインデックスであるので、特徴量ｘ１、特徴量ｘ２のそれぞれのｊ番目の要素をｘ_１ｊ、ｘ_２ｊと表している。

そして特徴空間距離算出部２３０は、第１の特徴量クラスタ中の特徴量ｘ１と最も類似する特徴量を含む第２の特徴量クラスタを指し示すポインタ値、及びこれらの特徴量間の距離を、特徴量ｘ１と関連付けて特徴空間距離保持部２０３に格納する処理を行う。係る処理は、第１の特徴量クラスタ中のそれぞれの特徴量ｘ１について行う。

なお、特徴量間の距離の代わりに、特徴量間の相関値を計算しても良い。即ち、第１の特徴量クラスタ中の着目特徴量と最も類似する特徴量を含む第２の特徴量クラスタを特定することができるのであれば、如何なる計算処理を行っても良い。図３（ｆ）は、第１の特徴量クラスタとしての特徴量クラスタ５０と第２の特徴量クラスタとしての特徴量クラスタ５１との間における特徴量間の距離６１の例を示す図である。なお、特徴量間の距離は、特徴量クラスタ間で計算することに限定するものではなく、特徴量クラスタ内で行うようにしても良い。

図２（ａ）に戻って、次に、ステップＳ１３０では、撮像条件設定部２４０は、特徴空間距離保持部２０３において第１の特徴量クラスタ中の各特徴量に関連付けられている距離を参照し、閾値以下の距離と関連付けられている特徴量を特定する。この特定した特徴量（特定特徴量）が以下の処理の対象となる特徴量である。以下では、特定特徴量のうちの１つ（着目特定特徴量）についての処理を説明するが、同様の処理は、他の特定特徴量についても行う。

撮像条件設定部２４０は、着目特定特徴量と関連付けられているポインタ値が指し示す特徴量クラスタを第２の特徴量クラスタとして特定する。次に撮像条件設定部２４０は、第１の特徴量クラスタと第２の特徴量クラスタとで同じ撮像条件に対応する特徴量を抽出する（第２の特定）。即ち、第１の特徴量クラスタにおいて撮像条件ｉに関連付けられている特徴量Ｆ_Ａｉと第２の特徴量クラスタにおいて撮像条件ｉに関連付けられている特徴量Ｆ_Ｂｉとのセットｉを取得する処理をｉ＝１〜Ｎについて行う。そしてｉ＝１〜Ｎについて、セットｉ中の特徴量間の距離を求め、求めた距離が最大となるセットｊを特定する（第３の特定）。係るｊは、以下の式を用いて求めることができる。

係る式においてＸは着目特定特徴量の集合を示している。そして撮像条件設定部２４０は、セットｊ中の特徴量Ｆ_Ｂｊと関連付けられている撮像条件ｊを、着目特定特徴量について、第１の特徴量クラスタと第２の特徴量クラスタとの間の識別が可能な撮像条件として撮像条件保持部２０４に格納（出力）する。もちろん、セットｊ中の特徴量間の差分を、着目特定特徴量について、第１の特徴量クラスタと第２の特徴量クラスタとの間の識別が可能な撮像条件として撮像条件保持部２０４に格納（出力）しても良い。

図３（ｇ）は、第１の特徴量クラスタと第２の特徴量クラスタとの間でのステップＳ１３０における処理を説明する図である。第１の特徴量クラスタ５０中の着目特徴量との距離が最小の特徴量を含む特徴量クラスタが第２の特徴量クラスタ５１であり、その距離は６２で示されている。７０は、セットｊ中のそれぞれの特徴量間の距離を示している。

なお、以上説明したステップＳ１３０における処理は、撮像条件の種別に関係なく一般的なものである。ここで、撮像部１００と対象物との相対姿勢を撮像条件とする場合を例に取り、ステップＳ１３０における処理の詳細について説明する。

撮像条件設定部２４０は、θを視点（相対姿勢）、視点θで得られる特徴量をＦ（θ）、視点変化量をΔθで示すと、Ｆ１（θ１）とＦ２（θ２）との間の識別が可能な相対姿勢の角度移動量Δθは以下の式を解くことにより決定される。特徴空間中で近接する各特徴量が得られる視点をθ１、θ２とおき、視点の組みあわせの集合をＡ’とおくと、以下の式が成り立つ。

次に、対象物の画像から上記の処理により学習された特徴量クラスタおよび設定された撮像条件を用いた対象物識別処理について、同処理のフローチャートを示す図４を用いて説明する。なお、図４のフローチャートに従った処理をＣＰＵ２５０１に実行させるためのコンピュータプログラムやデータは、外部記憶装置２５０７に保存されており、ＣＰＵ２５０１はこれをＲＡＭ２５０２にロードして処理を実行する。もちろん、係る処理は、他の装置が行っても良い。

先ずステップＳ１００１では、対象物が映っている画像から特徴量を抽出する。抽出する特徴量は上記ステップＳ１１０で取り扱った特徴量と同じである。次にステップＳ１００２では、上記ステップＳ１１０で生成した特徴量クラスタとの特徴空間における距離に基づいて、ステップＳ１００１で抽出された特徴量を識別する。識別方法は特徴空間における距離が最も小さい特徴量を選ぶこととする。この特徴量クラスタ上の特徴量を１次識別特徴量とする。

次に、ステップＳ１００３では、上記ステップＳ１００２において識別された１次識別特徴量に付与されている撮像条件を参照する。１次識別特徴量に付与されている撮像条件がない場合、その１次識別特徴量と近接する特徴量は存在しないので、識別処理を終了する。一方、付与されている撮像条件がある場合、１次識別特徴量と近接する特徴量が存在するので、撮像条件を変更して２次識別を行うために処理をステップＳ１００４に進める。この１次識別特徴量と近接する特徴量を近接特徴量とする。

次に、ステップＳ１００４では、上記ステップＳ１００３において参照された撮像条件に従って、撮像条件を変更する。たとえば、識別された１次識別特徴量に視点位置が付与されている場合、対象物を撮像するカメラの位置もしくは対象物を移動して画像を獲得し、特徴量を抽出する。

次に、ステップＳ１００５では、上記ステップＳ１００４において抽出された特徴量を識別する。識別方法は、上記ステップＳ１００２において識別された１次識別特徴量と近接特徴量とをそれぞれ撮像条件を変更した場合に得られる特徴量との距離に基づいて、２次識別を行う。

［第２の実施形態］
本実施形態は、上記ステップＳ１２０及びステップＳ１３０における処理のみが第１の実施形態と異なり、その他については第１の実施形態と同様である。本実施形態のステップＳ１２０では、第１の特徴量クラスタ中の着目特徴量と、第１の特徴量クラスタ中のそれ以外の特徴量との間の距離求める処理を、第１の特徴量クラスタ中のそれぞれの特徴量について行う。これにより、同じ対象物を違う撮像条件で撮像した場合に得られる撮像画像群から抽出される特徴量が特徴空間内で近接していても、識別することができる撮像条件を付与することができる。図３（ｈ）において６３は、１つの特徴量クラスタ５０の中で近接する特徴量群を示している。これにより、たとえば、カメラと対象物体との相対姿勢を変数とする特徴量クラスタを生成した場合、対象物の姿勢を識別することに有用な撮像条件を付与することが可能となる。

次に、ステップＳ１３０では、ステップＳ１２０で求めた距離のうち、閾値以下の距離を求めた特徴量ｉ、特徴量ｊのセットを特定する。そして特定したセット中のそれぞれの特徴量に対応する撮像条件を、これらの特徴量ｉ、ｊと関連付けて撮像条件保持部２０４に格納する。

なお、撮像条件を設定する際に、現在の撮像条件からの変化が定義できる撮像条件であることが望ましい。たとえば、カメラと対象物体との間の相対位置・姿勢変化を定義すれば解くことができる。近接する特徴量のカメラと対象物体との間の相対位置・姿勢から、同じ変化量を与えて得られる特徴量同士の距離があらかじめ設定したしきい値より大きい特徴量ベクトルの組を選択する。ここでは特徴量ベクトル間の距離が最大となる特徴量の組を与える撮像条件を設定するとして、θを視点、視点θで得られる特徴量ベクトルをＦ（θ）および視点変化量をΔθ’で示すと、Δθ’は以下の式を解くことにより決定される。特徴空間中で近接する特徴量ベクトルが得られる視点をθ１、θ２とおき、視点の組みあわせの集合をＢとおく。

対称物のような場合、複数姿勢で同じ見えとなる場合やある区間で同じ見えとなる場合がある。ある特徴量に対して距離があらかじめ設定されたしきい値より小さい特徴量がｋ個ある場合は、Δθ’は以下の式を解くことにより決定される。

近接する特徴量の分布が一次元分布としてθ１からθｋまでの区間で与えられるとすれば、Δθ’は以下の式を解くことにより決定してもよい。

［第３の実施形態］
図５は、本実施形態に係る画像処理装置の機能構成例を示すブロック図である。図５に示した構成は、図１に示した計算部２００に特徴量クラスタ選択部２５０、選択特徴量クラスタ保持部２０５を加えた構成となっている。図２（ｂ）は、本実施形態に係る計算部２００が行う処理のフローチャートである。なお、以下に説明する点以外については、第１の実施形態と同じであるものとする。

図２（ｂ）においてステップＳ２２０では、特徴空間距離算出部２３０は、特徴量クラスタ保持部２０２に管理されている特徴量クラスタ間で、特徴量間の距離を求める。そして特徴空間距離算出部２３０は、それぞれの特徴量クラスタに対して、特徴量間の最小距離を求めた他特徴量クラスタへのポインタ値、及びこの最小距離、を関連付けて、特徴空間距離保持部２０３に登録する。

次にステップＳ２３０では、特徴量クラスタ選択部２５０は、ステップＳ２２０において閾値以上の距離と関連付けた第１の特徴量クラスタ、及び第１の特徴量クラスタに関連付けられているポインタ値が指し示す第２の特徴量クラスタを特定（選択）する。そして選択した第１の特徴量クラスタ、第２の特徴量クラスタを、選択特徴量クラスタ保持部２０５に格納する。なお、選択する前に、距離以外にさまざまな撮像条件で特徴量が安定して得られている、撮像条件の変化によって特徴量が変化するなどの指標で特徴量クラスタを選別してもよい。

そしてステップＳ２４０では第１の実施形態と同様、撮像条件設定部２４０は、第１の特徴量クラスタと第２の特徴量クラスタとで同じ撮像条件に対応する特徴量を抽出する。そして、抽出した特徴量間の距離を求め、求めた距離が最大となる特徴量のセットを特定する。以降については第１の実施形態と同様である。撮像条件を設定する場合の距離のしきい値はあらかじめ設定しておく。この処理により選択された特徴量クラスタの中からより有用な特徴量を選択する。また、識別時の処理については、第１の実施形態と同じである。しかし、ステップＳ１００１では、ステップＳ２３０において選択された特徴量のみを抽出する。

［第４の実施形態］
本実施形態では、特徴空間中の距離に基づいて特徴量クラスタ同士を識別するのに有用な撮像条件（特徴量）を設定したあと、その設定された撮像条件も加味して特徴量クラスタを選択する。識別時の処理については第３の実施形態と同じである。

図９は、本実施形態に係る画像処理装置の機能構成例を示すブロック図である。図９に示した構成は、図１に示した計算部２００に特徴量クラスタ選択部２６０、選択特徴量クラスタ保持部２０６を加えた構成となっている。図８（ｂ）は、本実施形態に係る計算部２００が行う処理のフローチャートである。なお、以下に説明する点以外については、第１の実施形態と同じであるものとする。

ステップＳ３４０では、ステップＳ１２０で算出された距離、ステップＳ１３０で設定された撮像条件に基づいて識別に有用な特徴量クラスタを選択する。例えば、特徴量クラスタ内の特徴量に付与されている距離および撮像条件、撮像条件を変化させた場合の特徴量同士の距離を重みつけ加算し、その値から決定されるスコアから（例えばスコアの大きい）特徴量クラスタを選択する。

［第５の実施形態］
本実施形態では、特徴空間中の距離に基づいて、撮像条件ごとに特徴量を選択する。特徴量が選択されなかった撮像条件については、特徴量に別の対象物間の識別が可能な撮像条件を付与する。図１０は、本実施形態に係る画像処理装置の機能構成例を示すブロック図である。図１１（ａ）は、本実施形態に係る計算部２００が行う処理のフローチャートである。

ステップＳ４３０では、特徴量選択部２９０は、撮像条件ごとに距離があらかじめ設定されたしきい値以上の特徴量を選択し、選択した特徴量を選択特徴量保持部２０９に登録する。

ステップＳ４４０では、撮像条件設定部２４０は、選択特徴量保持部２０９に登録されている特徴量がない場合は、次のような処理を行う。即ち、最も距離が大きい特徴量同士の識別可能な撮像条件を、その特徴量が属する特徴量クラスタ内から、あらかじめ対象物間の識別が可能と設定された距離以上の特徴量を選択することで設定する。

次に、識別処理について、同処理のフローチャートを示す図１１（ｂ）を用いて以下説明する。まず、ステップＳ２２０１では、対象物を識別するのに有用な撮像条件に設定するか、対象物を撮像する条件を入力もしくは推定する。次にステップＳ２２０２では、上記ステップＳ２２０１で設定（入力、推定）された撮像条件に基づいて撮像された画像から特徴量を抽出する。抽出する特徴量は上記ステップＳ１１０における特徴量と同様である。

次に、ステップＳ２２０３では、上記ステップＳ１１０で生成した特徴量クラスタとの特徴空間における距離に基づいて、ステップＳ２２０２において抽出された特徴量を識別する。識別方法は特徴空間における距離が最も小さい特徴量を選ぶこととする。この特徴量クラスタ上の特徴量を１次識別特徴量とする。

次に、ステップＳ２２０４では、上記ステップＳ２２０３において識別された１次識別特徴量に付与されている撮像条件を参照する。１次識別特徴量に付与されている撮像条件がない場合、その１次識別特徴量と近接する特徴量は存在しないので、識別処理を終了する。

一方、付与されている撮像条件がある場合には、１次識別特徴量と近接する特徴量が存在するので、次のステップＳ２２０５にて撮像条件を変更して２次識別を行う。この１次識別特徴量と近接する特徴量を近接特徴量とする。

ステップＳ２２０５では、ステップＳ２２０４において参照された撮像条件に従って、撮像条件を変更する。必要であれば、画像を獲得、特徴量を抽出し、抽出された特徴量を識別する。識別方法は、上記ステップＳ２２０３において識別された１次識別特徴量と近接特徴量とをそれぞれ撮像条件を変更した場合に得られる特徴量との距離に基づいて、２次識別を行う。

［第６の実施形態］
本実施形態では、特徴空間中の距離に基づいて特徴量同士を識別するのに有用な撮像条件（特徴量）を設定したあと、その設定された撮像条件に変更したあとの特徴間の距離も加味して撮像条件ごとに識別に有用な特徴量を選択する。識別時の処理については第５の実施形態と同様である。

図７は、本実施形態に係る画像処理装置の機能構成例を示すブロック図である。図８（ａ）は、本実施形態に係る計算部２００が行う処理のフローチャートである。ステップＳ５４０では、ステップＳ１２０で算出された距離およびステップＳ１３０で設定された撮像条件および変更後の距離に基づいて、撮像条件ごとに特徴量を選択する。その際の選択方法は、特徴量クラスタ内の特徴量に付与されている距離および撮像条件、撮像条件を変化させた場合の特徴量同士の距離を重みつけ加算し、その値から決定されるスコアから撮像条件ごとに特徴量を選択する方法などがあげられる。なお、以上説明した各実施形態は適宜組み合わせて使用しても良い。

以上説明した撮像条件設定方法は、類似している対象物、似て非なる対象物の識別のための撮像条件を特徴空間における距離に基づいて選択することで、識別可能な撮像条件を設定するものである。これにより、識別の際に、被測定対象物に類似している対象物が存在する場合、それらを識別するための撮像条件を出力し、撮像条件を変更することで２次識別を可能とする。

また、以上説明した特徴選択方法は、類似している対象物、似て非なる対象物の識別のための特徴量および撮像条件を特徴空間における距離に基づいて選択することで、識別可能な特徴量を選択、撮像条件を設定するものである。これにより、識別の際に、被測定対象物に類似している対象物が存在する場合、それらを識別するための特徴量もしくは特徴量を取得するための撮像条件を出力し、特徴量もしくは撮像条件を変更することで２次識別を可能とする。また、撮像条件があらかじめわかっている場合、あらかじめ撮像条件に対応する特徴量を選択しておけば、その特徴量を抽出することで識別を高精度に行うことができる。

Claims (9)

1. Ｎ（Ｎ≧２）種類の撮像条件のそれぞれに基づいて撮像されたＮ枚の撮像画像を取得する手段と、
   前記Ｎ枚の撮像画像のそれぞれから特徴量を抽出し、該抽出した特徴量の集合を、該特徴量の抽出元の撮像画像の撮像条件と関連付けて、特徴量クラスタとして管理する管理手段と、
   前記管理手段が管理する第１の特徴量クラスタ中の特徴量と類似する特徴量を含む第２の特徴量クラスタを、前記管理手段が管理する特徴量クラスタ群から特定する第１の特定手段と、
   前記第１の特徴量クラスタ及び前記第２の特徴量クラスタから同じ撮像条件に関連付けられている特徴量を特定し、該特定した特徴量間の距離を求める第２の特定手段と、
   前記第２の特定手段が前記Ｎ種類の撮像条件のそれぞれについて求めた距離のうち、最も大きい距離を特定する第３の特定手段と、
   前記Ｎ種類の撮像条件のうち、前記第３の特定手段により特定された最も大きい距離を求めた撮像条件を、前記第１の特徴量クラスタと前記第２の特徴量クラスタとの間の識別が可能な撮像条件として出力する手段と
   を備えることを特徴とする画像処理装置。
2. 前記第１の特定手段は、
   前記第１の特徴量クラスタ中の各特徴量について、該特徴量と最も類似する特徴量を含む特徴量クラスタを前記第２の特徴量クラスタとして特定することを特徴とする請求項１に記載の画像処理装置。
3. Ｎ（Ｎ≧２）種類の撮像条件のそれぞれに基づいて撮像されたＮ枚の撮像画像を取得する手段と、
   前記Ｎ枚の撮像画像のそれぞれから特徴量を抽出し、該抽出した特徴量の集合を、該特徴量の抽出元の撮像画像の撮像条件と関連付けて特徴量クラスタとして管理する管理手段と、
   前記特徴量クラスタ中の着目特徴量と類似する特徴量を、前記特徴量クラスタ中の該着目特徴量以外の各特徴量から特定する特定手段と、
   前記着目特徴量と関連付けられている撮像条件と、前記特定手段が特定した特徴量と関連付けられている撮像条件と、を、前記特徴量クラスタの識別が可能な撮像条件として出力する出力手段と
   を備えることを特徴とする画像処理装置。
4. 更に、
   前記距離及び前記撮像条件に基づいて、特徴量クラスタ間の識別処理で用いる特徴量クラスタを選択する手段を備えることを特徴とする請求項１又は２に記載の画像処理装置。
5. 更に、
   前記距離及び前記撮像条件に基づいて、特徴量クラスタ間の識別処理で用いる、撮像条件ごとの特徴量を選択する手段を備えることを特徴とする請求項１又は２に記載の画像処理装置。
6. 画像処理装置が行う画像処理方法であって、
   前記画像処理装置の取得手段が、Ｎ（Ｎ≧２）種類の撮像条件のそれぞれに基づいて撮像されたＮ枚の撮像画像を取得する工程と、
   前記画像処理装置の管理手段が、前記Ｎ枚の撮像画像のそれぞれから特徴量を抽出し、該抽出した特徴量の集合を、該特徴量の抽出元の撮像画像の撮像条件と関連付けて、特徴量クラスタとして管理する管理工程と、
   前記画像処理装置の第１の特定手段が、前記管理工程で管理する第１の特徴量クラスタ中の特徴量と類似する特徴量を含む第２の特徴量クラスタを、前記管理工程で管理する特徴量クラスタ群から特定する第１の特定工程と、
   前記画像処理装置の第２の特定手段が、前記第１の特徴量クラスタ及び前記第２の特徴量クラスタから同じ撮像条件に関連付けられている特徴量を特定し、該特定した特徴量間の距離を求める第２の特定工程と、
   前記画像処理装置の第３の特定手段が、前記第２の特定工程で前記Ｎ種類の撮像条件のそれぞれについて求めた距離のうち、最も大きい距離を特定する第３の特定工程と、
   前記画像処理装置の出力手段が、前記Ｎ種類の撮像条件のうち、前記第３の特定工程で特定された最も大きい距離を求めた撮像条件を、前記第１の特徴量クラスタと前記第２の特徴量クラスタとの間の識別が可能な撮像条件として出力する工程と
   を備えることを特徴とする画像処理方法。
7. 画像処理装置が行う画像処理方法であって、
   前記画像処理装置の取得手段が、Ｎ（Ｎ≧２）種類の撮像条件のそれぞれに基づいて撮像されたＮ枚の撮像画像を取得する工程と、
   前記画像処理装置の管理手段が、前記Ｎ枚の撮像画像のそれぞれから特徴量を抽出し、該抽出した特徴量の集合を、該特徴量の抽出元の撮像画像の撮像条件と関連付けて特徴量クラスタとして管理する管理工程と、
   前記画像処理装置の特定手段が、前記特徴量クラスタ中の着目特徴量と類似する特徴量を、前記特徴量クラスタ中の該着目特徴量以外の各特徴量から特定する特定工程と、
   前記画像処理装置の出力手段が、前記着目特徴量と関連付けられている撮像条件と、前記特定工程で特定した特徴量と関連付けられている撮像条件と、を、前記特徴量クラスタの識別が可能な撮像条件として出力する出力工程と
   を備えることを特徴とする画像処理方法。
8. コンピュータを、請求項１乃至５の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。
9. 請求項８に記載のコンピュータプログラムを格納した、コンピュータ読み取り可能な記憶媒体。

Images