JP5588196B2 - 認識装置及びその制御方法、コンピュータプログラム - Google Patents

Description

本発明は認識装置及びその制御方法、コンピュータプログラムに関し、特に、学習時と認識時に照明変動があり得る環境において、撮像手段によって獲得される画像から対象物を認識する技術に関する。

近年、工場などで行われる組立等の作業をロボットに行わせる需要が高まっている。その中でも、位置および姿勢が常に一定でない作業対象物体をロボットで扱う場合、作業対象物体の位置および姿勢を計測する仕組みが必要であり、視覚センサはその手段として一般的によく用いられるものである。

より高度な組立等の作業をロボットに行わせるためには、組み立てる部品などを視覚センサにより認識する必要がある。古くから部品のＣＡＤデータなどの形状情報と視覚センサなどにより得られる２次元もしくは３次元情報とを照合して、部品の種別および位置・姿勢を認識する研究がなされてきた。また、認識手法のひとつとして、撮像装置によって得られる対象物体の画像から抽出される特徴量をコンピュータに学習させて、入力された画像の中に映る被写体物体の種別を認識する研究も活発になされてきた。

しかし、画像を用いた物体認識技術では、被写体物体における鏡面反射や光沢の観察や、照明方向や強度の変化、或いは、照明、撮像装置、及び被写体物体の位置関係の変化などにより学習時と認識時において照明変動が起きた場合、認識率は低下する。

そこで、学習時と認識時において照明変動が起きる場合に対応するための認識の研究がなされてきた。照明変動に対してロバストとするための手法としては、学習や認識に用いる画像特徴としてエッジなどの照明変動が小さな特徴を用いるものが知られている。或いは、レンジファインダなどで３次元構造を取得して認識時に変動をシミュレーションするもの、或いは、さまざまな照明変動を学習データに含めるものなども知られている。

特許文献１にも、学習時と認識時において照明条件が異なる場合においても画像を認識するための構成が記載されている。特許文献１の構成では、まず認識対象物を撮像して、認識が成功した撮像画像を登録画像として記憶しておく。実際の認識時には、撮像画像の認識が失敗した場合、撮像画像内の認識対象物を表す領域において認識対象物の特徴点を一点検出する。その検出された特徴点の画素値とその特徴点と同じ位置にある登録画像の特徴点の画素値との関係を表す写像関数を算出し、写像関数を用いて撮像画像の各画素値を補正して照明変動を補正する。

特開２００８−６５３７８公報

画像からある特徴量を抽出して、その特徴量を特徴量ベクトルによって構成される特徴空間にマッピングして、識別関数を学習する認識技術では、学習時と認識時とにおいて照明変動が起きる場合、対象物の高精度な識別が困難であるという課題がある。

特許文献１の構成では認識に失敗した場合に、特徴点を一点検出して、その特徴点の画素値と学習時に得られた特徴点の画素値との関係から、補正を行う。補正に利用する写像関数を計算するためには特徴点対応を得る必要があり、特許文献１には、人間の顔の目や眉毛、肌色領域を抽出したり、もしくはマーカーを利用したりして特徴点対応を得ることが記載されている。このような手法は、対象物の特定部位や特徴点を検出できる場合や、マーカーなどにより対応点が一意に決定される場合に有効であると言える。しかし、補正を行うためには対応点を探索しなければならず、照明変動により対応関係が不定となる場合や誤対応をおこす場合に補正を精度よく行うことができない。

本発明は上記の課題を解決するためになされたもので、照明変動が存在する環境においても対象物認識をより安定的に行うための技術を提供することを目的とする。

上記目的を達成するため、本発明による第一の認識装置は以下の構成を備える。即ち、対象物の位置姿勢を認識する認識装置であって、
規定の照明条件で撮像装置により撮像された前記対象物の撮像画像を入力する第１入力手段と、
前記撮像画像を解析して該撮像画像中の複数の特徴部分を決定し、該複数の特徴部分における画像特性をそれぞれ示す複数の特徴量を抽出する抽出手段と、
前記対象物上の前記複数の特徴部分のそれぞれにおける物理的性質を示す性質情報を入力する第２入力手段と、
前記撮像画像の撮像時における照明条件を示す照明情報を入力する第３入力手段と、
学習画像に含まれる前記対象物上の複数の特徴部分のそれぞれにおける物理的性質と、該学習画像の撮像時における照明条件と、の関係を保持する保持手段と、
前記性質情報が示す物理的性質と、前記照明情報が示す照明条件と、前記保持手段が保持している前記関係と、に基づいて、前記抽出した複数の特徴量の各々の重要度を決定する決定手段と、
前記複数の特徴量をそれぞれの重要度で重み付けした値に基づいて、前記対象物の位置姿勢を認識する認識手段と
を備える。

本発明によれば、照明変動が存在する環境においても対象物認識をより安定的に行うことができる。

対象物認識システムの機能構成を示す図。 対象物認識処理のフローを示したフローチャート。 対象物認識システムの構成例を示す図。 照明条件等を示す情報の三次元空間内での分布を示す模式図。 対象物認識システムの機能構成を示す図。 対象物認識処理のフローを示したフローチャート。 対象物中心から見た撮像部及び照明の方向ベクトルを示す模式図。 対象物認識システムの機能構成を示す図。 対象物認識処理のフローを示したフローチャート。 対象物認識装置のハードウェア構成を示す図。

以下、添付図面を参照して本発明の実施の形態を詳細に説明する。

＜＜第１の実施形態＞＞
（対象物認識システムの機能構成）
図１に、第１の実施形態における対象物認識システムの基本的な機能構成例を示す。

Ａ１００は画像データを取得するための撮像部であり、対象物を撮像して撮像画像を対象物認識装置Ａ４００に供給する。Ａ２００は物理的情報取得部であり、対象物の表面の、例えば、法線ベクトル、物体反射率、反射特性（拡散反射率、鏡面反射率）等の物理的性質を示す物理的情報（性質情報）を取得する。Ａ３００は照明情報保持部であり、照明及びカメラ（撮像部）の位置・方向や、照明の強度などの照明条件を示す情報を、照明情報として保持する。

Ａ４００は認識のためのさまざまな計算を行う対象物認識装置であり、特徴抽出部Ａ４１０、特徴重要度決定部Ａ４２０、認識処理部Ａ４３０、特徴情報保持部Ａ４０１を備える。特徴抽出部Ａ４１０は、輝度勾配や特徴点（例えば後述のＫｅｙｐｏｉｎｔｓ）などの特徴（特徴部分）や、当該特徴における画像の特性を示す特徴量を、撮像画像を解析して抽出する。また、特徴抽出部Ａ４１０は、所定の照明条件で撮像装置により撮像された対象物の撮像画像を入力する第１入力手段としても機能する。

特徴重要度決定部Ａ４２０は、対象物の表面の物理的情報と照明情報とに基づいて、抽出した特徴量の各々の重要度を決定する。なお、特徴重要度決定部Ａ４２０は、対象物上の複数の特徴部分のそれぞれにおける物理的性質を示す性質情報を入力する第２入力手段、並びに、撮像画像の撮像時における照明条件を示す照明情報を入力する第３入力手段としても機能する。

認識処理部Ａ４３０は、特徴抽出部Ａ４１０が抽出した特徴と、特徴重要度決定部Ａ４２０が決定した当該特徴の重要度とに基づいて、対象物の種類、位置・姿勢などを認識する。認識の際は、特徴量をその重要度で重み付けしたものに基づいて処理を行う。特徴情報保持部Ａ４０１は、特徴重要度決定部Ａ４２０において重要度が決定された特徴情報を保持する。

（対象物認識装置のハードウェア構成）
図１０は、対象物認識装置Ａ４００のハードウェア構成例を模式的に示すブロック図である。対象物認識装置Ａ４００は、例えば、パーソナルコンピュータ（ＰＣ）やワークステーション（ＷＳ）、モバイル端末、スマートフォン等で実現される。

図１０において、ＣＰＵ９９０は中央演算処理装置であり、オペレーティングシステム（ＯＳ）やアプリケーションプログラム等のコンピュータプログラムに基づいて他の構成要素と協働し、対象物認識装置Ａ４００全体の動作を制御する。ＲＯＭ９９１は読み出し専用メモリであり、基本Ｉ／Ｏプログラム等のプログラム、基本処理に使用するデータ等を記憶する。ＲＡＭ９９２は書き込み可能メモリであり、ＣＰＵ９９０のワークエリア等として機能する。

外部記憶ドライブ９９３は記録媒体へのアクセスを実現し、メディア（記録媒体）９９４に記憶されたプログラム等を本システムにロードすることができる。メディア９９４には、例えば、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤ、ＵＳＢメモリ、フラッシュメモリ等が含まれる。外部記憶装置９９５は大容量メモリとして機能する装置であり、本実施形態ではハードディスク装置（以下、ＨＤと呼ぶ）を用いている。ＨＤ９９５には、ＯＳ、アプリケーションプログラム等が格納される。

指示入力装置９９６はユーザからの指示やコマンドの入力を受け付ける装置であり、キーボードやポインティングデバイス、タッチパネル等がこれに相当する。ディスプレイ９９７は、指示入力装置９９６から入力されたコマンドや、それに対する対象物認識装置Ａ４００の応答出力等を表示したりする表示装置である。インターフェイス（Ｉ／Ｆ）９９８は外部装置とのデータのやり取りを中継する装置である。システムバス９９９は、対象物認識装置Ａ４００内のデータの流れを司るデータバスである。

（対象物認識処理の概要）
次に、本実施形態に係る対象物認識システムにおける対象物認識処理の概要を図２に基づいて説明する。

まず、撮像工程（Ｓ１１０）では、撮像部Ａ１００が撮影を行う。撮像により獲得された画像データは特徴抽出部Ａ４１０に送信される。

特徴抽出工程（Ｓ１２０）では、Ｓ１１０によって撮影された画像中の特徴およびその特徴を記述する特徴量を取得する。取得された特徴および特徴量は物理的情報取得部Ａ２００および特徴重要度決定部Ａ４２０に送信される。なお、特徴（特徴部分）は、点、又は、一定範囲を占める領域である。

物理的情報取得工程（Ｓ１３０）では、Ｓ１２０において抽出された特徴近傍表面の物理的情報を取得する。取得された物理的情報は特徴重要度決定部Ａ４２０に送信される。物理的情報はあらかじめ取得されていて、記憶しておいてもよい。その場合、物理的情報取得部Ａ２００は記憶装置として利用される。

特徴重要度決定工程（Ｓ１４０）では、Ｓ１２０において抽出された特徴に対して、
・Ｓ１３０において取得された物理的情報。
・照明情報保持部Ａ３００に保持されている特徴位置から見た照明方向および撮像部方向の少なくともいずれか１つ。
の両方に基づいて、各特徴の重要度を決定する。重要度を決定された特徴および重要度は特徴情報保持部Ａ４０１に送信され、保持される。

認識処理工程（Ｓ１５０）では、Ｓ１４０において重要度を決定された特徴および特徴量を用いて所定の認識処理を行い、対象物認識を行う。

（対象物認識システムの具体例）
図３（ａ）に、第１の実施形態における対象物認識システムの具体的な構成例を示す。

１０は撮像部Ａ１００として動作するカメラであり、対象物４０を撮像対象として捉えている。２０は物理的情報取得部Ａ２００として動作する距離センサであり、対象物４０表面の物理的情報の１つである法線ベクトルを取得する。その他の対象物表面の物理的情報としては、例えば、物体反射率や反射特性（拡散反射率、鏡面反射率）などがある。３０は照明であり、対象物４０に向けて光を照射している。照明３０の位置や照射方向、強度などの照明情報はあらかじめ得られており、照明情報保持部Ａ３００に保持されている。

５０は対象物認識装置Ａ４００として動作する計算機（コンピュータ）であり、特徴抽出部Ａ４１０、特徴重要度決定部Ａ４２０、認識処理部Ａ４３０を、プログラムを実行することにより実現する。また、計算機５０は、距離センサ２０を操作して物理的情報を取得することができる物理的情報取得部Ａ２００（に相当するインターフェース）が装備されている。計算機５０は、特徴情報保持部Ａ４０１として利用できるメモリを搭載し、照明情報保持部Ａ４０１として利用できる不揮発性の記憶装置を外部もしくは内部に持っている。これらの記憶装置は、ＲＡＭ９９２，ＨＤ９９５等により実現することができる。計算機５０はカメラ１０、距離センサ２０、及び照明３０に接続されているが、照明３０は計算機５０から切り離されていてもよい。

（対象物認識処理の詳細）
次に、本実施形態に係る対象物認識システムが実行する具体的な処理内容を図２の処理フローに沿って説明する。

○撮像（Ｓ１１０）
Ｓ１１０では、カメラ１０によって対象物４０を撮影し、画像データを獲得する。撮影時の対象物をとらえるカメラ１０の位置・方向、及び、照明３０の位置・方向などの情報はあらかじめ得られており、照明情報保持部Ａ３００に保持されている。

○特徴抽出（Ｓ１２０）
次に、Ｓ１２０では、Ｓ１１０で獲得された画像から特徴点とその特徴点まわり（特徴点の周囲）の情報を記述する特徴量とを抽出する。特徴量は、例えば、ＳＵＲＦ（非特許文献１）のような抽出された特徴点まわりの輝度勾配などの情報を記述するものを使用することができる。その他には、特徴点は、例えば、いわゆるＫｅｙｐｏｉｎｔｓ（非特許文献２、３）などの特徴点を用いることができる。ここではｘ_i、ｙ_iを画像座標として、各特徴点をｆ_i＝（ｘ_i，ｙ_i）（ｉ＝１，２，・・・，Ｎ）と表す。また、特徴量を表す特徴量ベクトルをＦ_i（ｉ＝１，２，・・・，Ｎ）とする。Ｎは画像から得られる特徴点の総数、ｉは各特徴点を表すインデックスである。
［非特許文献１］H.Bay, "Speeded-Up RobustFeatures (SURF)", Computing Vision and Image Understanding, Vol.110 (3)June 2008, pp.346-359.
［非特許文献２］E.Tola, "A Fast LocalDescriptor for Dense Matching", CVPR 2008.
［非特許文献３］K.Mikolajczyk, "A PerformanceEvaluation of Local Descriptors", PAMI, 27(10) 2004, pp.1615-1630.

○物理的情報取得（Ｓ１３０）
次に、Ｓ１３０ではＳ１２０において抽出された各特徴点ｆ_i近傍表面の物理的情報を得る。物理的情報としては、物体反射率や法線ベクトルなど、物体もしくは特徴点近傍固有のパラメータ又はベクトルを用いることができる。本実施形態においては、物理的情報として法線ベクトルを距離センサ２０によって取得する。ここでは特徴点ｆ_iに対する法線ベクトルをｎ_i（ｉ＝１，２，・・・，Ｎ）で表す。法線ベクトルは特徴点に対応する３次元座標から近傍画素に対応する３次元座標へのベクトル群を主成分分析することで求められる。以上の作業を各特徴点に対して行う。法線ベクトルが計測不可能である場合は、計測不可能であることを記録しておく。計測不可能な場合について、本実施形態ではｎ_i＝（０，０，０）としておく。

○特徴重要度決定（Ｓ１４０）
次に、Ｓ１４０では、Ｓ１２０において抽出された各特徴点ｆ_iに対して、
・Ｓ１３０において取得された法線ベクトルｎ_i。
・特徴点位置から見た照明方向および撮像部方向の少なくともいずれか１つ。
の両方に基づいて、各特徴点の重要度を決定する。特徴点位置から見た照明方向および撮像部方向は、例えば、照明情報保持部Ａ３００に保持されている照明および撮像装置の三次元位置と、距離センサなどを用いて得られる特徴点の三次元位置とから求めることができる。

図３（ｂ）は、特徴点４１に関する、法線ベクトル４２、照明方向３１、及び撮像部方向（特徴点から見たカメラ１０の方向）１１を示す図である。ここでは簡単のため図３（ｃ）のようにカメラ１０の光軸の方向と照明３２の光軸の方向が同軸である、即ち、カメラ１０の光軸と照明３２の光軸とが一致している場合を説明する。各特徴点ｆ_iの位置から見た照明方向および撮像部方向をｌ_i（ｉ＝１，２，・・・，Ｎ）とする。

各特徴点ｆ_iの重要度はあらかじめ学習時に得られている特徴点（量）群（学習サンプル）との関係によって決定される。学習サンプルはあらかじめさまざまな照明方向、撮像部方向から対象物を捉えて取得しておく。その際も各特徴点近傍の法線ベクトル、照明位置、撮像装置の位置は得られているものとする。

ここでは、特徴点の位置から見た照明方向（撮像部方向）および特徴点近傍の法線ベクトルによって重要度を評価・決定する。決定手法としては、例えば、照明方向、法線ベクトル間の角度により評価する手法や、照明方向、法線ベクトルを量子化してヒストグラムを作成して評価する手法等がある。重要度は、例えば、０か１を割り当てたり、０から１の間の実数を割り当てたりすることができる。

〔ベクトル間角度による重要度評価〕
まず、照明方向、法線ベクトル間の角度により評価する手法を説明する。この手法では、特徴点ｆ_iにおける２つの方向ベクトル間の角度と同じ角度の学習サンプルがある場合に、当該特徴点ｆ_iの重要度を高くする。例えば、特徴点ｆ_iの重要度ω_iを、数式１のように法線ベクトルｎ_iと特徴点から見た照明方向ベクトルｌ_iと間の角度θ_iの関数で表す。ここで、角度θ_i（ｉ＝１，２，・・・，Ｎ）は以下のように表される。

数式１によって、Ｎ個の全特徴点に対して角度θ_iを計算する。各θ_iに関して、あらかじめ学習時に記録されている、照明方向と法線ベクトルとの角度θのリストを参照して、θ_i近傍の学習サンプルが存在すれば重要度を１、存在しなければ０とする。後述するように、学習サンプルにおいて得られていない光学的条件で取得した特徴点（すなわち、重要度が０の特徴点）は後段の認識処理で使用されない。なお、θ_i近傍の学習サンプルの重要度の値は１から０の間で決定してもよい。この場合、θ_iに対応するθのリストをθ’とすれば、θ_iとθ’の差によって重要度ω_iが決定される（数式２）。

数式２において、αはθのリストに含まれるサンプル数であり、εは予め定められた定数である。θ_iに対応する学習サンプル数が大きければ、特徴点ｆ_iと同じ位置条件（特徴点と照明、撮像装置の位置関係）で特徴が得られた可能性が高いため、重要度を大きくする。なお、本実施形態では、ベクトル間の角度のみに着目したが、照明強度等に着目してもよい。本実施形態では輝度勾配を利用している局所特徴量を画像特徴として利用しているため、特徴点から見た照明方向と法線ベクトル間の角度に着目する。法線ベクトルが取得できていない特徴点、つまり、ｎ_i＝（０，０，０）である特徴点に関しては重要度を１もしくは０とするが、どちらにするかは学習時に決定しておく。

〔ヒストグラムによる重要度評価〕
次に、照明方向、法線ベクトルを量子化してヒストグラムを作成して評価する手法を説明する。図４（ａ）のように特徴点から見た照明方向ベクトル５０１を三次元空間座標系５０２に設けた球面５０３上にプロットして、球面の分割面を１セルとするヒストグラム５０４を作成する。例えば図４（ｂ）のように分割した場合、１セルを示す球面の分割面は５０５のようになる。分割手法は測地ドームのように多面体近似法で分割してもよいし、認識率が高くなるように分割手法を学習して決定してもよい。各セルｋに対応する重要度α_kを、例えば、数式３のように各セルｋに含まれる学習サンプル数と全学習サンプル数から計算する。
［数３］
α_k＝（セルｋの学習サンプル数）／（全学習サンプル数）

数式３によって計算された重要度をＳ１２０において抽出された各特徴点ｆ_iに対して、特徴点から見た照明方向ベクトルｌ_iによって決定する。同様に、特徴点近傍の法線ベクトルｎ_iに対しても同様の処理を行って重要度β_kを決定する。最終的に各特徴点ｆ_iの重要度γ_iは特徴点から見た照明方向ベクトルｌ_iと特徴点近傍の法線ベクトルｎ_iとのそれぞれから決定された重要度α、βの積となる。即ち、γ＝α×βである。学習時に光学的に同様の条件で多くサンプル数を得ている特徴点は、ヒストグラムの度数が大きくなり重要度が大きくなる。

後段の認識処理においては、重要度γ_iが予め定められたしきい値以上の特徴点のみ利用したり、或いは、各特徴点の重要度γ_iを認識処理の際に重みづけとして利用したりすることができる。法線ベクトルが取得できていない特徴点に関しては先と同様に重要度をあらかじめ決定しておく。

なお、重要度の評価は上述したものに限られない。例えば、図４（ｃ）のように各特徴点ｆ_iについて、
・特徴点から見た照明方向ベクトルｌ_iの学習サンプル。
・特徴点近傍の法線ベクトルｎ_iの学習サンプル。
から２次元ヒストグラムを作成し、各セルの重要度を決定してもよい。２次元ヒストグラムの各セルは照明方向ベクトルｌ_i及び特徴点近傍の法線ベクトルｎ_iそれぞれによって描かれる球面の分割面における位置を示している。各特徴点ｆ_iの重要度γ_iは、照明方向ベクトルｌ_i及び法線ベクトルｎ_iに基づき割り当てられたセルの各々について決定される。

上記のように、本実施形態では、特徴量の重要度を、取得した物理的情報及び照明情報を、予め取得されている物理的性質及び照明条件のサンプルとを比較して決定する。このため、照明条件が変化する環境であっても、対象物認識を精度よく行うための特徴量を適切に選択することができる。

○認識処理（Ｓ１５０）
最後に、Ｓ１５０では、Ｓ１４０において重要度を決定した特徴点群を用いて、所定の認識処理を行うことで対象物認識を行う。本実施形態ではＢａｇ−ｏｆ−ｋｅｙｐｏｉｎｔｓ（Ｂａｇ−ｏｆ−ｗｏｒｄｓ）（非特許文献４）のように、各特徴点ｆ_iから得られた特徴量Ｆ_iを量子化して、画像ごとにヒストグラムを作成する。そして、そのヒストグラムを画像の特徴量Ｆとする。
［非特許文献４］ J. Zhang, "Local Features andKernels for Classification of Texture and Object Categories: A ComprehensiveStudy", International Journal of Computer Vision, 2006.

ここで、特徴量Ｆ_iのヒストグラムを作成する際は、Ｓ１４０において決定した重要度で重み付けを行って、重要度を反映させる。具体的には、例えば、各特徴点をヒストグラムに加算する際に重要度を積算してから加算する。

なお、予め、学習サンプル画像群に対して同様にヒストグラムを作成しておき、対象物が撮影されている画像とそれ以外の画像を識別する超平面をサポートベクターマシーン（ＳＶＭ）により事前学習しておく。そして、その重要度で重み付けられた特徴量と、事前に学習しておいたものとを比較して、対象物の種類や位置姿勢等を認識する。

なお、ＳＶＭに使用するヒストグラム特徴量としては、画像特徴のみではなく、Ｓ１３０において取得された法線ベクトルや照明情報保持部Ａ３００に保持されている光学的情報も合わせてベクトル量子化してもよい。あるいはｉｍｐｌｉｃｉｔ−ｓｈａｐｅ−ｍｏｄｅｌ（非特許文献５）のように各局所特徴から対象物中心への確率投票を行う手法で認識処理を行ってもよい。その際の確率投票のときに重要度を積算して投票を行う。多クラス問題の際は、全クラスに対してそれぞれ投票を行ったあと最も投票されたクラスおよび位置を認識結果とすればよい。
［非特許文献５］ B. Leibe and B. Schiele,"Scale-Invariant Object Categorization using a Scale-Adaptive Mean-ShiftSearch", DAGM'04 Pattern Recognition Symposium.

また、第１の実施形態においては、対象物認識手法、装置として記載したがＳ１５０を持たない特徴重要度決定手法としても利用することができる。

上記のように、本実施形態では、撮像画像から特徴（特徴部分）および特徴量を抽出して、その特徴近傍表面の物理的性質と、特徴位置から見た照明方向および撮像手段方向の少なくともいずれか１つとに基づいて特徴の重要度を決定する。そして、重要度で重み付けをした特徴量を用いて所定の認識処理を行う。このため、照明変動に伴う特徴量変化が小さい特徴のみに着目して、対象物の認識を安定的に行うことが可能となる。

＜＜第２の実施形態＞＞
（機能構成）
図５に、第２の実施形態における対象物認識システムの基本的な機能構成を示す。Ａ１００、Ａ２００、Ａ３００、Ａ４００、Ａ４１０、Ａ４３０、Ａ４０１は第１の実施形態と同様である。本実施形態に係る対象物認識システムは、特徴重要度決定部Ａ４２０を有さないが、特徴取得条件変更部Ａ４４０、特徴取得部Ａ４５０を備えている。特徴取得条件変更部Ａ４４０は、対象物の表面の物理的情報と照明情報とに基づいて、特徴取得条件を変更する。特徴取得部Ａ４５０は、変更した特徴取得条件（撮像条件）で、対象物の特徴を再度取得する。なお、特徴取得条件には、撮像時の、照明の位置及び方向と、撮像装置の位置及び方向との少なくともいずれか１つが含まれる。

第１の実施形態においては、学習サンプルからの物理的情報によって識別時に得られた各特徴点の重要度を決定した。本実施形態では、学習サンプルから得られた物理的情報から識別時に取得する特徴の物理的条件を変更することで、照明条件が変動した場合においても対象物体の認識を精度よく行う。

（対象物認識処理の概要）
次に処理フローについて説明する。本実施形態の処理フローは図６で示される。まず、撮像工程（Ｓ２１０）から物理情報取得工程（Ｓ２３０）は、第１の実施形態におけるＳ１１０〜Ｓ１３０と同様である。

特徴取得条件変更工程（Ｓ２４０）では、特徴抽出工程（Ｓ２２０）において抽出された特徴に対して、
・Ｓ２３０において取得された物理的情報。
・照明情報保持部Ａ３００に保持されている特徴位置から見た照明方向および撮像部方向の少なくともいずれか１つ。
の両方に基づいて、特徴情報保持部Ａ４０１にあらかじめ保持されている情報との比較により特徴を取得する条件（特徴取得条件）を変更する。特徴取得条件としては、例えば、撮像装置、対象物に照射する照明装置の位置・向き、対象物の位置・向きなどが挙げられる。

特徴取得工程（Ｓ２５０）では、Ｓ２４０において特徴取得条件を変更した上で、再度、特徴および特徴量を取得する。取得された特徴は認識処理部Ａ４３０に送信される。

認識処理工程（Ｓ２６０）では、Ｓ２５０において取得した特徴および特徴量を用いて所定の認識処理を行い、対象物認識を行う。

（対象物認識システムの具体例）
次に、第２の実施形態における対象物認識システムの具体的な構成例は第１の実施形態で参照した図３（ａ）とほぼ同様である。ただし、対象物認識装置Ａ４００に相当する計算機５０は、プログラムとして特徴抽出部Ａ４１０、認識処理部Ａ４３０の他に、特徴取得条件変更部Ａ４４０、特徴取得部Ａ４５０を有している。また、特徴取得条件変更部Ａ４４０として、本実施形態では、カメラ１０と照明３０の少なくとも一方の位置、向きなどを変更可能なインターフェースが装備されている。計算機５０は、カメラ１０、距離センサ２０、場合によっては照明３０に接続されている。

（対象物認識処理の詳細）
次に、本実施形態に係る対象物認識システムが実行する具体的な処理内容を図２の処理フローに沿って説明する。

撮像工程（Ｓ２１０）、特徴抽出工程（Ｓ２２０）および物理的情報取得工程（Ｓ２３０）は第１の実施形態におけるＳ１１０、Ｓ１２０およびＳ１３０と同様である。

○特徴取得条件変更（Ｓ２４０）
次に、特徴取得条件変更工程（Ｓ２４０）では、物理的情報が示す対象物の特徴部分における物理的性質と、照明情報が示す照明条件とに基づいて、撮像装置が対象物を撮像する時の撮像条件を変更する。具体的には、Ｓ２２０において抽出された各特徴点ｆ_iに対して、
・Ｓ２３０において取得された法線ベクトルｎ_i。
・照明情報保持部Ａ３００に保持されている特徴点の位置から見た照明方向および撮像部方向の少なくともいずれか１つ。
の両方に基づいて、特徴情報保持部Ａ４０１にあらかじめ保持されている特徴点情報との比較により、特徴取得条件を変更する。

特徴取得条件の変更の前提として、本実施形態においても、学習サンプルの物理的情報のヒストグラムを予め作成しておき、特徴情報保持部Ａ４０１に保持しておく。その上で、Ｓ２４０では、Ｓ２２０において抽出された特徴点群から作成されるヒストグラムの分布が特徴情報保持部Ａ４０１に保持しておいたものに近づくように、カメラ１０もしくは照明３０の位置・方向を変更する。本実施形態においても簡単のため図３（ｃ）のようにカメラ１０と照明３２の光軸が同軸、すなわち一致している場合を説明する。

ヒストグラムを作成する物理的情報としては、第１の実施形態と同様に、例えば、学習サンプルに含まれる各特徴点に関する法線ベクトルと特徴点の位置から見た照明方向ベクトルとの角度差とすることができる。この場合、ヒストグラムｐは数式４に示されているようにサンプル数によって正規化される。

ただし、ｕはヒストグラムの各セルのインデックス、Ｍはヒストグラムのセルの総数、ｐ_uはｕで表されるインデックスのセルの度数を表している。Ｓ２２０で抽出された各特徴点ｆ_iにおける法線ベクトルｎ_iと特徴点から見た照明方向ベクトルｌ_iとの角度差のヒストグラムをｑとしたとする。この場合、ヒストグラムｑもヒストグラムｐと同様に数式５のように特徴点数Ｎによって正規化される。

学習サンプルによって得られるヒストグラムｐとＳ２２０において得られた画像特徴群によって得られるヒストグラムｑの類似度を計算して、その類似度が大きくなるように照明３０（カメラ１０）の位置・向きを変更する。ヒストグラムｐとｑの類似度はρ［ｐ、ｑ］で表す。ヒストグラム同士の類似度は数式６のようにＢｈａｔｔｃｈａｒｙｙａ係数で評価する。ただし、これに限られるわけではなく、例えば、数式７のようなｈｉｓｔｏｇｒａｍ−ｉｎｔｅｒｓｅｃｔｉｏｎ、数式７のようなχ²乗距離によって評価してもよい。

照明３０（カメラ１０）の位置・向きをｙで表すと、ｙにおけるヒストグラムはｑ［ｙ］と表せ、ヒストグラムの類似度は以下の数式８のようになる。

最も類似度が高くなる照明３０（カメラ１０）の位置・向きｙを求めればよいので、

となる。例えば、探索初期位置・向きをｙ₀とすれば、ｙ₀に近いｙでは、ヒストグラムの値も近いと考えて、Ｂｈａｔｔｃｈａｒｙｙａ係数をＴａｙｌｏｒ展開すると、

となる。第１項はｙに依存しないので、類似度を最大にするｙを探索する問題は第２項

を最大化する問題になる。ここでは最大となるｙを求めているが、類似度がしきい値以上となるｙを求めてもよい。探索手法はｇｒｅｅｄｙに探索してもよいし、ＭｅａｎＳｈｉｆｔを使ってもよい。ＭｅａｎＳｈｉｆｔの場合、入力ヒストグラムを以下の数式１２のように定義する。

ただし、δ［ｉ］はｉ＝０で１をとるデルタ関数で、ｂ（ｘ）はｘの位置におけるヒストグラムの度数、ｋ（ｄ）は中心に近いほど大きい値をとる微分可能な重み関数を表す。ｎ_hはビンｕに属する画素数、ｈはスケールである。数式１１に数式１２を代入すると、

よって、数式１３の最大とするｙ₁は、ｇ（ｘ）をカーネル関数の微分として、ｇ（ｘ）＝−ｋ’（ｘ）とすれば、

となる。

または、あらかじめ得られている学習サンプルの物理的条件と一致する特徴点の数が増えるようにカメラ１０もしくは照明３０の位置・方向を変更してもよい。その場合は学習サンプルによって得られているヒストグラム、及び、Ｓ２２０において得られた画像特徴群によって得られるヒストグラムｑを総数によって正規化を行わない。数式６で表されるヒストグラムｐとｑのｈｉｓｔｏｇｒａｍ−ｉｎｔｅｒｓｅｃｔｉｏｎが最大となるように照明３０（カメラ１０）の位置・向きを変更する。ここでも類似度がしきい値以上となるｙを求めてもよい。

ヒストグラムの求め方については学習サンプルの各特徴点の法線ベクトルおよび特徴点から見た照明方向を図４（ｂ）のように球面上にプロットして、各分割面がヒストグラムの各セルに対応するように２次元ヒストグラムを作成してもよい。

○特徴取得（Ｓ２５０）
次に、特徴取得工程（Ｓ２５０）では、Ｓ２４０で変更された撮像条件で撮像された対象物の撮像画像から抽出された特徴量に基づいて、対象物を認識する。具体的には、まず、Ｓ２４０においてカメラ１０もしくは照明３０の位置・方向が変更されたあと、再度カメラ１０によって対象物４０を撮影し、画像データを獲得する。獲得された画像データからＳ２２０と同様の手法で特徴および特徴量を取得する。次の認識処理工程（Ｓ２６０）で特徴量として光学的情報が必要であれば、Ｓ２３０と同様の手法で、各特徴点近傍の物理的情報も取得しておく。

最後に、認識処理工程（Ｓ２６０）では、第１の実施形態におけるＳ１５０と同様の処理により認識処理を行う。

上記のように、本実施形態では、対象物を撮像した撮像画像から特徴および特徴量を抽出して、その特徴近傍表面の物理的性質と、特徴位置から見た照明方向、撮像手段方向の少なくともいずれか１つとに基づいて、特徴取得条件を変更する。変更したのちに特徴および特徴量を取得して、所定の認識処理を行う。このため、照明変動に合わせて、適切な特徴量を取得して、対象物認識を精度よく行うことができる。

なお、本実施形態では、物理的情報が示す対象物上の特徴部分における物理的性質、及び、照明情報が示す照明条件が、予め取得しておいた物理的性質及び照明条件のサンプルに近づくように、撮像条件を変更することを説明した。また、物理的情報が示す対象物上の特徴部分における物理的性質、及び、照明情報が示す照明条件が、特徴部分について予め定められた分布を示すように、撮像条件を変更することも説明した。これらの構成では、事前に学習しておいた精度のよい対象物認識が可能な認識条件で対象物認識を行うことが可能となる。

また、学習時に各特徴に対して、物理的情報を得ることで、その物理的条件をさまざまな条件に設定したり、認識時に、学習時に得られたサンプルの物理的条件の分布が近くなるように特徴取得条件を変更することができる。もしくは認識に有用な特徴を取得できるように特徴取得条件を変更することで照明変動に対して安定な認識装置を実現することができる。このように、本実施形態の構成によれば、物理的性質と、特徴位置から見た照明方向および撮像手段方向の少なくともいずれか１つとに基づいて、特徴取得条件を変更することで照明変動に対して安定な特徴のみを取得することができる。

＜＜第３の実施形態＞＞
第３の実施形態は基本的な機能構成、処理フローともに第２の実施形態とほぼ同様であるが、特徴取得条件変更工程（Ｓ２４０）の具体的な処理内容が異なる。第２の実施形態においては、学習時に得られた学習サンプルの分布（ヒストグラム）に従って、認識時に取得する特徴取得条件を変更したが、本実施形態においては学習時に得られる後述のポテンシャル面に従って特徴取得条件を変更する。

本実施形態では、学習時に対象物をとらえる照明の位置・方向、及び撮像装置の位置・方向は三次元的に得られているものとして、対象物の姿勢、照明の位置・方向および撮像装置の位置・方向をさまざまに変化させて学習を行う。図７に対象物中心から見た撮像部方向ベクトル１２、照明方向ベクトル３２、対象物中心を原点とする対象物座標４３を示す。各姿勢において得られる各特徴に関して、距離センサなどを利用して特徴近傍の法線ベクトルを取得する。その他、特徴近傍表面の物理的情報も取得する。

さまざまな条件で特徴を取得したあとに、各条件で得られる特徴量群のなかで認識に有用な特徴を選択する。この場合の条件とは対象物の姿勢、照明の位置・方向および撮像装置の位置・方向を指す。特徴の選択は、例えば、選択情報量（自己エントロピー）や平均情報量（エントロピー）を用いて行うことができる。本実施形態では、各条件で得られる特徴量群のなかで情報量の値が所定のしきい値を超える特徴の数を評価値として選択し、記録する。各特徴に関する物理的情報も参照データとして併せて記憶しておく。なお、評価値は情報量の値を加算するなどして決定してもよい。

本実施形態では、対象物の姿勢を示すベクトルを、対象物中心を中心とする座標軸の各軸の回転角で表して、Ｘ＝（φ₁，φ₂，φ₃）とする。さらに、対象物中心の位置から見た照明位置ベクトルをＬ、撮像装置位置ベクトルをＣとする。このようにして、各条件で得られる評価値をｆ（Ｘ，Ｌ，Ｃ）とする。このｆ（Ｘ，Ｌ，Ｃ）をポテンシャル面と呼び、認識時に利用する。

特徴取得条件変更工程（Ｓ２４０）では、Ｓ２２０において抽出された特徴を用いてまず、認識処理を一次的に行う。この処理においては、例えば、第１の実施形態のＳ１５０と同様に、ｉｍｐｌｉｃｉｔ−ｓｈａｐｅ−ｍｏｄｅｌを用いて、各特徴から対象物中心に確率投票を行うことができる。姿勢Ｘも求められた対象物中心と各特徴の関係から求めることができる。次に、一次的に求められた認識結果によりｆ（Ｘ，Ｌ，Ｃ）が大きくなるように撮像装置の位置・方向、もしくは照明の位置・方向を変更する。

撮像装置の位置・方向、もしくは照明の位置・方向を変更したあと、特徴取得工程（Ｓ２５０）において再度特徴抽出を行う。

最後に、認識処理工程（Ｓ２６０）では、第１の実施形態のＳ１５０と同様の認識処理を行う。その際に、学習時に得られていた情報量の値が所定のしきい値を超える特徴のみを物理的条件を利用して選択する。

上記のように、本実施形態では、学習時に得られるポテンシャル面に従って特徴取得条件を変更する構成を説明した。本実施形態においても、特徴取得条件を変更したのちに特徴および特徴量を取得して、所定の認識処理を行うため、第２の実施形態と同様に、照明変動に合わせて、適切な特徴量を取得して、対象物認識を精度よく行うことができる。

＜＜第４の実施形態＞＞
（機能構成）
図８に、第４の実施形態における基本的な機能構成を示す。本実施形態における対象物認識システムの基本的な機能構成は第２の実施形態（図５）とほぼ同様であるが、本実施形態では、特徴抽出装置Ａ５００が認識処理部Ａ４３０を有さない点が相違する。特徴抽出装置Ａ５００で、特徴抽出部Ａ４１０、特徴取得条件変更部Ａ４４０、特徴取得部Ａ４５０、特徴情報保持部Ａ４０１を備え、これらの構成要素は第２の実施形態と機能を果たす。

（対象物認識処理）
次に、対象物認識処理の処理フローを図９に基づいて説明する。本実施形態の処理フローは第２の実施形態の処理フローとほぼ同様であるが、認識処理工程を持たない。かわりに十分な特徴が得られたかを判断する工程（Ｓ３６０）を有している。

図９の処理フローの各工程の詳細を説明する。撮像工程（Ｓ３１０）、特徴抽出工程（Ｓ３２０）および物理的情報取得工程（Ｓ３３０）は第１の実施形態におけるＳ１１０、Ｓ１２０およびＳ１３０と同様である。

次に、特徴取得条件変更工程（Ｓ３４０）では、Ｓ３２０において抽出された各特徴点ｆ_iに対して、
・Ｓ３３０において取得された法線ベクトルｎ_i。
・照明情報保持部Ａ３００に保持されている特徴点の位置から見た照明方向、撮像部方向の少なくともいずれか１つ。
の両方に基づいて、特徴情報保持部Ａ４０１にあらかじめ保持されている特徴点情報との比較により、特徴取得条件を変更する。

特徴取得条件の変更は、特徴情報保持部Ａ４０１にあらかじめ保持されているサンプルの物理的情報のヒストグラムを第１の実施形態と同様に作成しておき、その分布に従ってカメラ１０もしくは照明３０の位置・方向を変更して行うことができる。例えば、分布を均一化するようにカメラ１０もしくは照明３０の位置・方向を変更することができる。もしくは、分布形状を保つように（物理的情報を揃えるように）カメラ１０もしくは照明３０の位置・方向を変更してもよい。具体的には、尖度や歪度を用いてヒストグラムを評価する。例えば、ヒストグラムの分布を一様分布にするためには、尖度が−１．２に近づくようにすればよい（正規分布を０として定義した場合）。必要に応じてカメラ１０もしくは照明３０の位置・方向を変更して特徴を増やすか、もしくは必要のない特徴を削除（選択）する。

特徴取得工程（Ｓ３５０）において、特徴点が再度取得されたあと十分な特徴が得られたと判断されるまで、Ｓ３４０およびＳ３５０の処理を繰り返して特徴を取得する。十分かどうかの判断は、例えば、取得サンプル数が、予め決定しておいた数に到達したか否かにより行うことができる。あるいは、テストセットを用意して認識率が定めたしきい値以上になった場合に十分な特徴が得られたと判断してもよい。

上記のように、本実施形態の構成においては、十分な特徴が得られるまで、特徴取得条件を変更して再度撮像を行うことを繰り返す。このため、本実施形態によれば、照明条件が変化する環境においても、一定の精度で安定的に対象物を認識することが可能となる。

＜＜その他の実施形態＞＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (12)

1. 対象物の位置姿勢を認識する認識装置であって、
   規定の照明条件で撮像装置により撮像された前記対象物の撮像画像を入力する第１入力手段と、
   前記撮像画像を解析して該撮像画像中の複数の特徴部分を決定し、該複数の特徴部分における画像特性をそれぞれ示す複数の特徴量を抽出する抽出手段と、
   前記対象物上の前記複数の特徴部分のそれぞれにおける物理的性質を示す性質情報を入力する第２入力手段と、
   前記撮像画像の撮像時における照明条件を示す照明情報を入力する第３入力手段と、
   学習画像に含まれる前記対象物上の複数の特徴部分のそれぞれにおける物理的性質と、該学習画像の撮像時における照明条件と、の関係を保持する保持手段と、
   前記性質情報が示す物理的性質と、前記照明情報が示す照明条件と、前記保持手段が保持している前記関係と、に基づいて、前記抽出した複数の特徴量の各々の重要度を決定する決定手段と、
   前記複数の特徴量をそれぞれの重要度で重み付けした値に基づいて、前記対象物の位置姿勢を認識する認識手段と
   を備えることを特徴とする認識装置。
2. 前記決定手段は、前記第２入力手段が入力した性質情報が示す物理的性質、及び前記第３入力手段が入力した照明情報が示す照明条件と、前記学習画像に含まれる前記対象物上の複数の特徴部分のそれぞれにおける物理的性質、及び該学習画像の撮像時における照明条件と、をそれぞれ比較して、前記重要度を決定することを特徴とする請求項１に記載の認識装置。
3. 対象物の位置姿勢を認識する認識装置であって、
   規定の照明条件で撮像装置により撮像された前記対象物の撮像画像を入力する第１入力手段と、
   前記撮像画像を解析して該撮像画像中の複数の特徴部分を決定し、該複数の特徴部分における画像特性をそれぞれ示す複数の特徴量を抽出する抽出手段と、
   前記対象物上の前記複数の特徴部分のそれぞれにおける物理的性質を示す性質情報を入力する第２入力手段と、
   前記撮像画像の撮像時における照明条件を示す照明情報を入力する第３入力手段と、
   学習画像に含まれる前記対象物上の複数の特徴部分のそれぞれにおける物理的性質と、該学習画像の撮像時における照明条件と、の関係を保持する保持手段と、
   前記性質情報が示す物理的性質と、前記照明情報が示す照明条件と、前記保持手段が保持している前記関係と、に基づいて、前記撮像装置が前記対象物を撮像する時の撮像条件を変更する変更手段と、
   前記変更手段により変更された撮像条件で撮像された前記対象物の撮像画像から抽出された前記特徴量に基づいて、前記対象物の位置姿勢を認識する認識手段と
   を備えることを特徴とする認識装置。
4. 前記変更手段は、
   前記第２入力手段が入力した性質情報が示す物理的性質、及び前記第３入力手段が入力した照明情報が示す照明条件と、前記学習画像に含まれる前記対象物上の複数の特徴部分のそれぞれにおける物理的性質、及び該学習画像の撮像時における照明条件と、をそれぞれ比較して、前記性質情報が示す物理的性質及び前記照明情報が示す照明条件が、前記学習画像に含まれる前記対象物上の複数の特徴部分のそれぞれにおける物理的性質、及び該学習画像の撮像時における照明条件に近づくように、前記撮像条件を変更する
   ことを特徴とする請求項３に記載の認識装置。
5. 前記変更手段は、
   前記第２入力手段が入力した性質情報が示す物理的性質、及び前記第３入力手段が入力した照明情報が示す照明条件が、前記複数の特徴部分について、予め定められた分布を示すように、前記撮像条件を変更する
   ことを特徴とする請求項３に記載の認識装置。
6. 前記撮像条件には、撮像時の、照明の位置及び方向と、前記撮像装置の位置及び方向との少なくとも１つが含まれることを特徴とする請求項３から５のいずれか１項に記載の認識装置。
7. 前記照明条件には、前記対象物上の前記特徴部分から見た、照明の方向と、前記撮像装置の方向との少なくとも１つが含まれることを特徴とする請求項１から６のいずれか１項に記載の認識装置。
8. 前記物理的性質には、前記対象物上の前記特徴部分における、法線ベクトルと、物体反射率と、拡散反射率と、鏡面反射率との少なくとも１つが含まれることを特徴とする請求項１から７のいずれか１項に記載の認識装置。
9. 前記特徴部分は、点、又は、一定範囲を占める領域であることを特徴とする請求項１から８のいずれか１項に記載の認識装置。
10. 対象物の位置姿勢を認識する認識装置の制御方法であって、
    第１入力手段が、規定の照明条件で撮像装置により撮像された前記対象物の撮像画像を入力する第１入力工程と、
    抽出手段が、前記撮像画像を解析して該撮像画像中の複数の特徴部分を決定し、該複数の特徴部分における画像特性をそれぞれ示す複数の特徴量を抽出する抽出工程と、
    第２入力手段が、前記対象物上の前記複数の特徴部分のそれぞれにおける物理的性質を示す性質情報を入力する第２入力工程と、
    第３入力手段が、前記撮像画像の撮像時における照明条件を示す照明情報を入力する第３入力工程と、
    決定手段が、前記性質情報が示す物理的性質と、前記照明情報が示す照明条件と、学習画像に含まれる前記対象物上の複数の特徴部分のそれぞれにおける物理的性質と該学習画像の撮像時における照明条件との関係と、に基づいて、前記抽出した複数の特徴量の各々の重要度を決定する決定工程と、
    認識手段が、前記複数の特徴量をそれぞれの重要度で重み付けした値に基づいて、前記対象物の位置姿勢を認識する認識工程と
    を備えることを特徴とする認識装置の制御方法。
11. 対象物の位置姿勢を認識する認識装置の制御方法であって、
    第１入力手段が、規定の照明条件で撮像装置により撮像された前記対象物の撮像画像を入力する第１入力工程と、
    抽出手段が、前記撮像画像を解析して該撮像画像中の複数の特徴部分を決定し、該複数の特徴部分における画像特性をそれぞれ示す複数の特徴量を抽出する抽出工程と、
    第２入力手段が、前記対象物上の前記複数の特徴部分のそれぞれにおける物理的性質を示す性質情報を入力する第２入力工程と、
    第３入力手段が、前記撮像画像の撮像時における照明条件を示す照明情報を入力する第３入力工程と、
    変更手段が、前記性質情報が示す物理的性質と、前記照明情報が示す照明条件と、学習画像に含まれる前記対象物上の複数の特徴部分のそれぞれにおける物理的性質と該学習画像の撮像時における照明条件との関係と、に基づいて、前記撮像装置が前記対象物を撮像する時の撮像条件を変更する変更工程と、
    認識手段が、前記変更工程で変更された撮像条件で撮像された前記対象物の撮像画像から抽出された前記特徴量に基づいて、前記対象物の位置姿勢を認識する認識工程と
    を備えることを特徴とする認識装置の制御方法。
12. コンピュータを請求項１から９のいずれか１項に記載の認識装置の各手段として機能させるためのコンピュータプログラム。