JP6415066B2 - 情報処理装置、情報処理方法、位置姿勢推定装置、ロボットシステム - Google Patents

Description

本発明は、画像の局所的な特徴を検出するために用いる閾値を決定する技術に関する。

近年のロボット技術の発展とともに、工業製品の組立のようなこれまで人間が行っていた複雑なタスクをロボットが代わりに行うようになりつつある。このようなロボットは、ハンドなどのエンドエフェクタによって部品を把持して組立を行う。この組立には、把持の対象となる部品とロボット（ハンド）との間の相対的な位置姿勢を計測する必要がある。位置姿勢を計測する方法として、カメラで撮影した二次元画像上から検出されるエッジやキーポイントといった特徴に対して物体の三次元形状モデルをあてはめるモデルフィッティングによる計測がある。

カメラにより物体を撮像する場合、カメラの撮像素子（例えばＣＭＯＳやＣＣＤなど）に入射される光量を電荷に変換する過程において、光ショットノイズや読み出し回路ノイズなどのノイズ（撮像素子ノイズ）が発生する。そのため、得られる画像中には、撮像素子ノイズに起因する輝度値のばらつきが含まれる。このようなノイズから検出された特徴をモデルフィッティングの処理に用いた場合、計測の精度が損なわれてしまうため、一定の閾値（例えば近傍画素間の輝度差が所定以上など）を設定し、ノイズからの特徴検出を抑制して特徴検出を行うことが必要となる。

従来の閾値設定においては、撮影する画像の明るさや物体の反射輝度、撮像に利用するカメラの撮像素子に応じて適切な閾値が異なるため、人手によるチューニングが一般的である。また一方で、特許文献１には、撮像素子ノイズによる輝度ばらつきをあらかじめ計測しておいて、それに基づいて閾値を自動で設定して特徴検出を行う手法も開示されている。具体的には、遮光画素の輝度ばらつき量をあらかじめ計測しておき、遮光画素の固定的な輝度ばらつき量と画像のコントラストに基づいて、閾値を自動設定して特徴検出を行うことを開示している。

特許第４６６１９３４号公報

しかしながら、人手によるチューニングは、チューニングを行う人ごとにどうしてもばらつきが生じる。またチューニングを適切に行うには経験を要するため、簡便ではない。
また、特許文献１の方法では、遮光画素からノイズレベルを推定するため、撮像素子ノイズのなかで暗電流ノイズのみを考慮しているため、エッジ検出閾値の設定において、画素の明るさに比例して発生するショットノイズを考慮できないという問題があった。
本発明は、以上の課題を鑑みてなされたものであり、画像に含まれる特徴を検出するための閾値を好適に設定することを目的とする。

本発明の情報処理装置は、撮像手段によって撮像して得られた撮像画像を取得する画像取得手段と、前記撮像手段で撮像される画像の輝度値と該輝度値のばらつき量との関係を示す第１の情報を保持する保持手段と、前記撮像画像の所定領域の輝度値と前記第１の情報とに基づき、前記撮像画像の前記所定領域における輝度値のばらつき量を導出するするばらつき量導出手段と、前記撮像画像から特徴を検出するためのフィルタ処理のフィルタ情報を保持するフィルタ情報保持手段と、前記フィルタ情報に基づいて、前記輝度勾配値を取得し、該取得した輝度勾配値と前記導出した輝度値のばらつき量とに基づいて、該輝度値の勾配値である輝度勾配値のばらつき量を取得する取得手段と、前記取得した輝度勾配値のばらつき量に基づいて、前記撮像画像から得られる輝度勾配値との比較に用いる閾値を導出する閾値導出手段とを備えることを特徴とする。

本発明により、画像に含まれる特徴を検出するための閾値を好適に設定することができる。

本発明の第一の実施形態における情報処理装置の構成を示す図である。 本発明の第一の実施形態における情報処理装置の行う処理手順を示すフローチャートである。 本発明の第二の実施形態における情報処理装置の構成を示す図である。 本発明の第二の実施形態における情報処理装置の行う処理手順を示すフローチャートである。 本発明の第三の実施形態における情報処理装置の構成を示す図である。 本発明のハードウェア構成図を示す図である。

以下、添付図面を参照して本発明の好適な実施形態について詳細に説明する。

［実施形態１］
本実施形態では、本発明の情報処理装置及びその方法を、画像からのエッジ検出方法に適用した場合について説明する。なお、エッジ検出とは、画像中に映る物体像の形状や材質、照明などが不連続に変化する点を検出するために、画像中の明るさが不連続に変化する点を特定する処理を表す。本実施形態では、画像中の輝度勾配が極値となる点をエッジとして定義する。

エッジ検出の処理では、まず、画像に対し１次微分フィルタを畳み込み、近傍画素間の輝度勾配を算出する。そして、輝度勾配が極値となる画素において、輝度勾配値が所定の閾値以上となる画素を判定することで、エッジ検出を行う。上述したように、画像には撮像素子の特性に基づくノイズが含まれるため、撮像素子ノイズに起因するようなエッジの検出を抑制するためには、輝度勾配値の閾値を適切に設定する必要がある。

すなわち、輝度勾配値の極値の中で、撮像素子ノイズによって発生する輝度勾配値の極値は除去し、実際に画像中の物体像の境界としてエッジが観測される部分の輝度勾配値の極値は除去しないような閾値を設定する必要がある。しかしながら、撮像素子ノイズによる輝度のばらつきは、光量に比例して変化する特性があるため、明るい画像に対する閾値と暗い画像に対する閾値とは適切な値が異なる。また、輝度勾配を求めるためのフィルタの係数によっても算出される輝度勾配値が変化するため、１次微分フィルタの種類などのエッジ検出方式の違いによっても適切な閾値は異なる。

そこで、本実施形態では、あらかじめ、撮像素子に入射される光量と輝度のばらつき量との関係性を計測し、関数フィッティングによりパラメータ化することで、光量に応じた撮像素子ノイズのモデル化を行う。そして、撮像素子ノイズモデルと１次微分フィルタ（画像フィルタ）の係数とに基づいて、撮像素子ノイズによって輝度勾配値がばらつく量の予測値を求める。そして、撮像素子ノイズに起因して発生する輝度勾配値の極値は除去するような閾値を、輝度勾配値のばらつき量の予測値に基づいて設定することで、撮像素子ノイズからのエッジ検出を抑制したエッジ検出を行う。

図６は、本実施形態における情報装置１のハードウェア構成図である。同図において、ＣＰＵ６１０は、バス６００を介して接続する各デバイスを統括的に制御する。ＣＰＵ６１０は、読み出し専用メモリ（ＲＯＭ）６２０に記憶された処理ステップやプログラムを読み出して実行する。オペレーティングシステム（ＯＳ）をはじめ、本実施形態に係る各処理プログラム、デバイスドライバ等はＲＯＭ６２０に記憶されており、ランダムアクセスメモリ（ＲＡＭ）６３０に一時記憶され、ＣＰＵ６１０によって適宜実行される。また、入力Ｉ／Ｆ６４０は、外部の装置（撮像装置など）から画像を情報処理装置１で処理可能な形式で入力信号として入力する。また、出力Ｉ／Ｆ６５０は、位置姿勢算出装置２などの外部装置に、該外部装置が処理可能な形式で、検出された特徴などを出力信号として出力する。

以下、本実施形態における特徴検出処理について詳細を述べる。図１は、本実施形態における情報処理装置１の構成を示している。図１に示すように、情報処理装置１は、画像取得部１１０、撮像素子ノイズモデル保持部１２０、輝度ノイズ量予測部１３０、フィルタ情報保持部１４０、閾値算出部１５０、特徴検出部１６０から構成されている。

これらの各機能部は、ＣＰＵ６１０が、ＲＯＭ６２０に格納されたプログラムをＲＡＭ６３０に展開し、後述する各フローチャートに従った処理を実行することで実現されている。また例えば、ＣＰＵ６１０を用いたソフトウェア処理の代替としてハードウェアを構成する場合には、ここで説明する各機能部の処理に対応させた演算部や回路を構成すればよい。

また、情報処理装置１は、外部の撮像装置１０に接続されている。撮像装置１０は、通常の画像を撮影するカメラである。撮影される画像は濃淡画像であってもよいしカラー画像であってもよい。また、各画素が奥行きの情報を持つ距離画像であってもよい。距離画像を計測する距離計測方式としては、特に制限はなく、例えば対象に照射したマルチスリットラインをカメラで撮像して三角測量によって距離計測を行うアクティブステレオ方式でもよいし、光の飛行時間を利用するＴｉｍｅ−ｏｆ−ｆｌｉｇｈｔ方式でもよい。また、ステレオカメラが撮影する画像から三角測量によって各画素の奥行きを計算するパッシブ式であってもよい。本実施形態では撮像装置１０は各画素に輝度値が格納された濃淡画像を撮像するカメラであり、濃淡画像を出力するものとする。

次に、情報処理装置１を構成する各部について説明する。

画像取得部１１０は、撮像装置１０が撮影した画像を取得する。上述の通り、本実施形態では撮像装置１０は濃淡画像を撮像するカメラであり、画像取得部１１０は、インターフェースを介して濃淡画像を取得する。

撮像素子ノイズモデル保持部１２０では、撮像装置１０の撮像素子の特性に基づく撮像素子ノイズモデルを保持する。ここで、撮像素子ノイズモデルとは、輝度値に基づいて輝度値のばらつき量（時系列的に輝度値がばらつく範囲）を予測するための、撮像素子に入射される光量と輝度のばらつき量との関係性を記述したものである。本実施形態では、撮像素子モデルは、輝度値と輝度値のばらつき量との関数として表現する。本実施形態では、撮像素子ノイズは、撮像素子に入射される光量に比例して発生する光ショットノイズと、撮像素子から電荷を読みだす過程で一定量発生する読み出し回路ノイズの２種類のノイズから構成されるものとする。そして、以下の手順によって、あらかじめモデル化を行っておく。そして、撮像素子ノイズモデル保持部１２０は、作成されたモデルを保持する。

まず、撮像素子を遮光した状態で、撮像素子全体の出力値（輝度値）の標準偏差（輝度ばらつき量）を計測する。この輝度の標準偏差が、光量に比例しない読み出し回路ノイズを表す計測値となる。次に、光量を調整可能な光源を用いて、撮像素子に光を直射させた状態での撮像素子全体の輝度の標準偏差と平均値を測定する。光量を一定の割合で変化させながら計測することで、異なる光量における輝度値の標準偏差および平均値が得られる。これらのデータが光量に比例する光ショットノイズを表す計測値となる。光ショットノイズを表す計測値は、輝度値を対数スケールとする片対数空間において比例関係になる。そのため、輝度値の対数と輝度値の標準偏差の計測データを直線フィッティングすることで、これらの関係性を比例係数Ｓ_１とオフセット係数Ｓ_２の２パラメータとして関数化できる。そして、上述の読み出し回路ノイズの計測値Ｄをオフセット係数として加え、計３パラメータからなる関数を撮像素子ノイズモデルとして表す。撮像素子ノイズモデルを用いることで、輝度をＩとしたときの輝度値のばらつき量σ_ｉｍｇは、以下の式より予測することができる。

以上においては、撮像素子ノイズモデルを輝度値と輝度値のばらつき量との関数として表現したが、これに限るものではない。例えば、輝度値が変化した時の輝度値のばらつき量の変化を、実測または計算データの参照テーブルの形で保持しておき、入力される輝度値に対する輝度ばらつき量をテーブル参照することで予測するようにモデル化を行っても良い。また、ＩＳＯ１２２３１やＩＳＯ１５７３９で標準化される手法を用いて撮像素子ノイズを測定しても良い。輝度値に基づいて輝度値のばらつき量を予測できる限り、考慮するノイズの種類やモデル化方法に特に制限はなく、いかなる方式でモデル化しても、特に問題はない。撮像素子ノイズモデルは、撮像素子ノイズモデル保持部１２０に保存され、輝度ノイズ量予測部１３０に入力される。

輝度ノイズ量予測部１３０は、撮像素子ノイズモデル保持部１２０から撮像素子ノイズモデルを取得する。また、画像取得部１１０から撮像画像を取得する。そして、取得した撮像素子ノイズモデルと、撮像画像の輝度とに基づいて、輝度の大きさに基づく輝度ばらつき量を予測する。輝度ノイズ量の予測処理の詳細については後述する。

フィルタ情報保持部１４０では、取得した画像に対し、特徴を検出するためのフィルタ情報を保持する。本実施形態では、１次微分フィルタである３×３のＳｏｂｅｌフィルタを保持する。ただし、エッジ特徴を検出するためのフィルタ応答値の算出方法としては、Ｓｏｂｅｌフィルタに限るものではなく、例えばｐｒｅｗｉｔｔ、ｓｃｈａｒｒフィルタなどの別の１次微分フィルタを保持してもよい。また、１次微分フィルタに限るものではなく、プラシアンフィルタなどの２次微分フィルタでもよい。また、Ｃａｎｎｙエッジ検出アルゴリズムのように、画像のノイズ除去のために、ガウシアンフィルタのような平滑化フィルタをかけてから、Ｓｏｂｅｌフィルタの処理を行っても良い。近傍画素間での輝度変化量を最終的に算出できる限り、画像フィルタ処理の種類や数、順番に特に制限はなく、いかなる方式であっても本発明の本質を損なうことはない。

閾値算出部１５０では、輝度ノイズ量予測部１３０において算出された輝度ノイズ量と、フィルタ情報保持部１４０で保持する特徴検出フィルタの係数とに基づいて、撮像素子ノイズに起因する特徴の検出を抑制するための閾値を算出する。閾値算出処理の詳細については後述する。

特徴検出部１６０では、閾値算出部１５０で算出した閾値に基づいて、エッジ特徴を検出する。本実施形態では、具体的には、フィルタ情報保持部１４０から取得したフィルタを画像取得部から取得した画像の画素に適用して得られた輝度勾配値を算出する。そして、近傍画素間で輝度勾配値が極値となる画素の中で、閾値を上回る画素をエッジとして判定することでエッジ特徴の検出を行う。ただし、エッジの判定はこれに限るものではなく、例えば、極値判定を行わず、閾値を上回る画素を全てエッジとして判定しても良いし、閾値に対し、輝度勾配値が、一定範囲内または下回る画素をエッジとして判定しても良い。また、ラプラシアンフィルタのような２次微分フィルタ処理を行い、２次微分量を算出している場合には、２次微分量が０となる画素をエッジとして判定しても良い。この場合の閾値判定としては、２次微分値が０となる位置の輝度勾配値を用いても良いし、近傍の２次微分値を用いても良い。閾値算出部１５０において算出した閾値に基づいて、輝度勾配が顕著に変化する画素を判定できる限り、エッジ検出の処理に特に制限はなく、いかなる方式を用いてもかまわない。特徴検出の処理の詳細に関しては後述する。

以上が、情報処理装置１の構成の一例についての説明である。

次に、本実施形態における特徴検出の処理手順について説明する。図２は、本実施形態における特徴検出の処理手順を示すフローチャートである。

（ステップＳ１１００）
まず、ステップＳ１１００において、輝度ノイズ量予測部１３０は、撮像素子ノイズモデル保持部１２０が保持する撮像素子ノイズモデルを取得する。撮像素子ノイズモデルは、上述した手順によりあらかじめ測定しておいた撮像装置１０の撮像素子に関するノイズモデルである。本実施形態では、ノイズモデルがＲＯＭ６２０や不図示のハードディスク等に保持されているとするが、外部記憶装置にノイズモデルを保持しておき、読み込むことによって、ノイズモデルを取得しても良い。本実施形態では、撮像素子ノイズモデルは、光ショットノイズに関するパラメータＳ１、Ｓ２と読み出し回路ノイズに関するパラメータＤの、計３パラメータから構成されるノイズモデルを用いる。情報処理装置１の初期化が終了したら、ステップＳ１１００の処理を終了し、ステップＳ１２００に進む。

（ステップＳ１２００）
次に、ステップＳ１２００において、画像取得部１１０は、撮像装置１０から濃淡画像を取得する。撮像装置１０から直接取得しなくても、予め撮像した画像を記憶媒体に記憶させておき、その記憶媒体を読み込むことによって、濃淡画像を取得してもかまわない。濃淡画像の取得が終了したら、画像取得部は、輝度ノイズ量予測部１３０とフィルタ情報保持部１４０とに取得した濃淡画像を送出する。ステップＳ１２００の処理を終了し、ステップＳ１３００に進む。

（ステップＳ１３００）
次に、ステップＳ１３００では、輝度ノイズ量予測部１３０は、ステップＳ１１００で取得した撮像素子ノイズモデルとステップＳ１２００において取得した濃淡画像とに基づいて、濃淡画像の所定領域の輝度ノイズ量を予測する。本実施形態では、画像の各画素毎に、撮像素子ノイズモデルに基づく輝度ノイズ量の算出を行う。

まず、着目画素の輝度値をＩとしたときに、輝度ノイズ量の予測値σ_ｉｍｇは、上述したように、光ショットノイズを表す比例係数Ｓ_１オフセット係数Ｓ_２と、読み出し回路ノイズを表すオフセット係数Ｄに基づき、式（１）により算出できる。画像中の全ての画素に関して式（１）による、輝度ノイズ量予測処理を繰り返すことで、全画素に関する輝度ノイズ量の予測値を算出する。なお、本実施形態においては、各画素毎に輝度ノイズ量の予測値の算出を行ったが、輝度ノイズ量の予測処理は、これに限るものではない。例えば、画素毎に予測値を算出するのではなく、所定の領域毎に予測値を算出しても良い。この場合、例えば、着目画素近傍３×３範囲や着目領域から所定の円径範囲内などの着目画素の近傍に基づいて領域を設定しても良いし、画像をグリッド状に区切って領域を設定しても良い。また、輝度ノイズ量を予測するための所定両機の輝度代表値としては、例えば、所定の領域での最大値や最小値、平均値や最頻値、メディアンなどの輝度に関する統計値を用いれば良い。画像中の輝度ノイズ量の予測値が算出出来れば、輝度ノイズ量の算出方法や算出範囲に特に制限はなく、いかなる方式で算出しても、特に問題はない。

以上の処理により、画像の各画素毎の輝度ノイズ量の予測値算出処理が終了したら、算出した予測値を閾値算出部へと送出する。ステップＳ１３００の処理を終了し、ステップＳ１４００の処理に進む。

（ステップＳ１４００）
次に、ステップＳ１４００では、閾値算出部１５０は、ステップＳ１３００において求めた各画素の輝度ノイズ量の予測値と、フィルタ情報保持部１４０が保持するフィルタ情報とに基づいて、特徴の検出のための閾値を算出（閾値導出）する。

以下、輝度ノイズ量の予測値と特徴検出フィルタの係数とに基づく、輝度勾配値のばらつき量の予測値の算出方法（ばらつき量導出）について、詳述する。

具体的には、まずフィルタ情報保持部から、フィルタ情報として特徴検出フィルタの係数を取得する（数式２、３）。そして、取得した特徴検出フィルタの係数から、輝度が微小に変化したときに輝度勾配値が変化する割合を表す関係式（輝度勾配値のヤコビアン）を求める（数式６）。

本実施形態で用いるｓｏｂｅｌフィルタは、画像の方向毎に定義されるため、画像横方向のｓｏｂｅｌフィルタと画像縦方向のｓｏｂｅｌフィルタの２つのフィルタ処理を行い、その応答値ベクトルの長さを、輝度勾配値として算出する。具体的には、着目画素の輝度値をＩ２２として、着目画素左上の輝度値から右下の輝度値をＩ_１１〜Ｉ_３３とすると、画像横方向のｓｏｂｅｌフィルタの応答値ｇ_ｘと、画像縦方向のｓｏｂｅｌフィルタの応答値ｇ_ｙと、輝度勾配値Ｇは以下の式により定義される。

本実施形態では、フィルタとして３×３のＳｏｂｅｌフィルタを用いる。そこで、Ｓｏｂｅｌフィルタを適用する各画素Ｉ_１１〜Ｉ_３３に対応した輝度ノイズ量の予測値をノイズ値予測部からσ_１１〜σ_３３として取得する。そして、式２〜４に基づいて、輝度勾配値Ｇを算出し、該輝度勾配値Ｇを各画素Ｉ_１１〜Ｉ_３３に関して偏微分した行列（輝度勾配値のヤコビアン）Ｊ_Ｇを求める（式５）。

輝度勾配値のばらつき量の予測値σ_Ｇは、輝度勾配値のヤコビアンと、各画素の輝度ノイズ量の予測値に基づいて、式６より算出できる。そして、求められた輝度勾配値のばらつき量の予測値に基づいて、特徴検出処理のための閾値を算出する。

以上の処理により全ての画素に関する輝度勾配値のばらつき量σ_Ｇを求める。

以上では、輝度勾配値のばらつき量σ_Ｇを、画像フィルタ処理における勾配値算出式のヤコビアンに基づいて求める方法について述べたが、これに限るものではない。例えば、輝度値のばらつき量と輝度勾配値のばらつき量との関係性を多数回実測し参照テーブルとして保持しておくことで、輝度値のばらつき量に対する輝度勾配値のばらつき量を算出しても良い。また、上述の実測値を関数フィッティングし、求めたパラメータを利用して、輝度値ばらつき量に対する輝度勾配値のばらつき量を算出しても良い。輝度値のばらつき量に基づいて輝度勾配値のばらつき量を算出できる方法であれば、算出方法に特に制限はなく、いかなる方式でも特に問題はない。

以上で算出した輝度勾配値のばらつき量σ_Ｇは、輝度ノイズに起因する輝度勾配値の大きさを表しているため、輝度ノイズに基づく特徴検出を抑制するためには、少なくともσ_Ｇ以上に閾値を設定すれば良い。本実施形態では、３σ_Ｇを閾値として設定する。ただし、閾値の設定方法は、以上に説明した方法に限るものではなく、例えば、σ_Ｇの任意の定数倍を閾値に設定しても良いし、σ_Ｇに加え所定のオフセット値を加えて閾値を設定しても良い。輝度ノイズ量の予測値に基づく輝度勾配値のばらつき量の予測値に基づいて閾値を設定する限り、閾値の設定方法に特に制限はなく、いかなる方式を用いても特に問題はない。

以上の処理により、画像中の画素毎の閾値の算出が終了したら、ステップＳ１４００の処理を終了し、ステップＳ１５００に進む。

（ステップＳ１５００）
次に、ステップＳ１５００では、特徴検出部１６０は、フィルタ情報保持部１４０から特徴を検出するための画像フィルタを取得し、ステップＳ１２００において取得した濃淡画像に対し、特徴を検出するための画像フィルタを適用する。本実施形態では、上述した通り、フィルタ情報保持部１４０から、３×３のＳｏｂｅｌフィルタを取得し、該フィルタを用いて画像の輝度勾配値を算出する。具体的には、上記式２〜４を用いて画像の輝度勾配値を算出する。

以上の処理を全ての画素に対して行うことで、画素毎の輝度勾配値Ｇを算出する。画像のフィルタ処理を終了すればステップＳ１５００の処理を終了し、ステップＳ１６００に進む。

（ステップＳ１６００）
次に、ステップＳ１６００において、特徴検出部１６０は、ステップＳ１５００において算出した輝度勾配値と、ステップＳ１４００において算出した閾値に基づいて、エッジとなる画素の判定を行うことで、エッジ特徴を検出する。本実施形態では、上述したように、近傍画素間で輝度勾配値が極値となる画素の中で、ステップＳ１５００において算出した閾値を上回る輝度勾配値を備える画素をエッジとして判定する。以下、近傍画素間での輝度勾配値の極値算出方法および閾値判定の処理について、詳細を説明する。

まず、各画素に関して、ステップＳ１４００の方向別のｓｏｂｅｌフィルタの応答値（ｇ_ｘ、ｇ_ｙ）から、以下の式により勾配方向Ａを算出する。

勾配方向Ａに基づき、勾配方向に隣接する画素の輝度勾配値を参照し、輝度勾配値が極値となる画素を判定する。そして、極値となる輝度勾配値の絶対値とステップＳ１５００において算出した閾値とを比較して、閾値を上回る場合は、その画素をエッジとして判定する。

以上の処理を全ての画素に対して行い、全ての画素に対してエッジ判定処理を終了したら、この処理を終了し、画像からのエッジ検出の結果が決定される。

以上述べたように、本実施形態では、画像からのエッジ検出において、撮像素子ノイズに起因するエッジの検出を抑制するような閾値を、撮像素子ノイズモデルに基づく輝度ノイズ量の予測値と勾配検出するフィルタの係数とに基づいて算出する方法について述べた。

これにより、明るさが異なる画像に対しても、撮像素子ノイズからの特徴検出を抑制する閾値を自動的に設定して特徴検出を行うことが可能になる。特徴検出に用いるフィルタ応答値が撮像素子ノイズによってばらつく量を予測することにより、任意の特徴検出方法に応じた閾値を自動的に算出することが可能になる。

［変形例１］
上述の実施形態では、特徴検出方法として、エッジ検出を行う方法について述べていた。しかし、特徴検出方法は、これに限るものではない。例えば、特徴検出として、以下の文献で示されるようなＨａｒｒｉｓ特徴点などの点特徴を検出しても良い。
Ｃ． Ｈａｒｒｉｓ ａｎｄ Ｍ． Ｓｔｅｐｈｅｎｓ， “Ａ ｃｏｍｂｉｎｅｄ ｃｏｒｎｅｒ ａｎｄ ｅｄｇｅ ｄｅｔｅｃｔｏｒ，” Ｐｒｏｃ． ４ｔｈ Ａｌｖｅｙ Ｖｉｓｉｏｎ Ｃｏｎｆ．， ｐｐ．１４７−１５１， Ｍａｎｃｈｅｓｔｅｒ， Ｕ．Ｋ．， Ａｕｇ． １９８８．
この場合、上述の実施形態とは、フィルタ処理と閾値算出処理および特徴検出処理が異なる。まずフィルタ処理では、画像全体に対しガウシアンフィルタと１次微分フィルタをかけ、平滑化後の画像縦方向の微分画像と画像横方向の微分画像を算出する。そして、縦方向と横方向の微分画像に基づいて、着目点近傍の２次微分値を表すヘッセ行列を求め、ヘッセ行列の行列式（ｄｅｔｅｒｍｉｎａｎｔ）と跡（ｔｒａｃｅ）に基づいて、ｈａｒｒｉｓのコーナー指標を算出する。

以上の処理を画像中の全画素に関して行う。そして、閾値算出処理では、第１の実施形態のステップＳ１４００と同様に行う。すなわち、ｈａｒｒｉｓのコーナー指標を算出した式を、コーナー指標を計算した各画素に関して偏微分した行列（コーナー指標のヤコビアン）と画素に対応した輝度ノイズ量の予測値とから、コーナー指標のばらつき量の予測値σｃを求める。そして、３σｃをコーナー指標の閾値として設定する。

そして、特徴検出処理では、フィルタ処理において算出したコーナー指標と閾値算出処理において算出した閾値とを比較し、閾値を上回るコーナー指標を備える画素を、特徴点として出力する。なお、撮像素子ノイズに基づく輝度ノイズ量の予測値の算出は上述の実施形態と同様である。

本変形例では、Ｈａｒｒｉｓ特徴点を例に説明したが、特徴点の検出方法に関しては、Ｈａｒｒｉｓ特徴点に限るものではなく、例えば、Ｍｏｒａｖｅｃ特徴やＳｈｉ−Ｔｏｍａｓｈｉ特徴、ＦＡＳＴ特徴などの別の特徴点検出方法であっても良い。また、例えば、以下の文献で示されるようなＳＩＦＴ特徴におけるＤｉｆｆｅｒｅｎｃｅ ｏｆ Ｇａｕｓｓｉａｎ（ＤｏＧ）処理のようなｂｌｏｂ特徴の検出に本発明を適用してもよい。
Ｄ． Ｌｏｗｅ， “Ｄｉｓｔｉｎｃｔｉｖｅ ｉｍａｇｅ ｆｅａｔｕｒｅｓ ｆｒｏｍ ｓｃａｌｅｉｎｖａｒｉａｎｔ ｋｅｙｐｏｉｎｔｓ”， Ｐｒｏｃ． ｏｆ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ （ＩＪＣＶ）， ６０（２）， ｐｐ． ９１−１１０， ２００４．
以上の処理により、明るさが異なる画像に対しても、撮像素子ノイズからの特徴検出を抑制する閾値を自動的に設定して点特徴またはｂｌｏｂ特徴の検出を行うことが可能になる。

［変形例２］
上述の実施形態では、画像全体に対して特徴検出を行う方法について述べた。しかし、画像全体から特徴検出せずに、以下の文献で行われているような、着目領域近傍で局所的にエッジ検出を行うような方法を用いても良い。
Ｔ Ｄｒｕｍｍｏｎｄ， Ｒ Ｃｉｐｏｌｌａ， “Ｒｅａｌ−ｔｉｍｅ ｖｉｓｕａｌ ｔｒａｃｋｉｎｇ ｏｆ ｃｏｍｐｌｅｘ ｓｔｒｕｃｔｕｒｅｓ， ”Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ２４ （７）， ９３２−９４６．
この場合、上述の実施形態における画像フィルタ処理と輝度ノイズ量予測処理、閾値算出処理および特徴検出処理において、画像中の全画素に対して処理を行わず、所定の着目領域または画素に関してのみ処理を行う。これにより、画像全体を処理するコストを軽減し、着目領域のみの特徴検出を高速に行うことが可能になる。

［第２の実施形態］
本発明による情報処理装置１による特徴検出の好適な適用事例として、以下のような形態も考えられる。すなわち、情報処理装置１により検出された特徴に、被測定物体（対象物体）の形状を表す三次元形状モデルの特徴が当てはまるようにフィッティングを行うことで、被測定物体の位置姿勢の推定を行う利用例が挙げられる。以下、図３を用いて本実施形態の情報処理装置１を、画像中の特徴に基づいた位置姿勢推定における特徴検出に適用した場合について説明する。なお、本実施形態の説明では、第１の実施形態と同じ構成については説明を省き、違う点のみ説明する。また、本実施形態では、情報処理装置１と位置姿勢推定装置２とをそれぞれ別の装置として説明するが、もちろんこれらの装置を一体の装置として構成するようにしてもよい。

図３は、本発明の第２の実施形態に係る情報処理装置１および位置姿勢推定装置２の概略構成の一例を示す模式図である。図３に示すように、情報処理装置１は、第１の実施形態と同様に、画像取得部１１０、撮像素子ノイズモデル保持部１２０、輝度ノイズ量予測部１３０、フィルタ情報保持部１４０、閾値算出部１５０、特徴検出部１６０から構成されている。また、位置姿勢推定装置２は、概略位置姿勢取得部２１０、三次元形状モデル保持部２２０、残差算出部２３０、位置姿勢算出部２４０から構成されている。また、図３に示す構成は、本発明の情報処理装置の適用例となる構成である。

次に、情報処理装置１および位置姿勢推定装置２を構成する各部について説明する。情報処理装置１に関する、撮像素子ノイズモデル保持部１２０、輝度ノイズ量予測部１３０、フィルタ情報保持部１４０、閾値算出部１５０、特徴検出部１６０は、第１の実施形態における情報処理装置１と同様である。ただし、本実施形態における撮像装置１０の、焦点距離や主点位置、レンズ歪みパラメータなどの内部パラメータは、使用する機器の仕様を参照するか、または、以下の文献で開示される方法によって事前にキャリブレーションしておく。
Ｒ． Ｙ． Ｔｓａｉ， “Ａ ｖｅｒｓａｔｉｌｅ ｃａｍｅｒａ ｃａｌｉｂｒａｔｉｏｎ ｔｅｃｈｎｉｑｕｅ ｆｏｒ ｈｉｇｈ−ａｃｃｕｒａｃｙ ３Ｄ ｍａｃｈｉｎｅ ｖｉｓｉｏｎ ｍｅｔｒｏｌｏｇｙ ｕｓｉｎｇ ｏｆｆ−ｔｈｅ−ｓｈｅｌｆ ＴＶ ｃａｍｅｒａｓ ａｎｄ ｌｅｎｓｅｓ，” ＩＥＥＥ Ｊｏｕｒｎａｌ ｏｆ Ｒｏｂｏｔｉｃｓ ａｎｄ Ａｕｔｏｍａｔｉｏｎ， ｖｏｌ．ＲＡ−３， ｎｏ．４， １９８７．
概略位置姿勢取得部２１０は、被計測物体の置かれているおおよその位置や姿勢を取得する。２次元画像撮像装置２０と距離画像撮像装置３０からなる撮像装置２０３０に対する被計測物体の位置及び姿勢の概略値を入力する。本実施形態では、位置姿勢算出装置２は時間軸方向に連続して計測を行うものとして、前回（前時刻）の計測値を概略の位置及び姿勢として用いる。しかしながら、位置及び姿勢の概略値の入力方法はこれに限るものではない。

例えば、過去の位置及び姿勢の計測をもとに物体の速度や角速度を時系列フィルタにより推定し、過去の位置及び姿勢と推定された速度・加速度から現在の位置及び姿勢を予測したものでもよい。また、様々な姿勢で撮像した対象物体の画像をテンプレートとして保持しておき、入力する画像に対してテンプレートマッチングを行うことによって、対象物体の大まかな位置と姿勢を推定してもよい。

あるいは、他のセンサによる物体の位置及び姿勢の計測が可能である場合には、該センサによる出力値を位置及び姿勢の概略値として用いてもよい。センサは、例えばトランスミッタが発する磁界を物体に装着するレシーバで検出することにより位置及び姿勢を計測する磁気式センサであってもよい。また、物体上に配置されたマーカをシーンに固定されたカメラによって撮影することにより位置及び姿勢を計測する光学式センサであってもよい。その他、６自由度の位置及び姿勢を計測するセンサであればいかなるセンサであってもよい。また、物体の置かれているおおよその位置や姿勢があらかじめ分かっている場合にはその値を概略値として用いる。

三次元形状モデル保持部２２０は、被測定物体の形状を表す三次元形状モデルを保持する。本実施形態では、三次元形状モデルは、三次元位置と三次元線分方向から構成される物体輪郭上の局所的な三次元線分情報（以後、局所線特徴と称する）によって構成されるものとする。ただし、三次元形状モデルとして保持する形状情報は、対象形状を表す三次元的な幾何情報であれば良く、表現形式に特に制限はない。例えば、稜線を表す三次元ラインの集合、三次元点３点で構成される面および線の集合で表されるポリゴン形式の形状情報など、他の表現で表しても良い。三次元形状モデル保持部２２０に保持される三次元形状モデルは、残差算出部２３０に入力される。

残差算出部２３０は、情報処理装置１の特徴検出部１６０において検出されたエッジ特徴と、三次元形状モデルの特徴との残差（画像エッジと局所線特徴間の画像上の距離）を算出する。処理の詳細は後述する。

位置姿勢算出部２４０では、残差算出部２３０において算出された残差情報に基づいて、残差が最小になるように、撮像装置１０と被測定物体との間の位置及び姿勢を計測する。処理の詳細については後述する。

次に、本実施形態における位置・姿勢推定方法の処理手順について説明する。図４は、本発明の第２の実施形態に係る情報処理装置１および位置姿勢推定装置２における位置・姿勢推定方法の処理手順の一例を示すフローチャートである。

（ステップＳ２１００）
ステップＳ２１００において、概略位置姿勢取得部２１０は、撮像装置１０に対する被測定物体の位置及び姿勢の概略値を取得する。本実施形態では、物体の置かれているおおよその位置や姿勢があらかじめわかっているものとして、その値を概略値として用いる。しかしながら、位置及び姿勢の概略値の設定方法はこれに限るものではない。例えば、情報処理装置１は時間軸方向に連続して計測を行うものとして、前回（前時刻）の計測値を概略の位置及び姿勢として用いるものとしてもよい。また、過去の位置及び姿勢の計測をもとに物体の速度や角速度を時系列フィルタにより推定し、過去の位置及び姿勢と推定された速度・加速度から現在の位置及び姿勢を予測したものでもよい。また、その他、６自由度の位置及び姿勢を計測するセンサであればいかなるセンサであってもよい。ステップＳ２１００の処理を終了したら、ステップＳ２２００に進む。

（ステップＳ２２００）
次に、ステップＳ２２００において、情報処理装置１は、被測定物体のエッジ特徴を検出する。本ステップの処理は、第１の実施形態におけるステップＳ１１００からＳ１６００の処理と同一であるのでその詳細な説明を省略する。本ステップにより、画像からエッジ特徴の検出処理が終了すればステップＳ２２００の処理を終了し、ステップＳ２３００に進む。

（ステップＳ２３００）
次に、ステップＳ２３００では、残差算出部２３０は、ステップＳ２２００において検出されたエッジ特徴（画像特徴）と、三次元形状モデルから抽出された特徴との残差を算出する。具体的には、残差算出部２３０は、情報処理装置１から検出された特徴を取得する。また、残差算出部２３０は、概略位置姿勢取得部２１０から概略位置姿勢を取得し、三次元形状モデル保持部２２０から三次元形状モデルを取得する。そして、三次元形状モデルを構成する局所線特徴を、取得した概略位置姿勢と校正済みの撮像装置１０の内部パラメータとを用いて画像へ投影した位置を算出する。そして、画像上で検出されたエッジと三次元形状モデル中の局所線特徴とを対応付けを行い、画像エッジと局所線特徴間の画像上の距離を残差として算出する。エッジが各局所線特徴に対応して複数検出された場合には、複数検出されたエッジのうち、投影された局所線特徴に対して画像上で最も近いエッジを対応付ける。全ての局所線特徴に関する残差の算出が終了すればばステップＳ２３００の処理を終了し、ステップＳ２３００に進む。

（ステップＳ２４００）
次に、ステップＳ２４００では、位置姿勢算出部２４０は、ステップＳ２３００において算出した局所線特徴と画像エッジ間の残差に基づいて、三次元形状モデルと被測定物体間の位置及び姿勢を算出する。本ステップでは、局所線特徴と画像エッジ間の残差が最小になるように、線形連立方程式を解くことで、位置姿勢の更新を行う。本処理に関しては本発明の本質に関わる話ではないため、記述は省略する。詳細は以下の文献に記述されている。
Ｔ Ｄｒｕｍｍｏｎｄ， Ｒ Ｃｉｐｏｌｌａ， “Ｒｅａｌ−ｔｉｍｅ ｖｉｓｕａｌ ｔｒａｃｋｉｎｇ ｏｆ ｃｏｍｐｌｅｘ ｓｔｒｕｃｔｕｒｅｓ，”Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ２４ （７）， ９３２−９４６．
位置及び姿勢の更新処理が終了すればステップＳ２４００の処理を終了し、ステップＳ２５００に進む。

（ステップＳ２５００）
次に、ステップＳ２５００では、位置姿勢算出部２４０は、ステップＳ２４００で更新した位置姿勢が、収束しているか否か、すなわち、さらに反復計算を必要とするか否かの判定を行う。具体的には、補正値がほぼ０である場合や、誤差ベクトルの二乗和の補正前と補正後の差がほぼ０である場合に収束したと判定する。収束していなければ、ステップＳ２３００に戻り、更新した位置姿勢を用いて、再度残差算出処理を行う。収束していると判断した場合は、この処理は終了する。

以上の処理により、撮像装置と被測定物体間の相対的な位置姿勢の最終的な推定値が決定される。

本発明の情報処理装置１および位置姿勢推定装置２により、撮像素子ノイズから検出される特徴を抑制して検出した特徴に基づいて位置姿勢推定を行うことにより、撮像装置１０と被測定物体間の位置及び姿勢の推定を高精度に行うことが可能となる。

［第３の実施形態］
本発明による情報処理装置１および位置姿勢推定装置２の好適な適用事例としては、以下のような形態も考えられる。すなわち、撮像装置１０により得られる濃淡画像を基に被測定物体３０の位置姿勢を推定し、推定された位置姿勢に基づいて産業用ロボットアーム５０を制御する。そして、ロボットアーム先端のロボットハンドにより被測定物体の把持（対象物体保持）などを行う利用例があげられる。以下、図５を用いて本発明の一実施例である位置姿勢推定装置１の適用例を説明する。図５では、位置姿勢推定装置２とロボット５０を用いて被測定物体３０を把持するロボットシステムの構成例を示す。

ロボット５０はロボットコントローラ４０により制御され、指令された位置に手先を移動させ物体の把持などを行うロボットである。被測定物体３０は、作業台に置かれる位置が変わるため、現在の被測定物体３０の位置姿勢を推定し、ロボットの把持制御を行う必要がある。

撮像装置１０は、通常の濃淡画像を撮影するカメラであり、産業用ロボットアームの手先等の被測定物体３０を撮像できる位置に設置する。

位置姿勢推定装置２は、撮像装置１０から得られる濃淡画像を基に被測定物体３０の位置姿勢を推定する。位置姿勢推定装置２で推定された被測定物体３０の位置姿勢は、ロボット５０に入力され、被測定物体３０の把持などを行うようにロボットアームを制御する。本実施形態の情報処理装置により、ロボットシステムは被測定物体３０の位置が不定でも位置姿勢推定を行うことで、被測定物体３０を把持（保持）することが可能となる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

＜実施例の効果＞
第１の実施形態では、画像からのエッジ検出において、撮像素子ノイズに起因するエッジの検出を抑制するような閾値を、撮像素子ノイズモデルに基づく輝度ノイズ量の予測値と勾配検出するフィルタの係数とに基づいて算出する方法について述べた。これにより、明るさが異なる画像に対しても、撮像素子ノイズからの特徴検出を抑制する閾値を自動的に設定して特徴検出を行うことが可能になる。特徴検出に用いるフィルタ応答値が撮像素子ノイズによってばらつく量を予測することにより、任意の特徴検出方法に応じた閾値を自動的に算出することが可能になる。

第２の実施形態では、濃淡画像から検出した特徴に、被測定物体の形状を表す三次元形状モデルが当てはまるようにモデルフィッティングを行うことで、被測定物体の位置姿勢の推定を行う方法について述べた。像素子ノイズから検出される特徴を抑制して検出した特徴に基づいて位置姿勢推定を行うことにより、被測定物体の位置姿勢を高精度に推定することが可能となる。

第３の実施形態では、本発明の情報処理装置および位置姿勢推定装置により、被測定物体の位置姿勢を推定し、推定結果に基づいてロボットシステムが被測定物体の把持および移動を行う方法を示した。これにより、被測定物体の位置が不定でもロボットシステムが被測定物体を把持することが可能となる。

＜定義＞
本願明細書における画像取得は、濃淡画像を取得するカメラによる入力に限るものでなく、対象像が得られる限り他の方式でもよい。例えば、濃淡画像であってもよいしカラー画像であってもよい。また、また、カメラにより撮影される画像に限るものではなく、記憶媒体等に保存されたファイルまたは外部ネットワークから読み込んだ画像を入力しても特に問題はない。また、各画素が奥行きの情報を持つ距離画像であってもよい。

本願明細書における撮像素子ノイズモデルは、輝度値に基づいて輝度値のばらつき量を予測できる限り、いかなるモデルを用いても、特に問題はない。例えば、輝度値と輝度値のばらつき量との関数として表現してもよい。また、輝度値が変化した時の輝度値のばらつき量の変化を、実測または計算データの参照テーブルの形で保持しておき、入力される輝度値に対する輝度ばらつき量をテーブル参照することで予測するようにモデル化を行っても良い。あるいは、ＩＳＯ１２２３１やＩＳＯ１５７３９で標準化される手法を用いて撮像素子ノイズを測定しても良い。

本願明細書における輝度ノイズ量予測は、撮像素子ノイズモデルと画像中の輝度に基づいて、輝度ノイズ量の予測値が算出出来れば、算出方法に特に制限はなく、いかなる方式で算出しても、特に問題はない。例えば、着目する画素の輝度ノイズ量を予測するために、着目する画素の輝度値のみから算出しても良いし、着目画素の周辺領域中の輝度値の統計値を算出し、統計値から輝度ノイズ量を予測しても良い。

本願明細書におけるフィルタ処理は、特徴検出を行うためのフィルタ応答値を算出できる限り、画像フィルタ処理の種類や数、順番に特に制限はなく、いかなる方式であっても本発明の本質を損なうことはない。例えば、エッジ検出を行う場合は、１次微分フィルタであるＳｏｂｅｌフィルタを画像に畳み込むことで各画素に関する輝度勾配値を算出しても良いし、ｐｒｅｗｉｔｔ、ｓｃｈａｒｒフィルタなどの別の１次微分フィルタを用いても良い。また、プラシアンフィルタなどの２次微分フィルタを用いてもよい。また、Ｃａｎｎｙエッジ検出アルゴリズムのように、画像のノイズ除去のために、ガウシアンフィルタのような平滑化フィルタをかけてから、Ｓｏｂｅｌフィルタの処理を行っても良い。

本願明細書における閾値算出は、輝度勾配値のばらつき量の予測値に基づいて閾値を設定する限り、閾値の設定方法に特に制限はなく、いかなる方式を用いても特に問題はない。例えば、輝度勾配値のばらつき量の予測値の任意の定数倍を閾値に設定しても良いし、輝度勾配値のばらつき量の予測値に加え所定のオフセット値を加えて閾値を設定しても良い。また、撮像素子ノイズによる輝度勾配値のばらつき量の予測処理は、輝度値のばらつき量に基づいて輝度勾配値のばらつき量を算出できる方法であれば、算出方法に特に制限はなく、いかなる方式でも特に問題はない。例えば、画像フィルタ処理における勾配値算出式のヤコビアンに基づいて求めても良い。また、輝度値のばらつき量と輝度勾配値のばらつき量との関係性を多数回実測し参照テーブルとして保持しておくことで、輝度値のばらつき量に対する輝度勾配値のばらつき量を算出しても良い。あるいは、上述の実測値を関数フィッティングし、求めたパラメータを利用して、輝度値ばらつき量に対する輝度勾配値のばらつき量を算出しても良い。

本願明細書における特徴検出は、画像フィルタ処理の結果として得られるフィルタ応答値と閾値とに基づいて特徴となる点を検出できる限り、特徴検出方法に特に制限はない。例えば、エッジ特徴を検出する場合では、近傍画素間で輝度勾配値が極値となる画素の中で、閾値を上回る画素をエッジとして判定しても良い。また、極値判定を行わず、閾値を上回る画素を全てエッジとして判定しても良い。また、閾値に対し、輝度勾配値が、一定範囲内または下回る画素をエッジとして判定しても良い。また、ラプラシアンフィルタのような２次微分フィルタ処理の結果として、２次微分量が得られている場合には、２次微分量が０となる画素をエッジとして判定しても良い。この場合の閾値判定としては、２次微分値が０となる位置の輝度勾配値を用いても良いし、近傍の２次微分値を用いても良い。また、フィルタ応答値よりコーナーらしさを評価する指標を計算することで、特徴点を検出しても良い。また、ＳＩＦＴ特徴におけるＤｉｆｆｅｒｅｎｃｅ ｏｆ Ｇａｕｓｓｉａｎ（ＤｏＧ）処理のように、平滑化量が異なる平滑化フィルタの応答値の差分に基づいて、ｂｌｏｂ特徴の検出を行っても良い。

１１０ 画像取得部
１２０ 撮像素子ノイズモデル保持部
１３０ 輝度ノイズ量予測部
１４０ フィルタ情報保持部
１５０ 閾値算出部
１６０ 特徴検出部

Claims (12)

1. 撮像手段によって撮像して得られた撮像画像を取得する画像取得手段と、
   前記撮像手段で撮像される画像の輝度値と該輝度値のばらつき量との関係を示す第１の情報を保持する保持手段と、
   前記撮像画像の所定領域の輝度値と前記第１の情報とに基づき、前記撮像画像の前記所定領域における輝度値のばらつき量を導出するばらつき量導出手段と、
   前記撮像画像から特徴を検出するためのフィルタ処理のフィルタ情報を保持するフィルタ情報保持手段と、
   前記フィルタ情報に基づいて、前記輝度勾配値を取得し、該取得した輝度勾配値と前記導出した輝度値のばらつき量とに基づいて、該輝度値の勾配値である輝度勾配値のばらつき量を取得する取得手段と、
   前記取得した輝度勾配値のばらつき量に基づいて、前記撮像画像から得られる輝度勾配値との比較に用いる閾値を導出する閾値導出手段とを備えることを特徴とする情報処理装置。
2. 前記取得手段は、前記フィルタ情報に基づいて、前記輝度値の変化と前記輝度勾配値の変化との関係を示す第２の情報を導出し、該第２の情報と、前記導出した輝度値のばらつき量とに基づいて、前記輝度勾配値のばらつきを取得することを特徴とする請求項１に記載の情報処理装置。
3. 前記保持手段が保持する第１の情報は、輝度値と該輝度値のばらつき量との関数として表現されることを特徴とする、請求項１または２に記載の情報処理装置。
4. 前記閾値導出手段で導出された閾値に基づいて、前記撮像画像から前記特徴を検出する検出手段を更に備えることを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記検出手段は、前記撮像画像に対して前記特徴を検出するためのフィルタを適用することにより、前記撮像画像の各画素に関する輝度勾配値を算出し、該輝度勾配値と前記導出された閾値とに基づいて、前記特徴を検出することを特徴とする請求項４に記載の情報処理装置。
6. 前記検出手段は、前記撮像画像からエッジ特徴を検出することを特徴とする請求項４または５に記載の情報処理装置。
7. 前記検出手段は、点特徴またはｂｌｏｂ特徴を検出することを特徴とする、請求項４または５に記載の情報処理装置。
8. 請求項４乃至７のいずれか１項に記載の情報処理装置と、
   対象物体を含む画像を取得する第２の画像取得手段と、
   前記対象物体の三次元形状モデルを保持する三次元形状モデル保持手段と、
   前記検出手段により検出された画像特徴と、前記三次元形状モデルの特徴とを対応づける対応付け手段と、
   前記対応付け手段の結果に基づいて、前記対象物体の位置姿勢を推定する位置姿勢推定手段を備えることを特徴とする位置姿勢推定装置。
9. 請求項８に記載の位置姿勢推定装置と、
   前記位置姿勢推定装置による前記対象物体の位置姿勢の推定結果に基づいて、前記対象物体を保持する対象物体保持手段とを備えることを特徴とするロボットシステム。
10. 撮像手段によって撮像して得られた撮像画像を取得する画像取得手段と、
    前記撮像手段で撮像される画像の輝度値と該輝度値のばらつき量との関係を示す第１の情報を保持する保持手段と、
    前記撮像画像の所定領域の輝度値と前記第１の情報とに基づき、前記撮像画像の前記所定領域における輝度値のばらつき量を導出するするばらつき量導出手段と、
    前記導出した輝度値のばらつき量と、事前に計測した輝度値のばらつき量と輝度勾配値のばらつき量との関係とに基づいて、該輝度値の勾配値である輝度勾配値のばらつき量を取得する取得手段と、
    前記取得した輝度勾配値のばらつき量に基づいて、前記撮像画像から得られる輝度勾配値との比較に用いる閾値を導出する閾値導出手段とを備えることを特徴とする情報処理装置。
11. 撮像手段によって撮像して得られた撮像画像を取得する画像取得工程と、
    前記撮像画像の所定領域の輝度値と前記撮像手段で撮像される画像の輝度値と該輝度値のばらつき量との関係を示す第１の情報とに基づき、前記撮像画像の前記所定領域における輝度値のばらつき量を導出するばらつき量導出工程と、
    前記撮像画像から特徴を検出するためのフィルタ処理のフィルタ情報に基づいて、前記輝度勾配値を取得し、該取得した輝度勾配値と前記導出した輝度値のばらつき量とに基づいて、該輝度値の勾配値である輝度勾配値のばらつき量を取得する取得工程と、
    前記取得した輝度勾配値のばらつき量に基づいて、前記撮像画像から得られる輝度勾配値との比較に用いる閾値を導出する閾値導出工程とを備えることを特徴とする情報処理方法。
12. 撮像手段によって撮像して得られた撮像画像を取得する画像取得工程と、
    前記撮像画像の所定領域の輝度値と前記撮像手段で撮像される画像の輝度値と該輝度値のばらつき量との関係を示す第１の情報とに基づき、前記撮像画像の前記所定領域における輝度値のばらつき量を導出するするばらつき量導出工程と、
    前記導出した輝度値のばらつき量と、事前に計測した輝度値のばらつき量と輝度勾配値のばらつき量との関係とに基づいて、該輝度値の勾配値である輝度勾配値のばらつき量を取得する取得工程と、
    前記取得した輝度勾配値のばらつき量に基づいて、前記撮像画像から得られる輝度勾配値との比較に用いる閾値を導出する閾値導出工程とを備えることを特徴とする情報処理方法。

Images