JP6938201B2 - 情報処理装置、情報処理方法およびプログラム - Google Patents

Description

本発明は、特に、対象物体の位置姿勢を推定するための特徴群を判定するために用いて好適な情報処理装置、情報処理方法およびプログラムに関する。

従来、物体の３次元形状モデルに基づいて生成した特徴群を、物体を撮影した画像に当てはめることによってカメラの位置姿勢を推定する技術が知られている。例えば、特許文献１には、物体のＣＡＤモデルに基づいて抽出した特徴群の中から位置姿勢の推定に利用する特徴を予め選択しておき、選択した特徴を用いて位置姿勢の推定を行う方法が開示されている。

米国特許第６８０４４１６号明細書

Yutaka Ohtake , Alexander Belyaev , Marc Alexa , Greg Turk, and Hans-Peter Seidel,"Multi-level Partition of Unity Implicits

しかしながら、物体のＣＡＤモデルとして物体の形状を計測したデータに基づいて生成した３次元計測モデル（以下、計測モデルと呼ぶ）は、欠損や微小な凹凸などを含んでいる。このため、位置姿勢の推定に用いる特徴群を計測モデルから抽出する場合、このような欠損等により誤った特徴が抽出される可能性がある。このため、物体の位置姿勢を推定する精度が低下する恐れがある。

本発明は前述の問題点に鑑み、物体の計測モデルに基づいて抽出した特徴の信頼度を求めることを目的としている。

本発明に係る情報処理装置は、対象物体の形状を計測して生成した計測モデルと、前記計測モデルに基づいて抽出された特徴とに基づいて、前記特徴の近傍に対応する前記計測モデルの箇所に欠損があるかを解析する解析手段と、前記解析手段による解析の結果に基づいて、欠損があると判定された場合には、欠損がないと判定された場合よりも前記特徴の信頼度を低く決定する決定手段とを有することを特徴とする。

本発明によれば、物体の計測モデルに基づいて抽出した特徴の信頼度を求めることができる。これにより、例えば、抽出した特徴を用いて物体の位置姿勢を推定する場合に、推定の精度をより向上させることができる。

第１の実施形態に係る情報処理装置の機能構成例を示すブロック図である。 第１の実施形態における全体的な処理手順の一例を示すフローチャートである。 第２の実施形態における全体的な処理手順の一例を示すフローチャートである。 第３の実施形態に係る情報処理装置の機能構成例を示すブロック図である。 第８の実施形態に係る情報処理装置の機能構成例を示すブロック図である。 第８の実施形態における全体的な処理手順の一例を示すフローチャートである。 第９の実施形態に係る情報処理装置の機能構成例を示すブロック図である。 第９の実施形態における全体的な処理手順の一例を示すフローチャートである。 第１の実施形態において表示される画面の一例を示す図である。 第６の実施形態において表示される画面の一例を示す図である。 第２の実施形態において表示される画面の一例を示す図である。 第１０の実施形態に係る情報処理装置の機能構成例を示すブロック図である。 位置姿勢を推定する処理手順の一例を示すフローチャートである。

（第１の実施形態）
本実施形態では、計測モデルに基づいて抽出した特徴の中から、位置姿勢の推定に利用しないことが望ましいと推定される特徴の信頼度を低く算出する。ここで信頼度とは、対象物体の形状と前記特徴との整合性の高さを示すものである。具体的には、対象物体の形状と計測モデルの形状との差異として、表面形状が欠如している欠損箇所において抽出してしまった特徴を特定し、欠損箇所以外において抽出した特徴の信頼度よりも信頼度を低く算出する。これにより、特徴を用いた位置姿勢の推定において、欠損箇所における特徴の利用を抑制することが可能となり、位置姿勢を推定する精度を向上させることができる。以下、詳細について説明する。

図１は、本実施形態に係る情報処理装置１００の機能構成例を示すブロック図である。
図１において、情報処理装置１００は、計測モデル入力部１０２、特徴入力部１０３、形状解析部１０４、信頼度算出部１０５及び表示制御部１０６を備えている。また、計測モデル入力部１０２及び特徴入力部１０３は、情報処理装置１００の外部に設けられた記憶装置１０１と接続されている。

計測モデル入力部１０２は、記憶装置１０１から計測モデルを入力する。特徴入力部１０３は、該計測モデルに基づいて予め抽出されている特徴を記憶装置１０１から入力する。形状解析部１０４は、特徴入力部１０３で入力した特徴と計測モデル入力部１０２で入力した計測モデルとを用いて、各特徴の近傍の計測モデルの箇所が欠損しているか否かを判定する。信頼度算出部１０５は、形状解析部１０４で実施した欠損判定に基づいて、特徴ごとの信頼度を算出する。表示制御部１０６は、入力した特徴や計測モデル等を表示装置１０７に表示する。また、記憶装置１０１には、対象物体に係る計測モデル及び撮影画像と、該計測モデルに基づいて抽出された特徴などが記憶されている。

図２は、本実施形態における全体的な処理手順の一例を示すフローチャートである。
（ステップＳ２００）
計測モデル入力部１０２は、記憶装置１０１から計測モデルを入力する。ここで、入力される計測モデルは、対象物体の形状を計測したデータに基づいて生成された３次元形状モデルとし、頂点と稜線とで表現される複数のポリゴンで構成される表面形状を有するモデルとする。対象物体の形状を３次元スキャナで計測した３次元点群から表面形状を生成する方法は、例えば、非特許文献１に記載の方法がある。この方法では、３次元点群に局所的な曲面を当て嵌め、当てはめた曲面を複数のポリゴンに分割する。

（ステップＳ２０１）
特徴入力部１０３は、記憶装置１０１から計測モデルに基づいて予め抽出された特徴を入力する。本実施形態において予め抽出されている特徴は、エッジ特徴とする。エッジ特徴は、３次元の位置と方向を保持する。計測モデルに基づいてエッジ特徴を抽出する方法は次の通りである。

まず、計測モデルを任意の視点で画像に投影し、各画素位置に対応する計測モデルの箇所の奥行値を算出する。奥行値は、視点と各画素とを結ぶ線分と計測モデルとの交点を通りかつ視軸方向に垂直な平面から、視点位置までの距離とする。次に、隣接する画素間の奥行値の差を算出する。そして、算出した奥行き値の差が所定の値以上となる画素位置に対応する計測モデルの箇所をエッジ特徴の位置とする。また、エッジから該エッジの近傍に存在するエッジまでの方向を、エッジ特徴の方向とする。

なお、エッジ特徴の位置は、上述した以外の方法で抽出したものであってもよい。例えば、計測モデルの曲率を算出し、曲率が予め定めた閾値よりも大きい箇所をエッジ特徴の位置として抽出したものでもよい。

また、抽出されている特徴はエッジ特徴に限らず、例えば、計測モデルの表面上の点（以下、表面点と呼ぶ）としてもよい。表面点は、３次元の位置と法線方向とする。計測モデルから表面点を抽出する方法は、次の通りである。まず、計測モデルを任意の視点で画像上に投影し、投影画像において均一の画素間隔で画素を選択する。そして、選択した画素位置と視点位置とを結ぶ線分と、計測モデルとの交点を表面点の位置とする。また、該表面点の位置が含まれるポリゴンの法線方向を表面点の法線方向とする。なお、計測モデルから表面点を抽出する方法は、計測モデルの表面上の点が抽出できれば別の方法であってもよい。例えば、計測モデルのポリゴンの頂点を表面点としてもよい。また、エッジ特徴と表面転との両方を入力するようにしてもよい。

さらに、特徴入力部１０３は、計測モデルに基づいて抽出された特徴を入力したが、これに限らず、計測モデル、対象物体を撮影した画像及び撮影視点に基づいて抽出された特徴を入力するようにしてもよい。この場合、対象物体を撮影した画像は濃淡画像または距離画像とする。濃淡画像は、画素値として輝度値を保持し、距離画像は、画素値として距離値を保持する。エッジ特徴の位置の算出方法は次の通りである。まず、画像の隣接する画素間の輝度値または距離値の差が所定の値よりも大きくなる画素位置を、エッジ特徴の２次元位置として算出する。次に、撮影視点と該エッジ特徴の２次元位置を結ぶ線分と、計測モデルとの交点を算出する。そして、算出した交点を該エッジ特徴の３次元位置とする。表面点を特徴とする場合は、撮影視点と画像上で任意に選択した画素位置とを結ぶ線分と、計測モデルとの交点を表面点として算出する。

（ステップＳ２０２）
以下、ステップＳ２０１で入力した各特徴に対して処理を行うループである。

（ステップＳ２０３）
形状解析部１０４は、処理対象である特徴の近傍の計測モデルの箇所が欠損しているか否かを判定する。具体的には、次の通りである。まず、処理対象の特徴と計測モデルの各ポリゴンとの距離を算出し、該距離が最小となるポリゴンを選択する。次に、選択したポリゴンの各稜線に関して、稜線を共有するポリゴンの数を算出し、該ポリゴンの数が１つのみとなる場合には、該稜線と特徴との距離を算出する。そして、算出した距離が予め定めた値よりも小さかった場合には、該特徴の近傍の計測モデルの箇所が欠損していると判定する。

なお、欠損の判定方法は、上述した方法に限らず、別の方法であってもよい。例えば、処理対象の特徴と最近傍となる計測モデルのポリゴンとの距離を算出し、該距離が予め定めた値よりも大きかった場合には、該特徴の近傍の計測モデルの箇所に形状の欠損があると判定するようにしてもよい。

（ステップＳ２０４）
ステップＳ２０３で実施した欠損判定の結果に基づいて、信頼度算出部１０５は、その特徴の信頼度を算出する。信頼度は、ステップＳ２０３で欠損と判定した場合には、欠損と判定しなかった場合と比べて低く算出する。例えば、欠損と判定した場合には該特徴の信頼度を０とし、欠損と判定しなかった場合には１とする。あるいは、ステップＳ２０３で算出した該稜線と特徴との距離が大きいほど低い値となる関数、例えば、以下の式（１）を用いて信頼度ｗを算出する。この場合、ｄは、該稜線と特徴との距離とする。
ｗ＝１／（ｄ＋１） ・・・（１）

図９は、本実施形態において、表示制御部１０６によって表示される画面の一例を示す図である。以下、特徴の削除や追加を行う方法について説明する。
画像表示部９００には、計測モデルと特徴とが表示され、特徴の削除や追加を行う箇所を、カーソル９０３を用いて指定することができる。カーソルの操作は、情報処理装置１００の外部に接続された不図示のマウスを用いて行うことができる。欄９０５は、画像表示部９００で表示される特徴及び計測モデルに係る信頼度などを選択する欄である。また、欄９０１は、編集対象及び編集操作の選択を行う編集操作部である。

図９に示す例では、画像表示部９００に表示する特徴としてエッジ特徴及び表面点、表示する形状の差異の種別として形状の欠損、さらに計測モデルをそれぞれ表示するように選択されている。画像表示部９００では、計測モデル９０２とエッジ特徴（×印）及び表面点（黒丸印）をそれぞれ同一の視点に基づいて画像上に投影し、表示している。また、欠損箇所を示す画像９０４を計測モデル９０２上に重畳して表示している。なお、欠損箇所に該当するエッジ特徴及び表面点が識別可能なように、他の特徴及び表面点とは異なる色や形で表示してもよい。図９の例では、欠損箇所においてエッジ特徴が存在していることが分かる。欠損箇所において誤って抽出されたエッジ特徴を除去する場合には、欄９０１においてエッジ除去を選択し、画像表示部９００においてカーソル９０３で除去対象となるエッジ特徴を選択することで、該エッジ特徴を除去することができる。

以上のように計測モデルと特徴とを同時に表示することにより、ユーザは、特徴の誤りを容易に確認することが可能となる。また、特徴の削除及び追加を行うことが可能となる。なお、計測モデル及び特徴を表示したが、これに限らず、特徴の正誤が確認できる情報であれば、他の情報を表示してもよい。例えば、エッジ特徴の方向や、表面点の法線方向を示す線分をさらに表示するようにしてもよい。

また、図９に示した例では、マウスを用いてカーソルを動かし、カーソルを用いて特徴の削除または追加を行う箇所を指定したが、それ以外の方法で指定してもよい。例えば、表示装置１０７にタッチパネル機能が存在する場合には、ユーザによるタッチなどで指定してもよい。また、指定方法として、削除または追加を行う箇所を指定する代わりに、削除または追加を行う領域を指定してもよい。あるいは、削除または追加を行わない領域を指定し、指定した領域以外の領域の特徴の削除または追加を行うようにしてもよい。

また、図９に示した例では、計測モデルと特徴とを重畳して表示したが、両者を同時に表示できればよく、別の表示方法であっても良い。例えば、画像表示部を複数設け、計測モデル、エッジ特徴、表面点をそれぞれの画像表示部で表示するようにしてもよい。

以上のように本実施形態によれば、特徴を用いた位置姿勢推定において、欠損箇所における特徴の利用を抑制することが可能となり、位置姿勢を推定する精度を向上させることができる。

なお、本実施形態では、欠損判定を行う計測モデルの箇所は、１つの特徴の近傍の計測モデルの箇所として説明したが、複数の特徴の近傍の計測モデルの箇所としてもよい。また、本実施形態では、特徴ごとに欠損判定と信頼度の算出とを行ったが、全ての特徴に関して欠損判定を実施した後で、それぞれの特徴の信頼度を算出するようにしてもよい。

（第２の実施形態）
第１の実施形態では、計測モデルの形状を解析することにより欠損の有無を判定した。これに対して本実施形態では、計測モデルと画像との両方を用いて計測モデルの形状を解析して欠損の有無を判定する。画像で撮影された箇所のみ形状の解析を行うため、特徴が抽出された箇所全ての形状の解析を行う場合と比べて、効率的に処理を行うことが可能となる。なお、本実施形態に係る情報処理装置１００の構成は基本的には図１と同様であるが、特徴入力部１０３は、記憶装置１０１から対象物体を複数の視点で撮影した複数の画像及び撮影視点情報を入力する。画像は、距離画像または濃淡画像とする。以下、第１の実施形態と異なる部分について説明する。

図３は、本実施形態における全体的な処理手順の一例を示すフローチャートである。なお、図２と同様の処理については説明を省略し、第１の実施形態と異なる点について説明する。

（ステップＳ３００）
特徴入力部１０３は、記憶装置１０１から対象物体を複数の視点で撮影した複数の画像及び撮影視点情報を入力する。

（ステップＳ３０１）
形状解析部１０４は、特徴入力部１０３で入力した特徴と複数の画像及び撮影視点情報とを用いて、処理対象である特徴の近傍の計測モデルの箇所が欠損しているか否かを判定する。具体的には、次の通りである。

ステップＳ３００で入力された複数の画像が距離画像である場合は、まず、形状解析部１０４は、計測モデルを撮影視点情報に基づいて距離画像上に投影する。次に、距離画像の各画素位置と視点を結ぶ線分と計測モデルとの交点を算出し、さらに、算出した交点と距離画像の該画素値（距離値）との差を算出する。そして、算出した値が所定の値よりも大きい場合には、該特徴の近傍の計測モデルの箇所が欠損していると判定する。

一方、ステップＳ３００で入力された複数の画像が濃淡画像である場合は、まず、形状解析部１０４は、計測モデルの法線マップを生成し、ステップＳ３００において入力した各撮影視点情報に基づいて法線マップを描画した画像を生成する。法線マップは、３次元モデルの表面の微細な凹凸を表現するために使用するモデルの法線情報が格納されたテクスチャであり、法線ベクトルのＸ，Ｙ，Ｚ座標に対応したＲＧＢ画像で描画される。次に、法線マップ画像の隣接する画素間の画素値の差が、所定の値よりも大きくなる画素位置Ａを欠損箇所の候補として抽出する。次に、濃淡画像の隣接する画素間の画素値（輝度値）の差が、所定の値よりも大きくなる画素位置Ｂを抽出する。そして、欠損箇所の候補となった画素位置Ａの近傍に、濃淡画像の輝度値の差が所定の値よりも大きくなった画素位置Ｂが存在するか否かを探索する。画素位置Ｂが存在した場合には、画素位置Ａに対応する計測モデル上の位置を欠損箇所として判定する。

図１１は、本実施形態において、表示制御部１０６によって表示される画面の一例を示す図である。この例では、表示する特徴としてエッジ特徴及び表面点、さらに画像をそれぞれ表示するように選択されている。画像表示部１１００には、エッジ特徴（×印）及び表面点（黒丸印）をそれぞれ同一の視点に基づいて画像上に投影し、対象物体を撮影した画像１１０２と共に表示さている。図１１に示す例では、欄９０１では表面点追加が選択され、画像表示部１１００においてカーソル１１０３を用いて特徴を追加する箇所を指定し、表面点を追加することができる。

以上のように本実施形態によれば、画像で撮影された箇所のみ形状の解析を行うようにしたので、特徴が抽出された箇所全ての形状の解析を行う場合と比べて、効率的に処理を行うことが可能となる。

（第３の実施形態）
第１及び第２の実施形態では、計測モデルに基づいて予め抽出されていた特徴を入力した。本実施形態では、計測モデルを入力した後に、該計測モデルに基づいて情報処理装置側で特徴を抽出する。

図４は、本実施形態に係る情報処理装置４００の機能構成例を示すブロック図である。情報処理装置４００は、計測モデル入力部１０２、特徴抽出部４０１、形状解析部１０４、信頼度算出部１０５及び表示制御部１０６を備えている。また、計測モデル入力部１０２は、情報処理装置４００の外部に設けられた記憶装置１０１と接続している。なお、特徴抽出部４０１以外の構成は、第１の実施形態と同様のため、ここでの説明は省略する。また、記憶装置１０１には、計測モデル、その対象物体を撮影した画像及び撮影視点情報などが記憶されている。

特徴抽出部４０１は、計測モデル入力部１０２で入力した計測モデルに基づいて特徴を抽出する。特徴の種類および抽出方法については、第１の実施形態で説明したものと同様の方法を用いる。また、さらに対象物体を撮影した画像及び撮影視点情報に基づいて特徴を抽出する場合は、計測モデル入力部１０２は、対象物体を撮影した画像及び撮影視点情報を記憶装置１０１から入力し、特徴抽出部４０１は、これらの入力した情報を用いて特徴を抽出する。

なお、本実施形態における全体的な処理手順は図２と同様であるが、ステップＳ２０１では、特徴抽出部４０１は、計測モデル入力部１０２で入力した計測モデルに基づいて、特徴を抽出する。特徴の抽出方法は、例えば第１の実施形態で説明した方法とする。

以上のように本実施形態によれば、特徴が予め抽出されていない場合であっても、欠損箇所における特徴の利用を抑制することが可能となり、位置姿勢を推定する精度を向上させることができる。なお、本実施形態と第１又は第２の実施形態とを組み合わせることによって処理負荷を軽減するようにしてもよい。

（第４の実施形態）
第１〜第３の実施形態では、欠損箇所から誤って抽出した特徴の信頼度を低く算出した。本実施形態では、誤差が大きい箇所から抽出した特徴の信頼度を低く算出する。これにより、特徴を用いた位置姿勢の推定において、誤差が大きい箇所から誤って抽出した特徴の利用を抑制することが可能となり、位置姿勢を推定する精度が向上する。なお、本実施形態に係る情報処理装置１００の構成は基本的には図１と同様であるが、記憶装置１０１には、後述する計測モデルの誤差の情報が記憶されている。

ここでの誤差は、計測モデルを生成した元の計測値（３次元座標値）ごとに算出され、記憶装置１０１に記憶されている。計測値の誤差は、計測装置の機械的な要因による誤差や複数回計測した時の各計測値の分散値（偶然誤差）とする。モデル化誤差は、各計測値と計測モデルとの間の距離とする。

なお、本実施形態における全体的な処理手順は図２と同様であるが、ステップＳ２０３では、形状解析部１０４は、処理対象である特徴の近傍の計測モデルの箇所の誤差を記憶装置１０１から取得する。具体的には、特徴の箇所と最近傍となる位置の計測値の誤差を取得する。ステップＳ２０４では、信頼度算出部１０５は、ステップＳ２０３で取得した誤差が小さいほど高い信頼度を算出する。例えば、前述した式（１）を利用して距離ｄを誤差に置き換えて、信頼度ｗを算出する。

なお、記憶装置１０１に記憶されている誤差は、計測モデルを生成した元の計測値の誤差としたが、これに限らず、画像の計測誤差であってもよい。画像の計測誤差は、撮像ノイズ、ボケやブレなどの影響による画素値の分散値とする。具体的には、対象物体を複数回計測した時の画素値の分散値とし、画素ごとに算出する。これ以外にも、計測モデルを生成した元の計測値の誤差と画像の計測誤差の両方に基づいて誤差を算出してもよい。具体的には、計測モデルを生成した元の計測値の誤差（画像の計測誤差）を、計測モデルを生成した元の計測値の誤差（画像の計測誤差）の最大値で除することで正規化する。そして、計測モデルを生成した元の計測値の誤差と画像の計測誤差との和を算出し、これを誤差とする。

以上のように本実施形態によれば、特徴を用いた位置姿勢の推定において、誤差が大きい箇所から誤って抽出した特徴の利用を抑制することが可能となり、位置姿勢を推定する精度を向上させることができる。

（第５の実施形態）
本実施形態では、計測モデルに基づいて平面度を算出し、平面度に基づいて、エッジ特徴ごとの信頼度を算出する。これにより、実物には存在しない、計測モデルの微小な凹凸形状から抽出されたエッジ特徴を特定し、信頼度を低く算出することが可能となる。したがって、特徴を用いた位置姿勢の推定において、微小な凹凸形状から抽出されたエッジ特徴の利用を抑制することが可能となり、位置姿勢を推定する精度が向上する。なお、本実施形態に係る情報処理装置の内部構成については、基本的に図１と同様であるため、説明は省略する。

なお、本実施形態における全体的な処理手順は図２と同様であるが、ステップＳ２０３では、形状解析部１０４は、処理対象である特徴の近傍の計測モデルの箇所の平面度を算出する。平面度は、該箇所に該当する計測モデルの頂点群及から推定される局所平面と、該頂点との距離の最大値とする。なお、算出した該距離の最大値が小さいほど、平面度は高くなる。ステップＳ２０４では、信頼度算出部１０５は、ステップＳ２０３で取得した平面度が高いほど低い信頼度を算出する。例えば、ステップＳ２０３で算出した局所平面と各頂点との距離の最大値を信頼度としてもよい。

以上のように本実施形態によれば、特徴を用いた位置姿勢の推定において、微小な凹凸形状から抽出されたエッジ特徴の利用を抑制することが可能となり、位置姿勢を推定する精度を向上させることができる。

なお、本実施形態では平面度を計測モデルに基づいて算出したが、距離画像から平面度を算出してもよい。この場合には、図３に示す処理に従い、ステップＳ３０１では、形状解析部１０４は、特徴の近傍の距離画像の箇所の３次元点群から推定した局所平面と、各３次元点との距離の最大値を平面度として算出する。これ以外にも、計測モデルと距離画像との両方に基づいて平面度を算出してもよい。この場合には、計測モデル及び距離画像のそれぞれで平面度を算出し、両者の平面度のうち高い方を、該箇所の平面度とする。

なお、本実施形態では、入力する特徴をエッジ特徴として説明したが、特徴を表面点としてもよい。この場合には、信頼度算出部１０５は、平面度が高いほど高い信頼度を算出する。例えば、例えば、前述した式（１）を利用して距離ｄを、ステップＳ２０３で算出した局所平面と各頂点との距離の最大値に置き換え、信頼度ｗを算出する。

（第６の実施形態）
本実施形態では、計測モデルまたは画像の所定の箇所が観測可能か否かを判定し、観測不可能な該箇所から抽出された特徴の信頼度を低く算出する。これにより、特徴を用いた位置姿勢の推定において、本来観測できない裏側や内部の形状で抽出された特徴の利用を抑制することが可能となり、位置姿勢を推定する精度が向上する。なお、本実施形態に係る情報処理装置の内部構成は図１と同様であるため、説明は省略する。以下、第２の実施形態と異なる点についてのみ説明する。

また、本実施形態における全体的な処理手順は図３と同様であり、ステップＳ３０１及びステップＳ２０４以外は、第２の実施形態と同様であるため、ここでの説明は省略する。

（ステップＳ３０１）
形状解析部１０４は、処理対象である特徴の近傍の計測モデルまたは画像の箇所の観測判定を行う。ここで画像は、距離画像とする。観測判定方法は次の通りである。まず、特徴入力部１０３で入力した特徴ごとに近傍となる計測モデルまたは距離画像上の箇所を特定する。具体的には、該特徴と最近傍となる計測モデルのポリゴンまたは距離点を、該箇所として特定する。次に、該特徴から観測視点を結ぶベクトルと該箇所の法線ベクトルとのなす角度を算出する。そして、該なす角度が予め定めた所定の範囲を超える場合には、該特徴の近傍の計測モデルまたは画像の箇所を観測不可能と判定する。

（ステップＳ２０４）
信頼度算出部１０５は、ステップＳ２０３で観測不可能と判定した場合には、観測可能と判定した場合と比べて低い信頼度を算出する。例えば、観測不可能と判定した場合には該特徴の信頼度を０とし、観測可能と判定した場合には１とする。あるいは、該特徴から観測視点を結ぶベクトルの単位ベクトルｖと該箇所の法線ベクトルの単位ベクトルｎとの内積を信頼度ｗとして算出してもよい。

図１０は、本実施形態において、表示制御部１０６によって表示される画面の一例を示す図である。この例では、欄９０５では、表示する特徴としてエッジ特徴及び表面点、表示する特性として観測不可の領域を、さらに計測モデルをそれぞれ表示するように選択されている。画像表示部１０００では、計測モデル１００２とエッジ特徴（×印）及び表面点（黒丸印）とをそれぞれ同一の視点に基づいて画像上に投影し、表示している。また、観測不可な領域を示すテクスチャ１００４が計測モデル１００２上に重畳して表示している。なお、観測不可能な領域に該当するエッジ特徴及び表面点が識別可能なように、他の特徴及び表面点とは異なる色や形で表示してもよい。欄９０１では、表面点除去が選択され、カーソル１００３を使って除去対象となる表面点を指定し、除去することができる。

以上のように本実施形態によれば、特徴を用いた位置姿勢の推定において、本来観測できない裏側や内部の形状で抽出された特徴の利用を抑制することが可能となり、位置姿勢を推定する精度を向上させることができる。

（第７の実施形態）
本実施形態では、計測モデルの形状と画像との比較に基づいて、実物には存在しない形状となっている計測モデルの箇所を特定し、該箇所から抽出した特徴の信頼度を低く算出する。これにより、特徴を用いた位置姿勢の推定において、実物には存在しない形状から抽出された特徴の利用を抑制することが可能となり、位置姿勢を推定する精度が向上する。なお、本実施形態に係る情報処理装置の内部構成は図１と同様であるため、説明は省略する。以下、第２の実施形態と異なる点についてのみ説明する。

また、本実施形態における全体的な処理手順は図３と同様であり、ステップＳ３０１及びステップＳ２０４以外は、第２の実施形態と同様であるため、ここでの説明は省略する。
ステップＳ３０１では、形状解析部１０４は、処理対象である特徴の近傍の計測モデルの箇所と、該箇所に相当する画像とを比較する。具体的には、ステップＳ３００で入力された複数の画像が距離画像か濃淡画像かによって以下の処理を行う。

ステップＳ３００で入力された複数の画像が距離画像である場合は、まず、処理対象である特徴の近傍の計測モデルの箇所として、該特徴と最近傍となる計測モデルのポリゴンを特定する。次に特定したポリゴンを、ステップＳ３００で入力した撮影視点情報に基づいて画像上に投影し、画像上での画素位置を求める。そして、求めた画素位置における距離画像の３次元点群と該ポリゴンとの距離の分散値を算出する。なお、分散値が大きいほど、実物には存在しない形状である可能性が高いことを示している。

ステップＳ２０４では、信頼度算出部１０５は、ステップＳ３０１で実施した比較結果に基づいて信頼度を算出する。具体的には、算出した距離の分散値が大きいほど低い信頼度を算出する。例えば、前述した式（１）を利用し、距離ｄを分散値σに置き換えて、信頼度ｗを算出する。なお、距離画像が保持する３次元点群と計測モデルのポリゴンとの距離の分散値を用いて信頼度を算出したが、別の方法であってもよい。例えば、分散値に代わって、距離画像が保持する３次元点群と計測モデルのポリゴンとの距離の平均や最大値を用いて信頼度を算出してもよい。

一方、ステップＳ３００で入力された複数の画像が濃淡画像である場合は、ステップＳ３０１においては、まず、濃淡画像から背景領域及び対象物体の輪郭を抽出する。背景領域の抽出方法は、例えば背景画像を予め設定しておき、輝度値を参照することで背景領域を抽出する。例えば、背景画像を予め黒と設定した場合には、濃淡画像から黒となる領域を背景として抽出する。対象物体の輪郭は、背景領域の輪郭とする。次に、特徴の近傍の計測モデルの箇所を、ステップＳ３００で入力した撮影視点情報に基づいて画像上に投影し、画像上での画素位置を求める。そして、求めた画素位置が背景領域に該当する場合には、特徴の近傍の計測モデルの箇所を本来存在しない形状として特定する。

ステップＳ２０４では、信頼度算出部１０５は、ステップＳ３０１で実施した比較結果に基づいて信頼度を算出する。具体的には、本来存在しない形状と特定された場合には、求めた画素位置から対象物体の輪郭までの距離ｄ'を用い、前述した式（１）の距離ｄを上記の距離ｄ'に置き換えて信頼度ｗを算出する。また、本来存在しない形状と特定されなかった場合には、信頼度を１とする。

以上のように本実施形態によれば、実物には存在しない形状から抽出された特徴の利用を抑制することが可能となり、位置姿勢を推定する精度を向上させることができる。

（第８の実施形態）
本実施形態では、計測モデルの形状の解析結果に基づいて、特徴を抽出する箇所を決定する。これにより、特徴抽出に適切と推定される箇所から特徴の抽出を行うことが可能となり、位置姿勢を推定する精度を向上させることが可能となる。

図５は、本実施形態に係る情報処理装置５００の機能構成例を示すブロックである。情報処理装置５００は、計測モデル入力部１０２、形状解析部１０４、特徴抽出部４０１及び表示制御部１０６を備えている。また、計測モデル入力部１０２は、情報処理装置５００の外部に設けられた記憶装置１０１と接続されている。記憶装置１０１には、計測モデル、その対象物体を撮影した画像及び撮影視点情報などが記憶されている。

また、本実施形態に係る形状解析部１０４及び特徴抽出部４０１は、以下の点で図４と異なるものとする。
形状解析部１０４は、計測モデルの各領域の形状を解析し、特徴を抽出することの適切度を算出する。特徴抽出部４０１は、形状解析部１０４において算出した適切度が所定の値よりも高い場合に、該領域から特徴を抽出する。

図６は、本実施形態における全体的な処理手順の一例を示すフローチャートである。
（ステップＳ６００）
計測モデル入力部１０２は、記憶装置１０１から計測モデルを入力する。そして、入力した計測モデルを複数の領域に分割する。

（ステップＳ６０１）
ステップＳ６０１は、ステップＳ６００で入力した計測モデルにおいて複数に分割され各領域に対して処理を行うループである。

（ステップＳ６０２）
形状解析部１０４は、計測モデルの処理対象となる領域の形状を解析し、特徴を抽出することの適切度を算出する。具体的には、処理対象である領域に欠損があるかないかを判定し、欠損の箇所が小さいほど高い適切度を算出する。欠損があるかないかの判定方法は、第１の実施形態で説明した方法と同様に、該領域に含まれる計測モデルのポリゴンの各稜線を共有するポリゴンの数が１つのみとなるものが含まれていた場合に、欠損があると判定する。欠損の箇所の大きさは、該稜線の長さとする。そして、前述した式（１）を利用し、距離ｄを欠損箇所に該当する稜線の長さｌに置き換えて適切度（信頼度）ｗを算出する。

（ステップＳ６０３）
形状解析部１０４は、ステップＳ６０２において算出した適切度ｗが所定の値よりも高いか否かを判定する。この判定の結果、適切度が所定の値以下である場合には、ステップＳ６０１に戻り、次の領域ついて処理を行う。一方、適切度が所定の値よりも高い場合には、ステップＳ６０４へ進む。

（ステップＳ６０４）
特徴抽出部４０１は、その領域から特徴を抽出する。特徴の抽出方法は、第３の実施形態と同様であるものとし、第１の実施形態で説明した方法を用いる。

以上のように本実施形態によれば、特徴抽出に適切と推定される箇所から特徴の抽出を行うことが可能となり、位置姿勢を推定する精度を向上させることが可能となる。

なお、本実施形態では、第１の実施形態の処理に従って形状解析部１０４において欠損の有無を判定し、適切度を算出した。これに限らず、前述した実施形態のいずれかで説明した形状解析部１０４の処理を計測モデルの領域ごとに実施し、信頼度に代わって適切度を算出するようにしてもよい。

（第９の実施形態）
第１〜第７の実施形態で説明した方法を用いて特徴ごとに信頼度を算出すると、信頼度の高い特徴の分布に偏りが発生し、特徴及び信頼度を用いた位置姿勢の推定において、精度が低下する可能性がある。そこで本実施形態では、第１〜第７の実施形態で説明した方法に加えて、さらに、特徴の空間的な分布が一様となるように特徴を選択する方法について説明する。これにより、特徴分布の偏りによる位置姿勢を推定する精度の低下を抑制することが可能となる。

図７は、本実施形態に係る情報処理装置７００の機能構成例を示すブロック図である。情報処理装置７００は、計測モデル入力部１０２、特徴抽出部４０１、形状解析部１０４、信頼度算出部１０５、表示制御部１０６、パラメータ設定部７０１及び特徴選択部７０２を備えている。また、計測モデル入力部１０２は情報処理装置７００の外部に設けられた記憶装置１０１と接続されている。

パラメータ設定部７０１は、特徴の分布を決定するパラメータを設定する。特徴選択部７０２は、パラメータ設定部７０１で設定したパラメータに基づいて、特徴を選択する。パラメータ設定部７０１及び特徴選択部７０２以外は、図４と同様であるため、ここでの説明は省略する。

図８は、本実施形態における全体的な処理手順の一例を示すフローチャートである。ステップＳ２００〜ステップＳ２０４は、第３の実施形態で説明したものと同様であるため、ここでの説明は省略する。

（ステップＳ８００）
パラメータ設定部７０１は、特徴の分布を決定するパラメータを設定する。この処理で設定するパラメータは、特徴の密度や空間的な広がりを示すパラメータとする。具体的な手順としては、特徴の密度として、特徴同士の最近傍間距離を設定し、最近傍間距離が小さいほど密度が高く、大きいほど密度が低くなる。また、空間的な広がりとして、各特徴の３次元位置をベクトルとした主成分分析を行い、それぞれ２軸及び３軸の寄与率を算出し、最小寄与率の値を最大寄与率の値で除した値を設定する。

（ステップＳ８０１）
特徴選択部７０２は、ステップＳ８００で設定したパラメータに基づいて、ステップＳ２０１で抽出した特徴群の中から特徴を選択する。具体的には、次の通りである。まず、ステップＳ２０１で抽出した特徴の中から、ステップＳ２０４で算出した信頼度が所定の値よりも大きくなるものを選択する。次に、選択した特徴の中から、ステップＳ８００で設定した特徴の密度と同程度となるように特徴をさらに選択する。次に、選択した特徴群を用いて特徴の空間的な分布を算出する。そして、算出した特徴の空間的な分布が、ステップＳ８００で設定した値よりも小さい場合には、再度特徴を選択し直す。逆に、算出した特徴の空間的な分布が、ステップＳ８００で設定した値以上となった場合には、本処理を終了する。以上のように算出した特徴の空間的な分布が、ステップＳ８００で設定した値以上となるまで特徴の選択を繰り返す。

以上のように本実施形態によれば、特徴の分布を一様にすることが可能となる。そのため、特徴分布の偏りによる位置姿勢を推定する精度の低下を抑制することが可能となる。

なお、本実施形態では、特徴の空間的な広がりは、各特徴の３次元位置をベクトルとした主成分分析を行い、それぞれ２軸及び３軸の寄与率を算出し、最小寄与率の値を最大寄与率の値で除した値とした。これに限らず、特徴の空間的な広がりを示せれば、何でもよい。例えば、表面点の３次元位置に代わって、表面点の法線方向を主成分分析することで空間的な分布を示す値を算出してもよい。また、本実施形態では、第３の実施形態のように計測モデルから特徴を抽出する例について説明したが、第１の実施形態のように予め抽出された特徴を入力する場合において適用することもできる。

（第１０の実施形態）
本実施形態では、計測モデルに基づいて抽出した特徴及び信頼度と、対象物体を撮影した画像とに基づいて、対象物体の位置姿勢を算出する方法について説明する。

図１２は、本実施形態に係る情報処理装置１２００の機能構成例を示すブロック図である。本実施形態に係る情報処理装置１２００は、図１に示した構成に加えて位置姿勢推定部１２０１をさらに備えている。位置姿勢推定部１２０１は、計測モデルに基づいて抽出した特徴と、対象物体を撮影した画像とに基づいて、撮影した視点の位置姿勢を算出する。なお、その他の構成については第２の実施形態と同様であり、図３に示した手順により信頼度を算出する。

図１３は、本実施形態において、対象物体の位置姿勢を推定する処理手順の一例を示すフローチャートである。
（ステップＳ１３０１）
まず、位置姿勢推定部１２０１は、初期化を行う。この処理では、対象物体の位置姿勢の概略値を設定する。

（ステップＳ１３０２）
特徴入力部１０３は、記憶装置１０１から対象物体を撮影した画像及び撮影視点情報を入力し、位置姿勢推定部１２０１は、対象物体を撮影した画像からエッジ特徴を抽出する。そして、位置姿勢推定部１２０１は、計測モデルから抽出されたエッジ特徴と、画像から抽出したエッジ特徴との対応付けを行う。具体的には、計測モデルから抽出したエッジ特徴の最近傍となる画像から抽出したエッジ特徴とを対応付ける。なお、エッジ特徴の代わりに表面点を用いてもよい。

（ステップＳ１３０３）
位置姿勢推定部１２０１は、対象物体の位置姿勢の補正量Δｓを未知数とする線形連立方程式（以下の式（２））を算出する。ここでＷは、各特徴に設定した信頼度を対角成分とする重みつけ行列（式（３）参照）であり、ｗ₁〜ｗ_nは各エッジ特徴における信頼度である。Ｊは画像から抽出した各エッジ特徴（又は表面点）の３次元位置に基づいて算出されるヤコビアン行列であり、Ｅは対応付いたエッジ特徴（又は表面点）間の距離を要素とする誤差ベクトルである。

（ステップＳ１３０４）
位置姿勢推定部１２０１は、ステップＳ１３０３で算出した線形連立方程式を以下の式（４）のようにして解くことにより、補正値Δｓを算出する。

（ステップＳ１３０５）
位置姿勢推定部１２０１は、ステップＳ１３０４において算出された位置姿勢の補正値Δｓにより、位置姿勢をｓ＋Δｓに更新する。

（ステップＳ１３０６）
位置姿勢推定部１２０１は、位置姿勢が収束したか否かを判定する。収束判定では、Ｓ１３０５の補正量が所定の値以下でほぼ変化がないと判定された場合に収束したと判定する。なお、収束判定の方法はこの方法に限定されるものではなく反復回数が所定回数に達した場合に収束したものと判定してもよい。この判定の結果、位置姿勢が収束した場合は、その時の位置姿勢をフィッティング結果として処理を終了する。一方、位置姿勢が収束していない場合は、位置姿勢が収束するまでＳ１３０２〜Ｓ１３０５の処理を繰り返し行う。

以上説明したようにステップＳ１３０１〜Ｓ１３０６の処理により、対象物体の位置姿勢を算出することができる。

（その他の実施形態）
前述した第１〜第７の実施形態では、様々な方法により信頼度を算出したが、これらの方法を個別に実施するのではなく、いくつかの方法を組み合わせて同時に実施してもよい。例えば、各実施形態で説明した手順で算出した信頼度の加重平均や最小値を信頼度として算出してもよい。これにより、各実施形態で説明した方法を個別に実施するよりも、信頼度の低い特徴をより確実に割り出すことが可能となる。したがって、信頼度の低い特徴の利用を抑制することで、位置姿勢を推定する精度が向上する。

前述した実施形態の計測モデル入力部は、対象物体を計測して生成した計測モデルを記憶装置から入力したが、計測モデルを生成する装置など、それ以外の装置から計測モデルを入力するようにしてもよい。また、入力される計測モデルは、対象物体の形状を計測したデータに基づいて生成した表面形状を有する３次元モデルであれば表現形式は何でもよい。例えば、前述したような複数のポリゴンで表現されるポリゴンモデルであってもよく、表面形状を曲面関数で表現した曲面モデルであってもよい。

また、前述した実施形態における特徴入力部も同様に、計測モデル、または計測モデル及び画像に基づいて抽出した特徴が入力できれば何処から入力してもよい。例えば、前述したように記憶装置に記憶されている特徴を入力するようにしてもよく、特徴抽出を行う装置から特徴を入力するようにしてもよい。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０４ 形状解析部
１０５ 信頼度算出部

Claims (15)

1. 対象物体の形状を計測して生成した計測モデルと、前記計測モデルに基づいて抽出された特徴とに基づいて、前記特徴の近傍に対応する前記計測モデルの箇所に欠損があるかを解析する解析手段と、
   前記解析手段による解析の結果に基づいて、欠損があると判定された場合には、欠損がないと判定された場合よりも前記特徴の信頼度を低く決定する決定手段とを有することを特徴とする情報処理装置。
2. 前記計測モデルに基づいて前記特徴を抽出する抽出手段をさらに有することを特徴とする請求項１に記載の情報処理装置。
3. 前記解析手段は、さらに前記対象物体を撮影した画像に基づいて、前記対象物体の形状と前記計測モデルの形状との差異を解析することを特徴とする請求項１又は２に記載の情報処理装置。
4. 対象物体の形状を計測して生成した計測モデルと、前記計測モデルに基づいて抽出された特徴とに基づいて、前記特徴の近傍における前記計測モデルを生成した計測値の誤差または前記対象物体を撮影した画像の計測値の誤差を解析する解析手段と、
   前記解析手段による解析の結果に基づいて、前記誤差が大きいほど前記特徴の信頼度を低く決定する決定手段とを有することを特徴とする情報処理装置。
5. 対象物体の形状を計測して生成した計測モデルと、前記計測モデルに基づいて抽出された特徴とに基づいて、前記特徴の近傍の前記計測モデルの箇所と前記対象物体を撮影した画像の当該箇所とを比較することにより、前記計測モデルの前記箇所が誤っているかを解析する解析手段と、
   前記解析手段によって誤っていると判定された場合には、誤っていないと判定された場合よりも前記特徴の信頼度を低く決定する決定手段とを有することを特徴とする情報処理装置。
6. 対象物体の形状を計測して生成した計測モデルと、前記計測モデルに基づいて抽出された特徴とに基づいて、前記特徴の近傍の前記計測モデルの箇所の平面度を解析する解析手段と、
   前記平面度に基づいて当該特徴の信頼度を決定する決定する決定手段とを有することを特徴とする情報処理装置。
7. 前記計測モデル及び前記特徴を表示装置に表示する表示制御手段と、
   前記表示装置に表示された特徴に対して削除または追加を行う手段とをさらに有することを特徴とする請求項１〜６の何れか１項に記載の情報処理装置。
8. 前記特徴の空間的な分布と、前記決定手段によって決定された信頼度とに基づいて、前記対象物体の位置姿勢の推定に利用するための特徴を選択する選択手段をさらに有することを特徴とする請求項１〜６の何れか１項に記載の情報処理装置。
9. 前記対象物体を撮影した画像と、前記特徴と、該特徴に係る前記決定手段によって決定された信頼度とに基づいて、前記対象物体の位置姿勢を推定する推定手段をさらに有することを特徴とする請求項１〜６の何れか１項に記載の情報処理装置。
10. 前記特徴は、エッジ特徴または表面点であることを特徴とする請求項１〜９の何れか１項に記載の情報処理装置。
11. 対象物体の形状を計測して生成した計測モデルと、前記計測モデルに基づいて抽出された特徴とに基づいて、前記特徴の近傍に対応する前記計測モデルの箇所に欠損があるかを解析する解析工程と、
    前記解析工程における解析の結果に基づいて、欠損があると判定された場合には、欠損がないと判定された場合よりも前記特徴の信頼度を低く決定する決定工程とを有することを特徴とする情報処理方法。
12. 対象物体の形状を計測して生成した計測モデルと、前記計測モデルに基づいて抽出された特徴とに基づいて、前記特徴の近傍における前記計測モデルを生成した計測値の誤差または前記対象物体を撮影した画像の計測値の誤差を解析する解析工程と、
    前記解析工程における解析の結果に基づいて、前記誤差が大きいほど前記特徴の信頼度を低く決定する決定工程とを有することを特徴とする情報処理方法。
13. 対象物体の形状を計測して生成した計測モデルと、前記計測モデルに基づいて抽出された特徴とに基づいて、前記特徴の近傍の前記計測モデルの箇所と前記対象物体を撮影した画像の当該箇所とを比較することにより、前記計測モデルの前記箇所が誤っているかを解析する解析工程と、
    前記解析工程において誤っていると判定された場合には、誤っていないと判定された場合よりも前記特徴の信頼度を低く決定する決定工程とを有することを特徴とする情報処理方法。
14. 対象物体の形状を計測して生成した計測モデルと、前記計測モデルに基づいて抽出された特徴とに基づいて、前記特徴の近傍の前記計測モデルの箇所の平面度を解析する解析工程と、
    前記平面度に基づいて当該特徴の信頼度を決定する決定する決定工程とを有することを特徴とする情報処理方法。
15. 請求項１〜１０の何れか１項に記載の情報処理装置の各手段としてコンピュータを機能させるためのプログラム。

Images