JP6768400B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Description

本発明は、特に、現実空間に仮想物体を配置するために用いて好適な情報処理装置、情報処理方法及びプログラムに関する。

カメラで撮像した画像に仮想物体の投影像を重畳した画像をユーザに提示する技術として、ＡＲ（Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）やＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）が広く知られている。これらの技術では、カメラの位置姿勢を推定することにより、実空間の所定の位置に配置した仮想物体を実空間に重畳させた画像を生成して、ユーザに提示する。このため、カメラの位置姿勢を推定する精度が低い場合には、所定の位置とは異なる場所に仮想物体が配置されてしまい、所望の画像をユーザに提供することができない。このようなことを回避する方法として、例えば特許文献１には、カメラの位置姿勢を高精度に計算可能な空間領域を可視化する技術が開示されている。

特許第４６８９３８０号公報

E. Rosten and T. Drummond (May 2006). "Machine learning for high-speed corner detection". European Conference on Computer Vision. Bo Zheng,Ryo Ishikawa,Takeshi Oishi,Jun Takamatsu,Katsushi Ikeuchi,"A Fast Registration Method Using IP and Its Application to Ultrasound Image Registration", IPSJ Transactions on Computer Vision and Applications, pp.209-219, September 2009

しかし、ユーザが仮想物体を観測する視点とカメラの位置姿勢を高精度に計算可能な空間領域とが一致しない場合には、視点の位置決め精度が低いという問題点がある。

本発明は前述の問題点に鑑み、現実空間に仮想物体を配置する際に、仮想物体を観測する視点から適切に仮想物体の配置を決定できるようにすることを目的としている。

本発明に係る情報処理装置は、現実空間を観察する視点を設定する視点設定手段と、前記視点設定手段によって設定された視点ごとに、前記現実空間における視点の位置姿勢の推定精度を示す第１の評価値を導出する第１の評価値導出手段と、前記第１の評価値導出手段によって導出された第１の評価値に基づいて、前記現実空間の中の領域ごとに、該領域に仮想物体を配置した際の前記現実空間への仮想物体の位置合わせの精度を示す第２の評価値を導出する第２の評価値導出手段と、前記第２の評価値導出手段によって導出された第２の評価値に基づいて、前記現実空間における前記仮想物体の配置を決定する配置決定手段と、を有することを特徴とする。

本発明によれば、現実空間に仮想物体を配置する際に、仮想物体を観測する視点から適切に仮想物体の配置を決定することができる。

第１の実施形態に係る情報処理装置の機能構成例を示すブロック図である。 第１の実施形態において行われる処理手順の一例を示すフローチャートである。 空間を３６個のグリッドに分割し、グリッドごとに視点方向を６方向に設定する例を説明するための図である。 第１の評価値が付与された領域情報の足し合わせを模式的に２次元で表わした図である。 第３の実施形態に係る情報処理装置の機能構成例を示すブロック図である。 第３の実施形態において行われる処理手順の一例を示すフローチャートである。 平面選択を行うためのＧＵＩの一例を示す図である。 第５の実施形態に係る情報処理装置の機能構成例を示すブロック図である。 第５の実施形態において行われる処理手順の一例を示すフローチャートである。 第５の実施形態において、第１の評価値を導出する詳細な処理手順の一例を示すフローチャートである。 第８の実施形態に係るＭＲシステムの機能構成例を示すブロック図である。 第８の実施形態において行われる処理手順の一例を示すフローチャートである。

（第１の実施形態）
本実施形態では、仮想物体と現実空間との重ね合わせ精度が所定の値よりも高い領域を仮想物体の配置として決定する方法について説明する。以下、本実施形態の詳細について説明する。

図１は、本実施形態における情報処理装置１００の機能構成例を示すブロック図である。
図１に示すように、情報処理装置１００は、視点設定部１０１、第１の評価値導出部１０２、第２の評価値導出部１０３及び配置決定部１０４を備えている。また、記憶部１０５は、情報処理装置１００の外部に存在し、第１の評価値導出部１０２は、記憶部１０５からデータを入力することができる。なお、記憶部１０５は、情報処理装置１００が備える不図示の不揮発性メモリであってもよい。

視点設定部１０１は、位置姿勢推定精度を評価する視点を１つ以上設定する。
第１の評価値導出部１０２は、視点ごとに視点の位置姿勢推定精度を示す評価値を導出する。
第２の評価値導出部１０３は、現実空間の領域ごとに仮想物体と現実空間との重ね合わせ精度を示す評価値を導出する。
配置決定部１０４は、仮想物体の配置を決定する。
記憶部１０５は、現実空間に配置された特徴配置に関する情報（以下、特徴マップと呼ぶ）及びカメラの視野情報を保持する。

図２は、本実施形態における情報処理装置１００が行う処理手順の一例を示すフローチャートである。
（ステップＳ２００）
まず、視点設定部１０１は、位置姿勢推定精度を評価する視点を１つ以上設定する。設定方法は、次の通りである。まず、図３（ａ）に示すように、空間を複数の３次元のグリッドに分割し、各グリッドの中心位置を視点位置とする。次に、図３（ｂ）に示すように、グリッドごとに視点の方向を離散的に設定する。そして、視点の位置及び方向の組み合わせにより、視点を設定する。図３（ａ）は、空間を３６個のグリッドに分割している例を示しており、図３（ｂ）は、グリッドごとに視点方向を６方向に設定する例を示している。この場合、３６×６＝２１６個の視点を設定することになる。なお、図３における黒い丸印は視点位置を示している。

（ステップＳ２０１）
次に、第１の評価値導出部１０２は、記憶部１０５から特徴マップおよびカメラの視野情報を取得し、ステップＳ２００で設定した視点ごとに、視点の位置姿勢推定精度を示す第１の評価値を導出する。ここで、特徴マップは、現実空間を撮影した画像から検出されるコーナー特徴の３次元空間での位置を保持するマップである。第１の評価値は、視点ごとに観測可能な特徴の空間的な分布の広がりとする。

第１の評価値の具体的な導出方法は、次の通りである。まず、視点ごとに観測可能なコーナー特徴を決定する。観測可能なコーナー特徴は、特徴マップに記述されているコーナー特徴（３次元）を該視点に基づいて画像上に投影し、投影点がカメラの撮影画像サイズ内に含まれるものとする。カメラの撮影画像サイズはカメラの視野情報から決定する。次に、観測可能なコーナー特徴の投影点の位置（２次元）をベクトルとした主成分分析を行い、２軸の寄与率を算出する。そして、最小寄与率の値を最大寄与率の値で除した値を、空間的な分布の広がりとして求める。

なお、コーナー特徴を検出する方法は様々な方法が提案されているが、本実施形態では非特許文献１で開示されているコーナー特徴検出方法を用いる。

（ステップＳ２０２）
次に、第２の評価値導出部１０３は、ステップＳ２０１で導出した第１の評価値に基づいて、現実空間の領域ごとに、仮想物体と現実空間との重ね合わせ精度を示す第２の評価値を導出する。第２の評価値は、第１の評価値が所定の値よりも高いもの同士の和とする。

具体的な導出方法は、次のとおりである。まず、第１の評価値が所定の値よりも高いものを選択する。次に、選択した第１の評価値を、それぞれ評価を実施した視点の観測可能領域に付与することによって領域情報を生成し、領域情報を全て足し合わせることで第２の評価値を導出する。

図４は、第１の評価値が付与された領域情報の足し合わせを模式的に２次元で表わした図である。図４（ａ）及び図４（ｂ）は、視点ごとの領域情報を示しており、黒丸は視点位置を示し、灰色で塗りつぶされた領域は該視点での観測領域を示している。また、図４（ｃ）は、導出した第２の評価値を示している。

（ステップＳ２０３）
次に、配置決定部１０４は、ステップＳ２０２で導出した第２の評価値に基づいて、仮想物体の現実空間での配置を決定する。具体的には、ステップＳ２０２で導出した第２の評価値が所定の値よりも高い領域を、仮想物体を配置する領域として決定する。

第２の評価値が所定の値よりも高い領域の抽出方法は、次の通りである。まず、現実空間を図３（ａ）で示したような複数のグリッドに分割する。次に、第２の評価値が所定の値よりも高いグリッドを抽出する。次に、抽出したグリッドごとに、隣接する６のグリッド全てが第２の評価値が所定の値よりも高いグリッドか否かを判定する。否と判定した場合には、該グリッドを第２の評価値が所定の値よりも高い領域と低い領域との境界となるグリッド（以下、境界グリッドと呼ぶ）として抽出する。そして、抽出した複数の境界グリッドの中心位置で定義される３次元点群を曲面に当てはめることで曲面を生成し、該曲面で定義される領域を第２の評価値が所定の値よりも高い領域とする。３次元点群を曲面に当てはめることで曲面を生成する方法として、非特許文献２で記述されている方法を用いる。この方法では、３次元点群を陰関数に当て嵌めることで曲面を生成する。

以上のように本実施形態によれば、上述した方法を用いることで、ユーザの観察視点において、仮想物体を適切に設置することが可能となる。

（第２の実施形態）
第１の実施形態では、特徴マップを用いて視点の位置姿勢推定を行うことを前提とし、第１の評価値を特徴マップに基づいて導出した。一方、視点の位置姿勢は、特徴マップを用いた方法以外で推定してもよく、さらに、第１の評価値は視点ごとの位置姿勢推定精度が示せれば何でもよく、視点の位置姿勢推定方法に応じて変更して構わない。例えば、磁気式のセンサーを用いて視点の位置姿勢を算出する場合には、磁気の送信側と受信側との距離が近いほど位置姿勢推定精度が高くなるため、該距離が近いほど高い値となるように第１の評価値を導出してもよい。例えば、磁気の送信側と受信側との距離をｄとした場合には、第１の評価値ＥをＥ＝１／（ｄ²＋１）として導出するようにしてもよい。その他の例として、位置姿勢とともに計測精度を出力する装置を用いて視点の位置姿勢推定を行う場合には、該計測精度を第１の評価値としてもよい。

（第３の実施形態）
本実施形態では、仮想物体を設置する平面が限定されている条件のもとで、仮想物体と現実空間との重ね合わせ精度が高い領域を抽出し、該領域を仮想物体の配置として決定する方法について説明する。

図５は、本実施形態における情報処理装置５００の機能構成例を示すブロック図である。
情報処理装置５００は、仮想物体情報取得部５０１、配置範囲設定部５０２、視点設定部１５１、第１の評価値導出部１５２、第２の評価値導出部１５３及び配置決定部１５４を備えている。また、記憶部１５５は情報処理装置５００の外部に存在し、仮想物体情報取得部５０１及び第１の評価値導出部１５２は、記憶部１５５からデータを入力することができる。なお、記憶部１５５は、第１の実施形態と同様に情報処理装置５００が備える不図示の不揮発性メモリであってもよい。また、視点設定部１５１、第１の評価値導出部１５２及び第２の評価値導出部１５３は、それぞれ図１の視点設定部１０１、第１の評価値導出部１０２、第２の評価値導出部１０３と同様のため、説明は省略する。

記憶部１５５は、特徴マップ、カメラの視野情報及び仮想物体の３次元形状モデルを保持する。特徴マップは、第１の実施形態で説明したものと同様である。
仮想物体情報取得部５０１は、記憶部１５５が保持する仮想物体の３次元形状モデルを取得する。
配置範囲設定部５０２は、仮想物体を配置する範囲として、配置する平面を設定する。
配置決定部１５４は、仮想物体の３次元形状モデル、配置する平面及び第２の評価値に基づいて、仮想物体の配置を決定する。

図６は、本実施形態における情報処理装置５００が行う処理手順の一例を示すフローチャートである。ステップＳ２００〜ステップＳ２０２は、それぞれ第１の実施形態で説明した図２のステップＳ２００〜ステップ２０２と同様のため、ここでの説明は省略する。

（ステップＳ６００）
まず、仮想物体情報取得部５０１は、記憶部１５５から仮想物体の３次元形状モデルを取得する。３次元形状モデルは、複数のポリゴン（微小平面）で表現されるポリゴンモデルとする。

（ステップＳ６０１）
次に、配置範囲設定部５０２は、仮想物体を配置する平面を設定する。平面は、壁、床あるいは机などのように現実空間中に実在する平面とする。平面の設定は、特徴マップに記述されたコーナー特徴の３次元位置に基づいて抽出した平面の中から、表示装置（不図示）に表示したＧＵＩを介して、ユーザが所望の平面を選択できるようにする。

図７は、平面選択を行うためのＧＵＩ７００の一例を示す図である。ＧＵＩ７００は、平面候補を表示する表示部７０１と、表示部７０１で表示した平面候補の中から、ユーザが所望の平面の選択を行うための操作パネル７０２とから構成されている。図７に示す例では、４つの平面（（１）〜（４））の候補が存在し、操作パネル７０２において（４）の平面が選択されている。

（ステップＳ６０２）
配置決定部１５４は、ステップＳ６０１で設定した平面及びステップＳ２０２で導出した第２の評価値に基づいて、仮想物体の配置を決定する。具体的には、次の通りである。まず、第２の評価値が所定の値よりも高い領域を抽出し、該領域を定義する３軸方向及びその寄与率（以下、説明のため主成分Ａと呼ぶ）を主成分分析により算出する。つまり、現実空間を図３（ａ）で示したような複数のグリッドに分割する。次に、第２の評価値が所定の値よりも高いグリッドを抽出する。次に、抽出した複数のグリッドの中心位置（３次元）をベクトルとして主成分分析を行い、３軸方向及びその寄与率を算出する。次に、仮想物体の領域に対しても、仮想物体の３次元モデルを構成する各頂点（３次元）をベクトルとした主成分分析を行うことで、３軸方向及びその寄与率（以下、説明のため主成分Ｂと呼ぶ）を算出する。そして、仮想物体をステップＳ６０１で設定した平面に設置する。その結果、主成分Ａと主成分Ｂとの第１主成分方向（寄与率が最大となる軸の方向）同士の差、及び第２主成分方向（寄与率が２番目に高い軸の方向）同士との差が最小となる仮想物体の位置及び向きを、仮想物体の配置として算出する。

以上のように本実施形態によれば、上述した方法を用いることで、仮想物体を設置する平面が限定されている場合であっても、ユーザの観察視点において、仮想物体を適切に設置することが可能となる。

なお、本実施形態では、仮想物体情報取得部５０１は、仮想物体の３次元形状モデルを取得したが、これに限らず、仮想物体の領域を規定した属性情報であれば何でもよい。例えば、仮想物体を内包する直方体形状や球形状の情報を取得するようにしてもよい。
また、本実施形態では、仮想物体を設置する平面の候補を、特徴マップに基づいて抽出したが、ユーザが任意に生成した仮想平面であってもよい。

また、本実施形態では、仮想物体を配置する範囲として、仮想物体を設置する平面を設定したが、平面に限らず、仮想物体を配置する領域を設定するようにしてもよい。あるいは、仮想物体を配置する位置および向きの少なくとも一方を設定するようにしてもよい。配置する位置及び向きの両方を設定する場合には、設定した配置（位置及び向き）と配置決定部１５４で決定する配置（位置及び向き）との一致度を算出し、一致度が所定の値よりも低い場合には、その旨をユーザに通知するようにしてもよい。

また、本実施形態では、配置決定部１５４において、仮想物体を配置する位置及び向きを決定したが、第１の実施形態で説明したように、仮想物体を配置する領域を決定するようにしてもよい。あるいは、位置、向き及び領域を全て決定するようにしてもよい。

（第４の実施形態）
本実施形態では、仮想物体を観察するユーザの視点の範囲及び発生頻度を考慮して、仮想物体の配置を決定する方法について説明する。なお、本実施形態に係る情報処理装置の構成及び処理手順は、それぞれ図１及び図２と同様であるが、以下、第１の実施形態と異なる点について説明する。

記憶部１０５は、特徴マップ、カメラの視野情報、仮想物体の３次元形状モデル及びユーザが仮想物体を観察する視点の範囲及び発生頻度に関する情報を保持する。

（ステップＳ２００）
視点設定部１０１は、位置姿勢推定精度を評価する視点を１つ以上設定するが、具体的には次の通りである。まず、記憶部１０５から仮想物体を観察するユーザの視点の範囲を取得する。そして、視点の範囲で定義される領域内で、位置姿勢推定精度を評価する視点を１つ以上設定する。設定方法は、第１の実施形態のステップＳ２００で説明した方法と同様である。

（ステップＳ２０２）
第２の評価値導出部１０３は、現実空間の領域ごとに、仮想物体と現実空間との重ね合わせ精度を示す第２の評価値を導出する。具体的には次の通りである。まず、記憶部１０５から視点の発生頻度を取得する。そして、視点の発生頻度に応じた重みを第１評価値に付与し、さらに、第１の実施形態のステップＳ２０２で説明した方法と同様に、第１の評価値を足し合わせることで、第２の評価値を導出する。

以上のように本実施形態によれば、上述した方法を用いることで、仮想物体を観察するユーザの視点情報を考慮して、仮想物体を適切に設置することが可能となる。なお、本実施形態では、視点の範囲及び発生頻度の両方を用いて仮想物体の配置を決定したが、どちらか一方だけであってもかまわない。

（第５の実施形態）
本実施形態では、現実空間に混入する移動物体を考慮して、仮想物体の配置を決定する方法について説明する。

図８は、本実施形態における情報処理装置８００の機能構成例を示すブロック図である。
情報処理装置８００は、視点設定部１８１、遮蔽領域算出部８０１、第１の評価値導出部１８２、第２の評価値導出部１８３及び配置決定部１８４を備えている。また、記憶部１８５は、情報処理装置８００の外部に存在し、遮蔽領域算出部８０１及び第１の評価値導出部１８２は、記憶部１８５からデータを入力することができる。なお、記憶部１８５は、第１の実施形態と同様に情報処理装置８００が備える不図示の不揮発性メモリであってもよい。また、視点設定部１８１、第２の評価値導出部１８３及び配置決定部１８４は、それぞれ図１の視点設定部１０１、第２の評価値導出部１０３、配置決定部１０４と同様であるため、ここでの説明は省略する。

遮蔽領域算出部８０１は、移動物体による遮蔽領域を算出する。
第１の評価値導出部１８２は、特徴マップ及び遮蔽領域に基づいて視点ごとの位置姿勢推定精度を示す第１の評価値を導出する。
記憶部１８５は、特徴マップ、カメラの視野情報、仮想物体の３次元形状モデル、移動物体の３次元形状モデル及び移動物体の現実空間での存在範囲に関する情報を保持する。

図９は、本実施形態における情報処理装置８００が行う処理手順の一例を示すフローチャートである。なお、ステップＳ９００及びステップＳ９０１以外は、第１の実施形態で説明した図２と同様のため、ここでの説明は省略する。

（ステップＳ９００）
遮蔽領域算出部８０１は、ステップＳ２００で設定した視点ごとに、移動物体による遮蔽領域を移動物体の位置ごとに算出する。遮蔽領域は、移動物体の３次元形状モデル、移動物体の現実空間での位置及びステップＳ２００で設定した視点に基づいて算出する。具体的には、移動物体の３次元形状モデルを移動物体の位置及び視点に基づいて画像上に投影し、画像上での移動物体の位置及び大きさを示す領域を遮蔽領域として算出する。移動物体の位置は、記憶部１８５が保持する移動物体の存在範囲の中から、空間的に任意に選択した位置とする。ここでは、空間的に均一となるように、移動物体の位置を移動物体の存在範囲の中から選択する。

（ステップＳ９０１）
第１の評価値導出部１８２は、記憶部１８５から取得した特徴マップとステップＳ９００で導出した遮蔽領域とに基づいて、視点の位置姿勢推定の精度を示す第１の評価値を視点ごとに導出する。具体的な手順は、図１０を用いて説明する。

図１０は、図９のステップＳ９０１で第１の評価値導出部１８２により行われる詳細な処理手順の一例を示すフローチャートである。

（ステップＳ１０００）
第１の評価値導出部１８２は、ステップＳ２００で設定した視点の中から１つを選択する。

（ステップＳ１００１）
第１の評価値導出部１８２は、ステップＳ１０００で選択した視点に関して遮蔽領域算出部８０１で算出した、移動物体の位置ごとに算出した遮蔽領域の中から１つの遮蔽領域を選択する。

（ステップＳ１００２）
次に、第１の評価値導出部１８２は、視点の位置姿勢推定精度を示す評価値を導出する。具体的には、次の通りである。まず、ステップＳ１００１で選択した遮蔽領域に基づいて、遮蔽領域に該当しない特徴を抽出し、該視点での位置姿勢推定精度を示す評価値Ｅａを導出する。評価値Ｅａは、第１の実施形態で説明した第１の評価値と同様に、特徴の画像上での空間的な分布とする。

（ステップＳ１００３）
次に、第１の評価値導出部１８２は、移動物体のすべての位置に対して視点の位置姿勢推定精度を示す評価値Ｅａを導出したか否かを判定する。この判定の結果、移動物体のすべての位置で評価値Ｅａを導出した場合はステップＳ１００４へ進み、導出していない位置が存在する場合には、ステップＳ１００１に戻る。

（ステップＳ１００４）
第１の評価値導出部１８２は、ステップＳ１００２で導出した評価値Ｅａの統計値を、評価する視点における位置姿勢推定精度を示す第１の評価値として導出する。統計値は、評価値Ｅａの最大値とする。なお、統計値は、最大値に代わって、平均、分散または中間値などであってもよい。

（ステップＳ１００５）
第１の評価値導出部１８２は、ステップＳ２００で設定したすべての視点において、第１の評価値を導出したか否かを判定する。この判定の結果、すべての視点において第１の評価値を導出した場合は処理を終了し、そうでない場合はステップＳ１０００に戻り、次の視点を選択する。

以上のように本実施形態によれば、現実空間中に混入する移動物体を考慮して、仮想物体を適切に設置することが可能となる。

なお、本実施形態では、特徴マップを用いて視点の位置姿勢推定を行うことを前提とし、遮蔽領域を、移動物体の位置及び視点に基づいて移動物体の３次元形状モデルを画像上に投影し、画像上での移動物体の位置及び大きさとして算出した。しかし、赤外線カメラと赤外光を反射するマーカとを用いて位置姿勢を出力する光学式センサーを使用する場合には、赤外光が移動物体によって遮蔽される領域を遮蔽領域として算出するようにしてもよい。

（第６の実施形態）
本実施形態では、視点の位置決め精度を向上させるために、仮想物体の拡大または縮小する方法について説明する。なお、本実施形態に係る情報処理装置は第３の実施形態で説明した図５と同様であり、処理手順も基本的には図６と同様である。以下、第３の実施形態と異なる点について説明する。

（ステップＳ６０２）
配置決定部１５４は、ステップＳ２０２で導出した第２の評価値及びステップＳ６００で取得した仮想物体の３次元形状モデルに基づいて、仮想物体の配置およびサイズを決定する。具体的には、まず、第１の実施形態のステップＳ２０２で説明した方法を用いて仮想物体を配置する領域を定義する曲面と、第３の実施形態のステップＳ６０２で説明した方法を用いて仮想物体の位置及び向きとを決定する。そして、決定した位置及び向きで仮想物体を配置した時に、仮想物体を構成する面と決定した配置する領域の曲面とが交差しない範囲で、仮想物体のサイズを任意に変更する。

以上のように本実施形態によれば、仮想物体の配置に加え、仮想物体のサイズを変更することで、仮想物体を適切に設置することが可能となる。

（第７の実施形態）
本実施形態では、配置する仮想物体が複数存在する場合に、視点の位置姿勢推定精度が高い領域の大きさに合わせて、配置する仮想物体を選択する方法について説明する。なお、本実施形態に係る情報処理装置は第３の実施形態で説明した図５と同様であり、処理手順も基本的には図６と同様である。以下、第３の実施形態と異なる点について説明する。

（ステップＳ６０２）
配置決定部１５４は、配置する仮想物体ごとに、配置を決定する。具体的には、次の通りである。まず、ステップＳ２０２で導出した第２の評価値及びステップＳ６００で取得した仮想物体の３次元形状モデルに基づいて、第６の実施形態と同様に仮想物体の位置及び向きと、仮想物体を配置する領域を定義する曲面とを決定する。そして、仮想物体を決定した位置及び向きで配置した時に、仮想物体を構成する面と領域の曲面とが交差しない場合に、該仮想物体を該位置及び向きで配置すると決定する。

以上のように本実施形態によれば、配置する仮想物体が複数存在する場合に、仮想物体及びその配置を適切に決定することが可能となる。

（第８の実施形態）
本実施形態では、仮想物体の配置を、第１〜第７の実施形態で説明した方法を用いて決定し、さらに現実空間と仮想物体とを重ね合わせて表示する方法について説明する。

図１１は、本実施形態に係るＭＲシステムの構成例を示すブロック図である。本実施形態では、第１の実施形態の方法で仮想物体の配置を決定した場合の例について説明する。
図１１において、ＨＭＤ（Head Mounted Display）１１１０は、ユーザが装着する頭部装着型表示装置であり、撮像部１１０１及び表示装置１１０２を備えている。撮像部１１０１は、現実空間を撮影するカメラであり、表示装置１１０２は、現実空間に仮想物体を重ね合わせた画像をユーザに提供するためのものである。

情報処理装置１１００は、算出部１１０３、情報処理部１１０４および表示制御部１１０５を備えている。情報処理部１１０４は、図１に示した情報処理装置１００の構成をすべて保持している。なお、前述したように、第２〜第７の実施形態の何れかに係る情報処理装置の構成であってもよい。算出部１１０３は、現実空間を撮影した視点の位置姿勢を算出する。表示制御部１１０５は、現実空間に仮想物体を重ね合わせた画像を生成して、表示装置１１０２に出力する。

図１２は、本実施形態におけるＭＲシステムによる全体的な処理手順の一例を示すフローチャートである。
（ステップＳ１２００）
情報処理部１１０４は、仮想物体の配置を決定する。仮想物体の配置を決定する方法は、第１〜第７の実施形態のどの方法で決定してもよい。

（ステップＳ１２０１）
撮像部１１０１は、現実空間の画像を撮影する。

（ステップＳ１２０２）
算出部１１０３は、ステップＳ１２０１で現実空間を撮影した視点の位置姿勢を算出する。算出方法は、特徴マップで記述された指標情報とステップＳ１２０１で撮影した画像から検出される指標情報とに基づいて、特許文献１に記載の方法を用いて算出する。

（ステップＳ１２０３）
表示制御部１１０５は、ステップＳ１２００で決定した配置、及びステップＳ１２０２で算出した視点の位置姿勢に基づいて、仮想物体をステップＳ１２０１で撮影した画像上に投影して撮影画像に重畳し、撮影画像に仮想物体が重なった合成画像を生成する。

（ステップＳ１２０４）
表示制御部１１０５は、ステップＳ１２０３で生成した撮影画像に仮想物体が重ね合わさった合成画像を表示装置１１０２に表示する。
なお、ステップＳ１２００の処理を１回実行した後、ステップＳ１２０１〜Ｓ１２０４までの一連の処理を繰り返し実行するようにしてもよい。

以上のように本実施形態によれば、仮想物体の配置を、第１〜第７の実施形態の何れかの方法を用いて決定し、さらに、仮想物体と現実空間とを重ね合わせて表示することが可能となる。

（その他の実施形態）
前述した第１〜第８の実施形態における視点設定部は、評価する視点の位置及び向きの少なくとも一方が設定できればどのような方法を用いてもよい。例えば、空間中で均一となるように設定してもよいし、ランダムに設定してもよい。

前述した第１〜第８の実施形態における第１の評価値導出部は、視点ごとの位置姿勢推定精度を示す第１の評価値を導出できればどのような方法を用いてよい。例えば、視点の位置姿勢を、空間に配置された特徴に関する情報（特徴マップ）に基づいて推定する場合には、視点ごとに観測可能な特徴の空間的な分布を第１の評価値としてもよい。あるいは、視点ごとに観測される特徴の数を第１の評価値としてもよい。あるいは、視点の位置姿勢の正解値が既知の画像と特徴マップを用いて該視点の位置姿勢を推定し、正解値と推定値との差に基づいて第１の評価値を導出してもよい。このとき、視点ごとに正解値が既知の画像を複数用意することで、複数の正解値と推定値を算出し、これらの平均、分散または最大値などといった統計値を第１の評価値としてもよい。

また、特徴マップは空間を撮影した画像から検出されるコーナー特徴の３次元位置が記述されたものとして説明したが、空間中に配置された特徴は、撮影した画像から検出される特徴であれば良い。例えば、コーナー特徴やエッジ特徴、撮影画像の画素ごとの輝度値であってもよい。あるいは、現実空間中に予め配置しておいた形状やＩＤが既知の指標であってもよい。また、特徴マップは、特徴の３次元位置に代わって、撮影画像から検出される特徴の２次元位置と撮影視点とを保持するようにしてもよい。あるいは、撮影画像及び撮影視点を保持するようにし、第１の評価値導出部において撮影画像から特徴を抽出するようにしてもよい。あるいは、現実空間の３次元形状モデルを保持するようにし、第１の評価値導出部において撮影画像から特徴を抽出するようにしてもよい。

前述した第１〜第８の実施形態における第２の評価値導出部は、第１の評価値に基づいて現実空間と仮想物体との位置合わせ精度を示す第２の評価値が導出できればどのような方法を用いてもよい。例えば、視点ごとに第１の評価値を現実空間の領域に付与することで領域情報を生成し、さらに、生成した該領域情報群を足し合わせることで、現実空間と仮想物体との位置合わせ精度を示す第２の評価値を導出するようにしてもよい。また、領域情報のうち、第１の評価値が所定の値よりも高いもののみを足し合わせるようにしてもよい。また、第１の評価値が所定の値よりも低いもののみを選択し、これらの領域の足し合わせによって第２の評価値を導出するようにしてもよい。この場合には、配置決定部において第２の評価値が予め定めた値よりも低い領域を、仮想物体の配置として決定する。あるいは、別の方法として、第１の評価値が所定の値よりも高いものに関しては第１の評価値を足し合わせ、所定の値よりも低いものに関しては第１の評価値を引くことで、第２の評価値を導出するようにしてもよい。

前述した第１〜第８の実施形態における配置決定部は、第２の評価値に基づいて決定できればどのような方法を用いてもよい。例えば、第２の評価値が予め設定した値よりも高い領域を、仮想物体を配置する領域として決定してもよい。また、仮想物体を配置する領域として定義する場合は、例えば、第２の評価値が所定の値よりも高い領域を内包する直方体で配置する領域を定義してもよい。第２の評価値が所定の値よりも高い領域を内包する直方体は、次のようにして求める。まず、現実空間を図３（ａ）で示したような複数のグリッドに分割する。次に、第２の評価値が所定の値よりも高いグリッドを抽出する。次に、抽出した複数のグリッドの中心位置（３次元）をベクトルとして主成分分析を行い、３軸方向及びその長さを算出する。そして、算出した３軸方向及びその長さで定義される直方体を、第２の評価値が所定の値よりも高い領域を内包する直方体とする。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ 視点設定部
１０２ 第１の評価値導出部
１０３ 第２の評価値導出部
１０４ 配置決定部

Claims (11)

1. 現実空間を観察する視点を設定する視点設定手段と、
   前記視点設定手段によって設定された視点ごとに、前記現実空間における視点の位置姿勢の推定精度を示す第１の評価値を導出する第１の評価値導出手段と、
   前記第１の評価値導出手段によって導出された第１の評価値に基づいて、前記現実空間の中の領域ごとに、該領域に仮想物体を配置した際の前記現実空間への仮想物体の位置合わせの精度を示す第２の評価値を導出する第２の評価値導出手段と、
   前記第２の評価値導出手段によって導出された第２の評価値に基づいて、前記現実空間における前記仮想物体の配置を決定する配置決定手段と、
   を有することを特徴とする情報処理装置。
2. 前記第１の評価値導出手段は、前記現実空間を撮影した画像から検出される特徴の配置に関する情報を取得し、前記取得した特徴の配置に関する情報に基づいて、前記第１の評価値を導出することを特徴とする請求項１に記載の情報処理装置。
3. 前記第１の評価値導出手段は、前記現実空間を観察する視点の位置及び姿勢を計測するセンサーの精度に係る情報を取得し、前記精度に係る情報に基づいて、前記第１の評価値を導出することを特徴とする請求項１に記載の情報処理装置。
4. 前記視点設定手段によって設定された視点ごとに、移動物体による遮蔽領域を算出する遮蔽領域算出手段をさらに有し、
   前記第１の評価値導出手段は、さらに前記遮蔽領域に基づいて、前記第１の評価値を導出することを特徴とする請求項２又は３に記載の情報処理装置。
5. 前記第２の評価値導出手段は、前記第１の評価値導出手段によって導出された第１の評価値のうちの所定の値よりも高い第１の評価値を足し合わせることによって前記第２の評価値を導出することを特徴とする請求項１〜４の何れか１項に記載の情報処理装置。
6. 前記第２の評価値導出手段は、さらに前記視点設定手段によって設定された視点の発生頻度に基づいた重みを前記所定の値よりも高い第１の評価値に付与して足し合わせることによって前記第２の評価値を導出することを特徴とする請求項５に記載の情報処理装置。
7. 前記配置決定手段は、前記第２の評価値が所定の値よりも高い領域を、前記仮想物体を配置する領域として決定することを特徴とする請求項１〜６の何れか１項に記載の情報処理装置。
8. 前記配置決定手段は、前記第２の評価値が所定の値よりも高い領域、及び前記仮想物体の領域を規定する属性情報に基づいて、前記仮想物体の位置及び向きを決定することを特徴とする請求項１〜６の何れか１項に記載の情報処理装置。
9. 前記現実空間に係る撮影画像の中の前記配置決定手段によって決定された配置に前記仮想物体を描画した合成画像を生成する合成手段と、
   前記合成手段によって生成された合成画像を表示装置に表示させる表示制御手段と、
   をさらに有することを特徴とする請求項１〜８の何れか１項に記載の情報処理装置。
10. 現実空間を観察する視点を設定する視点設定工程と、
    前記視点設定工程において設定された視点ごとに、前記現実空間における視点の位置姿勢の推定精度を示す第１の評価値を導出する第１の評価値導出工程と、
    前記第１の評価値導出工程において導出された第１の評価値に基づいて、前記現実空間の中の領域ごとに、該領域に仮想物体を配置した際の前記現実空間への仮想物体の位置合わせの精度を示す第２の評価値を導出する第２の評価値導出工程と、
    前記第２の評価値導出工程において導出された第２の評価値に基づいて、前記現実空間における前記仮想物体の配置を決定する配置決定工程と、
    を有することを特徴とする情報処理方法。
11. 現実空間を観察する視点を設定する視点設定工程と、
    前記視点設定工程において設定された視点ごとに、前記現実空間における視点の位置姿勢の推定精度を示す第１の評価値を導出する第１の評価値導出工程と、
    前記第１の評価値導出工程において導出された第１の評価値に基づいて、前記現実空間の中の領域ごとに、該領域に仮想物体を配置した際の前記現実空間への仮想物体の位置合わせの精度を示す第２の評価値を導出する第２の評価値導出工程と、
    前記第２の評価値導出工程において導出された第２の評価値に基づいて、前記現実空間における前記仮想物体の配置を決定する配置決定工程と、
    をコンピュータに実行させることを特徴とするプログラム。