JP6660159B2 - 情報処理装置、情報処理装置の制御方法およびプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理装置の制御方法およびプログラムに関する。

近年、現実空間と仮想空間との繋ぎ目のない結合を目的とした複合現実感（ＭＲ：ＭＩＸＥＤ ＲＥＡＬＩＴＹ）に関する研究が行われている。複合現実感の提示を行う画像表示装置は、例えば次のような構成を有する装置である。即ち、ビデオカメラ等の撮像装置が撮像した現実空間の画像上に、撮像装置の位置姿勢に応じて生成した仮想空間の画像を重畳描画した画像を表示する装置である。仮想空間の画像とは、例えばコンピュータグラフィックスにより描画された仮想物体や文字情報等の画像である。このような装置には、例えばＨＭＤ（ヘッドマウントディスプレイ、頭部装着型表示装置）を用いることができる（特許文献１）。

頭部装着型表示装置（ＨＭＤ）は、操作者の頭部に装着された光学シースルー型ディスプレイに、操作者の視点の位置姿勢に応じて生成した仮想空間の画像を表示する光学シースルー方式によっても実現される。通常、３ＤＣＡＤ／ＣＧソフト等に複合現実感を体験できる機能を追加することにより、複合現実感体験が可能となるが、３ＤＣＡＤ／ＣＧソフト自体にＭＲ機能を追加することは負荷が大きい。

一方、３ＤＣＡＤ／ＣＧソフト等の描画処理をドライバで視点の位置姿勢を書き換えることにより仮想現実体験を可能にする手法も提案されている。（特許文献２）また、３ＤＣＡＤ／ＣＧソフト等の描画処理から仮想物体の形状を出力する手法も開示されている。（特許文献３）
以上の技術を組み合わせることで、３ＤＣＡＤ／ＣＧソフト自体に複合現実感機能を追加することなく、描画処理に対して複合現実感機能を追加することにより、ＭＲ体験をすることが可能となる。

特開２００８−１３４１６１号公報 米国特許第８６５９５９０号明細書 米国特許第７１５００２６号明細書

しかしながら、複合現実感（ＭＲ）を体験する場合、従来の技術では、３ＤＣＡＤ／ＣＧソフトの異なる視点方向から頭部装着型表示装置（ＨＭＤ）を利用して仮想物体を確認する際に、３ＤＣＡＤ／ＣＧソフトに実装されているカリング機能によって仮想物体の面が欠損することがあるという課題がある。

本発明は、上述の課題に鑑みてなされたものであり、複合現実感（ＭＲ）を体験する際に仮想物体の欠損を低減するための技術を提供することを目的とする。

上記の目的を達成するために、本発明の一態様による情報処理装置は以下の構成を備える。即ち、
第一仮想空間を生成する第一空間生成手段と、
前記第一仮想空間内の仮想物体のために複数の異なる視点を生成する視点生成手段と、
前記複数の異なる視点で複数の仮想物体を生成する仮想物体生成手段と、
前記複数の仮想物体を合成仮想物体として合成する合成手段と、
前記合成仮想物体を含む第二仮想空間を生成する第二空間生成手段と、
を備えることを特徴とする。

本発明によれば、複合現実感（ＭＲ）を体験する際に仮想物体の欠損を低減するための技術を提供することができる。

本発明の実施形態１に係る情報処理システムの機能構成例を示すブロック図。 本発明の実施形態１に係る仮想物体及び仮想空間の一例を示す図。 本発明の実施形態１に係るレンダリング画像の一例を示す図。 本発明の実施形態１に係るレンダリング画像の一例を示す図。 本発明の実施形態１に係る複数視点の生成方法に関する説明図。 本発明の実施形態１に係る複数視点の生成方法に関する説明図。 本発明の実施形態１に係る情報処理装置が実施する処理の手順を示すフローチャート図。 本発明の実施形態２に係る情報処理システムの機能構成例を示すブロック図。 本発明の実施形態２に係る情報処理装置が実施する処理の手順を示すフローチャート図。 本発明の各実施形態に係る情報処理システムのハードウェア構成例を示す図。

以下、図面を参照しながら実施形態を説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

（実施形態１）
本実施形態では、３ＤＣＡＤ／ＣＧソフト等の描画処理により、欠落のない仮想物体を生成し、その仮想物体を表示する情報処理システムについて説明する。

＜情報処理システムの構成＞
図１は、本実施形態に係る情報処理システムの機能構成例を示すブロック図である。本実施形態に係る情報処理システムは、情報処理装置１０００と、入力部１２００と、第二表示部１３００と、第一表示部１４００とを備えている。また、情報処理装置１０００は、第一仮想空間生成部１０１０と、処理送信部１０２０と、第一画像生成部１０３０と、第一画像出力部１０４０と、データ記憶部１０５０と、視点変更指示部１０６０と、第二仮想空間生成部１０７０と、第二画像生成部１０８０と、第二画像出力部１０９０と、仮想物体合成部１０９５と、仮想物体生成部１１００と、視点決定部１１１０とを備えている。

まず情報処理装置１０００について説明する。第一仮想空間生成部１０１０は、図２に示すような仮想物体２３００が存在する仮想空間２４００を生成し、その描画処理(OpenGL、Direct X、３次元描画処理)情報を処理送信部１０２０に出力する。第一仮想空間生成部１０１０は、３ＤＣＡＤ／ＣＧソフト(例えばシーメンス社のNX、PTC社のCreo、ダッソー社のCATIA/オートデスク社の3ds max、Maya等)やViewerソフト(例えばオートデスク社のShowcase、Navisworks等)に相当する。

ここで、図２は、第一仮想空間生成部１０１０が生成する仮想物体２３００及び仮想空間２４００を簡易的に示した図である。仮想空間２４００は、仮想光源２２１０と、仮想カメラ２０１０及び仮想カメラ２０２０と、仮想物体２３００とを含んでいるが、それぞれ単数であっても複数あってもよい。仮想光源２２１０は、仮想空間２４００内を照射する光源に係るデータであればよく、画像をベースとしたＩＢＬ（イメージ・ベースド・ライティング）であってもよい。

仮想物体２３００は、面２１１０、面２１２０、面２１３０、面２１４０、面２１５０、及び面２１６０で構成されている。仮想カメラ２０１０は、第一仮想空間生成部１０１０内の仮想カメラである。仮想カメラ２０１０の視点によってレンダリングされた画像は、図３のレンダリング画像３０００のようになる。図３は、仮想カメラ２０１０からレンダリングされた画像を説明した図である。図２と同じ部分については同じ番号をつけており、その説明を省略する。レンダリング画像３０００は、図３の仮想空間２４００内の仮想カメラ２０１０の視点から見える領域をレンダリングした画像である。

仮想カメラ２０１０から仮想物体を見た時は、視線方向と反対側の面である面２１４０、面２１５０、面２１６０は通常バックフェイスかリングが行われており、描画処理の際に面２１４０、面２１５０、面２１６０の情報は送られてこない。

仮想カメラ２０２０は、同じく第一仮想空間生成部１０１０内の仮想カメラである。仮想カメラ２０２０の視点によってレンダリングされた画像は、図４のレンダリング画像４０００のようになる。図４は、仮想カメラ２０２０からレンダリングされた画像を説明した図である。図２と同じ部分については同じ番号をつけており、その説明を省略する。レンダリング画像４０００は、図２の仮想空間２４００内の仮想カメラ２０２０の視点から見える領域をレンダリングした画像である。

仮想カメラ２０２０から仮想物体を見た時は、視線方向と反対側の面である面２１１０、面２１５０、面２１６０は通常バックフェイスかリングが行われており、描画処理の際に面２１１０、面２１５０、面２１６０の情報は送られてこない。

また、処理送信部１０２０は、第一仮想空間生成部１０１０から出力された描画処理情報を第一画像生成部１０３０及びデータ記憶部１０５０に出力する。第一画像生成部１０３０は、描画処理情報から画像を生成し、第一画像出力部１０４０に出力する。第一画像出力部１０４０は、生成された画像を第一表示部１４００に表示する。仮想物体生成部１１００は、データ記憶部１０５０に保存されている描画処理情報から仮想空間データを生成し、仮想空間データをデータ記憶部１０５０に保存する。仮想物体データの生成方法の詳細に関しては、図７のフローチャートを参照して後述する。

仮想物体合成部１０９５は、データ記憶部１０５０に保存されている少なくとも１つの仮想物体データを合成し、一つの仮想物体データを生成する。仮想物体データが完成していなければ、視点変更指示部１０６０に指示を出力する。仮想物体データの合成方法の詳細に関しては、図７のフローチャートを参照して後述する。

視点決定部１１１０は、複数の視点での位置姿勢を算出し、複数の視点での位置姿勢情報をデータ記憶部１０５０に保存する。複数の視点での位置姿勢の算出方法の詳細に関しては、図７のフローチャートを参照して後述する。

視点変更指示部１０６０は、視点決定部１１１０により算出されてデータ記憶部１０５０に保存されている視点の位置姿勢情報を取得し、第一仮想空間生成部１０１０へ視点の位置姿勢変更指示を出力する。第二仮想空間生成部１０７０は、データ記憶部１０５０に格納されている仮想物体のデータに基づいて、仮想空間を生成する。仮想空間のデータには、仮想物体、現実物体を３Ｄデジタイザや既知の手法で三次元計測した三次元データや、仮想空間を構成する各仮想物体に係るデータや、仮想空間中を照射する光源に係るデータなどが含まれてもよい。その後、描画処理情報を第二画像生成部１０８０に出力する。

第二画像生成部１０８０は、描画処理情報に基づいて画像を生成する。描画処理(OpenGL、DirectX)情報に基づいて画像を生成する方法に関しては既知の手法となるためその説明を省略する。第二画像出力部１０９０は、生成された画像を第二表示部１３００に表示する。

データ記憶部１０５０は、上述の通り、様々な情報を格納するためのものであり、ＲＡＭやハードディスクドライブ装置などにより構成されている。なお、データ記憶部１０５０には、上記説明においてデータ記憶部１０５０に格納するものとして説明した情報のほかに、本実施形態において既知の情報として説明するものについても格納されているものとする。

＜情報処理装置が実施する処理＞
図７は、本実施形態に係る情報処理装置１０００が実施する処理の手順を示すフローチャートである。情報処理装置１０００は、第一仮想空間画像を生成して第一表示部１４００に対して出力し、同様にして第二仮想空間画像を生成して第二表示部１３００に対して出力する。

まず、ステップＳ１６００１で処理を開始する。そして、ステップＳ１６００２に処理を移す。ステップＳ１６００２では、入力部１２００を介して入力された操作に応じて３ＤＣＡＤ／ＣＧソフト（第一仮想空間生成部）の起動を行い、当該ソフトの操作に応じて第一仮想空間生成部１０１０は仮想空間２４００を生成する。仮想空間２４００の生成方法に関しては、既知（Autodesk 3ds MAX、MAYA等）であるためその説明を省略する。そして、ステップＳ１６００３に処理を移す。

ステップＳ１６００３では、第一仮想空間生成部１０１０は、仮想カメラ２０１０から見える仮想空間の描画処理(opengl、directx等)情報を送信する。ステップＳ１６００４では、第一仮想空間生成部１０１０は、描画処理情報から仮想物体２３００を生成する。生成の方法に関しては既知（特許文献３）であるため、その説明を省略する。また、この時の仮想物体の面の欠損に関して図３及び図４を用いて説明を行う。仮想カメラ２０１０の視線方向と反対側の面である図３の面２１４０、面２１５０、面２１６０には、通常バックフェイスかリングが行われている。そのため、図４の画像を作成するための描画処理の際に、面２１４０、面２１５０、面２１６０の描画をする処理は行われない。そのため、既知の手法（特許文献３）を用いた場合、面２１４０、面２１５０、面２１６０が欠損した仮想物体が生成されることになる。その後、ステップＳ１６００５に処理を移す。

ステップＳ１６００５では、視点決定部１１１０は、複数視点の生成が終了しているかを確認する。終了していればステップＳ１６００９に処理を移す。終了していなければ、ステップＳ１６００６に処理を移す。ステップＳ１６００６では、視点決定部１１１０は、複数の視点を生成する。複数視点生成に関しては、図５及び図６を参照して詳細な説明を行う。複数視点を生成した後、ステップＳ１６００７に処理を移す。

図５は、複数視点の生成方法に関する説明図である。図２と同じ部分については同じ番号をつけており、その説明を省略する。仮想物体２３００の周辺に任意の立方体７１００を設定する。立方体７１００は、１辺の長さを仮想物体２３００のバウンディングボックスを基準として任意の倍率かから求めてもよい。また、バウンディングボックスを基準としていなくてもよく、仮想物体２３００を内包していればよい。

複数視点の生成のために立方体７１００の頂点の１つを視点位置７００１とし、視点位置７００１から仮想物体２３００の中心７１１０に対して向かうベクトルを視線ベクトル７０１０として生成する。また、視線のアップベクトルに関しては、仮想物体２３００が視野に収まっていればどの方向であってもよい。また、この手法によらずともビューフラスタムの中に仮想物体２３００が収まっていればどのような設定であってもよい。同様にして、視点位置７００２、視点位置７００４〜視点位置７００８の視線ベクトルと視線のアップベクトルとを生成する。

図６は、複数視点の生成方法に関する説明図である。図２及び図５と同じ部分については同じ番号をつけており、その説明を省略する。仮想物体２３００の周辺に任意の球８１００を設定する。球８１００は、半径の長さを仮想物体２３００のバウンディングボックスを基準として任意の倍率から求めてもよい。また、前述の手法によらなくても、球８１００が仮想物体２３００を内包していれば何れの手法であってもよい。その後、視点位置８１０２から仮想物体２３００の中心７１１０に対して向かう視線ベクトル８２００を求める。また、視線のアップベクトルに関しては仮想物体２３００が視野に収まっていればどの方向であってもよい。また、この手法によらずともビューフラスタム内に仮想物体２３００が収まっていればどのような設定でもよい。同様にして、球８１００において等間隔に各視点位置８１０１、８１０３〜８１０８、８１１０〜８１１５の設定を行い、視線ベクトルと視線のアップベクトルとを生成する。

ステップＳ１６００７では、視点変更指示部１０６０は、３ＤＣＡＤ／ＣＧソフトに対してステップＳ１６００６で生成した複数視点のうち、まだ３ＤＣＡＤ／ＣＧソフトに設定してない視点位置に仮想カメラ２０１０の位置姿勢及びアップベクトル及びフラスタム等の設定を行う。第一仮想空間を生成する第一仮想空間生成部１０１０（３ＤＣＡＤ／ＣＧソフト）を操作する操作者が、その視点を任意の視点に変更した時にその視点を複数の視点の一つとしてもよい。すなわち、第一仮想空間生成部１０１０（３ＤＣＡＤ／ＣＧソフト）を操作する操作者によって変更された視点を、複数の異なる視点の１つとして生成してもよい。そして処理をステップＳ１６００３に移す。

ステップＳ１６００９では、ステップＳ１６００６で生成した複数視点すべての視点について、３Ｄソフトの仮想カメラの視点に対する設定が終了しているかを確認する。設定が終了していなければ、ステップＳ１６００７に処理を移す。設定が終了していれば、ステップＳ１６０１０に処理を移す。

ステップＳ１６０１０では、仮想物体合成部１０９５は、ステップＳ１６００４で生成した複数の仮想物体を合成して仮想物体を生成する。この時、同一の面（ポリゴン）が存在する時はその面（ポリゴン）を１面残し、重複面を削除してもよい。削除を行う際の一例を、図３及び図４を用いて説明する。

図３の描画を生成するための描画処理から仮想物体を生成すると、前述の通り面２１４０、面２１５０、及び面２１６０が欠損した仮想物体２３００（レンダリング画像４０００）が生成される。同様にして図４の描画を生成するための描画処理からは面２１１０、面２１５０、及び面２１６０が欠損した仮想物体２３００（レンダリング画像５０００）が生成される。このレンダリング画像４０００の仮想物体とレンダリング画像５０００の仮想物体とを合成する際は、面２１２０面及び２１３０が重なっているため、面２１２０面及び面２１３０のそれぞれについて重複面を削除し、面２１２０面及び２１３０それぞれ１つ残して合成仮想物体（不図示）を生成する。同様に、複数視点の描画処理情報から仮想物体を生成して、合成する際に重なっている面を削除する。また、仮想物体にＬＯＤ（Ｌｅｖｅｌ Ｏｆ Ｄｅｔａｉｌ）などの設定が行われており重なっている面の詳細度が違う場合は、重複面の詳細度に基づいて残す面を決定してもよい。例えば、重複面のうち、詳細度が最も高い面（ポリゴン）を残してもよい。また、ポリゴンが片面表示の時は両面表示に変更してもよい。

ステップＳ１６０１１では、第二仮想空間生成部１０７０は、ステップＳ１６０１０で生成した仮想物体を含む仮想空間を生成し、ステップＳ１６０１２に処理を移す。この時、仮想空間のデータには、仮想物体、現実物体を３Ｄデジタイザや既知の手法で三次元計測した三次元データや、仮想空間を構成する各仮想物体に係るデータや、仮想空間中を照射する光源に係るデータなどが含まれてもよい。

ステップＳ１６０１２では、第二画像生成部１０８０は、仮想空間内の仮想カメラ２０２０でレンダリングされた画像を生成して、ステップＳ１６０１３に処理を移す。ステップＳ１６０１３では、第二画像出力部１０９０は、ステップＳ１６０１２で作成された画像を第二表示部１３００に出力させて表示させ、ステップＳ１６０１４に処理を移す。ステップＳ１６０１４では、処理を終了する。

以上説明したように、本実施形態に係る情報処理装置は、第一仮想空間を生成する第一空間生成部（第一仮想空間生成部１０１０）と、第一仮想空間内の仮想物体のために複数の異なる視点を生成する視点生成部（視点決定部１１１０、視点変更指示部１０６０）と、複数の異なる視点で複数の仮想物体（図４、図５等）を生成する仮想物体生成部（仮想物体生成部１１００）と、複数の仮想物体を合成仮想物体として合成する合成部（仮想物体合成部１０９５）と、合成仮想物体を含む第二仮想空間を生成する第二空間生成部（第二仮想空間生成部１０７０）とを備える。

本発明によれば、３ＤソフトのＯｐｅｎＧＬ処理から仮想物体のモデルを生成し、３Ｄソフトの複数視点のＯｐｅｎＧＬ処理に基づいて仮想物体のモデルを再構成することにより、ＭＲソフトで背面に回り込んでも背面が見えるようになる。このように、３ＤＣＡＤ／ＣＧソフト等の描画処理内容を変更することによって、仮想現実空間／複合現実感をユーザに体験させるシステムにおいて、欠損のない仮想現実物体を体験できる複合現実感映像を提供することが可能となる。本発明によれば、複合現実感（ＭＲ）を体験する際に仮想物体の欠損を低減することが可能となる。

（実施形態２）
実施形態１では、仮想物体を合成して欠損部分を整形し、表示する事例を説明した。本実施形態では、合成された仮想物体を複合現実感で確認する事例を示す。

図８は、本実施形態に係る情報処理システムの機能構成例を示すブロック図である。本実施形態に係る情報処理システムは、情報処理装置９０００と、入力部１２００と、第一表示部１４００と、頭部装着型表示装置９２００（ＨＭＤ）とを備えている。

ＨＭＤ９２００には、撮像部９２２０（撮像部９２２０Ｒ、撮像部９２２０Ｌ）、表示部９２１０（表示部９２１０Ｒ、表示部９２１０Ｌ）が取り付けられて固定されている。なお、本実施形態では、ステレオで現実空間の撮像と複合現実空間の認識が可能である。観察者はＨＭＤ９２００を頭部に装着することで、表示部９２１０に映るステレオの複合現実空間画像（以下、ＭＲ画像）を見ることができる。ただし、ステレオの撮像と表示を行うことに限定されるものではなく、少なくとも１つ以上の撮像部と表示部があれば本発明を適用可能である。さらに、ＨＭＤ９２００を使用することに限定されるものではなく、撮像部９２２０が具備されていないタイプでも本発明を適用可能である。また、表示部及び撮像部について、特に右目用の表示部、左目用の表示部に限定する説明でない限りでは、表示装置は表示部９２１０、撮像装置は撮像部９２２０でもって示す（Ｒ、Ｌは付けない）ものとする。

情報処理装置９０００は、情報処理装置１０００とは異なり、撮像画像取得部９１００及び視点情報計測部９１１０をさらに備えている。また、第二仮想空間生成部１０７０に代えて第二仮想空間生成部９０７０を、第二画像生成部１０８０に代えて第二画像生成部９０８０を備えている。

撮像画像取得部９１００は、撮像部９２２０から送出された右目の撮像画像、左目用の撮像画像を取得する。そして取得した右撮像画像、左撮像画像をデータ記憶部１０５０に格納する。以降、右撮像画像及び左撮像画像の両方を示す場合は撮像画像とする。

視点情報計測部９１１０は、データ記憶部１０５０に保存している撮像画像から、撮像部９２２０の位置姿勢を計測し、視点位置姿勢情報を求める。この時、視点位置姿勢は、観察者の頭の中心、撮像部９２２０Ｌと撮像部９２２０Ｒの中心であってもよい。視点位置姿勢情報を計測する方法に関しては、既知の手法を利用すればよく、磁気式センサ、光学式センサを利用してもよい。そして、求めた視点位置姿勢情報をデータ記憶部１０５０に保存する。

第二仮想空間生成部９０７０は、データ記憶部１０５０に格納されている仮想空間のデータに基づいて、仮想空間を生成する。仮想空間のデータには、仮想物体２３００、現実物体を３Ｄデジタイザや既知の手法で三次元計測された三次元データや仮想空間を構成する各仮想物体に係るデータや、仮想空間中を照射する光源に係るデータなどが含まれてもよい。そして、生成した仮想空間データをデータ記憶部１０５０に保存する。

第二画像生成部９０８０は、データ記憶部１０５０に保存されている撮像画像と仮想空間データと位置姿勢情報とに基づいて複合現実感画像を生成し、第二画像出力部１０９０に出力する。複合現実感画像の生成方法に関しては、既知であるためその説明を省略する。

（情報処理装置が実施する処理）
図９は、本実施形態に係る情報処理装置９０００が実施する処理の手順を示すフローチャートである。情報処理装置９０００は、複合現実感画像を生成し、ＨＭＤ９２００の表示部９２１０に対して出力する。なお、図７と同じ部分については同じ番号をつけており、その説明を省略する。

ステップＳ１６２０２では、撮像画像取得部９１００は、撮像部９２２０から撮像画像を取得してデータ記憶部１０５０に保存する。そして、Ｓ１６００３に処理を移す。ステップＳ１６２０３では、視点情報計測部９１１０は、撮像部９２２０から取得した撮像画像から、撮像部９２２０の視点位置姿勢情報を計測する。そして、ステップＳ９６０１１へ処理を移す。

ステップＳ９６０１１では、第二仮想空間生成部９０７０は、ステップＳ１６２０３で求めた撮像部９２２０の視点位置姿勢情報と、仮想物体及び現実物体の情報とに基づいて仮想空間を生成する。ステップＳ１６２０４では、第二画像生成部９０８０は、ステップＳ９６０１１で生成した仮想空間から仮想画像を生成し、ステップ１６２０２で取得された撮像画像に仮想画像を重畳した画像を生成し、ステップＳ１６０１３に処理を移す。

本発明によれば、３ＤＣＡＤ／ＣＧソフト等の描画処理内容を変更することにより、仮想現実空間／複合現実感をユーザに体験させるシステムにおいて、欠損のない仮想現実物体を体験できる複合現実感映像を提供することが可能となる。本発明によれば、複合現実感（ＭＲ）を体験する際に仮想物体の欠損を低減することが可能となる。

[変形例]
図１０は、本発明の一実施形態におけるハードウェア構成例を示すブロック図である。

ＣＰＵ１５００１は、ＲＡＭ１５００２やＲＯＭ１５００３に格納されているプログラムやデータを用いて、コンピュータ全体の制御を行うと共に、上記各実施形態で情報表示装置が行うものとして説明した上述の各処理を実行する。

ＲＡＭ１５００２は、外部記憶装置１５００７や記憶媒体ドライブ１５００８からロードされたプログラムやデータを一時的に記憶するための領域を有する。さらに、ＲＡＭ１５００２は、Ｉ／Ｆ（インタフェース）１５００９を介して外部に送信するデータを一時的に記憶するためのエリアを有する。さらに、ＲＡＭ１５００２は、ＣＰＵ１５００１が各処理を実行する際に用いるワークエリアも有する。即ち、ＲＡＭ１５００２は、各種エリアを適宜提供することができる。例えば、ＲＡＭ１５００２は、図１に示したデータ記憶部１０５０としても機能する。

ＲＯＭ１５００３には、コンピュータの設定データやブートプログラムなどが格納されている。キーボード１５００４、マウス１５００５は、操作入力装置の一例としてのものであり、コンピュータの観察者が操作することで、各種の指示をＣＰＵ１５００１に対して入力することができる。表示部１５００６は、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ１５００１による処理結果を画像や文字などで表示することができる。

外部記憶装置１５００７は、ハードディスクドライブ装置に代表される大容量情報記憶装置である。外部記憶装置１５００７には、ＯＳ（オペレーティングシステム）や、情報処理装置が行うものとして説明した上述の各処理をＣＰＵ１５００１に実行させるためのプログラムやデータが格納されている。

かかるプログラムには、第一仮想空間生成部１０１０、処理送信部１０２０、第一画像生成部１０３０、視点変更指示部１０６０、視点決定部１１１０、第二仮想空間生成部１０７０、仮想物体合成部１０９５、仮想物体生成部１１００、視点情報計測部９１１０、第二仮想空間生成部９０７０、撮像画像取得部９１００、第二画像生成部９０８０等のそれぞれに対応するプログラムが含まれている。

また、かかるデータには、ＭＲ体験環境情報のデータや、上述の説明において、既知の情報として説明したものが含まれている。外部記憶装置１５００７に保存されているプログラムやデータは、ＣＰＵ１５００１による制御に従って適宜ＲＡＭ１５００２にロードされる。ＣＰＵ１５００１は、ロードされたプログラムやデータを用いて処理を実行することで、情報提示装置が処理を行うものとして上述した各処理を実行することになる。なお、外部記憶装置１５００７は、図１、図８に示したデータ記憶部１０５０として用いてもよい。

記憶媒体ドライブ１５００８は、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体に記録されたプログラムやデータを読み出したり、かかる記憶媒体にプログラムやデータを書き込んだりする。なお、外部記憶装置１５００７に保存されているものとして説明したプログラムやデータの一部若しくは全部を記憶媒体に記録しておいてもよい。記憶媒体ドライブ１５００８が記憶媒体から読み出したプログラムやデータは、外部記憶装置１５００７やＲＡＭ１５００２に対して出力される。

Ｉ／Ｆ１５００９は、ＵＳＢ等のデジタル入出力ポート、また、画像を表示部に対して出力するためのイーサネットポートなどによって構成される。Ｉ／Ｆ１５００９を介して受信したデータは、ＲＡＭ１５００２や外部記憶装置１５００７に入力される。１５０１０は、上述の各部を繋ぐバスである。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０００，９０００：情報処理装置、１０１０：第一仮想空間生成部、１０２０：処理送信部、１０３０：第一画像生成部、１０４０：第一画像出力部、１０５０：データ記憶部、１０６０：視点変更指示部、１０７０，９０７０：第二仮想空間生成部、１０８０，９０８０：第二画像生成部、１０９０：第二画像出力部、１０９５：仮想物体合成部、１１００：仮想物体生成部、１１１０：視点決定部、１２００：入力部、１３００：第二表示部、１４００：第一表示部、２０１０，２０２０：仮想カメラ、９１００：撮像画像取得部、９１１０：視点情報計測部

Claims (9)

1. 第一仮想空間を生成する第一空間生成手段と、
   前記第一仮想空間内の仮想物体のために複数の異なる視点を生成する視点生成手段と、
   前記複数の異なる視点で複数の仮想物体を生成する仮想物体生成手段と、
   前記複数の仮想物体を合成仮想物体として合成する合成手段と、
   前記合成仮想物体を含む第二仮想空間を生成する第二空間生成手段と、
   を備えることを特徴とする情報処理装置。
2. 前記視点生成手段は、仮想物体のバウンディングボックスを用いて前記複数の異なる視点を生成することを特徴とする請求項１に記載の情報処理装置。
3. 前記視点生成手段は、前記第一空間生成手段を操作する操作者によって変更された視点を、前記複数の異なる視点の１つとして生成することを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記合成手段は、前記複数の仮想物体の重複面を削除して１つの面を残すことを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
5. 前記合成手段は、前記重複面の詳細度に基づいて残す面を決定することを特徴とする請求項４に記載の情報処理装置。
6. 現実空間を撮像して撮像画像を取得する撮像手段と、
   前記現実空間上の３次元位置に仮想物体を表示するために前記撮像手段の位置姿勢を計測する計測手段と、
   前記撮像画像に仮想物体を重畳する画像生成手段と、
   をさらに備えることを特徴とする請求項１乃至５の何れか１項に記載の情報処理装置。
7. 前記画像生成手段により生成された画像を表示する表示手段をさらに備えることを特徴とする請求項６に記載の情報処理装置。
8. 情報処理装置の制御方法であって、
   第一空間生成手段が、第一仮想空間を生成する第一空間生成工程と、
   視点生成手段が、前記第一仮想空間内の仮想物体のために複数の異なる視点を生成する視点生成工程と、
   仮想物体生成手段が、前記複数の異なる視点で複数の仮想物体を生成する仮想物体生成工程と、
   合成手段が、前記複数の仮想物体を合成仮想物体として合成する合成工程と、
   第二空間生成手段が、前記合成仮想物体を含む第二仮想空間を生成する第二空間生成工程と、
   を有することを特徴とする情報処理装置の制御方法。
9. 請求項８に記載の情報処理装置の制御方法の各工程をコンピュータに実行させるためのプログラム。

Images