JP4115117B2

JP4115117B2 - 情報処理装置および方法

Info

Publication number: JP4115117B2
Application number: JP2001334706A
Authority: JP
Inventors: 俊広小林; 剛黒木; まほろ穴吹; 英太小野; 雅博鈴木; 昭宏片山
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2001-10-31
Filing date: 2001-10-31
Publication date: 2008-07-09
Anticipated expiration: 2021-10-31
Also published as: JP2003141569A

Description

【０００１】
【発明の属する技術分野】
現実世界の撮影画像に仮想世界のコンピュータ映像を合成するために用いる、該現実世界を示す画像に含まれる現実物体の３次元モデルを設定するものである。
【０００２】
【従来の技術】
複数人で複合現実空間を共有するための技術が、特開２０００−３５０８６５「複合現実空間のゲーム装置、その画像処理方法およびプログラム記憶媒体」に開示されている。ここに開示されているゲーム装置では、現実世界に存在する物体と同一の幾何形状を有するデータであり、マスクとして機能させるための現実世界の３次元モデルを入力し保持する。現実世界の３次元モデルは使用者の視点からの現実世界の奥行データに変換される。この現実世界の奥行データは、仮想物体を３次元ＣＧとして描画する際に、現実物体に遮蔽されるべき部分を判定し、仮想物体のその部分を描画しないようにするための処理に用いる。この処理により、仮想物体は３次元ＣＧとして現実物体との３次元的な前後関係を正しく表現するように描画される。
【０００３】
【発明が解決しようとする課題】
しかし、上記に開示された技術を適用する場合には、現実物体、仮想物体ともに３次元的な幾何形状が必要であり、これらを装置に入力する必要があるが、正確な幾何形状を入力することは多大な労力やコストを必要とし，改善が求められていた。
【０００４】
現実物体の３次元モデルについては、現実世界に存在する物体と同一の幾何形状および大きさを持ち、かつ現実世界中の対応する位置、向きに関して適切に配置されることが望ましい。この幾何形状、大きさ、位置、向きが現実のものと異なっていた場合には、現実物体の３次元モデルをある視点位置からの現実世界の奥行データに変換したときに、その視点からの現実世界の映像と一致しなくなり、結果として、現実物体と仮想物体との間の隠蔽関係が適切に表現されなくなる。例えば、現実物体と仮想物体との境界付近において、本来隠されるべき仮想物体の一部分が現実世界の上に描かれることによって見えてしまったり、逆に本来隠されるべきでない現実物体の一部分が仮想物体によって隠されてしまうという現象が生ずる。また、複数人で複合現実空間を共有するような場合には、一つの視点からだけではなく、すべての視点において、現実世界の映像と一致するような奥行データが必要である。しかし、この奥行データを現実物体の３次元モデルから作成する場合には、正確な３次元モデルの作成に加えて、現実物体の３次元モデルを配置するための現実世界中の位置や向きを正確に測定することには困難が伴い、多くのコストを必要とする。
【０００５】
本発明は、上述の点に鑑みてなされたものであり、現実物体の３次元モデルを簡単に作成できるようにすることを目的とする。
【０００６】
【課題を解決するための手段】
前記の目的を達成するための本実施形態による映像合成装置は以下の構成を備える。
【０００７】
本発明は、現実世界の撮影画像に仮想世界のコンピュータ映像を合成するために用いる、該現実世界の現実物体の３次元モデルを設定する情報処理装置であって、前記現実物体を含む現実世界を複数の視点から撮影することにより得られた複数の画像および該複数の画像の各々の視点情報を取得する取得手段と、データ管理部に格納されている前記現実物体の３次元モデルを用いて、前記複数の視点情報の各々に対応するコンピュータ映像を生成する生成手段と、前記複数の画像の各々に、対応する前記生成されたコンピュータ映像を合成する合成手段と、前記合成された画像および前記現実世界の地図を調整画面上に表示する表示手段と、ユーザ指示に応じて、前記データ管理部に格納されている前記現実物体の３次元モデルを調整する調整手段とを有し、前記調整画面の地図上に前記視点情報が表示されることを特徴とする。
【００１０】
【発明の実施の形態】
以下、添付の図面を参照して本実施形態の好適な実施形態について説明する。
【００１１】
＜第１の実施形態＞
本実施形態の映像合成装置は、展望台等で望遠鏡として使用されたり、博物館等で情報表示端末とし使用されたりする。図１は本実施形態による映像合成装置の概略構成を示すブロック図である。
【００１２】
１は撮像部であり、たとえばカメラからなる。撮像部１は屋外の風景や屋内の展示物といった現実世界を撮影し、撮影映像を映像信号として撮影映像取込部２に出力する。２は撮影映像取込部であり、撮像部１から出た映像信号を映像合成部３に適した形式に変換して映像合成部３に送り出す。３は映像合成部であり、撮影映像取込部２からの撮影映像とコンピュータ映像生成部７からのコンピュータ映像を合成して表示部９に送出する。
【００１３】
４は雲台制御部であり、床等に設置され、撮像部１を支える。雲台制御部４は可動部分を持ち、撮像部１を使用者が手動で左右方向および上下方向に自由に回転させることを可能にする。雲台制御部４は床等に固定されてもよいが、たとえばレールや台車の上に載せて移動できるようにしてもよい。また、雲台制御部４は図示しない駆動部分と制御装置から構成され、外部からの制御信号により、自動で左右方向および上下方向に自由に回転させるようにすることも可能である。駆動部分は例えばモータや油圧または空気圧ジャッキなどから成る。５は雲台制御部４と撮像部１の相対的な姿勢を測定する姿勢測定部であり、撮像部１の姿勢情報、すなわち撮像部１の上下方向および左右方向の回転情報をコンピュータ映像生成部７からの要求に応じて、又はコンピュータ映像生成部７からの要求なしにコンピュータ映像生成部７に送り出す。姿勢測定部５は、例えば機械式のエンコーダなどから構成される。姿勢測定部５は支持部と撮像部の相対的な姿勢を測定することができればどういった構成としてもよく、また、他に例えばジャイロや光学式のセンサを利用することも可能である。
【００１４】
６はレンズ状態制御部であり、撮像部１で利用するレンズのズーム値やフォーカス値といったレンズ状態情報をコンピュータ映像生成部７からの要求に応じて、又はコンピュータ映像生成部７からの要求なしにコンピュータ映像生成部７に送り出す。ここで、ズーム値・フォーカス値とは、レンズ状態制御部６でエンコーダ等により出力された値であり、たとえばレンズ状態制御部６に８ビットのエンコーダが備えられている場合、出力される値は１〜２５６の範囲の値となる。レンズ状態制御部６はたとえばマイクロコンピュータを備え、エンコーダ等により出力された値を用いてレンズの焦点距離等を計算し、計算した値をレンズ状態情報として出力してもよい。また、レンズ状態制御部６は図示しない操作部や制御信号などによりレンズの状態を操作する。レンズ状態制御部６は、例えば機械式のエンコーダやステッピングモータからなる。
【００１５】
７はコンピュータ映像生成部であり、姿勢測定部５から撮像部１の姿勢情報を取り出して撮像部１が向いている方向を推定し、またレンズ状態制御部６からレンズ状態情報を取り出して撮像部１の画角等を推定する。撮像部１の向いている方向と画角が推定できれば撮像部１の視野が求まるため、コンピュータ映像生成部７はデータ部８から撮像部１の視野に入る部分のデータを取り出し、撮像部１の視野に重なるコンピュータ映像を生成する。生成されたコンピュータ映像は映像合成部３に送られる。
【００１６】
８はデータ部であり、たとえばハードディスクから構成され、コンピュータ映像生成部７に引き渡すデータを所持する。データ部８に格納されるデータとしては、仮想物体の３次元ＣＧデータや現実世界の奥行データや現実世界の３次元モデル、テキスト情報やパノラマ映像等といったものが考えられる。データ部８はコンピュータ映像生成部７からの要求に応じて適切なデータをコンピュータ映像生成部７に送出する。たとえばコンピュータ映像生成部７が撮像部１の視野に合成する３次元ＣＧデータを要求してきた時に、データ部８は格納されている３次元ＣＧデータの中から撮像部１の視野に含まれる３次元ＣＧデータを取り出して送出する。なお、データ部８はハードディスクに限らず、データを保持することができる媒体であれば何でもよく、たとえばテープやメモリなどで構成してもよい。
【００１７】
データ部８に３次元ＣＧ（コンピュータグラフィックス）を格納する場合、格納する３次元ＣＧとしては、たとえば仮想のキャラクタなどが考えられる。ここで、データ部８に格納する３次元ＣＧデータには位置や大きさ、形状、姿勢といった幾何情報だけでなく、テクスチャデータや制約関係、動き、各ＣＧデータを特定するための識別情報といったデータも含まれる。たとえばデータ部８に仮想のキャラクタの形状や動きの情報を格納しておくことで、現実世界中に仮想のキャラクタを登場させることが可能になる。
【００１８】
データ部８にはあらかじめ現実世界の奥行情報を表現する現実世界の奥行データを入力して利用する。あらかじめ現実世界の奥行データを持ち利用することで、現実世界の映像とコンピュータ映像との前後関係や接触関係を含む相互関係を正しく反映した映像合成が可能になる。たとえば、ある建物とある建物の間で３次元ＣＧのキャラクタを動かしたいというとき、現実世界の奥行データを持たない場合では、３次元ＣＧのキャラクタの全身が建物の前面に表示されてしまうため、図７のように建物とキャラクタの前後関係が正しく反映されない。これに対して現実世界の奥行データを持つ場合、キャラクタまでの奥行と建物までの奥行を比較し、キャラクタまでの奥行が建物の奥行よりも大きい部分のコンピュータ映像生成を行わないことによって、図８のように建物とキャラクタの前後関係を正しく反映した合成映像を生成することができる。
【００１９】
現実世界に奥行情報を持たせること、すなわち現実世界の奥行データを獲得することは現実世界の３次元モデルを用いることで実現できる。現実世界の奥行情報を３次元モデルとして与えた場合には、たとえば図９のように建物の上に３次元ＣＧのキャラクタを乗せるなどのような接触関係を表現することが可能である。現実世界の３次元モデルは形状データ、位置姿勢データ、各モデルを特定するための識別情報などから構成される。
【００２０】
９は表示部であり、映像合成部３から送出された合成映像信号を表示する。この際、表示部９は撮像部１と一体的に動くものとすると使用者にとっては直に望遠鏡などを覗き込むかのように直感的で理解しやすいが、必ずしもその必要はなく、たとえば撮像部１が可動で表示部９が固定されるという構成でもよい。また、この表示部９は複数備えられてもよく、その場合は合成映像を多数の人が見ることが可能になる。
【００２１】
図２は映像合成装置が通信網を介して相互接続される場合の構成を示すブロック図である。
【００２２】
１０は映像装置であり、図１の１から９までの機能をすべて含む装置である。
【００２３】
１１は通信網であり、複数台の映像装置１０を相互に接続して、必要に応じて各映像装置１０の間で画像や映像、数値などのデータの転送を行う。通信網１１はＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ：構内通信網）などのように比較的狭い範囲を対象とする通信網を独自に構築しても良いし、インターネットやＷＡＮ（ＷｉｄｅＡｒｅａＮｅｔｗｏｒｋ：広域通信網）などの一部を構成するような形態でも良い。図２では、複数台の映像装置１０が通信網１１によって相互接続された場合の構成図を示している。図２における映像装置１０と通信網１１は図１における映像装置１０、通信網１１と同一の機能を持つ。
【００２４】
１２は映像装置管理部である。映像装置管理部１２は、各映像装置１０中のレンズ状態制御部６および姿勢測定部５から取得され、データ管理部１３によって保持されている各映像装置１０のレンズ状態制御データ、姿勢データをもとにシステム全体の状態を管理し、必要に応じて各映像装置１０に対して、レンズ状態制御部６、雲台制御部４を制御するための信号を送出する。例えば、ある映像装置１０の位置、方位、ズーム値などからその映像装置１０が観測している対象物を映像装置管理部１２が検出し、映像装置管理部１２は他の映像装置１０についても同一の対象物を観測するように、レンズ状態制御部６、雲台制御部４に制御命令を送出するような制御を行うことが可能である。
【００２５】
１３はデータ管理部であり、例えばハードディスク等の記憶装置から構成される。映像装置１０内のデータ部８が保持するデータの元となるデータを格納しており、データ部８が保持するデータはデータ部１３が保持するデータに包含される。データとしては、データ部８と同様、３次元ＣＧデータ、現実世界の奥行データ、現実世界の３次元モデル、テキスト情報、パノラマ映像などが挙げられる。
【００２６】
例えば、システムに新たなデータを追加するような場合には、まずデータ管理部１３に追加される。データ管理部１３は各映像装置１０に対して追加されたデータを送出し、映像装置１０は受け取ったデータをデータ部８にコピーして保持する。こうすることによって、すべての映像装置１０において共通したデータを持つことが可能になる。また、映像装置１０がデータ部８を使用せず、常にデータ管理部１３からデータを受けるようにしても共通したデータを用いることができるが、本実施形態では、映像装置１０はデータに変更があったときのみデータ管理部１３のデータを参照し、データ部８にキャッシュしておくようにする。さらにデータ管理部１３は各映像装置１０中における撮像部１の位置データ、姿勢制御部５から得られる姿勢データ、レンズ状態制御部６から得られるレンズ状態データについても保持しており、必要に応じて映像装置管理部１２から各映像装置１０へ制御信号を送出するのに用いられる。
【００２７】
本実施形態ではデータ管理部１３に対してデータの追加を行ったが、ある特定の映像装置１０を設定してデータ部８にデータの追加を行い、データ管理部１３がその特定の映像装置１０のデータ部８の追加データを参照してコピーした後に、他の映像装置１０のデータ部８に反映させることも可能である。
【００２８】
１４はサーバであり、映像装置管理部１２とデータ管理部１３の機能を含む。サーバ１４は通信網１１に接続されており、任意の映像制御装置１０と通信を行うことが可能である。サーバ１４は単独で使用するだけでなく、複数台設置して、制御対象やデータを分散させることも可能である。また、サーバ１４はその機能をある特定の映像装置１０に内蔵することも可能である。
【００２９】
１５は制御端末であり、通信網１１に接続されている。各映像装置１０、サーバ１４の内部状態の監視を行うことや、操作を行うことが可能である。制御端末１５は単独で使用するだけでなく、複数台設置して用いてもよい。また、ある特定の映像装置１０やサーバ１４に内蔵される形で用いることも可能である。
【００３０】
各映像装置１０は、例えば建物や山、博物館内の展示物などの同一対象物を、異なる視点から望むことができるように配置する。同一の対象物を観測することが可能であれば、その配置には制約を受けない。例えば、対象物を観測することができる建物内の同一のフロアに複数台の映像装置１０を設置してもよいし、異なる建物に１台ずつ設置してもよい。山などの大きな対象物の場合には、距離的に離れた展望台や、他の山などに設置することも考えられる。
【００３１】
以上の様な構成を備えた本実施形態の制御について、以下説明する。図３は映像合成装置における処理の手順を説明するフローチャートである。
【００３２】
ステップＳ０ではデータ準備を行う。ステップＳ０ではデータ管理部１３またはデータ部８に格納するデータを用意する。用意するデータとしてはたとえばテキスト情報やパノラマ映像、３次元ＣＧデータおよび現実世界の奥行データ、現実世界の３次元モデルなどがある。このデータはあらかじめ現実世界との位置の対応づけを行っておく必要があり、たとえば３次元ＣＧならばそれが現実世界中でどの位置に配置されるかを指定しておかねばならない。また、パノラマ映像であればパノラマ映像のどの部分が現実世界のどの部分に対応するかを指定しておかねばならない。
【００３３】
データ管理部１３またはデータ部８にパノラマ映像を格納する場合、格納するパノラマ映像としては、たとえば異なる時間帯や場所において撮影したパノラマ映像が考えられる。あらかじめ異なる時間帯に撮影したパノラマ映像を格納することで、たとえば展望台において曇天時においても展望台からの晴天時の眺めを再現することができる。また、異なる場所で撮影したパノラマ映像を格納することで、全く異なる場所で撮影されたパノラマ映像があたかもその場にあるかのように再現することができる。
【００３４】
データ管理部１３またはデータ部８に格納するパノラマ映像は、たとえば撮像部１で撮影する。この場合、図１８のように、撮像部１で撮影した映像を撮影映像取込部２で取り込み、データ部８に撮影映像を送ることになる。パノラマ映像はこのように撮像部１で撮影し、それをデータ部８に格納することができるが、データ管理部１３およびデータ部８にパノラマ映像を格納できる方法であればこれに限らずどのような方法でもよい。
【００３５】
データ管理部１３またはデータ部８にパノラマ映像を格納する場合、そのパノラマ映像には空白の部分が含まれていてもよい。パノラマ映像中の空白を表現する方法としては、たとえばパノラマ映像の各画素に透過度を表すα値を与え、空白となっている画素のα値を０とする方法がある。撮影したパノラマ映像中において、パノラマ映像の合成を必要としない部分のα値を０としておけば、映像合成部３が撮影映像とパノラマ映像を合成する際、α値が０となっている部分に撮影映像を合成し、α値が０となっていない部分にはパノラマ映像を合成することで、パノラマ映像と撮影映像を一つの合成映像中に表示することが可能になる。このとき、パノラマ映像の各画素のα値をすべて１とすれば、映像合成時に、撮影映像を含まずパノラマ映像だけを含んだ合成映像が合成されることになる。
【００３６】
このパノラマ映像の各画素にα値を与える方法について、展望室において本実施形態の映像合成装置を利用する場合の例を図１１を用いて説明する。ステップＳ０において、展望室から周囲の光景を撮影してパノラマ映像Ｉが撮影され、このパノラマ映像Ｉには、室内の映像Ｒと室外の映像Ｐが含まれるものとする。室内の映像Ｒのα値を０とし、室外の映像Ｐのα値を１とすることで、映像合成部３で映像合成を行う際に、室内部分については撮影映像を合成し、室外部分については室外の映像Ｐを合成するといったことが可能になる。このことによって、室内を見た時には現実世界の撮影映像が見え、室外を見た時にはあらかじめ撮影されたパノラマ映像が見える、といったことが可能になる。
【００３７】
ここではパノラマ映像中の空白の部分を表現する方法としてα値を用いる方法を挙げたが、この方法はパノラマ映像中の空白の部分を表現できる方法であればどのような方法でもよい。
【００３８】
また、ここに格納するパノラマ映像データは、たとえば３次元ＣＧをあらかじめパノラマ映像としてレンダリングしたものであってもよい。一般的に３次元ＣＧの生成を実時間で行う場合には描画能力の制限などから３次元ＣＧの精密さが限定されてしまうが、この手法を用いることで３次元ＣＧのモデルを無制限に精密にし、より３次元ＣＧの映像の質を高めることが可能である。この際、レンダリングしたパノラマ映像の各画素に透過度を表すα値を与え、パノラマ映像中においてＣＧの描かれていない部分のα値を０とすれば、映像合成部３が撮影映像とコンピュータ映像を合成する際、α値が０となっている部分について撮影映像を合成することで、撮影映像中にあらかじめレンダリングした３次元ＣＧを合成することが可能になる。
【００３９】
図４は図３の処理手順のうち、データ準備を行うステップＳ０で行われる現実世界３次元モデルを入力する処理手順を説明するフローチャートである。図３のステップＳ０は図４のステップＳ１０１〜Ｓ１０５を含む。
【００４０】
ステップＳ１０１では、複数の映像装置１０をモデル化の対象となっている物体（例えば建物、山など）の方向に向ける。そして、複数の映像装置１０を用いて対象物体（オブジェクト）を複数の視点から撮影し、対象物体を含む現実世界の画像を複数取得する。なお、この作業は手動・自動を問わない。
【００４１】
ステップＳ１０２では、複数の映像装置１０から位置姿勢情報を取得し、ステップＳ１０１で得られた撮影画像に対応させてデータ管理部１３に送信する。撮影画像と撮影画像の空間位置情報を示すことになる映像装置の位置姿勢情報は正しく対応付けて管理することが重要である。
【００４２】
位置を取得するための手段としては、例えばＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ：全地球無線測位システム）などの装置を用いる方法や、地図や建物の図面などを基準にして、映像装置１０を設置した位置を推定する方法が考えられる。姿勢に関しては、姿勢測定部５によって測定された結果を用いる。これらの位置姿勢情報はサーバ１４内のデータ管理部１３に送られる。
【００４３】
ステップＳ１０３では、現在対象となっている物体の現実世界の３次元モデル、あるいは現実世界の奥行データを入力する。この３次元モデルおよび奥行データは、現実世界の映像とコンピュータ映像との相互関係を正しく反映させた状態で両者を合成するために必要となる。
【００４４】
ここで、地図データから現実世界の３次元モデルを生成する方法について図１６、図１７を用いて説明する。
【００４５】
図１６のような地図があるものとして、その地図の中には建物Ｅ，Ｆ，Ｇ，Ｈが描かれ、またこの建物Ｅ，Ｆ，Ｇ，Ｈの高さ情報が何らかの方法で得られたものとする。ここで、地図の左下端を原点とし、１ｍを１単位とした、図１７のようなＸＹＺ座標系を定義すると、建物Ｈは高さ１０，幅１５，奥行１５の直方体として表現することができ、また他の建物Ｅ，Ｆ，Ｇも同様に表現することができる。
【００４６】
以上のようにして地図データから現実世界の３次元モデルを生成することができる。ここでは図１７のような座標系を定義したが、この座標系がいかなるものであれ地図データから現実世界の３次元モデルを生成することができるのは言うまでもない。また、現実世界に３次元形状モデルデータを持たせる方法は上記の方法に限らず、現実世界の３次元形状モデルが構築できる方法であればどのような方法でもよい。
【００４７】
また、現実世界の奥行情報は必ずしも３次元のモデルでなくてもよく、たとえば図１０のように二次元のモデルとしてもよい。また、必ずしもすべての映像装置１０で統一されている現実世界の３次元モデルを持つ必要はなく、各映像装置１０においてレンジスキャナなどで得られた現実世界の奥行データを持ち、利用することとしてもよい。また，１台の映像装置１０が複数の撮像部１および撮影映像取込部２を持つような場合には、それぞれの撮影映像取込部２から得られた映像を用いて三角測量により現実世界の奥行情報を求め、利用してもよい。現実世界に奥行情報を持たせる方法は上記の方法に限らず、たとえば距離画像を用いる方法でもよく、現実世界までの奥行がわかるものであればどのような方法でもよい。
【００４８】
ステップＳ１０４では、ステップＳ１０３によって得られた現実世界の３次元モデルについて、その大きさや配置する位置、向きなどを調整する作業を行う。
【００４９】
具体的には、映像装置１０の撮影映像取込部２によって獲得された現実世界の映像に対して、現実世界の３次元モデルをある映像装置１０の視点からの現実世界の奥行データに変換し、可視化した画像を合成する。そして、合成された現実世界の撮影画像に３次元モデルを合成した画像を表示する。具体的には、現実世界の３次元モデルを映像装置１０の視点からのＣＧとして生成し、撮影画像に合成する。
【００５０】
ステップＳ１０３で作成された現実世界の３次元モデルまたは現実世界の奥行データは、必ずしも現実の物体の形状を正確に表現しているものであるとは限らない。現実の物体を計測した際に誤差が含まれている場合もあるし、モデル化する対象が建物のような場合には、例えば直方体などのような単純な立体で近似することも考えられる。また、現実の物体の形状は正確に得られていても、それを配置する現実世界の位置や向きの情報が正確でない場合も考えられる。これらの要因によって、現実世界の３次元モデルを映像装置１０の視点での現実世界の奥行データに変換した映像と、同一の視点から実際に観測された映像中の対象物とが必ずしも厳密には一致せず、仮想物体の３次元ＣＧを合成するときに、現実世界の映像とコンピュータ映像との間にずれが生じてしまうことがある。
【００５１】
ステップＳ１０４では、現実世界の映像と現実世界の３次元モデルのＣＧとが一致するように、後述する調整画面を用いて操作者がマニュアルで現実世界の３次元モデルの大きさ、位置、向きなどのパラメータを調整する。
【００５２】
現実世界の３次元モデルは、データ管理部１３によって、システム全体で同一のパラメータを用いて管理される。したがって、単独の映像装置１０の視点からのみこの調整作業を行うと、他の視点においてはずれが拡大してしまう可能性がある。特に奥行方向の位置の変化については、その量を把握しにくいため、その傾向が顕著になる。
【００５３】
そこで、本実施形態では、操作者は複数の視点からの合成映像を同時に確認し、すべての視点でずれを少なくするように３次元モデルを調整できる調整画面を提供する。
【００５４】
また、現実世界の３次元モデルが正確でないときには、すべての視点において正確に一致させるようなパラメータが存在しないことがあるが、そのような場合には目的に応じて、全体としてずれが少なくなるように調整するか、特定の視点を重要視して調整を行うことになる。
【００５５】
調整方法の具体例を以下に説明する。
【００５６】
（３次元モデル調整方法１）
操作者が制御端末１５上で図５に示すようなＧＵＩ（ＧｒａｐｈｉｃａｌＵｓｅｒＩｎｔｅｒｆａｃｅ：グラフィカルユーザインタフェース）を用いて調整作業を行う。図５のＧＵＩにおいては、複数の映像装置１０から観測された現実世界の映像５０に、その視点から描画した現実世界の３次元モデルのＣＧ５１を合成した映像が同時に表示される。さらに、現実世界の３次元モデルのパラメータを詳細に表示するパラメータ表示部５２を有する。
【００５７】
操作者は、任意の合成映像上でマウスなどの入力装置を用いてカーソル５４を移動させ、現実世界の３次元モデルの大きさ、配置する位置、向きを調整する。
【００５８】
パラメータを調整された現実世界の３次元モデルのデータは、直ちにデータ管理部１３から各映像装置１０に送られ、各映像装置１０は変更後のパラメータを用いて再度現実世界の３次元モデルを現実世界の奥行データに変換して、現実世界の映像と合成した映像を生成する。各映像装置１０により生成された複数の合成映像はＧＵＩに表示される。このようにしてＧＵＩを用いることにより、パラメータの変更結果を即座に確認しながら現実世界の３次元モデルの調整作業を行うことが可能である。
【００５９】
この調整方法によれば、３次元モデルの調整結果を複数の視点からの映像上で確認することができ、適切な３次元モデルの調整を簡単に行うことができる。
【００６０】
（３次元モデル調整方法２）
調整方法２では、調整方法１で用いた調整画面（図５）に、地図データ５３を追加する。
【００６１】
そして、地図データから現実世界の３次元モデルを作成する機能を有する。操作者は地図という２次元上で対象物体の２次元情報を、カーソル５４を操作することにより指示する。
【００６２】
地図データ５３上で指示された対象物体の２次元情報に所定の高さ情報を加えて３次元モデルを作成し、合成映像に表示する。そして、操作者は、合成映像上で高さ情報を調整方法１と同様に、カーソルを用いて高さ情報などのパラメータを調整する。
【００６３】
調整方法２によれば、対象物体の２次元情報を地図データを用いて簡単に作成することができる。したがって、位置や方向のパラメータを簡単に調整することができる。
【００６４】
なお、地図データを用いた対象物体の２次元情報の作成は、図２０に示されるように操作者が対象物体を含む領域をラフに指示すると、指示された領域内の画像を解析し対象物体の輪郭を抽出し、２次元情報が自動作成されるようにしても構わない。画像解析を用いることにより、複雑な形状を有する対象物体の２次元情報を簡単にかつ高精度に作成することができる。
【００６５】
また、図２１に示されるように、調整画面上に表示する合成映像の視点位置（視点および方向）を、地図データ上に矢印５５を用いて表示しても構わない。
【００６６】
地図データ上で視点位置を矢印を用いて表示することにより、操作者は合成映像の視点位置を視覚的に確認することができる。
【００６７】
さらには、ステップＳ１０１において調整画面上に表示可能な数以上の映像装置からの撮影画像を取得している場合には、ステップＳ１０２で取得した位置姿勢情報を地図データ上に表示し、そして操作者が選択した位置姿勢情報に対応する視点からの合成映像を調整画面に表示するようにしても構わない。
【００６８】
このようにすることにより、操作者はステップＳ１０１で取得した撮影画像から任意の撮影画像を用いて３次元モデルを調整することができる。また、選択可能な視点が地図データ上に表示されるので、簡単に所望の視点（撮影画像）を選択することができる。
【００６９】
（３次元調整方法３）
調整方法１または２の変形例である調整方法３を説明する。調整方法３では、図２２に示されるように、パレット５５に予め複数の形状モデルを用意する。そして、カーソル５４を用いて操作者によって選択された形状モデルを、地図上の任意の位置に配置する。そして、配置された結果が合成映像に反映される。操作者は、合成映像および地図データを用いて配置された形状モデルを調整することにより、３次元モデルのパラメータを調整する。
【００７０】
調整方法３によれば、地図データで作成された２次元情報に高さ情報を付加するだけでは作成することができない形状（円錐や球など）にも対応することができる。
【００７１】
（３次元モデル調整方法４）
３次元モデルの調整は、操作者が手動で行う場合に限られない。例えば、操作者は図１９のようにＧＵＩを用いて現実世界の３次元モデルの頂点などの特徴的な点である特徴点と、その点がある映像装置１０の視点から見た現実世界の映像中で観測される対応点とを入力する。１つの映像装置１０について複数の特徴点を入力し、これを複数の映像装置１０に対して行う。入力した特徴点や対応点のデータはサーバ１４に送られ、サーバ１４では現実世界の３次元モデルの大きさ、位置、向きなどを自動的に変更する。
【００７２】
また特徴点や対応点の入力は、操作者が手動で行う場合に限られない。取得された現実世界の映像にエッジ抽出などの画像処理を適用して自動で対応点を抽出してもよいし、前記現実世界の３次元モデルの幾何特徴などを利用して，自動的に特徴点と対応点の対応付けを行ってもよい。
【００７３】
現実世界の３次元モデルの大きさ、位置、向きをなどを自動的に変更する方法として、例えば現実世界の３次元モデル中の特徴点を現実世界の映像上に射影したときの座標と対応点の座標との距離を尺度とするような評価関数を定め、この関数を最小化するパラメータを求める方法が考えられる。この評価関数は３次元モデルの大きさ、位置、向きなどをパラメータとして取るようにすると、すべての視点において、現実世界の３次元モデルと現実世界との映像を最もよく一致させるような現実世界の３次元モデルの大きさ、位置、向きなどを求めることができる。
【００７４】
ここで評価関数の例を示す。Ｍ台の映像装置１０があり、現実世界の３次元モデルにＮ点の特徴点を設定して入力したとする。このとき、現実世界の映像上の対応点の画素の二次元座標をＰ，特徴点の現実世界の３次元モデルの３次元座標をＸとする。また、現実世界の３次元モデルの位置、向き、大きさをそれぞれＬ，Ａ，Ｓとし、３次元モデルの回転、平行移動、スケーリングを表現する行列をＬ，Ａ，Ｓの関数で表す。これをＲ（Ｌ，Ａ，Ｓ）とする。ある映像装置１０の現在の位置、姿勢において、現実世界の３次元モデルを描画し、二次元の映像上に射影する行列をＭとする。このとき評価関数Ｆ（Ｌ，Ａ，Ｓ）は現実世界の３次元モデルの特徴点を現実世界の映像上に射影した点と対応点とのユークリッド距離を尺度として
【外１】

【００７５】
と表すことができる。
【００７６】
また、評価関数を定めるときに、映像装置の視点や役割に応じて重みづけ係数を用いて、現実世界の３次元モデルと現実世界の映像とを、ある視点について重点的に一致させるようにしてもよい。ゲームを行うための映像装置１０と、そのゲームを傍観するための別の映像装置１０があったとき、例えばゲームを行う映像装置１０については重み付けの係数を大きく取り、傍観するための映像装置１０については重み付けの係数を小さく取ると、現実世界の３次元モデルはゲームを行う映像装置１０から見た現実世界の映像により正確に一致するようになる。
【００７７】
ステップＳ１０１からステップＳ１０４までの作業を、現実世界をモデル化する対象物体すべてについて繰り返す。ただし、これらの作業は映像装置１０の設置時に一度行っておき、その結果を保存しておくことによって、映像装置１０の位置およびモデル化した現実世界そのものが変化しない限り、次回からは保存した結果を読み込むだけでよい。
【００７８】
データ準備後、ステップＳ１でシステムが起動される。ステップＳ２で撮像部１から映像が取得され、取得された撮影映像はたとえばＮＴＳＣ映像信号として撮影映像取込部２に送られる。この際、撮像部１から撮影映像取込部２に送られる撮影映像はＮＴＳＣ映像信号に限らず、映像を表現できるものであれば何でもよい。
【００７９】
撮像部１で撮影された撮影映像は撮影映像取込部２で適切なフォーマットに変換され、映像合成部３に送られる。撮影映像取込部２ではたとえば撮像部１から送られてきたＮＴＳＣ映像信号をデジタルデータに変換して映像合成部３に送るが、撮像部１の送り出す映像はＮＴＳＣ映像信号に限らず映像を表現するものであれば何でもよく、また、撮影映像取込部２が映像合成部３に送り出す撮影映像もデジタルデータに限らず映像を表現し、映像合成部３が処理できるものであれば何でもよい。
【００８０】
ステップＳ３で姿勢測定部５が撮像部１の姿勢を検知し、検知された姿勢情報はコンピュータ映像生成部７に送られる。ステップＳ４でレンズ状態制御部６が撮像部１で利用するレンズのズーム値やフォーカス値といったレンズ状態情報を検知し、検知されたレンズ状態情報はコンピュータ映像生成部７に送られる。
【００８１】
ステップＳ５ではコンピュータ映像生成部７が、姿勢測定部５から送出された姿勢情報とレンズ状態制御部６から送出されたレンズ状態情報から撮像部１の視野を推定し、データ部８から撮像部１の視野に含まれる範囲のデータを取得する。
【００８２】
ここで、姿勢測定部５から送出された姿勢情報と、レンズ状態制御部６から送出されたレンズ状態情報から撮像部１の視野を求める方法にはさまざまなものがあるが、ここではそのうち一つの方法を示す。一般的に、撮像部１で利用するレンズのレンズ中心の位置と撮像部１の視野角を求めれば視野を求めることが可能であるため、以下ではまず姿勢測定部５から送出された姿勢情報から撮像部１で利用するレンズのレンズ中心の位置を求める方法について記し、その後にレンズ状態制御部６から送出されたレンズ状態情報から撮像部１の視野角を求める方法について記す。
【００８３】
姿勢測定部５から送出された姿勢情報から撮像部１で利用するレンズのレンズ中心の位置を求める方法を図１２と図１３を用いて説明する。図１２は本実施形態の映像合成装置の外観図である。撮像部１と表示部９は雲台制御部４に一体的に支持されており、回転中心０を中心として上下方向および左右方向に回転できるものとする。雲台制御部４は床に固定されているため、床と回転中心０の位置関係は不変である。そのため、回転中心０とレンズ中心Ｌ０の相対的な位置関係がわかれば、現実世界に対するレンズ中心Ｌ０の位置が一意に定まることとなる。
【００８４】
ここで、回転中心０を原点としたＸＹＺ座標系を図のように定義し、左右の回転角φと上下の回転角θを図１３のように定義する。撮像部１で用いるレンズのレンズ中心Ｌ０から回転中心０までの距離をｄとして表すと、レンズ中心Ｌ０の座標は
ｘ＝−ｄｓｉｎθｓｉｎφ
ｙ＝ｄｓｉｎθｃｏｓφ
ｚ＝ｄｃｏｓθ
として表される。ここではＸＹＺ座標系を図１３のように定義したが、座標系をどのように定義しても、また上下および左右の回転角をどのように定義しても、左右方向の回転角と上下方向の回転角から撮像部１で利用するレンズのレンズ中心の位置が求まることは言うまでもない。
【００８５】
レンズ状態制御部６から送出されたレンズ状態情報から撮像部１の視野角を求める方法を図１４と図１５を用いて説明する。まず、レンズ状態制御部６から送出されるズーム値から撮像部１で利用するレンズの焦点距離を算出する。ここで、レンズ状態制御部６から送出されるズーム値は撮像部１に備えられた８ビットのエンコーダから出力される値であるものとし、その値とレンズの焦点距離が図１４のテーブルのように求まっているものとする。すると、図１４のテーブルを用い、テーブルに載っていない値については補間を行うことで、撮像部１で利用するレンズの焦点距離をレンズ状態制御部６から送出されるズーム値を用いて求めることができる。ただし、レンズ状態制御部６が直接焦点距離を出力することができる場合には、図１４のようなテーブルを用いて焦点距離を算出する必要はない。
【００８６】
以上のようにして求まった撮像部１で利用するレンズの焦点距離をｆとして、撮像部１に備わる撮像面の横幅をｘとすると、図１５から撮像部１の左右方向の視野角ψは次の式で求めることができる。
【００８７】
ψ＝２ａｒｃｔａｎ（ｘ／２ｆ）
同様に、撮像部１に備わる撮像面の高さをｙとすると、図１５から撮像部１の上下方向の視野角μは次の式で求めることができる。
【００８８】
μ＝２ａｒｃｔａｎ（ｙ／２ｆ）
以上のように、姿勢測定部５から送出された姿勢情報とレンズ状態制御部６から送出されたレンズ状態情報から撮像部１で利用するレンズのレンズ中心の位置と撮像部１の視野角が求まり、したがって撮像部１の視野を求めることが可能である。この際、撮像部１の視野を求める方法として上記のような方法を用いたが、撮像部１の視野が求まる方法であれば上記のような方法に限らずどのような方法でもよい。
【００８９】
また、ステップＳ５では通信網１１を通じて、サーバ１４へ姿勢推定部５によって得られた姿勢データ、レンズ状態制御部６で得られたレンズ状態データを送出する。また同時に、サーバ１４からはシステム全体の状態、雲台制御部４へ送られる制御信号、レンズ状態制御部６へ送られるレンズ制御信号などを受け取る。雲台制御部４、レンズ状態制御部６は受信した信号に従って、担当する機器を制御する。
【００９０】
さらにステップＳ５ではコンピュータ映像生成部７が、姿勢測定部５から送出された姿勢情報とレンズ状態制御部６から送出されたレンズ状態情報から撮像部１の視野を推定し、データ部８から撮像部１の視野に含まれる範囲のデータを取得する。同時にこのデータは通信網を通じてサーバ１４へも送られる。
【００９１】
ステップＳ６ではデータ部８から取得したデータを用いてコンピュータ映像生成部７がコンピュータ映像を生成する。生成した映像は映像合成部３に送られる。
【００９２】
ステップＳ６の時点で、データ部８にパノラマ映像を解像度を変えて多段に持ち利用すれば、撮像部１で利用するレンズのレンズ状態情報のうちズーム情報を用いてパノラマ映像の解像度を切り替えて表示することも可能である。すなわち、ズームアウトした時には解像度の粗いパノラマを表示し、ズームインしていくにつれ解像度の細かい映像を表示していくことで、常に鮮明なパノラマ映像をストレスなく提示することが可能である。
【００９３】
ステップＳ７では、映像合成部３において撮影映像取込部２から送出された撮影映像と、コンピュータ映像生成部７から送出されたコンピュータ映像が合成される。合成された合成映像は表示部９に送られる。ステップＳ８では映像合成部３から送出されてきた映像情報を表示部９が表示する。その後ステップＳ９でシステムを終了するかどうかがチェックされ、システムを終了させる場合はステップＳ１０でシステムを終了させ、終了させない場合にはステップＳ２に戻り、上述の処理を繰り返す。
【００９４】
以上のように、第一の実施形態によれば、たとえば展望台において曇天時においても展望台からの晴天時の眺めを再現することができる。展望台において晴天時に撮影したパノラマ映像をあらかじめデータ管理部１３またはデータ部８に格納し、姿勢情報とレンズ状態情報を用いて撮像部１の視野を定め、パノラマ映像からその視野の部分を切り出して表示部９に表示することで、前記の事項は達成される。
【００９５】
以上のように、本実施形態に映像合成装置によれば、たとえば実際の風景のビルに重ねて仮想のキャラクタを見ることができる。データ管理部１３またはデータ部８にあらかじめ現実世界の３次元モデル、現実世界の奥行データおよび仮想キャラクタの３次元ＣＧデータを格納することで前記の事項は達成される。すなわち、あらかじめ現実世界のビルの間の部分に仮想の３次元ＣＧのキャラクタの位置を定めておき、位置姿勢情報とレンズ状態情報を用いて適切な位置、すなわちビルの間の部分に仮想のキャラクタの映像を生成し、撮影映像取込部２で獲得した映像に合成すればよい。
【００９６】
さらには、たとえば複数台の映像装置１０から実際の風景の同一のビルに重ねて、それぞれの視点からの見え方で仮想のキャラクタを見ることができる。装置に入力した現実世界の３次元モデルが正確でないような場合でも、その位置・大きさ・向きなどのパラメータを調整することによって、現実のビルと仮想のキャラクタの前後関係をより正確に表現することが可能である。この調整は、映像装置１０の撮影映像取込部２から取り込まれる映像にその視点から見た現実世界の奥行データを可視化して合成した映像を、複数の視点から同時に観測しながら行うことによって、調整を正確に効率よく行うことが可能である。また、３次元モデルの座標と映像中での対応点を入力することによって、これらの調整作業を自動で行うことも可能である。
【００９７】
また、本実施形態によれば、たとえば特定の１台の映像装置１０を手動で人が操作し、他の映像装置１０については、手動で操作されている前記映像装置１０において、観測されている対象と同一の対象を追跡することによって教示などに役立てることができる。また、他の映像装置１０上で合成された映像を別の映像装置１０に伝送することによって、ある視点からは死角になっていて見えない対象やその一部分（例えば建物の裏側など）を、別の角度から観測することも可能となる。
【００９８】
本実施形態の映像合成装置においては、撮像部１に加えてもう一つ撮像部を持ち、それぞれの撮像部について撮影映像取込部２・コンピュータ映像生成部７・映像合成部３・表示部９を持つことで、本実施形態の映像合成装置を双眼鏡として使うことが可能になる。言うまでもないが、この際の映像合成装置の処理手順は撮像部１が一つの構成の場合と何ら変わりはない。この際、図示しない操作部や制御信号によりレンズの状態を操作する時には、それぞれの撮像部で利用するレンズの状態を連動させることが必要である。
【００９９】
＜第２の実施形態＞
第２の実施形態では、図示しない合成映像記憶部２０と図示しない記憶映像出力部２１を備え、本実施形態の使用者が観察する合成映像を記憶し、表示部９以外の媒体に出力する。
【０１００】
合成映像記憶部２０は例えばハードディスクからなり、映像合成部３から合成映像信号を受け取り、記録する。合成映像記憶部２０としては他にたとえばビデオレコーダやハードディスク等を用いることが考えられ、映像を記憶できる媒体であれば何でもよい。また、合成映像記憶部２０には合成映像以外の情報も記憶され、たとえば合成した日付や場所といったテキスト情報や画像情報が記録される。
【０１０１】
合成映像記憶部２０に合成映像などの情報を記憶する処理はステップＳ８に含まれる。映像合成部３は映像情報を表示部９に送出すると同時に、合成映像記憶部２０に対しても映像情報を送出する。また、テキスト情報や画像情報などはデータ管理部１３またはデータ部８から合成映像記憶部２０に送出される。
【０１０２】
また、合成映像記憶部２０は映像装置１０に備えるだけでなく、サーバ１４に備えることも可能である。映像合成部３から出力された合成映像は通信網１１を介して合成映像記憶部２０に入力される。この場合、合成映像記憶部２０にはすべての映像装置１０からの合成映像が記録されるので、複数の映像装置１０からの合成映像を同時に参照することが可能である。
【０１０３】
記憶映像出力部２１は例えばプリンタからなり、合成映像記憶部２０が保持している情報を表示部９以外の媒体に出力する。この処理はステップＳ１０に含まれる。本映像合成装置の使用者がステップＳ９で使用を終えたとき、ステップＳ８で記憶映像出力部２１から出力された結果は使用者に渡される。使用者は自らが本実施形態の映像合成装置を使用した際の合成映像の静止画を記念として持ち帰ることや、また記憶映像出力部２１にビデオレコーダを用いれば、使用者本人および他の使用者が合成装置を使用した際の合成映像の動画を持ち帰ることも可能である。
【０１０４】
以上のように第２の実施形態によれば、使用者は自らが体験して観察した映像のプリントアウトや合成映像の動画を持ち帰ることが可能となる。
【０１０５】
以上のように、前記各実施形態によれば、展望台などにおいて、本実施形態の映像合成装置を通して自由に視点を変えながら使用者は現実世界に重ねてＣＧを見たり、また現実世界のかわりにあらかじめ格納していたパノラマ映像を見たりすることができる。また、使用者は現実世界に現れたＣＧのキャラクタを自由に動かしたり、また合成映像の静止画や動画を記念品として持ち帰ることが可能である。さらに、現実世界と仮想世界との前後関係を表現するための調整作業を効率的に行うことも可能である。
【０１０６】
また、本実施形態の映像合成装置は、当然のことながら展望台や博物館での利用に限られるものではなく、本実施形態の映像合成装置が有効に利用可能な全ての状況において用いることが可能である。
【０１０７】
本実施形態の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本実施形態を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているオペレーティングシステム（０Ｓ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１０８】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１０９】
【発明の効果】
本発明によれば、現実物体の３次元モデルを簡単に作成することができる。
【図面の簡単な説明】
【図１】映像合成装置の概略構成を示すブロック図である。
【図２】映像合成装置が通信網を介して相互接続される場合の構成を示すブロック図である。
【図３】映像合成装置の処理手順を説明するフローチャートである。
【図４】映像合成装置の処理手順のうち、データ準備の詳細を説明するフローチャートである。
【図５】現実世界の３次元モデルの調整作業を行うＧＵＩの例を示す図である。
【図６】地図データから現実世界の３次元モデルを作成するためのＧＵＩの例を示す図である．
【図７】現実世界の建物と仮想のキャラクタの前後関係が表現されていない場合の図である。
【図８】現実世界の建物と仮想のキャラクタの前後関係が表現されている場合の図である。
【図９】現実世界の建物と仮想のキャラクタの接触関係が表現されている場合の図である。
【図１０】現実世界のモデルを二次元のモデルとして表現した場合の図である。
【図１１】パノラマ映像の一部分にα値を与える場合を説明する図である。
【図１２】姿勢制御部から送られる姿勢情報から撮像部で利用するレンズのレンズ中心の位置を求める方法を説明する図である。
【図１３】姿勢制御部から送られる姿勢情報から撮像部で利用するレンズのレンズ中心の位置を求める方法を説明する図である。
【図１４】レンズ状態制御部から送られるレンズ状態情報から撮像部で利用するレンズの焦点距離を求める方法を説明する図である。
【図１５】撮像部で利用するレンズの焦点距離からレンズの視野角を求める方法を説明する図である。
【図１６】地図データから現実世界の３次元モデルを生成する方法を説明する図である。
【図１７】地図データから現実世界の３次元モデルを生成する方法を説明する図である。
【図１８】撮像部でパノラマ映像を撮影し、データ部に格納する場合を説明する図である。
【図１９】現実世界の３次元モデルの点と現実世界の映像中の点との対応付け作業を説明する図である。
【図２０】現実世界の３次元モデルの調整作業を行うＧＵＩの例を示す図である。
【図２１】現実世界の３次元モデルの調整作業を行うＧＵＩの例を示す図である。
【図２２】現実世界の３次元モデルの調整作業を行うＧＵＩの例を示す図である。

Claims

現実世界の撮影画像に仮想世界のコンピュータ映像を合成するために用いる、該現実世界の現実物体の３次元モデルを設定する情報処理装置であって、
前記現実物体を含む現実世界を複数の視点から撮影することにより得られた複数の画像および該複数の画像の各々の視点情報を取得する取得手段と、
データ管理部に格納されている前記現実物体の３次元モデルを用いて、前記複数の視点情報の各々に対応するコンピュータ映像を生成する生成手段と、
前記複数の画像の各々に、対応する前記生成されたコンピュータ映像を合成する合成手段と、
前記合成された画像および前記現実世界の地図を調整画面上に表示する表示手段と、
ユーザ指示に応じて、前記データ管理部に格納されている前記現実物体の３次元モデルを調整する調整手段とを有し、
前記調整画面の地図上に前記視点情報が表示されることを特徴とする情報処理装置。
前記調整画面の地図上に表示される視点情報は視点および方向を示すことを特徴とする請求項１記載の情報処理装置。
さらに、前記調整画面の地図上に表示された視点情報を選択する選択手段を有し、
前記調整画面上に表示される前記合成された画像は、前記選択された視点情報に応じていることを特徴とする請求項１記載の情報処理装置。
請求項１乃至３のいずれかに記載の情報処理装置をコンピュータを用いて実現するためのコンピュータが読み取り可能に記憶媒体に記憶されたプログラム。
取得部、生成部、合成部、表示部、調整部とを有する情報処理装置が実行する情報処理方法であり、現実世界の撮影画像に仮想世界のコンピュータ映像を合成するために用いる、該現実世界の現実物体の３次元モデルを設定するための情報処理方法であって、
前記取得部が前記現実物体を含む現実世界を複数の視点から撮影することにより得られた複数の画像および該複数の画像の各々の視点情報を取得する取得工程と、
前記生成部がデータ管理部に格納されている前記現実物体の３次元モデルを用いて、前記複数の視点情報の各々に対応するコンピュータ映像を生成する生成工程と、
前記合成部が前記複数の画像の各々に、対応する前記生成されたコンピュータ映像を合成する合成工程と、
前記表示部が前記合成された画像および前記現実世界の地図を調整画面上に表示する表示工程と、
前記調整部がユーザ指示に応じて、前記データ管理部に格納されている前記現実物体の３次元モデルを調整する調整工程とを有し、
前記調整画面の地図上に前記視点情報が表示されることを特徴とする情報処理方法。