JP4103204B2 - 臨場感生成システム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、画像表示装置あるいは音響装置と、動揺台と、を備える臨場感生成システムに関する。また、本発明は、前記臨場感生成システムにおいて使用する画像データを生成する方法に関する。また、本発明は、前記臨場感生成システムにおいて使用する音響データを生成する方法に関する。
【０００２】
【従来の技術】
本発明に関連の深い公知技術としては、特開平７−２５３７５１号公報に記載の体感映像装置、特開平８−１３１６５９号公報に記載の疑似現実感発生装置、および、特開平９−１３８６３７号公報に記載の模擬視界装置がある。
【０００３】
特開平７−２５３７５１号公報に記載の体感映像装置は、動揺台とビデオプロジェクタとを具備して、臨場感を生成する装置であり、撮影時のビデオカメラの姿勢に基づいて、前記動揺台および前記ビデオプロジェクタの位置や姿勢を制御することを特徴とする装置である。
【０００４】
特開平８−１３１６５９号公報に記載の疑似現実感発生装置は、動揺台、プロジェクタおよびスピーカを具備して、臨場感を生成する装置である。該装置では、動揺台がユーザの操作に相応した疑似体験を与えるための運動を行うことにより臨場感を生成することが基本的な考え方となっている。動揺台の運動範囲が限られている場合、ユーザの操作に相応した疑似体験を与えるためには、必ずしも動揺台の運動だけでは十分ではないが、映像および音響を補助的に用いて、実際以上の運動をしているかの如くユーザに錯覚を与えることにより、動揺台が十分な運動範囲を持つ場合と同様の臨場感をユーザに提供することが、該装置の特徴となっている。例えば、「動揺台が右に大きく動く」ような状況は、「動揺台を右に動かす」ことと「画像および音像を動揺台の動きの不足分だけ左に動かす」ことによって代替する。
【０００５】
特開平９−１３８６３７号公報に記載の模擬視界装置は、現実世界におけるユーザの視点データ（視点位置および姿勢に関するデータ）を追従し、それを仮想世界におけるユーザの視点データ（視点位置および姿勢に関するデータ）に反映させ、現実世界におけるユーザの視点データが反映された仮想世界におけるユーザの視点データに基づいて画像を生成し、生成した画像をユーザに提供するという装置である。
【０００６】
また、該模擬視界装置に類似の装置として、現実世界におけるユーザの視点データを追従し、該現実世界におけるユーザの視点データおよび仮想世界におけるユーザの視点データに基づいて画像を生成し、生成した画像をユーザに提供するという装置も存在する。
【０００７】
また、コンピューターグラフィックス（以下「ＣＧ」と記述する）を用いて時系列画像データを生成する技術として、仮想世界の３次元モデルを生成し、該仮想世界中にモデル化されたカメラを挿入し、各時刻毎に該カメラによって撮影される画像を計算し生成する、という方法がある。
【０００８】
【発明が解決しようとする課題】
動揺台の運動データ（位置・姿勢・速度等のデータ）の生成方法としては、仮想世界におけるユーザの視点位置等の動き（ＣＧによる技術ではカメラの動きに対応する）に忠実に生成する方法、加速度に重きを置いて生成する方法、等が考えられる。例えば、「高速で走っている車に乗って長く急な左カーブを曲がり続ける」ことをユーザに体感させたい場合には、「路面についているであろう左下がりの横傾斜に忠実に動揺台を左下がりとする」というように運動パラメタを生成することもできるし、「遠心力をユーザに体感させるために動揺台を右下がりにして重力を利用する」というように運動パラメタを生成することもできる。従って、コンテンツ制作者の観点からすれば、状況によって適した方法を用いて自由に動揺台の運動パラメタを生成することができるのが理想である。
【０００９】
また、ユーザの観点からすれば、提供される映像および音像は、ユーザの視点位置・姿勢で見た時に正しく見える映像、ユーザの聴点位置・姿勢で聴いた時に正しく聴こえる音像であることが理想である。これは、例えば、画像表示装置が複数スクリーンを備えている場合に、ユーザの視点位置・姿勢で見た時に正しく見える映像でない映像を表示した場合には、スクリーンの境界付近で画像が不自然に歪む、例えば、直線が曲がって見える、などの現象として理解することができる。
【００１０】
また、同様にユーザの観点からすれば、提供される映像および音像は、可能な限り高品質であることが望ましい。
【００１１】
以上のような観点で考えた場合、公知の技術には、以下のような課題がある。
【００１２】
まず、特開平７−２５３７５１号公報に記載の体感映像装置に関しては、ユーザの視点位置・姿勢で見た時に正しく見える映像を表示するためには、ビデオプロジェクタは少なくともユーザの視点と略一致する位置（動揺台の座席付近）から映像を投写することが必要であるが、そのようなことは一般に不可能である。また、シフトレンズなどの特殊な光学系を用いて撮影および投写することで、該問題を回避する場合にも、ビデオプロジェクタがスクリーンに対して相対的に動く場合には、ユーザの視点位置・姿勢で見た場合に正しい映像となるように、映像を投写することは不可能である。
【００１３】
また、例えば、複数のスクリーンと複数のプロジェクタとを用いて動揺台を取り囲むような映像供給を行おうとした場合、該複数のプロジェクタの相対位置が変化しないように固定し、該複数のプロジェクタのすべてを動揺台に同期させて動揺させることは、容易に実施できることではない。
【００１４】
また、動揺台の運動パラメタの生成に関しても、基本的にビデオカメラの運動を修飾するだけのものであり、動揺台の運動パラメタ生成に関するコンテンツ制作者側の自由が制限されてしまっている。
【００１５】
次に、特開平８−１３１６５９号公報に記載の疑似現実感発生装置であるが、画像データの生成や音響データの生成を、仮想世界におけるユーザの運動と、動揺台の運動パラメタに基づいて行っているものの、これは、動揺台の運動だけでは十分な臨場感をユーザに提供できない場合に、その不足分を補うことを目的として行っているものであり、現実世界におけるユーザの視点位置・姿勢および聴点位置・姿勢を考慮した上で行っているものではない。従って、例えば、動揺台の運動だけで十分な臨場感をユーザに提供できる場合には、動揺台の動きと映像および音像は連動しない。また、例えば、動揺台を右に傾けたい、しかし、動揺台の運動範囲の制約から十分に傾けることができない、という場合には、表示画面内の１点を中心として映像を左に傾ける処理を行うことになるが、実際は動揺台を右に傾けた段階で視点位置も（例えば）右方向にずれてしまうため、表示画面内の映像を回転するだけでは、ユーザの視点位置・姿勢で見た時に正しく見える映像とはならない。
【００１６】
次に、特開平９−１３８６３７号公報に記載の模擬視界装置に関しては、例えば、動揺台の運動を加速度に重きを置いて生成する場合に、現実世界におけるユーザの視点データの変更に基づいて仮想世界におけるユーザの視点データを変更することは、不都合である。すなわち、動揺台の運動に起因する、現実世界におけるユーザの視点データの変更は、本来、仮想世界におけるユーザの視点データとは独立なものであり、例えば、「左から右へ強風が吹いている」ことを表現するために動揺台を右に傾け、それに伴って現実世界におけるユーザの視点位置が変わったとしても、仮想世界におけるユーザの視点位置は変更すべきではない。
【００１７】
この点に関して、現実世界におけるユーザの視点データを追従し、該現実世界におけるユーザの視点データおよび仮想世界におけるユーザの視点データに基づいて画像を生成し、生成した画像をユーザに提供するという装置は、本発明に最も類似するものである。しかし、該装置は、各時刻毎にユーザの視点データの検出を行い、該検出された視点データに基づいて、各時刻毎に画像の生成を行っているため、生成できる画像の品質に限界があるという問題がある。例えば、複雑な３次元モデルによる仮想世界データから、レイトレーシングや高度なシェーディング技術等を用いて、ユーザに提示する高品質な２次元画像を生成することは、十分な時間をかければもちろん可能であるが、これを、該装置において、各時刻毎に生成してユーザに提供することは、非常に困難であると言える。また、各時刻毎にユーザの視点データを追従するために、ユーザは頭部等に追従用の機器を装着するのが通例であるが、ユーザによってはこれを煩わしく感じ、臨場感が損なわれるという問題もある。
【００１８】
以上の課題に対する１つの解決策は、例えば、ユーザにヘッドマウントディスプレイ（以下、ＨＭＤ、と表記する）を用いて映像を提供し、ヘッドホンを用いて音響を提供することである。この方法では、動揺台の動きによって映像および音響の提供手段とユーザとの相対位置・姿勢が変化しないため、動揺台の動きを考慮せずに、再生するための画像データおよび音響データを適切に生成することができる。しかし、この方法では、ユーザがＨＭＤあるいはヘッドホンを装着する必要がある、動揺台が複数ユーザ用であった場合に人数分のＨＭＤあるいはヘッドホンを用意する必要がある、視覚や聴覚がＨＭＤあるいはヘッドホンにより塞がれてしまうため動揺台が複数ユーザ用であった場合に同乗したユーザ間の連体感が薄れる、等の問題がある。
【００１９】
そこで本発明は、臨場感生成システムにおいて、動揺台の運動が、画像表示装置（スクリーン、プロジェクタ等）・音響装置（スピーカ等）とユーザとの間の相対位置・姿勢に影響を及ぼすような場合においても、前記のような問題が生じないような、画像データ生成方法、あるいは、音響データ生成方法、を提供することを目的とする。
【００２０】
また、ＣＧを用いて時系列画像データを生成する技術に関しては、一般的に、ユーザがカメラの内部パラメタ（焦点距離、画角、光軸と画像投影面との関係、等）およびカメラの外部パラメタ（仮想世界におけるカメラの位置・姿勢、等）を設定できるようになっているが、カメラの外部パラメタに関しては各時刻毎に自由に設定できるものの、カメラの内部パラメタに関しては、カメラ毎に固定された設定値であり各時刻毎に設定することができないか、ズームイン・ズームアウト等の効果を出すために焦点距離あるいは画角といったごく限られたパラメタに限り各時刻毎に設定することが許されているか、であった。
【００２１】
ところが、現実世界におけるユーザの視点位置および姿勢は各時刻毎に変化し、それに伴ってスクリーンとの相対的な位置および姿勢も変化するため、ユーザの視点位置・姿勢で見た時に正しく見える映像を生成するためのカメラの内部パラメタは、各時刻毎に変化する必要がある。したがって、公知の技術によって、ユーザの視点位置・姿勢で見た時に正しく見えるような、時系列画像データを生成することは不可能である。これは、時系列画像データの生成に限ったものではなく、時系列音響データの生成についても同様のことが言える。
【００２２】
そこで本発明は、前記の目的に加え、ユーザの視点位置・姿勢で見た時に正しく見えるような時系列画像データを生成する方法を提供すること、および、ユーザの聴点位置・姿勢で聴いた時に正しく聴こえるような時系列音響データを生成する方法を提供すること、を目的とする。
【００２３】
なお、以下では、ユーザの視点データ（視点位置および姿勢に関するデータ）およびユーザの聴点データ（聴点位置および姿勢に関するデータ）を合わせて、ユーザの視聴点データと書くことにする。
【００２４】
【課題を解決するための手段】
本発明は、前記の課題を解決すべく為されたものであり、以下の特徴を持つものである。
【００２５】
本発明の１つの特徴は、先ず、動揺台の運動データを生成し、次に、生成した動揺台の運動データを用いて、現実世界におけるユーザの視聴点データを考慮した画像データおよび音響データを生成するようにしたことにある。
【００２６】
本発明の別の特徴は、カメラおよびマイクの内部パラメタを時系列データとして用意し、時系列画像データおよび時系列音響データの生成において、各時刻毎にカメラ・マイクの内部パラメタを設定する処理を具備するようにしたことにある。
【００２７】
本発明の別の特徴は、仮想世界のデータを、ユーザが変更し得るデータ（動的仮想世界データ）と、ユーザが変更できないデータ（静的仮想世界データ）とに分類し、その上で、先ず、動揺台の時系列運動データを生成し、次に、生成した動揺台の時系列運動データを用いて、現実世界におけるユーザの時系列視聴点データ（あるいはそれに相当するデータ）を生成し、前記静的仮想世界データについては、前記現実世界におけるユーザの時系列視聴点データを考慮した上で時系列画像データおよび時系列音響データを生成し、前記動的仮想世界データについては、各時刻毎にユーザコマンドによる更新を行った上で、各時刻毎に前記現実世界におけるユーザの時系列視聴点データのうち適切な時刻のデータを考慮して画像データおよび音響データを生成し、該画像データおよび音響データと、先に生成した時系列画像データおよび時系列音響データのうち適切な時刻のデータとを、各時刻毎に合成してユーザに提示するようにしたことにある。
【００２８】
また、さらに、前記生成した時系列データの各々を記憶媒体に記憶しておき、同一コンテンツを繰り返し再生する場合に、ユーザコマンドにより変更される部分だけを繰り返し生成するだけで済むようにしたことにある。
【００２９】
本発明の別の特徴は、生成する画像データを３次元画像データとしたこと、あるいは、生成する音響データを３次元音響データとしたこと、にある。
【００３０】
【発明の実施の形態】
以下、図１〜図３を用いて，本発明の第１の実施の形態による画像データ生成方法および音響データ生成方法について詳細に説明する。本実施の形態は、各時刻毎に、動揺台の運動データ、画像データおよび音響データを生成するものである。本実施の形態は、ユーザが仮想世界のデータに作用を及ぼし変更を施すことが各時刻毎に可能であり、また、ユーザが仮想世界におけるユーザの視聴点データに作用を及ぼし変更を施すことが各時刻毎に可能であるようなシステムに用いる場合に、好適な形態である。
【００３１】
図１は、本発明の第１の実施の形態によるデータ生成処理のフローチャートである。該フローチャートは、仮想世界のデータと、動揺台の設計データと、動揺台及び画像表示装置及び音響装置の配置データと、があらかじめ与えられている場合に、ユーザに提示するための画像データおよび音響データ（以下、これらの２種類のデータを特に区別する必要がない場合には、「画像音響データ」と記す）を生成する処理について記述したものである。
【００３２】
ユーザに提示する画像音響データの生成処理が開始されると、まず、ステップ１０１において、仮想世界におけるユーザの視聴点データを生成し、次に、ステップ１０２において、動揺台の運動データを生成する。以上の処理は、公知の技術とまったく同様に実施することができる。
【００３３】
次に、ステップ１０３において、ステップ１０２で生成した動揺台の運動データと、動揺台の設計データとに基づいて、現実世界におけるユーザの視聴点データを生成する。該処理については、図３において詳細を説明する。
【００３４】
最後に、ステップ１０４において、仮想世界のデータと、動揺台及び画像表示装置及び音響装置の配置データと、ステップ１０１で生成した仮想世界におけるユーザの視聴点データと、ステップ１０３で生成した現実世界におけるユーザの視聴点データと、に基づいて画像データおよび音響データを生成する。該処理については、公知の技術とまったく同様に（例えば透視変換を行うことにより）実施することができる。すなわち、公知の技術においては、ユーザの現実世界における視点データおよび聴点データとして理想視点データおよび理想聴点データを仮想的に定め、該理想視点データおよび該理想聴点データに基づいて画像音響データの生成処理を行っていたものを、前記理想視点データおよび前記理想聴点データの代わりに、ステップ１０３で生成した、現実世界におけるユーザの視点データおよび聴点データを使用して、画像音響データの生成処理を行うようにすればよい。
【００３５】
図２は、本発明の第１の実施の形態によるデータ生成処理の処理イメージを示す概念図である。
【００３６】
図２（ａ）および図２（ｃ）は、臨場感生成システムの正面図である。これらの図において、符号２０１１はスクリーンを、符号２０２１は動揺台を、符号２０３１は動揺台に座っているユーザを表している。
【００３７】
図２（ａ）は動揺台の初期状態を表しており、図２（ｃ）は「左から強風が吹いてきた」ことを体感させるために動揺台を右に傾けた様子を表したものである。図２（ａ）の状態においてスクリーン２０１１に表示される画像が図２（ｂ）における画像２０１３であった時、本発明の実施によれば、図２（ｃ）の状態においてスクリーン２０１１に表示される画像は、図２（ｄ）における画像２０１４のようになる。
【００３８】
これは、本発明が、次のような考えに基づくものであるためである。
【００３９】
図２（ｂ）において、ユーザに提示される画像２０１３には、木２０４３および岩２０５３が表現されていた。図２（ｃ）において、「左から強風が吹いてきた」ことを体感させるために動揺台を右に傾けて風圧を表現し、その動揺台の運動の影響で、現実世界におけるユーザの視点位置は右にずれ姿勢は右に傾いたが、仮想世界におけるユーザの視点位置や姿勢は変化していないはずである。そこで、この状態における画像は、右にずれ右に傾いた現実世界におけるユーザの視点データに基づいて生成する。これにより、画像２０１３中では中央にまっすぐ立っていた木２０４３は、画像２０１４において右にずれ右に傾くことになるが、ユーザ２０３１からスクリーン２０１１に投影されたこれらの画像を見た場合、木２０４３は図２（ａ）においても図２（ｃ）においてもユーザの正面にまっすぐに見えることになる。これは、仮想世界におけるユーザの視点位置や姿勢が変化していないことを反映した結果となっており、動揺台の運動によって、ユーザが体感する仮想世界の状態が乱されないことを意味している。
【００４０】
図３は、本発明の第１の実施の形態によるデータ生成処理において、動揺台の運動データから現実世界におけるユーザの視聴点データを求める方法を説明するための図である。
【００４１】
図３（ａ）は、動揺台３０２に人間モデル３０１が腰かけている状態である。この状態を、動揺台の設計データを用いて、図３（ｂ）のようにモデル化する。
【００４２】
図３（ｂ）は、動揺台のある１状態を示したものである。ここでは仮にこれを状態１とする。
【００４３】
図３（ｂ）において、ＯＷはワールド座標系の原点、ＯＲは動揺台に付随する座標系（以下、動揺台座標系）の原点、ＸＲおよびＹＲおよびＺＲは動揺台座標系の互いに直交する座標軸、ＶＰは動揺台座標系におけるユーザの特徴点位置、ｂ０はＯＲのワールド座標系における位置ベクトル、である。
【００４４】
ここで、ユーザの特徴点位置とは、正しい画像音響データを生成するために、図３（ａ）のモデルと動揺台の設計データから算出するものであり、例えば、視聴点位置を求めるための、ユーザの左右の目の位置、左右の耳の位置、あるいは、視聴点の姿勢を求めるための、頭頂部の位置、頭の重心位置、鼻の位置、等がある。
【００４５】
今、ＶＰの動揺台座標系における位置ベクトルがｖｐで表され、ＶＰのワールド座標系における位置ベクトルが「ｂ０＋Ｍ×ｖｐ」で表されているとする。ここで、「Ｍ×ｖｐ」は、ワールド座標系と動揺台座標系との違い（軸の方向やスケール因子など）を補正するための３次元行列Ｍと、ＶＰの動揺台座標系における位置ベクトルｖｐの積を表す。行列Ｍは、例えば、動揺台座標系がワールド座標系を平行移動したものである場合には、単位行列、すなわち恒等写像を表す行列となる。
【００４６】
図３（ｃ）は、動揺台の状態１とは別の１状態を示したものである。ここでは仮にこれを状態２とする。
【００４７】
状態２は、状態１から、動揺台座標系の原点ＯＲがワールド座標系においてｂ１だけ平行移動し、さらに、動揺台座標系においてＯＲを中心として３次元の回転行列Ｑで表される回転を行った状態であるとする。
【００４８】
このとき、ＶＰのワールド座標における位置ベクトルは、「ｂ０＋ｂ１＋Ｍ×Ｑ×ｖｐ」のように求めることができる。ここで、「Ｍ×Ｑ×ｖｐ」は、行列Ｍと行列Ｑと位置ベクトルｖｐの積を表し、ｖｐにまず回転変換Ｑを施し、続いてワールド座標系と動揺台座標系との違いを補正するための変換Ｍを施したことを意味する。ここで、行列Ｍおよびベクトルｖｐは、図３（ｂ）における行列Ｍ・ベクトルｖｐと同一のものである。
【００４９】
以上の方法でユーザの特徴点位置を必要なだけ求めることにより、現実世界におけるユーザの視点データを求めることができる。仮想世界における視点データは既に求められているため、このようにして求めた現実世界におけるユーザの視点データと、スクリーンの位置・姿勢・形状等のデータとに基づいて、仮想世界における画像面位置・姿勢・形状を定めることができ、ユーザにとって正しく見えるような画像データを生成することができる。これは、音響データについても同様である。
【００５０】
以上、本発明の第１の実施の形態によれば、各時刻毎に画像音響データを生成する場合に、動揺台の運動データに基づいて現実世界におけるユーザの視聴点データを算出し、仮想世界のデータと、動揺台及び画像表示装置及び音響装置の配置データと、仮想世界におけるユーザの視聴点データと、現実世界におけるユーザの視聴点データと、に基づいてユーザに提示する画像音響データを生成しているため、ユーザにとって違和感のない画像データおよび音響データを提供することができる。
【００５１】
また、各時刻毎に画像音響データを生成する場合に、動揺台の運動データに基づいて現実世界におけるユーザの視聴点データを算出するため、ユーザの頭部等に追従用の機器を装着することなしに、現実世界におけるユーザの視聴点データを求めることができ、ユーザに煩わしさを感じさせずに、かつ、ユーザにとって正しい画像音響データをユーザに提供することができる。
【００５２】
また、一般に、動揺台の設計データと動揺台の運動データとに基づいて現実世界におけるユーザの視聴点データを算出することは、現実世界におけるユーザの視聴点データをユーザの頭部等に装着した追従用の機器を用いて算出することに比べ、非常に容易であり、また、ノイズに強い。したがって、より高精度の視聴点データを、より短い時間で算出できることになり、そのため、より高品質の画像音響データを、より高速に生成し、ユーザに提供できるという効果がある。
【００５３】
また、動揺台が複数ユーザ用のものであり、各々のユーザの視聴点データを用いて各々のユーザに対応する画像音響データを生成する場合にも、図３の説明における位置ベクトルｖｐおよび必要となる特徴点の数を増やすだけで、本実施例に述べた方法とまったく同様の方法により画像音響データを生成することができる。
【００５４】
以下、本発明の第２の実施の形態による画像データ生成方法および音響データ生成方法について詳細に説明する。該実施の形態は、動揺台の時系列運動データおよび時系列画像データおよび時系列音響データを生成するものであり、ユーザからの作用がなく、あらかじめ生成した前記各種時系列データを再生することによりユーザに臨場感を与えるようなシステムに用いる場合に、好適な形態である。
【００５５】
動揺台の時系列運動データおよび時系列画像データおよび時系列音響データを生成する方法としては、図１のステップ１０１からステップ１０４までの処理を各時刻のデータ生成の度に繰り返す方法と、図１のステップ１０１からステップ１０４までの各々の処理において時系列データを生成する方法とが考えられる。
【００５６】
前者の方法は前記第１の実施の形態において既に説明したため、本実施例においては、後者の方法、すなわち、図１のステップ１０１からステップ１０４までの各々の処理において時系列データを生成する方法、について説明する。
【００５７】
なお、「背景にテクスチャＡを使って画像を生成していたが、使用するテクスチャをテクスチャＢに変更したい」ような場合に、前者の方法では最初から画像データの生成をやり直さなくてはならないが、後者の方法ではステップ１０４における時系列データの生成のみをやり直すだけで済むという利点があるため、後者の方法を用いることは、コンテンツの更新を頻繁に行う場合に特に有効である。
【００５８】
以下、図１の各々のステップにおいて時系列データを生成する方法について説明するが、ステップ１０１およびステップ１０２およびステップ１０３に相当する処理に関しては、単純に、すべての時刻について繰り返し計算を行えばよいため、ここでは、ステップ１０４に相当する処理、すなわち、仮想世界における時系列視聴点データおよび現実世界における時系列視聴点データが与えられた時に時系列画像データおよび時系列音響データを生成する方法について、図４〜図６を用いて詳細に説明する。
【００５９】
以下、図４および図５を用いて，本発明の第２の実施の形態による時系列画像データ生成方法について詳細に説明する。
【００６０】
図４は、本発明の第２の実施の形態による時系列画像データ生成処理のフローチャートであり、図５は公知の技術における時系列画像データ生成処理のフローチャートである。
【００６１】
まず、図５を用いて、公知の技術における時系列画像データ生成処理のフローチャートについて説明する。
【００６２】
公知の技術では、時系列画像生成処理が開始されると、仮想世界のデータを読み込み（ステップ６００）、カメラの外部パラメタ（仮想世界における位置および姿勢に関するパラメタ）を読み込み（ステップ６０１）、カメラの内部パラメタ（焦点距離、画角、フィルム形状、光軸とフィルム位置・姿勢との関係、等）を読み込み（ステップ６０２）、該カメラの内部パラメタの設定処理を行う（ステップ６０３）。ここで、カメラの外部パラメタは、各時刻毎に各カメラ毎に定義されているものであり、カメラの内部パラメタは、各カメラ毎に定義されているものである。
【００６３】
ステップ６０３におけるカメラの内部パラメタ設定処理の終了以後は、以下で説明するような、各時刻毎の処理となる。まず、ステップ６０４においてカメラの外部パラメタの設定処理を行い、次に、ステップ６０５において、ステップ６００において読み込んでおいた仮想世界のデータと、ステップ６０３およびステップ６０４において設定した、カメラの内部パラメタおよびカメラの外部パラメタと、に基づいて、該時刻における画像を生成する。
【００６４】
ステップ６０６において、すべての時刻について画像の生成が終了したか否かを判定し、「すべての時刻について画像の生成が終了した」と判定された場合には時系列画像の生成処理を終了し、「画像の生成が終了していない時刻がある」と判定された場合には、時刻を１進めた上で、再びステップ６０４からの画像生成処理を繰り返す。
【００６５】
以上が、公知の技術による時系列画像データ生成処理の処理フローである。「発明が解決しようとする課題」の項でも説明したとおり、現実世界におけるユーザの視点位置・姿勢は各時刻毎に変化し、それに伴ってスクリーンとの相対的な位置・姿勢も変化するため、ユーザの視点位置・姿勢で見た時に正しく見える映像を生成するためのカメラの内部パラメタは、各時刻毎に設定する必要がある。そこで、カメラの内部パラメタの設定処理を、各時刻毎に行うようにしたものが、図４に示す、本発明の第２の実施の形態による時系列画像データ生成処理である。
【００６６】
図４のフローチャートにおいて、時系列画像生成処理が開始されると、仮想世界のデータを読み込み（ステップ５００）、カメラの外部パラメタを読み込み（ステップ５０１）、カメラの内部パラメタを読み込む（ステップ５０２）。ここで、カメラの内部パラメタおよびカメラの外部パラメタは、各時刻毎に各カメラ毎に定義されているものである。
【００６７】
各データおよび各パラメタの読み込み後は、以下で説明するような、各時刻毎の処理となる。まず、ステップ５０３においてカメラの外部パラメタの設定処理を行い、次に、ステップ５０４においてカメラの内部パラメタの設定処理を行い、続いて、ステップ５０５において、ステップ５００において読み込んでおいた仮想世界のデータと、ステップ５０３およびステップ５０４において設定した、カメラの外部パラメタおよびカメラの内部パラメタと、に基づいて、該時刻における画像を生成する。
【００６８】
ステップ５０６において、すべての時刻について画像の生成が終了したか否かを判定し、「すべての時刻について画像の生成が終了した」と判定された場合には時系列画像の生成処理を終了し、「画像の生成が終了していない時刻がある」と判定された場合には、時刻を１進めた上で、再びステップ５０３からの画像生成処理を繰り返す。
【００６９】
以上が、本発明による時系列画像データ生成処理の処理フローである。各時刻毎にカメラの内部パラメタを適切な値に設定しなおすことにより、現実世界におけるユーザの視点位置等の変化を反映した、ユーザにとって正しく見える時系列画像を生成することができる。
【００７０】
なお、各時刻におけるカメラの内部パラメタは、図１のステップ１０３に相当する処理によって求められる現実世界におけるユーザの視点データと、スクリーンの位置・姿勢・形状等の配置パラメタとを用いて、公知の技術により容易に生成できるものである。すなわち、現実世界における視点とスクリーンとの間の相対関係と、仮想世界における視点とフィルム面との間の相対関係が、ある相似比を介して同一の関係であることを考慮した上で生成すればよい。
【００７１】
次に、図６を用いて，本発明の第２の実施の形態による時系列音響データ生成方法について詳細に説明する。
【００７２】
視覚の場合ほど明確ではないが、ユーザは、聴覚においても、聴こえてくる音のボリューム、左右の耳に音が到達する時刻のずれ、後ろから来る音と前から来る音との聴こえ方の違い（同じ音量の音源が同じ距離にあっても後ろから来る方が小さく聴こえる）等によって、音源の位置の変化や音源の方向を認識するため、現実世界におけるユーザの聴点位置・姿勢とスピーカとの相対位置・相対姿勢を考慮して音響データを生成することは、非常に重要である。
【００７３】
図６は、本発明の第２の実施の形態による時系列音響データ生成処理のフローチャートであり、現実世界におけるユーザの聴点位置・姿勢と、スピーカとの相対位置・相対姿勢を考慮して音響データの生成を行う場合の処理について記述したものである。
【００７４】
図６のフローチャートにおいて、時系列音響データ生成処理が開始されると、仮想世界のデータを読み込み（ステップ５４０）、マイクの外部パラメタ（仮想世界における位置および姿勢に関するパラメタ）を読み込み（ステップ５４１）、マイクの内部パラメタ（指向性、聴点位置・姿勢とマイク位置・姿勢との関係、等）を読み込む（ステップ５４２）。ここで、マイクの内部パラメタおよびマイクの外部パラメタは、各時刻毎に各マイク毎に定義されているものである。
【００７５】
各データおよび各パラメタの読み込み後は、以下で説明するような、各時刻毎の処理となる。まず、ステップ５４３においてマイクの外部パラメタの設定処理を行い、次に、ステップ５４４においてマイクの内部パラメタの設定処理を行い、続いて、ステップ５４５において、ステップ５４０において読み込んでおいた仮想世界のデータと、ステップ５４３およびステップ５４４において設定した、マイクの外部パラメタおよびマイクの内部パラメタと、に基づいて、該時刻における音響データを生成する。
【００７６】
ステップ５４６において、すべての時刻について音響データの生成が終了したか否かを判定し、「すべての時刻について音響データの生成が終了した」と判定された場合には時系列音響データの生成処理を終了し、「音響データの生成が終了していない時刻がある」と判定された場合には、時刻を１進めた上で、再びステップ５４３からの音響データ生成処理を繰り返す。
【００７７】
以上が、本発明による時系列音響データ生成処理の処理フローである。各時刻毎にマイクの内部パラメタを設定しなおすことにより、現実世界におけるユーザの聴点データの変化を反映した、ユーザにとって正しく聴こえる時系列音響データを生成することができる。
【００７８】
なお、各時刻におけるマイクの内部パラメタは、図１のステップ１０３に相当する処理によって求められる現実世界におけるユーザの聴点データと、スピーカの位置・姿勢・音響特性等の配置パラメタとを用いて、公知の技術により容易に生成できるものである。
【００７９】
以上、本発明の第２の実施の形態によれば、ユーザからの作用がない場合に、あらかじめ、すべての時刻における、仮想世界におけるユーザの視聴点データ、動揺台の運動データ、現実世界におけるユーザの視聴点データ、を生成しておくことができ、さらに、仮想世界のデータと、動揺台及び画像表示装置及び音響装置の配置データと、仮想世界におけるユーザの視聴点データと、現実世界におけるユーザの視聴点データと、に基づいて、あらかじめ、すべての時刻における画像音響データを生成しておくことができる。したがって、すべての画像音響データを、十分な時間をかけて生成することができるため、ユーザの視聴点データの算出と該データに基づく画像音響データの生成とをリアルタイムに行う場合に比べ、はるかに高品質な画像音響データをユーザに提供することができる。また、もちろん、ユーザに提供する画像音響データは、ユーザの視点位置・姿勢で見た時に正しく見えるような画像データ、ユーザの聴点位置・姿勢で聴いた時に正しく聴こえるような音響データ、となっている。
【００８０】
なお、動揺台が複数ユーザ用のものであり、各々のユーザの視聴点データを用いて各々のユーザに対応する時系列画像データあるいは時系列音響データを生成する場合にも、本実施形態により時系列画像データあるいは時系列音響データが生成できることは、言うまでもない。
【００８１】
以下、図７を用いて，本発明の第３の実施の形態による画像データ生成方法および音響データ生成方法について詳細に説明する。本実施の形態は、動揺台の時系列運動データ、時系列画像データおよび時系列音響データを生成し、なおかつ、各時刻毎に画像データおよび音響データを生成するものである。本実施の形態は、ユーザが仮想世界のデータに作用を及ぼし変更を施すことが各時刻毎に可能であるが、ユーザが仮想世界におけるユーザの視聴点データに作用を及ぼし変更を施すことは不可能であるようなシステムに用いる場合に、好適な形態である。
【００８２】
例えば、「モノレールに乗っているユーザに敵キャラクタが襲いかかってくるため、それをミサイルで撃ち落とす」ようなコンテンツの場合には、本実施形態を用いるのがよい。この場合、ユーザが仮想世界のデータに及ぼす作用および仮想世界データに施される変更としては、「ミサイルを発射する」「ミサイルを敵キャラクタに命中させる」「敵キャラクタが爆発する」「敵キャラクタがいなくなる」等が挙げられる。ユーザがミサイルをいつどこに向けて発射するかを、コンテンツ制作側があらかじめ知ることはできないため、このようなコンテンツにおいては、画像音響データのすべてをあらかじめ生成しておくことは不可能である。しかし、遥か遠くに見える景色などは、ユーザがミサイルをいつどこに向けて発射するかに依存せず生成しておくことができるため、このようなデータに関しては、あらかじめ十分な時間をかけて高品質なデータを生成しておくことが望ましい。
【００８３】
図７に示すフローチャートは、仮想世界のデータと、動揺台の設計データと、動揺台及び画像表示装置及び音響装置の配置データと、があらかじめ与えられている場合に、ユーザに提示するための動揺台の運動データおよび画像音響データを生成する処理、および生成した各々のデータをユーザに提示する処理、について記述したものである。なお、仮想世界のデータは、あらかじめ、ユーザのコマンドによって変化し得る動的仮想世界データと、ユーザのコマンドによって変化することのない静的仮想世界データと、に分類しておくものとする。
【００８４】
図７において、各種データを生成しユーザに提示する処理が開始されると、まず、本発明の第２の実施の形態で説明したのと同様に、ステップ４０１において仮想世界におけるユーザの時系列視聴点データを生成し、ステップ４０２において動揺台の時系列運動データを生成し、ステップ４０３において現実世界におけるユーザの時系列視聴点データを生成する。
【００８５】
次に、ステップ４０４において、静的仮想世界データと、動揺台及び画像表示装置及び音響装置の配置データと、ステップ４０１で生成した、仮想世界におけるユーザの時系列視聴点データと、ステップ４０３で生成した、現実世界におけるユーザの時系列視聴点データと、に基づいて、静的仮想世界に関する時系列画像データおよび時系列音響データを生成する。これは、基にするデータを静的仮想世界データに限定することを除けば、先に説明した第２の実施の形態と同様の処理によって実施することができる。
【００８６】
以上の処理は、あらかじめ、十分な時間を使って行っておくことのできる処理である。以下、ステップ４０５からステップ４１１に記述されている処理は、各時刻毎に行う処理である。
【００８７】
続いて、ステップ４０５において、ユーザからのコマンド入力の有無を判定する。コマンド入力があった場合にはステップ４０６へ、コマンド入力がない場合にはステップ４０７へ、それぞれ処理を進める。
【００８８】
ユーザからのコマンド入力があった場合には、ステップ４０６において該コマンドの解析を行い、解析結果を、ステップ４０７の動的仮想世界データの更新時に反映させる。
【００８９】
ステップ４０７の、動的仮想世界データ更新処理では、前時刻の動的仮想世界データに、必要に応じてユーザコマンドの影響を反映させ、動的仮想世界データの更新処理を行う。ここで、動的仮想世界データが変更されるのは、現時刻におけるステップ４０６で入力されたユーザコマンドの影響だけではなく、前の時刻から継続して行われている動的仮想世界データの変更の影響も考慮することに注意する。
【００９０】
例えば、ユーザからミサイル発射コマンドが入力された場合に、それがミサイル発射コマンドであると認識し、ミサイル発射コマンド入力フラグを立てる。以上が、ステップ４０６における処理である。このとき、ステップ４０７における処理は、以下のようになる。まず、ミサイル発射コマンド入力フラグが立てられていた場合には発射されたミサイルを仮想世界に加える処理を行い、ミサイル発射コマンド入力フラグを元に戻す。また、現時刻より前の段階で既に発射され動的仮想世界中を飛んでいたミサイルが存在する場合には、該ミサイルの位置・向き・速度等のデータに基づいて、該ミサイルの現時刻における位置・向き・速度等のデータを算出し、データの更新処理を行う。また、各ミサイルの敵キャラクタとの衝突判定を行い、いずれかのミサイルが敵キャラクタに当たっていた場合には敵キャラクタを消滅させ代わりに爆煙を発生させる。
【００９１】
以上のようにして、ステップ４０７で更新された動的仮想世界データに関して、ステップ４０８において動的仮想世界データと、動揺台及び画像表示装置及び音響装置の配置データと、ステップ４０１で生成した仮想世界におけるユーザの視聴点データと、ステップ４０３で生成した現実世界におけるユーザの視聴点データと、に基づいて、動的仮想世界に関する画像データおよび音響データを生成する。これは、基にするデータを動的仮想世界データに限定することを除けば、ステップ１０４と同様の処理によって実施することができる。
【００９２】
次に、ステップ４０４において生成された静的仮想世界に関する時系列画像データ・時系列音響データのうち現時刻に対応する部分のデータと、ステップ４０８において生成された動的仮想世界に関する画像データ・音響データとを、ステップ４０９において合成する。これは、例えば、静的仮想世界に関する画像データに動的仮想世界に関する画像データの必要な部分を上描きする等の方法によって実施することもできるし、さらに、仮想世界のデータが仮想世界の３次元幾何情報データを具備しているような場合には、該３次元幾何情報データを使用して隠面消去等の技術を用いた方法によって実施してもよい。音響データに関しても同様で、静的仮想世界に関する音響データと動的仮想世界に関する音響データとを適当なバランスでミキシングするような方法で実施してもよいし、さらに、例えば、「動的仮想世界に関する爆発音を強調するために動的仮想世界に関する爆発音がある場合には他の音を弱めにしてミキシングする」等、個々の音源毎の微調節まで含めた方法によって実施してもよい。
【００９３】
次に、ステップ４１０のデータ提示処理において、ステップ４０９において生成した画像データおよび音響データをユーザに提示し、ステップ４０２で生成した動揺台の時系列運動データの現時刻に対応する部分のデータを用いて動揺台の制御を行う。
【００９４】
最後に、ステップ４１１において、再生処理を終了するか否かを判定する。「終了」と判定された場合には、各種データを生成しユーザに提示する処理全体が終了したことになる。終了していない場合には、時刻を１だけ進めて再びステップ４０５以降の処理を繰り返す。終了するか否かの判定は、例えば、時系列データを生成したすべての時刻についてデータの再生が終了したか、ユーザコマンドによって終了要求があったか、ユーザコマンドにより動的仮想世界データを更新した結果ゲームオーバーと判定されたか、のいずれかに該当する場合は終了、それ以外は終了しない、のように判定すればよい。
【００９５】
なお、ステップ４０１〜ステップ４０４において生成されたデータを、記憶媒体に記憶しておき、該記憶されたデータを用いて、ステップ４０５以降の処理を行うようにしてもよい。この場合、ステップ４０１〜ステップ４０４の処理を１度だけ行っておけば、ステップ４０５以降の処理を繰り返し行うことができるため、アミューズメントパーク等で同一のコンテンツを繰り返し実施する場合に有効である。
【００９６】
以上、本発明の第３の実施の形態によれば、ユーザの視点位置・姿勢で見た時に正しく見えるような画像データおよびユーザの聴点位置・姿勢で聴いた時に正しく聴こえるような音響データをユーザに提示することができ、また、ユーザのコマンドを反映した仮想世界をユーザに体感させることができる。さらに、前記ユーザに提供する画像データおよび音響データのうちの一部を、あらかじめ十分な時間をかけて生成した高品質なデータとすることができる。
【００９７】
また、仮想世界のデータのうち、静的仮想世界データに関する部分については、あらかじめ画像データの生成および音響データの生成を行っておくため、ステップ４０９における画像音響合成処理の内容によっては、すべてを動的仮想世界データとして扱う場合に比べ、仮想世界全体に対する画像データおよび音響データのリアルタイム生成時の負荷を低減することができる。
【００９８】
なお、以上の３種類の実施の形態において、生成する画像データおよび音響データは、３次元画像データおよび３次元音響データであってもよく、また、生成するデータが３次元画像データ・３次元音響データである場合、本発明の実施による効果はなお一層顕著である。ここで、３次元画像データ・３次元音響データとは、ユーザが該画像音響データを３次元的に知覚することができるようなデータであり、例えば、３次元画像データの例では、液晶シャッタ眼鏡を用いて時分割により右目用画像と左目用画像を交互に表示する場合の、右目用の時系列画像と左目用の時系列画像とが交互に並んだ時系列画像データを挙げることができる。
【００９９】
以下、図８を用いて，本発明の第４の実施の形態による臨場感生成システムについて詳細に説明する。本実施の形態は、あらかじめ生成した時系列データを再生することによってユーザに臨場感を与えることを目的とするシステムの、一実施例である。
【０１００】
図８は、本発明の第４の実施の形態による臨場感生成システムのシステム構成を示すシステムブロック図である。
【０１０１】
図８において、データベース７１０は、第２の実施形態による本発明の実施によって生成された、時系列画像データ７０１、時系列音響データ７０２、動揺台の時系列運動データ７０３を記憶しているものであり、画像表示装置７０７は、各時刻毎に、前記時系列画像データ７０１の適切な時刻の画像データを再生し、音響装置７０８は、各時刻毎に、前記時系列音響データ７０２の適切な時刻の音響データを再生し、動揺台制御手段７０５は、各時刻毎に、前記時系列動揺台運動データ７０３の適切な時刻の運動データに基づいて動揺台７０６を制御する。ここで、画像データの再生あるいは音響データの再生あるいは動揺台の制御に用いるデータ、および、画像データの再生、および、音響データの再生、および、動揺台の制御を行うタイミングは、同期手段７０４を用いて同期を取るものである。
【０１０２】
同期の取り方としては、ハードウェア的に同期信号を入力する方法、あるいは、個々の装置で時計を具備し、あらかじめ該時計の時刻合わせをしておく方法、あるいは、各々の時刻毎に同期手段７０４から該時刻に対応する再生命令信号を送信する方法、等の公知の技術を用いることができる。
【０１０３】
以上、本発明の第４の実施の形態によれば、動揺台に乗ったユーザに対し、動揺台の運動により加速度等を体感させるとともに、ユーザの視点位置・姿勢で見た時に正しく見えるような画像データおよびユーザの聴点位置・姿勢で聴いた時に正しく聴こえるような音響データをユーザに提示することができる。
【０１０４】
以下、図９を用いて，本発明の第５の実施の形態による臨場感生成システムについて詳細に説明する。本実施の形態は、ユーザコマンドを入力するための手段を備え、動揺台の運動と、ユーザコマンドを反映して生成した画像データ・音響データとを、同期を取ってユーザに提示することにより、ユーザに臨場感を与えることを目的とするシステムの、一実施例である。
【０１０５】
図９は、本発明の第５の実施の形態による臨場感生成システムのシステム構成を示すシステムブロック図である。
【０１０６】
図９において、データベース８０７は、第３の実施形態による本発明の実施によって生成された、静的仮想世界データに関する時系列画像データ８０８、静的仮想世界データに関する時系列音響データ８０９、時系列動揺台運動データ８１０、現実世界におけるユーザの視聴点データ８１３、仮想世界におけるユーザの視聴点データ８１４、および、動的仮想世界データ８１１、動揺台等の配置データ８１２、を記憶しているものである。ここで、動揺台等の配置データ８１２は、動揺台およびスクリーンおよびスピーカの位置・姿勢、スクリーン形状やスピーカの音響特性データなどを含むものである。
【０１０７】
コマンド解析手段８０４は、動的仮想世界更新プログラム８０５を備え、各時刻毎に、コマンド入力手段８０６から入力されるユーザのコマンドを解析し、必要に応じて、動的仮想世界更新プログラム８０５によって動的仮想世界データ８１１を更新する。ただし、ユーザコマンドによって変更可能な部分は、動的仮想世界に関する部分だけであり、仮想世界におけるユーザの視聴点データを変更することはできないものとする。すなわち、コマンド解析手段８０４においては、本発明の第３の実施形態におけるステップ４０５およびステップ４０６およびステップ４０７に相当する処理を行う。
【０１０８】
画像表示装置８１８は、動的仮想世界の画像生成プログラム８１９、および、画像合成プログラム８２０を備え、各時刻毎に、動的仮想世界の画像生成プログラム８１９を用いて動的仮想世界データ８１１に関する画像データを生成し、該生成した画像データと、時系列画像データ８０８の適切な時刻の画像データとを、画像合成プログラム８２０で合成し、ユーザに提示する。すなわち、本発明の第３の実施形態におけるステップ４０８およびステップ４０９およびステップ４１０に相当する処理を行う。
【０１０９】
音響装置８２１は、動的仮想世界の音響生成プログラム８２２、および、音響合成プログラム８２３を備え、各時刻毎に、動的仮想世界の音響生成プログラム８２２を用いて動的仮想世界データ８１１に関する音響データを生成し、該生成した音響データと、時系列音響データ８０９の適切な時刻の音響データとを、音響合成プログラム８２３で合成し、ユーザに提示する。すなわち、本発明の第３の実施形態におけるステップ４０８およびステップ４０９およびステップ４１０に相当する処理を行う。
【０１１０】
動揺台制御手段８０２は、各時刻毎に、時系列動揺台運動データ８１０の適切な時刻の運動データに基づいて動揺台８０３を制御する。すなわち、本発明の第３の実施形態におけるステップ４１０に相当する処理を行う。
【０１１１】
ここで、画像データの生成・合成あるいは音響データの生成・合成あるいは動揺台の制御に用いるデータ、および、コマンド入力、および、画像データの生成および提示、および、音響データの生成および提示、および、動揺台の制御を行うタイミングは、同期手段８０１を用いて同期を取るものである。同期を取るための方法としては、前記第４の実施の形態と同様、公知の技術を用いることができる。
【０１１２】
再生を終了するか否かの判定（本発明の第３の実施形態におけるステップ４１１に相当する処理）は、例えば、同期手段８０１を用いて行い、終了と判定した段階で、画像表示装置８１８および音響装置８２１および動揺台制御手段８０２およびコマンド解析手段８０４に、終了通知信号を送信し、各々の装置における処理を終了すればよい。また、これは、例えば、コマンド入力手段８０６から入力されたユーザコマンドを反映させるようにすることもできる。
【０１１３】
なお、コマンド入力手段８０６としては、キーボード、マウス、マイク、ジョイスティック、押ボタン等、任意の入力デバイスを用いることができる。また、ユーザを撮影できる場所にカメラを設置し、モーションキャプチャ技術等を用いて、ユーザの身振りによりコマンド入力を行うようにしてもよい。
【０１１４】
以上、本発明の第５の実施の形態によれば、動揺台に乗ったユーザに対し、ユーザがコマンド入力によって仮想世界の状態を変化させる場合にも、動揺台の運動により加速度等を体感させるとともに、ユーザのコマンドによって変化した仮想世界の状態に基づいた、ユーザの視点位置・姿勢で見た時に正しく見えるような画像データおよびユーザの聴点位置・姿勢で聴いた時に正しく聴こえるような音響データをユーザに提示することができる。
【０１１５】
以下、図１０を用いて，本発明の第６の実施の形態による臨場感生成システムについて詳細に説明する。本実施の形態は、ユーザコマンドを入力するための手段を備え、ユーザコマンドを反映して生成した、動揺台の運動データ、画像データ、音響データ、を同期を取ってユーザに提示することにより、ユーザに臨場感を与えることを目的とするシステムの、一実施例である。
【０１１６】
図１０は、本発明の第６の実施の形態による臨場感生成システムのシステム構成を示すシステムブロック図である。
【０１１７】
図１０において、データベース９０１には、あらかじめ、仮想世界のデータ９０２と、動揺台等の配置データ９０４を記憶しておく。ここで、動揺台等の配置データ９０４は、動揺台およびスクリーンおよびスピーカの位置・姿勢、スクリーン形状やスピーカの音響特性データなどを含むものである。
【０１１８】
コマンド解析手段９０７は、仮想世界におけるユーザの視聴点データ生成プログラム９０８と、現実世界におけるユーザの視聴点データ生成プログラム９０９と、仮想世界データ更新プログラム９１０と、画像音響データ生成プログラム９１１と、動揺台の運動データ生成プログラム９１２と、を備えるものである。コマンド解析手段９０７は、各時刻毎に、コマンド入力手段９１３から入力されるユーザコマンドに基づいて、仮想世界のデータ９０２を更新し、各プログラムを用いて、本発明の第１の実施形態と同様の方法により、該時刻における動揺台の運動データ９０３と、該時刻における画像データ９０５と、該時刻における音響データ９０６と、を生成し、生成したデータをデータベース９０１に書き込む。なお、仮想世界データ更新プログラム９１０は、仮想世界におけるユーザの視聴点データの変更をも許すものである。
【０１１９】
画像表示装置９１４は、各時刻毎に、データベース９０１から画像データ９０５を読み込み、ユーザに提示する。また、音響装置９１５は、各時刻毎に、データベース９０１から音響データ９０６を読み込み、ユーザに提示する。さらに、動揺台制御手段９１７は、各時刻毎に、データベース９０１から動揺台の運動データ９０３を読み込み、該データに基づいて動揺台９１８を制御する。
【０１２０】
ここで、コマンドの入力および解析、および、画像データの生成および提示、および、音響データの生成および提示、および、動揺台の運動データの生成、および、動揺台の制御を行うタイミングは、同期手段９１６を用いて同期を取るものである。同期を取るための方法としては、前記第４の実施の形態と同様、公知の技術を用いることができる。
【０１２１】
以上、本発明の第６の実施の形態によれば、動揺台に乗ったユーザに対し、ユーザがコマンド入力によって仮想世界におけるユーザの視聴点データをも変更できる場合にも、ユーザのコマンドに基づいた動揺台の運動により加速度等を体感させるとともに、ユーザのコマンドによって変化した仮想世界の状態に基づいた、ユーザの視点位置・姿勢で見た時に正しく見えるような画像データ、および、ユーザの聴点位置・姿勢で聴いた時に正しく聴こえるような音響データ、をユーザに提示することができる。
【０１２２】
以上、本発明を発明の実施の形態に基づき具体的に説明したが、本発明はここで説明した実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更し得ることは言うまでもない。
【０１２３】
例えば、前記実施例において各種プログラムによってソフトウェア的に実現していた個所を、ハードウェアによって実現するように変更することもできる。
【０１２４】
また、前記実施例においては、各時刻毎に、仮想世界のデータと、仮想世界におけるユーザの視聴点データと、現実世界におけるユーザの視聴点データと、動揺台等の配置データと、を用いて画像音響データの生成を行っていたが、画像音響データの生成方法は、これに限るものではない。すなわち、本発明の主旨としては、動揺台の運動データによって変化する、現実世界におけるユーザの視聴点データに基づいた、画像音響データの生成ができればよく、各時刻毎に陽に現実世界におけるユーザの視点データを求める必要はない。画像データおよび音響データの生成方法は、例えば、動揺台の運動データから、直接、仮想世界における画像面の位置・姿勢・形状等を定めるような、変換パラメタを求めるような方法としてもよい。前記実施形態で説明した方法から該方法への移行は、簡単な行列・ベクトル計算によって実現することができる。例えば、図３の例であれば、簡単のために現実世界におけるワールド座標系と仮想世界におけるワールド座標系とが一致しており、動揺台座標系が該ワールド座標系を平行移動したものであるとすると、図３（ｂ）の状態から図３（ｃ）の状態への移行時には、「現実世界においてスクリーンが固定されており、動揺台座標系が、平行移動ベクトルｂ１で表される平行移動を行い、ＯＲを中心として回転行列Ｑで表される回転を行った」ことを「仮想世界において視点データが固定されており、画像面が、ＯＲを中心として回転行列Ｔ（＝Ｑの逆行列）で表される回転を行い、平行移動ベクトル(−ｂ１)で表される平行移動を行った」と焼き直して考えればよい。なお、前記実施形態は本発明の主旨を直観的に分かりやすく説明するための例であり、各時刻における計算の手間を考慮した場合、前記実施形態で説明した方法に比べ、該直接変換パラメタを求める方法を適用するのが望ましい。
【０１２５】
また、前記実施例において現実世界におけるユーザの視聴点位置を定める際に使用した人間モデルを、複数の体型（例えば大人用、中人用、子供用の３種類）について用意し、各々のモデルに対して現実世界におけるユーザの視聴点データを生成して、画像音響データの生成時あるいは再生時に、適切なものに切り替えながら画像音響データの生成あるいは再生を行うようにしてもよい。
【０１２６】
【発明の効果】
以上に述べたように、本発明によれば、あらかじめ生成した時系列画像データ・時系列音響データをユーザに提示する場合、各時刻毎に生成した画像データ・音響データをユーザに提示する場合、あらかじめ生成した時系列画像データ・時系列音響データと各時刻毎に生成した画像データ・音響データとを合成してユーザに提示する場合、のいずれの場合においても、ユーザの視点位置・姿勢で見た時に正しく見えるような画像データ、および、ユーザの聴点位置・姿勢で聴いた時に正しく聴こえるような音響データ、をユーザに提示することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態によるデータ生成処理のフローチャートである。
【図２】本発明の第１の実施の形態によるデータ生成処理の処理イメージを示す概念図である。
【図３】本発明の第１の実施の形態によるデータ生成処理において、動揺台の運動データから現実世界におけるユーザの視点データを求める方法を説明するための図である。
【図４】本発明の第２の実施の形態による時系列画像データ生成処理のフローチャートである。
【図５】公知の技術における時系列画像データ生成処理のフローチャートである。
【図６】本発明の第２の実施の形態による時系列音響データ生成処理のフローチャートである。
【図７】本発明の第３の実施の形態によるデータ生成処理のフローチャートである。
【図８】本発明の第４の実施の形態による臨場感生成システムのシステム構成を示すシステムブロック図である。
【図９】本発明の第５の実施の形態による臨場感生成システムのシステム構成を示すシステムブロック図である。
【図１０】本発明の第６の実施の形態による臨場感生成システムのシステム構成を示すシステムブロック図である。
【符号の説明】
２０１１……スクリーン、２０２１……動揺台、２０３１……ユーザ、２０１３、２０１４……表示用画像、２０４３、２０４４……表示用画像中で木を表す部分、２０５３、２０５４……表示用画像中で石を表す部分、３０１……人間モデル、３０２……動揺台。

Claims (3)

1. 画像表示装置と、動揺台と、視点データ生成部と、画像データ生成部とを備え、
   前記視点データ生成部は、前記動揺台の運動データと前記動揺台の設計値とに基づいて現実世界における前記動揺台上のユーザの視点位置を含む視点データを生成し、
   前記画像データ生成部は、前記視点データと前記画像表示装置の配置に関する設計値と仮想世界データとに基づいて画像データを生成し、
   さらに、前記運動データと前記視点位置とを関係付ける人間モデルを複数備え、
   前記画像表示装置は、前記画像データ生成部が前記複数の人間モデルのうちの一に基づいて生成した画像を表示すること、
   を特徴とする臨場感生成システム。
2. 画像表示装置と動揺台と画像データ生成部を備え、
   前記画像データ生成部は、前記動揺台の運動データと前記動揺台の設計値とに基づいて決定される現実世界における前記動揺台上のユーザの視点位置において正しく観賞できるように、前記動揺台の運動データと前記動揺台の設計値と前記画像表示装置の配置に関する設計値と仮想世界データとに基づいて画像データを生成し、
   さらに、前記運動データと前記視点位置とを関係付ける人間モデルを複数備え、
   前記画像表示装置は、前記画像データ生成部が前記複数の人間モデルのうちの一に基づいて生成した画像を表示すること、
   を特徴とする臨場感生成システム。
3. 前記画像データは３次元画像データであること、
   を特徴とする、請求項１乃至２のうちの一に記載の臨場感生成システム。

Images