JP3753250B2 - 仮想現実空間提供装置および提供方法 - Google Patents

Description

本発明は、例えば、ユーザ端末からネットワークを介してサーバにアクセスし、コンピュータグラフィックスやビデオ画像などにより構成された仮想現実空間（バーチャルリアリティ）を形成する３次元画像の提供を受ける場合に用いて好適な仮想現実空間提供装置および提供方法に関する。

図８は、従来の対話型画像提供方法が適用されるシステムの構成例を示している。このようなシステムの概略は、例えば特開平５−２３３７７９号公報に開示されている。

図８において、仮想世界のオブジェクトやユーザの属性などの全情報を管理するサーバ１０は、データベース１１とネットワークインタフェース１２により構成されている。データベース１１は、サーバ１０の全情報を管理している。ネットワークインタフェース１２は、ネットワーク２０とサーバ１０との間のインタフェースを構成している。

このサーバ１０は、ネットワーク２０を介して、多数のユーザ端末３０に接続されている。

ネットワーク２０は、データを双方向に送受することが可能なものであり、場合によっては、片方向のネットワークを２つ用いることにより構成される。

ユーザ端末３０は、ユーザ端末３０とネットワーク２０との間のインタフェースを構成するネットワークインタフェース３１を有しており、ＣＰＵ３２は、ユーザ端末３０の全ての処理の調整を行うようになされている。デバイスコントローラ３３は、コントローラ３４の操作に対応するアクションのデータを取り込むようになされている。記憶装置３６には、ネットーク２０より供給されたデータベース情報や、デバイスコントローラ３３が取り込んだアクションデータなどが記憶される。描画装置３５は、記憶装置３６に記憶された情報に基づき、ローカルに画像データを生成し、ディスプレイ４０に出力し、表示させる。

図８には、１台のユーザ端末３０のみが示されているが、同様の構成のユーザ端末３０がネットワーク２０を介してサーバ１０に複数個接続されている。

いま３人のユーザがそれぞれユーザ端末３０を利用して、サーバ１０が提供する仮想現実空間において自動車レースを行う場合を考える。サーバ１０は、３台の車の位置、速度、方向などのデータを管理し、３台のユーザ端末３０に一定周期で送信する。それぞれのユーザ端末３０は、このデータと、それぞれのユーザのコントローラ３４の操作によるアクションのデータに基づき、対応するユーザの車からの視点の映像を描画装置３５において作成し、それぞれのディスプレイ４０に出力し、表示させる。

同時に、コントローラ３４の操作に対応するアクションのデータが、ネットワーク２０を介してサーバ１０に送信される。サーバ１０は、このデータを受け取ったとき、管理データ中の対応する部分を、この最新データで置き換える。

以上のようにして、複数のユーザが仮想現実空間において自動車レースを楽しむことができる。

特開平５−２３３７７９号公報

しかしながら、このような従来の対話型画像提供方法においては、各ユーザ端末３０のディスプレイ４０に表示する画像を、各ユーザ端末３０の描画装置３５において生成するようにしているため、画像品質を向上させるようにすると、ユーザ端末３０のコストが上昇する課題があった。特にユーザ端末３０の仮想的位置から遠く離れた位置にあって、コントローラ３４により、インタラクションの起きないオブジェクト（画像）をクリップせずに描画する（正確に描画する）ようにすると、描画性能を向上させなければならず、コストが高くなる課題があった。

また、ユーザ端末３０毎に画像が生成されるため、同様な画像を各ユーザ端末３０において重複して生成することになり、システム全体としてみると、無駄な処理が多く行われていた。

本発明はこのような状況に鑑みてなされたものであり、ユーザ端末のコストを低減し、より効率的に画像を生成することができるようにするものである。

本発明の仮想現実空間提供装置は、仮想現実空間を形成するためのデータを記憶した記憶手段と、ユーザ端末から仮想現実空間における所定の位置のデータを受信する受信手段と、仮想現実空間の所定の位置における画像を、記憶手段に記憶されたデータに基づいて生成する生成手段と、生成された画像と、記憶手段に記憶された仮想現実空間を形成するためのデータとをユーザ端末に送信する送信手段とを具備することを特徴とする。

前記生成手段によって生成された仮想現実空間の所定の位置における画像を符号化する符号化手段を更に具備することができる。

前記生成手段は、仮想現実空間の所定の位置における画像として、仮想現実空間の所定の位置から見た画像の近景画像を生成することができる。

前記受信手段によって受信されたデータに基づいて、記憶手段に記憶された仮想現実空間を形成するためのデータの内容を更新することができる。

前記仮想現実空間提供装置は、ユーザ端末から映像信号を受信し、受信した映像信号を他のユーザ端末に送信することができる。

本発明の提供方法は、ユーザ端末から仮想現実空間における所定の位置のデータを受信するステップと、仮想現実空間の所定の位置における画像を、仮想現実空間を形成するためのデータに基づいて生成するステップと、生成された画像をユーザ端末に送信するステップと、仮想現実空間を形成するためのデータをユーザ端末に送信するステップとを具備することを特徴とする。

本発明の仮想現実空間提供装置およびその提供方法においては、仮想現実空間における所定の位置の画像が、仮想現実空間を形成するためのデータに基づいて生成され、仮想現実空間を形成するためのデータとともに、ユーザ端末に送信される。

本発明によれば、用意する画像を少なくし、より低コストで仮想現実空間を形成することが可能になる。

図１は、本発明の対話型画像提供方法を適用した画像提供システム（サイバースペースシステム）の構成例を示している。図１において、図８と対応する部分には同一の符号を付してある。

この実施例においては、サーバ１０が、データベース１１とネットワークインタフェース１２の他、描画エンジン５１と映像符号化装置５２を有している。任意の数（この実施例の場合、２つ）の描画エンジン５１は、データベース１１に記憶されているデータに従って、仮想現実空間を形成する３次元画像のデータを生成する。また、映像符号化装置５２は、描画エンジン５１が生成した画像データを、ネットワーク２０を介してユーザ端末３０に伝送するために、符号化する処理を実行するようになされている。

この実施例においては、データベース１１は、図２に示すように、仮想現実空間を、インタラクションの起きる可能性（蓋然性）の高いオブジェクト同士が同一のグループになるように、複数の部分世界に分割して記憶している。この実施例においては、空間的にまとまった領域を単位として分割が行われている。即ち、部分世界７１は、道のように細長い仮想現実世界の空間を長さ方向に分割している。

このように、部分世界に分割することで、仮想現実空間においてキャラクタをどのような視点に移動させた場合でも、自然で高品位の画像を提供することが可能になる。

描画エンジン５１は、データベース１１の情報に基づき、このような各部分世界７１の、それぞれ前後一定の距離だけ離れた所定の視点７２から見た画像を生成する。そして、この視点７２以外の所定の地点（位置）からの画像は、その地点と視点７２との位置のずれに対応して、視点７２から見た画像を幾何学的に補正、変形することで、ユーザ端末３０において生成するようにしている。

ネットワークインタフェース１２は、データベース１１から読み出された情報と、描画エンジン５１により生成され、映像符号化装置５２により符号化されたデータを、ネットワーク２０に出力するとともに、ネットワーク２０を介してユーザ端末３０より送られてきたデータを、データベース１１に出力するようになされている。

サーバ１０のその他の構成は、図８における場合と同様である。

一方、ユーザ端末３０は、映像復号化装置６１と画像合成装置６２を有している。映像復号化装置６１は、サーバ１０の映像符号化装置５２により符号化され、ネットワーク２０を介して送られてきた後、記憶装置３６に一旦記憶されたデータを、適宜読み出して復号化する装置である。また、画像合成装置６２は、描画装置３５により描画された画像と、映像復号化装置６１により復号化された画像を合成し、ディスプレイ４０に出力し、表示させる装置である。

また、この画像合成装置６２は、描画装置３５で生成した画像と、画像合成装置６２で再生した画像とを合成する際、より自然な画像となるように、両者の画像に各種のエフェクトを施す機能を有している。例えば、復号化された映像を、現在のユーザ端末３０のコントローラ３４から入力した視点からの映像に近似させるため、幾何学的に補正変形処理を施す。

ユーザ端末３０のその他の構成は、図８に示す場合と基本的に同様である。

次に、図３と図４のフローチャートを参照して、図１の実施例の動作について説明する。

図３は、サーバ１０の処理例を表している。最初にステップＳ１において、仮想現実空間の時間の更新や光線の設定など、多くのオブジェクトが影響を受ける環境情報の更新処理を実行する。次にステップＳ２に進み、データベース１１の内容に基づき、部分世界７１について、それぞれ決められている視点７２からの画像を、描画エンジン５１に生成させる。

次にステップＳ３に進み、描画エンジン５１により生成した画像データを、映像符号化装置５２により符号化させ、ネットワークインタフェース１２を介してネットワーク２０に送出させる。

以上の処理と並行して、非同期的に複数のユーザ端末３０からの情報をメッセージとして、ステップＳ１１において受信する。そしてステップＳ１２に進み、受信したメッセージに対応して、データベース１１において管理しているデータの内容を更新し、オブジェクトの情報を更新する。この際、ユーザ端末３０の対応する位置の変化などにより、オブジェクトの属する部分世界７１が変化することがあり、これに関連する処理も行われる。

これに対して、図４は、ユーザ端末３０の処理例を表している。最初にステップＳ２１において、ユーザがコントローラ３４を操作して入力したアクションのデータを、デバイスコントローラ３３を介して取得する。すなわち各ユーザは、コントローラ３４を操作して、仮想現実空間内において、自分に割り当てられているキャラクタの視点のデータ（アクションデータ）を入力する。デバイスコントローラ３３はこのデータを取得する。この取得したデータは、記憶装置３６に一旦記憶される。

次にステップＳ２２で、ネットワークインタフェース３１が、ネットワーク２０を介してサーバ１０からのデータを受信する。上述したように、この受信データには、データベース１１から読み出されたデータと、描画エンジン５１により描画され、映像符号化装置５２により符号化された映像データの２種類がある。これらのデータは、記憶装置３６に一旦格納される。

記憶装置３６に記憶されたデータのうち映像データは、ステップＳ２４において、記憶装置３６から読み出され、映像復号化装置６１に供給され、復号化される。

これに対して、データベース１１からのデータは、ステップＳ２３において、記憶装置３６から読み出され、描画装置３５に入力される。描画装置３５はこのデータに対応して、ローカルに画像データを生成する。

このステップＳ２３とステップＳ２４の処理は並行して実行される。次にステップＳ２５に進み、画像合成処理が行われる。即ち、画像合成装置６２は、映像復号化装置６１により復号化された画像と、描画装置３５により生成された画像とを、適宜所定の補正処理を行った上で合成する。この合成画像がディスプレイ４０に供給され、表示される。

次にステップＳ２６に進み、記憶装置３６に記憶されているデータのうち、デバイスコントローラ３３を介して、コントローラ３４より得たアクションデータを読み出し、ネットワーク２０を介してサーバ１０に送信する。

そしてステップＳ２１に戻り、それ以降の処理を同様に繰り返す。

図５は、図４のステップＳ２３において、描画装置３５が描画した部分世界７１の近景画像の例を表している。

また、図６は、図３のステップＳ２において、サーバ１０の描画エンジン５１が生成した、部分世界７１の背景画像（図４のステップＳ２４において、ユーザ端末３０の映像復号化装置６１が復号化した画像）の例を表している。

さらに、図７は、図４のステップＳ２５において、画像合成装置６２が２つの画像（図５に示す近景画像と、図６に示す背景画像）を合成した画像の例を表している。

この実施例においては、サーバ１０において背景画像を生成し、ユーザ端末３０において近景画像を生成するようにしたが、これを逆にすることも可能である。しかしながら、一般的に、背景画像は、ユーザ端末３０の位置の微細な変化に拘らず、ほぼ一定であるが、近景画像は、ユーザ端末３０の僅かな位置の違いによって比較的大きく異なるものとなる。そこで、近景画像をユーザ端末３０で生成し、背景画像をサーバ１０で生成し、各ユーザ端末３０に供給するようにした方が、システム全体としてより効率的に画像を生成することができる。

尚、以上の実施例においては、サーバ１０において生成した映像を符号化して、ユーザ端末３０に伝送するようにしたが、符号化せず、アナログ信号のまま伝送するようにすることも可能である。また、ユーザ端末３０において、データベース情報をキャッシングすることも考えられる。

さらに、ユーザ端末３０において行うネットワーク２０とのデータ送受と、サーバ１０からのデータ受信の順序は、図３と図４に示した場合に限定されるものではない。

また、ユーザ端末３０からサーバ１０への映像信号の送信を許すようにすると、１つのユーザ端末３０からサーバ１０へ映像信号を送り、その映像信号を、サーバ１０が他のユーザ端末へ送ることが可能になる。

本発明の対話型画像提供方法を適用したサイバースペースシステムの構成例を示すブロック図である。 図１のデータベース１１に記憶する仮想現実空間の分割を説明する図である。 図１のサーバ１０の処理を説明するフローチャートである。 図１のユーザ端末３０の処理を説明するフローチャートである。 図１のユーザ端末３０で生成した画像の例を示す図である。 図１のサーバ１０で生成した画像の例を示す図である。 図５に示す画像と図６に示す画像を合成した画像を示す図である。 従来の対話型画像提供方法を適用したサイバースペースシステムの構成例を示すブロック図である。

符号の説明

１０ サーバ， １１ データベース， １２ ネットワークインタフェース， ２０ ネットワーク， ３０ ユーザ端末， ３１ ネットワークインタフェース， ３２ ＣＰＵ， ３３ デバイスコントローラ， ３４ コントローラ， ３５ 描画装置， ３６ 記憶装置， ４０ ディスプレイ， ５１ 描画エンジン， ５２ 映像符号化装置， ６１ 映像復号化装置， ６２ 画像合成装置

Claims (6)

1. ユーザ端末に対して３次元画像によって表現された仮想現実空間を提供する仮想現実空間提供装置において、
   前記仮想現実空間を形成するためのデータを記憶した記憶手段と、
   前記ユーザ端末から前記仮想現実空間における所定の位置のデータを受信する受信手段と、
   前記仮想現実空間の所定の位置における画像を、前記記憶手段に記憶されたデータに基づいて生成する生成手段と、
   前記生成された画像と、前記記憶手段に記憶された前記仮想現実空間を形成するためのデータとを前記ユーザ端末に送信する送信手段と
   を具備することを特徴とする仮想現実空間提供装置。
2. 前記生成手段によって生成された前記仮想現実空間の所定の位置における画像を符号化する符号化手段を更に具備する
   ことを特徴とする請求項１に記載の仮想現実空間提供装置。
3. 前記生成手段は、前記仮想現実空間の所定の位置における画像として、前記仮想現実空間の所定の位置から見た画像の近景画像を生成する
   ことを特徴とする請求項１に記載の仮想現実空間提供装置。
4. 前記受信手段によって受信されたデータに基づいて、前記記憶手段に記憶された前記仮想現実空間を形成するためのデータの内容を更新する
   ことを特徴とする請求項１に記載の仮想現実空間提供装置。
5. 前記仮想現実空間提供装置は、前記ユーザ端末から映像信号を受信し、受信した前記映像信号を他の前記ユーザ端末に送信する
   ことを特徴とする請求項１に記載の仮想現実空間提供装置。
6. ユーザ端末に対して３次元画像によって表現された仮想現実空間を提供する仮想現実空間提供装置の提供方法において、
   前記ユーザ端末から前記仮想現実空間における所定の位置のデータを受信するステップと、
   前記仮想現実空間の所定の位置における画像を、前記仮想現実空間を形成するためのデータに基づいて生成するステップと、
   前記生成された画像を前記ユーザ端末に送信するステップと、
   前記仮想現実空間を形成するためのデータを前記ユーザ端末に送信するステップと
   を具備することを特徴とする提供方法。

Images