JP3815509B2

JP3815509B2 - シミュレーションシステム、仮想空間提供装置および方法、並びにユーザ端末装置および仮想空間画像生成方法

Info

Publication number: JP3815509B2
Application number: JP2005350248A
Authority: JP
Inventors: 宏明北野
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2005-12-05
Filing date: 2005-12-05
Publication date: 2006-08-30
Anticipated expiration: 2021-08-30
Also published as: JP2006155627A

Description

本発明は、例えば所定の都市空間を設計し、その都市空間の問題点などをテストする場合に用いて好適なシミュレーションシステム、仮想空間提供装置および方法、並びにユーザ端末装置および仮想空間画像生成方法に関する。

最近、バーチャルリアリティ（仮想現実空間）を利用した装置が開発されている。

例えば、住宅を設計する場合において、所定の間取りや仕様を決定すると、それに対応する住宅の画像をバーチャルリアリティで生成し、その画像を、その住宅を発注した注文者に対して、ヘッドマウントディスプレイなどを用いて表示する装置が知られている。発注者は、このヘッドマウントディスプレイに表示されるバーチャルリアリティから、自分があたかもその住宅において実際に生活しているような感覚で、その住宅を体験し、テストすることができる。これにより、単に設計図面上から住宅を見る場合に比べて、住宅の不便な点などを容易に発見することができる。

同様に、住宅ではなく、都市空間をバーチャルリアリティとして提供する装置も知られている。

しかしながら、従来のこのような装置は、複数のユーザが同時にバーチャルリアリティを体験（テスト）することができず、従って、複数の人間が所定の空間を同時に利用することによる問題点などを発見することができない課題があった。

本発明はこのような状況に鑑みてなされたものであり、複数の利用者が所定の空間を同時に利用する場合における問題点などをテストすることを可能にするものである。

本発明の第１の側面は、３次元の仮想空間を形成する画像データを記憶する記憶手段と、前記記憶手段に記憶されている仮想空間の画像データを供給する供給手段と、前記供給手段より前記仮想空間の画像データを受信して、仮想空間画像を生成する、前記供給手段に接続された複数の受信手段とを備えるシミュレーションシステムにおいて、前記受信手段は、前記仮想空間上において対応するキャラクタを有し、前記キャラクタの位置を入力して、前記供給手段に送信するとともに、前記キャラクタに対応する音声信号を前記供給手段に送信し、前記供給手段は、前記キャラクタの位置に対応する描画情報を前記記憶手段から読み出して、前記受信手段に供給するとともに、前記受信手段から供給された前記キャラクタの位置のデータを他の前記受信手段に供給し、前記受信手段は、前記供給手段から、前記キャラクタの位置に対応する前記描画情報と、自分以外の前記受信手段のキャラクタの位置の提供を受けて仮想空間画像を生成し、前記供給手段は、前記仮想空間において地域が指定されることにより、前記キャラクタに対応する音声信号の合成を行う範囲を設定する設定手段をさらに備え、前記供給手段は、前記設定手段により設定された範囲内に位置する複数の前記キャラクタに対応する音声信号を合成して、受信手段に供給するシミュレーションシステムである。

前記受信手段と供給手段の少なくとも一方は、自分のキャラクタを表示せず、自分以外のキャラクタを表示するキャラクタモードと、自分以外のキャラクタと自分のキャラクタの両方を表示する俯瞰モードとを切り換える俯瞰モード切換手段を有するようにすることができる。

前記受信手段と供給手段の少なくとも一方は、前記俯瞰モード時における俯瞰視点を入力する俯瞰視点入力手段を備えるようにすることができる。

前記供給手段は、複数の前記キャラクタに対応する音声信号を合成する合成モードと、特定のキャラクタに対応する音声信号を授受する独立モードとを選択する選択手段を備えるようにすることができる。

前記受信手段は、前記供給手段から提供された前記画像データと他のユーザ端末の前記キャラクタの位置のデータを用いて、自己に対応するキャラクタを表示せずに、自己以外のユーザ端末に対応するキャラクタを表示する仮想空間画像を生成するようにすることができる。

本発明の第１の側面においては、前記受信手段により、前記仮想空間上において対応するキャラクタの位置が入力されて、前記供給手段に送信され、前記キャラクタに対応する音声信号を前記供給手段に送信し、前記供給手段により、前記キャラクタの位置に対応する描画情報が前記記憶手段から読み出されて、前記受信手段に供給されるとともに、前記受信手段から供給された前記キャラクタの位置のデータが他の前記受信手段に供給され、前記受信手段により、前記供給手段から、前記キャラクタの位置に対応する前記描画情報と、自分以外の前記受信手段のキャラクタの位置の提供を受けて仮想空間画像が生成され、前記供給手段により、前記仮想空間において地域が指定されることにより、前記キャラクタに対応する音声信号の合成を行う範囲が設定され、設定された範囲内に位置する複数の前記キャラクタに対応する音声信号が合成されて、受信手段に供給される。

本発明の第２の側面は、ユーザ端末に仮想空間を形成するデータを提供する仮想空間提供装置において、仮想空間を形成するデータを記憶する記憶手段と、複数の前記ユーザ端末から、前記ユーザ端末に対応する仮想空間上のキャラクタの位置に対応するデータ、および前記キャラクタに対応する音声信号を受信する受信手段と、受信した前記ユーザ端末に対応するキャラクタの位置に対応するデータに対応する描画情報を前記記憶手段から読み出して前記ユーザ端末に送信すると共に、前記ユーザ端末から受信した前記キャラクタの位置のデータを他のユーザ端末に送信する送信手段と、複数の前記ユーザ端末から受信した前記キャラクタに対応する音声信号を合成する合成手段と、前記仮想空間において地域が指定されることにより前記キャラクタに対応する音声信号の合成を行う範囲を設定する設定手段とを備え、前記合成手段は、前記設定手段により設定された範囲内に位置する複数の前記ユーザ端末の前記キャラクタに対応する音声信号を合成し、前記送信手段は、前記合成した音声信号を前記ユーザ端末にさらに送信する仮想空間提供装置である。

前記合成手段は、各ユーザ端末に対応するキャラクタを中心として、そのキャラクタから遠い位置に位置するキャラクタに対応するユーザ端末から受信した音声信号は、その距離が遠いほど大きく減衰するようにして合成するようにすることができる。

複数のユーザ端末から受信した音声信号を合成して送信するモードと、特定のユーザ端末から受信した音声信号を送信するモードとを選択する選択手段を更に備えるようにすることができる。

本発明の第２の側面は、ユーザ端末に仮想空間を形成するデータを提供する仮想空間提供装置の仮想空間提供方法において、複数の前記ユーザ端末から、前記ユーザ端末に対応する仮想空間上のキャラクタの位置に対応するデータおよび前記キャラクタに対応する音声信号を受信する受信ステップと、受信した前記ユーザ端末に対応するキャラクタの位置に対応するデータに対応する描画情報を前記ユーザ端末に送信する送信ステップと、前記ユーザ端末から受信した前記キャラクタの位置のデータを他のユーザ端末に送信するステップと、前記仮想空間において地域が指定されることにより、前記キャラクタに対応する音声信号の合成を行う範囲を設定するステップと、前記設定された範囲内に位置する複数の前記ユーザ端末から受信した前記キャラクタに対応する音声信号を合成するステップとを備え、前記合成した音声信号を前記ユーザ端末にさらに送信する仮想空間提供方法である。

前記合成ステップは、各ユーザ端末に対応するキャラクタを中心として、そのキャラクタから遠い位置に位置するキャラクタに対応するユーザ端末から受信した音声信号は、その距離が遠いほど大きく減衰するようにして合成するようにすることができる。

本発明の第２の側面においては、複数の前記ユーザ端末から、前記ユーザ端末に対応する仮想空間上のキャラクタの位置に対応するデータおよび前記キャラクタに対応する音声信号が受信され、受信された前記ユーザ端末に対応するキャラクタの位置に対応するデータに対応する描画情報が前記ユーザ端末に送信され、前記ユーザ端末から受信した前記キャラクタの位置のデータが他のユーザ端末に送信され、前記仮想空間において地域が指定されることにより、前記キャラクタに対応する音声信号の合成を行う範囲が設定され、設定された範囲内に位置する複数の前記ユーザ端末から受信した前記キャラクタに対応する音声信号が合成され、合成された音声信号が前記ユーザ端末にさらに送信される。

本発明の第３の側面は、シミュレーション装置から仮想空間を形成するデータの提供を受けるユーザ端末装置において、前記ユーザ端末装置に対応する仮想空間上のキャラクタの位置を入力する入力手段と、前記入力された前記ユーザ端末装置に対応する仮想空間上のキャラクタの位置に対応するデータ、および前記キャラクタに対応する音声信号を前記シミュレーション装置に送信する送信手段と、送信した前記ユーザ端末装置に対応するキャラクタの位置に対応するデータに対応する描画情報を前記シミュレーション装置から受信すると共に、他のユーザ端末装置の前記キャラクタの位置のデータを受信する受信手段と、前記描画情報と他のユーザ端末装置の前記キャラクタの位置のデータを用いて、前記ユーザ端末装置に対応する仮想空間上のキャラクタの位置における仮想空間画像を生成する生成手段とを備え、前記受信手段は、前記仮想空間において地域が指定されることにより、前記キャラクタに対応する音声信号の合成を行う範囲が設定され、前記設定された範囲内に位置する複数のキャラクタに対応する音声信号が合成され、前記合成された音声信号を前記シミュレーション装置から受信するユーザ端末装置である。

前記生成手段は、前記描画情報と他のユーザ端末装置の前記キャラクタの位置のデータを用いて、自己に対応するキャラクタを表示せずに、自己以外のユーザ端末装置に対応するキャラクタを表示する仮想空間画像を生成するようにすることができる。

前記生成手段は、前記描画情報と他のユーザ端末装置の前記キャラクタの位置のデータを用いて、俯瞰視点から見た自己に対応するキャラクタを含む仮想空間画像を生成するようにすることができる。

前記生成手段は、前記描画情報と他のユーザ端末装置の前記キャラクタの位置のデータを用いて、自己に対応するキャラクタを表示せずに、自己以外のユーザ端末に対応するキャラクタを表示する仮想空間画像を生成するキャラクタモードと、俯瞰視点から見た自己に対応するキャラクタを含む仮想空間画像を生成する俯瞰モードとを有し、前記キャラクタモードと俯瞰モードとを切り替える俯瞰モード切替手段を更に備えるようにすることができる。

本発明の第３の側面は、シミュレーション装置から仮想空間を形成するデータの提供を受けて、仮想空間画像を生成するユーザ端末装置の仮想空間画像生成方法において、前記ユーザ端末装置に対応する仮想空間上のキャラクタの位置を入力する入力ステップと、前記入力された前記ユーザ端末装置に対応する仮想空間上のキャラクタの位置に対応するデータ、および前記キャラクタに対応する音声信号を前記シミュレーション装置に送信する送信ステップと、送信した前記ユーザ端末装置に対応するキャラクタの位置に対応するデータに対応する描画情報を前記シミュレーション装置から受信する受信ステップと、他のユーザ端末装置の前記キャラクタの位置のデータを受信するステップと、前記描画情報と他のユーザ端末装置の前記キャラクタの位置のデータを用いて、前記ユーザ端末装置に対応する仮想空間上のキャラクタの位置における仮想空間画像を生成する生成ステップと、前記仮想空間において地域が指定されることにより、前記キャラクタに対応する音声信号の合成を行う範囲が設定され、前記設定された範囲内に位置する複数のキャラクタに対応する音声信号が合成され、前記合成された音声信号を前記シミュレーション装置から受信するステップとを備える仮想空間画像生成方法である。

前記生成ステップは、前記描画情報と他のユーザ端末装置の前記キャラクタの位置のデータを用いて、自己に対応するキャラクタを表示せずに、自己以外のユーザ端末に対応するキャラクタを表示する仮想空間画像を生成するようにすることができる。

前記生成ステップは、前記描画情報と他のユーザ端末装置の前記キャラクタの位置のデータを用いて、俯瞰視点から見た自己に対応するキャラクタを含む仮想空間画像を生成するようにすることができる。

前記生成ステップは、前記描画情報と他のユーザ端末装置の前記キャラクタの位置のデータを用いて、自己に対応するキャラクタを表示せずに、自己以外のユーザ端末装置に対応するキャラクタを表示する仮想空間画像を生成するキャラクタモードと、俯瞰視点から見た自己に対応するキャラクタを含む仮想空間画像を生成する俯瞰モードとを有し、前記キャラクタモードと俯瞰モードとを切り替えるステップを更に備えるようにすることができる。

本発明の第３の側面においては、前記ユーザ端末装置に対応する仮想空間上のキャラクタの位置が入力され、前記入力された前記ユーザ端末装置に対応する仮想空間上のキャラクタの位置に対応するデータ、および前記キャラクタに対応する音声信号が前記シミュレーション装置に送信され、送信された前記ユーザ端末装置に対応するキャラクタの位置に対応するデータに対応する描画情報が前記シミュレーション装置から受信され、他のユーザ端末装置の前記キャラクタの位置のデータが受信され、前記描画情報と他のユーザ端末装置の前記キャラクタの位置のデータを用いて、前記ユーザ端末装置に対応する仮想空間上のキャラクタの位置における仮想空間画像が生成され、前記仮想空間において地域が指定されることにより、前記キャラクタに対応する音声信号の合成を行う範囲が設定され、前記設定された範囲内に位置する複数のキャラクタに対応する音声信号が合成され、前記合成された音声信号を前記シミュレーション装置から受信される。

本発明によれば、自分自身のキャラクタの位置と視点に対応する仮想現実空間の画像に重畳して、自分以外のキャラクタの位置と視点に対応して、自分以外のキャラクタを表示するようにしたので、より現実空間に近い状態で、仮想現実空間を体験させることが可能となり、しかも複数のキャラクタに対して、同時にその仮想現実空間を体験させることができるようにしたので、仮想現実空間における問題点などを実際にテストし、判断することが可能となる。

図１は、本発明のシミュレーションシステムの構成例を表している。この実施例においては、複数の（Ｎ台の）ユーザ端末３−１乃至３−Ｎが、例えば光ファイバを利用した広帯域通信網を介してシミュレーション装置１に接続されている。シミュレーション装置１はデータベース２を有し、このデータベース２には、仮想現実空間を形成する画像データが記憶されている。

ユーザ端末３−１乃至３−Ｎは、仮想現実空間上において、対応するキャラクタを有し、そのキャラクタの位置と視点に対応するデータをシミュレーション装置１に供給すると、シミュレーション装置１は、このキャラクタの位置と視点に対応する画像データをデータベース２より読み出し、ユーザ端末３−１乃至３−Ｎに供給するようになされている。

図２は、シミュレーション装置１の構成例を示している。同図に示すように、シミュレーション装置１はＣＰＵ２１を備え、このＣＰＵ２１は、ＲＯＭ２２に記憶されているプログラムに従って各種の処理を実行するようになされている。ＲＡＭ２３には、ＣＰＵ２１が各種の処理を実行する上において必要なデータ、プログラム等が適宜記憶されるようになされている。通信装置２４は、ユーザ端末３（３−１乃至３−Ｎ）に対して所定のデータを授受するようになされている。

表示装置２５は、ＣＲＴ、ＬＣＤなどを備え、シミュレーション装置１が提供する仮想現実空間の画像をモニタすることができるように、インタフェース２８に接続されている。このインタフェース２８にはまた、マイク２６とスピーカ２７が接続されており、所定の音声信号をユーザ端末３に供給したり、ユーザ端末３からの音声信号をモニタすることができるようになされている。

また、シミュレーション装置１は入力装置２９を備え、インタフェース２８を介して、各種の入力を行うことができるようになされている。この入力装置２９は、キーボード２９ａ、マウス２９ｂ、視点入力装置２９ｃ、移動入力装置２９ｄ、俯瞰モード切換釦２９ｅ、俯瞰視点入力装置２９ｆ、合成モード切換釦２９ｇ、地域指定装置２９ｈを有している。

キーボード２９ａは、所定の文字や記号などを入力するとき操作されるようになされている。マウス２９ｂは、所定の位置を指定するとき操作されるようになされている。視点入力装置２９ｃは、シミュレーション装置１の対応するキャラクタの視点を入力するとき操作される。これにより、キャラクタの視点を上下左右の方向に移動させたり、所定の画像をズームすることができるようになされている。また、移動入力装置２９ｄは、キャラクタを前後左右の方向に、所定の速度で移動させるための入力を行うことができるようになされている。

俯瞰モード切換釦２９ｅは、表示装置２５に仮想現実空間の画像を表示させるモードを、キャラクタモードまたは俯瞰モードに切り換えるとき操作される。キャラクタモードにおいては、対応するキャラクタの視点からの画像が表示され、俯瞰モードにおいては、対応するキャラクタを含む仮想現実空間の画像を俯瞰視点から見た画像が表示される。俯瞰視点入力装置２９ｆは、俯瞰モード時において、表示装置２５に表示する画像の俯瞰視点を入力するとき操作される。

また、合成モード切換釦２９ｇは、合成モードと単独モードを切り換えるとき操作される。単独モード時においては、所定のユーザ端末３またはシミュレーション装置１と、それらにより指定された他のユーザ端末３との間における音声信号のみが相互に授受される。これに対して、合成モード時においては、所定の仮想現実空間内に位置するキャラクタに対応するユーザ端末３より入力される音声信号を、全て合成して、それらのユーザ端末３に対して伝送される。

図３は、ユーザ端末３（３−１乃至３−Ｎ）の構成例を示している。ユーザ端末３はＣＰＵ４１を備え、このＣＰＵ４１は、ＲＯＭ４２に記憶されているプログラムに従って各種の処理を実行するようになされている。ＲＡＭ４３には、ＣＰＵ４１が各種の処理を実行する上において必要なデータやプログラム等が適宜記憶されるようになされている。通信装置４４は、シミュレーション装置１に対してデータを授受するようになされている。

表示装置４５は、ＣＲＴ、ＬＣＤなどを備え、ＣＧ（コンピュータグラフィック）の３次元画像や、通常のビデオカメラなどにより撮影された３次元の画像を表示することができるようになされている。マイク４６は、音声信号を、シミュレーション装置１や他のユーザ端末に出力するとき利用される。また、スピーカ４７は、シミュレーション装置１や他のユーザ端末より音声信号が伝送されてきたとき、これを出力する。入力装置４９は、各種の入力を行うとき操作されるようになされている。

このユーザ端末３の入力装置４９におけるキーボード４９ａ乃至俯瞰視点入力装置４９ｆは、図２に示したシミュレーション装置１の入力装置２９におけるキーボード２９ａ乃至俯瞰視点入力装置２９ｆと対応するものである。

インタフェース４８は、表示装置４５、マイク４６、スピーカ４７、および入力装置４９に対するデータのインタフェースを構成している。

図４は、図１に示したシミュレーション装置１により提供される仮想現実空間を模式的に表している。同図に示すように、この仮想現実空間は、町を構成しており、キャラクタＣ（例えばユーザ端末３−１のキャラクタ）や、キャラクタＤ（例えばユーザ端末３−２のキャラクタ）が、この町（仮想現実空間）を移動することができるようになされている。

キャラクタＣは、仮想現実空間における位置と視点から、例えば図５に示すような画像を見ることになる。即ち、キャラクタモード時、ユーザ端末３−１の表示装置２５には、図５に示すような画像がシミュレーション装置１から提供され、表示される。そして、そのキャラクタＣの視点と位置を、視点入力装置４９ｃと移動入力装置４９ｄを操作することで変更すると、それに対応して、シミュレーション装置１から供給される仮想現実空間を形成する３次元画像が変化される。

同様に、キャラクタＤが対応するユーザ端末３−２の表示装置には、キャラクタモード時、図６に示すような画像がシミュレーション装置１から提供され、表示される。そして、その表示画像も、キャラクタＤの視点と位置を移動させることで変化される。

図４に示す状態において、キャラクタＣはキャラクタＤの方向を見ている。従って、図５に示すように、ユーザ端末３−１の表示装置２５に表示される画像（仮想現実空間）には、キャラクタＤが表示されている。

同様に、図４において、キャラクタＤはキャラクタＣの方向を見ている。このため、図６に示すように、ユーザ端末３−２の表示装置２５に表示される画像（仮想現実空間）には、キャラクタＣが表示される。

これに対して、例えばユーザ端末３−２において俯瞰モードを指定すると、図４に示すように、自分のキャラクタＣを含む俯瞰的画像が表示される。

次に、図７乃至図１０のフローチャートを参照して、ユーザ端末３とシミュレーション装置１の動作について説明する。

図７は、ユーザ端末３の処理例を表している。最初にステップＳ１において、ユーザ端末３の俯瞰モード切換ボタン４９ｅを操作して、俯瞰モードまたはキャラクタモードのいずれかを設定する。次にステップＳ２において、位置または視点を変更するか否かを判定する。キャラクタモード時においては、キャラクタの仮想現実空間内における位置を、移動入力装置４９ｄを操作することで入力する。またキャラクタの視点を、視点入力装置４９ｃを操作することで入力する。俯瞰モード時においては、その位置は、移動入力装置４９ｄを操作することで入力され、俯瞰視点は、俯瞰視点入力装置４９ｆを操作することで入力される。

位置または視点を変更したとき、ステップＳ３に進み、位置または視点に対応するデータをシミュレーション装置１に出力する処理が実行される。即ち、ＣＰＵ４１は、視点入力装置４９ｃ、移動入力装置４９ｄ、俯瞰視点入力装置４９ｆなどの操作に対応するデータを、通信装置４４を介してシミュレーション装置１へ出力する。

シミュレーション装置１においては、図８を参照して後述するように、この位置と視点のデータを受信したとき、ステップＳ２２において、この位置と視点に対応する画像データをデータベース２より読み出し、ユーザ端末３に出力する。

そこで、ユーザ端末３においては、ステップＳ４において、シミュレーション装置１が出力した描画情報を受信し、それに対応して、仮想現実空間を形成する、例えば都市計画画像を生成する。

即ち、ＣＰＵ４１は、シミュレーション装置１より、描画情報を通信装置４４を介して受信したとき、この描画情報を一旦ＲＡＭ４３に記憶させる。そして、この描画情報に対応して３次元の仮想現実空間を形成する画像を生成し、インタフェース４８を介して表示装置４５に表示させる。これにより、表示装置４５には、例えば計画した都市の３次元画像が表示される。

ステップＳ３とステップＳ４の処理は、位置または視点が変更された場合においてのみ実行される。位置または視点を変更する必要がない場合、既に表示装置４５に表示されている画像を変化させる必要がない。従って、この場合においては、ステップＳ３とステップＳ４の処理はスキップされる。

次にステップＳ５に進み、現在のモードが俯瞰モードであるか否かが判定される。俯瞰モードである場合においては、ステップＳ６に進み、自分のキャラクタの画像を、視点入力装置４９ｃと移動入力装置４９ｄを操作することで、入力した視点と位置に対応して生成する。そして、自分のキャラクタの画像を表示装置４５に出力し、表示させる。

現在のモードが俯瞰モードではない場合、即ち、キャラクタモードである場合、自分のキャラクタの位置と視点に対応する画像が表示装置４５に表示されるため、自分のキャラクタの画像は、自分の表示装置４５に表示させる必要はない。そこで、この場合においては、ステップＳ６の処理はスキップされる。

次にステップＳ７に進み、他のユーザ端末３またはシミュレーション装置１のキャラクタの位置と視点のデータを受信する。そしてステップＳ８において、ステップＳ７で受信した位置と視点のデータから、そのキャラクタの位置または視点が変更されたか否かを判定し、変更された場合においては、ステップＳ９に進み、その新たな位置または視点におけるキャラクタの画像を生成し、これを表示装置４５に出力し、表示させる。

これに対して、ステップＳ８において、他のキャラクタの位置または視点が変更されていないと判定された場合においては、ステップＳ９の処理はスキップされる。即ち、そのキャラクタの画像は変更されない。

次にステップＳ１０に進み、モード（俯瞰モードまたはキャラクタモード）を変更するか否かを判定し、変更しない場合においては、ステップＳ２に戻り、それ以降の処理を繰り返し実行する。

これに対して、モードを変更する場合においては、ステップＳ１に戻り、新たなモードを設定し、ステップＳ２に進み、それ以降の処理を繰り返す。

以上のようにして、例えばユーザ端末３−２において、キャラクタモードを指定した場合、自分のキャラクタの位置と視点に対応して、例えば図６に示すような画像が表示装置４５に表示される。

これに対して、俯瞰モードを設定した場合においては、その位置と俯瞰視点に対応して、図４に示すような画像が表示装置４５に表示される。

図８は、ユーザ端末３が、図７のフローチャートに示すような処理を実行した場合におけるシミュレーション装置１の処理例を表している。最初にステップＳ２１において、ユーザ端末３より、対応するキャラクタの位置または視点を変更するデータを受信するまで待機し、受信したとき、ステップＳ２２に進み、受信した位置または視点データに対応する描画情報をデータベース２より読み出し、その位置または視点データを出力したユーザ端末３に出力する。このステップＳ２２で出力したデータが、ユーザ端末３において、図７のステップＳ４において受信され、処理されることになる。

次にステップＳ２３に進み、ステップＳ２１で受信した位置または視点データを、関連する他のユーザ端末にも出力する。このステップＳ２３で出力したデータが、ユーザ端末３において、図７のステップＳ７において受信される。

尚、ここにおいて、他のユーザ端末が関連するか否かは、そのユーザ端末の位置と視点から判断される。即ち、例えばユーザ端末３−１のキャラクタＣの位置または視点が変更された場合、このキャラクタＣを表示装置に表示しているユーザ端末であって、ユーザ端末３−１以外のユーザ端末が、ここにおける関連する他のユーザ端末となる。

ステップＳ２３の処理の後、ステップＳ２１に戻り、同様の処理が繰り返し実行される。

尚、図８には、ユーザ端末３の操作に対応するシミュレーション装置１の処理を説明したが、シミュレーション装置１は、ユーザ端末３が有する機能を同様に有しており、図７を参照して説明したユーザ端末３の処理は、シミュレーション装置１においても同様に行うことができるようになされている。

以上のようにして、各ユーザ端末３の表示装置４５と、シミュレーション装置１の表示装置２５には、仮想現実空間における都市の画像が所定の数のキャラクタの画像とともに、表示される。

次に図９のフローチャートを参照して、ユーザ端末３における他のユーザ端末３またはシミュレーション装置１との音声信号による会話処理について説明する。

最初にステップＳ３１において、現在のモードが合成モードであるか否かが判定され、合成モードではない場合（独立モードである場合）、ステップＳ３２に進み、相手画像を指定する処理が実行される。即ち、ユーザ端末３は、例えばマウス４９ｂを操作して、対応するカーソル（図示せず）を、会話を行う相手として指定したいキャラクタ上に配置し、クリックすることで、キャラクタの指定を行う。

次にステップＳ３３に進み、指定された相手を特定するためのデータをシミュレーション装置１に出力する処理を実行する。即ち、ユーザ端末３のＣＰＵ４１は、指定されたキャラクタに対応するデータをシミュレーション装置１に出力する。

シミュレーション装置１は、図１０のフローチャートを参照して後述するように、ユーザ端末３より、この相手を指定するデータを受信したとき、ステップＳ５４において、これを、指定されたユーザ端末に出力する。指定データを受信した他のユーザ端末は、これに応答するとき、図９のステップＳ４３でＯＫ信号を出力する。シミュレーション装置１は、このＯＫ信号を受信したとき、図１０のステップＳ５７で、指定したユーザ端末と指定されたユーザ端末の通信網を接続する処理を実行する。

そこで、ユーザ端末３においては、図９のステップＳ３４において、ＯＫ信号の受信を確認した後、ステップＳ３５において、指定した相手と音声信号による双方向の会話を実行する。

このとき、所定のユーザ端末３のマイク４６より入力した音声信号は、インタフェース４８、通信装置４４を介してシミュレーション装置１に出力される。シミュレーション装置１は、上述したように、音声信号による通信網の接続を行っているため、この音声信号は、指定されたキャラクタが対応するユーザ端末３に出力される。そして、そのユーザ端末３のスピーカ４７より出力される。

同様に、指定されたユーザ端末３のマイク４６より入力した音声信号が、キャラクタを指定したユーザ端末のスピーカ４７に出力される。これにより、双方向の音声信号による会話が行われる。

この会話は、ステップＳ３６において、ユーザ端末３のキーボード４９ａの所定のキーを操作するなどして終了が指令されるか、ステップＳ３７において、モードが合成モードに変更されたと判定されるまで繰り返し実行される。

ステップＳ３６において、会話の終了が指令されたと判定された場合においては、ステップＳ３８に進み、終了信号を出力する処理が実行される。

シミュレーション装置１は、この終了信号を受信したとき、図１０のステップＳ５８でこれを検出し、通信網の接続を解除する処理を実行する。

一方、ステップＳ３１において、モードが合成モードであると判定された場合においては、ステップＳ３９に進み、所定の仮想現実空間内における空間（地域）内に位置する不特定のキャラクタに対応するユーザ端末またはシミュレーション装置との会話が実行される。

即ち、図１０を参照して後述するように、合成モード時においては、ステップＳ６２において、所定の地域内に位置する複数のキャラクタ間において、相互に会話を行うことができるようになされる。従って、ユーザ端末３においては、この合成モードが終了されたとステップＳ４０において判定されるまで、所定の地域内の不特定のキャラクタに対応するユーザ端末またはシミュレーション装置との会話を行うことが可能となる。

単独モードにおける会話を行っている最中に、ステップＳ３７において、合成モードに変更されたと判定された場合においては、ステップＳ３７からステップＳ３９に進み、それ以降の処理が同様に実行される。

図１０は、シミュレーション装置１における会話処理の例を表している。最初にステップＳ５１において、合成モードまたは独立モードの設定処理が行われる。この設定は、シミュレーション装置１の合成モード切換釦２９ｇを操作することで行われる。次にステップＳ５２において、設定されたモードが合成モードであるか否かが判定され、合成モードではない（独立モードである）と判定された場合においては、ステップＳ５３に進み、ユーザ端末３より所定のキャラクタを指定する指定データが受信されたか否かが判定される。指定データが受信されたと判定された場合、ステップＳ５４に進み、指定データを、指定されたキャラクタが対応するユーザ端末３に出力する。

次にステップＳ５５に進み、指定データを供給したユーザ端末からＯＫ信号が受信されたか否かを判定する。ＯＫ信号が受信されていない場合、ステップＳ５６に進み、モードを独立モードから合成モードに変更するか否かを判定し、変更しない場合においては、ステップＳ５３に戻り、それ以降の処理を繰り返す。

ステップＳ５５において、ＯＫ信号を受信したと判定した場合、ステップＳ５５からステップＳ５７に進み、キャラクタを指定したユーザ端末と、ＯＫ信号を出力したユーザ端末とを、音声信号による会話が可能なように通信網を接続する処理を実行する。

次にステップＳ５８に進み、会話終了信号が受信されたか否かが判定され、受信されない場合、ステップＳ５９に進み、独立モードが変更されたか否かが判定され、変更されない場合、ステップＳ５７に戻る。これにより、キャラクタを指定したユーザ端末またはシミュレーション装置と、指定されたキャラクタのユーザ端末またはシミュレーション装置との間で、双方向の音声信号による会話が継続される。

ユーザ端末３が、図９のステップＳ３８において終了信号を出力し、シミュレーション装置１において、図１０のステップＳ５８でこれを受信したとき、ステップＳ５３に戻り、それ以降の処理を繰り返す。また、ステップＳ５９において、独立モードから合成モードに変更するか否かを判定し、変更する場合、ステップＳ５１に戻り、合成モード切換ボタン２９ｇを操作して、所定のモードを設定する処理を実行する。

ステップＳ５１において、合成モード切換ボタン２９ｇを操作することで、合成モードを設定した場合、ステップＳ５２からステップＳ６０に進み、合成モードを設定する地域を指定するか否かが判定される。合成モードを設定する地域を指定する場合、ステップＳ６１に進み、地域指定処理が実行される。

即ち、合成モードを適用する地域を設定する場合、入力装置２９の地域指定装置２９ｈを操作して、合成モードを適用する地域として所定の地域が指定される。

例えば、仮想現実空間を形成する都市空間において、その所定のブロックのビルや住居において停電が発生したことを想定し、その場合における各キャラクタの動きを把握したいような場合、そのブロック内において合成モードを設定することができる。あるいはまた、仮想現実空間を形成する所定の位置に、道路を形成し、その道路を走行する車輌による騒音の及ぼす影響を調べるような場合において、その道路から所定の範囲内の地域を指定することができる。

ステップＳ６０において、特に地域を指定する必要がないと判定された場合、ステップＳ６１の地域指定処理はスキップされる。この場合においては、全ての地域（仮想現実空間を形成する全ての空間）に合成モードが設定されることになる。

次にステップＳ６２に進み、指定された地域、あるいは全ての空間に位置するキャラクタに対応するユーザ端末３の音声信号による通信網を相互に接続し、ステップＳ６３において、それらによる音声信号による会話を行わせる。この処理は、ステップＳ６４において、合成モードから独立モードへモードを変更すると判定されるまで繰り返し実行される。

この合成モード時においては、合成モードが設定されている地域内においては、その地域に位置するキャラクタの対応するユーザ端末が発生する音声信号が全て合成されて、他のユーザ端末に供給される。これに対して、独立モードにおいては、キャラクタを指定したユーザ端末と、指定されたキャラクタに対応するユーザ端末との間においてのみ会話が行われる。

しかしながら、このような会話は、現実の空間においては有り得ないことである。即ち、現実の空間においては、常に周囲のキャラクタからの音声信号が入力されている。換言すれば、このような意図しない周囲のキャラクタからの音声信号が入力されている状態が、より自然に近い状態である。従って、より自然に近い状態を実現するには、この合成モードが設定される。

但し、所定の地域内に位置するキャラクタが発生する音声信号を、全て同一レベルで合成し、各ユーザ端末に供給するようにすると、各ユーザ端末において、音声信号を実質的に聞き取ることが困難になる。そこで、各ユーザ端末に対しては、その対応するキャラクタを中心として、そのキャラクタから遠い位置に位置するキャラクタが出力する音声信号は、その距離が遠いほど大きく減衰するようにして合成する。このようにすることで、より現実空間に近い臨場感を発生させることができる。

この仮想現実空間において提供される画像は、基本的にコンピュータグラフィックスにより生成された精度の高い画像である。従って、これをあらゆる角度から見ることで、現実の空間における都市空間と殆ど同様の体験を、各ユーザ端末に体験させることができる。

この仮想現実空間には、多数のビルや住居、川などが適宜配置される。そして、複数のユーザ端末に対応するキャラクタを移動させる処理を実行させることによって、その都市空間における問題点を把握することが可能となる。

本発明のシミュレーションシステムの構成例を示すブロック図である。図１のシミュレーション装置１の構成例を示すブロック図である。図１のユーザ端末３の構成例を示すブロック図である。図１のシミュレーションシステムにより形成される仮想現実空間を説明する図である。図４のキャラクタＣからの視野を説明する図である。図４のキャラクタＤからの視野を説明する図である。図１のユーザ端末３の処理を説明するフローチャートである。図１のシミュレーション装置１の処理を説明するフローチャートである。図１のユーザ端末３の会話処理を説明するフローチャートである。図１のシミュレーション装置１の会話処理を説明するフローチャートである。

符号の説明

１シミュレーション装置，２データベース，３，３−１乃至３−Ｎユーザ端末，２１ＣＰＵ，２２ＲＯＭ，２３ＲＡＭ，２４通信装置，２５表示装置，２６マイク，２７スピーカ，２８インタフェース，２９入力装置，２９ａキーボード，２９ｂマウス，２９ｃ視点入力装置，２９ｄ移動入力装置，２９ｅ俯瞰モード切換釦，２９ｆ俯瞰視点入力装置，２９ｇ合成モード切換釦，２９ｈ地域指定装置，４１ＣＰＵ，４２ＲＯＭ，４３ＲＡＭ，４４通信装置，４５表示装置，４６マイク，４７スピーカ，４８インタフェース，４９入力装置，４９ａキーボード，４９ｂマウス，４９ｃ視点入力装置，４９ｄ移動入力装置，４９ｅ俯瞰モード切換釦，４９ｆ俯瞰視点入力装置

Claims

３次元の仮想空間を形成する画像データを記憶する記憶手段と、
前記記憶手段に記憶されている仮想空間の画像データを供給する供給手段と、
前記供給手段より前記仮想空間の画像データを受信して、仮想空間画像を生成する、前記供給手段に接続された複数の受信手段と
を備えるシミュレーションシステムにおいて、
前記受信手段は、前記仮想空間上において対応するキャラクタを有し、前記キャラクタの位置を入力して、前記供給手段に送信するとともに、前記キャラクタに対応する音声信号を前記供給手段に送信し、
前記供給手段は、前記キャラクタの位置に対応する描画情報を前記記憶手段から読み出して、前記受信手段に供給するとともに、前記受信手段から供給された前記キャラクタの位置のデータを他の前記受信手段に供給し、
前記受信手段は、前記供給手段から、前記キャラクタの位置に対応する前記描画情報と、自分以外の前記受信手段のキャラクタの位置の提供を受けて仮想空間画像を生成し、
前記供給手段は、前記仮想空間において地域が指定されることにより、前記キャラクタに対応する音声信号の合成を行う範囲を設定する設定手段をさらに備え、
前記供給手段は、前記設定手段により設定された範囲内に位置する複数の前記キャラクタに対応する音声信号を合成して、受信手段に供給する
シミュレーションシステム。
前記受信手段と供給手段の少なくとも一方は、自分のキャラクタを表示せず、自分以外のキャラクタを表示するキャラクタモードと、自分以外のキャラクタと自分のキャラクタの両方を表示する俯瞰モードとを切り換える俯瞰モード切換手段を有する
請求項１に記載のシミュレーションシステム。
前記受信手段と供給手段の少なくとも一方は、前記俯瞰モード時における俯瞰視点を入力する俯瞰視点入力手段を備える
請求項２に記載のシミュレーションシステム。
前記供給手段は、複数の前記キャラクタに対応する音声信号を合成する合成モードと、特定のキャラクタに対応する音声信号を授受する独立モードとを選択する選択手段を備える
請求項１記載に記載のシミュレーションシステム。
前記受信手段は、前記供給手段から提供された前記画像データと他のユーザ端末の前記キャラクタの位置のデータを用いて、自己に対応するキャラクタを表示せずに、自己以外のユーザ端末に対応するキャラクタを表示する仮想空間画像を生成する
請求項１に記載のシミュレーションシステム。
ユーザ端末に仮想空間を形成するデータを提供する仮想空間提供装置において、
仮想空間を形成するデータを記憶する記憶手段と、
複数の前記ユーザ端末から、前記ユーザ端末に対応する仮想空間上のキャラクタの位置に対応するデータ、および前記キャラクタに対応する音声信号を受信する受信手段と、
受信した前記ユーザ端末に対応するキャラクタの位置に対応するデータに対応する描画情報を前記記憶手段から読み出して前記ユーザ端末に送信すると共に、前記ユーザ端末から受信した前記キャラクタの位置のデータを他のユーザ端末に送信する送信手段と、
複数の前記ユーザ端末から受信した前記キャラクタに対応する音声信号を合成する合成手段と、
前記仮想空間において地域が指定されることにより前記キャラクタに対応する音声信号の合成を行う範囲を設定する設定手段とを備え、
前記合成手段は、前記設定手段により設定された範囲内に位置する複数の前記ユーザ端末の前記キャラクタに対応する音声信号を合成し、
前記送信手段は、前記合成した音声信号を前記ユーザ端末にさらに送信する
仮想空間提供装置。
前記合成手段は、各ユーザ端末に対応するキャラクタを中心として、そのキャラクタから遠い位置に位置するキャラクタに対応するユーザ端末から受信した音声信号は、その距離が遠いほど大きく減衰するようにして合成する
請求項６に記載の仮想空間提供装置。
複数のユーザ端末から受信した音声信号を合成して送信するモードと、特定のユーザ端末から受信した音声信号を送信するモードとを選択する選択手段を更に備える
請求項６に記載の仮想空間提供装置。
ユーザ端末に仮想空間を形成するデータを提供する仮想空間提供装置の仮想空間提供方法において、
複数の前記ユーザ端末から、前記ユーザ端末に対応する仮想空間上のキャラクタの位置に対応するデータおよび前記キャラクタに対応する音声信号を受信する受信ステップと、
受信した前記ユーザ端末に対応するキャラクタの位置に対応するデータに対応する描画情報を前記ユーザ端末に送信する送信ステップと、
前記ユーザ端末から受信した前記キャラクタの位置のデータを他のユーザ端末に送信するステップと、
前記仮想空間において地域が指定されることにより、前記キャラクタに対応する音声信号の合成を行う範囲を設定するステップと、
前記設定された範囲内に位置する複数の前記ユーザ端末から受信した前記キャラクタに対応する音声信号を合成するステップとを備え、
前記合成した音声信号を前記ユーザ端末にさらに送信する
仮想空間提供方法。
前記合成ステップは、各ユーザ端末に対応するキャラクタを中心として、そのキャラクタから遠い位置に位置するキャラクタに対応するユーザ端末から受信した音声信号は、その距離が遠いほど大きく減衰するようにして合成する
請求項９に記載の仮想空間提供方法。
シミュレーション装置から仮想空間を形成するデータの提供を受けるユーザ端末装置において、
前記ユーザ端末装置に対応する仮想空間上のキャラクタの位置を入力する入力手段と、
前記入力された前記ユーザ端末装置に対応する仮想空間上のキャラクタの位置に対応するデータ、および前記キャラクタに対応する音声信号を前記シミュレーション装置に送信する送信手段と、
送信した前記ユーザ端末装置に対応するキャラクタの位置に対応するデータに対応する描画情報を前記シミュレーション装置から受信すると共に、他のユーザ端末装置の前記キャラクタの位置のデータを受信する受信手段と、
前記描画情報と他のユーザ端末装置の前記キャラクタの位置のデータを用いて、前記ユーザ端末装置に対応する仮想空間上のキャラクタの位置における仮想空間画像を生成する生成手段とを備え、
前記受信手段は、前記仮想空間において地域が指定されることにより、前記キャラクタに対応する音声信号の合成を行う範囲が設定され、前記設定された範囲内に位置する複数のキャラクタに対応する音声信号が合成され、前記合成された音声信号を前記シミュレーション装置から受信する
ユーザ端末装置。
前記生成手段は、前記描画情報と他のユーザ端末装置の前記キャラクタの位置のデータを用いて、自己に対応するキャラクタを表示せずに、自己以外のユーザ端末装置に対応するキャラクタを表示する仮想空間画像を生成する
請求項１１に記載のユーザ端末装置。
前記生成手段は、前記描画情報と他のユーザ端末装置の前記キャラクタの位置のデータを用いて、俯瞰視点から見た自己に対応するキャラクタを含む仮想空間画像を生成する
請求項１１に記載のユーザ端末装置。
前記生成手段は、前記描画情報と他のユーザ端末装置の前記キャラクタの位置のデータを用いて、自己に対応するキャラクタを表示せずに、自己以外のユーザ端末に対応するキャラクタを表示する仮想空間画像を生成するキャラクタモードと、俯瞰視点から見た自己に対応するキャラクタを含む仮想空間画像を生成する俯瞰モードとを有し、
前記キャラクタモードと俯瞰モードとを切り替える俯瞰モード切替手段を更に備える
請求項１１に記載のユーザ端末装置。
シミュレーション装置から仮想空間を形成するデータの提供を受けて、仮想空間画像を生成するユーザ端末装置の仮想空間画像生成方法において、
前記ユーザ端末装置に対応する仮想空間上のキャラクタの位置を入力する入力ステップと、
前記入力された前記ユーザ端末装置に対応する仮想空間上のキャラクタの位置に対応するデータ、および前記キャラクタに対応する音声信号を前記シミュレーション装置に送信する送信ステップと、
送信した前記ユーザ端末装置に対応するキャラクタの位置に対応するデータに対応する描画情報を前記シミュレーション装置から受信する受信ステップと、
他のユーザ端末装置の前記キャラクタの位置のデータを受信するステップと、
前記描画情報と他のユーザ端末装置の前記キャラクタの位置のデータを用いて、前記ユーザ端末装置に対応する仮想空間上のキャラクタの位置における仮想空間画像を生成する生成ステップと、
前記仮想空間において地域が指定されることにより、前記キャラクタに対応する音声信号の合成を行う範囲が設定され、前記設定された範囲内に位置する複数のキャラクタに対応する音声信号が合成され、前記合成された音声信号を前記シミュレーション装置から受信するステップとを備える
仮想空間画像生成方法。
前記生成ステップは、前記描画情報と他のユーザ端末装置の前記キャラクタの位置のデータを用いて、自己に対応するキャラクタを表示せずに、自己以外のユーザ端末に対応するキャラクタを表示する仮想空間画像を生成する
請求項１５に記載の仮想空間画像生成方法。
前記生成ステップは、前記描画情報と他のユーザ端末装置の前記キャラクタの位置のデータを用いて、俯瞰視点から見た自己に対応するキャラクタを含む仮想空間画像を生成する
請求項１５に記載の仮想空間画像生成方法。
前記生成ステップは、前記描画情報と他のユーザ端末装置の前記キャラクタの位置のデータを用いて、自己に対応するキャラクタを表示せずに、自己以外のユーザ端末装置に対応するキャラクタを表示する仮想空間画像を生成するキャラクタモードと、俯瞰視点から見た自己に対応するキャラクタを含む仮想空間画像を生成する俯瞰モードとを有し、
前記キャラクタモードと俯瞰モードとを切り替えるステップを更に備える
請求項１５に記載の仮想空間画像生成方法。