JP3660198B2 - ３次元共有仮想空間表示方法、３次元共有仮想空間通信システム及び方法、仮想会議システム、並びにそのための利用者端末プログラムを記録した記録媒体 - Google Patents
３次元共有仮想空間表示方法、３次元共有仮想空間通信システム及び方法、仮想会議システム、並びにそのための利用者端末プログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP3660198B2 JP3660198B2 JP2000109713A JP2000109713A JP3660198B2 JP 3660198 B2 JP3660198 B2 JP 3660198B2 JP 2000109713 A JP2000109713 A JP 2000109713A JP 2000109713 A JP2000109713 A JP 2000109713A JP 3660198 B2 JP3660198 B2 JP 3660198B2
- Authority
- JP
- Japan
- Prior art keywords
- virtual space
- user
- information
- computer graphics
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000004891 communication Methods 0.000 title claims description 64
- 238000000034 method Methods 0.000 title claims description 26
- 238000003384 imaging method Methods 0.000 claims description 8
- 238000013515 script Methods 0.000 description 32
- 230000008859 change Effects 0.000 description 12
- 238000012545 processing Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Processing Or Creating Images (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、複数の利用者端末が通信回線を介して集中制御装置に接続され、複数の利用者が３次元コンピュータグラフィックスによる３次元仮想空間を共有する３次元共有仮想空間通信システムに関する。
【０００２】
【従来の技術】
従来より、多地点における複数ユーザが会議を行うシステムとして、集中制御装置を用いたテレビ会議システムや、３次元コンピュータグラフィックス（以下、３次元ＣＧという）によって表示された共有仮想空間を利用した通信システム等が存在する。そして、上記テレビ会議システムは、会議という非常に特化した目的にのみ利用されるものであり、また、上記３次元ＣＧを用いた共有仮想空間通信システムでは、利用者同士のコミュニケーションをテキストによるチャットにより行っているものが多い。
【０００３】
【発明が解決しようとする課題】
ところで、従来の集中制御装置を用いたテレビ会議システムでは、装置自体、および、会議に費やされる通信費が非常に高価なものとなるため、導入に困難があった。また、３次元ＣＧを用いた共有仮想空間通信システムにおいては、利用者の移動が自然で直感的かつ容易にできるという長所がある反面、利用者の移動に関する自由度があまりにも高いため、利用者の移動よりも利用者同士のコミュニケーションが重要となる会議等の特化した目的に利用した場合、話したい人の正面に行くことや、複数の利用者が集まって各利用者の実顔映像を参照しながら会議を行うことが非常に困難となるという弊害が生じる。
【０００４】
また、実務上の会議を支援する会議システムにおいては、利用者の実顔映像、実音声が重要であり、かつ、会議に特化しないシステムを併用することによってシステムの柔軟性を高めることが望ましい。
【０００５】
本発明は、上記事情を考慮してなされたものであり、利用者の仮想空間内における移動が自然で直感的かつ容易にできる利点を備える上に、会議等の特化した目的にも柔軟に用いることができる３次元共有仮想空間表示方法を提供することを第１の目的としている。
また、利用者の実顔映像、音声を実時間で通信する手段を提供し、それらを仮想空間内に実時間的に表示することによって、従来、テレビ会議システムでしか実現できなかったテレビ会議機能を実現すること、および、会議等の目的に特化したアプリケーションを同時に併用することによって、より柔軟性の高い３次元共有仮想空間通信システム、仮想会議システム、および、そのための利用者端末プログラムを記録した記録媒体を提供することを第２の目的としている。
【０００６】
【課題を解決するための手段】
上記課題を解決するため、本発明の３次元共有仮想空間表示方法は、３次元コンピュータグラフィックスにより描画され、複数の利用者各々が使用する利用者端末に表示される仮想空間内に、当該利用者を象徴するコンピュータグラフィックスオブジェクトを当該利用者の指示に応じて移動可能に配置した第１状態を表示するステップと、前記仮想空間内において前記複数の利用者を象徴するコンピュータグラフィックスオブジェクトを常に一定位置となるように配置した第２状態を前記利用者端末に表示するステップとを有し、前記利用者の指示に応じて前記第１表示状態と前記第２表示状態とを切り替えて前記利用者端末に表示することを特徴としている。
この発明によれば、仮想空間内における利用者の移動が自然で直感的かつ容易にできるという長所を有するとともに、必要であれば固定表示された他の利用者を参照しながら会議を行うという用途にも使用することができるため、利用者の要求に極めて柔軟な対応をすることができる。
また、本発明の３次元共有仮想空間表示方法においては、前記利用者毎の実顔映像を、前記利用者を象徴する前記コンピュータグラフィックスオブジェクトに貼り付けて表示するステップを有し、前記第２状態を前記利用者端末に表示する際には、前記コンピュータグラフィックスオブジェクトを、貼り付けられた実顔映像とともに正面を向くように表示することが好ましい。また、前記利用者の意志を表すコンピュータグラフィックスオブジェクトの動作状態が予め複数設けられ、前記利用者の指示に応じて当該動作状態を択一的に選択し、前記利用者を象徴する前記コンピュータグラフィックスオブジェクトに貼り付けて表示することが好ましい。
本発明の３次元共有仮想空間通信システムは、複数の利用者端末が通信回線を介して集中制御装置に接続され、前記集中制御装置は、各々固有のアドレスが付与された複数種類の仮想空間を定義した情報を有すると共に、該仮想空間を定義した情報の中に、仮想会議用の仮想空間を定義した情報を少なくとも１つ有し、前記複数の利用者端末の各々は、前記仮想空間を定義した情報のアドレスを指定するアドレス指定手段と、利用者の実顔映像を入力する映像入力手段と、前記利用者の音声を入力する音声入力手段と、３次元コンピュータグラフィックスにより描画される仮想空間内における前記利用者の移動情報を入力する移動情報入力手段と、他の利用者端末において表示される、前記利用者を象徴したコンピュータグラフィックスオブジェクトの動作を指示するための動作指示手段と、前記動作指示手段により動作指示された場合、その動作指示に応じて予め定められた簡易プログラムを出力する簡易プログラム出力手段と、前記入力された実顔映像、音声、移動情報、および、簡易プログラムを、前記集中制御装置を介して他の利用者端末へ同報すると共に、他の利用者端末から出力された他の利用者の実顔映像、音声、移動情報、および、簡易プログラムを、前記集中制御装置を介して受信する利用者情報入出力手段と、前記利用者情報入出力手段が受信した他の利用者の音声を再生する音声再生手段と、前記仮想空間を定義した情報と、その仮想空間にログインしている他の利用者端末から前記利用者情報入出力手段が受信した移動情報とに基づいて仮想空間を表示するための情報を生成すると共に、該仮想空間に表示する他の利用者端末の利用者を象徴するコンピュータグラフィックスオブジェクトを表示するための情報を、該受信した移動情報および簡易プログラムに基づいて生成する仮想空間制御手段と、前記仮想空間制御手段により生成された情報に基づいて、前記仮想空間と共に、前記利用者情報入出力手段が受信したそのコンピュータグラフィックスオブジェクトに対応する他の利用者の実顔映像を前記コンピュータグラフィックスオブジェクトに貼り付けて表示する仮想空間表示手段とを有し、前記仮想空間制御手段は、前記アドレス指定手段によって前記仮想会議用の仮想空間を定義した情報のアドレスが指定された場合に、前記仮想空間表示手段に表示する仮想空間を前記仮想会議用の仮想空間に切り替えるとともに、該仮想会議用の仮想空間内において、前記コンピュータグラフィックスオブジェクトの表示が常に同位置かつ正面を向くように制御することを特徴としている。
ここで、利用者を象徴したコンピュータグラフィックスオブジェクトは、２次元ＣＧにより表示されてもよいし、より精密な３次元ＣＧにより表示されてもよい。また、上記コンピュータグラフィックスオブジェクトの動作とは、そのコンピュータグラフィックスオブジェクトにより象徴される利用者の意思を示す動作のことであり、例えば、挙手、同意、拒否等の意思を示す動作が挙げられる。さらに、利用者を象徴するコンピュータグラフィックスオブジェクトの正面とは、そのコンピュータグラフィックスオブジェクトに貼り付けられた顔映像が、表示された仮想空間を見るものに対して表示される面をいう。
上記３次元共有仮想空間通信システムによれば、アドレスの指定を変更することにより、利用者は、仮想会議用の仮想空間と、仮想会議用以外の仮想空間とを容易に行き来することができ、より柔軟な３次元共有仮想空間通信システムの構築が可能となる。
また、本発明の仮想会議システムは、上記の３次元共有仮想空間通信システムのうちいずれか１つを用いて、同一仮想空間内に存在する各利用者端末の利用者間で会議を行う仮想会議システムである。
また、本発明の３次元共有仮想空間通信方法は、通信回線を介して集中制御装置に接続された複数の利用者端末の各々において実行され、該複数の利用者端末により共有される仮想空間を媒介として前記利用者端末間で通信を行うための３次元共有仮想空間通信方法であって、前記利用者端末のうちの一の利用者端末に設けられた撮像装置によって得られた前記利用者端末の利用者の実顔映像、集音装置によって得られた前記利用者の音声、移動情報入力装置から入力された前記利用者の３次元コンピュータグラフィックスにより描画される仮想空間内における移動情報、および他の利用者端末において表示される前記利用者を象徴したコンピュータグラフィックスオブジェクトの動作指示に応じて予め定められた簡易プログラムを前記集中制御装置を介して他の利用者端末へ同報すると共に、他の利用者端末に設けられた撮像装置、集音装置、移動情報入力装置からそれぞれ入力される利用者の実顔映像、音声、及び移動情報、並びに当該利用者を象徴したコンピュータグラフィックスオブジェクトの動作指示に応じて予め定められた簡易プログラムを前記集中制御装置を介して受信するステップと、前記他の利用者端末から受信した当該他の利用者の音声を再生するステップと、前記集中制御装置が有している各々固有のアドレスが付与された少なくとも１つ仮想会議用の仮想空間を含む複数種類の仮想空間を定義した情報のうち、いずれかのアドレスを指定するステップと、前記指定したアドレスが付与された仮想空間を定義した情報と、その仮想空間にログインしている他の利用者端末から受信した移動情報とに基づいて仮想空間を表示するための情報を生成すると共に、該仮想空間に表示する他の利用者端末の利用者を象徴するコンピュータグラフィックスオブジェクトを表示するための情報を、該受信した移動情報および簡易プログラムに基づいて生成するステップと、前記生成された情報に基づいて、前記仮想空間と共に、前記受信したそのコンピュータグラフィックスオブジェクトに対応する他の利用者の実顔映像を前記コンピュータグラフィックスオブジェクトに貼り付けて表示するステップと、前記仮想会議用の仮想空間を定義した情報のアドレスが指定された場合に、表示される前記仮想空間を前記仮想会議用の仮想空間に切り替えるとともに、該仮想会議用の仮想空間内において、前記コンピュータグラフィックスオブジェクトの表示が常に同位置かつ正面を向くように制御するステップとを有することを特徴としている。
また、本発明のコンピュータ読み取り可能な記録媒体は、通信回線を介して集中制御装置に接続された複数の利用者端末の各々において実行され、該複数の利用者端末により共有される仮想空間を媒介として前記利用者端末間で通信を行うためのプログラムを記録したコンピュータ読みとり可能な記録媒体であって、前記利用者端末のうちの一の利用者端末に設けられた撮像装置によって得られた前記利用者端末の利用者の実顔映像、集音装置によって得られた前記利用者の音声、移動情報入力装置から入力された前記利用者の３次元コンピュータグラフィックスにより描画される仮想空間内における移動情報、および他の利用者端末において表示される前記利用者を象徴したコンピュータグラフィックスオブジェクトの動作指示に応じて予め定められた簡易プログラムを前記集中制御装置を介して他の利用者端末へ同報すると共に、他の利用者端末に設けられた撮像装置、集音装置、移 動情報入力装置からそれぞれ入力される利用者の実顔映像、音声、及び移動情報、並びに当該利用者を象徴したコンピュータグラフィックスオブジェクトの動作指示に応じて予め定められた簡易プログラムを前記集中制御装置を介して受信するステップと、前記他の利用者端末から受信した当該他の利用者の音声を再生するステップと、前記集中制御装置が有している各々固有のアドレスが付与された少なくとも１つ仮想会議用の仮想空間を含む複数種類の仮想空間を定義した情報のうち、いずれかのアドレスを指定するステップと、前記指定したアドレスが付与された仮想空間を定義した情報と、その仮想空間にログインしている他の利用者端末から受信した移動情報とに基づいて仮想空間を表示するための情報を生成すると共に、該仮想空間に表示する他の利用者端末の利用者を象徴するコンピュータグラフィックスオブジェクトを表示するための情報を、該受信した移動情報および簡易プログラムに基づいて生成するステップと、前記生成された情報に基づいて、前記仮想空間と共に、前記受信したそのコンピュータグラフィックスオブジェクトに対応する他の利用者の実顔映像を前記コンピュータグラフィックスオブジェクトに貼り付けて表示するステップと、前記仮想会議用の仮想空間を定義した情報のアドレスが指定された場合に、表示される前記仮想空間を前記仮想会議用の仮想空間に切り替えるとともに、該仮想会議用の仮想空間内において、前記コンピュータグラフィックスオブジェクトの表示が常に同位置かつ正面を向くように制御するステップとを前記コンピュータに実行させることを特徴としている。
【０００７】
【発明の実施の形態】
以下、本発明に係る３次元共有仮想空間通信システム（以下、単に通信システムという）の実施形態について図面を参照して詳細に説明する。本実施形態は、ネットワークを介して接続された複数の利用者端末および共有仮想空間通信サービス集中制御装置（以下、サーバという）から構成される多人数参加型３次元共有仮想空間通信システムである。
【０００８】
上述した通信システムでは、複数の利用者端末で仮想的な空間モデル（以下、仮想空間という）を共有しており、各利用者端末の利用者は、移動情報入力装置（後述する）を用いて上記仮想空間内における自己の視点位置および視点方向を変化させると、その視点位置および視点方向から見た仮想空間内の景観を３次元ＣＧで生成して表示装置に表示する。また、それと同時に、サーバおよび他の利用者端末に対して自己の視点位置および視点方向の情報を送信する。
【０００９】
さらに、各利用者端末は、サーバを介して受信した他の利用者を象徴するＣＧ像を仮想空間の中に生成，表示し、実時間で送られてくるその利用者の実顔映像を上記ＣＧ像に貼り付けると共に、実時間で送られてくるその利用者の音声を再生することによって、本実施形態の通信システムの利用者間における通信を実現する。
【００１０】
上記の通信システムの構成は、図１に示すように、ネットワーク３０を介して接続された複数の利用者端末１−１，１−２およびサーバ２０から構成される。ここで、図１においては、２台の利用者端末についてのみ図示しているが、さらに多くの利用者端末を用いて通信システムを構成してもよい。
【００１１】
この図に示したように、利用者端末１−１，１−２は、それぞれ、サーバ２０を介して他の利用者端末との間でやりとりされる各種情報（後述する）を制御するための利用者端末装置１０と、それに接続された仮想空間表示用のディスプレイ１１、他の利用者の音声もしくは効果音等を再生するためのスピーカ１２、利用者の顔映像を撮影するためのビデオカメラ１３（撮像装置）、利用者の音声もしくは効果音等を録音するためのマイク１４（集音装置）、および、仮想空間内を移動する場合、視点位置と視点方向等を指示するための移動情報入力装置１５とから構成されている。
【００１２】
なお、上記スピーカ１２の代わりにヘッドフォンを利用してもよい。また、移動情報入力装置１５としては、ジョイスティックやマウス等のポインティングデバイスが使用される。
【００１３】
サーバ２０は、図２に示すように、ネットワーク３０を介して各種情報の送受信を行うネットワーク制御部２１と、各利用者端末において撮影された利用者の実顔映像の映像情報を受信し、適切な利用者端末に対してネットワーク制御部２１を介して配信する映像制御部２２と、各利用者端末において録音された利用者の音声情報を受信し、適切な利用者端末に対してネットワーク制御部２１を介して配信する音声制御部２３と、各利用者端末から受信した各利用者の仮想空間における視点位置・視点方向情報を適切な利用者端末に対してネットワーク制御部２１を介して配信すると共に、サーバ２０が管理する仮想空間にログインしている利用者のアバタ情報（後述する）を保持しているユーザ情報制御部２４と、各利用者端末から受信した簡易プログラム（スクリプト）を、特定の利用者端末に対して送信、もしくは、全ての利用者端末に対して同報する等の処理を行うスクリプト制御部２５とから構成される。
【００１４】
また、サーバ２０は、図示せぬ記憶装置に仮想空間を定義した情報を有している。この仮想空間としては、例えば１つの街を定義したもの、建物を定義したもの、または、１つの部屋を定義したもの等が考えられる。この仮想空間を定義した情報には、固有のアドレス（以下、ワールドアドレス）が付与されており、上述した利用者端末において、あるワールドアドレスが指定された場合、そのワールドアドレスに対応する仮想空間の情報が利用者端末へ送信される。そして、利用者端末は、受信した仮想空間の情報に基づいて、３次元ＣＧによる仮想空間をディスプレイ１１に表示する。
【００１５】
次に、利用者端末１−１，１−２は、それぞれ図３に示すように、以下に述べるモジュールから構成されている。まず、ネットワーク制御部１０１は、ネットワーク３０を介して各種情報の送受信を行う。また、ユーザ情報制御部１０２は、他の利用者端末から送信されてくる実顔映像情報、音声情報、視点位置・視点方向情報、スクリプトをネットワーク制御部１０１を介して受信し、これら各種情報を各々処理すべき部位（後述する）へ出力する。また、ビデオカメラ１３，マイク１４，移動情報入力装置１５から入力される、自利用者端末の利用者の実顔映像情報、音声情報、視点位置・視点方向情報、および、スクリプトの各種情報をネットワーク制御部１０１へ出力する。
【００１６】
顔映像入力部１０３は、ビデオカメラ１３から入力された利用者の実顔映像情報を録画し、ユーザ情報制御部１０２およびネットワーク制御部１０１を介してサーバ２０に逐次送信する。音声入力部１０４は、マイク１４から入力された利用者の音声情報を録音し、ユーザ情報制御部１０２およびネットワーク制御部１０１を介してサーバ２０に逐次送信する。
【００１７】
移動情報入力部１０５は、移動情報入力装置１５によって入力された視点位置情報を、当該利用者の仮想空間内における視点位置として、ユーザ情報制御部１０２およびネットワーク制御部１０１を介してサーバ２０へ送信する。音声出力部１０６は、サーバ２０からネットワーク制御部１０１およびユーザ情報制御部１０２を介して受信した他の利用者の音声を、スピーカ１２を介して出力する。
【００１８】
アバタ情報管理部１０７は、簡易アバタを表示するための内部データ（以下、アバタ情報という）を管理する。ここで、アバタとは、本実施形態の通信システムにおいて、仮想空間内に表示される他の利用者を象徴するＣＧオブジェクトのことである。また、本実施形態では、上記アバタの表示に２次元ＣＧオブジェクトを用いるため「簡易アバタ」と称している。なお、上記他の利用者を簡易アバタでなく、３次元ＣＧオブジェクトを用いて表示するようにしてもよいことはいうまでもない。
【００１９】
本実施形態のアバタ情報管理部１０７によって管理されるアバタ情報の内容は、▲１▼アバタＩＤ、▲２▼アバタ位置、▲３▼利用フラグ、▲４▼利用者ＩＤ、▲５▼アニメーション状態、の５つがある。▲１▼アバタＩＤは、他の利用者を象徴するアバタ情報に対して一意に付与される番号である。また、▲２▼アバタ位置は、仮想空間内に表示される各簡易アバタの位置を（ｘ，ｙ，ｚ）の座標値によって表したものである。ここで、Ｘ座標とＹ座標は、３次元仮想空間が表示されるディスプレイ１１の表示面上における位置を示し、Ｚ座標は、ディスプレイ１１の表示面から奥行き方向における位置を示している。なお、Ｘ座標とＹ座標の値は、それぞれ０．０〜１．０の範囲内で示されるものとする。
【００２０】
▲３▼利用フラグは、簡易アバタが利用されているか否かを示すフラグである。▲４▼利用者ＩＤは、利用されている簡易アバタに対応する利用者のＩＤを示す。▲５▼アニメーション状態は、仮想空間内に表示された簡易アバタの動作状態を示す値であり、NORMAL（通常状態），RAISEHAND（挙手状態），OK（同意状態），NOTOK（拒否状態）の４つの状態を示す。これら４つの動作状態（ジェスチャ）は、利用者の指示に応じて切り替えられ、これにより、上記利用者の意思を他の利用者に伝えることができる。
【００２１】
スクリプト制御部１０８は、サーバ２０からネットワーク制御部１０１およびユーザ情報制御部１０２を介して受信した各種情報の中にスクリプトが含まれていた場合、そのスクリプトを解釈し、その内容に従った処理をアバタ情報管理部１０７に依頼する。仮想空間制御部１０９は、サーバ２０からダウンロードした仮想空間を定義する情報に基づいて、移動情報入力部１０５から得られた視点位置・視点方向に応じた３次元ＣＧによる仮想空間を表示するための情報を生成する。また、移動情報入力部１０５から得られた利用者の視点位置，視点方向、および、アバタ情報管理部１０７に保持されたアバタ情報に基づいて、上記仮想空間内に簡易アバタを表示するための情報を生成する。
【００２２】
仮想空間生成部１１０は、仮想空間制御部１０９により生成された仮想空間および簡易アバタを表示するための情報に基づいて、当該仮想空間および簡易アバタの表示データを生成してディスプレイ１１へ出力する。またこの時、ネットワーク制御部１０１およびユーザ情報制御部１０２を介して得られた他の利用者の顔映像を、その利用者に対応する簡易アバタの顔の部分に逐次貼り付けてディスプレイ１１へ出力する。
【００２３】
ここで、上記通信システムにおける利用者端末のディスプレイ１１に表示される画面の一例を図４に示す。この図において、仮想空間表示領域４０には、３次元ＣＧモデルによる仮想空間と、その仮想空間内に存在する他の利用者を表す簡易アバタＳＡとが表示される。また、各簡易アバタＳＡの顔の部分には、その簡易アバタに対応する利用者の実顔映像ＦＩが実時間で貼り付けられる。自映像表示領域４１には、ビデオカメラ１３により撮影された利用者自身の顔映像が表示される。
【００２４】
アバタ動作指示ボタン４２は、その利用者端末の利用者（以下、当該利用者という）の意思を、他の利用者に対して示すためのボタンであり、本実施形態では、「通常」，「挙手」，「同意」，「拒否」の４つの意思表示に対応したボタンが設けられている。そして、これらのボタンが押下されると、他の利用者端末において、当該利用者の簡易アバタの表示が、押下されたボタンの動作に対応した表示に更新される。すなわち、例えば、ある利用者が「挙手」ボタンを押下すると、他の利用者端末に表示されている当該利用者の簡易アバタが、手を挙げた状態に変化する。
【００２５】
また、利用者が、ログインしたいワールドアドレスをワールドアドレス入力領域４３に入力し、移動ボタン４４を押下すると、入力したワールドアドレスに対応する仮想空間を定義した情報が、サーバ２０からダウンロードされ、その情報に基づく仮想空間がディスプレイ１１に表示される。
【００２６】
なお、上述した各構成において、ビデオカメラ１３および顔映像入力部１０３は映像入力手段に対応し、マイク１４および音声入力部１０４は音声入力手段に対応する。また、移動情報入力装置１５および移動情報入力部１０５は、移動情報入力手段に対応し、音声出力部１０６およびスピーカ１２は音声出力手段に対応する。また、ネットワーク制御部１０１およびユーザ情報制御部１０２は、利用者情報入出力手段に対応するが、ユーザ情報制御部１０２は簡易プログラム出力手段にも対応している。
【００２７】
また、アバタ情報管理部１０７、スクリプト制御部１０８、および、仮想空間制御部１０９は、仮想空間制御手段に対応し、仮想空間生成部１１０およびディスプレイ１１は仮想空間表示手段に対応する。さらに、アバタ動作指示ボタン４２は動作指示手段に対応し、ワールドアドレス入力領域４３および移動ボタン４４はアドレス指定手段に対応する。
【００２８】
次に、上記通信システムにおける簡易アバタの表示方法について、図５を参照して説明する。図５は、当該利用者の仮想空間内における視点位置ＶＰおよび３次元ＣＧが実際に表示される面（視野面）ＶＡとの関係を示しているが、この図においては、説明を簡単にするためＹ軸について省略している。また、図５中、角度αは、利用者の視点位置ＶＰから視野面ＶＡに対する角度を表している。なお、Ｙ座標に対する表示処理は、以下に説明するＸ座標に対する処理と同様である。
【００２９】
まず、初期状態における簡易アバタＳＡの位置は、前述したアバタ情報管理部１０７内に記憶されている予め定められた簡易アバタＳＡの初期位置（ｘ0，ｙ0，ｚ0）となる。 そして、移動情報入力装置１５（図３参照）によって当該利用者の仮想空間内における視点位置または視点方向が動かされた場合、簡易アバタＳＡの位置（ｘ1，ｙ1，ｚ1）を、 角度の比率を用いた以下の式によって求まる位置とする。
ｘ1＝（ｘ0−０．５）×α×ｚ0
ｙ1＝（ｙ0−０．５）×α×ｚ0
ｚ1＝ｚ0
そして、現在の視点位置ＶＰを起点として、求まった簡易アバタの位置へ簡易アバタＳＡを移動させる。
【００３０】
具体的には、仮想空間制御部１０９において、まず、仮想空間内における利用者の現在の視点位置（ｘP，ｙP，ｚP） および視点方向（ｘO，ｙO，ｚO，ｗO）を取得する。そして、簡易アバタを上記視点位置（ｘP，ｙP，ｚP ）に移動し、簡易アバタの方向を上記視点方向（ｘO，ｙO，ｚO，ｗO）と同じにする。さらに、現在の視点位置（ｘP，ｙP，ｚP）を基点として、簡易アバタを上記の式により求められた位置（ｘ1，ｙ1，ｚ1）へ移動させる。このような処理を行うことにより、利用者の視点位置・視点方向が変化しても、簡易アバタを、常に、同位置かつディスプレイ１１を見ている利用者に対して正面（すなわち、顔映像が表示される面）をむけるように表示させることができる。
【００３１】
次に、アバタ情報処理フローを図６に示す。この図に示すフローチャートは、利用者端末装置１０において実行される種々の処理のうち、新たな他の利用者が仮想空間にログインしてきた場合、および、既に仮想空間内に存在していた他の利用者がログアウトしたの時の処理を示している。
【００３２】
まず、アバタ情報管理部１０７は、サーバ２０のユーザ情報制御部２４が管理する現在の他の利用者に関するアバタ情報を、ネットワーク制御部１０１およびユーザ情報制御部１０２を介して取得する（ステップＳａ１）。ここで、上述した他の利用者に関するアバタ情報は、アバタＩＤ，利用フラグ，アニメーション状態が、各利用者ＩＤ毎にまとめられているため、以下、ユーザリストと称する。
【００３３】
そして、サーバ２０から取得したユーザリストと、アバタ情報管理部１０７が管理しているユーザリストとの比較を行い（ステップＳａ２）、上記２種類のユーザリスト内の利用者ＩＤに差異がなかった場合は、判断結果がＮＯとなり、図６における処理を終了し、他の処理へ移行する。また、上記２種類のユーザリスト内の利用者ＩＤに差異があった場合、すなわち、新規利用者ログインまたは利用者ログアウトがあった場合は、判断結果がＹＥＳとなり、アバタ情報管理部１０７は、保持しているユーザリストの更新を行う（ステップＳａ３）。
【００３４】
すなわち、新たに他の利用者がログインしてきた場合は、アバタ情報管理部１０７内のユーザリストに、新たにログインしてきた他の利用者の利用者ＩＤを追加する。また、既にログインしていた利用者がログアウトした場合は、アバタ情報管理部１０７内のユーザリストから上記ログアウトした利用者の利用者ＩＤを削除する。
【００３５】
次いで、更新したユーザリストに対するアバタ情報の更新処理を行う（ステップＳａ４）。すなわち、新たに他の利用者がログインしてきた場合は、未使用の（すなわち利用フラグがクリアされている）アバタＩＤを取得し、そのアバタＩＤの利用フラグを“１”にして、アバタＩＤと共にステップＳａ３でユーザリストに追加された利用者ＩＤに対応づけて登録する。さらに、その簡易アバタのアニメーション状態を、新たにログインしてきた他の利用者が使用している利用者端末から受信して、その利用者の利用者ＩＤに対応づけて登録する。
【００３６】
一方、他の利用者がログアウトした場合は、上記ユーザリストにおいて、当該ログアウトした利用者を表していた簡易アバタの利用フラグをクリアすると共に、そのアニメーション状態値をNORMAL（通常状態）に戻す。
【００３７】
そして、仮想空間制御部１０９に対して、更新されたアバタ情報に従った簡易アバタの更新処理を依頼する。これにより、仮想空間制御部１０９は、更新されたアバタ情報に基づいて仮想空間内における他の利用者の簡易アバタの表示内容を更新し、仮想空間生成部１１０は、この更新内容に応じた簡易アバタを含む仮想空間を構築してディスプレイ１１に表示する（ステップＳａ５）。
【００３８】
なお、特定の利用者ＩＤを持った利用者（例えば、会議の議長となる資格を持った人物）がログインしてきた場合、予め定められているその利用者の位置を指定する処理を各利用者端末で行うことにより、その利用者を議長役として、常に仮想空間の中央に表示するような方法も可能である。
【００３９】
次に、本実施形態の通信システムにおける簡易アバタの動作は、アバタイメージ変更スクリプト(AVATAR＿IMAGE＿CHANGE) を用いて表現される。すなわち、図４に示したアバタ動作指示ボタン４２が押下されると、そのボタンに対応するアニメーション状態値、および、アバタ動作指示ボタン４２を押下した利用者の利用者ＩＤを引数とするアバタイメージ変更スクリプトを、サーバ２０を介して他の利用者端末に同報する。受信側の利用者端末では、ネットワーク制御部１０１を介して、ユーザ情報制御部１０２が受信した各種情報にスクリプトが含まれていた場合、その処理をスクリプト制御部１０８に依頼する。
【００４０】
そして、スクリプト制御部１０８は、受信したスクリプトを解釈し、それがアバタイメージ変更スクリプトの場合は、受信したアバタイメージ変更スクリプトの内容に応じた処理を、アバタ情報管理部１０７に依頼する。アバタ情報管理部１０７は、対応する簡易アバタのアニメーション状態値を更新し、これにより、仮想空間制御部１０９は、更新されたアバタ情報に基づいて仮想空間内における他の利用者の簡易アバタの表示内容を更新する。そして、仮想空間生成部１１０は、更新された内容に応じた簡易アバタを含む仮想空間を構築し、ディスプレイ１１に表示する。
【００４１】
上述したアバタ動作実現のための具体的な処理フローを図７に示す。上述したように、利用者端末においてアバタ動作指示ボタン４２が押下されると、押下されたボタンに対応するアバタイメージ変更スクリプトがサーバ２０を介して、同一仮想空間にログインしている他の利用者端末に同報される。図７に示すフローチャートは、利用者端末がアバタイメージ変更スクリプトを受信した時の処理フローを示している。
【００４２】
まず、ユーザ情報制御部１０２は、ネットワーク制御部１０１を介し、サーバ２０から他の利用者に関する各種情報を受信する。その際、受信した情報の中にスクリプトが含まれている場合、受信したスクリプトの処理をスクリプト制御部１０８に依頼する。
【００４３】
これにより、スクリプト制御部１０８は、ユーザ情報制御部１０２が受信したスクリプトの種類を判断し（ステップＳｂ１）、アバタイメージ変更スクリプトでないと判断した場合は、判断結果がＮＯとなって、図７の処理を終了する。一方、アバタイメージ変更スクリプトであると判断した場合は、アバタイメージ変更スクリプトに含まれる利用者ＩＤをキーとして、その利用者のアバタ情報をアバタ情報管理部１０７から取得する（ステップＳｂ２）。
【００４４】
そして、取得したアバタ情報に含まれるアニメーション状態値を、アバタイメージ変更スクリプトに含まれている値に更新し（ステップＳｂ３）、アバタ情報管理部１０７へ戻すと共に、更新したアバタ情報を仮想空間制御部１０９へ出力する。これにより仮想空間制御部１０９は、スクリプト制御部１０８から渡されたアバタ情報に従って、当該利用者を象徴するアバタの表示状態を変更する（ステップＳｂ４）。
【００４５】
なお、以上に述べた通信システムでは、移動情報入力装置１５によって指示される視点位置および視点方向に応じて、仮想空間の景観は変化するが、他の利用者を表す簡易アバタの表示位置は変わらず、また、簡易アバタは常に正面を向く。
【００４６】
ところで、前述したように、例えば図８（ａ）に示すように、各利用者が仮想空間内を自由に移動することができる自由移動型仮想空間通信システムにおいては、各利用者の仮想空間内における移動の自由度が高くなるほど、会議等の特化した目的に利用した場合、利用者同士のコミュニケーションを行うために、利用者同士が向き合う等の行動が困難になる。
【００４７】
このような問題点を解決する通信システムとして、図８（ａ）に示す自由移動型仮想空間と、図８（ｂ）に示す多地点会議型仮想空間とを、自由に往来することができる通信システムについて説明する。図８（ｂ）に示す仮想空間では、他の利用者を表す簡易アバタを、移動情報を一切反映させずに表示する。すなわち、この図に示す画面を見ている利用者（以下、ユーザＡという）による移動指示があった場合、仮想空間内におけるユーザＡの視点位置および視点方向が変化しても、各簡易アバタが常に正面を向き、かつ、一定位置となるように、逐次、表示制御を行う。
【００４８】
上述した多地点会議型仮想空間通信システムにおける表示画面を、より詳細に示したものを図９に示す。なお、この図において、図４に示した表示画面と同じ構成については同一の符号を付し、その説明を省略する。この図に示す表示画面の、仮想空間表示領域４０’に表示される他の利用者を表す簡易アバタは、それぞれ仮想空間内のＺ軸（図５参照）上において互いに同位置に表示され、かつ、ユーザＡに正面を向けるように表示される。
【００４９】
また、これら簡易アバタは、各利用者の実顔映像を貼り付けるためのオブジェクトＦＯと、利用者の意思に応じた動作を示す絵を貼り付けるためのオブジェクトＪＯとから構成されている。また、ユーザＡがアバタ動作指示ボタン４２のいずれかのボタンを押下すると、他の利用者端末において表示されるユーザＡを表す簡易アバタのオブジェクトＪＯの表示が、押下されたボタンに応じた動作状態に変更される。図９に示す各オブジェクトＪＯの表示は、図中左から順に「同意」，「挙手」，「拒否」の状態を示している。
【００５０】
なお、サーバ２０の図示せぬ記憶装置に、会議室用の仮想空間として、図９に示した仮想空間表示領域４０’に表示される仮想空間（多地点会議型仮想空間）を定義した情報と、会議参加者の待合室用の仮想空間として、例えば図８（ａ）に示した自由移動型仮想空間を定義した情報とに、各々固有のアドレスを付して記憶させておき、図３に示す構成の利用者端末を用いて、ディスプレイ１１に表示された図９のワールドアドレス入力領域４３に所望するワールドアドレスを入力して移動ボタン４４を押下することで、上述した２つの種類の異なった仮想空間を自由に行き来可能とした、より柔軟なシステムの構築も可能である。
【００５１】
また、図９に示される会議室用の仮想空間内に、ドアを表示させておき、利用者がそのドアをマウス等によってクリックすると、待合室用の仮想空間へと移動するようにしてもよい。なお、上述したような異なる種類の仮想空間をそれぞれ定義した各情報は、各々に固有のワールドアドレスが付与されていれば、１台のサーバに接続された記憶装置にすべて記憶させてもよいし、複数のサーバに各々接続された各記憶装置に分けて記憶させるようにしてもよい。
【００５２】
なお、図３におけるネットワーク制御部１０１，ユーザ情報制御部１０２，顔映像入力部１０３，音声入力部１０４，移動情報入力部１０５，音声出力部１０６，アバタ情報管理部１０７，スクリプト制御部１０８，仮想空間制御部１０９，仮想空間生成部１１０の機能、および、図６，図７に示す処理を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより他の利用者端末との通信を行ってもよい。
【００５３】
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に制限されず、本発明の範囲内で自由に変更が可能である。例えば、会議等の用途においては、利用者同士の実顔を互いに見ながら会話を行うことが、コミュニケーションを図る上で重要であるため、上記実施形態においては実顔映像が表示されることを前提として説明したが、本発明は実映像を表示しない場合であっても適用することができる。
【００５４】
ここで、上記「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フロッピーディスク，光磁気ディスク，ＲＯＭ，ＣＤ−ＲＯＭ，ＤＶＤ等の可搬媒体、および、コンピュータシステムに内蔵されるハードディスク等の記憶装置のみならず、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように短時間の間、動的にプログラムを保持するもの（伝送媒体または伝送波）、および、その場合におけるサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持するものも含むものとする。
【００５５】
さらに、上記プログラムは、前述した機能の一部を実現するためのものであってもよく、また、前述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、すなわち、いわゆる差分ファイル（差分プログラム）であってもよい。
【００５６】
【発明の効果】
以上説明したように、本発明によれば、仮想空間内における利用者の移動が自然で直感的かつ容易にできるという長所を有するとともに、必要であれば固定表示された他の利用者を参照しながら会議を行うという用途にも使用することができるため、利用者の要求に極めて柔軟な対応をすることができるという効果がある。また、多数の利用者が３次元仮想空間を共有する通信システムにおいて、３次元共有仮想空間における自由な利用者の移動を実現する自由移動型通信システムが実現可能である。また、利用者の移動情報をアバタに反映させないことで利用者同士の会話を容易にし、会議等の特化した用途に適した多地点会議型仮想空間通信システムを実現可能である。さらに、これら用途の異なる複数種類の仮想空間を自由に行き来することを可能とすることによって、より柔軟な３次元共有仮想空間通信システムの構築が可能となる。
【図面の簡単な説明】
【図１】 本発明に係る３次元共有仮想空間通信システムの実施形態の構成を示すブロック図である。
【図２】 同３次元共有仮想空間通信システムの集中制御装置の構成を示すブロック図である。
【図３】 同３次元共有仮想空間通信システムの利用者端末の構成を示すブロック図である。
【図４】 同３次元共有仮想空間通信システムの利用者端末における表示画面の一例を示す図である。
【図５】 同３次元共有仮想空間通信システムにおける簡易アバタの表示方法を説明するための説明図である。
【図６】 同３次元共有仮想空間通信システムにおけるアバタ情報処理を示すフローチャートである。
【図７】 同３次元共有仮想空間通信システムにおけるアバタ動作処理を示すフローチャートである。
【図８】 ２種類の異なる仮想空間の一例を示した図である。
【図９】 同３次元共有仮想空間通信システムにおいて、多地点会議型仮想空間を共有仮想空間とするシステムにおける表示画面の一例を示す図である。
【符号の説明】
１−１，１−２…利用者端末、１０…利用者端末装置、１１…ディスプレイ、１２…スピーカ、１３…ビデオカメラ、１４…マイク、１５…移動情報入力装置、２０…共有仮想空間通信サービス集中制御装置（サーバ）、２１，１０１…ネットワーク制御部、２２…映像制御部、２３…音声制御部、２４，１０２…ユーザ情報制御部、２５，１０８…スクリプト制御部、３０…ネットワーク、１０３…顔映像入力部、１０４…音声入力部、１０５…移動情報入力部、１０６…音声出力部、１０７…アバタ情報管理部、１０９…仮想空間制御部、１１０…仮想空間生成部。
【発明の属する技術分野】
本発明は、複数の利用者端末が通信回線を介して集中制御装置に接続され、複数の利用者が３次元コンピュータグラフィックスによる３次元仮想空間を共有する３次元共有仮想空間通信システムに関する。
【０００２】
【従来の技術】
従来より、多地点における複数ユーザが会議を行うシステムとして、集中制御装置を用いたテレビ会議システムや、３次元コンピュータグラフィックス（以下、３次元ＣＧという）によって表示された共有仮想空間を利用した通信システム等が存在する。そして、上記テレビ会議システムは、会議という非常に特化した目的にのみ利用されるものであり、また、上記３次元ＣＧを用いた共有仮想空間通信システムでは、利用者同士のコミュニケーションをテキストによるチャットにより行っているものが多い。
【０００３】
【発明が解決しようとする課題】
ところで、従来の集中制御装置を用いたテレビ会議システムでは、装置自体、および、会議に費やされる通信費が非常に高価なものとなるため、導入に困難があった。また、３次元ＣＧを用いた共有仮想空間通信システムにおいては、利用者の移動が自然で直感的かつ容易にできるという長所がある反面、利用者の移動に関する自由度があまりにも高いため、利用者の移動よりも利用者同士のコミュニケーションが重要となる会議等の特化した目的に利用した場合、話したい人の正面に行くことや、複数の利用者が集まって各利用者の実顔映像を参照しながら会議を行うことが非常に困難となるという弊害が生じる。
【０００４】
また、実務上の会議を支援する会議システムにおいては、利用者の実顔映像、実音声が重要であり、かつ、会議に特化しないシステムを併用することによってシステムの柔軟性を高めることが望ましい。
【０００５】
本発明は、上記事情を考慮してなされたものであり、利用者の仮想空間内における移動が自然で直感的かつ容易にできる利点を備える上に、会議等の特化した目的にも柔軟に用いることができる３次元共有仮想空間表示方法を提供することを第１の目的としている。
また、利用者の実顔映像、音声を実時間で通信する手段を提供し、それらを仮想空間内に実時間的に表示することによって、従来、テレビ会議システムでしか実現できなかったテレビ会議機能を実現すること、および、会議等の目的に特化したアプリケーションを同時に併用することによって、より柔軟性の高い３次元共有仮想空間通信システム、仮想会議システム、および、そのための利用者端末プログラムを記録した記録媒体を提供することを第２の目的としている。
【０００６】
【課題を解決するための手段】
上記課題を解決するため、本発明の３次元共有仮想空間表示方法は、３次元コンピュータグラフィックスにより描画され、複数の利用者各々が使用する利用者端末に表示される仮想空間内に、当該利用者を象徴するコンピュータグラフィックスオブジェクトを当該利用者の指示に応じて移動可能に配置した第１状態を表示するステップと、前記仮想空間内において前記複数の利用者を象徴するコンピュータグラフィックスオブジェクトを常に一定位置となるように配置した第２状態を前記利用者端末に表示するステップとを有し、前記利用者の指示に応じて前記第１表示状態と前記第２表示状態とを切り替えて前記利用者端末に表示することを特徴としている。
この発明によれば、仮想空間内における利用者の移動が自然で直感的かつ容易にできるという長所を有するとともに、必要であれば固定表示された他の利用者を参照しながら会議を行うという用途にも使用することができるため、利用者の要求に極めて柔軟な対応をすることができる。
また、本発明の３次元共有仮想空間表示方法においては、前記利用者毎の実顔映像を、前記利用者を象徴する前記コンピュータグラフィックスオブジェクトに貼り付けて表示するステップを有し、前記第２状態を前記利用者端末に表示する際には、前記コンピュータグラフィックスオブジェクトを、貼り付けられた実顔映像とともに正面を向くように表示することが好ましい。また、前記利用者の意志を表すコンピュータグラフィックスオブジェクトの動作状態が予め複数設けられ、前記利用者の指示に応じて当該動作状態を択一的に選択し、前記利用者を象徴する前記コンピュータグラフィックスオブジェクトに貼り付けて表示することが好ましい。
本発明の３次元共有仮想空間通信システムは、複数の利用者端末が通信回線を介して集中制御装置に接続され、前記集中制御装置は、各々固有のアドレスが付与された複数種類の仮想空間を定義した情報を有すると共に、該仮想空間を定義した情報の中に、仮想会議用の仮想空間を定義した情報を少なくとも１つ有し、前記複数の利用者端末の各々は、前記仮想空間を定義した情報のアドレスを指定するアドレス指定手段と、利用者の実顔映像を入力する映像入力手段と、前記利用者の音声を入力する音声入力手段と、３次元コンピュータグラフィックスにより描画される仮想空間内における前記利用者の移動情報を入力する移動情報入力手段と、他の利用者端末において表示される、前記利用者を象徴したコンピュータグラフィックスオブジェクトの動作を指示するための動作指示手段と、前記動作指示手段により動作指示された場合、その動作指示に応じて予め定められた簡易プログラムを出力する簡易プログラム出力手段と、前記入力された実顔映像、音声、移動情報、および、簡易プログラムを、前記集中制御装置を介して他の利用者端末へ同報すると共に、他の利用者端末から出力された他の利用者の実顔映像、音声、移動情報、および、簡易プログラムを、前記集中制御装置を介して受信する利用者情報入出力手段と、前記利用者情報入出力手段が受信した他の利用者の音声を再生する音声再生手段と、前記仮想空間を定義した情報と、その仮想空間にログインしている他の利用者端末から前記利用者情報入出力手段が受信した移動情報とに基づいて仮想空間を表示するための情報を生成すると共に、該仮想空間に表示する他の利用者端末の利用者を象徴するコンピュータグラフィックスオブジェクトを表示するための情報を、該受信した移動情報および簡易プログラムに基づいて生成する仮想空間制御手段と、前記仮想空間制御手段により生成された情報に基づいて、前記仮想空間と共に、前記利用者情報入出力手段が受信したそのコンピュータグラフィックスオブジェクトに対応する他の利用者の実顔映像を前記コンピュータグラフィックスオブジェクトに貼り付けて表示する仮想空間表示手段とを有し、前記仮想空間制御手段は、前記アドレス指定手段によって前記仮想会議用の仮想空間を定義した情報のアドレスが指定された場合に、前記仮想空間表示手段に表示する仮想空間を前記仮想会議用の仮想空間に切り替えるとともに、該仮想会議用の仮想空間内において、前記コンピュータグラフィックスオブジェクトの表示が常に同位置かつ正面を向くように制御することを特徴としている。
ここで、利用者を象徴したコンピュータグラフィックスオブジェクトは、２次元ＣＧにより表示されてもよいし、より精密な３次元ＣＧにより表示されてもよい。また、上記コンピュータグラフィックスオブジェクトの動作とは、そのコンピュータグラフィックスオブジェクトにより象徴される利用者の意思を示す動作のことであり、例えば、挙手、同意、拒否等の意思を示す動作が挙げられる。さらに、利用者を象徴するコンピュータグラフィックスオブジェクトの正面とは、そのコンピュータグラフィックスオブジェクトに貼り付けられた顔映像が、表示された仮想空間を見るものに対して表示される面をいう。
上記３次元共有仮想空間通信システムによれば、アドレスの指定を変更することにより、利用者は、仮想会議用の仮想空間と、仮想会議用以外の仮想空間とを容易に行き来することができ、より柔軟な３次元共有仮想空間通信システムの構築が可能となる。
また、本発明の仮想会議システムは、上記の３次元共有仮想空間通信システムのうちいずれか１つを用いて、同一仮想空間内に存在する各利用者端末の利用者間で会議を行う仮想会議システムである。
また、本発明の３次元共有仮想空間通信方法は、通信回線を介して集中制御装置に接続された複数の利用者端末の各々において実行され、該複数の利用者端末により共有される仮想空間を媒介として前記利用者端末間で通信を行うための３次元共有仮想空間通信方法であって、前記利用者端末のうちの一の利用者端末に設けられた撮像装置によって得られた前記利用者端末の利用者の実顔映像、集音装置によって得られた前記利用者の音声、移動情報入力装置から入力された前記利用者の３次元コンピュータグラフィックスにより描画される仮想空間内における移動情報、および他の利用者端末において表示される前記利用者を象徴したコンピュータグラフィックスオブジェクトの動作指示に応じて予め定められた簡易プログラムを前記集中制御装置を介して他の利用者端末へ同報すると共に、他の利用者端末に設けられた撮像装置、集音装置、移動情報入力装置からそれぞれ入力される利用者の実顔映像、音声、及び移動情報、並びに当該利用者を象徴したコンピュータグラフィックスオブジェクトの動作指示に応じて予め定められた簡易プログラムを前記集中制御装置を介して受信するステップと、前記他の利用者端末から受信した当該他の利用者の音声を再生するステップと、前記集中制御装置が有している各々固有のアドレスが付与された少なくとも１つ仮想会議用の仮想空間を含む複数種類の仮想空間を定義した情報のうち、いずれかのアドレスを指定するステップと、前記指定したアドレスが付与された仮想空間を定義した情報と、その仮想空間にログインしている他の利用者端末から受信した移動情報とに基づいて仮想空間を表示するための情報を生成すると共に、該仮想空間に表示する他の利用者端末の利用者を象徴するコンピュータグラフィックスオブジェクトを表示するための情報を、該受信した移動情報および簡易プログラムに基づいて生成するステップと、前記生成された情報に基づいて、前記仮想空間と共に、前記受信したそのコンピュータグラフィックスオブジェクトに対応する他の利用者の実顔映像を前記コンピュータグラフィックスオブジェクトに貼り付けて表示するステップと、前記仮想会議用の仮想空間を定義した情報のアドレスが指定された場合に、表示される前記仮想空間を前記仮想会議用の仮想空間に切り替えるとともに、該仮想会議用の仮想空間内において、前記コンピュータグラフィックスオブジェクトの表示が常に同位置かつ正面を向くように制御するステップとを有することを特徴としている。
また、本発明のコンピュータ読み取り可能な記録媒体は、通信回線を介して集中制御装置に接続された複数の利用者端末の各々において実行され、該複数の利用者端末により共有される仮想空間を媒介として前記利用者端末間で通信を行うためのプログラムを記録したコンピュータ読みとり可能な記録媒体であって、前記利用者端末のうちの一の利用者端末に設けられた撮像装置によって得られた前記利用者端末の利用者の実顔映像、集音装置によって得られた前記利用者の音声、移動情報入力装置から入力された前記利用者の３次元コンピュータグラフィックスにより描画される仮想空間内における移動情報、および他の利用者端末において表示される前記利用者を象徴したコンピュータグラフィックスオブジェクトの動作指示に応じて予め定められた簡易プログラムを前記集中制御装置を介して他の利用者端末へ同報すると共に、他の利用者端末に設けられた撮像装置、集音装置、移 動情報入力装置からそれぞれ入力される利用者の実顔映像、音声、及び移動情報、並びに当該利用者を象徴したコンピュータグラフィックスオブジェクトの動作指示に応じて予め定められた簡易プログラムを前記集中制御装置を介して受信するステップと、前記他の利用者端末から受信した当該他の利用者の音声を再生するステップと、前記集中制御装置が有している各々固有のアドレスが付与された少なくとも１つ仮想会議用の仮想空間を含む複数種類の仮想空間を定義した情報のうち、いずれかのアドレスを指定するステップと、前記指定したアドレスが付与された仮想空間を定義した情報と、その仮想空間にログインしている他の利用者端末から受信した移動情報とに基づいて仮想空間を表示するための情報を生成すると共に、該仮想空間に表示する他の利用者端末の利用者を象徴するコンピュータグラフィックスオブジェクトを表示するための情報を、該受信した移動情報および簡易プログラムに基づいて生成するステップと、前記生成された情報に基づいて、前記仮想空間と共に、前記受信したそのコンピュータグラフィックスオブジェクトに対応する他の利用者の実顔映像を前記コンピュータグラフィックスオブジェクトに貼り付けて表示するステップと、前記仮想会議用の仮想空間を定義した情報のアドレスが指定された場合に、表示される前記仮想空間を前記仮想会議用の仮想空間に切り替えるとともに、該仮想会議用の仮想空間内において、前記コンピュータグラフィックスオブジェクトの表示が常に同位置かつ正面を向くように制御するステップとを前記コンピュータに実行させることを特徴としている。
【０００７】
【発明の実施の形態】
以下、本発明に係る３次元共有仮想空間通信システム（以下、単に通信システムという）の実施形態について図面を参照して詳細に説明する。本実施形態は、ネットワークを介して接続された複数の利用者端末および共有仮想空間通信サービス集中制御装置（以下、サーバという）から構成される多人数参加型３次元共有仮想空間通信システムである。
【０００８】
上述した通信システムでは、複数の利用者端末で仮想的な空間モデル（以下、仮想空間という）を共有しており、各利用者端末の利用者は、移動情報入力装置（後述する）を用いて上記仮想空間内における自己の視点位置および視点方向を変化させると、その視点位置および視点方向から見た仮想空間内の景観を３次元ＣＧで生成して表示装置に表示する。また、それと同時に、サーバおよび他の利用者端末に対して自己の視点位置および視点方向の情報を送信する。
【０００９】
さらに、各利用者端末は、サーバを介して受信した他の利用者を象徴するＣＧ像を仮想空間の中に生成，表示し、実時間で送られてくるその利用者の実顔映像を上記ＣＧ像に貼り付けると共に、実時間で送られてくるその利用者の音声を再生することによって、本実施形態の通信システムの利用者間における通信を実現する。
【００１０】
上記の通信システムの構成は、図１に示すように、ネットワーク３０を介して接続された複数の利用者端末１−１，１−２およびサーバ２０から構成される。ここで、図１においては、２台の利用者端末についてのみ図示しているが、さらに多くの利用者端末を用いて通信システムを構成してもよい。
【００１１】
この図に示したように、利用者端末１−１，１−２は、それぞれ、サーバ２０を介して他の利用者端末との間でやりとりされる各種情報（後述する）を制御するための利用者端末装置１０と、それに接続された仮想空間表示用のディスプレイ１１、他の利用者の音声もしくは効果音等を再生するためのスピーカ１２、利用者の顔映像を撮影するためのビデオカメラ１３（撮像装置）、利用者の音声もしくは効果音等を録音するためのマイク１４（集音装置）、および、仮想空間内を移動する場合、視点位置と視点方向等を指示するための移動情報入力装置１５とから構成されている。
【００１２】
なお、上記スピーカ１２の代わりにヘッドフォンを利用してもよい。また、移動情報入力装置１５としては、ジョイスティックやマウス等のポインティングデバイスが使用される。
【００１３】
サーバ２０は、図２に示すように、ネットワーク３０を介して各種情報の送受信を行うネットワーク制御部２１と、各利用者端末において撮影された利用者の実顔映像の映像情報を受信し、適切な利用者端末に対してネットワーク制御部２１を介して配信する映像制御部２２と、各利用者端末において録音された利用者の音声情報を受信し、適切な利用者端末に対してネットワーク制御部２１を介して配信する音声制御部２３と、各利用者端末から受信した各利用者の仮想空間における視点位置・視点方向情報を適切な利用者端末に対してネットワーク制御部２１を介して配信すると共に、サーバ２０が管理する仮想空間にログインしている利用者のアバタ情報（後述する）を保持しているユーザ情報制御部２４と、各利用者端末から受信した簡易プログラム（スクリプト）を、特定の利用者端末に対して送信、もしくは、全ての利用者端末に対して同報する等の処理を行うスクリプト制御部２５とから構成される。
【００１４】
また、サーバ２０は、図示せぬ記憶装置に仮想空間を定義した情報を有している。この仮想空間としては、例えば１つの街を定義したもの、建物を定義したもの、または、１つの部屋を定義したもの等が考えられる。この仮想空間を定義した情報には、固有のアドレス（以下、ワールドアドレス）が付与されており、上述した利用者端末において、あるワールドアドレスが指定された場合、そのワールドアドレスに対応する仮想空間の情報が利用者端末へ送信される。そして、利用者端末は、受信した仮想空間の情報に基づいて、３次元ＣＧによる仮想空間をディスプレイ１１に表示する。
【００１５】
次に、利用者端末１−１，１−２は、それぞれ図３に示すように、以下に述べるモジュールから構成されている。まず、ネットワーク制御部１０１は、ネットワーク３０を介して各種情報の送受信を行う。また、ユーザ情報制御部１０２は、他の利用者端末から送信されてくる実顔映像情報、音声情報、視点位置・視点方向情報、スクリプトをネットワーク制御部１０１を介して受信し、これら各種情報を各々処理すべき部位（後述する）へ出力する。また、ビデオカメラ１３，マイク１４，移動情報入力装置１５から入力される、自利用者端末の利用者の実顔映像情報、音声情報、視点位置・視点方向情報、および、スクリプトの各種情報をネットワーク制御部１０１へ出力する。
【００１６】
顔映像入力部１０３は、ビデオカメラ１３から入力された利用者の実顔映像情報を録画し、ユーザ情報制御部１０２およびネットワーク制御部１０１を介してサーバ２０に逐次送信する。音声入力部１０４は、マイク１４から入力された利用者の音声情報を録音し、ユーザ情報制御部１０２およびネットワーク制御部１０１を介してサーバ２０に逐次送信する。
【００１７】
移動情報入力部１０５は、移動情報入力装置１５によって入力された視点位置情報を、当該利用者の仮想空間内における視点位置として、ユーザ情報制御部１０２およびネットワーク制御部１０１を介してサーバ２０へ送信する。音声出力部１０６は、サーバ２０からネットワーク制御部１０１およびユーザ情報制御部１０２を介して受信した他の利用者の音声を、スピーカ１２を介して出力する。
【００１８】
アバタ情報管理部１０７は、簡易アバタを表示するための内部データ（以下、アバタ情報という）を管理する。ここで、アバタとは、本実施形態の通信システムにおいて、仮想空間内に表示される他の利用者を象徴するＣＧオブジェクトのことである。また、本実施形態では、上記アバタの表示に２次元ＣＧオブジェクトを用いるため「簡易アバタ」と称している。なお、上記他の利用者を簡易アバタでなく、３次元ＣＧオブジェクトを用いて表示するようにしてもよいことはいうまでもない。
【００１９】
本実施形態のアバタ情報管理部１０７によって管理されるアバタ情報の内容は、▲１▼アバタＩＤ、▲２▼アバタ位置、▲３▼利用フラグ、▲４▼利用者ＩＤ、▲５▼アニメーション状態、の５つがある。▲１▼アバタＩＤは、他の利用者を象徴するアバタ情報に対して一意に付与される番号である。また、▲２▼アバタ位置は、仮想空間内に表示される各簡易アバタの位置を（ｘ，ｙ，ｚ）の座標値によって表したものである。ここで、Ｘ座標とＹ座標は、３次元仮想空間が表示されるディスプレイ１１の表示面上における位置を示し、Ｚ座標は、ディスプレイ１１の表示面から奥行き方向における位置を示している。なお、Ｘ座標とＹ座標の値は、それぞれ０．０〜１．０の範囲内で示されるものとする。
【００２０】
▲３▼利用フラグは、簡易アバタが利用されているか否かを示すフラグである。▲４▼利用者ＩＤは、利用されている簡易アバタに対応する利用者のＩＤを示す。▲５▼アニメーション状態は、仮想空間内に表示された簡易アバタの動作状態を示す値であり、NORMAL（通常状態），RAISEHAND（挙手状態），OK（同意状態），NOTOK（拒否状態）の４つの状態を示す。これら４つの動作状態（ジェスチャ）は、利用者の指示に応じて切り替えられ、これにより、上記利用者の意思を他の利用者に伝えることができる。
【００２１】
スクリプト制御部１０８は、サーバ２０からネットワーク制御部１０１およびユーザ情報制御部１０２を介して受信した各種情報の中にスクリプトが含まれていた場合、そのスクリプトを解釈し、その内容に従った処理をアバタ情報管理部１０７に依頼する。仮想空間制御部１０９は、サーバ２０からダウンロードした仮想空間を定義する情報に基づいて、移動情報入力部１０５から得られた視点位置・視点方向に応じた３次元ＣＧによる仮想空間を表示するための情報を生成する。また、移動情報入力部１０５から得られた利用者の視点位置，視点方向、および、アバタ情報管理部１０７に保持されたアバタ情報に基づいて、上記仮想空間内に簡易アバタを表示するための情報を生成する。
【００２２】
仮想空間生成部１１０は、仮想空間制御部１０９により生成された仮想空間および簡易アバタを表示するための情報に基づいて、当該仮想空間および簡易アバタの表示データを生成してディスプレイ１１へ出力する。またこの時、ネットワーク制御部１０１およびユーザ情報制御部１０２を介して得られた他の利用者の顔映像を、その利用者に対応する簡易アバタの顔の部分に逐次貼り付けてディスプレイ１１へ出力する。
【００２３】
ここで、上記通信システムにおける利用者端末のディスプレイ１１に表示される画面の一例を図４に示す。この図において、仮想空間表示領域４０には、３次元ＣＧモデルによる仮想空間と、その仮想空間内に存在する他の利用者を表す簡易アバタＳＡとが表示される。また、各簡易アバタＳＡの顔の部分には、その簡易アバタに対応する利用者の実顔映像ＦＩが実時間で貼り付けられる。自映像表示領域４１には、ビデオカメラ１３により撮影された利用者自身の顔映像が表示される。
【００２４】
アバタ動作指示ボタン４２は、その利用者端末の利用者（以下、当該利用者という）の意思を、他の利用者に対して示すためのボタンであり、本実施形態では、「通常」，「挙手」，「同意」，「拒否」の４つの意思表示に対応したボタンが設けられている。そして、これらのボタンが押下されると、他の利用者端末において、当該利用者の簡易アバタの表示が、押下されたボタンの動作に対応した表示に更新される。すなわち、例えば、ある利用者が「挙手」ボタンを押下すると、他の利用者端末に表示されている当該利用者の簡易アバタが、手を挙げた状態に変化する。
【００２５】
また、利用者が、ログインしたいワールドアドレスをワールドアドレス入力領域４３に入力し、移動ボタン４４を押下すると、入力したワールドアドレスに対応する仮想空間を定義した情報が、サーバ２０からダウンロードされ、その情報に基づく仮想空間がディスプレイ１１に表示される。
【００２６】
なお、上述した各構成において、ビデオカメラ１３および顔映像入力部１０３は映像入力手段に対応し、マイク１４および音声入力部１０４は音声入力手段に対応する。また、移動情報入力装置１５および移動情報入力部１０５は、移動情報入力手段に対応し、音声出力部１０６およびスピーカ１２は音声出力手段に対応する。また、ネットワーク制御部１０１およびユーザ情報制御部１０２は、利用者情報入出力手段に対応するが、ユーザ情報制御部１０２は簡易プログラム出力手段にも対応している。
【００２７】
また、アバタ情報管理部１０７、スクリプト制御部１０８、および、仮想空間制御部１０９は、仮想空間制御手段に対応し、仮想空間生成部１１０およびディスプレイ１１は仮想空間表示手段に対応する。さらに、アバタ動作指示ボタン４２は動作指示手段に対応し、ワールドアドレス入力領域４３および移動ボタン４４はアドレス指定手段に対応する。
【００２８】
次に、上記通信システムにおける簡易アバタの表示方法について、図５を参照して説明する。図５は、当該利用者の仮想空間内における視点位置ＶＰおよび３次元ＣＧが実際に表示される面（視野面）ＶＡとの関係を示しているが、この図においては、説明を簡単にするためＹ軸について省略している。また、図５中、角度αは、利用者の視点位置ＶＰから視野面ＶＡに対する角度を表している。なお、Ｙ座標に対する表示処理は、以下に説明するＸ座標に対する処理と同様である。
【００２９】
まず、初期状態における簡易アバタＳＡの位置は、前述したアバタ情報管理部１０７内に記憶されている予め定められた簡易アバタＳＡの初期位置（ｘ0，ｙ0，ｚ0）となる。 そして、移動情報入力装置１５（図３参照）によって当該利用者の仮想空間内における視点位置または視点方向が動かされた場合、簡易アバタＳＡの位置（ｘ1，ｙ1，ｚ1）を、 角度の比率を用いた以下の式によって求まる位置とする。
ｘ1＝（ｘ0−０．５）×α×ｚ0
ｙ1＝（ｙ0−０．５）×α×ｚ0
ｚ1＝ｚ0
そして、現在の視点位置ＶＰを起点として、求まった簡易アバタの位置へ簡易アバタＳＡを移動させる。
【００３０】
具体的には、仮想空間制御部１０９において、まず、仮想空間内における利用者の現在の視点位置（ｘP，ｙP，ｚP） および視点方向（ｘO，ｙO，ｚO，ｗO）を取得する。そして、簡易アバタを上記視点位置（ｘP，ｙP，ｚP ）に移動し、簡易アバタの方向を上記視点方向（ｘO，ｙO，ｚO，ｗO）と同じにする。さらに、現在の視点位置（ｘP，ｙP，ｚP）を基点として、簡易アバタを上記の式により求められた位置（ｘ1，ｙ1，ｚ1）へ移動させる。このような処理を行うことにより、利用者の視点位置・視点方向が変化しても、簡易アバタを、常に、同位置かつディスプレイ１１を見ている利用者に対して正面（すなわち、顔映像が表示される面）をむけるように表示させることができる。
【００３１】
次に、アバタ情報処理フローを図６に示す。この図に示すフローチャートは、利用者端末装置１０において実行される種々の処理のうち、新たな他の利用者が仮想空間にログインしてきた場合、および、既に仮想空間内に存在していた他の利用者がログアウトしたの時の処理を示している。
【００３２】
まず、アバタ情報管理部１０７は、サーバ２０のユーザ情報制御部２４が管理する現在の他の利用者に関するアバタ情報を、ネットワーク制御部１０１およびユーザ情報制御部１０２を介して取得する（ステップＳａ１）。ここで、上述した他の利用者に関するアバタ情報は、アバタＩＤ，利用フラグ，アニメーション状態が、各利用者ＩＤ毎にまとめられているため、以下、ユーザリストと称する。
【００３３】
そして、サーバ２０から取得したユーザリストと、アバタ情報管理部１０７が管理しているユーザリストとの比較を行い（ステップＳａ２）、上記２種類のユーザリスト内の利用者ＩＤに差異がなかった場合は、判断結果がＮＯとなり、図６における処理を終了し、他の処理へ移行する。また、上記２種類のユーザリスト内の利用者ＩＤに差異があった場合、すなわち、新規利用者ログインまたは利用者ログアウトがあった場合は、判断結果がＹＥＳとなり、アバタ情報管理部１０７は、保持しているユーザリストの更新を行う（ステップＳａ３）。
【００３４】
すなわち、新たに他の利用者がログインしてきた場合は、アバタ情報管理部１０７内のユーザリストに、新たにログインしてきた他の利用者の利用者ＩＤを追加する。また、既にログインしていた利用者がログアウトした場合は、アバタ情報管理部１０７内のユーザリストから上記ログアウトした利用者の利用者ＩＤを削除する。
【００３５】
次いで、更新したユーザリストに対するアバタ情報の更新処理を行う（ステップＳａ４）。すなわち、新たに他の利用者がログインしてきた場合は、未使用の（すなわち利用フラグがクリアされている）アバタＩＤを取得し、そのアバタＩＤの利用フラグを“１”にして、アバタＩＤと共にステップＳａ３でユーザリストに追加された利用者ＩＤに対応づけて登録する。さらに、その簡易アバタのアニメーション状態を、新たにログインしてきた他の利用者が使用している利用者端末から受信して、その利用者の利用者ＩＤに対応づけて登録する。
【００３６】
一方、他の利用者がログアウトした場合は、上記ユーザリストにおいて、当該ログアウトした利用者を表していた簡易アバタの利用フラグをクリアすると共に、そのアニメーション状態値をNORMAL（通常状態）に戻す。
【００３７】
そして、仮想空間制御部１０９に対して、更新されたアバタ情報に従った簡易アバタの更新処理を依頼する。これにより、仮想空間制御部１０９は、更新されたアバタ情報に基づいて仮想空間内における他の利用者の簡易アバタの表示内容を更新し、仮想空間生成部１１０は、この更新内容に応じた簡易アバタを含む仮想空間を構築してディスプレイ１１に表示する（ステップＳａ５）。
【００３８】
なお、特定の利用者ＩＤを持った利用者（例えば、会議の議長となる資格を持った人物）がログインしてきた場合、予め定められているその利用者の位置を指定する処理を各利用者端末で行うことにより、その利用者を議長役として、常に仮想空間の中央に表示するような方法も可能である。
【００３９】
次に、本実施形態の通信システムにおける簡易アバタの動作は、アバタイメージ変更スクリプト(AVATAR＿IMAGE＿CHANGE) を用いて表現される。すなわち、図４に示したアバタ動作指示ボタン４２が押下されると、そのボタンに対応するアニメーション状態値、および、アバタ動作指示ボタン４２を押下した利用者の利用者ＩＤを引数とするアバタイメージ変更スクリプトを、サーバ２０を介して他の利用者端末に同報する。受信側の利用者端末では、ネットワーク制御部１０１を介して、ユーザ情報制御部１０２が受信した各種情報にスクリプトが含まれていた場合、その処理をスクリプト制御部１０８に依頼する。
【００４０】
そして、スクリプト制御部１０８は、受信したスクリプトを解釈し、それがアバタイメージ変更スクリプトの場合は、受信したアバタイメージ変更スクリプトの内容に応じた処理を、アバタ情報管理部１０７に依頼する。アバタ情報管理部１０７は、対応する簡易アバタのアニメーション状態値を更新し、これにより、仮想空間制御部１０９は、更新されたアバタ情報に基づいて仮想空間内における他の利用者の簡易アバタの表示内容を更新する。そして、仮想空間生成部１１０は、更新された内容に応じた簡易アバタを含む仮想空間を構築し、ディスプレイ１１に表示する。
【００４１】
上述したアバタ動作実現のための具体的な処理フローを図７に示す。上述したように、利用者端末においてアバタ動作指示ボタン４２が押下されると、押下されたボタンに対応するアバタイメージ変更スクリプトがサーバ２０を介して、同一仮想空間にログインしている他の利用者端末に同報される。図７に示すフローチャートは、利用者端末がアバタイメージ変更スクリプトを受信した時の処理フローを示している。
【００４２】
まず、ユーザ情報制御部１０２は、ネットワーク制御部１０１を介し、サーバ２０から他の利用者に関する各種情報を受信する。その際、受信した情報の中にスクリプトが含まれている場合、受信したスクリプトの処理をスクリプト制御部１０８に依頼する。
【００４３】
これにより、スクリプト制御部１０８は、ユーザ情報制御部１０２が受信したスクリプトの種類を判断し（ステップＳｂ１）、アバタイメージ変更スクリプトでないと判断した場合は、判断結果がＮＯとなって、図７の処理を終了する。一方、アバタイメージ変更スクリプトであると判断した場合は、アバタイメージ変更スクリプトに含まれる利用者ＩＤをキーとして、その利用者のアバタ情報をアバタ情報管理部１０７から取得する（ステップＳｂ２）。
【００４４】
そして、取得したアバタ情報に含まれるアニメーション状態値を、アバタイメージ変更スクリプトに含まれている値に更新し（ステップＳｂ３）、アバタ情報管理部１０７へ戻すと共に、更新したアバタ情報を仮想空間制御部１０９へ出力する。これにより仮想空間制御部１０９は、スクリプト制御部１０８から渡されたアバタ情報に従って、当該利用者を象徴するアバタの表示状態を変更する（ステップＳｂ４）。
【００４５】
なお、以上に述べた通信システムでは、移動情報入力装置１５によって指示される視点位置および視点方向に応じて、仮想空間の景観は変化するが、他の利用者を表す簡易アバタの表示位置は変わらず、また、簡易アバタは常に正面を向く。
【００４６】
ところで、前述したように、例えば図８（ａ）に示すように、各利用者が仮想空間内を自由に移動することができる自由移動型仮想空間通信システムにおいては、各利用者の仮想空間内における移動の自由度が高くなるほど、会議等の特化した目的に利用した場合、利用者同士のコミュニケーションを行うために、利用者同士が向き合う等の行動が困難になる。
【００４７】
このような問題点を解決する通信システムとして、図８（ａ）に示す自由移動型仮想空間と、図８（ｂ）に示す多地点会議型仮想空間とを、自由に往来することができる通信システムについて説明する。図８（ｂ）に示す仮想空間では、他の利用者を表す簡易アバタを、移動情報を一切反映させずに表示する。すなわち、この図に示す画面を見ている利用者（以下、ユーザＡという）による移動指示があった場合、仮想空間内におけるユーザＡの視点位置および視点方向が変化しても、各簡易アバタが常に正面を向き、かつ、一定位置となるように、逐次、表示制御を行う。
【００４８】
上述した多地点会議型仮想空間通信システムにおける表示画面を、より詳細に示したものを図９に示す。なお、この図において、図４に示した表示画面と同じ構成については同一の符号を付し、その説明を省略する。この図に示す表示画面の、仮想空間表示領域４０’に表示される他の利用者を表す簡易アバタは、それぞれ仮想空間内のＺ軸（図５参照）上において互いに同位置に表示され、かつ、ユーザＡに正面を向けるように表示される。
【００４９】
また、これら簡易アバタは、各利用者の実顔映像を貼り付けるためのオブジェクトＦＯと、利用者の意思に応じた動作を示す絵を貼り付けるためのオブジェクトＪＯとから構成されている。また、ユーザＡがアバタ動作指示ボタン４２のいずれかのボタンを押下すると、他の利用者端末において表示されるユーザＡを表す簡易アバタのオブジェクトＪＯの表示が、押下されたボタンに応じた動作状態に変更される。図９に示す各オブジェクトＪＯの表示は、図中左から順に「同意」，「挙手」，「拒否」の状態を示している。
【００５０】
なお、サーバ２０の図示せぬ記憶装置に、会議室用の仮想空間として、図９に示した仮想空間表示領域４０’に表示される仮想空間（多地点会議型仮想空間）を定義した情報と、会議参加者の待合室用の仮想空間として、例えば図８（ａ）に示した自由移動型仮想空間を定義した情報とに、各々固有のアドレスを付して記憶させておき、図３に示す構成の利用者端末を用いて、ディスプレイ１１に表示された図９のワールドアドレス入力領域４３に所望するワールドアドレスを入力して移動ボタン４４を押下することで、上述した２つの種類の異なった仮想空間を自由に行き来可能とした、より柔軟なシステムの構築も可能である。
【００５１】
また、図９に示される会議室用の仮想空間内に、ドアを表示させておき、利用者がそのドアをマウス等によってクリックすると、待合室用の仮想空間へと移動するようにしてもよい。なお、上述したような異なる種類の仮想空間をそれぞれ定義した各情報は、各々に固有のワールドアドレスが付与されていれば、１台のサーバに接続された記憶装置にすべて記憶させてもよいし、複数のサーバに各々接続された各記憶装置に分けて記憶させるようにしてもよい。
【００５２】
なお、図３におけるネットワーク制御部１０１，ユーザ情報制御部１０２，顔映像入力部１０３，音声入力部１０４，移動情報入力部１０５，音声出力部１０６，アバタ情報管理部１０７，スクリプト制御部１０８，仮想空間制御部１０９，仮想空間生成部１１０の機能、および、図６，図７に示す処理を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより他の利用者端末との通信を行ってもよい。
【００５３】
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に制限されず、本発明の範囲内で自由に変更が可能である。例えば、会議等の用途においては、利用者同士の実顔を互いに見ながら会話を行うことが、コミュニケーションを図る上で重要であるため、上記実施形態においては実顔映像が表示されることを前提として説明したが、本発明は実映像を表示しない場合であっても適用することができる。
【００５４】
ここで、上記「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フロッピーディスク，光磁気ディスク，ＲＯＭ，ＣＤ−ＲＯＭ，ＤＶＤ等の可搬媒体、および、コンピュータシステムに内蔵されるハードディスク等の記憶装置のみならず、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように短時間の間、動的にプログラムを保持するもの（伝送媒体または伝送波）、および、その場合におけるサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持するものも含むものとする。
【００５５】
さらに、上記プログラムは、前述した機能の一部を実現するためのものであってもよく、また、前述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、すなわち、いわゆる差分ファイル（差分プログラム）であってもよい。
【００５６】
【発明の効果】
以上説明したように、本発明によれば、仮想空間内における利用者の移動が自然で直感的かつ容易にできるという長所を有するとともに、必要であれば固定表示された他の利用者を参照しながら会議を行うという用途にも使用することができるため、利用者の要求に極めて柔軟な対応をすることができるという効果がある。また、多数の利用者が３次元仮想空間を共有する通信システムにおいて、３次元共有仮想空間における自由な利用者の移動を実現する自由移動型通信システムが実現可能である。また、利用者の移動情報をアバタに反映させないことで利用者同士の会話を容易にし、会議等の特化した用途に適した多地点会議型仮想空間通信システムを実現可能である。さらに、これら用途の異なる複数種類の仮想空間を自由に行き来することを可能とすることによって、より柔軟な３次元共有仮想空間通信システムの構築が可能となる。
【図面の簡単な説明】
【図１】 本発明に係る３次元共有仮想空間通信システムの実施形態の構成を示すブロック図である。
【図２】 同３次元共有仮想空間通信システムの集中制御装置の構成を示すブロック図である。
【図３】 同３次元共有仮想空間通信システムの利用者端末の構成を示すブロック図である。
【図４】 同３次元共有仮想空間通信システムの利用者端末における表示画面の一例を示す図である。
【図５】 同３次元共有仮想空間通信システムにおける簡易アバタの表示方法を説明するための説明図である。
【図６】 同３次元共有仮想空間通信システムにおけるアバタ情報処理を示すフローチャートである。
【図７】 同３次元共有仮想空間通信システムにおけるアバタ動作処理を示すフローチャートである。
【図８】 ２種類の異なる仮想空間の一例を示した図である。
【図９】 同３次元共有仮想空間通信システムにおいて、多地点会議型仮想空間を共有仮想空間とするシステムにおける表示画面の一例を示す図である。
【符号の説明】
１−１，１−２…利用者端末、１０…利用者端末装置、１１…ディスプレイ、１２…スピーカ、１３…ビデオカメラ、１４…マイク、１５…移動情報入力装置、２０…共有仮想空間通信サービス集中制御装置（サーバ）、２１，１０１…ネットワーク制御部、２２…映像制御部、２３…音声制御部、２４，１０２…ユーザ情報制御部、２５，１０８…スクリプト制御部、３０…ネットワーク、１０３…顔映像入力部、１０４…音声入力部、１０５…移動情報入力部、１０６…音声出力部、１０７…アバタ情報管理部、１０９…仮想空間制御部、１１０…仮想空間生成部。
Claims (7)
- ３次元コンピュータグラフィックスにより描画され、複数の利用者各々が使用する利用者端末に表示される仮想空間内に、当該利用者を象徴するコンピュータグラフィックスオブジェクトを当該利用者の指示に応じて移動可能に配置した第１状態を表示するステップと、
前記仮想空間内において前記複数の利用者を象徴するコンピュータグラフィックスオブジェクトを常に一定位置となるように配置した第２状態を前記利用者端末に表示するステップとを有し、
前記利用者の指示に応じて前記第１表示状態と前記第２表示状態とを切り替えて前記利用者端末に表示することを特徴とする３次元共有仮想空間表示方法。 - 前記利用者毎の実顔映像を、前記利用者を象徴する前記コンピュータグラフィックスオブジェクトに貼り付けて表示するステップを有し、
前記第２状態を前記利用者端末に表示する際には、前記コンピュータグラフィックスオブジェクトを、貼り付けられた実顔映像とともに正面を向くように表示することを特徴とする請求項１記載の３次元共有仮想空間表示方法。 - 前記利用者の意志を表すコンピュータグラフィックスオブジェクトの動作状態が予め複数設けられ、前記利用者の指示に応じて当該動作状態を択一的に選択し、前記利用者を象徴する前記コンピュータグラフィックスオブジェクトに貼り付けて表示することを特徴とする請求項１又は請求項２記載の３次元共有仮想空間表示方法。
- 複数の利用者端末が通信回線を介して集中制御装置に接続され、
前記集中制御装置は、各々固有のアドレスが付与された複数種類の仮想空間を定義した情報を有すると共に、該仮想空間を定義した情報の中に、仮想会議用の仮想空間を定義した情報を少なくとも１つ有し、
前記複数の利用者端末の各々は、
前記仮想空間を定義した情報のアドレスを指定するアドレス指定手段と、
利用者の実顔映像を入力する映像入力手段と、
前記利用者の音声を入力する音声入力手段と、
３次元コンピュータグラフィックスにより描画される仮想空間内における前記利用者の移動情報を入力する移動情報入力手段と、
他の利用者端末において表示される、前記利用者を象徴したコンピュータグラフィックスオブジェクトの動作を指示するための動作指示手段と、
前記動作指示手段により動作指示された場合、その動作指示に応じて予め定められた簡易プログラムを出力する簡易プログラム出力手段と、
前記入力された実顔映像、音声、移動情報、および、簡易プログラムを、前記集中制御装置を介して他の利用者端末へ同報すると共に、他の利用者端末から出力された他の利用者の実顔映像、音声、移動情報、および、簡易プログラムを、前記集中制御装置を介して受信する利用者情報入出力手段と、
前記利用者情報入出力手段が受信した他の利用者の音声を再生する音声再生手段と、
前記仮想空間を定義した情報と、その仮想空間にログインしている他の利用者端末から前記利用者情報入出力手段が受信した移動情報とに基づいて仮想空間を表示するための情報を生成すると共に、該仮想空間に表示する他の利用者端末の利用者を象徴するコンピュータグラフィックスオブジェクトを表示するための情報を、該受信した移動情報および簡易プログラムに基づいて生成する仮想空間制御手段と、
前記仮想空間制御手段により生成された情報に基づいて、前記仮想空間と共に、前記利用者情報入出力手段が受信したそのコンピュータグラフィックスオブジェクトに対応する他の利用者の実顔映像を前記コンピュータグラフィックスオブジェクトに貼り付けて表示する仮想空間表示手段と
を有し、
前記仮想空間制御手段は、
前記アドレス指定手段によって前記仮想会議用の仮想空間を定義した情報のアドレスが 指定された場合に、前記仮想空間表示手段に表示する仮想空間を前記仮想会議用の仮想空間に切り替えるとともに、該仮想会議用の仮想空間内において、前記コンピュータグラフィックスオブジェクトの表示が常に同位置かつ正面を向くように制御する
ことを特徴とする３次元共有仮想空間通信システム。 - 請求項４記載の３次元共有仮想空間通信システムのうち、いずれか１つを用いて、同一仮想空間内に存在する各利用者端末の利用者間で会議を行う仮想会議システム。
- 通信回線を介して集中制御装置に接続された複数の利用者端末の各々において実行され、該複数の利用者端末により共有される仮想空間を媒介として前記利用者端末間で通信を行うための３次元共有仮想空間通信方法であって、
前記利用者端末のうちの一の利用者端末に設けられた撮像装置によって得られた前記利用者端末の利用者の実顔映像、集音装置によって得られた前記利用者の音声、移動情報入力装置から入力された前記利用者の３次元コンピュータグラフィックスにより描画される仮想空間内における移動情報、および他の利用者端末において表示される前記利用者を象徴したコンピュータグラフィックスオブジェクトの動作指示に応じて予め定められた簡易プログラムを前記集中制御装置を介して他の利用者端末へ同報すると共に、他の利用者端末に設けられた撮像装置、集音装置、移動情報入力装置からそれぞれ入力される利用者の実顔映像、音声、及び移動情報、並びに当該利用者を象徴したコンピュータグラフィックスオブジェクトの動作指示に応じて予め定められた簡易プログラムを前記集中制御装置を介して受信するステップと、
前記他の利用者端末から受信した当該他の利用者の音声を再生するステップと、
前記集中制御装置が有している各々固有のアドレスが付与された少なくとも１つ仮想会議用の仮想空間を含む複数種類の仮想空間を定義した情報のうち、いずれかのアドレスを指定するステップと、
前記指定したアドレスが付与された仮想空間を定義した情報と、その仮想空間にログインしている他の利用者端末から受信した移動情報とに基づいて仮想空間を表示するための情報を生成すると共に、該仮想空間に表示する他の利用者端末の利用者を象徴するコンピュータグラフィックスオブジェクトを表示するための情報を、該受信した移動情報および簡易プログラムに基づいて生成するステップと、
前記生成された情報に基づいて、前記仮想空間と共に、前記受信したそのコンピュータグラフィックスオブジェクトに対応する他の利用者の実顔映像を前記コンピュータグラフィックスオブジェクトに貼り付けて表示するステップと、
前記仮想会議用の仮想空間を定義した情報のアドレスが指定された場合に、表示される前記仮想空間を前記仮想会議用の仮想空間に切り替えるとともに、該仮想会議用の仮想空間内において、前記コンピュータグラフィックスオブジェクトの表示が常に同位置かつ正面を向くように制御するステップと
を有することを特徴とする３次元共有仮想空間通信方法。 - 通信回線を介して集中制御装置に接続された複数の利用者端末の各々において実行され、該複数の利用者端末により共有される仮想空間を媒介として前記利用者端末間で通信を行うためのプログラムを記録したコンピュータ読みとり可能な記録媒体であって、
前記利用者端末のうちの一の利用者端末に設けられた撮像装置によって得られた前記利用者端末の利用者の実顔映像、集音装置によって得られた前記利用者の音声、移動情報入力装置から入力された前記利用者の３次元コンピュータグラフィックスにより描画される仮想空間内における移動情報、および他の利用者端末において表示される前記利用者を象徴したコンピュータグラフィックスオブジェクトの動作指示に応じて予め定められた簡易プログラムを前記集中制御装置を介して他の利用者端末へ同報すると共に、他の利用者端末に設けられた撮像装置、集音装置、移動情報入力装置からそれぞれ入力される利用者の実顔映像、音声、及び移動情報、並びに当該利用者を象徴したコンピュータグラフィックスオブジェクトの動作指示に応じて予め定められた簡易プログラムを前記集中制御装置を 介して受信するステップと、
前記他の利用者端末から受信した当該他の利用者の音声を再生するステップと、
前記集中制御装置が有している各々固有のアドレスが付与された少なくとも１つ仮想会議用の仮想空間を含む複数種類の仮想空間を定義した情報のうち、いずれかのアドレスを指定するステップと、
前記指定したアドレスが付与された仮想空間を定義した情報と、その仮想空間にログインしている他の利用者端末から受信した移動情報とに基づいて仮想空間を表示するための情報を生成すると共に、該仮想空間に表示する他の利用者端末の利用者を象徴するコンピュータグラフィックスオブジェクトを表示するための情報を、該受信した移動情報および簡易プログラムに基づいて生成するステップと、
前記生成された情報に基づいて、前記仮想空間と共に、前記受信したそのコンピュータグラフィックスオブジェクトに対応する他の利用者の実顔映像を前記コンピュータグラフィックスオブジェクトに貼り付けて表示するステップと、
前記仮想会議用の仮想空間を定義した情報のアドレスが指定された場合に、表示される前記仮想空間を前記仮想会議用の仮想空間に切り替えるとともに、該仮想会議用の仮想空間内において、前記コンピュータグラフィックスオブジェクトの表示が常に同位置かつ正面を向くように制御するステップと
を前記コンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000109713A JP3660198B2 (ja) | 1999-04-16 | 2000-04-11 | ３次元共有仮想空間表示方法、３次元共有仮想空間通信システム及び方法、仮想会議システム、並びにそのための利用者端末プログラムを記録した記録媒体 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11-110151 | 1999-04-16 | ||
| JP11015199 | 1999-04-16 | ||
| JP2000109713A JP3660198B2 (ja) | 1999-04-16 | 2000-04-11 | ３次元共有仮想空間表示方法、３次元共有仮想空間通信システム及び方法、仮想会議システム、並びにそのための利用者端末プログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001016563A JP2001016563A (ja) | 2001-01-19 |
| JP3660198B2 true JP3660198B2 (ja) | 2005-06-15 |
Family
ID=26449828
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000109713A Expired - Lifetime JP3660198B2 (ja) | 1999-04-16 | 2000-04-11 | ３次元共有仮想空間表示方法、３次元共有仮想空間通信システム及び方法、仮想会議システム、並びにそのための利用者端末プログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3660198B2 (ja) |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20020089538A (ko) * | 2001-05-23 | 2002-11-29 | 정성운 | 캐릭터를 이용한 정보 브리핑 시스템 |
| KR20010082779A (ko) * | 2001-05-26 | 2001-08-31 | 이경환 | 이미지 데이터를 이용한 아바타 제작 방법 및 아바타를이용한 에이전트 시스템 |
| KR20030021826A (ko) * | 2001-09-08 | 2003-03-15 | (주) 엘지텔레콤 | 네트워크를 이용한 캐릭터 제작 서비스 방법 |
| US6817979B2 (en) | 2002-06-28 | 2004-11-16 | Nokia Corporation | System and method for interacting with a user's virtual physiological model via a mobile terminal |
| JP4131717B2 (ja) * | 2004-06-10 | 2008-08-13 | 日本電信電話株式会社 | 状態表示方法および移動体通信システムおよびゲートウェイ |
| JP4766696B2 (ja) * | 2007-03-06 | 2011-09-07 | 日本電信電話株式会社 | インタフェース装置およびインタフェースシステム |
| US9106794B2 (en) | 2010-04-30 | 2015-08-11 | American Teleconferencing Services, Ltd | Record and playback in a conference |
| US10268360B2 (en) | 2010-04-30 | 2019-04-23 | American Teleconferencing Service, Ltd. | Participant profiling in a conferencing system |
| WO2011136786A1 (en) * | 2010-04-30 | 2011-11-03 | American Teleconferencing Services, Ltd. | Systems, methods, and computer programs for providing a conference user interface |
| US9082106B2 (en) | 2010-04-30 | 2015-07-14 | American Teleconferencing Services, Ltd. | Conferencing system with graphical interface for participant survey |
| US9189143B2 (en) | 2010-04-30 | 2015-11-17 | American Teleconferencing Services, Ltd. | Sharing social networking content in a conference user interface |
| US9419810B2 (en) | 2010-04-30 | 2016-08-16 | American Teleconference Services, Ltd. | Location aware conferencing with graphical representations that enable licensing and advertising |
| US9560206B2 (en) | 2010-04-30 | 2017-01-31 | American Teleconferencing Services, Ltd. | Real-time speech-to-text conversion in an audio conference session |
| JP5647813B2 (ja) * | 2010-05-12 | 2015-01-07 | シャープ株式会社 | 映像提示システム、プログラム及び記録媒体 |
| JP7173249B2 (ja) * | 2017-05-09 | 2022-11-16 | ソニーグループ株式会社 | クライアント装置、表示システム、クライアント装置の処理方法およびプログラム |
| JP7094216B2 (ja) * | 2018-12-28 | 2022-07-01 | グリー株式会社 | 配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画をライブ配信する動画配信システム、動画配信方法及び動画配信プログラム |
| US12034785B2 (en) * | 2020-08-28 | 2024-07-09 | Tmrw Foundation Ip S.Àr.L. | System and method enabling interactions in virtual environments with virtual presence |
| US12107907B2 (en) | 2020-08-28 | 2024-10-01 | Tmrw Foundation Ip S.Àr.L. | System and method enabling interactions in virtual environments with virtual presence |
| WO2022092122A1 (ja) * | 2020-10-27 | 2022-05-05 | 株式会社テンアップ | 情報処理装置 |
| JP2023146875A (ja) * | 2022-03-29 | 2023-10-12 | 株式会社ジクウ | 情報処理装置、情報処理方法、及びプログラム |
-
2000
- 2000-04-11 JP JP2000109713A patent/JP3660198B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001016563A (ja) | 2001-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3660198B2 (ja) | ３次元共有仮想空間表示方法、３次元共有仮想空間通信システム及び方法、仮想会議システム、並びにそのための利用者端末プログラムを記録した記録媒体 | |
| US6753857B1 (en) | Method and system for 3-D shared virtual environment display communication virtual conference and programs therefor | |
| US12073362B2 (en) | Systems, devices and methods for creating a collaborative virtual session | |
| TWI533198B (zh) | 於虛擬區域及實體空間之間通訊的技術 | |
| CN109788236A (zh) | 音视频会议控制方法、装置、设备以及存储介质 | |
| JP4391691B2 (ja) | コンピュータネットワーク | |
| CN108881784A (zh) | 虚拟场景实现方法、装置、终端及服务器 | |
| JP2006025281A (ja) | 情報源選択システム、および方法 | |
| JP2004072741A (ja) | バックチャンネルビデオインタフェースによりコンテンツ及び引き渡しの制御が可能な多数参加者会議システム | |
| Greenhalgh et al. | Virtual reality tele-conferencing: Implementation and experience | |
| TWI222042B (en) | Method of providing education services for free talk services | |
| JP2001160154A (ja) | 仮想空間通信システムにおけるアバタ表示装置、アバタ表示方法および記憶媒体 | |
| CN104380720A (zh) | 视频会议处理方法及设备 | |
| JP2000090288A (ja) | ３次元共有仮想空間通信サービスにおける顔画像制御方法，３次元共有仮想空間通信用装置およびそのプログラム記録媒体 | |
| JP2023527624A (ja) | コンピュータプログラムおよびアバター表現方法 | |
| JP2023524930A (ja) | アバターを利用したカンファレンス処理方法およびシステム | |
| JP2004007561A (ja) | テレビ会議システム、それに含まれる端末装置、及びデータ配信方法 | |
| JP6610076B2 (ja) | 情報処理装置、情報処理システム、プログラム、及び記録媒体 | |
| Imai et al. | Overcoming time-zone differences and time management problem with tele-immersion | |
| KR101687901B1 (ko) | 네트워크에 접속된 단말들 사이의 판서 공유 방법 및 그 장치 | |
| JP2022016424A (ja) | ストリーミング配信及びテレビ会議のためのシステム | |
| JP4085685B2 (ja) | テレビ会議システム、それに含まれる端末装置、及び通信方法 | |
| JPH11289524A (ja) | 仮想空間会議方法およびこの方法を記録した記録媒体 | |
| JP2003101981A (ja) | 電子共同作業システム及び共同作業システム用プログラム | |
| US11647064B1 (en) | Computer systems for managing interactive enhanced communications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041207 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050207 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050308 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050316 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 3660198 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080325 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090325 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090325 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100325 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110325 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110325 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120325 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130325 Year of fee payment: 8 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |