JP3623415B2

JP3623415B2 - Avatar display device, avatar display method and storage medium in virtual space communication system

Info

Publication number: JP3623415B2
Application number: JP34393699A
Authority: JP
Inventors: 宣彦松浦; 昌平菅原; 茂樹正木
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1999-12-02
Filing date: 1999-12-02
Publication date: 2005-02-23
Anticipated expiration: 2019-12-02
Also published as: JP2001160154A

Description

【０００１】
【発明の属する技術分野】
本発明は、複数の利用者端末が通信回線を介してセンタ装置に接続され、複数の利用者が３次元コンピュータグラフィックスによる３次元仮想空間を共有する仮想空間通信システムにおけるアバタ表示装置、アバタ表示方法および記憶媒体に関する。
【０００２】
【従来の技術】
従来、３次元ＣＧ（ＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓ）における表示制御においては、ＬＯＤ（ＬｅｖｅｌＯｆＤｅｔａｉｌ）と呼ばれる手法が一般的である。ＬＯＤでは、利用者の視点位置からの距離に応じて、表示するＣＧモデルを動的に変更し、ＣＧ表示性能の最適化を行う手法である。
【０００３】
また、３次元仮想空間通信サービスにおけるアバタ（ＣＧ像）表現では、アバタを構成する各パーツに対して動作データを適用し、アニメーションを行っていた。動作データに関しては、予め作成された動作データを用いる手法、もしくは、利用者に装着された複数のセンサからの入力などで動作データを動的に作成する手法が取られていた。
【０００４】
【発明が解決しようとする課題】
ところで、今後サイパースペースと呼ぱれる３次元ＣＧを用いた共有空間が一般的なものとなってきた際に、上記アバタと呼ばれる利用者の姿・動作を象徴するＣＧモデルが仮想空間に多数存在することが予想される。このような状況に対し、上記従来技術によるＬＯＤの手法においては、表示するＣＧモデルの動的な変更のみが行われ、アバタのようなアニメーションを行うＣＧモデルの動作に関するＬＯＤなどは考えられていないという問題があった。
【０００５】
また、アバタが複数存在する形態においては、上述した従来技術によるアバタ表現で、予め作成された動作デー夕を利用する場合には、アバタアニメーションによる放送型通信などには向いているが、複数の利用者が空間を共有するようなシステムにおいて、利用者独自の動作定義などを行うなどのカスタマイズには向かない。また、センサを利用して動的に動作データを生成するには、センサの装着が必要になり、デスクトップにおける利用などには向かないという問題があった。
【０００６】
さらに、今後、コンピュータにカメラなとの撮像装置を付加することが一般的となり、そのカメラを用いた顔や体の映像を、ネットワークを介して配信してコミュニケーションを行う形態が多く見られるようになると予想される。このような使われ方の一般的な例に、コンピュータを用いて、利用者の動作をリアルタイムかつ詳細に伝えるテレビ会議システムがある。しかしながら、多人数参加型の空間を映像通信のみで構成することは、必要伝送帯域、ＣＰＵ処理能力の点から現実的ではなかった。そこで、従来技術によるアバタ表現を適用することが考えられるが、従来、３次元仮想空間通信サービスにおけるアバタ表現では、漫画的なキャラクタを用いることが多く、実際の顔もしくは体の映像を利用した通信を実現した通信サービスは少なく、テレビ会議システムに適用することが難しいという問題があった。
【０００７】
この発明は上述した事情に鑑みてなされたもので、利用者の状況に応じたアバタ動作を設定することができ、また、アバタと利用者視点との相対的な位置関係に応じて多数存在するアバタおよびその動作表示を最適化することができ、また、アバタ表現を用いてよりリアルな多人数参加型のテレビ会議システムを容易に構築することができる仮想空間通信システムにおけるアバタ表示装置、アバタ表示方法および記憶媒体を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上述した問題点を解決するために、請求項１記載の発明では、通信回線を介して接続される複数の端末の利用者が３次元仮想空間を共有し、該３次元仮想空間中に個々の利用者を象徴する人型の３次元ＣＧモデルによるアバタを出現させ、該３次元仮想空間における個々の利用者の位置・方向情報を配信することによって、前記アバタのアニメーション表示を実現する仮想空間通信システムにおけるアバタ表示装置において、アバタを構成する独立して動作可能な複数のノード毎に、複数のアニメーション表示方法と各アニメーション表示方法を行う際の適用条件を設定するアバタ属性設定手段と、各ノードの３次元仮想空間における位置および方向情報を記憶するアバタ情報記憶手段と、前記複数のアニメーション表示方法のうち、合致した適用条件に応じたアニメーション表示方法を各ノードに対して適用すべく、前記アバタ情報記憶手段に記憶されている各ノードの位置および方向情報を動的に変更するアバタ情報制御手段と、前記アバタ情報記憶手段に記憶されている各ノードの位置および方向情報に基づいて、アバタのアニメーション表示を行うアバタ表示制御手段と、予め設定された既定動作を記憶する既定動作記憶手段と、前記３次元ＣＧモデルに対するジェスチャの動作指示を入力する動作指示入力手段とを有し、前記アバタ表示制御手段は、利用者のアバタからの距離に基づき仮想空間を第１〜第４の範囲に分割するとともに、利用者のアバタの３次元仮想空間における視点位置と、該３次元仮想空間における他のアバタとの相対的な位置関係が前記第１の範囲にある場合には、非アニメーション表示を行い、前記相対的な位置関係が前記第１の範囲に比べ、利用者のアバタにより近い第２の範囲にある場合には、前記既定動作記憶手段に記憶されている既定動作に基づくアニメーション表示を行い、前記相対的な位置関係が前記第２の範囲に比べ、利用者のアバタにより近い第３の範囲にある場合には、少なくとも、前記動作指示入力手段により入力されるジェスチャの動作指示に基づくアニメーション表示を行い、前記相対的な位置関係が前記第３の範囲に比べ、利用者のアバタにより近い第４の範囲にある場合には、少なくとも、実際に撮影された映像をアバタに合成することによりアニメーション表示を行うことを特徴とする。
【０００９】
また、請求項２記載の発明では、通信回線を介して接続される複数の端末の利用者が３次元仮想空間を共有し、該３次元仮想空間中に個々の利用者を象徴する人型の３次元ＣＧモデルによるアバタを出現させ、該３次元仮想空間における個々の利用者の位置・方向情報を配信することによって、前記アバタのアニメーション表示を実現するアバタ表示方法において、利用者のアバタの３次元仮想空間における視点位置と、該３次元仮想空間における他のアバタとの相対的な位置関係を算出するステップと、前記算出された相対位置関係と、前記アバタを構成する独立して動作可能な複数のノード毎に定義された、複数のアニメーション表示方法を行う際の適用条件とを比較するステップと、前記比較した結果、合致した適用条件に応じたアニメーション表示方法によって各ノードをアニメーション表示するステップと、予め設定された既定動作を記憶するステップと、前記３次元ＣＧモデルに対するジェスチャの動作指示を入力するステップと、利用者のアバタからの距離に基づき仮想空間を第１の範囲〜第４の範囲に分割するステップを有し、前記アニメーション表示するステップは、前記相対的な位置関係が前記第１の範囲にある場合には、非アニメーション表示を行い、前記相対的な位置関係が前記第１の範囲に比べ、利用者のアバタにより近い第２の範囲にある場合には、前記既定動作を記憶するステップで記憶された既定動作に基づくアニメーション表示を行い、前記相対的な位置関係が前記第２の範囲に比べ、利用者のアバタにより近い第３の範囲にある場合には、少なくとも、前記動作指示を入力するステップで指示されたジェスチャに基づくアニメーション表示を行い、前記相対的な位置関係が前記第３の範囲に比べ、利用者のアバタにより近い第４の範囲にある場合には、少なくとも、実際に撮影された映像をアバタに合成することによりアニメーション表示を行うことを特徴とする。
【００１０】
また、請求項３記載の発明は、請求項２に記載のアバタ表示方法をコンピュータで実現するためのプログラムを記録したコンピュータが読み取り可能な記録媒体である。
【００１６】
この発明では、アバタを構成する独立して動作可能な複数のノード毎に、複数のアニメーション表示方法と各アニメーション表示方法を行う際の適用条件をアバタ属性設定手段に設定しておく。アバタ情報制御手段は、アバタ属性設定手段に設定されている複数のアニメーション表示方法のうち、合致した適用条件に応じたアニメーション表示方法を各ノードに対して適用すべく、前記アバタ情報記憶手段に記憶されている各ノードの位置および方向情報を動的に変更する。アバタ表示制御手段は、前記アバタ情報記憶手段に記憶されている各ノードの位置および方向情報に基づいて、アバタのアニメーション表示を行う。したがって、アバタが複数存在する共有空間において、利用者の状況に応じたアバタ動作を設定することが可能となり、さらにアバタと利用者視点との相対的な位置関係によって、上記アバタ動作の設定を動的に変更することによって、多数存在するアバタおよびその動作表示を最適化することが可能となる。また、ビデオカメラなどの撮像装置を設置した端末を利用することにより、アバタが複数存在する共有空間において、それぞれのアバタに対して顔もしくは体の映像を貼り付けることにより、多人数参加型のテレビ会議システムを容易に構築することが可能となる。この際、上記アバタ動作設定と組み合わせることにより、利用者視点とアバタとの相対的な位置関係により、アパタへの顔もしくは体の映像の貼り付けを最適化することが可能となる。
【００１７】
【発明の実施の形態】
以下、図面を用いて本発明の実施の形態を説明する。
本実施形態は、３次元仮想空間内で複数の参加者およびサービスの間での通信を実現する仮想空間通信システムに関するものである。より具体的には、多人数参加型通信サービスの例として、各利用者端末で仮想的な都市モデルを共有し、利用者は、端末の入力装置を用いて該都市内の自己の座標を移動させる。各端末は、その表示装置に該当座標位置から見た都市の景観を３次元コンピュータグラフィックスで生成して表示し、さらに、他の参加者およびサーバ端末に対して自己の座標位置および方向を送信する。参加者の各端末は、受信した他の参加者の位置および方向を用いて、同じ都市内を移動している他の参加者を象徴するＣＧ像（アバタ）を仮想都市の中に同じく生成して表示する。
【００１８】
また、本実施形態は、デスクトップ会議などに応用した際に、一般的には利用者が椅子に着席したまま利用する形態を考え、アバタの上半身の動作に重点を置き、下半身の動きに関しては、既定動作を行うような形態に関するものである。
【００１９】
Ａ．実施形態の構成
図１は、本発明の実施形態による３次元共有仮想空間通信サービスを提供するシステムの構成を示すブロック図である。図において、３次元共有仮想空間通信サービスは、ネットワーク１を介して接続された複数の利用者端末（図示の例では２つの利用者端末のみ記載）２ａ，２ｂおよび仮想空間集中制御装置（共有仮想空間通信サービスサーバ）３から構成される。
【００２０】
利用者端末２ａ，２ｂは、各々、各情報を制御するための利用者端末装置４ａ，４ｂ、およびそれに接続された仮想空間表示用のディスプレイ５ａ，５ｂ、顔画像撮影用のビデオカメラ６ａ，６ｂ、利用者音声を録音するためのマイク７ａ，７ｂ、別利用者音声（および効果音なと）を再生するためのスピーカ（これはヘッドフォンを利用してもよい）８ａ，８ｂ、仮想空間の移動およびアバタジェスチャ入力を行う入力デバイス装置（マウス、ジョイスティック、キーボードなど）９ａ，９ｂから構成される。ここでは、アバタの制御手法として、マウス、ジョイスティックなどの一般的な入力デバイス装置を用いることを前提とする。
【００２１】
本実施形態においては、仮想空間内の移動については、マウスを用いることとし、お辞儀、挙手などのアバタジェスチャについては、キーボードの適当なキーにこれらのジェスチャ開始を割り当てることとし、当該キーを押下することによって他方の利用者端末上で当該アバタが指定されたジェスチャを行う機能を有している。
【００２２】
次に、図２は、利用者端末におけるモジュール構成を示すブロック図である。なお、図における各部は、利用者端末２ａ，２ｂに共通するものである。図において、ネットワーク制御部１０は、ネットワーク１を介して情報の送受信を行い、情報の種類によってそれぞれ対応するビデオ映像制御部１２またはアバタ情報制御部１２に情報を供給する。ビデオ信号変換部１１は、利用者端末装置２に設置されたビデオカメラ６ａ，６ｂを介して利用者映像を撮像し、デジタル信号に変換した後、ビデオ映像制御１２に供給する。ビデオ映像制御部１２は、デジタル信号に変換された利用者映像をネットワーク制御部１０を介して、他の利用者端末へ配信するとともに、他の利用者端末から受信した他利用者映像をアバタに合成するためにアバタ情報制御部１４に供給する。
【００２３】
ジェスチャ入力制御部１３は、マウス、キーボードなど利用者端末２に設置された入力デバイス装置９ａ，９ｂから、仮想空間の移動情報、ジェスチャ指示情報などを取得し、アバタ情報制御部１４に供給する。アバタ情報制御部１４は、ビデオ映像制御部１２やジェスチャ入力制御部１３から受け取った情報を用いて、後述するアバタ属性定義テーブル１５、既定動作情報テーブル１６を用い、３次元ＣＧシミュレーション毎のアバタ情報テーブル１７（アバタ位置・方向情報などを含む）を更新する。アバタ表示制御部１８は、アバタ情報制御部１４からアバタ表示命令を受け、更新されたアバタ情報テーブル１７を参照し、実際に３次元ＣＧ表示、３次元ＣＧによるアバタ表示、他の利用者映像を合成したアバタ表示を、ＣＲＴディスプレイ５ａ，５ｂに対して行う。
【００２４】
次に、上述した既定動作情報テーブル１６、アバタ情報テーブル１７について説明する。なお、アバタ属性定義テーブル１５については後述する動作において説明する。
【００２５】
【表１】

【００２６】
まず、表１に示すアバタ情報テーブル１７は、その時点でのアバタパーツの位置データおよび方向データからなり、利用者の操作（指示）に応じてアバタ情報制御部１４によりリアルタイムで更新される。アバタ表示制御部１８は、このアバタ情報テーブル１７を参照して各アバタの表示を行う。
【００２７】
【表２】

【００２８】
次に、表２に示す既定動作情報テーブル１６は、各ジェスチャ（歩く、走る、座る、手を挙げるなど）に対応する各ノード（パーツ）の位置・方向の一連の羅列（フレーム）からなる。なお、表２には、簡略化のため、フレーム４以降の表記、また走る、座る、手を挙げるなどのその他のジェスチャに関する表記は省略してある。
【００２９】
次に、アバタ属性の定義例を図３に示す。本実施形態では、アバタモデルを１１個のパーツ（頭部、体１、体２、右手１、右手２、左手１、左手２、右足１、右足２、左足１、左足２）に分割している。アバタモデルは、図中の体２における重心位置をアバタモデルの基準位置とし、他の各々のパーツについては、該基準位置からの相対位置、および方向の情報を持つ。
【００３０】
次に、自視点位置と当該アバタとの相対関係、すなわち利用者Ａの視点位置と利用者Ｂのアバタ位置との相対関係を計算するためのパラメータを図４に示す。パラメータは、自視点位置と当該アバタ位置との距離ｄ、および自視点方向を示す単位ベクトルａと当該アバタ視点方向を示す単位ベクトルｂとの内積ｐの２種類がある。なお、θは、利用者Ａと利用者Ｂとの視点方向ベクトルの成す角度である。
【００３１】
上述した各部は、図示しないメモリなどの記憶媒体に格納されているアバタ表示プログラムを実行することにより動作するようになっている。該アバタ表示プログラムは、を記録した記録媒体７を備える。この記憶媒体は、磁気ディスク（フロッピーディスク、ハードディスクなど）、半導体メモリ、あるいはその他の記憶媒体からなる。なお、着脱可能な記憶媒体である場合には、所定の駆動装置に装着した記録媒体から上記アバタ表示プログラムを読み込み、内部の記憶媒体に転送して実行するようにしてもよい。
【００３２】
Ｂ．実施形態の動作
次に、本実施形態の動作について詳細に説明する。ここで、図５は、本実施形態によるシミュレーションのループ毎に行われる基本処理を説明するためのフローチャートである。アバタパーツ毎に動作受信属性が定義されたアバタ属性定義テーブル１５を読み込み（ステップＡ１）、その時点での自視点位置と仮想空間内に存在する各アバタとの相対関係を示す上記距離ｄと内積ｐを算出する（ステップＡ２）。次に、算出された相対関係値とアバタ属性定義テーブル１５の条件部分とを比較し（ステップＡ３）、当該仮想空間内に存在する各アバタのアニメーション状態を求める（ステップＡ４）。そして、アニメーションを行うペきアバタが存在する場合、必要なアバタ動作データを既定動作情報テーブル１６から読み込み（ステップＡ５）、あるいはアバタ動作データを受信し（ステップＡ６）、それぞれのアバタ動作をアバタ表示制御部１８が表示するために用いるデータであるアバタ情報テーブル１７をアバタ情報制御部１４により更新する（ステップＡ７）。その後、アバタ表示制御部１８により実際のアバタ表示が行われる（ステップＡ８）。
【００３３】
上述した基本処理は、単純化されたフローであり、図５に示す波線で囲まれたステップＡ５〜Ａ８について詳細に説明する。以下では、例として利用者Ａと利用者Ｂがお互いに向き合いながら、利用者Ｂが利用者Ａに対して段々と近付いた際に利用者Ａから見た利用者Ｂのアバタ表現がとのように変化するかを取り上げ、その際の処理について詳細に説明する。本例では、利用者Ａの視点位置を中心として、表３に示すように、４種類の範囲に分割される。
【００３４】
【表３】

【００３５】
表３に示すように、利用者Ａと利用者Ｂとの距離ｄがｄ＞３００であれば、その位置でのアニメーション動作はない。また、距離ｄが２００＜ｄ＜３００で、かつ、内積ｐが−０．５＜ｐ＜０であれば、全てのアバタパーツに対して既存動作データを用いたアニメーション動作を行う。また、距離ｄが１００＜ｄ＜２００で、かつ、内積ｐが−０．５＜ｐ＜０であれば、下半身パーツに対しては、既存動作データを用いたアニメーション動作を行い、上半身パーツに対しては、利用者がキー押下によりジェスチャを送信してきた場合、その押下キーに応じたジェスチャアニメーション動作を行う。さらに、距離ｄが０＜ｄ＜１００で、かつ、内積ｐが−０．５＜ｐ＜０であれば、下半身パーツに対しては、既存動作データを用いたアニメーション動作を行い、上半身パーツに対しては、上半身パーツを消去し、利用者の端末から送信されてくる映像データ（利用者の上半身）をアバタ上半身部分に合成してアバタ表現を行う。
【００３６】
また、上記表３に示す４種類の範囲に分割されたアバタ表現を実現するアバタ属性定義テーブル１５の例を表４に示す。
【００３７】
【表４】

【００３８】
表４に示すアニメーション条件は、既定動作情報テーブル１６の既存動作データを用いてアニメーション動作を行う際の条件を指す。また、ジェスチャとは、キー押下によるリアルタイムにジェスチャ命令が他利用者端末に送信されることによって実現されるアバタ動作を指し、ジェスチャ動作条件に合致した際に、ジェスチャフラグがＴＲＵＥになっているノード（パーツ）を押下キーに応じたジェスチャアニメーション動作させる。さらに、映像利用は、映像利用条件に合致した際に、映像利用フラグがＴＲＵＥとなっているノード（パーツ）を削除し、その部分に他利用者映像を合成して表示するアバタ動作を指す。
【００３９】
次に、図６は、上記４つの範囲におけるアバタ表現を示す概念図である。なお、図６では、簡単のため距離条件のみを示しており、内積ｐに関しては条件に合致している（利用者ＡとＢが向き合っている状態）ものとする。図において、範囲１では、利用者Ｂは、アバタアニメーションなしの状態で、次いで、範囲２では、前進既定アニメーション（歩行アニメーション）でアバタ表現が行われる。そして、利用者Ｂが利用者Ａにマウスを用いて近付きながら、範囲３において、利用者Ｂが「手を振る」というジェスチャ命令を送信する当該キーを押下すと、下半身には、既定アニメーション（歩行アニメーション）でアバタ表現が行われ、上半身には、押下キーに応じたリアルタイムジェスチャによりアバタ表現が行われる。そして、さらに、利用者Ｂが利用者Ａにマウスを用いてさらに近付くと、範囲４において、下半身には、既定アニメーション（歩行アニメーション）でアバタ表現が行われ、上半身には、実写映像が合成される。
【００４０】
【発明の効果】
以上説明したように、本発明によれば、アバタが複数存在する共有空間において、利用者の状況に応じたアバタ動作を設定することができ、さらにアバタと利用者視点との相対的な位置関係によって、上記アバタ動作の設定を動的に変更することによって、多数存在するアバタおよびその動作表示を最適化することができるという利点が得られる。また、ビデオカメラなどの撮像装置を設置した端末を利用することにより、アバタが複数存在する共有空間において、それぞれのアバタに対して顔もしくは体の映像を貼り付けることにより、多人数参加型のテレビ会議システムを容易に構築することができるという利点が得られる。この際、上記アバタ動作設定と組み合わせることにより、利用者視点とアバタとの相対的な位置関係により、アパタへの顔もしくは体の映像の貼り付けを最適化することが可能となる。
【図面の簡単な説明】
【図１】本発明の実施形態による３次元共有仮想空間通信サービスを提供する共有仮想空間システムの構成を示すブロック図である。
【図２】本実施形態による利用者端末の（モジュール）構成を示すブロック図である。
【図３】本実施形態によるアバタノード例を示す概念図である。
【図４】本実施形態によるアバタ相対関係パラメータを説明するための概念図である。
【図５】本実施形態によるアバタ表示方式の基本処理を示すフローチャートである。
【図６】本実施形態によるアバタ表示例を示す概念図である。
【符号の説明】
１ネットワーク
２ａ，２ｂ利用者端末
３共有仮想空間津芯サービスサーバ
４ａ，４ｂ利用者端末装置
５ａ，５ｂディスプレイ
６ａ，６ｂビデオカメラ
７ａ，７ｂマイク
８ａ，８ｂスピーカ
９ａ，９ｂ移動入力装置（動作指示入力手段）
１０ネットワーク制御部
１１ビデオ信号変換部
１２ビデオ映像制御部
１３ジェスチャ入力制御部
１４アバタ情報制御部（アバタ情報制御手段）
１５アバタ属性定義テーブル（アバタ属性設定手段）
１６既定動作情報テーブル
１７アバタ情報テーブル（アバタ情報記憶手段）
１８アバタ表示制御部（アバタ表示制御手段）[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an avatar display device and an avatar display in a virtual space communication system in which a plurality of user terminals are connected to a center apparatus via a communication line, and a plurality of users share a three-dimensional virtual space by three-dimensional computer graphics. The present invention relates to a method and a storage medium.
[0002]
[Prior art]
Conventionally, in display control in three-dimensional CG (Computer Graphics), a technique called LOD (Level Of Detail) is common. In LOD, a CG model to be displayed is dynamically changed in accordance with the distance from the user's viewpoint position to optimize the CG display performance.
[0003]
In the avatar (CG image) expression in the three-dimensional virtual space communication service, motion data is applied to each part constituting the avatar and animation is performed. Regarding the motion data, a method using motion data created in advance or a method of dynamically creating motion data by input from a plurality of sensors attached to the user has been taken.
[0004]
[Problems to be solved by the invention]
By the way, when a shared space using 3D CG called sipeper space becomes common in the future, there are many CG models in the virtual space that symbolize the appearance and behavior of the user called the avatar. Is expected to. In such a situation, in the LOD technique according to the above-described prior art, only dynamic change of the CG model to be displayed is performed, and LOD related to the operation of the CG model that performs animation like an avatar is not considered. There was a problem.
[0005]
Moreover, in the form in which a plurality of avatars exist, when using the avatar expression created in advance by the above-described prior art, it is suitable for broadcast communication using avatar animation, In a system where users share a space, it is not suitable for customization such as defining user-specific behaviors. Further, in order to dynamically generate motion data using a sensor, it is necessary to attach the sensor, which is not suitable for use on a desktop.
[0006]
Furthermore, in the future, it will become common to add an imaging device such as a camera to a computer, so that many forms of communication by distributing images of faces and bodies using the camera via a network can be seen. It is expected to be. A common example of such usage is a video conference system that uses a computer to convey a user's actions in real time and in detail. However, it is not practical to configure a multi-participant-type space only by video communication in terms of necessary transmission bandwidth and CPU processing capacity. Therefore, it is conceivable to apply the avatar expression according to the prior art. Conventionally, the avatar expression in the three-dimensional virtual space communication service often uses a cartoon character, and communication using an image of an actual face or body. There are few communication services that have realized the problem that it is difficult to apply to video conference systems.
[0007]
The present invention has been made in view of the above-described circumstances, and can set an avatar operation according to the user's situation, and there are many according to the relative positional relationship between the avatar and the user viewpoint. The avatar display device and the avatar display in the virtual space communication system can optimize the avatar and its operation display, and can easily construct a more realistic multi-party video conference system using the avatar expression. It is an object to provide a method and a storage medium.
[0008]
[Means for Solving the Problems]
In order to solve the above-described problems, in the invention described in claim 1, users of a plurality of terminals connected via a communication line share a three-dimensional virtual space, and individual users are included in the three-dimensional virtual space. Virtual space communication that realizes an avatar animation display by causing an avatar based on a human-shaped three-dimensional CG model that symbolizes a user to appear and distributing position / direction information of each user in the three-dimensional virtual space In the avatar display device in the system, for each of a plurality of independently operable nodes constituting the avatar, a plurality of animation display methods and avatar attribute setting means for setting application conditions when performing each animation display method, and each node An avatar information storage means for storing position and direction information in the three-dimensional virtual space of the plurality of animation display methods. Avatar information control means for dynamically changing the position and direction information of each node stored in the avatar information storage means in order to apply an animation display method according to application conditions to each node; and the avatar information An avatar display control means for displaying an avatar animation based on position and direction information of each node stored in the storage means, a default action storage means for storing a preset action, and the three-dimensional CG model The avatar display control means divides the virtual space into the first to fourth ranges based on the distance from the user's avatar, and the user's gesture instruction input means. The relative position relationship between the viewpoint position of the avatar in the three-dimensional virtual space and the other avatar in the three-dimensional virtual space is the first range. In some cases, non-animation display is performed, and when the relative positional relationship is in a second range that is closer to the user's avatar than the first range, it is stored in the default action storage means. When the relative positional relationship is in a third range that is closer to the user's avatar than the second range, at least by the operation instruction input means. An animation is displayed based on an operation instruction of an input gesture, and if the relative positional relationship is in a fourth range that is closer to the user's avatar than the third range, at least the actual shooting is performed. An animation is displayed by compositing the recorded video with an avatar .
[0009]
In the invention of claim 2, users of a plurality of terminals connected via a communication line share a three-dimensional virtual space, and a humanoid symbolizing each user in the three-dimensional virtual space In the avatar display method for realizing the animation display of the avatar by causing the avatar by the 3D CG model to appear and distributing the position / direction information of each user in the 3D virtual space, 3 of the user's avatar is displayed. A step of calculating a relative positional relationship between a viewpoint position in the three-dimensional virtual space and another avatar in the three-dimensional virtual space; the calculated relative positional relationship; and the avatar constituting the avatar can be operated independently A step of comparing application conditions for performing a plurality of animation display methods defined for each of a plurality of nodes, and an animation corresponding to a matching application condition as a result of the comparison. A step of animating each node by Shon display method, and storing the default operation set in advance, the steps of inputting an operation instruction of the gesture relative to the 3-dimensional CG model, based on the distance from the user of the avatar A step of dividing the virtual space into a first range to a fourth range, and the step of displaying an animation performs a non-animation display when the relative positional relationship is in the first range. If the relative positional relationship is in the second range closer to the user's avatar than the first range, an animation display based on the default motion stored in the step of storing the default motion is displayed. If the relative positional relationship is in the third range closer to the user's avatar than the second range, the At least, when the animation display based on the gesture instructed in the step of inputting the operation instruction is performed, the relative positional relationship is in the fourth range closer to the user's avatar than the third range. Is characterized in that at least an animation is displayed by synthesizing an actually shot video with an avatar.
[0010]
The invention described in claim 3 is a computer-readable recording medium storing a program for realizing the avatar display method according to claim 2 on a computer.
[0016]
In the present invention, a plurality of animation display methods and application conditions for performing each animation display method are set in the avatar attribute setting means for each of a plurality of independently operable nodes constituting the avatar. The avatar information control means stores in the avatar information storage means to apply, to each node, an animation display method according to a matching application condition among a plurality of animation display methods set in the avatar attribute setting means. The position and direction information of each node being changed is dynamically changed. The avatar display control means performs animation display of the avatar based on the position and direction information of each node stored in the avatar information storage means. Therefore, it is possible to set an avatar operation according to the user's situation in a shared space where a plurality of avatars exist, and further, the avatar operation setting can be changed according to the relative positional relationship between the avatar and the user viewpoint. It is possible to optimize a large number of avatars and their operation displays. In addition, by using a terminal equipped with an imaging device such as a video camera, in a shared space where there are multiple avatars, a face or body video is pasted to each avatar, so that a multi-participant television A conference system can be easily constructed. At this time, by combining with the avatar operation setting, it is possible to optimize the pasting of the image of the face or body on the avatar according to the relative positional relationship between the user viewpoint and the avatar.
[0017]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
The present embodiment relates to a virtual space communication system that realizes communication among a plurality of participants and services in a three-dimensional virtual space. More specifically, as an example of a multi-participant communication service, each user terminal shares a virtual city model, and the user moves his / her coordinates in the city using an input device of the terminal. Let Each terminal generates and displays the cityscape viewed from the corresponding coordinate position on its display device using three-dimensional computer graphics, and transmits its own coordinate position and direction to other participants and server terminals. To do. Each terminal of the participant also generates a CG image (avatar) that symbolizes another participant moving in the same city in the virtual city using the received position and direction of the other participant. To display.
[0018]
In addition, when this embodiment is applied to a desktop conference or the like, it is generally considered that the user sits on a chair and focuses on the movement of the upper body of the avatar, and regarding the movement of the lower body, The present invention relates to a form that performs a default operation.
[0019]
A. Configuration of Embodiment FIG. 1 is a block diagram showing a configuration of a system for providing a three-dimensional shared virtual space communication service according to an embodiment of the present invention. In the figure, the three-dimensional shared virtual space communication service includes a plurality of user terminals (only two user terminals are described in the illustrated example) 2a and 2b and a virtual space centralized control device (shared virtual (Spatial communication service server) 3.
[0020]
The user terminals 2a and 2b are user terminal devices 4a and 4b for controlling each information, displays 5a and 5b for virtual space display connected thereto, and video cameras 6a and 6b for photographing a face image. , Microphones 7a and 7b for recording user voice, speakers for reproducing another user voice (and sound effects) (a headphone may be used) 8a and 8b, movement of virtual space And input device devices (mouse, joystick, keyboard, etc.) 9a and 9b for inputting an avatar gesture. Here, it is assumed that a general input device device such as a mouse or a joystick is used as an avatar control method.
[0021]
In the present embodiment, the mouse is used for movement in the virtual space, and for avatar gestures such as bowing and raising hands, these gesture starts are assigned to appropriate keys on the keyboard, and the keys are pressed. Accordingly, the avatar has a function of performing a designated gesture on the other user terminal.
[0022]
Next, FIG. 2 is a block diagram showing a module configuration in the user terminal. In addition, each part in a figure is common to user terminal 2a, 2b. In the figure, a network control unit 10 transmits and receives information via the network 1 and supplies information to the corresponding video image control unit 12 or avatar information control unit 12 depending on the type of information. The video signal conversion unit 11 captures a user video via the video cameras 6 a and 6 b installed in the user terminal device 2, converts the video into a digital signal, and supplies the digital video to the video video control 12. The video image control unit 12 distributes the user image converted into the digital signal to other user terminals via the network control unit 10, and also uses the other user image received from the other user terminals as an avatar. The data is supplied to the avatar information control unit 14 for synthesis.
[0023]
The gesture input control unit 13 acquires movement information of the virtual space, gesture instruction information, and the like from the input device devices 9 a and 9 b installed on the user terminal 2 such as a mouse and a keyboard, and supplies them to the avatar information control unit 14. The avatar information control unit 14 uses the information received from the video image control unit 12 and the gesture input control unit 13 and uses an avatar attribute definition table 15 and a default operation information table 16 to be described later, and avatar information for each three-dimensional CG simulation. The table 17 (including avatar position / direction information) is updated. The avatar display control unit 18 receives an avatar display command from the avatar information control unit 14, refers to the updated avatar information table 17, actually displays the 3D CG display, the 3D CG avatar display, and other user images. The synthesized avatar display is performed on the CRT displays 5a and 5b.
[0024]
Next, the default operation information table 16 and the avatar information table 17 described above will be described. The avatar attribute definition table 15 will be described later in the operation.
[0025]
[Table 1]

[0026]
First, the avatar information table 17 shown in Table 1 includes position data and direction data of the avatar parts at that time, and is updated in real time by the avatar information control unit 14 according to a user operation (instruction). The avatar display control unit 18 displays each avatar with reference to the avatar information table 17.
[0027]
[Table 2]

[0028]
Next, the default motion information table 16 shown in Table 2 includes a series of frames (frames) of positions and directions of nodes (parts) corresponding to each gesture (walking, running, sitting, raising a hand, etc.). In Table 2, for the sake of simplification, notation after the frame 4 and other gestures such as running, sitting and raising hands are omitted.
[0029]
Next, a definition example of the avatar attribute is shown in FIG. In this embodiment, the avatar model is divided into 11 parts (head, body 1, body 2, right hand 1, right hand 2, left hand 1, left hand 2, right foot 1, right foot 2, left foot 1, left foot 2). Yes. The avatar model uses the position of the center of gravity of the body 2 in the figure as the reference position of the avatar model, and the other parts have information on the relative position and direction from the reference position.
[0030]
Next, FIG. 4 shows parameters for calculating the relative relationship between the own viewpoint position and the avatar, that is, the relative relationship between the viewpoint position of the user A and the avatar position of the user B. There are two types of parameters: a distance d between the own viewpoint position and the avatar position, and an inner product p of a unit vector a indicating the own viewpoint direction and a unit vector b indicating the avatar viewpoint direction. Note that θ is an angle formed by the viewpoint direction vectors of the user A and the user B.
[0031]
Each unit described above operates by executing an avatar display program stored in a storage medium such as a memory (not shown). The avatar display program includes a recording medium 7 on which is recorded. This storage medium is composed of a magnetic disk (floppy disk, hard disk, etc.), semiconductor memory, or other storage medium. When the storage medium is a detachable storage medium, the avatar display program may be read from a recording medium attached to a predetermined driving device, transferred to an internal storage medium, and executed.
[0032]
B. Operation of Embodiment Next, the operation of this embodiment will be described in detail. Here, FIG. 5 is a flowchart for explaining the basic processing performed for each simulation loop according to the present embodiment. The avatar attribute definition table 15 in which the operation reception attribute is defined for each avatar part is read (step A1), and the distance d and the inner product indicating the relative relationship between the current viewpoint position and each avatar existing in the virtual space are read. p is calculated (step A2). Next, the calculated relative relation value is compared with the condition part of the avatar attribute definition table 15 (step A3), and the animation state of each avatar existing in the virtual space is obtained (step A4). If there is an avatar to be animated, the necessary avatar motion data is read from the default motion information table 16 (step A5), or the avatar motion data is received (step A6), and each avatar motion is displayed as an avatar. The avatar information table 17 which is data used for display by the control unit 18 is updated by the avatar information control unit 14 (step A7). Thereafter, the actual avatar display is performed by the avatar display control unit 18 (step A8).
[0033]
The basic process described above is a simplified flow, and steps A5 to A8 surrounded by a wavy line shown in FIG. 5 will be described in detail. In the following, as an example, user A and user B face each other, and user B's avatar expression viewed from user A when user B approaches user A gradually The process at that time will be described in detail. In this example, as shown in Table 3, the user A is divided into four types of ranges with the viewpoint position as the center.
[0034]
[Table 3]

[0035]
As shown in Table 3, if the distance d between the user A and the user B is d> 300, there is no animation operation at that position. If the distance d is 200 <d <300 and the inner product p is −0.5 <p <0, an animation operation using existing operation data is performed on all avatar parts. Also, if the distance d is 100 <d <200 and the inner product p is −0.5 <p <0, an animation operation using the existing operation data is performed on the lower body part, and the upper body part is applied. On the other hand, when the user transmits a gesture by pressing a key, a gesture animation operation corresponding to the pressed key is performed. Furthermore, if the distance d is 0 <d <100 and the inner product p is −0.5 <p <0, an animation operation using existing motion data is performed on the lower body part, and the upper body part is applied. On the other hand, the upper body part is deleted, and the avatar expression is performed by synthesizing the video data (the upper body of the user) transmitted from the user's terminal with the upper body part of the avatar.
[0036]
Table 4 shows an example of the avatar attribute definition table 15 that realizes the avatar expression divided into the four types of ranges shown in Table 3 above.
[0037]
[Table 4]

[0038]
The animation conditions shown in Table 4 indicate conditions when performing an animation operation using the existing operation data in the default operation information table 16. A gesture refers to an avatar operation realized by transmitting a gesture command to another user terminal in real time by pressing a key, and a node whose gesture flag is TRUE when the gesture operation condition is met. The gesture animation is operated according to the pressed key. Furthermore, video usage refers to an avatar operation in which when a video usage condition is met, a node (part) whose video usage flag is TRUE is deleted, and another user video is synthesized and displayed on that portion.
[0039]
Next, FIG. 6 is a conceptual diagram showing avatar expression in the above four ranges. In FIG. 6, only the distance condition is shown for the sake of simplicity, and the inner product p is assumed to meet the condition (the state where the users A and B face each other). In the figure, in range 1, user B performs avatar expression with no avatar animation, and then in range 2, a forward default animation (walking animation). When the user B approaches the user A using the mouse and the user B presses the key for transmitting the gesture command “shake hand” in the range 3, a default animation ( The avatar expression is performed in the walking animation), and the avatar expression is performed on the upper body by a real-time gesture corresponding to the pressed key. When the user B further approaches the user A using the mouse, in the range 4, the abata expression is performed on the lower body with a default animation (walking animation), and a live-action image is synthesized on the upper body. The
[0040]
【The invention's effect】
As described above, according to the present invention, in a shared space where a plurality of avatars exist, it is possible to set an avatar operation according to the user's situation, and further, the relative positional relationship between the avatar and the user viewpoint Thus, by dynamically changing the setting of the avatar operation, there is an advantage that a large number of avatars and their operation displays can be optimized. In addition, by using a terminal equipped with an imaging device such as a video camera, in a shared space where there are multiple avatars, a face or body video is pasted to each avatar, so that a multi-participant television There is an advantage that the conference system can be easily constructed. At this time, by combining with the avatar operation setting, it is possible to optimize the pasting of the image of the face or body on the avatar according to the relative positional relationship between the user viewpoint and the avatar.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a shared virtual space system that provides a three-dimensional shared virtual space communication service according to an embodiment of the present invention.
FIG. 2 is a block diagram showing a (module) configuration of a user terminal according to the present embodiment.
FIG. 3 is a conceptual diagram showing an example of an avatar node according to the present embodiment.
FIG. 4 is a conceptual diagram for explaining avatar relative relationship parameters according to the present embodiment;
FIG. 5 is a flowchart showing basic processing of an avatar display method according to the present embodiment.
FIG. 6 is a conceptual diagram illustrating an avatar display example according to the embodiment.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Network 2a, 2b User terminal 3 Shared virtual space Tsucore service server 4a, 4b User terminal device 5a, 5b Display 6a, 6b Video camera 7a, 7b Microphone 8a, 8b Speaker 9a, 9b Mobile input device (operation instruction input) means)
DESCRIPTION OF SYMBOLS 10 Network control part 11 Video signal conversion part 12 Video image | video control part 13 Gesture input control part 14 Avatar information control part (Avatar information control means)
15 Avatar attribute definition table (Avatar attribute setting means)
16 Default operation information table 17 Avatar information table (avatar information storage means)
18 Avatar display control section (avatar display control means)

Claims

Users of a plurality of terminals connected via a communication line share a 3D virtual space, and an avatar based on a humanoid 3D CG model symbolizing each user appears in the 3D virtual space, In an avatar display device in a virtual space communication system that realizes animation display of the avatar by distributing position / direction information of individual users in the three-dimensional virtual space,
Avatar attribute setting means for setting a plurality of animation display methods and application conditions for performing each animation display method for each of a plurality of independently operable nodes constituting the avatar;
Avatar information storage means for storing position and direction information of each node in the three-dimensional virtual space;
Of the plurality of animation display methods, the position and direction information of each node stored in the avatar information storage means is dynamically applied to apply to each node an animation display method according to a matching application condition. Avatar information control means to be changed;
An avatar display control means for displaying an animation of the avatar based on the position and direction information of each node stored in the avatar information storage means;
A default action storage means for storing a preset default action;
An operation instruction input means for inputting an operation instruction of a gesture for the three-dimensional CG model;
The avatar display control means divides the virtual space into first to fourth ranges based on the distance from the user's avatar,
When the relative positional relationship between the viewpoint position of the user's avatar in the three-dimensional virtual space and the other avatar in the three-dimensional virtual space is in the first range, non-animated display is performed.
If the relative positional relationship is in a second range closer to the user's avatar than the first range, an animation display based on the default motion stored in the default motion storage means is performed,
When the relative positional relationship is in a third range that is closer to the user's avatar than the second range, at least an animation display based on an operation instruction of the gesture input by the operation instruction input means And
When the relative positional relationship is in a fourth range that is closer to the user's avatar than the third range, at least animation that is actually captured is combined with the avatar to display an animation. An avatar display device characterized by the above.

Users of a plurality of terminals connected via a communication line share a 3D virtual space, and an avatar based on a humanoid 3D CG model symbolizing each user appears in the 3D virtual space, In the avatar display method for realizing the animation display of the avatar by distributing the position / direction information of each user in the three-dimensional virtual space,
Calculating a relative positional relationship between a viewpoint position of the user's avatar in the three-dimensional virtual space and another avatar in the three-dimensional virtual space;
Comparing the calculated relative positional relationship with an application condition when performing a plurality of animation display methods defined for each of a plurality of independently operable nodes constituting the avatar;
As a result of the comparison, displaying each node with an animation display method according to the matched application condition; and
Memorizing a preset default action;
Inputting gesture operation instructions for the three-dimensional CG model;
Dividing the virtual space into a first range to a fourth range based on a distance from the user's avatar;
The step of displaying the animation includes:
When the relative positional relationship is in the first range, non-animated display is performed,
When the relative positional relationship is in a second range that is closer to the user's avatar than the first range, an animation display based on the default motion stored in the step of storing the default motion is performed. ,
When the relative positional relationship is in a third range that is closer to the user's avatar than the second range, at least an animation display based on the gesture instructed in the step of inputting the operation instruction is performed. Done
When the relative positional relationship is in a fourth range that is closer to the user's avatar than the third range, at least animation that is actually captured is combined with the avatar to display an animation. features and be a luer butter display method that.

A computer-readable recording medium storing a program for realizing the avatar display method according to claim 2 by a computer.