JP3488096B2 - ３次元共有仮想空間通信サービスにおける顔画像制御方法，３次元共有仮想空間通信用装置およびそのプログラム記録媒体 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は，複数の利用者端末
が通信回線を介してセンタ装置に接続され，複数の利用
者が３次元コンピュータグラフィックス（ＣＧ）による
３次元仮想空間を共有する３次元共有仮想空間通信サー
ビスにおける顔画像制御方法，３次元共有仮想空間通信
用装置およびそのプログラム記録媒体に関する。

【０００２】

【従来の技術】従来，３次元仮想空間通信サービスにお
けるアバタ表現では，漫画的なキャラクタを用いること
が多く，実顔画像を利用した通信を実現した通信サービ
スは少ない。また，従来のデスクトップ会議システムに
おいては，相手の顔画像を表示するのは基本的にはウイ
ンドウであり，実空間におけるような参加者の「移動」
を表現できるようなシステムは多くなかった。また，３
次元空間における顔画像貼り付けを行うシステムにおい
ても，１方向からの映像のみを利用しており，仮想空間
内の参加者（アバタ）の「方向」を加味した顔映像・音
声の制御は行われていなかった。

【０００３】

【発明が解決しようとする課題】上記従来の技術におい
て述べたように，これまでの会議システムに代表される
ような通信サービスの多くにおいては，顔画像の利用は
ウインドウ内での表示が利用されていた。また，これま
での顔画像貼り付け手法においては，１方向的に撮影さ
れた顔画像を利用するにとどまっており，３次元ＣＧを
利用した空間表現には不十分であった。

【０００４】本発明が解決しようとする課題は，３次元
仮想空間を用いた通信サービスにおいて，参加者の実際
の顔画像をそこに貼り込むことによって，より現実世界
に近づけた通信サービスを実現すること，また，３次元
空間における視点位置と参加者を表現するアバタとの相
対的関係を適切に表現するための貼り付け顔画像選択，
および再生する音声情報の選択を実現することである。

【０００５】

【課題を解決するための手段】本発明は，上記課題を解
決するため，複数の利用者端末が通信回線を介してセン
タ装置に接続され，複数の利用者が３次元コンピュータ
グラフィックスによる３次元仮想空間を共有する３次元
共有仮想空間通信サービスのためのシステムにおいて，
参加者の利用する端末に設置された撮像装置を用いた参
加者の実顔画像映像情報を各参加者に同報する通信手段
と，３次元仮想空間における参加者を表現するＣＧモデ
ル（アバタ）を定義でき，アバタの顔部分に対して，上
記通信手段によって得られた参加者の実顔画像を貼り込
むための手段とを備えるとともに，参加者の顔画像を撮
影する撮像装置を複数台用意することによって，参加者
の顔画像の適切な角度からの画像を選択できる手段と，
３次元仮想空間における視点位置と当該参加者アバタと
の相対的な位置関係によって，上記顔画像を選択し，貼
り付ける手段とを備える。

【０００６】また，臨場感のある音声出力の制御のため
に，参加者の利用する端末に設置されたマイクを用いた
参加者の音声情報を各参加者に同報する通信手段と，上
記複数台の撮像装置と同位置に複数のマイクを設置し，
３次元仮想空間における視点位置と，当該参加者アバタ
との相対的な位置関係によって，上記マイクから得られ
た音声情報を選択し再生する手段とを備える。

【０００７】これらの各処理手段を計算機によって実現
するためのプログラムは，計算機が読み取り可能な可搬
媒体メモリ，半導体メモリ，ハードディスクなどの適当
な記録媒体に格納することができる。

【０００８】本発明においては，３次元ＣＧによる仮想
空間を提示し，その中を仮想的な人間（アバタ）が自由
に移動できることを可能にする通信サービスを実現する
システムにおいて，各端末に設置された撮像装置により
実際の顔画像を撮影することができ，さらに得られた顔
画像を当該アバタの顔部分に貼り込むことによって，あ
たかも仮想空間を現実の人間が移動しているような効果
を与えることができる。また，参加者の適切な角度から
の顔画像をアバタの顔部分に貼り付けることができ，音
声情報についても適切な方向からの出力が可能となるの
で，臨場感のある３次元共有仮想空間通信サービスを実
現できるようになる。

【０００９】

【発明の実施の形態】以下で説明する本実施の形態は，
多人数参加型通信サービスの例として，各利用者端末で
仮想的な都市モデルを共有し，利用者は端末の入力装置
を用いて前記都市内の自己の座標を移動させ，各端末は
その表示装置に該当座標位置から見た都市の景観を３次
元ＣＧで生成して表示し，さらに他の参加者およびサー
バ端末に対して自己の座標位置および方向を送信し，各
参加者の端末は受信した他の参加者の位置および方向を
用いて，同じ都市内を移動している他の参加者を象徴す
るＣＧ像（アバタ）を仮想都市の中に同じく生成表示
し，仮想空間内で複数の参加者およびサービスの間での
通信を実現する仮想空間通信サービスに関するものであ
る。

【００１０】図１は，本発明の概要を説明する図であ
る。端末装置１は，仮想空間通信サービスを受ける各参
加者が利用する端末である。本実施の形態では，各参加
者の端末装置１において，Ｎ個の撮像装置２およびＮ個
のマイク３（図１の例ではＮ＝３）を用意し，それらを
参加者（ユーザ）の位置に対して適切な位置に配置し，
これらの撮像装置２から得られた画像，マイク３から得
られた音声を，ネットワーク９を介して送信することに
より，上記仮想空間通信サービスにおいて，以下の事項
を実現する。 （１）参加者の実際の顔画像をそこに貼り込むことによ
る，より現実世界に近づけた通信サービスの実現。 （２）３次元仮想空間における視点位置と参加者を表現
するアバタとの相対的な位置・方向関係を適切に表現す
るための貼り付け顔画像選択および再生する音声情報選
択の実現。

【００１１】このため，映像・音声送受信手段４は，撮
像装置２により複数方向から撮影した参加者の顔画像の
映像情報と，撮像装置２と同位置に設置された複数のマ
イク３から入力した音声情報とを，センタ装置を介し
て，または直接，他の参加者の端末装置１’へ同報す
る。また，ネットワーク９を介して送られてきた他の参
加者の顔画像の映像情報および音声情報を受信する。

【００１２】顔画像選択手段５は，３次元仮想空間にお
ける端末装置１のユーザの視点位置と，表示しようとす
る参加者のアバタとの相対的な位置関係によって，複数
方向から撮影された複数の顔画像の中の一つを選択し，
映像貼付手段６は，顔画像選択手段５によって選択した
顔画像を，その参加者のアバタの顔部分に対して貼り付
け，端末装置１のディスプレイ（図示省略）に表示す
る。

【００１３】音声選択手段７は，映像・音声送受信手段
４によって受信した他の参加者の音声情報を，３次元仮
想空間における端末装置１のユーザの視点位置と，参加
者アバタとの相対的な位置関係によって選択し，音声再
生手段８は，選択した音声情報を必要であれば他の音声
情報と合成してスピーカ，ヘッドホン等の音声出力装置
に出力する。

【００１４】図２に，仮想空間表示の例を示す。本空間
においては，３人のユーザ（Ａ，Ｂ，Ｃ）が仮想空間を
共有しており，本図ではユーザＡが利用している端末上
での仮想空間表示例を示している。点線で示されたユー
ザＡが実際の人間を示しており，端末上の仮想空間に含
まれるユーザアバタＢとユーザアバタＣが他２名を示す
アバタとなっている。

【００１５】図３に，仮想空間内のアバタ方向と，ユー
ザからの視点方向との相対関係について示す。仮想空間
に表示するアバタは，大きく分けて顔画像を貼り付ける
顔部分と，さまざまな動きを行う体部分に分かれる。こ
こで重要なのは顔部分であり，個々のユーザ利用端末に
設置された撮像装置によって撮影されたユーザの実顔画
像映像を顔部分に貼り込むことによって，より現実世界
と近いコミュニケーションを実現する。このとき，図３
（Ｃ）に示すように，アバタが横向いている場合には，
顔画像を貼り付けることはできない。そこで，図３
（Ｂ）に示すように，アバタの方向によって顔画像貼り
付け部分の方向をユーザからの視点方向に対して直角方
向になるように補正を行う。これによって，アバタの方
向にかかわらず貼り付けられた顔画像を参照することが
可能となる。ここで問題になるのが，顔部分と体部分が
通常の人間では考えられない方向（極端には，体部分は
背を向けているのにもかかわらず顔画像が正面を向いて
いる状態）になった場合，ユーザにとって不自然な印象
を与えることになる。

【００１６】そこで本発明では，ユーザに対して多方向
からの撮像装置によって取り込まれた顔画像を用意する
ことによって，ユーザからの視点方向とアバタの体部分
の方向との相対関係に基づき，適切な顔映像を選択して
利用することにより，上記不自然さを取り除くことを実
現する。

【００１７】図４に，本発明によって上記不自然さを取
り除く処理を行った場合のアバタ表示の例を示す。ユー
ザからの視点方向に対して，アバタが右（左）を向いて
いる場合には，当該ユーザの左（右）側から撮影された
実顔映像をアバタ顔部分に対して貼り付けることを行っ
ている。

【００１８】なお，本実施の形態においては，３方向そ
れぞれの顔画像を送受する際に，通信量を削減するた
め，３方向の顔画像を合成して１つの画像データとして
送受する方式を用いる。

【００１９】図５に，本実施の形態（撮像装置・マイク
個数Ｎ＝３の場合）に基づく３次元仮想空間通信サービ
スシステムのソフトウェア／ハードウェア構成図を示
す。本構成図では，簡単のため，クライアント端末１０
におけるソフトウェア構成部分については，本発明に関
連する実顔画像のやりとりを行う部分のみが含まれてい
る。３次元共有仮想空間通信サービスを実現するための
ソフトウェアモジュールであるサーバ（現在仮想空間に
ログインしているユーザを管理するログインユーザ管理
サーバ３０以外）と，３次元共有仮想空間を生成し表示
するクライアントソフトウェアモジュールについては，
従来の３次元仮想空間通信サービスを実現するシステム
と同様でよいので，省略している。

【００２０】クライアント端末１０は，ハードウェアと
してはＣＰＵ，メモリ，外部記憶装置，通信用の機器，
ディスプレイ，キーボードやマウス等の入力装置，スピ
ーカまたはヘッドホン等の音声出力機器，および映像合
成装置１１，映像取り込み装置１４を持つ。

【００２１】映像合成装置１１は，複数台の撮像装置
（カメラ）２から得られる複数の映像情報を，通信量削
減のために合成する装置である。映像取り込み装置１４
は，映像合成装置１１が合成した映像情報をクライアン
ト端末１０に入力するためのインタフェースを持つ装置
である。

【００２２】クライアント端末１０が持つソフトウェア
モジュールのそれぞれの役割は，以下のとおりである。
ネットワーク制御部１５は，ネットワーク９を介しての
映像情報の送受信を行う。映像・音声送受信部１６は，
ネットワーク制御部１５を介して，映像・音声情報の送
受信を行う。送受信する映像情報の内容は，送信ユーザ
名および映像データである。映像データは，映像合成装
置１１により複数の撮像装置２から取得した映像を合成
したものである。送受信する音声情報の内容は，送信ユ
ーザ名，音声番号，音声データである。

【００２３】映像分割部１７は，受信映像情報を，それ
ぞれの撮像装置２によって撮影された映像に分割する。
分割映像情報は，送信ユーザ名，映像番号，分割された
映像の映像データからなる。映像解像度設定部１８は，
映像分割部１７によって分割された映像の，適切な解像
度の設定に必要な顔画像処理を行う。映像切替部１９
は，受信映像情報に含まれる送信ユーザ名からユーザア
バタ管理部２２を介して取得したアバタと，現在のユー
ザの視点との相対関係により，アバタへ貼付処理を行う
映像を選択する。映像貼付部２０は，映像切替部１９に
より選択した分割後の映像データを，そのアバタの顔部
分に貼り付ける処理を行う。

【００２４】映像取り込み部２１は，映像取り込み装置
１４を介して，映像合成装置１１によって合成した映像
をクライアント端末１０内に取り込む。ユーザアバタ管
理部２２は，ログインユーザ管理サービス３０から取得
したユーザ名リストおよび対応する３次元仮想空間内の
ユーザアバタ情報（位置，向き等）を管理する。

【００２５】音声取り込み部２３は，複数台のマイク３
から入力された音声を送信情報として作成し，映像・音
声送受信部１６へ送る処理を行う。音声切替制御部２４
は，映像・音声送受信部１６から得られた複数の音声情
報を，ユーザアバタ管理部２２から取得した視点位置と
各アバタとの相対関係により，音声再生部２５へ送る音
声情報を選択する。音声再生部２５は，音声切替制御部
２４から得られた音声情報を，スピーカ，ヘッドホン等
の外部出力に対して出力できるように生成する。外部出
力が複数ある場合には，立体的な音の方向性が得られる
ように，音声出力の分配も併せて行う。

【００２６】ログインユーザ管理サーバ３０は，現在仮
想空間にログインしているユーザを管理し，各クライア
ント端末１０に通知する装置である。

【００２７】図６に，図５で示された装置構成を用いて
撮影された合成された顔画像を示す。ここでは映像合成
装置１１として，４入力を受け付ける装置を仮定してい
る。実際に使用されている顔画像は，合成された４つの
内の３映像であり，順にユーザの正面映像，右からの横
顔映像，左からの横顔映像としている。

【００２８】図７に映像の送信処理における処理ループ
ブロック図を示す。ステップＳ１では，映像合成装置１
１によって，Ｎ個の撮像装置２が撮影した複数方向のユ
ーザの映像を図６に示すように合成する。クライアント
端末１０は，その合成映像情報を映像取り込み装置１４
を介して，映像取り込み部２１によって取り込む。映像
取り込み部２１は，取り込んだ映像情報を映像・音声送
受信部１６へ送る。

【００２９】ステップＳ２では，映像・音声送受信部１
６は，送信する映像情報を作成する。送信情報は，映像
取り込み部２１によって取り込んだ合成映像データと，
送信ユーザ名を含む。ステップＳ３では，映像・音声送
受信部１６は，作成した送信情報の送信をネットワーク
制御部１５へ依頼し，ネットワーク制御部１５は，ネッ
トワーク９を介して他のクライアント端末または同報通
信機能を持つセンタ装置へ送信する。クライアント端末
１０のユーザが３次元仮想空間通信に参加している間，
以上の処理を繰り返す。

【００３０】図８に映像の受信処理における処理ループ
ブロック図を示す。ステップＳ１１では，映像・音声送
受信部１６は，ネットワーク制御部１５を介して合成映
像情報を受信する。ステップＳ１２では，映像分割部１
７は，映像・音声送受信部１６によって受信した合成映
像情報を，それぞれの撮像装置によって撮影された映像
に分割し，分割映像情報を作成する。このとき，送信ユ
ーザ名を取得し，各分割映像情報にユーザ名を挿入する
とともに，映像番号を挿入する。ステップＳ１３では，
映像解像度設定部１８によって，分割映像の解像度を設
定する。

【００３１】次に，以下のステップＳ１４〜ステップＳ
１６をアバタ数分繰り返す。まず，ステップＳ１４で
は，映像切替部１９は，ユーザの視点方向と分割映像情
報に対応するアバタの方向との相対関係を，ユーザアバ
タ管理部２２から得たユーザアバタ情報によって算出す
る。ステップＳ１５では，算出した相対関係をもとに，
アバタに貼り付ける顔画像の貼付け映像を，分割映像情
報の中から選択する。ステップＳ１６では，映像貼付部
２０によって，アバタへの映像貼付けを実行する。

【００３２】図９に音声受信処理における処理ループブ
ロック図を示す。ステップＳ２１では，映像・音声送受
信部１６は，ネットワーク制御部１５を介して音声情報
を受信する。次に，以下のステップＳ２２〜ステップＳ
２４をアバタ数分繰り返す。まず，ステップＳ２２で
は，音声切替制御部２４は，ユーザの視点方向と音声情
報に対応するアバタの方向との相対関係を，ユーザアバ
タ管理部２２から得たユーザアバタ情報によって算出す
る。ステップＳ２３では，算出した相対関係をもとに，
再生音声を選択する。ステップＳ２４では，音声再生部
２４によって音声再生処理を行う。この際に，必要に応
じてステレオ効果，立体音響効果が得られるように，音
声出力の制御を行う。

【００３３】なお，音声送信処理については，図７に示
す映像送信処理と同様であるので，処理の流れについて
の説明は省略する。ただし，音声情報の場合には，映像
の合成のような処理は行わない。

【００３４】

【発明の効果】以上説明したように，本発明によれば，
多数の利用者が３次元仮想空間を共有する通信サービス
において，参加者個々の実顔画像を利用した仮想空間通
信サービスを実現することができ，より現実世界に近い
形での通信サービスが実現可能である。さらに，複数の
角度からの顔画像および音声情報を，仮想空間を見る視
点位置と，各参加者を示すアバタとの相対的な位置・方
向関係により適切に利用することにより，より現実世界
に近い形での通信サービスが実現可能である。

【図面の簡単な説明】

【図１】本発明の概要を説明する図である。

【図２】３次元共有仮想空間通信サービスシステムにお
ける仮想空間表示の例を示す図である。

【図３】仮想空間内のアバタ方向と，ユーザからの視点
方向との相対関係について示す図である。

【図４】本発明の実施の形態におけるアバタ表示の例を
示す図である。

【図５】本発明の実施の形態に基づく３次元仮想空間通
信サービスシステムの構成図である。

【図６】顔画像合成映像の例を示す図である。

【図７】映像の送信処理における処理ループブロック図
である。

【図８】映像の受信処理における処理ループブロック図
である。

【図９】音声受信処理における処理ループブロック図で
ある。

【符号の説明】

１，１’ 端末装置 ２ 撮像装置 ３ マイク ４ 映像・音声送受信手段 ５ 顔画像選択手段 ６ 映像貼付手段 ７ 音声選択手段 ８ 音声再生手段 ９ ネットワーク

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】 通信回線を介して接続される端末の複数
   の利用者が３次元コンピュータグラフィックスによる３
   次元仮想空間を共有し通信する３次元共有仮想空間通信
   サービスにおける顔画像制御方法であって， 参加者の顔画像を撮像装置により複数方向から撮影し， 複数方向から撮影された複数の顔画像の中の一つを，３
   次元仮想空間における視点位置と，参加者アバタとの相
   対的な位置関係によって選択し， その選択した顔画像を参加者アバタの顔部分に対して貼
   り付け， かつ，前記参加者の音声を，前記撮像装置と同位置に設
   置された複数のマイクから入力し， 複数方向から入力された前記各参加者の音声情報の一つ
   を，３次元仮想空間における視点位置と，参加者アバタ
   との相対的な位置関係によって選択し， 選択した音声を再生する ことを特徴とする３次元共有仮
   想空間通信サービスにおける顔画像制御方法。
2. 【請求項２】 通信回線を介して接続される複数の端末
   の利用者が３次元コンピュータグラフィックスによる３
   次元仮想空間を共有し通信する３次元共有仮想空間通信
   サービスを実現する３次元共有仮想空間通信用装置にお
   いて， 撮像装置により複数方向から撮影した参加者の顔画像の
   映像情報を各参加者に同報する通信手段と， ３次元仮想空間における視点位置と，参加者アバタとの
   相対的な位置関係によって，複数方向から撮影された複
   数の顔画像の中の一つを選択する顔画像選択手段と， 選択した顔画像を参加者アバタの顔部分に対して貼り付
   ける映像貼付手段と， 前記撮像装置と同位置に設置された複数のマイクから入
   力した音声情報を各参加者に同報する通信手段と， ３次元仮想空間における視点位置と，参加者アバタとの
   相対的な位置関係によって，複数方向から入力された前
   記各参加者の音声情報の一つを選択する音声選択手段
   と， 選択した音声を再生する手段 とを備えることを特徴とす
   る３次元共有仮想空間通信用装置。
3. 【請求項３】 通信回線を介して接続される複数の端末
   の利用者が３次元コンピュータグラフィックスによる３
   次元仮想空間を共有し通信する３次元共有仮想空間通信
   サービスを実現するための３次元共有仮想空間通信用プ
   ログラム記録媒体であって， 撮像装置により複数方向から撮影した参加者の顔画像の
   映像情報を各参加者に同報する処理と， ３次元仮想空間における視点位置と，参加者アバタとの
   相対的な位置関係によって，複数方向から撮影された複
   数の顔画像の中の一つを選択する処理と， 選択した顔画像を参加者アバタの顔部分に対して貼り付
   ける処理と， 前記撮像装置と同位置に設置された複数のマイクから入
   力した音声情報を各参加者に同報する処理と， ３次元仮想空間における視点位置と，参加者アバタとの
   相対的な位置関係によって，複数方向から入力された前
   記各参加者の音声情報の一つを選択する処理と， 選択した音声を再生する処理 とを， 計算機に実行させるプログラムを記録したことを特徴と
   する３次元共有仮想空間通信用プログラム記録媒体。