JP3560282B2

JP3560282B2 - マルチユーザ仮想空間における音源の定位制御方法、その装置及びそのプログラムを記録した記録媒体

Info

Publication number: JP3560282B2
Application number: JP3069599A
Authority: JP
Inventors: 万知夫森内; 俊介小長井
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1999-02-08
Filing date: 1999-02-08
Publication date: 2004-09-02
Anticipated expiration: 2019-02-08
Also published as: JP2000231474A

Description

【０００１】
【発明の属する技術分野】
本発明は、複数の端末がネットワークでつながれ、各端末の利用者が同一の仮想空間を共有し、該仮想空間内で、各利用者の分身がオブジェクトとして表現され、音像定位する音声によるリアルタイム通信が可能なマルチユーザ仮想空間システムに関し、詳しくは、音像の定位と分身の表示の同期化のための音源定位制御方法、その装置及びそのプログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
従来、複数の利用者がネットワークを介して同一の仮想空間を共有し、音像定位する音声で会話をする場合、特定の音声定位装置により音源を利用者の仮想空間における位置情報に基づき定位させて出力したり、あるいはソフトウェア制御により、同じく空間の利用者の分身の位置情報を基に音像定位を行っていた。前者の場合、音源と位置情報とは別の独立した線で送信している。また、後者も分身を表示するモジュールと音像定位するモジュールとは独立である。
【０００３】
【発明が解決しようとする課題】
上記従来の音声定位通信では、位置情報や音声データを送信するタイミングは、ＣＰＵの性能等により、個々の端末で性能が異なり、ハードウェア制御では別々の系で位置情報や音声データを送らなければならない。また、受信側においても、位置情報から仮想空間内の分身表示と音像定位のタイミングが全て独立なため、受信側の発話者の動きと音声の定位の動きにづれが生じる。
【０００４】
これらの理由により、送信側では、音声源と位置情報の送信の同期がとれず、受信側では、どの位置情報がどの音声源と対応するのか判別できず、また端末の処理速度にずれがある場合は、時間の経過とともに仮想空間内の分身の動きと音像定位の動きが一致しない問題が起こる。特に、送信側の位置情報と音声のデータの送信タイミングの差に開きがある場合や送信側のタイミングが受信側の処理速度を上回っている場合は、この影響は大きい。
【０００５】
本発明の目的は、複数の利用者がネットワークを介して同一の仮想空間を共有し、音像定位する音声でコミュニケーションを行うマルチユーザ仮想空間システムにおいて、送信側の送信タイミング（受信側の受信タイミング）、受信側の分身表示処理能力、音像定位処理能力が異なっていても、容易に音像の定位と分身の表示の同期がとれるようにすることにある。
【０００６】
【課題を解決する手段】
本発明では、送信側の端末は、音声が有音である場合、位置情報と音声データを１つのデータ（音源定位情報データと呼ぶ）としてネットワークに送信する。これにより、送信側のどの位置情報がどの音声源に対応するのかを明確にすると同時に送信側での位置情報と音声のデータの送信タイミングの同期をとることができる。
【０００７】
また、受信側では、音源定位情報データの単位時間当りの受信数Ｔ１、自端末の単位時間当りの分身表示処理数Ｔ２と音源定位処理数Ｔ３を測定し、Ｔ１＜Ｔ２およびＴ１＜Ｔ３の場合には、音源定位情報の全部をそのまま分身変移に同期して音声を出力するが、Ｔ１＞Ｔ２またはＴ１＞Ｔ３の場合には、分身の表示処理と音像定位処理の遅い方のタイミングに合わせて、音源定位情報データの位置情報と音声データを再編することで、受信側の定位のタイミングと発話者の分身表示のタイミングの同期をとる。
【０００８】
【発明の実施の形態】
以下、本発明の一実施例について図面をもとに説明する。
図１は本発明の一実施例のシステム構成図である。図１において、各利用者の端末２０、４０、６０は、サーバホスト１０にネットワーク１００を介して接続されている。なお、端末はこれらに限られるものではない。サーバホスト１０はユーザ認証部１１、端末間通信制御部１２、記憶装置１３、モデル（分身）制御部１４及び網制御部１５からなる。また、端末Ａ２０は網制御部２１、符号化部２２、無音判定部２３、音声入力装置２４、データ処理部２５、タイミング検出部２６、記憶装置２７、仮想空間制御部２８、表示装置２９、定位制御部３０、音声出力装置３１、デバイス制御部３２及び入力装置３３からなる。端末Ｂ４０、端末Ｃ６０の構成も同様である。
【０００９】
各利用者は、まず、自端末の仮想空間制御部２８、４８、６８から網制御部２１、４１、６１、１５を通してサーバホスト１０の端末間通信制御部１２に接続し、入力装置３３、５３、７３からのＩＤとパスワードを送信する。サーバホスト１０では、記憶装置１３に保持されている利用者のＩＤとパスワードを、ユーザー認証部１１が端末通信制御部１２からのデータと照合して利用者の認証を行う。そして、端末間通信制御部１２から各端末の仮想空間制御部２８、４８、６８に位置情報及び音声データの送信許可のメッセージを送信する。
【００１０】
仮想空間のモデル及び利用者の分身モデルは、各端末２０、４０、６０の記憶装置２７、４７、６７で保持しており、仮想空間制御部２８、４８、６８が、これらをロードして表示装置２９、４９、５９に出力する。なお、サーバホスト１０の記憶装置１３には、最新の仮想空間モデルが蓄積されており、利用者がサーバホスト１０に接続してユーザー認証を受けた後に、新規・更新分のみを、モデル制御部１４が定期的に端末間通信制御部１２、網制御部１５を介して各端末２０、４０、６０に送信する。
【００１１】
位置情報は、利用者が入力装置２３、４３、７３を操作することにより、デバイス制御部３２、５２、７２を介し、仮想空間制御部２８、４８、６８が表示装置２９、４９、６９に画面を出力する毎に得られ、仮想空間制御部２８、４８、６８からデータ処理部２５、４５、６５へ送られる。音声データは、利用者の発話音声を音声入力装置２４、４４、６４より取り込み、あるレベルより低い音声データは、無音判定部２３、４３、６３でカットされる。無音判定部２３、４３、６３で有音と判定された音声データは、符号化部２２、４２、６２でデジタル化されてデータ処理部２５、４５、６５へ送られる。データ処理部２５、４５、６５は、位置情報の取得タイミングで、無音の場合は位置情報のみ、有無の場合には位置情報と音声データとをまとめたデータ構造に編成し、音源定位情報データとして、網制御部２１、４１、６１よりサーバホスト１０へ送信する。
【００１２】
図２は、端末における音源定位情報データの作成送信制御の処理手順フローを示したものである。また、図３は、データ処理部２５、４５、６５での該音源定位情報データの作成送信の処理フローを示す。
【００１３】
こうして、各端末２０、４０、６０からサーバホスト１０へ送信された位置情報のみあるいは位置情報と音声データからなる音源定位情報データは、サーバホスト１０の網制御部１５で受信され、端末間制御通信部１２にて、ある一定間隔Ｔ１毎に、各端末から送信されてきた音源定位情報データを一括し、網制御部１５より全端末に配信する。ここで、音源定位情報データは、自端末の情報を除き、各端末の位置情報（Ｐ）及び音声データ（Ａ）をまとめて配信される。例えば端末Ｂ４０に対する音源定位情報データは、（Ｐａ１、Ａａ１）（Ｐｃ１、Ａｃ１）、・・・（Ｐｎ１、Ａｎ１）となる（各データの小文字：端末のアルファベットに対応）。
【００１４】
以下では、端末Ｂ４０に着目して、受信側での音源定位制御について説明する。サーバホスト１０から配信された音源定位情報データは、端末Ｂ４０において、網制御部４１を介してデータ処理部４５で受信される。データ処理部４５では、音源定位情報データから位置情報を分離して仮想空間制御部４８へ渡し、仮想空間制御部４８で他の利用者の分身を仮想空間上の位置に更新して表示装置４９に再表示する。また、位置情報と音声データは、データ処理部４５から定位制御部５０に送られて、該定位制御部５０にて仮想空間の相対位置に変換されて、音像定位処理を行い、音声出力装置５１で出力する。
【００１５】
上記受信側端末Ｂ４０の処理の流れにおいて、サーバホスト１０での音源定位情報データの送信タイミング（端末での単位時間当りのデータ受信数：データ受信速度）Ｔ１が、サーバホスト１０からのデータ受信毎にタイミング検出部４６で測定され、データ処理部４５へ渡される。また、データ処理部４５では、仮想空間制御部４１から単位時間当りの他の利用者の分身の再表示処理数（表示処理速度）をＴ２として、さらに、定位制御部５０から単位時間当りの音像定位処理数（音像定位処理速度）をＴ３として測定する。
【００１６】
データ処理部４５では、Ｔ１、Ｔ２、Ｔ３の値を比較し、Ｔ１＞Ｔ２＞Ｔ３、またはＴ１＞Ｔ３＞Ｔ２の場合は、Ｔ２、Ｔ３を基準にした処理タイミングに切り替えて、音像定位情報データを他のアバターの表示と音像定位の同期を図る。それ以外の場合はそのまま処理を続ける。
【００１７】
図４に、受信側の端末における音源定位制御の全体的な処理フローの一例を示す。また、音源定位情報データの受信時のデータ処理部（２５、４６、６５）の処理フロー例を図５に、仮想空間制御部（２８、４８、６８）での分身変移の表示処理フロー例を図６に、定位制御部での分身変移に同期した音声出力の処理フロー例を図７に示す。
【００１８】
次に、図８及び図９に、本発明による音源の定位制御の具体例を示す。図８は受信側での位置データと音声データの再編成を説明する図である。ここで、Ｔ１＝４、Ｔ２＝３、Ｔ３＝２とする。したがって、本例では、Ｔ２＞Ｔ３であり、Ｔ１とＴ３の商の剰余数ｉ＝２を受信側の処理タイミングの基準とする。これにより、図８（１）の単位時間当たり（Ｐ１、Ａ１）（Ｐ２、Ａ２）（Ｐ３、Ａ３）（Ｐ４、Ａ４）と受信されたデータを、データ処理部では、図８（２）に示すように、（Ｐ１、Ａ１＋Ａ２）（Ｐ２、ＮＵＬＬ）（Ｐ３、Ａ３＋Ａ４）（Ｐ４、ＮＵＬＬ）というように再編成して、仮想空間制御部と定位制御部に同時に送る（ＮＵＬＬ：無音を表す）。仮想空間制御部では、単位時間あたりにＰ１、Ｐ３を順次処理して分身を表示装置に表示する。また、定位制御部では、Ｐ１でＡ１＋Ａ２を、Ｐ３でＡ３＋Ａ４の２つを順次処理し、音声出力装置に出力する。
【００１９】
図９は、仮想空間での分身の表示位置と対応する音声出力を示した図である。この例の場合、Ｐ２、Ｐ４といった位置情報は欠落するが、位置情報の変化はＰ１とＰ２、Ｐ３とＰ４の間ではあまり変化かないので、Ｔ１／（Ｔ２ｏｒＴ３）＜Ｋであれば表示上の大きな問題とはならない（Ｋ：実験的に見た目上アバターの動きが不連続に見えないように決定される定数）。
【００２０】
次に、別の例として、剰余のある例について示す。ここでは、Ｔ１＝７、Ｔ２＝４、Ｔ３＝３とする。したがって、ｉ＝２、余りは１となる。この場合、単位時間当り（Ｐ１、Ａ１）、（Ｐ２、Ａ２）、（Ｐ３、Ａ３）、（Ｐ４、Ａ４）、（Ｐ５、Ａ５）（Ｐ６、Ａ６）、（Ｐ７、Ａ７）と受信されたデータは、（Ｐ１、Ａ１＋Ａ２）、（Ｐ２、ＮＵＬＬ）、（Ｐ３、Ａ３＋Ａ４）、（Ｐ４、ＮＵＬＬ）、（Ｐ５、Ａ５＋Ａ６）、（Ｐ６、ＮＵＬＬ）と再編成される。この結果、Ｐ１、Ｐ３、Ｐ５と分身が表示され、また、Ｐ１でＡ１＋Ａ２、Ｐ３でＡ３＋Ａ４、Ｐ５でＡ５＋Ａ６と音像定位処理される。
【００２１】
なお、実施例では、位置情報と音声情報をサーバホスト経由で一括配信する方式をとったが、端末間で直接通信することも可能であるが、この場合のＴ１は、各端末のタイミングとなり、端末台数分のＴ１が存在することになる。
【００２２】
また、図２乃至図７に示した処理フロー図の手順やアルゴリズムは、コンピュータで実行可能な形式で記述し、音源定位制御プログラムとしてコンピュータ読み取り可能な記録媒体、例えばフロッピーディスク、コンパクトディスクなどに記録して提供することが可能である。
【００２３】
【発明の効果】
以上説明したように、本発明によれば、仮想空間内の分身等の動きとその音声（音源）の動きが一致し、音声を発声している利用者が誰かが明確になり、端末の性能差が例えば１０倍程度以下の任意の性能の端末間でもコミュニケーションが矛盾なく行える。
【００２４】
また、本発明では、音源の位置がほぼ正確に伝わり、かつ複数の端末からの音源を独立に処理すれば、多人数での利用が可能となり、遠隔地間でのネットワークを介した多人数参加型の迷路ゲームでの目的地の方向付けや探検ゲームでの目標物の探索等にも応用できる。
【図面の簡単な説明】
【図１】本発明における一実施例のシステム構成図である。
【図２】送信側の音源定位情報データの作成送信制御の処理フロー図である。
【図３】データ処理部での音源定位情報データの作成送信の処理フロー図である。
【図４】受信側の音源定位制御の全体的処理フロー図である。
【図５】データ処理部での音源定位情報データの受信時の処理フロー図である。
【図６】仮想空間制御部での分身変移の表示の処理フロー図である。
【図７】定位制御部での分身変移に同期した音声出力の処理フロー図である。
【図８】位置情報と音声データの再編成の具体例を示す図である。
【図９】図８の例の仮想空間での分身の表示位置と対応する音声出力を示す図である。
【符号の説明】
１０サーバ
２０、４０、６０端末
２３、４３、６３無音判定部
２４、４４、６４音声入力装置
２５、４５、６５データ処理部
２６、４６、６６タイミング検出部
２７、４７、６７記憶装置
２８、４８、６８仮想空間制御部
２９、４９、６９表示装置
３０、５０、７０定位制御部
３１、５１、７１音声出力装置
３３、５３、７３入力装置

Claims

複数の端末がネットワークでつながれ、各端末が同一の仮想空間を共有し、該仮想空間内で各利用者の分身がオブジェクトとして表現され、音像定位する音声によるリアルタイム通信が可能なマルチユーザ仮想空間システムにおいて、
発話端末では、分身の位置情報と音声データとを一つのデータとしてネットワークに送信し、
受信端末では、分身の表示処理速度と音像定位処理速度を測定し、そのいずれかがデータ受信速度より遅い場合、前記分身の表示処理速度と音像定位処理速度のうち遅い方の処理速度に合わせて受信データの複数個を処理単位として定め、処理単位にある複数の位置情報については代表する位置情報を１つ定め、処理単位にある複数の音声データについては 1 つにまとめて合成音声データを作成し、処理単位に音像の定位と分身の表示を行うことを特徴とするマルチユーザ仮想空間における音源の定位制御方法。
音声の発話の有無を識別する手段と、無音の場合は分身の位置情報のみを送信し、音声が発せられた場合には、デジタル化した音声を分身の位置情報の取得タイミングで分割し、分身の位置情報と音声データを同時に送信する手段と、分身の表示処理速度と音像定位処理速度を測定する手段と、前記分身の表示処理速度と音声定位処理速度を比較する手段と、前記分身の表示処理速度と音声定位処理速度のいずれかがデータ受信速度より遅い場合、前記分身の表示処理速度と音像定位処理速度のうち遅い方の処理速度に合わせて受信データの複数個を処理単位として定め、処理単位にある複数の位置情報については代表する位置情報を１つ定め、処理単位にある複数の音声データについては 1 つにまとめて合成音声データを作成し、処理単位に音像の定位と分身の表示を行う手段と、
を具備することを特徴とするマルチユーザ仮想空間における音源の定位制御装置。
複数の端末がネットワークでつながれ、各端末が同一の仮想空間を共有し、該仮想空間内で各利用者の分身がオブジェクトとして表現され、音像定位する音声によるリアルタイム通信が可能なマルチユーザ仮想空間システムにおいて、音像の定位と分身の表示の同期化のための音源の定位制御プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
音声の発話の有無を識別する処理プロセスと、無音の場合は分身の位置情報のみを送信し、音声が発せられた場合には、デジタル化した音声を分身の位置情報の取得タイミングで分割し、分身の位置情報と音声データを同時に送信する処理プロセスと、分身の表示処理速度と音像定位処理速度を測定する処理プロセスと、前記分身の表示処理速度と音声定位処理速度を比較する処理プロセスと、前記表示処理速度と音声定位処理速度のいずれかがデータ受信速度より遅い場合、前記の表示処理速度と音声定位処理速度のうち遅い方の処理速度に合わせて受信データの複数個を処理単位として定め、処理単位にある複数の位置情報については代表する位置情報を１つ定め、処理単位にある複数の音声データについては 1 つにまとめて合成音声データを作成し、処理単位に音像の定位と分身の表示を行う処理プロセスとを記録していることを特徴とする記録媒体。