JP4848362B2 - オーディオ・シーンを生成する際に使用する装置及び方法 - Google Patents

オーディオ・シーンを生成する際に使用する装置及び方法 Download PDF

Info

Publication number
JP4848362B2
JP4848362B2 JP2007507622A JP2007507622A JP4848362B2 JP 4848362 B2 JP4848362 B2 JP 4848362B2 JP 2007507622 A JP2007507622 A JP 2007507622A JP 2007507622 A JP2007507622 A JP 2007507622A JP 4848362 B2 JP4848362 B2 JP 4848362B2
Authority
JP
Japan
Prior art keywords
virtual environment
avatar
audio
audio stream
avatars
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007507622A
Other languages
English (en)
Other versions
JP2007533213A (ja
Inventor
ボウステッド，ポール・アンドリュー
サファエイ，ファルザド
ダウラトシャヒ，メーラン
Original Assignee
ドルビー ラボラトリーズ ライセンシング コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from AU2004902027A external-priority patent/AU2004902027A0/en
Application filed by ドルビー ラボラトリーズ ライセンシング コーポレイション filed Critical ドルビー ラボラトリーズ ライセンシング コーポレイション
Publication of JP2007533213A publication Critical patent/JP2007533213A/ja
Application granted granted Critical
Publication of JP4848362B2 publication Critical patent/JP4848362B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Information Transfer Between Computers (AREA)
  • Processing Or Creating Images (AREA)
  • Stereophonic System (AREA)

Description

本発明は、一般に、オーディオ・シーンを生成する際に使用される装置及び方法に関し、特に、しかし決して排他的にではなく、仮想環境用のオーディオ・シーンを生成する際に使用される適用を有する。
近年、視覚的没入型仮想環境の生成において著しい進展があった。これらの進展により、多くのマルチプレーヤ・ロールプレイング・ゲームが広範に受け入れられ、それらのゲームでは、参加者は、共通の仮想環境（戦場など）に入ることができ、その仮想環境内では、典型的には動画のキャラクタの形をとるアバタによって表される。戦場の形をとる仮想環境の場合、アバタは兵士とすることができる。
視覚的没入型仮想環境（visually immersive virtual environment）が広範に受け入れられたのは、部分的には、極めて詳細で現実的なグラフィックス仮想環境が生成されることを可能にするイメージ処理技術の著しい進展による。３次元サウンド・カードの普及は、仮想環境への参加者に高品質の音を供給する能力を提供する。しかし、３次元サウンド・カードの多くの利用にも関わらず、今日の視覚的没入型仮想環境は、一般に、参加者が互いにコミュニケーションをとる現実的なメカニズムを提供することができない。多くの環境は、テキスト・ベースのチャットやウォーキートーキ・スタイルの音声などのような、非没入型コミュニケーション・メカニズムを使用する。
定義
以下は、本明細書で使用される様々な用語の定義を提供する。
・重み付けされたオーディオ・ストリーム（加重オーディオ・ストリーム） − １又は複数のオーディオ情報を含み、その各々が、音源とオーディオ情報の受け手との間の距離に基づいて変更（増大又は減少）される振幅を有する、オーディオ情報。
・重み付けされていないオーディオ・ストリーム（非加重オーディオ・ストリーム） − １又は複数のオーディオ情報を含むが、加重オーディオ・ストリームとは異なり、非加重オーディオ・ストリーム内のそれぞれのオーディオ情報の振幅は、元の振幅から変更されない、オーディオ情報。
・オーディオ・シーン − 空間的に配置され、音源と音の受け手との間の距離に従っておそらくは減衰される合成音（例えば、仮想環境内の他のアバタに属するオーディオ及びその他の音源）を含む、オーディオ情報。オーディオ・シーンは、環境の音響的特性を表す音効果も含むことができる。
本発明の第１の態様によれば、仮想環境におけるアバタ用のオーディオ・シーンを生成するための装置が提供され、前記装置は、
アバタの聴取範囲の一部分に配置されたもの（オブジェクト）からのオーディオを含む、加重オーディオ・ストリームを生成するように動作するオーディオ・プロセッサと、
加重オーディオ・ストリームと、仮想環境における聴取範囲の一部分の位置を表すデータとを関連付けるように動作するものであり、加重オーディオ・ストリームと前記データとがオーディオ・シーンを表すものである、関連付け手段と
を含む。
本発明の第１の態様による装置は、幾つかの利点を有する。１つの利点は、聴取範囲を１又は複数の部分に分割することによって、オーディオ・シーンの忠実度が、必要とされるレベルに調整され得ることである。聴取範囲における部分の数が多くなるほど、オーディオ・シーンの忠実度は高くなる。装置は、１つの部分に対して１つの加重オーディオ・ストリームとなるように制限されないことが想定されている。実際、装置は、聴取範囲における他の部分に配置されたオブジェクトからの音（オーディオ）を各々に含む複数の加重オーディオ・ストリームを可能にする。装置の別の利点は、オブジェクトと受け手との間の距離を移動させた結果として音声が減衰するなどの特性を、加重オーディオ・ストリームで再現できることである。本発明の更に別の利点は、オーディオがその場所から発せられたかのように、オーディオ・ストリームが再生され得ることである。従って、オブジェクトの位置が受け手の右側であることをデータが表す場合、オーディオは、ステレオ・サウンド・システムの右チャンネルを使用して、再生される。
好ましくは、オーディオ・プロセッサは、加重オーディオ・ストリームを、アバタの聴取範囲の一部分に配置された別のオブジェクトからの音声を含む非加重オーディオ・ストリームを含むように、生成するように更に動作する。
加重オーディオ・ストリーム内に非加重オーディオ・ストリームを含むことの利点は、アバタの聴取範囲の一部分の周辺に配置された１又は複数の他のオブジェクトからの音声を表す手段を提供することである。非加重オーディオ・ストリームの利点は、多くのアバタのオーディオ・シーンを生成するために再利用され得ることであり、それによって、オーディオ・シーンを生成するための全体的な処理要件を低減することができる。
好ましくは、オーディオ・プロセッサは、所定のミキシング操作に従って、加重オーディオ・ストリームを生成するように動作し、所定のミキシング操作は、そのオブジェクト及び／又は他のオブジェクトを識別する識別情報と、加重オーディオ・ストリーム内のオーディオと非加重オーディオ・ストリームとの振幅を設定するためにオーディオ・プロセッサによって使用され得る重み付け情報とを含む。
好ましくは、装置は、オーディオと、非加重オーディオ・ストリームと、ミキシング操作とを通信ネットワークを介して受信するように動作する通信手段を更に含み、通信手段は、加重オーディオ・ストリームおよびデータを通信ネットワークを介して送信するように更に動作する。
通信手段は、装置が分散環境で使用されることを可能にするので、通信手段を使用することには利点がある。
本発明の第２の態様によれば、仮想環境におけるアバタ用のオーディオ・シーンで使用されるオーディオ情報を生成するように動作する装置が提供され、この装置は、
アバタの聴取範囲の一部分に配置されたオブジェクトからの音声を含む、非加重オーディオ・ストリームを生成するように動作するオーディオ・プロセッサと、
非加重オーディオ・ストリームと、仮想環境におけるオブジェクトの近似的な位置を表すデータとを関連付けるように動作する関連付け手段であって、非加重オーディオ・ストリームと前記データとがオーディオ情報を表す、関連付け手段と
を含む。
本発明の第２の態様による装置は幾つかの利点を有し、そのうちの２つは、本発明の第１の態様の前述された第１及び第２の利点と同様である。
好ましくは、オーディオ・プロセッサは、所定のミキシング操作に従って、非加重オーディオ・ストリームを生成するように動作し、所定のミキシング操作は、オブジェクトを識別する識別情報を含む。
好ましくは、装置は、オーディオと、所定のミキシング操作とを通信ネットワークを介して受信するように動作する通信手段を更に含み、通信手段は、非加重オーディオ・ストリームとデータとを通信ネットワークを介して送信するようにも動作する。
通信手段は、装置が分散環境で使用されることを可能にするので、通信手段を使用することには利点がある。
本発明の第３の態様によれば、仮想環境におけるアバタ用のオーディオ・シーンを生成するために使用され得る情報を取得するための装置が提供され、この装置は、
アバタの聴取範囲の一部分に配置されたオブジェクトの識別子を決定するように動作する識別手段と、
オブジェクトからの音声に適用される重みを決定するように動作する重み付け手段と、
仮想環境内の一部分の位置を決定するように動する位置決定手段であって、識別子と、重みと、位置とが、オーディオ・シーンを生成するために使用され得る情報を表す、位置決定手段と
を含む。
重みと位置とを取得する本発明の第３の態様の能力は、幾つかの理由で有利である。第１に、重みは、オブジェクトからのオーディオ（音）を含む加重オーディオ・ストリームを生成するために使用されることができる。この点に関して、重みは、オーディオが加重オーディオ・ストリームに挿入されるときにその振幅を設定するために使用されることができる。第２に、位置は、オーディオがその位置から来ているかのように、オーディオを再生するために使用されることができる。例えば、オブジェクトの位置が受け手の右側であることを位置が表す場合、オーディオは、ステレオ・サウンド・システムの右チャンネルを使用して再生される。
好ましくは、装置は、識別子と、重みと、位置とを、通信ネットワークを介して複数の処理用システムの１つへ送信するように動作する通信手段を更に含む。
通信手段は、装置が分散環境で使用されることを可能にするので、通信手段を使用するのが有利である。更に、通信手段は、装置が、識別子と、重みと、位置とを、求められる処理を実行するために必要なリソース（処理能力）を有するシステムへ送信することを可能にする。
好ましくは、通信手段は、通信ネットワーク用のルーティング情報を生成するように更に動作し、ルーティング情報は、オーディオを複数の処理用システムの１つへルーティングするために通信ネットワークによって使用され得るようなものである。
ルーティング情報は、オーディオを転送するために使用される通信ネットワーク内のリンクを装置が効果的に選択することを可能にするので、ルーティング情報を提供できることは有利なことである。
好ましくは、識別手段、重み付け手段、及び位置決定手段は、仮想環境の表現を処理することによって、識別子、重み、及び位置を決定するようにそれぞれ動作する。
好ましくは、識別手段は、聴取範囲の一部分を決定するように動作するものであり、
仮想環境内の複数のアバタのうちの第１のアバタを選択し、
アバタのうちの第１のアバタに最も近い、複数のアバタのうちの第２のアバタを識別し、
アバタのうちの第２のアバタが既存のクラスタ内に含まれ得るかどうかを決定し、
第２のアバタが既存のクラスタに含まれ得ると決定した場合、アバタのうちの第２のアバタを既存のクラスタ内に含め、
アバタのうちの第２のアバタが既存のクラスタ内に含まれ得ないと決定した場合、アバタのうちの第２のアバタを含む新しいクラスタを生成し、それによって、複数のクラスタを生成し、
２つのクラスタの間の角度ギャップを決定し、
その角度ギャップ内に実質的に配置されるさらなるクラスタを生成し、
アバタのうちの少なくとも１つのアバタをさらなるクラスタ内に含める
ように動作することにより、聴取範囲の一部分を決定する。
代替例として、識別手段は、聴取範囲の一部分を決定するように動作するものであり、
仮想環境内の複数のアバタのうちの１つのアバタを選択し、
そのアバタから複数のアバタのうちの１つのアバタに延びる放射状の線を決定し、
放射状の線からの複数のアバタのうちの各アバタの絶対角距離を計算し、
アバタのうちの各アバタの絶対角距離を、昇順リストに配列し、
昇順リスト内の連続する絶対各距離の間の差分角分離（differential angular separation）を計算し、
別の差分角分離より高い値をもつ少なくとも１つの差分角分離を選択し、
アバタから発する別の放射状の線であって、前記少なくとも１つの差分角分離に関連付けられた２つのアバタを２つに分ける別の放射状の線を決定する
ように動作することにより、聴取範囲の一部分を決定する。
本発明の第４の態様によれば、仮想環境におけるアバタ用のオーディオ・シーンを生成するために使用され得る情報を生成するための装置が提供され、この装置は、
アバタの聴取範囲の一部分に配置されたオブジェクトの識別子を決定するように動作する識別手段と、
仮想環境内のオブジェクトの近似的な位置を決定するように動作する位置決定手段であって、識別子と近似的な位置とがオーディオ・シーンを生成するために使用され得る情報を表す、位置決定手段と
を含む。
近似的な位置は、その位置からオーディオが発せられているかのように、オブジェクトからのオーディオを再生するために使用され得るので、オブジェクトの近似的な位置を決定することは有利なことである。
好ましくは、装置は、識別子と位置とを通信ネットワークを介して複数の処理用システムの１つへ送信するように動作する通信手段を更に含む。
通信手段は、装置が分散環境で使用されることを可能にするので、通信手段を使用するのは有利なことである。更に、通信手段は、装置が、識別子と、重みと、位置とを、求められる処理を実行するために必要なリソース（処理能力）を有するシステムへ送信することを可能にする。
好ましくは、通信手段は、通信ネットワーク用のルーティング情報を生成するように更に動作し、ルーティング情報は、オーディオを複数の処理用システムの１つへルーティングするために通信ネットワークによって使用され得るようなものである。
ルーティング情報は、オーディオを転送するために使用される通信ネットワーク内のリンクを装置が効果的に選択することを可能にするので、ルーティング情報を提供できることは有利なことである。
好ましくは、識別手段及び位置決定手段は、仮想環境の表現を処理することによって、識別子及び位置をそれぞれ決定するように動作する。
好ましくは、識別手段は、
仮想環境を複数のセルに分割し、
セルのうちのオブジェクトが位置する１つのセル中の位置を決定する
ことによって、オブジェクトの近似的な位置を決定するように動作する。
本発明の第５の態様によれば、仮想環境におけるアバタ用のオーディオ・シーンを再現するための装置が提供され、この装置は、
アバタの聴取範囲の一部分に配置されたオブジェクトからのオーディオを含む、加重オーディオ・ストリームと、加重オーディオ・ストリームに関連付けられ、仮想環境における聴取範囲の前記一部分の位置を表すデータとを取得するように動作する取得手段と、
オーディオ・シーンを再現するために、加重オーディオ・ストリームと前記データとを処理するように動作する空間オーディオ再現エンジン（spatial audio rendering engine）と
を含む。
本発明の第６の態様によれば、仮想環境におけるアバタ用のオーディオ・シーンを生成する方法が提供され、この方法は、
アバタの聴取範囲の一部分に配置されたオブジェクトからのオーディオを含む、加重オーディオ・ストリームを生成するステップと、
加重オーディオ・ストリームと、仮想環境における聴取範囲の前記一部分の位置を表すデータとを関連付けるステップであって、加重オーディオ・ストリームと前記データとがオーディオ・シーンを表す、ステップと
を含む。
好ましくは、加重オーディオ・ストリームを生成するステップは、加重オーディオ・ストリームが、アバタの聴取範囲の一部分に配置された別のオブジェクトからのオーディオを含む非加重オーディオ・ストリームを含むようにしたものである。
好ましくは、加重オーディオ・ストリームを生成するステップは、所定のミキシング操作に従って実施され、所定のミキシング操作は、前記のオブジェクト及び／又は他のオブジェクトを識別する識別情報と、加重オーディオ・ストリーム内のオーディオと非加重オーディオ・ストリームとの振幅を設定するためにオーディオ・プロセッサによって使用され得る重み付け情報とを含む。
好ましくは、前記方法は、
オーディオと、非加重オーディオ・ストリームと、ミキシング操作とを、通信ネットワークを介して受信するステップと、
加重オーディオ・ストリームと、前記データとを通信ネットワークを介して送信するステップと
を更に含む。
本発明の第７の態様によれば、仮想環境におけるアバタ用のオーディオ・シーンで使用されるオーディオ情報を生成する方法が提供され、この方法は、
アバタの聴取範囲の一部分に配置されたオブジェクトからのオーディオを含む、非加重オーディオ・ストリームを生成するステップと、
非加重オーディオ・ストリームと、仮想環境におけるオブジェクトの近似的な位置を表すデータとを関連付けるステップであって、非加重オーディオ・ストリームと前記データとがオーディオ情報を表す、ステップと
を含む。
好ましくは、非加重オーディオ・ストリームを生成するステップは、所定のミキシング操作に従って実施され、所定のミキシング操作は、オブジェクトを識別する識別情報を含む。
好ましくは、前記方法は、
オーディオと、所定のミキシング操作とを、通信ネットワークを介して受信するステップと、
非加重オーディオ・ストリームと、前記データとを、通信ネットワークを介して送信するステップと
を更に含む。
本発明の第８の態様によれば、仮想環境におけるアバタ用のオーディオ・シーンを生成するために使用され得る情報を取得する方法が提供され、この方法は、
アバタの聴取範囲の一部分に配置されたオブジェクトの識別子を決定するステップと、
そのオブジェクトからのオーディオに適用される重みを決定するステップと、
仮想環境内の前記一部分の位置を決定するステップであって、識別子と、重みと、位置とがオーディオ・シーンを生成するために使用され得る情報を表す、ステップと
を含む。
好ましくは、前記方法は、識別子と、重みと、位置とを、通信ネットワークを介して複数の処理用システムの１つへ送信するステップを更に含む。
好ましくは、前記方法は、通信ネットワーク用のルーティング情報を生成するステップを更に含み、ルーティング情報は、オーディオを複数の処理用システムの１つへルーティングするために通信ネットワークによって使用され得るようなものである。
好ましくは、識別子を決定するステップ、重みを決定するステップ、及び位置を決定するステップは、仮想環境の表現を処理することによって、識別子、重み、及び位置をそれぞれ決定するステップを含む。
好ましくは、前記方法は、聴取範囲の一部分を決定する以下のステップ、即ち、
仮想環境内の複数のアバタのうちの第１のアバタを選択するステップと、
アバタのうちの第１のアバタに最も近い、複数のアバタのうちの第２のアバタを識別するステップと、
アバタのうちの第２のアバタが既存のクラスタ内に含まれ得るかどうかを決定するステップと、
アバタのうちの第２のアバタを既存のクラスタ内に含むことができると決定した場合、アバタのうちの第２のアバタを既存のクラスタ内に含めるステップと、
アバタのうちの第２のアバタが既存のクラスタ内に含まれ得ないと決定した場合、アバタのうちの第２のアバタを含む新しいクラスタを生成し、それによって、複数のクラスタを生成するステップと、
２つのクラスタの間の角度ギャップを決定するステップと、
前記の角度ギャップ内に配置されるさらなるクラスタを生成するステップと、
アバタのうちの少なくとも１つのアバタを前記のさらなるクラスタ内に含めるステップと
を更に含む。
代替として、前記方法は、聴取範囲の一部分を決定する以下のステップ、即ち、
仮想環境内の複数のアバタのうちの１つのアバタを選択するステップと、
前記のアバタから複数のアバタのうちの１つのアバタへと延びる放射状の線を決定するステップと、
放射状の線からの、複数のアバタのうちの各アバタの絶対角距離を計算するステップと、
アバタのうちの各アバタの絶対角距離を、昇順リストに配列するステップと、
昇順リスト内の連続する絶対角距離の間の差分角分離を計算するステップと、
別の差分角分離より高い値をもつ少なくとも１つの差分角分離を選択するステップと、
前記のアバタから発する別の放射状の線であって、前記の差分角分離と関連付けられた２つのアバタを２つに分ける別の放射状の線を決定するステップと
を含む。
本発明の第９の態様によれば、仮想環境におけるアバタ用のオーディオ・シーンを生成するために使用され得る情報を生成する方法が提供され、この方法は、
アバタの聴取範囲の一部分に配置されたオブジェクトの識別子を決定するステップと、
仮想環境内のオブジェクトの近似的な位置を決定するステップであって、識別子と、近似的な位置とが、オーディオ・シーンを生成するために使用され得る情報を表す、ステップと
を含む。
好ましくは、前記方法は、識別子と、位置とを、通信ネットワークを介して複数の処理用システムの１つへ送信するステップを更に含む。
好ましくは、前記方法は、通信ネットワーク用のルーティング情報を生成するステップを更に含み、ルーティング情報は、オーディオを複数の処理用システムの１つへルーティングするために通信ネットワークによって使用され得るようなものである。
好ましくは、識別子を決定するステップ、及び近似的な位置を決定するステップは、仮想環境の表現を処理することによって、識別子及び位置をそれぞれに決定するステップを含む。
好ましくは、前記方法は、オブジェクトの近似的な位置を決定する以下のステップ、即ち、
仮想環境を複数のセルに分割するステップと、
セルのうちの、オブジェクトが配置される１つセルの中の位置を決定するステップと
を更に含む。
本発明の第１０の態様によれば、仮想環境におけるアバタ用のオーディオ・シーンを再現する方法が提供され、この方法は、
アバタの聴取範囲の一部分に配置されたオブジェクトからのオーディオを含む、加重オーディオ・ストリームと、加重オーディオ・ストリームに関連付けられ、仮想環境における聴取範囲の前記の一部分の位置を表すデータとを取得するステップと、
オーディオ・シーンを再現するために、加重オーディオ・ストリームと前記データとを処理するステップと
を含む。
本発明の第１１の態様によれば、本発明の第６、第７、第８、第９、又は第１０の態様による方法をコンピューティング装置に実行させるための少なくとも１つの命令を含むコンピュータ・プログラムが提供される。
本発明の第１２の態様によれば、本発明の第１１の態様によるコンピュータ・プログラムを含む、コンピュータで読取可能な媒体が提供される。
本発明の範囲に包含され得るその他の実施形態もあるが、本発明の一実施形態が、添付の図面を参照して、単なる例として説明される。
図１を参照すると、本発明を実施するシステム１０１が示されており、システム１０１は、オーディオ・シーン生成システム１０３と、仮想環境状態維持システム１０５と、クライアント・コンピューティング装置１０７とを含む。システム１０１は、通信ネットワーク１０９も含む。オーディオ・シーン生成システム１０３、仮想環境状態維持システム１０５、及びクライアント・コンピューティング装置１０７は、通信ネットワーク１０９に接続され、分散方式で動作するためにネットワーク１０９を使用するように、即ち、通信ネットワーク１０９を介して互いに情報を交換するように、構成される。通信ネットワーク１０９は、インターネットなどのような公衆アクセス・パケット交換ネットワークの形態をとり、従って、多くの相互接続ルータ（図には示されず）から構築される。
概括的に述べると、仮想環境状態維持システム１０５は、仮想環境（戦場など）に関連する動的状態情報を維持するように構成される。システム１０５によって維持される動的状態情報は、例えば、仮想環境内の様々なアバタの位置や、仮想環境がゲームに関係する場合は、個々のプレーヤの点数を含む。オーディオ・シーン生成システム１０３は、基本的に、仮想環境への参加者のリアルタイム・オーディオに関係する性状（参加者の声など）を生成し、管理するように構成される。クライアント・コンピューティング装置１０７は、基本的に、クライアント・コンピューティング装置１０７を使用する人が仮想環境に参加することを可能にするため、仮想環境状態維持システム１０５及びオーディオ・シーン生成システム１０３と対話するように構成される。
より具体的には、グラフィカル環境状態維持システム１０５は、マザーボード、ハード・ディスク記憶装置、及びランダム・アクセス・メモリなどのような、従来のコンピュータ・ハードウェアを含むコンピュータ・サーバ（又は代替実施形態では、互いに相互接続された複数の分散コンピュータ・サーバ）の形態をとる。ハードウェアに加えて、コンピュータ・サーバは、様々なシステム・レベル動作（例えば、メモリ管理）を実行するオペレーティング・システム（ＬｉｎｕｘやＭｉｃｒｏｓｏｆｔ（登録商標） Ｗｉｎｄｏｗｓ（登録商標）など）も含む。オペレーティング・システムは、アプリケーション・ソフトウェアを実行するための環境も提供する。この点に関して、コンピュータ・サーバは、ハード・ディスク記憶装置上にロードされ、仮想環境に関連する動的状態情報を維持することが可能なアプリケーション・パッケージを含む。この点に関して、仮想環境が、例えば、戦場である場合、動的状態情報は、特定のアバタ（例えば、兵士を表す）が戦車内に配置されることを表すことができる。仮想環境状態維持システム１０５は、基本的に、ソフトウェアの形態の２つのモジュール１１１及び１１３を含む。第１のモジュール１１１は、基本的に、動的状態情報を、クライアント・コンピューティング装置１０７へ送信すること、及びクライアント・コンピューティング装置１０７から受信することを担当する。第２のモジュール１１３は、動的状態情報をオーディオ・シーン生成システム１０３へ送信するように構成される。
先に述べられたように、オーディオ・シーン生成システム１０３は、基本的に、オーディオ・シーンを生成し、管理するように構成される。各オーディオ・シーンは、基本的に、仮想環境内のアバタによって聞かれる音の現実的な再生を表す。オーディオ・シーンを生成するため、オーディオ・シーン生成システム１０３は、制御サーバ１１５と、集約（サマリ）サーバ（summarisation server）１１７（本発明の代替実施形態は、複数の分散型のサマリ・サーバを含むことができる）と、複数の分散型のシーン生成サーバ１１９とを含む。制御サーバ１１５、サマリ・サーバ１１７、及び複数の分散シーン生成サーバ１１９は、通信ネットワーク１０９に接続され、通信ネットワーク１０９を使用して分散方式で互いに連携する。
制御サーバ１１５は、マザーボード、ハード・ディスク記憶装置、及びランダム・アクセス・メモリなどの従来のコンピュータ・ハードウェアを含むコンピュータ・サーバの形態をとる。ハードウェアに加えて、コンピュータ・サーバは、様々なシステム・レベル動作を実行するオペレーティング・システム（ＬｉｎｕｘやＭｉｃｒｏｓｏｆｔ（登録商標） Ｗｉｎｄｏｗｓ（登録商標）など）も含む。オペレーティング・システムは、アプリケーション・ソフトウェアを実行するための環境も提供する。この点に関して、コンピュータ・サーバは、ハード・ディスク記憶装置上にロードされ、図２に示されるフローチャート２０１の様々なステップを実行するように構成されるアプリケーション・ソフトウェアを含む。アプリケーション・ソフトウェアが実行する第１のステップ２０３は、仮想環境に関連する動的状態情報を取得するために、仮想環境状態維持システム１０５と対話することである。アプリケーション・ソフトウェアは、仮想環境内に存在する様々なアバタと、仮想環境内のアバタの位置とを識別するために、動的状態情報を取得してそれを処理する。仮想環境状態維持システム１０５は、アバタのステータスの詳細（例えば、活動中か非活動か）と、任意のサウンド・バリアの詳細とを取得するためにも、動的状態情報を処理することができる。動的状態情報を取得するために、制御サーバ１１５のアプリケーション・ソフトウェアは、仮想環境状態維持システム１０５内の第２のモジュール１１３と通信ネットワーク１０９を介して対話する。
制御サーバ１１５のアプリケーション・ソフトウェアは、仮想環境状態維持システム１０５から動的状態情報を取得すると、仮想環境内の各アバタ用のオーディオ・シーンを生成するためにサマリ・サーバ１１７及びシーン生成サーバ１１９によって処理される複数のミキシング操作を生成するため、動的状態情報の処理へと進む。最初のステップ２０３に続いて、制御サーバ１１５は、グリッド・サマリ（集約）・アルゴリズムを実行するステップ２０５を実行する。図３を参照すると、グリッド・サマリ・アルゴリズムのフローチャート３０１が示されており、グリッド・サマリ・アルゴリズムの第１のステップ３０３は、最初のステップ２０３の最中に取得された動的状態情報を使用して、図４に見られ得る仮想環境のマップ４０１を形成することである。マップ４０１は、複数のセルに分割され、仮想環境内のアバタの位置を表す。マップ４０１は、アバタを小さい黒い点として表す。この実施形態は、単一のマップ４０１を含むだけであるが、本発明の代替実施形態では、複数のマップ４０１が利用され得ることが想定されている。
仮想環境内の各アバタは、対話ゾーンと背景ゾーンとに分割される聴取範囲をもつと考えられることに留意されたい。対話ゾーンは、一般に、アバタのすぐ近くを取り囲む聴取範囲の区画と考えられ、背景ゾーンは、聴取範囲の周辺に配置される聴取範囲の区画である。一例として、アバタの聴取範囲の対話ゾーンが、アバタを囲む円として図４に示されている。
マップ４０１を形成する際、制御サーバ１１５のアプリケーション・ソフトウェアは、各セルのサイズが、アバタの対話ゾーンより大きいか、又は等しくなることを保証する。
グリッド・サマリ・アルゴリズムを実施しているときに実行される次のステップ３０５は、マップ４０１内の各セルの「重心」を決定することである。重心は、基本的に、それを中心にセル内のアバタが集まる各セル内の点を識別することによって決定される。重心は、仮想環境内のアバタの近似的な位置と考えられ得る。グリッド・サマリ・アルゴリズムの最後のステップ３０７は、マップ４０１に基づいて、サマリ・サーバ１１７によって使用される制御テーブル５０１（図５に示される）を更新することである。制御テーブル５０１は複数の行を含み、その各々は、マップ４０１内のセルのうちの１つを表す。各行は、それぞれのセル内の各アバタの識別子と、そのセルの重心も含む。制御テーブル５０１の各行は、実際上、重み付けされていないミキシング操作と考えられ得る。制御テーブル５０１を更新するために、制御サーバ１１５のアプリケーション・ソフトウェアは、通信ネットワーク１０９を介してサマリ・サーバ１１７と対話する。
制御サーバ１１５のアプリケーション・ソフトウェアが、グリッド・サマリ・アルゴリズムを実行するステップ２０５を完了した後に実行する次のステップ２０７は、クラスタ・サマリ（集約）・アルゴリズムを実行することである。図６は、クラスタ・サマリ・アルゴリズムに含まれる様々なステップのフローチャート６０１を提供する。クラスタ・サマリ・アルゴリズムの第１のステップ６０３は、仮想環境内のアバタのうちの第１のアバタを選択することである。第１のステップ６０３に続いて、クラスタ・サマリ・アルゴリズムは、第１のステップ６０３で選択された第１のアバタに最も近い第２のアバタを選択するステップ６０５を含む。第２のアバタが選択された後、クラスタ・サマリ・アルゴリズムは、第２のアバタが、先に定められたクラスタ内に収まるかどうかを決定するステップ６０７を含む。前のステップ６０７に続いて、クラスタ・サマリ・アルゴリズムは、第２のアバタが、先に定められたクラスタ内に収まる場合、第２のアバタを先に定められたクラスタ内に位置付けるステップ６０９を含む。一方、第２のアバタが先に定められたクラスタに収まらないと決定された場合、クラスタ・サマリ・アルゴリズムは、第２のクラスタを中心に集結された新しいクラスタを確立するステップ６１１を含む。ここまでのステップ６０３から６１１は、所定数のクラスタ、Ｍ個、が確立されるまで実行されることに留意されたい。
Ｍ個のクラスタが確立された後、クラスタ・サマリ・アルゴリズムは、Ｍ個のクラスタの間の最大の角度ギャップを見つけるステップ６１３を実行することを含む。最大の角度ギャップが決定された後、クラスタ・サマリ・アルゴリズムは、最大の角度ギャップ内に新しいクラスタを確立するステップ６１５を含む。ここまでのステップ６１３及び６１５は、全部でＫ個のクラスタが確立されるまで繰り返えされる。クラスタの個数Ｍはクラスタの個数Ｋ以下であることに留意されたい。
クラスタ・サマリ・アルゴリズムの最後のステップ６１７は、すべての残りのアバタをＫ個のクラスタのうちの最適なものの中に位置付けることを含み、最適なものとは、角度誤差をを最小にするようなクラスタ、即ち、音源からの音が集約されていない場合の音源の実際の位置と、第１のアバタから見た音源が再現される位置との間の角度差を最小にするようなクラスタである。
クラスタ・サマリ・アルゴリズムのステップ６０３から６１７が実行された後、制御サーバ１１５のアプリケーション・ソフトウェアは、本明細書の以降の段落で詳細に説明される最後のステップ２０９の実施に進む。クラスタ・サマリ・アルゴリズムを使用して確立されるクラスタの説明図は図７に示されている。
本発明が、上述されたクラスタリング・アルゴリズムと共に使用されることのみに限定されないことは、当業者であれば容易に理解されよう。例えば、以下では、本発明の別の実施形態で利用され得る代替のクラスタリング・アルゴリズムについて説明する。図８のフローチャート８０７は、代替のクラスタリング・アルゴリズムに含まれるステップを示している。
代替のクラスタ・サマリ・アルゴリズムの第１のステップ８０３は、仮想環境内のアバタの１つを選択することである。次のステップ８０５は、前記アバタの聴取範囲内に配置されたアバタ及びグリッド集約（grid summaries、グリッド・サマリ）の総数を決定することである。グリッド・サマリは、基本的に、サマリ・サーバ１１７によって生成された、非加重オーディオ・ストリームである。サマリ・サーバ１１７のこの態様についての詳細な説明は、本明細書の後段で述べられる。
前のステップ８０５に続いて、次のステップ８０７は、聴取範囲内のアバタ及びグリッド・サマリの総数が、オーディオ・シーンを送信するために利用可能な帯域幅の量に基づいて選択された数であるＫ以下であるかを評価する。アバタ及びグリッド・サマリの総数がＫ以下であると決定された場合、制御サーバ１１５上で動作するアプリケーション・ソフトウェアは、アルゴリズムの最後のステップ２０９（本明細書の後段で説明される）へ進む。
聴取範囲内のアバタ及び／又はグリッド・サマリの総数がＫよりも大きい場合、制御サーバ１１５は、代替のクラスタ・サマリ・アルゴリズムを実施し続ける。この場合、代替のクラスタ・サマリ・アルゴリズムの次のステップ８０９は、前記アバタ（前のステップ８０３で選択されたもの）から発し、前記アバタの聴取範囲内の他のアバタの何れかを通過する放射状の線を、マップ４０１上に有効にプロットすることである。ステップ８０９の後、次のステップ８１１は、前記アバタの聴取範囲内のあらゆるアバタ及びグリッド・サマリの絶対角距離を計算することである。ステップ８１１に続いて、代替のクラスタリング・アルゴリズムは、絶対角距離を昇順リストに配列するステップ８１３を含む。次のステップ８１５は、昇順リストにおけるそれぞれの２つの連続する絶対角距離の差分角分離（differential angular separation）を計算することである。前のステップ８１５が実施された後、次のステップ８１７は、Ｋ個の最大差分角分離を識別することである。次のステップ８１９は、前記アバタの聴取範囲を、Ｋ個の最大の差分角分離に関連付けられたそれぞれのアバタの間に放射状の線を有効に形成することによって、Ｋ個の部分に分割することである。放射状の線に挟まれた領域は、聴取範囲の一部分と呼ばれる。図９は、代替のクラスタ・サマリ・アルゴリズムをマップ４０１に対して実行した結果を描いている。
代替のクラスタ・サマリ・アルゴリズムのここまでのステップの一例として、全部で１０個のアバタ／グリッド・サマリを含み、Ｋが４に等しい仮想環境について考察する。代替のクラスタ・サマリ・アルゴリズムの最初のステップ８１１及び８１３が、昇順に整列された絶対角距離の以下のリスト：
０、１０、１６、４８、６７、１２０、１４３、１７０、２２２、及び２５３
をもたらし、これらは、それぞれ、Ａ０からＡ９のアバタ／グリッドに対応しているものとする。
上記リスト内のそれぞれの２つの連続する絶対角距離の差分角分離を計算することを含む代替のクラスタ・サマリ・アルゴリズムの次のステップ８１５は、以下の結果：
１０、６、３２、１９、５３、２３、２７、５２、３１、及び１０７
をもたらす。
Ｋ（４）個の最大差分角分離を識別することを含む代替のクラスタ・サマリ・アルゴリズムのステップ８１７の結果として、以下のものが選択される：
１０７、５３、５２、及び３２。
聴取範囲を部分へと分割することを含む代替のクラスタ・サマリ・アルゴリズムのステップ８１９の結果として、以下のＫ（４）個のアバタのクラスタが確定される：
１： Ａ０、Ａ１、及びＡ３
２： Ａ３、及びＡ４
３： Ａ５、Ａ６、及びＡ７
４： Ａ８、及びＡ９。
前のステップに続いて、代替のクラスタ・サマリ・アルゴリズムは、仮想環境内のそれらのアバタの位置を決定するステップ８２１を含む。制御サーバ１１５上で動作するアプリケーション・ソフトウェアは、仮想環境状態維持システム１０５の第２のモジュール１１３と対話することによって、これを行う。それらのアバタの位置が決定された後、代替のクラスタ・サマリ・アルゴリズムは、それらのアバタの位置を使用して、それらのアバタと、代替のクラスタ・サマリ・アルゴリズムの実行の対象となっている前記アバタとの間の距離を決定するステップ８２３を含む。ステップ８２３の後、代替のクラスタ・サマリ・アルゴリズムは、距離を使用して、前記アバタの聴取範囲内のアバタから発するオーディオに適用される重みを決定するステップ８２５を含む。ステップ８２５は、重心（グリッド・サマリ・アルゴリズムから決定される）を使用して、前記アバタの聴取範囲内のそれぞれのグリッド・サマリの重みを決定するステップも含む。
この段階で、代替のクラスタ・サマリ・アルゴリズムは、聴取範囲を分割する先のステップ８１９中に識別された聴取範囲のそれぞれの部分の重心を決定するステップ８２７を含む。グリッド・サマリ・アルゴリズムと同様に、代替のクラスタ・サマリ・アルゴリズムは、アバタがそれを中心に集まるそれぞれの部分内の位置を選択することによって、重心を決定する。
代替のクラスタ・サマリ・アルゴリズムの最後のステップ８２９は、シーン生成サーバ１１９の制御テーブル１００１（図１０に示される）を更新することを含む。これは、聴取範囲の部分内のそれぞれのアバタの識別子と、それらの部分内のアバタに適用される重みと、それぞれの部分の重心とを含むように、制御テーブル１００１を更新することを含む。制御サーバ１１５は、シーン生成サーバ１１９内の制御テーブル１００１を、通信ネットワーク１０９を介して更新することに留意されたい。
図１０から理解され得るように、シーン生成サーバ１１９の制御テーブル１００１は、複数の行を含む。各行は、１つのアバタの聴取範囲の部分に対応し、聴取範囲の各部分内のアバタ／グリッド・サマリ（Ｓｈ及びＺｉそれぞれ）の識別子を格納する。制御テーブル１００１の各行は、アバタ／グリッド・サマリからのオーディオに適用される重み（Ｗ）と、前記部分の重心も含む（制御テーブル８０１の「位置座標」列に格納される）。重心は、ｘ、ｙ座標の形をとる。
代替のクラスタ・サマリ・アルゴリズムの最後のステップ８２９が完了すると、制御サーバ１１５上で動作するアプリケーション・ソフトウェアは、その最後のステップ２０９の実施に進む。最後のステップ２０９は、特定の通信リンクを確立するために通信ネットワーク１０９と対話することを含む。通信リンクは、オーディオがクライアント・コンピューティング装置１０７からサマリ・サーバ１１７及び／又はシーン生成サーバ１１９へ転送されることを可能にし、また、グリッド・サマリ（非加重オーディオ・ストリーム）がサマリ・サーバ１１７からシーン生成サーバ１１９へ転送されることを可能にするものである。
制御サーバ１１５がここまでのステップ２０３から２０９を完了すると、サマリ・サーバ１１７は、非加重オーディオ・ストリーム（グリッド・サマリ）を生成するための局面にある。サマリ・サーバ１１７は、マザーボード、ハード・ディスク記憶手段、及びランダム・アクセス・メモリなどの従来のコンピュータ・ハードウェアを含むコンピュータ・サーバの形態をとる。ハードウェアに加えて、コンピュータ・サーバは、様々なシステム・レベル動作を実行するオペレーティング・システム（ＬｉｎｕｘやＭｉｃｒｏｓｏｆｔ（登録商標） Ｗｉｎｄｏｗｓ（登録商標）など）も含む。オペレーティング・システムは、アプリケーション・ソフトウェアを実行するための環境も提供する。この点に関して、コンピュータ・サーバは、非加重オーディオ・ストリームを生成するために、ミキシング処理を実施するように構成されたアプリケーション・ソフトウェアを含み、その処理のステップは、図１１に示されるフローチャート１１０１に示されている。
フローチャート１１０１の第１のステップ１１０３は、サマリ・サーバ１１７の制御テーブル５０１の「ミキシングされるストリーム」列で識別されるそれぞれのアバタに関連するオーディオ・ストリームＳｎを取得することである。制御テーブル５０１は、図５に示されている。サマリ・サーバ１１７は、オーディオ・ストリームＳｎを、通信ネットワーク１０９を介して取得することに留意されたい。この点に関して、制御サーバ１１５が通信ネットワーク１０９と対話する先のステップ２０９は、サマリ・サーバ１１７がオーディオ・ストリームＳｎを受信することを可能にするための、通信ネットワーク１０９において必要なリンクを確立している。次に、制御テーブル５０１のそれぞれの行について、次のステップ１１０５は、識別されたオーディオ・ストリームＳｎを一緒にミキシングして、それによって、Ｍ個のミキシングされたオーディオ・ストリームを生成することである。Ｍ個のミキシングされたオーディオ・ストリームの各々は、制御テーブル５０１のＭ個の行の各々の「ミキシングされるストリーム」列で識別されるオーディオ・ストリームＳｎを含む。ミキシング・ステップ１１０５でオーディオ・ストリームＳｎをミキシングする場合、それぞれのオーディオ・ストリームＳｎは、それらの元の変更されない振幅を有するものである。従って、Ｍ個のミキシングされたオーディオ・ストリームは、非加重オーディオ・ストリームと考えられる。先に示したように、それらの非加重オーディオ・ストリームは、図４に示されるマップ４０１のセル内に配置されたそれらのアバタからのオーディオ（音）を含む。
フローチャート１１０１の次のステップ１１０７は、非加重オーディオ・ストリームを、マップ４０１内のそれぞれのセルの対応する重心を用いてタグ付けすることである。このステップ１１０７は、実際上、制御テーブル５０１の「セルの重心」列からのｘ、ｙ座標を挿入することを含む。プロセス１１０１の最後のステップ１１０９は、非加重オーディオ・ストリームを、サマリ・サーバ１１７から適切なシーン生成サーバ１１９へ送ることであり、これは、通信ネットワーク１０９を使用して、非加重オーディオ・ストリームをサマリ・サーバ１１７からシーン生成サーバ１１９へ転送することによって、達成される。制御サーバ１１５が通信ネットワーク１０９と対話する先のステップ２０９は、非加重オーディオ・ストリームがサマリ・サーバ１１７からシーン生成サーバ１１９へ送られることを可能にするための、通信ネットワーク１０９において必要なリンクを確立している。
非加重オーディオ・ストリームがシーン生成サーバ１１９へ転送されると、シーン生成サーバ１１９は、加重オーディオ・ストリームを生成するためにミキシング処理を実施する局面にある。ミキシング処理に含まれるステップは、図１２のフローチャート１２０１に示されている。それぞれのシーン生成サーバ１１９は、マザーボード、ハード・ディスク記憶手段、及びランダム・アクセス・メモリなどの従来のコンピュータ・ハードウェアを含むコンピュータ・サーバの形態をとる。ハードウェアに加えて、コンピュータ・サーバは、様々なシステム・レベル動作を実行するオペレーティング・システム（ＬｉｎｕｘやＭｉｃｒｏｓｏｆｔ（登録商標） Ｗｉｎｄｏｗｓ（登録商標）など）も含む。オペレーティング・システムは、アプリケーション・ソフトウェアを実行するための環境も提供する。この点に関して、コンピュータ・サーバは、フローチャート１２０１の様々なステップを実施するように構成されたアプリケーション・ソフトウェアを含む。
フローチャート１２０１のステップは、基本的に、サマリ・サーバ１１７によって実施されるフローチャート１１０１のステップと同じであるが、後者のフローチャート１２０１のステップは、非加重オーディオ・ストリームを生成する代わりに、加重オーディオ・ストリームが生成されるようにする点が異なる。図１２から理解され得るように、第１のステップ１２０３は、シーン生成サーバ１１９の制御テーブル１００１で識別されるオーディオ・ストリームＺｉ及びＳｎを取得することを含み、Ｚｉはサマリ・サーバ１１７からの非加重オーディオ・ストリームであり、Ｓｎは特定のアバタに関連付けられたオーディオ・ストリームである。次に、制御テーブル１００１内のそれぞれの行について、フローチャート１２０１は、制御テーブル１００１の「クラスタ・サマリ・ストリーム」列で識別されたオーディオ・ストリームＺｉ及びＳｎをミキシングし、それによって、加重オーディオ・ストリームを生成するステップ１２０５を含む。それぞれの加重オーディオ・ストリームは、制御テーブル１００１内の対応する行で識別されるオーディオ・ストリームＺｉ及びＳｎを含む。サマリ・サーバ１１７によって生成される非加重オーディオ・ストリームとは異なり、加重オーディオ・ストリームにおけるオーディオ・ストリームＺｉ及びＳｎの振幅は、異なる振幅である。それらの振幅は、ミキシング・ステップ１２０５で、オーディオ・ストリームＺｉ及びＳｎに、それらに関連する重みＷｎ（これらもまた制御テーブル１００１の「クラスタ・サマリ・ストリーム」列に含まれている）を有効に乗じることによって、決定される。
フローチャート１２０１の次のステップ１２０７は、加重オーディオ・ストリームを、制御テーブル１００１の対応する「位置座標」列に含まれる重心を用いてタグ付けすることである。これは、実際上、「位置座標」列に格納されたｘ、ｙ座標を挿入することを含む。フローチャート１２０１の最後のステップ１２０９は、加重オーディオ・ストリームを、通信ネットワーク１０９を介して、処理のためにクライアント・コンピューティング装置１０７へ送ることである。
クライアント・コンピューティング装置１０７は、マザーボード、ハード・ディスク、及びランダム・アクセス・メモリなどの従来のコンピュータ・ハードウェアを含むパーソナル・コンピュータの形態をとる。ハードウェアに加えて、クライアント・コンピューティング装置１０７には、様々なシステム・レベル動作を管理し、また、アプリケーション・ソフトウェアが実行され得る環境を提供するオペレーティング・システム（Ｍｉｃｒｏｓｏｆｔ（登録商標） Ｗｉｎｄｏｗｓ（登録商標）など）がロードされている。クライアント・コンピューティング装置１０７は、また、オーディオ・クライアント１２１と、仮想環境クライアント１２３と、空間オーディオ再現エンジン１２５とを含む。オーディオ・クライアント１２１は、シーン生成サーバ１１９から加重オーディオ・ストリームを受信してそれを処理するように構成されるアプリケーション・ソフトウェアの形態をとる。空間オーディオ再現エンジン１２５は、オーディオ再現ソフトウェア及びサウンドカードの形態をとる。シーン生成サーバ１１９から加重オーディオ・ストリームを受信すると、オーディオ・クライアント１２１は、空間オーディオ再現エンジン１２５と対話を行い、加重オーディオ・ストリームを再現（再生）し、それによって、そのクライアント・コンピューティング装置１０７を使用している人に向けてオーディオ・シーンを生成する。この点について、空間オーディオ再現エンジン１２５は、オーディオ・シーンを人に向けて伝達するために使用される１組のスピーカに接続される。オーディオ・クライアント１２１は、加重オーディオ・ストリームにタグ付けする先のステップ１２０７の間にシーン生成サーバ１１９によって加重オーディオ・ストリームに挿入された位置情報を取り出すことに留意されたい。取り出された位置情報は（加重オーディオ・ストリームと共に）、空間オーディオ再現エンジン１２５へ伝達され、次に、空間オーディオ再現エンジン１２５は、位置情報を使用して、情報がその位置から発せられているかのように、例えば、右側から発せられているかのように、情報を再生する。
仮想環境クライアント１２３は、ソフトウェアの形態（代替の実施形態では、何らかの形態の専用のイメージ処理ハードウェアであり得る）をとり、基本的に、仮想環境に関連する動的状態情報を取得するための、仮想環境状態維持システム１０５の第１のモジュール１１１と対話するように構成される。動的状態情報を受け取ると、グラフィックス・クライアント１２３は、動的状態情報を処理して仮想環境を再生（再現）する。クライアント・コンピューティング装置１０７を使用している人に向けて仮想環境が表示されることを可能にするため、クライアント・コンピューティング装置１０７は、モニタ（図示せず）も含む。グラフィックス・クライアント１２３は、仮想環境内における人の存在に関連する動的情報を仮想環境状態維持システム１０５へ提供するようにも構成される。
本明細書で説明された本発明は、具体的に説明された実施形態以外の変形形態及び変更形態も可能であることは、当業者であれば理解されよう。本発明は、本発明の主旨及び範囲内に包含されるそのようなすべての変形及び変更を含むことを理解されたい。
図１は、本発明の実施形態によるシステムのブロック図を提供する。 図２は、図１に示されたシステムによって実行される様々なステップのフローチャートを提供する。 図３は、図１に示されたシステムで使用されるグリッド・サマリ・アルゴリズムに含まれるステップのフローチャートを提供する。 図４は、図１に示されたシステムによって使用されるマップを示す。 図５は、図１に示されたシステムによって使用される制御テーブルを示す。 図６は、図１に示されたシステムで使用されるクラスタ・サマリ・アルゴリズムに含まれるステップのフローチャートを提供する。 図７は、図６のアルゴリズムを使用して形成されるクラスタの説明図である。 図８は、代替例のクラスタ・アルゴリズムに含まれる様々なステップのフローチャートである。 図９は、図８の代替例のクラスタ・アルゴリズムを、図４に示されたマップに対して実行した結果を視覚的に示す。 図１０は、図１に示されたシステムによって使用される別の制御テーブルを示す。 図１１は、図１に示されたシステムによって実行されるプロセスに含まれるステップのフローチャートを提供する。 図１２は、図１に示されたシステムによって実行されるプロセスに含まれるステップのフローチャートを提供する。

Claims (40)

  1. 仮想環境におけるアバタ用のオーディオ・シーンを生成するための装置であって、
    前記アバタの聴取範囲の一部分に配置された音源からの音を含む、重み付けされたオーディオ・ストリームを生成するオーディオ・シーン生成システム（１０３）であって、前記重み付けされたオーディオ・ストリームの生成は（ｉ）重み付けなしに前記音源の一つまたは複数からのオーディオ・ストリームから少なくとも一つの重み付けされていないオーディオ・ストリームを生成し、（ｉｉ）前記少なくとも一つの重み付けされていないオーディオ・ストリームと、その重み付けされていないオーディオ・ストリームを生成するのに使われた音源の位置の重心を使って決定された対応する重みを使って前記重み付けされたオーディオ・ストリームを生成することを含む、オーディオ・シーン生成システムと、
    仮想環境の状態を維持するための仮想環境状態維持システム（１０５）であって、前記重み付けされたオーディオ・ストリームと、前記仮想環境における前記聴取範囲の前記一部分の位置を表すデータとを関連付けるように動作するものであり、前記重み付けされたオーディオ・ストリームと前記データとが前記オーディオ・シーンを表す、仮想環境状態維持システム（１０５）と
    を備え、
    前記オーディオ・シーンおよび前記仮想環境はゲームと関連するものであり、前記アバタは前記ゲームの複数のプレーヤのうちの１つのプレーヤを構成するものであり、それぞれのアバタによりゲームが行われるようにクライアント装置が使用されるものであり、それぞれの前記アバタに対する前記クライアント装置は、パケット交換通信ネットワーク（１０９）を介して、前記オーディオ・シーン生成システム（１０３）および前記仮想環境状態維持システム（１０５）と通信可能なように接続される、
    装置。
  2. 請求項１に記載の装置であって、前記オーディオ・シーン生成システムは更に、前記アバタの前記聴取範囲の前記一部分に配置された別の音源からの音を含む重み付けされていないオーディオ・ストリームを前記重み付けされたオーディオ・ストリームが含むように、前記重み付けされたオーディオ・ストリームを生成するように動作する、装置。
  3. 請求項１又は２に記載の装置であって、前記オーディオ・シーン生成システムは、所定のミキシング操作に従って、前記重み付けされたオーディオ・ストリームを生成するように動作し、前記所定のミキシング操作は、前記音源及び／又は前記他の音源を識別する識別情報と、前記重み付けされたオーディオ・ストリーム内の前記音と前記重み付けされていないオーディオ・ストリームの振幅を設定するために前記オーディオ・シーン生成システムによって使用され得る重み付け情報とを含む、装置。
  4. 請求項３に記載の装置であって、前記音と、前記重み付けされていないオーディオ・ストリームと、前記ミキシング操作とを、通信ネットワークを介して受信するように動作する通信手段を更に含み、前記通信ネットワークは、前記重み付けされたオーディオ・ストリームと前記データとを、前記通信ネットワークを介して送信するようにも動作する、装置。
  5. 仮想環境におけるアバタ用のオーディオ・シーンで使用されるオーディオ情報を生成するように動作する装置であって、
    前記アバタの聴取範囲の一部分に配置された少なくとも一つの音源からの音を含む、重み付けされていないオーディオ・ストリームを生成するように動作するオーディオ・シーン生成システム（１０３）と、
    仮想環境の状態を維持するための仮想環境状態維持システム（１０５）であって、前記重み付けされていないオーディオ・ストリームと、前記仮想環境における前記少なくとも一つの音源の近似的な位置を表すデータとを関連付けるように動作するものであり、前記少なくとも一つの音源の前記近似的な位置は前記少なくとも一つの音源の位置の重心であり、前記重み付けされていないオーディオ・ストリームと前記データとが前記オーディオ情報を表す、仮想環境状態維持システム（１０５）と
    を備え、
    前記オーディオ・シーンおよび前記仮想環境はゲームと関連するものであり、前記アバタは前記ゲームの複数のプレーヤのうちの１つのプレーヤを構成するものであり、それぞれのアバタによりゲームが行われるようにクライアント装置が使用されるものであり、それぞれの前記アバタに対する前記クライアント装置は、パケット交換通信ネットワーク（１０９）を介して、前記オーディオ・シーン生成システム（１０３）および前記仮想環境状態維持システム（１０５）と通信可能なように接続される、
    装置。
  6. 請求項５に記載の装置であって、前記オーディオ・シーン生成システムは、所定のミキシング操作に従って、前記重み付けされていないオーディオ・ストリームを生成するように動作し、前記所定のミキシング操作は、前記音源を識別する識別情報を含む、装置。
  7. 請求項６に記載の装置であって、前記音と前記所定のミキシング操作とを、通信ネットワークを介して受信するように動作する通信手段を更に含み、前記通信ネットワークは、前記重み付けされていないオーディオ・ストリームと前記データとを、前記通信ネットワークを介して送信するようにも動作する、装置。
  8. 仮想環境におけるアバタ用のオーディオ・シーンを生成するために使用され得る情報を取得するための装置であって、
    前記アバタの聴取範囲の一部分に配置された音源の識別子を決定するように動作する制御サーバ識別アプリケーション・ソフトウェアであって、前記仮想環境を実装するために使われるネットワークの制御サーバ（１１５）で実行されるアプリケーションを含む制御サーバ識別アプリケーション・ソフトウェアと、
    前記音源からの音に適用される重みを決定するように動作するシーン生成サーバ制御テーブルであって、前記仮想環境を実装するために使われる前記ネットワークのシーン生成サーバ（１１９）における制御テーブルを備えるシーン生成サーバ制御テーブルと、
    前記仮想環境内の前記一部分の位置を決定するように動作する制御サーバ位置識別アプリケーション・ソフトウェアであって、前記仮想環境を実装するために使われる前記ネットワークの前記制御サーバ（１１５）で実行されるアプリケーションを備えるものであり、前記識別子と前記重みと前記位置とが、前記オーディオ・シーンを生成するために使用され得る前記情報を表す、制御サーバ位置識別アプリケーション・ソフトウェアと
    を備え、
    前記オーディオ・シーンおよび前記仮想環境はゲームと関連するものであり、前記アバタは前記ゲームの複数のプレーヤのうちの１つのプレーヤを構成するものであり、それぞれのアバタによりゲームが行われるようにクライアント装置が使用されるものであり、それぞれの前記アバタに対する前記クライアント装置は、パケット交換通信ネットワーク（１０９）を介して、オーディオ・シーン生成システム（１０３）および前記仮想環境の状態を維持するための仮想環境状態維持システム（１０５）と通信可能なように接続される、
    装置。
  9. 請求項８に記載の装置であって、前記識別子と前記重みと前記位置とを、通信ネットワーク（１０９）を介して、複数の処理用システムの１つの処理用システム（１２３）へ処理のために送信するように動作する通信手段（１１５）を更に備える装置。
  10. 請求項９に記載の装置であって、前記通信手段（１１５）は、前記通信ネットワーク用のルーティング情報を生成するように更に動作し、前記ルーティング情報は、前記音を前記複数の処理用システムの１つの処理用システム（１１７、１１９ａ、１１９ｂ）へ送るために前記通信ネットワーク（１０９）によって使用され得るものであり、前記通信手段（１１５）は、前記通信ネットワーク（１０９）と対話して特定の通信リンクを確立し、該通信リンクを介して音を送る、装置。
  11. 請求項８ないし１０の何れかに記載の装置であって、
    前記制御サーバ（１１５）の前記制御サーバ識別アプリケーション・ソフトウェア、前記シーン生成サーバ制御テーブル、及び前記制御サーバ位置識別アプリケーション・ソフトウェアは、前記仮想環境の表現を処理することによって、前記識別子、前記重み、及び前記位置を決定するようにそれぞれに動作するものであり、前記仮想環境の表現は、前記仮想環境における複数の参加者のうちの少なくとも１つの参加者の性状と、前記仮想環境における１つ以上のオーディオ・シーンとのうちの、１つ以上のものと関連する、装置。
  12. 請求項８ないし１１の何れかに記載の装置であって、前記制御サーバ識別アプリケーション・ソフトウェアは、
    前記仮想環境内の複数のアバタのうちの第１のアバタを選択し、
    前記複数のアバタのうちの前記第１のアバタに最も近い第２のアバタを識別し、
    前記アバタのうちの前記第２のアバタが既存のクラスタ内に含まれ得るかどうかを決定し、
    前記アバタのうちの前記第２のアバタが前記既存のクラスタ内に含まれ得ると決定した場合、前記第２のアバタを前記既存のクラスタ内に含め、
    前記アバタのうちの前記第２のアバタが前記既存のクラスタ内に含まれ得ないと決定した場合、前記アバタのうちの前記第２のアバタを含む新しいクラスタを生成し、それによって複数のクラスタを生成し、
    ２つの前記クラスタの間の角度ギャップを決定し、
    前記角度ギャップ内に配置される更なるクラスタを生成し、
    前記アバタのうちの少なくとも１つを前記更なるクラスタ内に含める
    ことによって前記聴取範囲の前記一部分を決定するように動作する、
    装置。
  13. 請求項８ないし１１の何れかに記載の装置であって、前記制御サーバ識別アプリケーション・ソフトウェアは、
    前記仮想環境内の複数のアバタのうちの１つのアバタを選択し、
    前記アバタから前記複数のアバタのうちの前記１つのアバタに延びる放射状の線を決定し、
    前記放射状の線からの前記複数のアバタのうちの各々の絶対角距離を計算し、
    前記アバタのうちの各アバタの前記絶対角距離を昇順リストに配列し、
    前記昇順リスト内の連続して配列された前記絶対角距離の間の差分角分離を計算し、
    前記差分角分離のうちの他の差分角分離より高い値をもつ少なくとも１つを差分角分離を選択し、
    前記アバタから発せられる別の放射状の線であって、前記差分角分離に関連付けられた２つの前記アバタを２つに分ける別の放射状の線を決定する
    ことによって前記聴取範囲の前記一部分を決定するように動作する、
    装置。
  14. 仮想環境におけるアバタ用のオーディオ・シーンを生成するために使用され得る情報を生成するための装置であって、
    前記アバタの聴取範囲の一部分に配置された音源の識別子を決定するように動作する制御サーバ識別アプリケーション・ソフトウェアであって、前記仮想環境を実装するために使われるネットワークの制御サーバで実行されるアプリケーションを含む制御サーバ識別アプリケーション・ソフトウェアと、
    前記仮想環境内の前記音源の近似的な位置を決定するように動作する制御サーバ位置識別アプリケーション・ソフトウェアであって、前記仮想環境を実装するために使われる前記ネットワークの前記制御サーバで実行されるアプリケーションを備えるものであり、前記識別子と前記近似的な位置とが、前記オーディオ・シーンを生成するために使用され得る前記情報を表す、制御サーバ位置識別アプリケーション・ソフトウェアと
    を備え、
    前記オーディオ・シーンおよび前記仮想環境はゲームと関連するものであり、前記アバタは前記ゲームの複数のプレーヤのうちの１つのプレーヤを構成するものであり、それぞれのアバタによりゲームが行われるようにクライアント装置が使用されるものであり、それぞれの前記アバタに対する前記クライアント装置は、パケット交換通信ネットワーク（１０９）を介して、オーディオ・シーン生成システム（１０３）および前記仮想環境の状態を維持するための仮想環境状態維持システム（１０５）と通信可能なように接続される、
    装置。
  15. 請求項１４に記載の装置であって、前記識別子と前記位置とを、通信ネットワーク（１０９）を介して、複数の処理用システムの１つの処理用システム（１２３）へ処理のために送信するように動作する通信手段を更に含む、装置。
  16. 請求項１５に記載の装置であって、前記通信手段（１１５）は、前記通信ネットワーク用のルーティング情報を生成するように更に動作し、前記ルーティング情報は、前記音を前記複数の処理用システムの１つの処理用システム（１１７、１１９ａ、１１９ｂ）へルーティングするために前記通信ネットワーク（１０９）によって使用され得るものであり、前記通信手段（１１５）は、前記通信ネットワーク（１０９）と対話して特定の通信リンクを確立し、該通信リンクを介して音を送る、装置。
  17. 請求項１４ないし１６の何れかに記載の装置であって、前記制御サーバ（１１５）の前記制御サーバ識別アプリケーション・ソフトウェア及び前記制御サーバ位置識別アプリケーション・ソフトウェアは、前記仮想環境の表現を処理することによって、前記識別子及び前記位置をそれぞれに決定するように動作するものであり、前記仮想環境の表現は、前記仮想環境における複数の参加者のうちの少なくとも１つの参加者の性状と、前記仮想環境における１つ以上のオーディオ・シーンとのうちの、１つ以上のものと関連する、装置。
  18. 請求項１４ないし１７の何れかに記載の装置であって、前記制御サーバ識別アプリケーション・ソフトウェアは、
    前記仮想環境を複数のセルに分割し、
    前記音源が配置される前記セルのうちの前記１つのセルにおける位置を決定することによって前記音源の前記近似的な位置を決定するように動作する、
    装置。
  19. 仮想環境におけるアバタ用のオーディオ・シーンを再現するための装置であって、
    前記アバタの聴取範囲の一部分に配置された音源からの音を含む、重み付けされたオーディオ・ストリームと、前記重み付けされたオーディオ・ストリームと関連付けられ、前記仮想環境における前記聴取範囲の前記一部分の位置を表すデータとを取得するように動作するサマリ・サーバ（１１７）と、
    前記オーディオ・シーンを再現するために、前記重み付けされたオーディオ・ストリームと前記データとを処理するように動作する１以上のシーン生成サーバ（１１９ａ、１１９ｂ）と
    を備え、
    前記オーディオ・シーンおよび前記仮想環境はゲームと関連するものであり、前記アバタは前記ゲームの複数のプレーヤのうちの１つのプレーヤを構成するものであり、それぞれのアバタによりゲームが行われるようにクライアント装置が使用されるものであり、それぞれの前記アバタに対する前記クライアント装置は、パケット交換通信ネットワーク（１０９）を介して、オーディオ・シーン生成システム（１０３）および前記仮想環境の状態を維持するための仮想環境状態維持システム（１０５）と通信可能なように接続される、
    装置。
  20. 仮想環境におけるアバタ用のオーディオ・シーンを生成するための方法であって、
    前記アバタの聴取範囲の一部分に配置された音源からの音を含む重み付けされたオーディオ・ストリームを生成するステップであって、（ｉ）重み付けなしに前記音源の一つまたは複数からのオーディオ・ストリームから少なくとも一つの重み付けされていないオーディオ・ストリームを生成し、（ｉｉ）前記少なくとも一つの重み付けされていないオーディオ・ストリームと、その重み付けされていないオーディオ・ストリームを生成するのに使われた音源の位置の重心を使って決定された対応する重みを使って前記重み付けされたオーディオ・ストリームを生成することを含む、ステップと、
    前記重み付けされたオーディオ・ストリームと、前記仮想環境における前記聴取範囲の前記一部分の位置を表すデータとを関連付けるステップであって、前記重み付けされたオーディオ・ストリームと前記データとが前記オーディオ・シーンを表す、ステップと
    を備え、
    前記オーディオ・シーンおよび前記仮想環境はゲームと関連するものであり、前記アバタは前記ゲームの複数のプレーヤのうちの１つのプレーヤを構成するものであり、それぞれのアバタによりゲームが行われるようにクライアント装置が使用されるものであり、それぞれの前記アバタに対する前記クライアント装置は、パケット交換通信ネットワーク（１０９）を介して、オーディオ・シーン生成システム（１０３）および前記仮想環境の状態を維持するための仮想環境状態維持システム（１０５）と通信可能なように接続されるものである、
    方法。
  21. 請求項２０に記載の方法であって、前記重み付けされたオーディオ・ストリームを生成する前記ステップにおいて、前記重み付けされたオーディオ・ストリームが、前記アバタの前記聴取範囲の前記一部分に配置された別の音源からの音を含む重み付けされていない
    オーディオ・ストリームを含むものである、方法。
  22. 請求項２０又は２１に記載の方法であって、前記重み付けされたオーディオ・ストリームを生成する前記ステップは、所定のミキシング操作に従って実施され、前記所定のミキシング操作は、前記音源及び／又は前記他の音源を識別する識別情報と、前記重み付けされたオーディオ・ストリーム内の前記音と重み付けされていないオーディオ・ストリームの振幅を設定するために前記オーディオ・シーン生成システムによって使用され得る重み付け情報とを含む、方法。
  23. 請求項２２に記載の方法であって、
    前記音と前記重み付けされていないオーディオ・ストリームと前記ミキシング操作とを、通信ネットワークを介して受信するステップと、
    前記重み付けされたオーディオ・ストリームと前記データとを、前記通信ネットワークを介して送信するステップと
    を更に備える方法。
  24. 仮想環境におけるアバタ用のオーディオ・シーンで使用されるオーディオ情報を生成する方法であって、
    オーディオ・シーン生成システム（１０３）により、前記アバタの聴取範囲の一部分に配置された少なくとも一つの音源からの音を含む、重み付けされていないオーディオ・ストリームを生成するステップと、
    前記仮想環境の状態を維持する仮想環境状態維持システム（１０５）により、前記重み付けされていないオーディオ・ストリームと、前記仮想環境における前記少なくとも一つの音源の近似的な位置を表すデータとを関連付けるステップであって、前記少なくとも一つの音源の前記近似的な位置は前記少なくとも一つの音源の位置の重心であり、前記重み付けされていないオーディオ・ストリームと前記データとが前記オーディオ情報を表す、ステップと
    を備え、
    前記オーディオ・シーンおよび前記仮想環境はゲームと関連するものであり、前記アバタは前記ゲームの複数のプレーヤのうちの１つのプレーヤを構成するものであり、それぞれのアバタによりゲームが行われるようにクライアント装置が使用されるものであり、それぞれの前記アバタに対する前記クライアント装置は、パケット交換通信ネットワーク（１０９）を介して、前記オーディオ・シーン生成システム（１０３）および前記仮想環境状態維持システム（１０５）と通信可能なように接続されるものである、
    方法。
  25. 請求項２４に記載の方法であって、前記重み付けされていないオーディオ・ストリームを生成する前記ステップは、所定のミキシング操作に従って実施され、前記所定のミキシング操作は、前記音源を識別する識別情報を含む、方法。
  26. 請求項２５に記載の方法であって、
    前記音と前記所定のミキシング操作とを、通信ネットワークを介して受信するステップと、
    前記重み付けされていないオーディオ・ストリームと前記データとを、前記通信ネットワークを介して送信するステップと
    を備える方法。
  27. 仮想環境におけるアバタ用のオーディオ・シーンを生成するために使用され得る情報を取得する方法であって、
    前記仮想環境を実装するために使われるネットワークの制御サーバで実行されるアプリケーションにより、前記アバタの聴取範囲の一部分に配置された音源の識別子を決定するステップと、
    前記仮想環境を実装するために使われる前記ネットワークのシーン生成サーバにおける制御テーブルを用いて、前記音源からの音に適用される重みを決定するステップと、
    前記仮想環境を実装するために使われる前記ネットワークの前記制御サーバで実行されるアプリケーションにより、前記仮想環境内の前記一部分の位置を決定するステップであって、前記識別子と前記重みと前記位置とが、オーディオ・シーンを生成するために使用され得る前記情報を表す、ステップと
    を備え、
    前記オーディオ・シーンおよび前記仮想環境はゲームと関連するものであり、前記アバタは前記ゲームの複数のプレーヤのうちの１つのプレーヤを構成するものであり、それぞれのアバタによりゲームが行われるようにクライアント装置が使用されるものであり、それぞれの前記アバタに対する前記クライアント装置は、パケット交換通信ネットワーク（１０９）を介して、オーディオ・シーン生成システム（１０３）および前記仮想環境の状態を維持するための仮想環境状態維持システム（１０５）と通信可能なように接続されるものである、
    方法。
  28. 請求項２７に記載の方法であって、前記オーディオ・シーン生成システム（１０３）の制御サーバ（１１５）により、前記識別子と前記重みと前記位置とを、通信ネットワークを介して複数のユーザ装置（１０７）の１つのユーザ装置へ処理のために送信するステップを更に含む方法。
  29. 請求項２８に記載の方法であって、前記制御サーバ（１１５）により前記通信ネットワーク（１１９）用のルーティング情報を生成するステップを更に含み、前記ルーティング情報は、前記音を前記複数の処理用システムの１つの処理用システム（１１７、１１９ａ、１１９ｂ）へルーティングするために前記通信ネットワークによって使用され得るものである、方法。
  30. 請求項２７ないし２９の何れかに記載の方法であって、前記識別子を決定する前記ステップ、前記重みを決定する前記ステップ、及び前記位置を決定する前記ステップは、前記仮想環境の前記制御サーバ（１１５）により、前記仮想環境の表現を処理することによって、前記識別子、前記重み、及び前記位置をそれぞれに決定するステップを含み、
    前記仮想環境の表現は、前記仮想環境における複数の参加者のうちの少なくとも１つの参加者の性状と、前記仮想環境における１つ以上のオーディオ・シーンとのうちの、１つ以上のものと関連する、
    方法。
  31. 請求項２７ないし３０の何れかに記載の方法であって、前記聴取範囲の前記一部分を決定するために以下のステップ、即ち、
    前記仮想環境内の複数のアバタのうちの第１のアバタを選択するステップと、
    前記複数のアバタのうちの前記第１のアバタに最も近い第２のアバタを識別するステップと、
    前記アバタのうちの前記第２のアバタが既存のクラスタ内に含まれ得るかどうかを決定するステップと、
    前記アバタのうちの前記第２のアバタが前記既存のクラスタ内に含まれ得ると決定した場合、前記第２のアバタを前記既存のクラスタ内に含めるステップと、
    前記アバタのうちの前記第２のアバタが前記既存のクラスタ内に含まれ得ないと決定した場合、前記第２のアバタを含む新しいクラスタを生成し、それによって複数のクラスタを生成するステップと、
    ２つの前記クラスタの間の角度ギャップを決定するステップと、
    前記角度ギャップ内に配置される更なるクラスタを生成するステップと、
    前記アバタのうちの少なくとも１つのアバタを前記更なるクラスタ内に含めるステップと
    を更に備える方法。
  32. 請求項２７ないし３０の何れかに記載の方法であって、前記聴取範囲の前記一部分を決定する以下のステップ、即ち、
    前記仮想環境内の複数のアバタのうちの１つを選択するステップと、
    前記アバタから前記複数のアバタのうちの前記１つのアバタへ延びる放射状の線を決定するステップと、
    前記放射状の線からの前記複数のアバタのうちの各々の絶対角距離を計算するステップと、
    前記アバタのうちの各々のアバタの前記絶対角距離を昇順リストに配列するステップと、
    前記絶対角距離に基づいて、前記複数のアバタのうち連続するアバタの間の差分角分離を計算するステップと、
    前記差分角分離のうちの他の差分角分離より高い値をもつ差分角分離のうちの少なくとも１つを選択するステップと、
    前記アバタから発する別の放射状の線であって、前記差分角分離に関連付けられた２つの前記アバタを２つに分ける別の放射状の線を決定するステップと
    を備える方法。
  33. 仮想環境におけるアバタ用のオーディオ・シーンを生成するために使用され得る情報を生成する方法であって、
    前記仮想環境を実装するために使われるネットワークの制御サーバで実行されるアプリケーションにより、前記アバタの聴取範囲の一部分に配置された音源の識別子を決定するステップと、
    前記仮想環境を実装するために使われる前記ネットワークの前記制御サーバで実行されるアプリケーションにより、前記仮想環境内の前記音源の近似的な位置を決定するステップであって、前記識別子と前記近似的な位置とが、前記オーディオ・シーンを生成するために使用され得る前記情報を表す、ステップと
    を備え、
    前記オーディオ・シーンおよび前記仮想環境はゲームと関連するものであり、前記アバタは前記ゲームの複数のプレーヤのうちの１つのプレーヤを構成するものであり、それぞれのアバタによりゲームが行われるようにクライアント装置が使用されるものであり、それぞれの前記アバタに対する前記クライアント装置は、パケット交換通信ネットワーク（１０９）を介して、オーディオ・シーン生成システム（１０３）および前記仮想環境の状態を維持するための仮想環境状態維持システム（１０５）と通信可能なように接続されるものである、
    方法。
  34. 請求項３３に記載の方法であって、前記オーディオ・シーン生成システム（１０３）の制御サーバ（１１５）により、前記識別子と前記位置とを、通信ネットワークを介して複数の処理用システムの１つの処理用システム（１２３）へ送信するステップを更に含む方法。
  35. 請求項３４に記載の方法であって、前記制御サーバ（１１５）により前記通信ネットワーク（１０９）用のルーティング情報を生成するステップを含み、前記ルーティング情報は、前記音を前記複数の処理用システムの１つの処理用システム（１１７、１１９ａ、１１９ｂ）へルーティングするために前記通信ネットワークによって使用され得るものである、方法。
  36. 請求項３３ないし３５の何れかに記載の方法であって、前記識別子を決定する前記ステップ及び前記近似的な位置を決定する前記ステップは、前記仮想環境の前記制御サーバ（１１５）により、前記仮想環境の表現を処理することによって、前記識別子及び前記位置をそれぞれに決定するステップを含み、
    前記仮想環境の表現は、前記仮想環境における複数の参加者のうちの少なくとも１つの参加者の性状と、前記仮想環境における１つ以上のオーディオ・シーンとのうちの、１つ以上のものと関連する、
    方法。
  37. 請求項３３ないし３６の何れかに記載の方法であって、前記音源の前記近似的な位置を決定する以下のステップ、即ち、
    前記差分角分離のうちの他の差分角分離より高い値をもつ少なくとも１つの差分角分離を選択するステップと、
    前記アバタから発せられる別の放射状の線であって、前記差分角分離に関連付けられた２つの前記アバタを２つに分ける別の放射状の線を決定するステップと
    を備える方法。
  38. 仮想環境におけるアバタ用のオーディオ・シーンを再現する方法であって、
    サマリ・サーバ（１１７）により、前記アバタの聴取範囲の一部分に配置された音源からの音を含む、重み付けされたオーディオ・ストリームと、前記重み付けされたオーディオ・ストリームと関連付けられ、前記仮想環境における前記聴取範囲の前記一部分の位置を表すデータとを取得するステップと、
    １つ以上のシーン生成サーバ（１１９ａ、１１９ｂ）により、前記オーディオ・シーンを再現するために前記重み付けされたオーディオ・ストリームと前記データとを処理するステップと
    を備え、
    前記オーディオ・シーンおよび前記仮想環境はゲームと関連するものであり、前記アバタは前記ゲームの複数のプレーヤのうちの１つのプレーヤを構成するものであり、それぞれのアバタによりゲームが行われるようにクライアント装置が使用されるものであり、それぞれの前記アバタに対する前記クライアント装置は、パケット交換通信ネットワーク（１０９）を介して、オーディオ・シーン生成システム（１０３）および前記仮想環境の状態を維持するための仮想環境状態維持システム（１０５）と通信可能なように接続されるものである、
    方法。
  39. 請求項２０ないし３８の何れかに記載された前記方法をコンピューティング装置に実行させるための命令を含むコンピュータ・プログラム。
  40. 請求項３９に記載の前記コンピュータ・プログラムを記録したコンピュータ読取可能記録媒体。
JP2007507622A 2004-04-16 2005-04-15 オーディオ・シーンを生成する際に使用する装置及び方法 Active JP4848362B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
AU2004902027 2004-04-16
AU2004902027A AU2004902027A0 (en) 2004-04-16 Devices for facilitating rendering of an audio scene
AU2004903760 2004-07-08
AU2004903760A AU2004903760A0 (en) 2004-07-08 Apparatuses and methods for use in creating an audio scene
PCT/AU2005/000534 WO2005101897A1 (en) 2004-04-16 2005-04-15 Apparatuses and methods for use in creating an audio scene

Publications (2)

Publication Number Publication Date
JP2007533213A JP2007533213A (ja) 2007-11-15
JP4848362B2 true JP4848362B2 (ja) 2011-12-28

Family

ID=35150372

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007507622A Active JP4848362B2 (ja) 2004-04-16 2005-04-15 オーディオ・シーンを生成する際に使用する装置及び方法

Country Status (7)

Country Link
US (1) US9319820B2 (ja)
EP (1) EP1754393B1 (ja)
JP (1) JP4848362B2 (ja)
KR (1) KR101167058B1 (ja)
CN (2) CN101827301B (ja)
AU (4) AU2005234518A1 (ja)
WO (1) WO2005101897A1 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2006261594B2 (en) * 2005-06-24 2012-02-02 Dolby Laboratories Licensing Corporation Immersive audio communication
CN101300580B (zh) * 2005-06-24 2010-09-29 杜比实验室特许公司 沉浸式音频通信
KR100782836B1 (ko) * 2006-02-08 2007-12-06 삼성전자주식회사 컨텐츠 관리 방법, 장치 및 저장매체와 이를 이용한 적응적컨텐츠 재생 방법
JP4187748B2 (ja) * 2006-03-23 2008-11-26 株式会社コナミデジタルエンタテインメント 画像生成装置、画像生成方法、ならびに、プログラム
CN101573991B (zh) * 2006-11-08 2011-08-03 杜比实验室特许公司 用于创建音频场景的设备和方法
US7840668B1 (en) * 2007-05-24 2010-11-23 Avaya Inc. Method and apparatus for managing communication between participants in a virtual environment
KR101742256B1 (ko) 2007-09-26 2017-05-31 에이큐 미디어 인크 오디오-비주얼 내비게이션 및 통신
US8315409B2 (en) * 2008-09-16 2012-11-20 International Business Machines Corporation Modifications of audio communications in an online environment
US20100077318A1 (en) * 2008-09-22 2010-03-25 International Business Machines Corporation Modifying environmental chat distance based on amount of environmental chat in an area of a virtual world
US9384469B2 (en) 2008-09-22 2016-07-05 International Business Machines Corporation Modifying environmental chat distance based on avatar population density in an area of a virtual world
JP2010122826A (ja) * 2008-11-18 2010-06-03 Sony Computer Entertainment Inc オンライン会話システム、オンライン会話用サーバ、オンライン会話制御方法及びプログラム
US8577060B2 (en) * 2009-07-02 2013-11-05 Avaya Inc. Method and apparatus for dynamically determining mix sets in an audio processor
US9123316B2 (en) 2010-12-27 2015-09-01 Microsoft Technology Licensing, Llc Interactive content creation
US9528852B2 (en) * 2012-03-02 2016-12-27 Nokia Technologies Oy Method and apparatus for generating an audio summary of a location
BR112015003626B1 (pt) * 2012-08-28 2022-04-26 Glowbl Sistema de interface gráfica de usuário, método e meio de armazenamento correspondente
US9372531B2 (en) 2013-03-12 2016-06-21 Gracenote, Inc. Detecting an event within interactive media including spatialized multi-channel audio content
CN104244164A (zh) 2013-06-18 2014-12-24 杜比实验室特许公司 生成环绕立体声声场
KR102574478B1 (ko) 2014-04-11 2023-09-04 삼성전자주식회사 음향 신호의 렌더링 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
US9466278B2 (en) * 2014-05-08 2016-10-11 High Fidelity, Inc. Systems and methods for providing immersive audio experiences in computer-generated virtual environments
US10062208B2 (en) 2015-04-09 2018-08-28 Cinemoi North America, LLC Systems and methods to provide interactive virtual environments
US10674304B2 (en) * 2015-10-09 2020-06-02 Sony Corporation Signal processing apparatus and signal processing method
US10904607B2 (en) * 2017-07-10 2021-01-26 Dolby Laboratories Licensing Corporation Video content controller and associated method
JP2022527111A (ja) 2019-04-03 2022-05-30 ドルビー ラボラトリーズ ライセンシング コーポレイション スケーラブル音声シーンメディアサーバ
US11023095B2 (en) 2019-07-12 2021-06-01 Cinemoi North America, LLC Providing a first person view in a virtual world using a lens
US11750745B2 (en) 2020-11-18 2023-09-05 Kelly Properties, Llc Processing and distribution of audio signals in a multi-party conferencing environment
KR20240027071A (ko) * 2021-07-15 2024-02-29 로브록스 코포레이션 가상 메타버스에서의 공간화된 오디오 채팅
US11700335B2 (en) * 2021-09-07 2023-07-11 Verizon Patent And Licensing Inc. Systems and methods for videoconferencing with spatial audio

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11232488A (ja) * 1998-02-17 1999-08-27 Mitsubishi Electric Corp ３次元仮想空間システム
JP2000013900A (ja) * 1998-06-25 2000-01-14 Matsushita Electric Ind Co Ltd 音再生装置
JP2000172483A (ja) * 1998-12-10 2000-06-23 Nippon Telegr & Teleph Corp <Ntt> 共有仮想画面における音声認識方法及びシステム及び共有仮想画面における音声認識プログラムを格納した記憶媒体
JP2001306081A (ja) * 2000-03-17 2001-11-02 Sony France Sa 音楽的空間構成制御装置、音楽的臨場感形成装置、及び音楽的空間構成制御方法
WO2001085293A1 (en) * 2000-05-10 2001-11-15 Simation, Inc. Method and system for providing a dynamic virtual environment using data streaming
JP2003093745A (ja) * 2001-09-27 2003-04-02 Dowango:Kk ネットワークゲーム情報管理システム、ネットワークゲーム情報処理装置、情報端末装置、ネットワークゲーム情報管理方法、および、プログラム

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5736982A (en) 1994-08-03 1998-04-07 Nippon Telegraph And Telephone Corporation Virtual space apparatus with avatars and speech
US5862228A (en) * 1997-02-21 1999-01-19 Dolby Laboratories Licensing Corporation Audio matrix encoding
US7379961B2 (en) 1997-04-30 2008-05-27 Computer Associates Think, Inc. Spatialized audio in a three-dimensional computer-based scene
US6011851A (en) 1997-06-23 2000-01-04 Cisco Technology, Inc. Spatial audio processing method and apparatus for context switching between telephony applications
US6125115A (en) 1998-02-12 2000-09-26 Qsound Labs, Inc. Teleconferencing method and apparatus with three-dimensional sound positioning
GB9805534D0 (en) 1998-03-17 1998-05-13 Central Research Lab Ltd A method of improving 3d sound reproduction
FI116505B (fi) * 1998-03-23 2005-11-30 Nokia Corp Menetelmä ja järjestelmä suunnatun äänen käsittelemiseksi akustisessa virtuaaliympäristössä
JP3625664B2 (ja) 1998-10-29 2005-03-02 三洋電機株式会社 ヘッドフォンステレオのリモートコントロール装置
GB2349055B (en) * 1999-04-16 2004-03-24 Mitel Corp Virtual meeting rooms with spatial audio
US7006616B1 (en) * 1999-05-21 2006-02-28 Terayon Communication Systems, Inc. Teleconferencing bridge with EdgePoint mixing
KR100416757B1 (ko) * 1999-06-10 2004-01-31 삼성전자주식회사 위치 조절이 가능한 가상 음상을 이용한 스피커 재생용 다채널오디오 재생 장치 및 방법
US6772195B1 (en) * 1999-10-29 2004-08-03 Electronic Arts, Inc. Chat clusters for a virtual world application
CN1413347A (zh) * 1999-12-22 2003-04-23 萨尔诺夫公司 对拼接的不连续音频流进行平滑的方法和装置
AUPQ570700A0 (en) 2000-02-17 2000-03-09 Lake Technology Limited Virtual audio environment
CZ20031035A3 (cs) 2000-10-13 2004-02-18 Alza Corporation Nárazový aplikátor opatřený množinou mikročepelek
AU2002232928A1 (en) * 2000-11-03 2002-05-15 Zoesis, Inc. Interactive character system
JP2002282538A (ja) * 2001-01-19 2002-10-02 Sony Computer Entertainment Inc 音声制御プログラム、音声制御プログラムを記録したコンピュータ読み取り可能な記憶媒体、音声制御プログラムを実行するプログラム実行装置、音声制御装置及び音声制御方法
AUPR647501A0 (en) 2001-07-19 2001-08-09 Vast Audio Pty Ltd Recording a three dimensional auditory scene and reproducing it for the individual listener
BE1015649A3 (fr) 2003-08-18 2005-07-05 Bilteryst Pierre Jean Edgard C Systeme de reproduction acoustique tridimensionnelle d'une source originelle monophonique.
US20050069143A1 (en) 2003-09-30 2005-03-31 Budnikov Dmitry N. Filtering for spatial audio rendering
AU2003292658A1 (en) 2003-12-26 2005-08-12 Seijiro Tomita Simulation device and data transmission/reception method for simulation device
US7814153B2 (en) * 2004-03-12 2010-10-12 Prototerra, Inc. System and method for client side managed data prioritization and connections

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11232488A (ja) * 1998-02-17 1999-08-27 Mitsubishi Electric Corp ３次元仮想空間システム
JP2000013900A (ja) * 1998-06-25 2000-01-14 Matsushita Electric Ind Co Ltd 音再生装置
JP2000172483A (ja) * 1998-12-10 2000-06-23 Nippon Telegr & Teleph Corp <Ntt> 共有仮想画面における音声認識方法及びシステム及び共有仮想画面における音声認識プログラムを格納した記憶媒体
JP2001306081A (ja) * 2000-03-17 2001-11-02 Sony France Sa 音楽的空間構成制御装置、音楽的臨場感形成装置、及び音楽的空間構成制御方法
WO2001085293A1 (en) * 2000-05-10 2001-11-15 Simation, Inc. Method and system for providing a dynamic virtual environment using data streaming
JP2003093745A (ja) * 2001-09-27 2003-04-02 Dowango:Kk ネットワークゲーム情報管理システム、ネットワークゲーム情報処理装置、情報端末装置、ネットワークゲーム情報管理方法、および、プログラム

Also Published As

Publication number Publication date
WO2005101897A1 (en) 2005-10-27
JP2007533213A (ja) 2007-11-15
EP1754393A4 (en) 2011-02-23
EP1754393A1 (en) 2007-02-21
CN1969589B (zh) 2011-07-20
CN1969589A (zh) 2007-05-23
AU2005234518A1 (en) 2005-10-27
AU2011200737A1 (en) 2011-03-10
KR20070041681A (ko) 2007-04-19
US9319820B2 (en) 2016-04-19
CN101827301A (zh) 2010-09-08
EP1754393B1 (en) 2020-12-02
AU2011200742A1 (en) 2011-03-10
AU2011200932A1 (en) 2011-03-24
CN101827301B (zh) 2016-01-20
AU2011200737B2 (en) 2013-05-02
US20080234844A1 (en) 2008-09-25
KR101167058B1 (ko) 2012-07-30
AU2011200742B2 (en) 2013-05-02

Similar Documents

Publication Publication Date Title
JP4848362B2 (ja) オーディオ・シーンを生成する際に使用する装置及び方法
JP4854736B2 (ja) 没入型オーディオ通信
US7113610B1 (en) Virtual sound source positioning
JP5563014B2 (ja) オーディオシーン作成用装置および方法
US8152639B2 (en) Method and system for enhanced audio communications in an interactive environment
KR101150100B1 (ko) 현재의 음성 화자를 시각적으로 표시하는 방법 및 시스템
US8393967B2 (en) Construction of gaming messages with contextual information
KR100598481B1 (ko) 동적 대역폭 제어
JP2008547290A5 (ja)
WO2006132276A1 (ja) ユーザ音声合成装置、仮想空間共有システム、コンピュータの制御方法及び情報記憶媒体
US20100125633A1 (en) On-line conversation system, on-line conversation server, on-line conversation control method, and information storage medium
US7110940B2 (en) Recursive multistage audio processing
CN117714968A (zh) 音频渲染方法和系统
AU2006261594B2 (en) Immersive audio communication
CN117762374A (zh) 一种音频播放方法、装置、虚拟现实设备及存储介质
Que et al. An immersive voice over IP service to wireless gaming: user study and impact of virtual world mobility
AU2012202422A1 (en) Immersive Audio Communication

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080403

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20100205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20100205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100729

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20101028

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20101105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110331

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20110620

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110628

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110705

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20110624

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110829

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110920

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111017

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141021

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4848362

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250