JP4787442B2 - マルチチャネル・オーディオ環境において対話型オーディオを提供するシステムおよび方法 - Google Patents

Description

【０００１】
発明の分野
本発明は、完全対話型のオーディオ・システムに関し、より具体的には、３Ｄゲーム、バーチャル・リアリティ、および他の対話型オーディオの応用に適切である豊かで没入型のサラウンド・サウンド環境を創出するために、リアルタイム・マルチチャネル対話型デジタル・オーディオをレンダリングするシステムおよび方法に関する。
【０００２】
発明の背景
オーディオ技術における最近の開発は、聞き手を取り囲む３次元空間（「音場」）のあらゆる場所において、サウンドのリアルタイムな対話型位置決めを創出することに焦点が当てられてきた。真の対話型オーディオは、オンデマンドでサウンドを創出する能力だけでなく、サウンドを正確に音場に配置する能力にも備えている。そのような技術のサポートは様々な製品に見ることができるが、最も頻繁には、自然で、没入型の、対話型オーディオ環境を創出するためのビデオ・ゲーム用ソフトウエアに見ることができる。応用分野は、ゲームを超えて、ＤＶＤなど視聴覚製品の形態でエンターテイメントの世界にまで広がり、また、ビデオ会議、シミュレーション・システム、および他の対話型環境にも広がっている。
【０００３】
オーディオ技術の進展は、オーディオ環境を聞き手にとって「リアル」なものにする方向に進んできた。サラウンド・サウンドの開発は、聞き手をサラウンド・サウンドの環境に没入させるために、まず、アナログ領域において、ＨＲＴＦ、ドルビー・サラウンドと続き、後に、デジタル領域において、ＡＣ−３、ＭＰＥＧ、およびＤＴＳと続いた。
【０００４】
現実的な合成環境を描写するために、バーチャル・サウンド・システムは、複数のスピーカを必要とせずに、サラウンドなオーディオの錯覚を創出するために、バイノーラル技術と音響心理学的な手掛かりを使用する。これらのバーチャル化された３Ｄオーディオ技術の大半は、ＨＲＴＦ（頭部関連伝達関数、Head-Related Transfer Function）の概念に基づいている。当初のデジタル化されたサウンドは、望ましい空間位置に対応する左耳および右耳のＨＲＴＦでリアルタイムにからみつき、聞いたときに、望ましい位置から来るように聞こえる、右耳および左耳のバイノーラル信号が生成される。サウンドを配置するために、ＨＲＴＦは、望ましい新しい位置に対して変更され、プロセスが繰り返される。聞き手は、オーディオ信号が聞き手自身のＨＲＴＦでフィルタリングされる場合、ヘッドフォンを通してほぼ自由音場のリスニングを経験することができる。しかし、これは、しばしば非実用的であり、実験者は、広範な聞き手に対し良好な性能を有する、一般的なＨＲＴＦのセットを探求してきた。これは、前方後方混同という特定の障害のために実現することが困難であった。前方後方混同とは、頭の前または後のサウンドが同じ方向から来ているという感覚を表す。この欠点にも関わらず、ＨＲＴＦの方法は、ＰＣＭオーディオと、はるかに少ない計算負荷で圧縮ＭＰＥＧオーディオとの両方にうまく適用されてきた。ＨＲＴＦに基づいたバーチャル・サウンド技術は、完全なホーム・シアタのセットアップが実際的ではない状況において、大きな利点を提供するが、これらの現在の解決法は、特定のサウンドの対話型配置には、なんら手段を提供しない。
【０００５】
ドルビー（Ｒ）・サラウンド・システムは、位置的オーディオを実施する他の方法である。ドルビー（Ｒ）・サラウンドは、ステレオ（２チャネル）媒体が４チャネル・オーディオを搬送することを可能にするマトリクス・プロセスである。このシステムは、４チャネルのオーディオを用い、左トータル（Ｌｔ）および右トータル（Ｒｔ）として識別される２チャネルのドルビー（Ｒ）・サラウンドのエンコードされた素材を生成する。エンコードされたマテリアル（素材）は、左チャネル、右チャネル、中央チャネル、およびモノ・サラウンド・チャネルの４つチャネルの出力を生成する、ドルビー（Ｒ）・プロロジック・デコーダによってデコードされる。中央チャネルは、スクリーンに音声をつなぎ留めるように設計されている。左チャネルおよび右チャネルは、音楽およびいくつかのサウンド効果を意図しており、サラウンド・チャネルは、主に、サウンド効果専用である。サラウンド・サウンド・トラックは、ドルビー（Ｒ）・サラウンド・フォーマットで事前にエンコードされ、従って、映画に最適であるが、ビデオ・ゲームなどの対話型の応用には特に有用ではない。ＰＣＭオーディオは、より制御性の低い対話型オーディオの経験を提供するために、ドルビー（Ｒ）・サラウンド・サウンド・オーディオにオーバーレイすることができる。残念ながら、ＰＣＭをドルビー（Ｒ）・サラウンド・サウンドと混合することは、内容に依存するものであり、ＰＣＭオーディオをドルビー（Ｒ）・サラウンド・サウンド・オーディオにオーバーレイすることは、ドルビー（Ｒ）・プロロジック・デコーダを混乱させる傾向があり、これにより、望ましくないサラウンド・アーティファクトおよびクロストークが創出されることがある。
【０００６】
ドルビー（Ｒ）・デジタルおよびＤＴＳなど、チャネル分離デジタル・サラウンド・サウンド技術を改善することは、別々の左サラウンド・リア・スピーカ、右サラウンド・リア・スピーカ、およびサブウーファと共に、左、中央、および右のフロント・スピーカの、６つの離散したデジタル・サウンドのチャネルを提供する。デジタル・サラウンドは、事前記録型の技術であり、従って、映画およびホームＡ／Ｖシステムのようなデコード待ち時間に対処することができるものには最適であるが、現在の形態では、ビデオ・ゲームなどの対話型応用には特に有用ではない。しかし、ドルビー（Ｒ）・デジタルおよびＤＴＳは、忠実度の高い位置オーディオを提供し、ホーム・シアタ・デコーダの大きな据え付けられたベース、即ち、マルチチャネル５．１スピーカ・フォーマットの定義および市販の製品を有するので、ＰＣ、特に、コンソールを基にするゲーム・システムに対しては、それらを完全に対話型にすることができる場合、非常に望ましいマルチチャネル環境を呈する。しかし、ＰＣのアーキテクチャは、一般に、マルチチャネルのデジタルＰＣＭオーディオを家庭用エンターテイメント・システムへ送ることができなかった。これは、主に、標準的なＰＣのデジタル出力が、ステレオをベースとするＳ／ＰＤＩＦデジタル出力コネクタを通るということのためである。
【０００７】
Ｃａｍｂｒｉｄｇｅ ＳｏｕｎｄＷｏｒｋｓ（Ｒ）（ケンブリッジ・サウンドワーク）は、ハイブリッド・デジタル・サラウンド／ＰＣＭの手法を、デスクトップ・シアタ（Ｒ）５．１ＤＴＴ２５００の形態で提供する。この製品は、事前にエンコードされたドルビー（Ｒ）・デジタル５．１バックグラウンド・マテリアルと対話型４チャネル・デジタルＰＣＭオーディオとを組み合わせるビルトインのドルビー（Ｒ）・デジタル・デコーダを搭載している。このシステムは２つの別々のコネクタ、即ち、ドルビー（Ｒ）・デジタルを送る１つのものと、４チャネル・デジタル・オーディオを送る１つのものとを必要とする。ステップは進行するが、デスクトップ・シアタ（Ｒ）は、ドルビー（Ｒ）・デジタル・デコーダの既存の据え付けられたベースとは互換性がなく、ＰＣＭ出力の複数チャネルをサポートするサウンド・カードを必要とする。サウンドは、既知の位置に配置されたスピーカから再生されるが、対話型３Ｄサウンドの分野における目標は、サウンドが、聞き手の回りの任意に選択された方向から発するように出現する信頼できる環境を創出することである。デスクトップ・シアタ（Ｒ）の対話型オーディオの豊かさは、ＰＣＭデータを処理するために必要な計算要件によって、更に制限される。位置オーディオ環境の重要な成分である横向きローカリゼーション（局所化）は、フィルタリングおよび等化の演算のように、時間領域データに適用するには、計算にコストがかかる。
【０００８】
ゲーム業界は、３Ｄゲームおよび他の対話型オーディオ・アプリケーションに適し、ゲーム・プログラマが、多数のオーディオ源を混合し、かつ正確にそれらを音場に配置することを可能にし、そして、ホーム・シアタ・デジタル・サラウンド・サウンド・システムの既存のインフラストラクチャと互換性のある、低コストで完全に対話型の待ち時間の短い没入型のデジタル・サラウンド・サウンド環境が必要である。
【０００９】
発明の概要
上記の問題を考慮して、本発明は、３Ｄゲームおよび他の忠実度の高いオーディオ・アプリケーションに適し、デジタル・サラウンド・サウンド・デコーダの既存のインフラストラクチャとの互換性を維持するように構成することができる、低コストで完全に対話型の没入型のデジタル・サラウンド・サウンド環境を提供する。
【００１０】
これは、各オーディオ成分を、計算の容易さを優先してコード化と記憶の効率を犠牲にする圧縮フォーマットで記憶し、その成分を時間領域ではなくサブバンド領域において混合し、マルチチャネルの混合されたオーディオを圧縮フォーマットに再圧縮およびパック（パッキング）し、それをデコードおよび配布のために下流のサラウンド・サウンド・プロセッサへ渡すことによって、達成される。マルチチャネル・データは圧縮フォーマットになっているので、ステレオ・ベースのＳ／ＰＤＩＦデジタル出力コネクタを通過することができる。また、技術は、ＰＣＭオーディオを操作するゲーム・アプリケーションでは重要で標準的な特徴である、圧縮されたオーディオを「ルーピング」するために提供される。更に、デコーダの同期性は、混合されたオーディオが処理の待ち時間またはゲーム・アプリケーションのために存在しないときにはいつでも、「無音（silence）」のフレームを送信することによって保証される。
【００１１】
より具体的には、成分は、サブバンド表現にエンコードされ、データ・フレームに圧縮およびパックされ、データ・フレームでは、スケール・ファクタとサブバンド・データのみがフレームごとに異なるようにすることが好ましい。この圧縮フォーマットが必要とするメモリは、標準的なＰＣＭオーディオより著しく少ないが、ドルビー（Ｒ）ＡＣ−３またはＭＰＥＧにおいて使用されるような可変長のコード記憶によって必要とされるよりは多い。更に重要なことは、この手法は、アンパック／パック、混合（ミックス）、および圧縮解除／圧縮のオペレーションを非常に簡単にし、それにより、プロセッサの使用を低減することである。更に、固定長のコード（ＦＬＣ）は、エンコードされたビットストリームを通じてのランダム・アクセス・ナビゲーションを補助する。ソース・オーディオと混合された出力チャネルとをエンコードするために、単一の事前定義されたビット割当てテーブルを使用することによって、高レベルのスループットを達成することができる。現在の好ましい実施形態では、オーディオ・レンダラ（renderer）は、固定されたヘッダとビット割当てテーブルとに対してハードコードされており、従って、オーディオ・レンダラは、スケール・ファクタとサブバンド・データとを処理するだけでよい。
【００１２】
混合（ミキシング）は、可聴であると考えられる成分からサブバンド・データのみを部分的にデコード（圧縮解除）し、それらをサブバンド領域において混合することによって達成される。サブバンド表現は、単純化した音響心理学的マスキング技術に役立ち、従って、処理の複雑さを増大させずに、または、混合された信号の質を落とさずに、多数のソースをレンダリングすることができる。更に、マルチチャネル信号は、送信前に圧縮フォーマットにエンコードされるので、豊かで忠実度の高い統一されたサラウンド・サウンド信号を、単一の接続を通じてデコーダへ送ることができる。
【００１３】
本発明のこれらおよび他の特徴と利点は、当業者には、添付の図面と好ましい実施形態の以下の詳細な記述とから明らかになるであろう。
【００１４】
発明の詳細な説明
ＤＴＳ対話型は、３Ｄゲームおよび他の忠実度の高いオーディオ・アプリケーションに適した低コストで完全に対話型（インタラクティブ）の没入型のデジタル・サラウンド・サウンド環境を提供する。ＤＴＳ対話型は、成分オーディオを圧縮およびパックされたフォーマットで記憶し、ソース・オーディオをサブバンド領域において混合し、マルチチャネルの混合されたオーディオを圧縮フォーマットに再圧縮およびパックし、それをデコードおよび配布のために下流のサラウンド・サウンド・プロセッサへ渡す。マルチチャネル・データは、圧縮フォーマットになっているので、ステレオ・ベースのＳ／ＰＤＩＦデジタル出力コネクタを通すことができる。ＤＴＳ対話型は、計算の負担を増大せずに、または、レンダリングしたオーディオの質を低下せずに、没入型のマルチチャネル環境において一緒にレンダリングすることのできるオーディオ・ソースの数を非常に増大する。ＤＴＳ対話型は、等化とフェーズ配置オペレーションを簡単にする。更に、技術は、圧縮されたオーディオを「ルーピングする」ために提供されており、デコーダの同期性は、ソース・オーディオが存在しない場合に「無音」のフレームを送信することによって保証されるものであり、ここで無音とは真の無音または低レベルの雑音を含むものである。ＤＴＳ対話型は、ＤＴＳサラウンド・サウンド・デコーダの既存のインフラストラクチャとの旧版互換性を維持するように設計される。しかし、記述したフォーマットおよび混合の技術を使用して、既存のデコーダとソース互換性および／または宛先互換性を維持することに限定されない専用のゲーム・コンソールを設計することができる。
【００１５】
ＤＴＳ対話型
ＤＴＳ対話型システムは複数のプラットフォームによってサポートされ、それには、ＤＴＳ５．１マルチチャネル・ホーム・シアタ・システム１０が存在し、これは、図１ａ、１ｂ、および１ｃに示したように、デコーダおよびＡＶ増幅器、ＡＶ増幅器１４を有するハードウエアＤＴＳデコーダ・チップセットを備えたサウンド・カード１２、または、オーディオ・カード１８およびＡＶ増幅器２０を有しソフトウエアが実装されたＤＴＳデコーダ１６を含む。これらのすべてのシステムは、左２２、右２４、左サラウンド２６、右サラウンド２８、中央３０、およびサブウーファ３２と命名したスピーカのセットと、マルチチャネル・デコーダと、マルチチャネル増幅器とを必要とする。デコーダは、圧縮されたオーディオ・データを供給するための、デジタルＳ／ＰＤＩＦまたは他の入力を提供する。増幅器は、６つの個別のスピーカに電力を供給する。ビデオは、通常ＴＶまたは他のモニタであるディスプレイまたは投影装置３４の上でレンダリングされる。ユーザは、キーボード３６、マウス３８、位置センサ、トラックボール、またはジョイ・スティックなどのヒューマン・インタフェース装置（ＨＩＤ）を通じてＡＶ環境と対話する。
【００１６】
アプリケーション・プログラミング・インタフェース（ＡＰＩ）
図２および３に示したように、ＤＴＳ対話型（インタラクティブ）システムは、アプリケーション４０、アプリケーション・プログラミング・インタフェース（ＡＰＩ）４２、およびオーディオ・レンダラ４４の３層からなる。ソフトウエア・アプリケーションは、ゲーム、または、おそらくは音楽再生／作曲プログラムとすることができ、これらは成分オーディオ・ファイル４６を用い、それぞれの或るデフォルト位置キャラクタ４８へ割り当てる。また、アプリケーションは、ＨＩＤ３６／３８を介して、ユーザから対話型データを受け取る。
【００１７】
各ゲーム・レベルに対して、しばしば使用されるオーディオ・コンポーネントは、メモリにロードされる（ステップ５０）。それぞれのコンポーネント（成分）は、オブジェクトとして取り扱われるので、プログラマは、サウンドのフォーマットとレンダリングの詳細について気づかないままであり、プログラマは、聞き手に対する絶対的な位置と、望ましいて思われる効果処理を考慮するだけでよい。ＤＴＳ対話型フォーマットにより、これらの成分は、低周波数効果（ＬＦＥ）を有するまたは有していない、モノ、ステレオ、またはマルチチャネルとすることが可能になる。ＤＴＳ対話型は、成分を圧縮フォーマットで記憶するので（図６参照）、そうでない場合により解像度の高いビデオ・レンダリング、より多くの色、またはより多くのテキスチャに使用することができる価値のあるシステム・メモリを、節約する。また、圧縮フォーマットの効果としてファイル・サイズが小さくなることにより、記憶媒体から迅速なオンデマンドのローディングが可能になる。サウンド成分は、位置、等化、ボリューム、および必要な効果を詳述するパラメータを備える。これらの詳細は、レンダリング・プロセスの結果に影響することになる。
【００１８】
ＡＰＩ層４２は、各サウンド効果を創出および制御するために、プログラマにインタフェースを提供し、また、オーディオ・データの混合を扱う複雑なリアルタイム・オーディオ・レンダリング・プロセスからの分離をもたらす。オブジェクト指向のクラスは、サウンドの生成を創出および制御する。プログラマが自由にできるいくつかのクラス・メンバが存在し、それは、ロード、アンロード、プレイ、休止（ポーズ）、停止（ストップ）、ルーピング、遅延、ボリューム、等化、３Ｄ位置、環境の最大および最小のサウンド次元、メモリの割付け、メモリのロッキングおよび同期化である。
【００１９】
ＡＰＩは、創出されてメモリにロードされた、または媒体からアクセスされた、すべてのサウンド・オブジェクトの記録を生成する（ステップ５２）。このデータは、オブジェクト・リスト・テーブルに記憶される。オブジェクト・リストは、実際のオーディオ・データを含まず、むしろ、圧縮されたオーディオ・ストリーム内におけるデータ・ポインタの位置、サウンドの位置座標、聞き手の位置までの方位および距離、サウンド生成の状況、およびデータの混合に必要な任意の特別な処理を示す情報などのような、サウンドの生成に重要な情報を追跡する。サウンド・オブジェクトを創出するためにＡＰＩが呼び出されるとき、そのオブジェクトに対する基準ポインタは、自動的にオブジェクト・リストに入力される。オブジェクトが消去されるとき、オブジェクト・リストにおける対応するポインタ・エントリは、ヌルに設定される。オブジェクト・リストが一杯の場合、簡単な経時ベースのキャッシング・システムは、古い事象（インスタンス）を上書きすることを選択することができる。オブジェクト・リストは、非同期アプリケーション、同期ミキサ、および圧縮オーディオ生成装置プロセスの間にブリッジを形成する。
【００２０】
各オブジェクトによって引き継がれたクラスにより、開始、停止、休止、ロード、およびアンロードの機能が、サウンドの生成を制御することが可能になる。これらの制御により、プレイ・リスト・マネジャが、オブジェクト・リストを検査し、その時点で実際にプレイしているそれらのサウンドのみのプレイ・リスト５３を構築することが可能になる。マネジャは、サウンドが休止、停止、プレイを完了、またはプレイを開始するのに十分遅延されていない場合、プレイ・リストからそのサウンドを除くことを決定することができる。プレイ・リストの各エントリは、検査しなければならないサウンド内の個々のフレームに対するポインタであり、このサウンドは、必要であれば、混合前に区分的にアンパックされる。フレームのサイズは一定なので、ポインタの操作により、出力サウンドの再生の位置決め、ルーピング、および遅延が可能になる。このポインタの値は、圧縮されたオーディオ・ストリーム内における現在のデコード位置を示す。
【００２１】
サウンドの位置的ローカリゼーションは、サウンドを個々のレンダリング・パイプラインに割り当てることを必要とするか、または、次にラウドスピーカの構成の上に直接マッピングする実行バッファに割り当てることを必要とする（ステップ５４）。これがマッピング機能の目的である。フレーム・リストのエントリに対する位置データは、どの信号処理機能を適用するかを決定し、聞き手に対する各サウンドの方位および方向を一新し、環境に対する物理的モデルに応じて各サウンドを変更し、混合係数を決定し、オーディオ・ストリームを利用可能な最も適切なスピーカに割り付けるために、検査される。すべてのパラメータとモデルのデータとは、パイプラインに入る各圧縮オーディオ・フレームに関連付けられているスケール・ファクタに対する変更を導出するために組み合わされる。横向きローカリゼーションが望ましい場合、フェーズ・シフト・テーブルからデータが示され、インデックスされる。
【００２２】
オーディオ・レンダリング
図２および３に示したように、オーディオ・レンダリング層４４は、オブジェクト・クラスによって設定された３Ｄパラメータ５７に従って、望ましいサブバンド・データ５５を混合する責務を担う。複数のオーディオ成分を混合するには、各成分を選択的にアンパックおよび圧縮解除し、相関のあるサンプルを合計し、各サブバンドに対して新しいスケール・ファクタを計算することを必要とする。レンダリング層のすべてのプロセスは、圧縮されたオーディオ・データの滑らかで連続的な流れをデコード・システムへ送るために、リアルタイムで機能しなければならない。パイプラインは、プレイされているサウンド・オブジェクトのリストと、各オブジェクト内からのサウンドを変更する指示とを受け取る。各パイプラインは、混合係数に従って成分オーディオを操作し、単一スピーカ・チャネルに対して出力ストリームを混合するように、設計される。出力ストリームは、統一出力ビットストリームへとパックおよび多重化される。
【００２３】
より具体的には、レンダリング・プロセスは、各成分のスケール・ファクタをフレームごとにメモリへとアンパックおよび圧縮解除するか（ステップ５６）、または、一度に複数のフレームをアンパックおよび圧縮解除する（図７参照）ことによって、開始される。この段階では、各サブバンドに対するスケール・ファクタの情報のみが、その成分または成分の部分がレンダリングされたストリームにおいて可聴である場合、評価することを必要とされる。固定長コード化が使用されるので、そのスケール・ファクタを含むフレームの部分のみをアンパックおよび圧縮解除することができ、それにより、プロセッサの使用を減らせる。ＳＩＭＤの性能のために、各７ビットのスケール・ファクタの値は、バイトとしてメモリ・スペースに記憶され、３２バイトのアドレス境界と位置合わせされて、キャッシュ・ライン読み出しが１つのキャッシュ充填オペレーションにおいてすべてのスケール・ファクタを獲得し、かつキャッシュ・メモリの汚染を生じないことを保証するようにする。更にこのオペレーションを高速化するために、スケール・ファクタをバイトとしてソース・マテリアルに記憶し、３２バイトのアドレス境界上においてメモリ内で生じるように編成することが可能である。
【００２４】
３Ｄ位置、ボリューム、混合、および等化によって提供された３Ｄパラメータ５７は、抽出したスケール・ファクタを変更するために使用される各サブバンドに対する変更アレイを決定するために組み合わされる（ステップ５８）。各成分は、サブバンド領域において表されているので、等化は、スケール・ファクタを介して望ましいようにサブバンド係数を調整する自明なオペレーションである。
【００２５】
ステップ６０において、パイプラインのすべてのエレメントに対してインデックスされた最大スケール・ファクタが特定され、メモリ・スペースにおいて適切に位置合わせされている出力アレイへ記憶される。この情報を使用して、あるサブバンドの成分を混合する必要性を決定する。
【００２６】
ステップ６２というこの時点で、スピーカのパイプラインから可聴でないサブバンドを除去するために、他のパイプライン化されたサウンド・オブジェクトとのマスキング比較が実施される（詳細は図８および９を参照）。マスキング比較は、高速化するために、各サブバンドに対して独立して実施されることが好ましく、また、マスキング比較は、リストによって参照されたオブジェクトのスケール・ファクタに基づいている。パイプラインは、単一のスピーカからの可聴である情報のみを含む。出力スケール・ファクタが、人間の聴覚の閾値（スレッショルド）より低い場合、出力スケール・ファクタは、ゼロに設定することが可能であり、そうすることにより、対応するサブバンドの成分を混合する必要性が除かれる。ＰＣＭ時間領域オーディオの操作に対するＤＴＳ対話型の利点は、ゲーム・プログラマが、より多くの成分を使用でき、且つ過剰な計算をせずに任意の所与の時間に可聴なサウンドのみを抽出および混合するマスキング・ルーチンに依存することが可能なことである。
【００２７】
望ましいサブバンドが識別された後、オーディオ・フレームは、更に、可聴なサブバンド・データのみを抽出するためにアンパックおよび圧縮解除され（ステップ６４）、これは、左シフトされたＤＷＯＲＤフォーマットとしてメモリに記憶される（図１０ａ〜１０ｃ参照）。この記述を通して、ＤＷＯＲＤは、一般性を失わずに、３２ビットに想定されている。ゲームの環境では、ＦＬＣを使用するために失われた圧縮に支払われる代償は、サブバンド・データをアンパックおよび圧縮解除するために必要な計算の数を減らすことによって補償されるよりも大きい。このプロセスは、すべての成分とチャネルに対し、単一の事前定義されたビット割付けテーブルを使用することによって、更に簡単になる。ＦＬＣにより、成分内の任意のサブバンドにおいて、読み出し位置をランダムに配置することが可能になる。
【００２８】
ステップ６６において、フェーズ（位相）位置決めフィルタリングが、バンド１および２のサブバンド・データに適用される。フィルタは、特有のフェーズ特性を有し、耳が位置の手掛かりとして最も敏感である２００Ｈｚから１２００Ｈｚの周波数領域に対してのみ適用されることを必要とする。フェーズ位置の計算は、３２のサブバンドのうち最初の２つのバンドにのみ適用されるので、計算の数は、同等な時間領域オペレーションに必要な数の約１６分の１である。横向きローカリゼーションが必要でない場合、または計算のオーバーヘッドが過剰であると見なされる場合、位相の修正は無視することができる。
【００２９】
ステップ６８において、サブバンド・データは、それに、対応する変更されたスケール・ファクタを乗算し、それを、パイプラインの他の適格のサブバンド成分のスケール化されたサブバンド産出物と合計することによって、混合される（図１１参照）。ビット割り当て（割付け）によって指図される、ステップサイズによる通常の乗算は、ビット割付けテーブルをすべてのオーディオ成分に対して同じであると事前に定義することによって、回避される。最大スケール・ファクタのインデックスがルックアップされ、混合された結果へと除算（または逆数を乗算）される。除算と逆数オペレーションによる乗算とは数学的には同等であるが、乗算オペレーションは一桁高速である。混合された結果が１つのＤＷＯＲＤに記憶される値を超えるとき、オーバーフローが生じることがある。浮動小数点ワードを整数として記憶する試行により、影響を受けるサブバンドに適用されるスケール・ファクタを変更するためにトラップおよび使用される例外が創出される。混合のプロセス後、データは、左にシフトした形態で記憶される。
【００３０】
出力データ・フレームのアセンブリおよびキューイング
図４に示したように、コントローラ７０は、出力フレーム７２をアセンブルし、それらを、サラウンド・サウンド・デコーダに送信するためにキューに配置する。デコーダは、データ・ストリーム内に埋め込まれている反復同期化マーカまたは同期化コードに位置合わせすることができる場合、有用な出力を生成するだけでよい。Ｓ／ＰＤＩＦデータ・ストリームを介してのコード化されたデジタル・オーディオの送信は、元のＩＥＣ９５８仕様の修正であり、コード化されたオーディオ・フォーマットの識別に対する準備とはならない。マルチフォーマット・デコーダは、まず、並行同期ワードを確実に検出することによってデータ・フォーマットを決定し、次いで、適切なデコード方法を確立しなければならない。同期条件の損失すると、デコーダが出力信号をミュートし、コード化されたオーディオ・フォーマットを再確立しようとするので、オーディオの再生に中断をもたらす。
【００３１】
コントローラ７０は、「無音」を表す圧縮されたオーディオを含むヌル出力テンプレート７４を準備する。現在の好ましい実施形態では、ヘッダ情報はフレームごとの違いはなく、スケール・ファクタおよびサブバンド・データ領域のみを更新する必要がある。テンプレートのヘッダは、ストリーム・ビット割付けのフォーマットに関する不変の情報と、情報をデコードおよびアンパックするための追加的情報とを搬送する。
【００３２】
同時に、オーディオ・レンダラは、サウンド・オブジェクトのリストを生成し、それをスピーカの位置へマッピングする。マッピングされたデータ内では、可聴なサブバンド・データは、上述したように、パイプライン８２によって混合される。パイプライン８２によって生成されたマルチチャネル・サブバンド・データは、事前定義されたビット割付けテーブルに従って、ＦＬＣに圧縮される（ステップ７８）。パイプラインは、並列に編成されており、それぞれは、特定のスピーカ・チャネルに特有である。
【００３３】
ＩＴＵ推奨ＢＳ．７７５−１は、マルチチャネル・サウンド送信、ＨＤＴＶ、ＤＶＤ、および他のデジタル・オーディオ応用のための２チャネル・サウンド・システムの限界を認識する。この推奨は、聞き手の回りに一定の距離の配列に構成された２つのリア／サイド・スピーカと３つのフロント・スピーカとを組み合わせることを推奨する。変更されたＩＴＵスピーカ構成が採用される或る場合には、左サラウンド・チャネルおよび右サラウンド・チャネルは、圧縮されたオーディオ・フレーム全体の数によって遅延（８４）される。
【００３４】
パッカ８６は、スケール・ファクタおよびサブバンド・データをパックし（ステップ８８）、パックされたデータをコントローラ７０へ渡す。出力ストリームの各チャネルに対するビット割付けテーブルが事前に定義されているので、フレームがオーバーフローする可能性は排除される。ＤＴＳ対話型フォーマットは、ビットレート制限されておらず、線形およびブロックのエンコードの簡単で迅速なエンコード技術を適用することができる。
【００３５】
デコーダの同期を維持するために、コントローラ７０は、パックされたデータの次のフレームの出力準備ができているかを判定する（ステップ９２）。答えがイエスである場合、コントローラ７０は、パックされたデータ（スケール・ファクタとサブバンド・データ）を以前の出力フレーム７２に上書きし（ステップ９４）、それをキューに配置する（ステップ９６）。答えがノーである場合、コントローラ７０は、ヌル出力テンプレート７４を出力する。圧縮された無音をこの方法で送信することにより、同期を維持するために、デコーダへフレームを中断なしに出力することが保証される。
【００３６】
即ち、コントローラ７０は、データ・ポンプ・プロセスを提供する。この機能は、出力装置による継ぎ目のない生成のために、出力ストリームに中断またはギャップをもたらさずに、コード化オーディオ・フレーム・バッファを管理することである。データ・ポンプ・プロセスは、最も最近出力を完了したオーディオ・バッファをキューに入れる。バッファが出力を終了すると、それは出力バッファ・キューに再配置（repost）され、空であるとフラグが立てられる。この空状態フラグにより、混合プロセスは、データを識別し、そして、キューの次のバッファが出力されるのと同時に且つ残りのバッファが出力を待機している間に、そのデータをその未使用のバッファにコピーすることが可能になる。データ・ポンプ・プロセスを準備するためには、キューのリストに、まず、ヌル・オーディオ・バッファ・イベントを配置しなければならない。初期設定バッファのコンテンツは、コード化されているか否かに関わらず、無音または他の非可聴または意図した信号を表すべきである。キューのバッファの数と各バッファのサイズは、ユーザの入力に対する応答時間に影響を与える。待ち時間を短く維持し、より現実的な対話型経験を提供するために、出力キューは、２バッファの深度に制限され、一方、各バッファのサイズは、宛先デコーダとユーザが受け入れ可能な待ち時間とにより許容される最大のフレーム・サイズによって決定される。
【００３７】
オーディオの質は、ユーザの待ち時間に対して、折り合いをつけることが可能である。小さなフレーム・サイズは、ヘッダ情報の反復的に送信することにより負担をかけられ、これにより、オーディオ・データをコード化するのに利用可能なビット数が減少し、それにより、レンダリングされたオーディオの質が低下する。一方、大きなフレームのサイズは、ホーム・シアタのデコーダにおけるローカルＤＳＰメモリの利用可能性により制限され、それにより、ユーザの待ち時間を増大させる。サンプル・レートと組み合わされて、この２つの量は、圧縮されたオーディオ出力のバッファを更新するための最大リフレッシュ間隔を決定する。ＤＴＳ対話型システムでは、これはタイムベースであり、サウンドのローカリゼーションをリフレッシュし、リアルタイム対話の錯覚を提供するために使用される。このシステムでは、出力フレームのサイズは、４０９６バイトに設定されており、最小限のヘッダ・サイズ、編集およびループ創出のための良好な時間分解能、およびユーザの応答に対する短い待ち時間を提供する。通常、４０９６バイトのフレーム・サイズに対しては６９ｍｓから９２ｍｓであり、２０４８バイトのフレーム・サイズに対しては３４ｍｓから４６ｍｓである。各フレーム時間において、聞き手の位置に対するアクティブのサウンドの距離および角度が計算され、この情報は、個々のサウンドをレンダリングするために使用される。例として、サンプル・レートに依存する３１Ｈｚから４７Ｈｚの間のリフレッシュ・レートが、４０９６バイトのフレーム・サイズに対して可能である。
【００３８】
圧縮されたオーディオのルーピング
ルーピングは、望ましいオーディオ効果を創出するために、同じサウンド・ビットが不確定にルーピングされる標準的なゲームの技術である。例えば、ヘリコプタ・サウンドの少数のフレームを記憶してルーピングし、ゲームに必要とされる長さだけリコプタを生成することができる。時間領域では、サウンドの終了位置と開始位置との間の遷移ゾーン中に、可聴なクリックまたはひずみは、開始と終了の振幅が相補的である場合には聞かれることはない。この同じ技術は、圧縮オーディオ領域では作用しない。
【００３９】
圧縮されたオーディオは、ＰＣＭサンプルの固定されたフレームからエンコードされたデータのパケットに含まれており、そして、以前に処理されたオーディオに対する圧縮オーディオ・フレームの相互依存によって、更に複雑になっている。ＤＴＳサラウンド・サウンド・デコーダの再構築フィルタは出力オーディオを遅延させ、第１オーディオ・サンプルが、再構築フィルタの特性により、低レベルの過渡的な振舞いを呈するようにさせる。
【００４０】
図５に示したように、ＤＴＳ対話型システムにおいて実施されたルーピング解決法は、対話型ゲーム環境におけるリアルタイムのルーピングの実行とコンパチブルな圧縮フォーマットで記憶するためのコンポーネント・オーディオを用意するように、オフラインで実施される。このルーピング解決法の第１ステップは、ルーピングされたシーケンスのＰＣＭデータが、圧縮されたオーディオ・フレームの全体の数によって定められた境界内に精確にフィットするように、まず、時間についてコンパクト化または拡張されることを必要とする（ステップ１００）。エンコードされたデータは、エンコードされた各フレームからのオーディオ・サンプルの固定数を表す。ＤＴＳシステムでは、サンプルの持続期間は、１０２４サンプルの倍数である。開始するためには、圧縮されていない「読み出し」オーディオの少なくともＮフレームが、ファイルの終端部から読み出され（ステップ１０２）、ルーピングされるセグメントの開始へ一時的に添付される（ステップ１０４）。この例では、Ｎは値１を有するが、以前のフレームに対する再構築フィルタの依存性をカバーするのに十分な大きさの任意の値を使用することが可能である。エンコード（ステップ１０６）の後、Ｎの圧縮されたフレームは、圧縮されたオーディオ・ループ・シーケンスをもたらすために、エンコードされたビットストリームの始めから除去される（ステップ１０８）。このプロセスにより、終了フレーム中に再構築合成フィルタにある値が、開始フレームとの継ぎ目のない連結を保証するのに必要な値と一致することが保証され、そうすることにより、可聴なクリックまたはひずみが防止される。ルーピングされた再生の際に、読み出しポインタは、グリッチのない再生のために、ルーピングされたシーケンスの始めへと戻すように向けられる。
【００４１】
ＤＴＳ対話型フレーム・フォーマット
ＤＴＳ対話型フレーム７２は、図６に示したように構成されたデータからなる。ヘッダ１１０は、オーディオ・ペイロードをデコードするのに必要な、コンテンツのフォーマット、サブバンドの数、チャネル・フォーマット、サンプリング周波数、およびテーブル（ＤＴＳ規格において定義されている）を記述する。また、この領域は、ヘッダの始めを識別し、かつアンパックのために、エンコードされたストリームの位置合わせ（アライメント）を提供するために、同期ワードを含む。
【００４２】
ヘッダに続いて、ビット割付けセクション１１２は、どのサブバンドがフレームに存在するか、ならびに、サブバンドのサンプルあたりに割り付けられたビットの数の指示を示す。ビット割付けテーブルにおけるゼロのエントリは、関連するサブバンドがフレームに存在しないことを示す。ビットの割付けは、混合の速さについて、成分ごと、チャネルごと、フレームごと、および各サブバンドに対して固定されている。固定されたビットの割付けは、ＤＴＳ対話型システムによって採用され、ビット割付けテーブルを検査、記憶、および走査する必要性を排除し、アンパック段階中におけるビット幅の規則的なチェックを排除する。例えば、以下のビット割付けは、使用に適している｛１５、１０、９、８、８、８、７、７、７、６、６、５、５、５、５、５、５、５、５、５、５、５、５、５、５、５、５、５、５、５、５、５、５｝。
【００４３】
スケール・ファクタ・セクション１１４は、例えば３２サブバンドなどのように、サブバンドのそれぞれに対するスケール・ファクタを識別する。スケール・ファクタのデータは、対応するサブバンド・データと共に、フレームごとに異なる。
【００４４】
最後に、サブバンド・データ・セクション１１６は、すべての量子化されたサブバンド・データを含む。図７に示したように、サブバンドのデータの各フレームはサブバンドあたり３２のサンプルからなり、サイズ８の４つのベクトル１１８ａ〜１１８ｄとして編成されている。サブバンドのサンプルは、線形コードまたはブロック・コードによって表すことができる。線形コードは、符号ビットで始まり、それにサンプル・データが続く。一方、ブロック・コードは、符号を含めたサブバンド・サンプルの効率的にエンコードされたグループである。サブバンド・データ１１６とのビット割付け１１２およびスケール・ファクタ１１４の位置合わせについても記述されている。
【００４５】
圧縮されたオーディオのサブバンド領域混合
以前に説明したように、ＤＴＳ対話型は、通常のＰＣＭフォーマットではなく、圧縮されたフォーマットで、サブバンド・データなどの成分オーディオを混合し、大きな計算の柔軟性と忠実度の利益を実現する。これらの利益は、２段階においてユーザにとって可聴でないサブバンドを破棄することによって獲得される。第１に、ゲーム・プログラマは、特有のオーディオ成分の周波数コンテンツに関する以前の情報に基づいて、有用な情報を僅かに含むか又は全く含まない上部（高周波数）サブバンドを破棄することができる。これはオフラインで実施されるものであり、成分オーディオを記憶する前に、上部バンド・ビット割付けをゼロに設定することによって行われる。
【００４６】
より具体的には、４８．０ｋＨｚ、４４．１ｋＨｚ、および３２．０ｋＨｚのサンプル・レートにはしばしばオーディオにおいて遭遇するが、高いサンプル・レートは、メモリを費やして忠実度の高い完全なバンド幅のオーディオを提供する。これは、素材が音声などのような、僅かな高周波数を含むものである場合、リソースの浪費となることがある。より低いサンプル・レートは、或る素材にはより適切であるが、異なるサンプル・レートの混合の問題が生じる。ゲームのオーディオは、オーディオ品質とメモリ要件との妥当な妥協として、２２．０５０ｋＨｚのサンプリング・レートを頻繁に使用する。ＤＴＳ対話型システムでは、すべての素材は、以前に記述した最高のサポートされるサンプル・レートでエンコードされ、全オーディオ・スペクトルを完全に占有しない素材は、以下のように取り扱われる。例えば１１．０２５ｋＨｚにおいてエンコードすることを意図した素材は、４４．１ｋＨｚでサンプリングされ、高周波数コンテンツを記述するサブバンドの上部７５％は破棄される。この結果としてのエンコードされたファイルは、他のより高い忠実度の信号との互換性および混合の容易さを保持し、更にファイルのサイズを低減することを可能にするファイルである。この原理を拡張して、サブバンドの上部５０％を破棄することによって２２．０５０ｋＨｚのサンプリングを可能にすることができる方法は、容易に理解される。
【００４７】
第２に、ＤＴＳ対話型は、スケール・ファクタをアンパックし（ステップ１２０）、それらを簡略化した音響心理学的分析に使用して（図９参照）、マップ機能（ステップ５４）によって選択されたオーディオ成分のどれが、各サブバンドにおいて可聴であるかを決定する（ステップ１２４）。近傍のサブバンドを考慮に入れる標準的な音響心理学的分析を実施して、少し良好な性能を達成することができるが、速さを犠牲にすることになる。その後、オーディオ・レンダラは、可聴であるそれらのサブバンドのみをアンパックおよび圧縮解除する（ステップ１２６）。レンダラは、サブバンド領域において、各サブバンドのサブバンド・データを混合し（ステップ１２８）、それを再圧縮して、それを図４に示したようにパッキングのためにフォーマットする（アイテム８６）。
【００４８】
このプロセスの計算の利益は、可聴であるそれらのサブバンドのみをアンパック、圧縮解除、混合、再圧縮、およびパックしなければならないことから実現される。同様に、混合のプロセスは自動的に可聴でないデータをすべて破棄するので、ゲーム・プログラマには、量子化雑音フロアを上昇させずに、より多数のオーディオ成分を用いて豊かなサウンド環境を創出するためのすぐれた柔軟性を提供される。これらは、リアルタイム対話型環境において、即ち、ユーザの待ち時間が重要であり、豊かで忠実度の高い没入型のオーディオ環境が目標である環境において、非常に大きな利点である。
【００４９】
音響心理学的マスキング効果
音響心理学的な測定は、知覚的に不適切な情報を決定するために使用される。この情報は、人間の聞き手が聞くことができず、かつ、時間領域、サブバンド領域、またはいくつかの他の基盤において測定することができる、オーディオ信号の部分として定義される。２つの主なファクタが、音響心理学的な測定に影響を与える。一方は、人間に適用可能な聴覚の、周波数依存の絶対スレッショルドである。他方は、１つのサウンドと同時にプレイされた第２のサウンド、又は第１のサウンドの後の第２のサウンドを聞くための人間の能力に対しての、第１のサウンドが持つマスキング効果である。即ち、同じサブバンドまたは近傍のサブバンド内にある第１のサウンドは、我々が第２のサウンドを聞くことを妨げ、それをマスク・アウトすると言う。
【００５０】
サブバンド・コーダでは、音響心理学的計算の最終結果は、そのインスタンスでの各サブバンドの可聴でないレベルの雑音を特定する数のセットである。この計算は、よく知られており、ＭＰＥＧ１圧縮規格、ＩＳＯ／ＩＥＣ ＤＩＳ１１１７２「Ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ−Ｃｏｄｉｎｇ ｏｆ ｍｏｖｉｎｇ ｐｉｃｔｕｒｅｓ ａｎｄ ａｓｓｏｃｉａｔｅｄ ａｕｄｉｏ ｆｏｒ ｄｉｇｉｔａｌ ｓｔｏｒａｇｅ ｍｅｄｉａ ｕｐ ｔｏ ａｂｏｕｔ １．５ Ｍｂｉｔｓ／ｓ（情報技術−約１．５Ｍビット／ｓまでのデジタル記録媒体のための動画および関連のオーディオのコード化）」、１９９２、に入れられている。これらの数は、オーディオ信号と共に動的に変化する。コーダは、これらのサブバンドにおける量子化雑音が可聴なレベル未満であるように、ビット割付けプロセスによって、サブバンドの量子化雑音フロアを調節することを試みる。
【００５１】
ＤＴＳ対話型は、現在、サブバンド間の依存を不能にすることによって、通常の音響心理学的マスキング・オペレーションを簡単にする。最終分析では、スケール・ファクタからサブバンド内のマスキング効果を計算することにより、各サブバンドの可聴な成分を識別する。これは、サブバンドごとに同じである可能性も異なる可能性もある。完全な音響心理学的分析は、或るサブバンドではより多くの成分を提供し、他のサブバンド、最も高い可能性としては上部サブバンド、を完全に破棄する可能性がある。
【００５２】
図９に示したように、音響心理学的なマスキングの機能は、オブジェクト・リストを検査し、供給された成分ストリームの各サブバンドに対しての最大の変更されたスケール値を抽出する（ステップ１３０）。この情報は、オブジェクト・リストに存在する最も音の大きい信号に対する基準として、マスキング機能へ入力される。また、最大スケール・ファクタは、混合された結果をＤＴＳ圧縮オーディオ・フォーマットにエンコードするための基礎として、量子化器へ送られる。
【００５３】
ＤＴＳ領域のフィルタリングには、時間領域信号は利用できず、従って、マスキングのスレッショルドは、ＤＴＳ信号のサブバンドのサンプルから推定される。マスキング・スレッショルドは、最大スケール・ファクタと人間の聴覚応答とから、各サブバンドに対して計算される（ステップ１３２）。各サブバンドのスケール・ファクタは、そのバンドのマスキング・スレッショルドと比較され（ステップ１３６）、そのバンドに対して設定されたマスキング・スレッショルド未満であることがわかった場合、そのサブバンドは可聴ではないと見なされ、混合プロセスから除去される（ステップ１３８）。そうでない場合、サブバンドは、可聴であると見なされ、混合プロセスのために維持される（ステップ１４０）。現在のプロセスは、同じサブバンドのマスキング効果のみを考慮し、近傍のサブバンドの効果は無視する。これにより、性能はいくらか落ちるが、このプロセスは簡単であり、従って、対話型リアルタイム環境において要求されるより遙かに高速である。
【００５４】
ビット操作
上述のように、ＤＴＳ対話型は、オーディオ信号を混合およびレンダリングするために必要な計算の数を減らすように設計される。アンパックおよび再パックしなければならないデータの量を最小限に抑えるように最大の努力が払われるが、その理由は、これらおよび圧縮解除／再圧縮のオペレーションは計算的に集中するからである。それでも、可聴なサブバンド・データは、アンパック、圧縮解除、混合、圧縮、および再パックをしなければならない。従って、ＤＴＳ対話型はまた、図１０ａ〜１０ｃに示したようにデータをアンパックおよびパックし、図１１に示したようにサブバンド・データを混合する計算の数を減らすために、データを操作する異なる手法を提供する。
【００５５】
通常、デジタル・サラウンド・システムは、圧縮を最適化するために、可変長のビット・フィールドを使用してビット・ストリームをエンコードする。アンパック・プロセスの重要な要素は、可変長ビット・フィールドの符号付き抽出である。アンパックの手続きは、このルーチンを実行する頻度に起因して集中的である。例えば、Ｎビットのフィールドを抽出するために、まず３２ビット（ＤＷＯＲＤ）のデータを左にシフトして、符号ビットを最も左のビット・フィールドに配置する。次に、符号エクステンションを導入するために、この値を２の累乗によって除算するか、または、（３２−Ｎ）ビットの位置だけ右にシフトする。多数のシフト・オペレーションは、有限の時間で実行されるが、残念ながら、現代のペンティアム（Ｒ）・プロセッサでは、他の命令と並行して実行することやパイプライン化することはできない。
【００５６】
ＤＴＳ対話型は、スケール・ファクタがビット幅サイズに関関連していることを利用し、これにより、最終的右シフト・オペレーションを、以下の場合、即ち、ａ）スケール・ファクタが、その場所において、しかるべく扱われ、ｂ）サブバンド・データを表すビットの数が十分であるので、（３２−Ｎ）の最右ビットによって表された「ノイズ」が、再構築された信号のノイズ・フロアより低い場合において、無視する可能性を提供するということを実現する。Ｎはわずか数ビットとすることが可能であるが、これは、通常、ノイズ・フロアがより高い上部サブバンドでのみ生じる。非常に高い圧縮率を適用するＶＬＣシステムでは、ノイズ・フロアを超えるであろう。
【００５７】
図１０ａに示したように、通常のフレームは、サブバンド・データ１４０のセクションを含み、このセクションは、個々のＮビット・サブバンド・データ１４２を含み、ここにおいてＮは、サブバンドにわたって変化することが許容されるが、サンプルにわたって変化することは許容されない。図１０ｂに示したように、オーディオ・レンダラは、サブバンド・データのセクションを抽出して、それをローカル・メモリに記憶するが、それは、通常は第１ビットが符号ビット１４６であり、次の３１のビットがデータ・ビットである３２ビットのワード１４４として記憶する。
【００５８】
図１０ｃに示したように、オーディオ・レンダラは、サブバンド・データ１４２を左にシフトしており、従って、その符号ビットは、符号ビットン１４６と位置合わせされている。すべてのデータがＶＬＣではなくＦＬＣとして記憶されるので、これは、自明なオペレーションである。オーディオ・レンダラは、データを右にシフトすることはない。代わりに、スケール・ファクタは、２によってそれらを除算することによって事前スケール化され、（３２−Ｎ）の累乗へと上げられ、記憶され、そして、３２−Ｎの最右ビット１４８は、可聴でない雑音（ノイズ）として取り扱われる。即ち、スケール・ファクタの１ビットの右シフトとサブバンド・データの１ビットの左シフトとを組み合わせても、その産物の値を変化させない。また、同じ技術をデコーダによって使用することができる。
【００５９】
すべての混合産物の合計と量子化の後には、オーバーフローする値を識別することは簡単なことであるが、その理由は、記憶の限界が固定されるからである。これにより、サブバンド・データが左シフト・オペレーションによって取り扱われていないシステムと比較して、非常に優れた検出速度が提供される。
【００６０】
データが再パックされるとき、レンダリングされたオーディオは、各３２ビットのワードから最左のＮビットをつかみとり、それにより、３２−Ｎの左シフト・オペレーションを回避する。（３２−Ｎ）の右および左のシフト・オペレーションを回避することは、それほど重要でないように見えるかも知れないが、アンパックおよびパックのルーチンを実行する頻度は非常に高いので、計算は著しく減ることになる。
【００６１】
サブバンド・データの混合
図１１に示したように、混合のプロセスが開始され、可聴なサブバンド・データは、位置、等化、位相のローカリゼーションなどに対して調整された、対応するスケール・ファクタによって乗算され（ステップ１５０）、和は、パイプラインの他の適格のアイテムの対応するサブバンド産物に付加される（ステップ１５２）。所与のサブバンドにおける各成分のビットの数は同じなので、ステップ・サイズ・ファクタを無視することができ、従って、計算を減らすことができる。最大のスケール・ファクタのインデックスを探索し（ステップ１５４）、その逆数を、混合の結果と乗算する（ステップ１５６）。
【００６２】
混合の結果が、１つのＤＷＯＲＤに記憶されている値を超えるとき、オーバーフローが生じ得る（ステップ１５８）。浮動小数点のワードを整数として記憶する試行により例外が創出され、この例外は、すべての影響を受けるサブバンドに適用されるスケール・ファクタを修正するためにトラップおよび使用されるものである。例外が生じる場合、最大のスケール・ファクタは増分され（ステップ１６０）、サブバンド・データは再計算される（ステップ１５６）。最大スケール・ファクタは開始点として使用されるが、その理由は、伝統的すぎるぐらいの方が良いからであり、また、信号のダイナミック・レンジを低減するよりはスケール・ファクタを増分する方が良いからである。混合プロセス後、データは、再圧縮およびパックのために、スケール・ファクタのデータを変更することによって左シフトされた形態で記憶される。
【００６３】
本発明の幾つかの例示的な実施形態について、図示および記述してきたが、当業者なら、多くの変更形態および代替形態を思いつくであろう。例えば、２つの５．１チャネル信号を混合し、および共にインタリーブして、高さの次元を追加した真の３Ｄ没入型のための１０．２チャネル信号を生成することができる。更に、一度に１つのフレームを処理する代わりに、処理を組み合わせることによって、オーディオ・レンダラは、フレームのサイズを２分の１に小さくし、２つのフレームを一度に処理することができる。これにより、待ち時間は２分の１になるが、ヘッダ情報を２回反復するたびに、いくつかのビットを浪費するという犠牲を伴う。しかし、専用のシステムでは、ヘッダ情報の多くは除くことができる。そのような変更形態および代替形態が考慮され、それらは、特許請求の範囲において定義されている本発明の精神および範囲から逸脱せずに実施することができる。
【図面の簡単な説明】
【図１】 図１ａから１ｃは、本発明による様々なゲーム構成のブロック図である。
【図２】 図２は、完全に対話型のサラウンド・サウンド環境のための、アプリケーションの層構造に関するブロック図である。
【図３】 図３−１および３−２（合わせて図３）は、図２に示したオーディオ・レンダリング層のフローチャートである。
【図４】 図４は、サラウンド・サウンド・デコーダへ送信するために、出力データ・フレームをアセンブルおよびキュー・アップするためのパック・プロセスのブロック図である。
【図５】 図５は、圧縮されたオーディオのルーピングを示すフロー・チャートである。
【図６】 図６は、データ・フレームの編成を示す図である。
【図７】 図７は、各フレームにおける量子化されたサブバンド・データ、スケール・ファクタ、およびビット割付けの編成を示す図である。
【図８】 図８は、サブバンド領域の混合プロセスのブロック図である。
【図９】 図９は、音響心理学的マスキング効果を示す図である。
【図１０】 図１０ａから１０ｃは、各フレームをパックおよびアンパックするためのビット抽出プロセスの図である。
【図１１】 図１１は、指定されたサブバンド・データの混合を示す図である。

Claims (31)

1. マルチチャネル対話型オーディオ・システムであって、
   複数のオーディオ成分を入力データ・フレーム（７２）のシーケンスとして記憶するためのメモリであって、前記入力データ・フレームのそれぞれが、圧縮およびパックされたサブバンド・データ（５５、１１６）およびそのスケール・ファクタ（１１４）を含む、メモリと、
   ユーザから入力を受け取るための人的入力装置（ＨＩＤ）（３６、３８）と、
   前記ユーザの入力に応答してオーディオ成分のリストを生成するアプリケーション・プログラミング・インタフェース（ＡＰＩ）（４２）と、
   オーディオ・レンダラ（４４）であって、前記リストに基づいて、
   各チャネルのオーディオ成分のサブバンド・データおよびスケール・ファクタをアンパックおよび圧縮解除し、
   サブバンド・データの混合のためにスケール・ファクタを計算し、
   各チャネルについて前記サブバンドの領域において、アンパックおよび圧縮解除された前記オーディオ成分のサブバンド・データを混合し、
   各チャネルについて混合された前記サブバンド・データおよびそのスケール・ファクタを圧縮し、
   前記チャネルの圧縮されたサブバンド・データおよびスケール・ファクタを出力フレーム内にパックおよび多重化し、
   前記出力フレームをデコーダへ送信するためにキュー内に配置する
   オーディオ・レンダラ（４４）と、
   を備えるマルチチャネル対話型オーディオ・システム。
2. 前記オーディオ・レンダラが、前記ユーザにとって可聴であると見なされる前記サブバンド・データのみを混合する、請求項１に記載のマルチチャネル対話型オーディオ・システム。
3. 前記オーディオ・レンダラが、リストされた前記オーディオ成分のスケール・ファクタを使用して、前記サブバンドにおけるマスキング効果を計算し、かつ、各サブバンドについて可聴でないオーディオ成分を破棄することによって、何れのサブバンドがユーザにとって可聴であるかを決定する、請求項２に記載のマルチチャネル対話型オーディオ・システム。
4. 前記オーディオ・レンダラが、まず、前記オーディオ成分のスケール・ファクタをアンパックおよび圧縮解除し（５６）、可聴なサブバンドを決定し、次いで、前記可聴なサブバンドのサブバンド・データのみをアンパックおよび圧縮解除する（６４）、請求項３に記載のマルチチャネル対話型オーディオ・システム。
5. 前記オーディオ・レンダラが、
   ａ．アンパックおよび圧縮解除された前記サブバンド・データを、左にシフトしたフォーマットで前記メモリへ記憶し（６４）、前記メモリへの記憶において、Ｎビットの前記サブバンド・データの符号ビットが、Ｍビットのフォーマットの符号ビットと位置合わせされ、Ｍ−Ｎの最右ビットが、ノイズ・フロアより低いノイズを表すものであり、
   ｂ．各サブバンドについて、可聴な前記サブバンド・データにそれぞれのスケール・ファクタを乗算し（６８）、それらを足し合わせて合計を出し、
   ｃ．各サブバンドについて、混合されたサブバンド・データを生成するために、可聴な前記サブバンド・データの最大スケール・ファクタの逆数を前記合計に乗算し、
   ｄ．前記混合されたサブバンド・データが前記フォーマットをオーバーフローする場合に、最大スケール・ファクタを次に大きい値に増分して、ステップｃを反復する、
   請求項４に記載のマルチチャネル対話型オーディオ・システム。
6. 前記入力データ・フレームが、フレームごとに固定されているヘッダ（１１０）およびビット割付けテーブル（１１２）を更に含み、前記スケール・ファクタおよびサブバンド・データのみが変化する、請求項１に記載のマルチチャネル対話型オーディオ・システム。
7. 圧縮された前記サブバンド・データが固定長のコードでコード化される、請求項６に記載のマルチチャネル対話型オーディオ・システム。
8. 前記オーディオ・レンダラが、Ｎがサブバンドにわたって変化するものであるＮビットの前記サブバンド・データの各々をアンパックするものであって、
   ａ．ＦＬＣと固定ビット割付けとを使用して、前記入力オーディオ・フレームにおける前記サブバンド・データの位置を計算し、前記サブバンド・データを抽出し、それを、最左ビットが符号ビットであるＭビットのワードとして前記メモリに記憶し、
   ｂ．前記サブバンド・データを、その符号ビットが前記Ｍビットのワードの符号ビットと位置合わせされるまで、左にシフトし、最右のＭ−Ｎビットが前記Ｍビットのワードにノイズとして残るものである、
   ようにアンパックするものである、
   請求項７に記載のマルチチャネル対話型オーディオ・システム。
9. 前記オーディオ・レンダラが、固定ヘッダとビット割付けテーブルとに対してハードコードされており、前記オーディオ・レンダラが、速さを増すために、前記スケール・ファクタおよび前記サブバンド・データのみを処理する、請求項８に記載のマルチチャネル対話型オーディオ・システム。
10. 前記オーディオ・レンダラが、前記オーディオ成分の等化を提供するアプリケーションとインタフェースし、前記オーディオ・レンダラが、それぞれの前記オーディオ成分を、そのスケール・ファクタを変更することによって等化する、請求項１に記載のマルチチャネル対話型オーディオ・システム。
11. 前記オーディオ・レンダラが、前記オーディオ成分の横向きローカリゼーションを提供するアプリケーションとインタフェースし、前記オーディオ・レンダラが、２００Ｈｚから１２００Ｈｚの範囲にわたる前記サブバンド・データに位相位置決めフィルタを適用することによって、前記オーディオ成分の横向きローカリゼーションを行う、請求項１に記載のマルチチャネル対話型オーディオ・システム。
12. 前記入力フレームおよび出力フレームが、ヘッダ（１１０）およびビット割付けテーブル（１１２）も含み、前記オーディオ・レンダラが、
    ａ．前記ヘッダと、前記ビット割付けテーブルと、可聴でない信号を表すスケール・ファクタおよびサブバンド・データとを含むヌル出力テンプレート（７４）をキューに配置し、
    ｂ．混合されたサブバンド・データとスケール・ファクタの次のフレームが準備されている場合には、混合された前記サブバンド・データおよびスケール・ファクタを以前の出力フレームに上書きして、その出力フレームを送信し、
    ｃ．前記次のフレームが準備されていない場合には、前記ヌル出力テンプレートを送信する
    ことによって、デコーダの同期を維持するために出力フレームの継ぎ目のない生成に対して備えるものである、
    請求項１に記載のマルチチャネル対話型オーディオ・システム。
13. 前記デコーダが、マルチチャネル・オーディオをデコードすることができるデジタル・サラウンド・サウンド・デコーダであり、前記オーディオ・レンダラが一連の前記出力フレームを送信し、該出力フレームは、前記マルチチャネル・オーディオと同じフォーマットでリアルタイム対話型マルチチャネル・オーディオを提供するものである、請求項１に記載のマルチチャネル対話型オーディオ・システム。
14. 単一バンド制限コネクタを更に備え、前記オーディオ・レンダラは、リアルタイムで、かつ前記ユーザの入力に応答して、前記出力フレームを統一され且つ圧縮されたビットストリームとして、前記単一バンド制限コネクタを通じて前記デジタル・サラウンド・サウンド・デコーダ（１２）へ送信し、該デジタル・サラウンド・サウンド・デコーダは、前記ビットストリームを、バンド幅が前記単一バンド制限コネクタのものを超える対話型マルチチャネル・オーディオへとデコードする、請求項１３に記載のマルチチャネル対話型オーディオ・システム。
15. 単一バンド制限コネクタを更に備え、前記オーディオ・レンダラは、リアルタイムで、かつ前記ユーザの入力に応答して、前記出力フレームを統一され且つ圧縮されたビットストリームとして、前記単一バンド制限コネクタを通じて前記デコーダへ送信し、該デコーダは、前記ビットストリームを、バンド幅が前記単一バンド制限コネクタのものを超えるマルチチャネル・オーディオへとデコードする、請求項１に記載のマルチチャネル対話型オーディオ・システム。
16. 前記オーディオ成分の１つまたは複数のものが、開始の入力フレームと、該開始のフレームとの継ぎ目のない連結を保証するためにサブバンド・データが前処理されている終了の入力フレームとを有するルーピングされたデータを備える、請求項１に記載のマルチチャネル対話型オーディオ・システム。
17. マルチチャネル対話型オーディオ・システムであって、
    複数のオーディオ成分を、固定長コード（ＦＬＣ）でコード化されるビットストリームの入力データ・フレームのシーケンスとして記憶するメモリであって、各前記入力データ・フレームが、ヘッダ（１１０）と、ビット割付けテーブル（１１２）と、圧縮およびパックされたサブバンド・データ（１１６）およびスケール・ファクタ（１１４）とを含み、前記ヘッダおよびビット割付けテーブルが、成分ごと、チャネルごと、およびフレームごとに固定される、メモリと、
    ユーザから入力を受け取るための人的入力装置（ＨＩＤ）（３６、３８）と、 前記ユーザの入力に応答して、オーディオ成分のリストを生成するアプリケーション・プログラミング・インタフェース（ＡＰＩ）（４２）と、
    固定された前記ヘッダおよびビット割付けテーブルに対してハードコードされるオーディオ・レンダラ（４４）であって、前記リストに基づいて、
    各チャネルに対して前記オーディオ成分のスケール・ファクタ（１１４）をアンパックおよび圧縮解除し、
    サブバンド・データの混合のためにスケール・ファクタを計算し、
    前記スケール・ファクタを使用して、可聴な前記サブバンド・データを決定し、
    前記可聴なサブバンド・データのみをアンパックおよび圧縮解除し、
    各チャネルについて前記サブバンド領域において、アンパックおよび圧縮解除された前記可聴なサブバンド・データを混合し、
    各チャネルについて前記混合されたサブバンド・データおよびそのスケール・ファクタを圧縮し、
    前記チャネルの圧縮されたサブバンド・データおよびスケール・ファクタを出力フレーム内にパックおよび多重化し、
    前記出力フレームを、デコーダへ送信するためにキューに配置する
    オーディオ・レンダラ（４４）と
    を備えるマルチチャネル対話型オーディオ・システム。
18. 前記オーディオ・レンダラが、Ｎがサブバンドにわたって変化するものであるＮビットの可聴の前記サブバンド・データの各々をアンパックするものであって、
    ａ．ＦＬＣと固定ビット割付けとを使用して、前記入力オーディオ・フレームにおける前記可聴のサブバンド・データの位置を計算し、前記可聴のサブバンド・データを抽出し、それを、最左ビットが符号ビットであるＭビットのワードとして前記メモリに記憶し、
    ｂ．前記可聴のサブバンド・データを、その符号ビットが前記Ｍビットのワードの符号ビットと位置合わせされるまで、左にシフトし、最右のＭ−Ｎビットが前記Ｍビットのワードにノイズとして残るものである、
    ようにアンパックするものである、
    請求項１７に記載のマルチチャネル対話型オーディオ・システム。
19. 前記デコーダが、マルチチャネル・オーディオをデコードすることができるデジタル・サラウンド・サウンド・デコーダ（１０、１２、１６）である、請求項１７に記載のマルチチャネル対話型オーディオ・システム。
20. 前記オーディオ・レンダラが、
    ａ．前記ヘッダ、前記ビット割付けテーブル、および可聴でない信号を表すサブバンドおよびスケール・ファクタを含むヌル出力テンプレートを、デコーダへ送信するためにキューに配置し、
    ｂ．混合されたサブバンド・データおよびスケール・ファクタの次のフレームが準備されている場合に、前記混合されたサブバンド・データおよびスケール・ファクタを以前の出力フレームに上書きし、その出力フレームを送信し、
    ｃ．前記次のフレームが準備されていない場合に、前記ヌル出力テンプレートを送信する
    ことによって出力フレームの継ぎ目のないシーケンスを生成する、
    請求項１７に記載のマルチチャネル対話型オーディオ・システム。
21. マルチチャネル対話型オーディオ・システムであって、
    複数のオーディオ成分を入力データ・フレーム（７２）のシーケンスとして記憶するメモリであって、それぞれの前記入力データ・フレームが、ヘッダ（１１０）、ビット割付けテーブル（１１２）、および圧縮およびパックされたオーディオ・データ（１１６）を含む、メモリと、
    ユーザから入力を受け取る人的入力装置（ＨＩＤ）（３６、３８）と、
    前記ユーザの入力に応答して、オーディオ成分のリストを生成するアプリケーション・プログラミング・インタフェース（ＡＰＩ）（４２）と、
    出力フレームの継ぎ目のないシーケンスを生成するオーディオ・レンダラ（４４）であって、前記リストに基づいて、
    ａ．前記ヘッダ、前記ビット割付けテーブル、および可聴でない信号を表すサブバンド・データおよびスケール・ファクタ（１１４）を含むヌル出力テンプレート（７４）を、デコーダへ送信するためにキューに配置し、
    ｂ．各チャネルについて前記オーディオ成分のデータを同時にアンパックおよび圧縮解除し、各チャネルについて、アンパックおよび圧縮解除された前記オーディオ成分のデータを混合し、混合した前記データのスケール・ファクタを計算し、各チャネルについて前記混合したデータを圧縮し、前記チャネルの圧縮したデータをパックおよび多重化し、
    ｃ．前記混合したデータの次のフレームが準備されている場合に、前記混合したデータを以前の出力フレームに上書きし、その出力フレームを送信し、
    ｄ．前記次のフレームが準備されていない場合に、前記ヌル出力テンプレートを送信する
    ことによって継ぎ目のないシーケンスを生成するオーディオ・レンダラ（４４）と、
    を備えるマルチチャネル対話型オーディオ・システム。
22. 前記デコーダが、マルチチャネル・オーディオをデコードすることができるデジタル・サラウンド・サウンド・デコーダ（１０、１２、１６）である、請求項２１に記載のマルチチャネル対話型オーディオ・システム。
23. 前記オーディオ・データが、サブバンド・データおよびそのスケール・ファクタを備え、前記オーディオ・レンダラが、前記ユーザに対して可聴であると見なされる前記サブバンド・データのみを混合する、請求項２１に記載のマルチチャネル対話型オーディオ・システム。
24. 前記オーディオ・レンダラが、リストされた前記オーディオ成分のスケール・ファクタを使用することによって、サブバンドにおけるマスキング効果を計算し、サブバンドの可聴でないオーディオ成分を破棄することによって、何れのサブバンドが前記ユーザにとって可聴であるかを決定する、請求項２３に記載のマルチチャネル対話型オーディオ・システム。
25. 前記オーディオ・レンダラが、まず、前記オーディオ成分のスケール・ファクタをアンパックおよび圧縮解除し、前記可聴なサブバンドを決定し、次いで、前記可聴なサブバンドの前記サブバンド・データのみをアンパックおよび圧縮解除する、請求項２４に記載のマルチチャネル対話型オーディオ・システム。
26. マルチチャネル対話型オーディオ・システムであって、
    複数のオーディオ成分を入力データ・フレーム（７２）のシーケンスとして記憶するためのメモリであって、それぞれの前記入力データ・フレームは、ヘッダ（１１０）、ビット割付けテーブル（１１２）、圧縮およびパックされたサブバンド・データ（１１６）およびスケール・ファクタ（１１４）を含むものである、メモリと、
    ユーザから入力を受け取る人的入力装置（ＨＩＤ）（３６、３８）と、
    前記ユーザの入力に応答して、オーディオ成分のリストを生成し、前記リスト上の各オーディオ成分をデジタル・サラウンド・サウンド環境の各チャネルにマッピングするマッピング係数を計算するアプリケーション・プログラミング・インタフェース（ＡＰＩ）（４２）と、
    オーディオ・レンダラ（４４）であって、前記リストに基づいて、
    各チャネルに対する前記オーディオ成分のサブバンド・データおよびスケール・ファクタをアンパックおよび圧縮解除し、
    サブバンド・データの混合のためにスケール・ファクタを計算し、
    各チャネルに対して前記サブバンドの領域において、アンパックおよび圧縮解除された前記オーディオ成分のサブバンド・データを混合し、
    各チャネルに対して前記混合したサブバンド・データおよびそのスケール・ファクタを圧縮し、
    前記チャネルの圧縮したサブバンド・データおよびスケール・ファクタを出力フレームへとパックおよび多重化し、
    前記出力フレームをキュー内に配置する
    オーディオ・レンダラ（４４）と、
    マルチチャネル・オーディオを生成するために、既存の事前に記録したマルチチャネル・デジタル・オーディオと同じフォーマットを有する前記出力フレームをデコードするデジタル・サラウンド・サウンド・デコーダと
    を備えるマルチチャネル対話型オーディオ・システム。
27. マルチチャネル対話型オーディオ・システムであって、
    ユーザから入力を受け取る人的入力装置（ＨＩＤ）（３６、３８）と、
    コンソールであって、
    複数のオーディオ成分を入力データ・フレーム（７２）のシーケンスとして記憶するためのメモリであって、それぞれの前記入力データフレームが圧縮およびパックされたサブバンド・データ（１１６）およびそのスケール・ファクタ（１１４）を含むものである、メモリと、
    前記ユーザの入力に応答して、オーディオ成分のリストを生成するアプリケーション・プログラミング・インタフェース（ＡＰＩ）（４２）と、
    オーディオ・レンダラ（４４）と、
    を備えるコンソールと、
    前記オーディオ・レンダラが、前記リストに基づいて、
    各チャネルに対して前記オーディオ成分のサブバンド・データおよびスケール・ファクタをアンパックおよび圧縮解除し、
    サブバンド・データの混合のためにスケール・ファクタを計算し、
    各チャネルに対して前記サブバンドの領域において、アンパックおよび圧縮解除された前記オーディオ成分のサブバンド・データを混合し、
    各チャネルに対して前記混合したサブバンド・データおよびそのスケール・ファクタを圧縮し、
    前記チャネルの圧縮した前記サブバンド・データおよびスケール・ファクタを出力フレームへとパックおよび多重化し、
    前記出力フレームを、前記圧縮したオーディオ・データが継ぎ目のない統一されたビットストリームとして出力されるようにキュー内に配置する
    オーディオ・レンダラ（４４）であることと、
    前記ビットストリームをマルチチャネル・オーディオ信号にデコードするデジタル・デコーダ（１０、１２、１６）と、
    前記ビットストリームを前記デコーダへ送る単一バンド制限コネクタと
    を備えるマルチチャネル対話型オーディオ・システム。
28. マルチチャネル・オーディオをレンダリングする方法であって、
    ａ．複数のオーディオ成分を、圧縮およびパックされたサブバンド・データ（１１６）およびスケール・ファクタ（１１４）をそれぞれが含む入力データ・フレーム（７２）のシーケンスとして記憶し、
    ｂ．ユーザの入力に応答して、オーディオ成分のリストを生成し、
    前記リストに基づいて、
    ｃ．各チャネルに対して前記サブバンド・データおよびスケール・ファクタをアンパックおよび圧縮解除し、
    ｄ．サブバンド・データの混合のためにスケール・ファクタを計算し、
    ｅ．各チャネルに対して、アンパックおよび圧縮解除された前記サブバンド・データを混合し、
    ｆ．混合した前記サブバンド・データおよびそのスケール・ファクタを圧縮し、
    ｇ．前記チャネルの圧縮した前記サブバンド・データおよびスケール・ファクタを出力フレームへとパックおよび多重化し、
    ｈ．前記出力フレームをデコーダに送信するためにキューに配置する
    ステップを備える方法。
29. 前記サブバンド・データをアンパックおよび圧縮解除することが、
    前記スケール・ファクタのみをアンパックおよび圧縮解除し、
    何れのサブバンドが可聴であるかを決定するために前記スケール・ファクタを使用し、
    可聴な前記サブバンド・データのみをアンパックおよび圧縮解除する
    ステップを備える、
    請求項２８に記載の方法。
30. 位相位置決めフィルタを、約２００Ｈｚから約１２００Ｈｚの範囲にわたる前記サブバンド・データに適用することによって、前記オーディオ成分の横向きローカリゼーションを行うことを更に備える、請求項２９に記載の方法。
31. ａ．ヘッダ（１１０）、ビット割付けテーブル（１１２）、および可聴でない信号を表すサブバンド・データ（１１６）およびスケール・ファクタ（１１４）を含むヌル出力テンプレート（７４）をデコーダへ送信するためにキューに配置し、
    ｂ．混合したサブバンド・データおよびスケール・ファクタの次のフレームが準備されている場合には、前記混合したサブバンド・データおよびスケール・ファクタを以前の出力フレームに上書きし、その出力フレームを送信し、
    ｃ．前記次のフレームが準備されていない場合には、前記ヌル出力テンプレートを送信する
    ステップを更に備える請求項２８に記載の方法。

Images