JP5490118B2 - 空間オーディオストリームをマージするための装置 - Google Patents

Description

本発明は、オーディオ処理、特に空間オーディオ処理および複数の空間オーディオストリームをマージするための装置に関する。

ＤｉｒＡＣ（ＤｉｒＡＣ＝Ｄｉｒｅｃｔｉｏｎａｌ Ａｕｄｉｏ Ｃｏｄｉｎｇ：方向オーディオコーディング）（Ｖ．プルッキ（Ｖ．Ｐｕｌｋｋｉ）およびＣ．ファーラー（Ｃ．Ｆａｌｌｅｒ）著，「空間的な音再生およびステレオアップミキシングにおける方向オーディオコーディング（Ｄｉｒｅｃｔｉｏｎａｌ ａｕｄｉｏ ｃｏｄｉｎｇ ｉｎ ｓｐａｔｉａｌ ｓｏｕｎｄ ｒｅｐｒｏｄｕｃｔｉｏｎ ａｎｄ ｓｔｅｒｅｏ ｕｐｍｉｘｉｎｇ），ＡＥＳ第２８回国際会議，ピーティオ，スウェーデン，２００６年６月」およびＶ．プルッキ（Ｖ．Ｐｕｌｋｋｉ）著，「マルチチャンネルリスニングにおける自然のまたは修正された空間印象を再生するための方法（Ａ ｍｅｔｈｏｄ ｆｏｒ ｒｅｐｒｏｄｕｃｉｎｇ ｎａｔｕｒａｌ ｏｒ ｍｏｄｉｆｉｅｄ ｓｐａｔｉａｌ ｉｍｐｒｅｓｓｉｏｎ ｉｎ Ｍｕｌｔｉｃｈａｎｎｅｌ Ｌｉｓｔｅｎｉｎｇ）」，国際公開２００４／０７７８８４ Ａ１号公報），２００４年９月を参照）は、空間的な音の分析および再生の効果的なアプローチである。ＤｉｒＡＣは、空間的な音（すなわち、到来方向（ＤＯＡ＝Ｄｉｒｅｃｔｉｏｎ Ｏｆ Ａｒｒｉｖａｌ）および周波数サブバンドにおける音場の拡散）の認識に対して関連する特徴に基づいて、音場のパラメータの表現を使用する。実際は、ＤｉｒＡＣは、音場のＤＯＡが正確に再生される場合、両耳間時間差（ＩＴＤ＝Ｉｎｔｅｒａｕｒａｌ Ｔｉｍｅ Ｄｉｆｆｅｒｅｎｃｅｓ）および両耳間レベル差（ＩＬＤ＝Ｉｎｔｅｒａｕｒａｌ Ｌｅｖｅｌ Ｄｉｆｆｅｒｅｎｃｅｓ）が正確に知覚され、一方、拡散が正確に再生される場合、両耳間コヒーレンスが正確に知覚されると仮定する。

これらのパラメータ（すなわち、ＤＯＡおよび拡散）は、モノラルＤｉｒＡＣストリームと呼ばれるモノラル信号を伴うサイド情報を表す。ＤｉｒＡＣパラメータは、マイクロホン信号の時間−周波数表現から得られる。従って、パラメータは、時間および周波数に依存している。再生側において、この情報は、正確な空間レンダリングを許容する。所望のリスニング位置での空間的な音を再形成するために、複数のスピーカの設備が必要とされる。しかしながら、その配置は、任意である。実際は、ＤｉｒＡＣパラメータの関数として、スピーカのための信号が決定される。

それらは良く似た処理構造をしているが（ラルス ヴィレモエス（Ｌａｒｓ Ｖｉｌｌｅｍｏｅｓ）、ユールゲン ヘレ（Ｊｕｅｒｇｅｎ Ｈｅｒｒｅ）、イェルーン ブレーバールト（Ｊｅｒｏｅｎ Ｂｒｅｅｂａａｒｔ）、ゲラルド ホトー（Ｇｅｒａｒｄ Ｈｏｔｈｏ）、サッシャ ディスヒ（Ｓａｓｃｈａ Ｄｉｓｃｈ）、ハイコ プルンハーゲン（Ｈｅｉｋｏ Ｐｕｒｎｈａｇｅｎ）およびクリストファ クジュルリング（Ｋｒｉｓｔｏｆｅｒ Ｋｊｒｌｉｎｇｍ）著，「ＭＰＥＧサラウンド：空間オーディオコーディングのための次回のＩＳＯ標準（ＭＰＥＧ ｓｕｒｒｏｕｎｄ：Ｔｈｅ ｆｏｒｔｈｃｏｍｉｎｇ ＩＳＯ ｓｔａｎｄａｒｄ ｆｏｒ ｓｐａｔｉａｌ ａｕｄｉｏ ｃｏｄｉｎｇ）」，ＡＥＳ第２８回国際会議，ピーティオ，スウェーデン，２００６年６月を参照）、ＤｉｒＡＣとＭＰＥＧサラウンドのようなパラメータのマルチチャネルオーディオコーディングとの間には、根本的な相違点がある。ＭＰＥＧサラウンドが異なるスピーカチャンネルの時間−周波数分析に基づく一方、ＤｉｒＡＣは、あるポイントにおける音場を効果的に記載する同軸マイクのチャネルの入力として行う。このように、ＤｉｒＡＣは、空間オーディオに対する効率的な記録方法も表す。

空間オーディオを取り扱う他の従来のシステムは、現在のＩＳＯ／ＭＰＥＧにおける標準化に基づくＳＡＯＣ（ＳＡＯＣ＝Ｓｐａｔｉａｌ Ａｕｄｉｏ Ｏｂｊｅｃｔ Ｃｏｄｉｎｇ：空間オーディオオブジェクトコーディング）（ヨナス エングデガルド（Ｊｏｎａｓ Ｅｎｇｄｅｇａｒｄ）、バーバラ レッシュ（Ｂａｒｂａｒａ Ｒｅｓｃｈ）、コーネリア ファルチ（Ｃｏｒｎｅｌｉａ Ｆａｌｃｈ）、オリバー ヘルムート（Ｏｌｉｖｅｒ Ｈｅｌｌｍｕｔｈ）、ジョーハン ヒルペアト（Ｊｏｈａｎｎｅｓ Ｈｉｌｐｅｒｔ）、アンドレーアス ヘルツァー（Ａｎｄｒｅａｓ Ｈｏｅｌｚｅｒ）、レオニード テレンチエフ（Ｌｅｏｎｉｄ Ｔｅｒｅｎｅｔｉｅｖ）、イェルーン ブレーバールト（Ｊｅｒｏｅｎ Ｂｒｅｅｂａａｒｔ）、イェルーン コッペン（Ｊｅｒｏｅｎ Ｋｏｐｐｅｎｓ）、エリック シュイヤー（Ｅｒｉｋ Ｓｃｈｉｊｅｒ）およびウェルナー オーメン（Ｗｅｒｎｅｒ Ｏｏｍｅｎ）著，「空間オーディオオブジェクトコーディング（ＳＡＯＣ）オーディオコーディングに基づくパラメータオブジェクトにおける次回のＭＰＥＧ標準」，第１２４回ＡＥＳ大会，２００８年５月１７−２０日，アムステルダム，オランダ ２００８を参照）である。

それは、ＭＰＥＧサラウンドのレンダリングエンジンを基にして、オブジェクトとして異なる音源を取り扱う。このオーディオコーディングは、ビットレートに関して非常に高い効率を提供し、再生側での相互作用の前例のない自由を与える。このアプローチは、他の新規なアプリケーションと同様に、レガシーシステムにおいて、新しい説得力のある特徴および機能性を約束する。

国際公開２００４／０７７８８４ Ａ１号公報

Ｖ．プルッキ（Ｖ．Ｐｕｌｋｋｉ）及びＣ．ファーラー（Ｃ．Ｆａｌｌｅｒ）著，「空間的な音声再生における方向オーディオコーディングおよびステレオアップミキシング（Ｄｉｒｅｃｔｉｏｎａｌ ａｕｄｉｏ ｃｏｄｉｎｇ ｉｎ ｓｐａｔｉａｌ ｓｏｕｎｄ ｒｅｐｒｏｄｕｃｔｉｏｎ ａｎｄ ｓｔｅｒｅｏ ｕｐｍｉｘｉｎｇ），ＡＥＳ第２８回国際会議，ピーティオ，スウェーデン，２００６年６月 Ｖ．プルッキ（Ｖ．Ｐｕｌｋｋｉ）著，「マルチチャンネルリスニングにおける自然のまたは修正された空間印象を再生するための方法（Ａ ｍｅｔｈｏｄ ｆｏｒ ｒｅｐｒｏｄｕｃｉｎｇ ｎａｔｕｒａｌ ｏｒ ｍｏｄｉｆｉｅｄ ｓｐａｔｉａｌ ｉｍｐｒｅｓｓｉｏｎ ｉｎ Ｍｕｌｔｉｃｈａｎｎｅｌ Ｌｉｓｔｅｎｉｎｇ）」，国際公開２００４／０７７８８４ Ａ１号公報），２００４年９月 ラルス ヴィレモエス（Ｌａｒｓ Ｖｉｌｌｅｍｏｅｓ）、ユールゲン ヘレ（Ｊｕｅｒｇｅｎ Ｈｅｒｒｅ）、イェルーン ブレーバールト（Ｊｅｒｏｅｎ Ｂｒｅｅｂａａｒｔ）、ゲラルド ホトー（Ｇｅｒａｒｄ Ｈｏｔｈｏ）、サッシャ ディスヒ（Ｓａｓｃｈａ Ｄｉｓｃｈ）、ハイコ プルンハーゲン（Ｈｅｉｋｏ Ｐｕｒｎｈａｇｅｎ）及びクリストファ クジュルリング（Ｋｒｉｓｔｏｆｅｒ Ｋｊｒｌｉｎｇｍ）著，「ＭＰＥＧサラウンド：空間オーディオコーディングのための次回のＩＳＯ標準（ＭＰＥＧ ｓｕｒｒｏｕｎｄ：Ｔｈｅ ｆｏｒｔｈｃｏｍｉｎｇ ＩＳＯ ｓｔａｎｄａｒｄ ｆｏｒ ｓｐａｔｉａｌ ａｕｄｉｏ ｃｏｄｉｎｇ）」，ＡＥＳ第２８回国際会議，ピーティオ，スウェーデン，２００６年６月 ヨナス エングデガルド（Ｊｏｎａｓ Ｅｎｇｄｅｇａｒｄ）、バーバラ レッシュ（Ｂａｒｂａｒａ Ｒｅｓｃｈ）、コーネリア ファルチ（Ｃｏｒｎｅｌｉａ Ｆａｌｃｈ）、オリバー ヘルムート（Ｏｌｉｖｅｒ Ｈｅｌｌｍｕｔｈ）、ジョーハン ヒルペアト（Ｊｏｈａｎｎｅｓ Ｈｉｌｐｅｒｔ）、アンドレーアス ヘルツァー（Ａｎｄｒｅａｓ Ｈｏｅｌｚｅｒ）、レオニード テレンチエフ（Ｌｅｏｎｉｄ Ｔｅｒｅｎｅｔｉｅｖ）、イェルーン ブレーバールト（Ｊｅｒｏｅｎ Ｂｒｅｅｂａａｒｔ）、イェルーン コッペン（Ｊｅｒｏｅｎ Ｋｏｐｐｅｎｓ）、エリック シュイヤー（Ｅｒｉｋ Ｓｃｈｉｊｅｒ）及びウェルナー オーメン（Ｗｅｒｎｅｒ Ｏｏｍｅｎ）著，「空間オーディオオブジェクトコーディング（ＳＡＯＣ）オーディオコーディングに基づくパラメータオブジェクトにおける次回のＭＰＥＧサラウンド」，第１２４回ＡＥＳ大会 ２００８年５月１７−２０日

本発明の目的は、空間オーディオ信号をマージするための適格な概念を提供することである。

この目的は、請求項１または請求項１２に記載のマージするための装置および請求項１３または請求項１４に記載のマージするための方法により達成される。

マージすることは、マルチチャネルＤｉｒＡＣストリームの場合、すなわち、４つのＢ−フォーマットのオーディオチャネルが利用された場合において些細なことである点に留意されたい。実際は、異なるソースからの信号が、マージされたストリームのＢ−フォーマット信号を得るために直接的に合計されうる。しかしながら、これらのチャネルが直接的に利用できない場合、マージすることは問題を含む。

本発明は、空間オーディオ信号が、波表現（例えば、平面波表現）および拡散場表現の合計によって表現されうるという発見に基づく。前者に対しては、それは、方向を割り当てられうる。いくつかのオーディオストリームをマージしている場合、実施形態は、例えば、拡散および方向に関して、マージされたストリームのサイド情報を得ることを可能にする。実施形態は、入力されたオーディオストリームと同様に、波表現からこの情報を得ることができる。波のパートまたは表現および拡散のパートおよび表現によってモデル化されうる全てのいくつかのオーディオストリームをマージしている場合、波のパートまたは成分および拡散のパートまたは成分が別々にマージされうる。波のパートをマージすることは、マージされた波のパートを得る。そのために、マージされた方向は、波のパートの表現の方向に基づいて得られうる。さらに、拡散のパートも、別々にマージされることもでき、すべての拡散パラメータはマージされた拡散のパートから導出されうる。

実施形態は、モノラルＤｉｒＡＣストリームとして符号化される２以上の空間オーディオ信号をマージするための方法を提供することができる。結果として得るマージされた信号は、同様に、モノラルＤｉｒＡＣストリームとして表現されうる。実施形態において、単一のオーディオチャネルのみが、サイド情報と共に送信されることを必要とする場合、モノラルＤｉｒＡＣの符号化は、空間オーディオを記述する簡潔な方法である。

実施形態において、可能なシナリオは、２人以上の関係者を伴う通信会議アプリケーションである。例えば、ユーザＡは、２つの別々のモノラルＤｉｒＡＣストリームを生成するユーザＢおよびＣとコンタクトを取る。Ａの位置において、実施形態は、従来のＤｉｒＡＣ合成技術によって再生されうる単一のモノラルＤｉｒＡＣストリームにマージされうるユーザＢ及びＣのストリームを許容する。多点制御装置（ＭＣＵ＝Ｍｕｌｔｉｐｏｉｎｔ Ｃｏｎｔｒｏｌ Ｕｎｉｔ：多点制御装置）の存在がわかるネットワーク接続状態を利用している実施形態において、マージする操作は、ＭＣＵそれ自身によって実行される。その結果、ユーザＡは、Ｂ及びＣの両方からの音声を既に含んでいる単一のモノラルＤｉｒＡＣストリームを受信する。明らかに、マージされたＤｉｒＡＣストリームは、合成的に生成もされ、適切なサイド情報がモノラルオーディオ信号に追加されうることを意味する。今挙げられる実施例において、ユーザＡは、いかなるサイド情報なしにＢおよびＣから２つのオーディオストリームを受信する可能性がある。そして、特定の方向および拡散を各ストリームに割り当てることは可能であり、従って、サイド情報を追加することは、実施形態によってマージされうるＤｉｒＡＣストリームを構成するために必要である。

実施形態における他の可能なシナリオは、マルチプレーヤのオンラインゲームおよび仮想現実のアプリケーションにおいて発見することができる。これらの場合において、いくつかのストリームは、プレーヤまたは仮想オブジェクトのいずれか一方から生成される。各ストリームは、リスナーに関連して、特定の到来方向によって特徴づけられ、したがって、ＤｉｒＡＣストリームによって表現されうる。実施形態は、異なるストリームを、リスナーの位置において再生される単一のＤｉｒＡＣにマージするために使用されうる。

本発明の実施形態は、添付の図を使用して以下に詳述される。

図１ａは、マージする装置の実施形態を示す。 図１ｂは、平面波のためのガウス平面における圧力および粒子速度ベクトルの成分を示す。 図２は、ＤｉｒＡＣエンコーダの実施形態を示す。 図３は、オーディオストリームの理想的なマージを例示する。 図４は、一般的なＤｉｒＡＣマージングの処理ブロックの実施形態の入力および出力を示す。 図５は、実施形態のブロック図を示す。 図６は、マージするための方法の実施形態のフローチャートを示す。

図１ａは、マージされたオーディオストリームを得るために、第１の空間オーディオストリームを第２の空間オーディオストリームにマージするための装置１００の実施形態を例示する。図１ａにおいて例示される実施形態は、２つのオーディオストリームのマージを例示しているが、２つのオーディオストリームに限られず、同様の方法で、複数の空間オーディオストリームがマージされうる。例えば、第１の空間オーディオストリームおよび第２の空間オーディオストリームは、モノラルＤｉｒＡＣストリームに対応し、そして、マージされたオーディオストリームは、単一のモノラルＤｉｒＡＣのオーディオストリームに対応する。その後、詳述されるように、モノラルＤｉｒＡＣストリームは、例えば、全方向性マイクロホンおよびサイド情報によって得られる圧力信号を含みうる。後者は、音の拡散および到来方向の時間−周波数依存量を含みうる。

図１ａは、マージされたオーディオストリームを得るために、第１の空間オーディオストリームを第２の空間オーディオストリームにマージするための装置１００の実施形態を示し、第１の空間オーディオストリームに対する第１の波方向量および第１の波場量を含む第１の波表現を推定するため、および第２の空間オーディオストリームに対する第２の波方向量および第２の波場量を含む第２の波表現を推定するための推定器１２０を含み、ここで、第１の空間オーディオストリームは、第１のオーディオ表現および第１の到来方向を有し、第２の空間オーディオストリームは、第２のオーディオ表現および第２の到来方向を有する。実施形態において、第１および／または第２の波表現は、平面波表現に対応しうる。

図１ａにおいて示される実施形態において、装置１００は、マージされた場量（ｆｉｅｌｄ ｍｅａｓｕｒｅ）およびマージされた到来方向量を含むマージされた波表現を得るために、第１の波表現および第２の波表現を処理するため、およびマージされたオーディオ表現を得るために、第１のオーディオ表現および第２のオーディオ表現を処理するためのプロセッサ１３０をさらに含み、プロセッサ１３０は、マージされたオーディオ表現およびマージされた到来方向量を含むマージされたオーディオストリームを提供するために、さらに適応される。

推定器１２０は、第１の波場振幅に関して第１の波場量を推定するため、第２の波場振幅に関して第２の波場量を推定するため、および第１の波場量と第２の波場量との位相差を推定するために適応されうる。実施形態において、推定器は、第１の波場位相および第２の波場位相を推定するために適応されうる。実施形態において、推定器１２０は、第１と第２との波表現、第１と第２との波場量それぞれの位相シフトまたは位相差のみを推定することができる。そして、プロセッサ１３０は、マージされた波場振幅、マージされた波場位相およびマージされた到来方向量を含みうるマージされた波場量を含むマージされた波表現を得るために、第１の波表現および第２の波表現を処理するため、およびマージされたオーディオ表現を得るために、第１のオーディオ表現および第２のオーディオ表現を処理するために適宜に適応されうる。

実施形態において、プロセッサ１３０は、マージされた波場量、マージされた到来方向量およびマージされた拡散パラメータを含むマージされた波表現を得るために、第１の波表現および第２の波表現を処理するため、およびマージされたオーディオ表現、マージされた到来方向量およびマージされた拡散パラメータを含むマージされたオーディオストリームを提供するために、さらに適応されうる。

換言すれば、実施形態において、拡散パラメータは、マージされたオーディオストリームのための波表現に基づいて決定されうる。拡散パラメータは、例えば、特定の方向のまわりの角度分布として、オーディオストリームの空間的な拡散の量、すなわち、空間的な分布の量を定める。実施形態において、可能なシナリオは、２つのモノラルの合成信号をまさに、方向情報にマージすることである。

プロセッサ１３０は、マージされた波表現を得るために、第１の波表現および第２の波表現を処理するために適応されうる。ここで、マージされた拡散パラメータは、第１の波方向量および第２の波方向量に基づく。実施形態において、第１および第２の波表現は、到来方向の差を有し、そして、マージされた到来方向は、それらの間に位置されうる。この実施形態において、第１および第２の空間オーディオストリームは、少しも拡散パラメータを提供しえないが、マージされた拡散パラメータは、第１および第２の波表現から、すなわち、第１の波方向量に基づき、および第２の波方向に基づき決定されうる。例えば、２つの平面波が異なる方向から作用する場合、すなわち、第１の波方向量が、第２の波方向量と異なる場合、マージされたオーディオ表現は、第１の波方向量および第２の波方向量を明らかにするために、マージされた到来方向と決して消えないマージされた拡散パラメータとの結合を含みうる。換言すれば、第１および第２のオーディオストリームによって明らかにされる角度分布に基づくとき、２つの集束された空間オーディオストリームは、少しの拡散を有さずまたは提供しない一方、マージされたオーディオストリームは、決して消えない拡散を有する。

他の実施形態において、マージされたオーディオストリームを得るために、第１の空間オーディオストリームと第２の空間オーディオストリームとをマージするための装置１００は、第１の空間オーディオストリームのための第１の波方向量および第１の波場量を含む第１の波表現を推定するための推定器１２０を含みうる。ここで、第１の空間オーディオストリームは、第１のオーディオ表現、第１の到来方向および第１の拡散パラメータを有する。換言すれば、第１のオーディオ表現は、特定の空間の幅を伴うオーディオ信号、または特定の広がりへ拡散することに対応しうる。１つの実施形態において、これは、コンピュータゲームにおけるシナリオに対応しうる。第１のプレイヤが、シナリオに存在し、ここで、第１のオーディオ表現は、例えば、特定の広がりへ拡散音場を生成することによる列車の通過のような音源を表す。そのような実施形態において、列車自身によって引き起こされる音は、拡散し、そして、列車のホーンによって生成された音、すなわち、対応する周波数成分は、拡散ではなくてもよい。

推定器１２０は、さらに、第２の空間オーディオストリームのための第２の波方向量および第２の波場量を含む第２の波表現を推定するために適用されうる。ここで、第２の空間オーディオストリームは、第２のオーディオ表現、第２の到来方向および第２の拡散パラメータを有する。換言すれば、第２のオーディオ表現は、特定の空間の幅を伴うオーディオ信号、または特定の広がりへ拡散することに対応しうる。また、これは、コンピュータゲームにおけるシナリオに対応しうる。ここで、第２の音源は、例えば、他の鉄道路線による他の列車の通過の背景ノイズのような第２のオーディオストリームによって表される。コンピュータゲームにおける第１のプレイヤのために、両方の音源は、彼が列車の駅に位置する場合、拡散しうる。

実施形態において、プロセッサ１３０は、マージされた波場量およびマージされた到来方向量を含むマージされた波表現を得るために、第１の波表現および第２の波表現を処理するため、およびマージされたオーディオ表現を得るために、第１のオーディオ表現および第２のオーディオ表現を処理するため、並びにマージされたオーディオ表現およびマージされた到来方向量を含むマージされたオーディオストリームを提供するために適応されうる。換言すれば、プロセッサ１３０は、マージされた拡散パラメータを決定しなくてもよい。これは、上述したコンピュータゲームにおける第２のプレイヤによって経験される音場に対応しうる。第２のプレイヤは、列車の駅から離れてより遠くに位置されうるので、２つの音源は、第２のプレイヤによって拡散されるように経験されないが、より大きい距離のため、むしろ、集束された音源を表すことができる。

実施形態において、装置１００は、さらに、第１の空間オーディオストリームのための第１のオーディオ表現および第１の到来方向を決定するため、および第２の空間オーディオストリームのための第２のオーディオ表現および第２の到来方向を決定するための手段１１０を含む。実施形態において、決定するための手段１１０は、直接的なオーディオストリームが提供されうる。すなわち、決定することは、例えば、圧力信号およびＤＯＡに関してオーディオ表現を、そして、サイド情報に関して任意に拡散パラメータを読み込むことに言及する。

推定器１２０は、第１の拡散パラメータをさらに有する第１のオーディオストリームから第１の波表現を推定するため、および／または第２の拡散パラメータをさらに有する第２の空間オーディオストリームから第２の波表現を推定するために適応され、プロセッサ１３０は、マージされたオーディオストリームのためのマージされた拡散パラメータを得るために、マージされた波場量、第１および第２のオーディオ表現、および第１および第２の拡散パラメータを処理するために適応され、そして、プロセッサ１３０は、マージされた拡散パラメータを含むオーディオストリームを提供するために、さらに適応されうる。決定するための手段１１０は、第１の空間オーディオストリームのための第１の拡散パラメータおよび第２の空間オーディオストリームのための第２の拡散パラメータを決定するために適応されうる。

プロセッサ１３０は、すなわち、サンプルまたは値のセグメントに関して、空間オーディオストリーム、オーディオ表現、ＤＯＡおよび／または拡散パラメータのブロック単位を処理するために適応される。いくつかの実施形態において、セグメントは、空間オーディオストリームの特定の時間における特定の周波数帯の周波数表現に対応する所定の多数のサンプル数を含む。そのようなセグメントは、モノラル表現に対応し、ＤＯＡおよび拡散パラメータを関連付ける。

実施形態において、決定するための手段１１０は、時間−周波数に依存する方法において、第１および第２のオーディオ表現、第１および第２の到来方向、および第１および第２の拡散パラメータを決定するために適応され、および／またはプロセッサ１３０は、第１および第２の波表現、拡散パラメータ、および／またはＤＯＡを処理するため、および／または時間−周波数に依存する方法において、マージされたオーディオ表現、マージされた到来方向量、および／またはマージされた拡散パラメータを決定するために適応されうる。

実施形態において、第１のオーディオ表現は第１のモノラル表現に対応し、第２のオーディオ表現は第２のモノラル表現に対応し、マージされたオーディオ表現はマージされたモノラル表現に対応しうる。換言すれば、オーディオ表現は単一のオーディオチャネルに対応しうる。

実施形態において、決定するための手段１１０は、第１および第２のモノラル表現、第１および第２のＤＯＡ、および第１および第２の拡散パラメータを決定するために適応され、および／またはプロセッサは、第１および第２のモノラル表現、第１および第２のＤＯＡ、および第１および第２の拡散パラメータを処理するために適応され、そして、プロセッサ１３０は、時間−周波数に依存する方法において、マージされたモノラル表現、マージされたＤＯＡ量および／またはマージされた拡散パラメータを提供しうる。実施形態において、第１の空間オーディオストリームは、例えば、ＤｉｒＡＣ表現に関して、既に提供され、決定するための手段１１０は、第１および第２のオーディオストリームから、例えば、ＤｉｒＡＣのサイド情報から抽出されることによって、第１および第２のモノラル表現、第１および第２のＤＯＡ、および第１および第２の拡散パラメータをシンプルに決定するために適応されうる。

実施形態において、マージされた到来方向量と同様に第１および第２の波方向量は、例えば、ベクトル、角度、方向等のような、いかなる方向量にも対応し、例えば、強度ベクトル、粒子速度ベクトル等のような、オーディオ成分を表しているいかなる方向量からも導出しうる。マージされた波場量と同様に第１および第２の波場量は、実数値および複素数値であり、圧力信号、粒子速度振幅またはマグニチュード、音の大きさ等に対応するオーディオ成分を記述しているいかなる物理量にも対応しうる。さらに、量（ｍｅａｓｕｒｅ）は、時間および／または周波数領域において、考慮されうる。

実施形態は、入力されたストリームの波表現の波場量のための平面波表現の推定に基づいており、それは、図１ａにおける推定器１２０によって実行されうる。換言すれば、波場量は、平面波表現を使用してモデル化されうる。一般に、平面波、または一般的な波のいくつかに対応する包括的な（すなわち、完全な）記述が存在する。以下において、数学的な記述が、異なる成分のための拡散パラメータおよび到来方向または方向量を算出するために導かれる。少量の記述は、例えば、圧力、粒子速度等のような物理量に直接的に関係するのみであるが、場合によっては、波表現を記述するために無限の数の異なる方法が存在するかもしれない。しかしながら、本発明における実施形態にいかなる方法においても制限することを意味しない。

複数の音源が存在する場合でも、圧力および粒子速度は、個々の成分の合計として表現される。一般性の喪失なしに、２つの音源のケースが解明されうる。実際には、ソースのより多い数への拡張は、容易である。

波が同相であり、同一の方向へ進行する場合、それらは１つの波として明確に解釈されうる。

通常、平面波のエネルギー的な記述は、正確にマージすることを実行するのに十分でなくてもよい。マージすることは、直交する波を仮定することによって概算されうる。波（すなわち、波のすべての物理量は既知である）の包括的な記述は、マージするために十分である、一方、すべての実施形態において、必要というわけではない。正確なマージを実行する実施形態において、マージするために、各波の振幅、各波の伝播の方向および波の各組の相対的な位相差が考慮されうる。

実施形態において、モノラルＤｉｒＡＣオーディオストリーム以外のオーディオストリームがマージされうる。換言すれば、実施形態において、決定するための手段１１０は、いくつかの他のオーディオストリームを、例えばステレオまたはサラウンドオーディオデータのような第１および第２のオーディオストリームに変換するために適応されうる。実施形態は、モノラル以外のＤｉｒＡＣストリームをマージする場合に備えて、それらは、異なるケースと区別することができる。ＤｉｒＡＣストリームがオーディオ信号としてＢ−フォーマット信号を伝える場合、その後、粒子速度ベクトルは既知となり、そして、その後詳述されるように、マージすることは些細なこととなる。ＤｉｒＡＣストリームが、Ｂ−フォーマット信号、またはモノラル全方向信号以外のオーディオ信号を伝える場合、決定するための手段１１０は、最初に、２つのモノラルＤｉｒＡＣストリームに変換するために適応され、そして、実施形態は、それに応じて、変換されたストリームをマージすることができる。従って、実施形態において、第１および第２の空間オーディオストリームは、変換されたモノラルＤｉｒＡＣストリームを表すことができる。

実施形態は、全方向性受信パターンを概算するために利用可能なオーディオチャネルを結合することができる。例えば、ステレオＤｉｒＡＣストリームの場合において、これは、左チャネルＬおよび右チャネルＲを合計することによって達成されうる。

以下において、複数の音源によって生成される場における物理的過程が解明される。複数の音源が存在する場合、個々の成分の合計として、圧力および粒子速度を表現することが可能である。

図５は、推定器１２０およびプロセッサ１３０を破線において示す。図５において示される実施形態において、第１の空間オーディオストリームおよび第２の空間オーディオストリームは、潜在的な他のオーディオストリームと同様に、モノラルＤｉｒＡＣ表現において提供され、すなわち、モノラル表現、ＤＯＡおよび拡散パラメータが、ストリームからまさに分離されると仮定されたとき、決定するための手段１１０は存在しない。図５において示されるように、プロセッサ１３０は、推定に基づくマージされたＤＯＡを決定するために適応されうる。

図６は、２つ以上のＤｉｒＡＣストリームをマージするための方法の実施形態を例示する。実施形態は、マージされたオーディオストリームを得るために、第１の空間オーディオストリームを第２の空間オーディオストリームにマージするための方法を提供することができる。実施形態において、方法は、第１の空間オーディオストリームのための第１のオーディオ表現および第１のＤＯＡを決定するため、同様に第２の空間オーディオストリームのための第２のオーディオ表現および第２のＤＯＡを決定するためのステップを含むことができる。実施形態において、空間オーディオストリームのＤｉｒＡＣ表現は、利用可能であり、そして、決定するステップは、シンプルに、オーディオストリームから一致した表現を読み込む。図６において、２以上のＤｉｒＡＣストリームが、シンプルにステップ６１０に従ってオーディオストリームから得られうることが前提とされる。

実施形態において、方法は、第１のオーディオ表現、第１のＤＯＡおよび任意に第１の拡散パラメータに基づく第１の空間オーディオストリームのための第１の波方向量および第１の波場量を含んでいる第１の波表現を推定するステップを含むことができる。それに応じて、方法は、第２のオーディオ表現、第２のＤＯＡおよび任意に第２の拡散パラメータに基づく第２の空間オーディオストリームのための第２の波方向量および第２の波場量を含んでいる第２の波表現を推定するステップを含むことができる。

第１および第２の平面波表現を結合するステップは、ステップ６５０において実行される。ここで、すべてのストリームの圧力および粒子速度ベクトルが合計されうる。

図６のステップ６６０において、活動強度ベクトルを算出すること、およびＤＯＡを推定することがマージされた平面波表現に基づいて実行される。

実施形態は、マージされた拡散パラメータを得るために、マージされた場量、第１および第２のモノラル表現、および第１および第２の拡散パラメータを結合または処理するステップを含むことができる。図６において表される実施形態において、拡散を算出することは、例えば、式（２９）に基づいて、ステップ６７０において実行される。

実施形態は、空間オーディオストリームをマージすることが高品質および適度な複雑さによって実行されうるという利点を提供することができる。

本発明に係る方法の特定の実施要求に依存して、本発明に係る方法は、ハードウェアまたはソフトウェアにおいて実現される。実現は、電磁気的に読み込み可能な制御信号を有するデジタル記憶媒体、特に、フラッシュメモリ、ディスク、ＤＶＤ、ＣＤで成される。デジタル記憶媒体は、発明の方法が実行されるように、プログラム可能コンピュータシステムと協働する。したがって、一般に、本発明は、コンピュータプログラム製品がコンピュータまたはプロセッサ上で稼動するとき、発明の方法を実行するために操作するプログラムコードを、機械読取可能な担持体に保存されたプログラムコードを伴うコンピュータプログラムコードである。換言すれば、本発明の方法は、コンピュータプログラムがコンピュータ上で稼動するとき、発明の方法を少なくとも１つ実行するためのプログラムコードを有しているコンピュータプログラムである。

Claims (15)

1. 
2. 前記推定器（１２０）は、前記第１の波のマグニチュードに関して、前記第１の波場量を推定するため、および前記第２の波のマグニチュードに関して、前記第２の波場量を推定するため、並びに、前記第１の波場量と前記第２の波場量との間の位相差を推定するため、および／または第１および第２の波場位相を推定するために適応される、請求項１に記載の装置（１００）。
3. 前記第１の空間オーディオストリームのための前記第１のオーディオ表現、前記第１の波方向量および第１の拡散パラメータを決定するため、および前記第２の空間オーディオストリームのための前記第２のオーディオ表現、前記第２の波方向量、および第２の拡散パラメータを決定するための手段（１１０）を含む、請求項１または請求項２に記載の装置。
4. 前記プロセッサ（１３０）は、時間−周波数に依存する方法において、前記マージされたオーディオ表現、前記マージされた到来方向量、および前記マージされた拡散パラメータを決定するために適応される、請求項１ないし請求項３のいずれかに記載の装置。
5. 
6. 
7. 
8. 
9. 
10. 
11. 
12. 
13. 
14. 
15. コンピュータに、請求項１４に記載の方法を実行させるためのコンピュータプログラム。

Images