JP6442037B2 - 室内インパルス応答の少なくとも第１のペアに基づいて総ミキシング時間を推定する装置および方法、ならびに対応するコンピュータプログラム - Google Patents

Description

本発明は、室内インパルス応答の少なくとも第１のペアに基づいて総ミキシング時間を推定する装置および方法、ならびにコンピュータ上で走るときに本発明による方法を実行するプログラムコードを備える対応するコンピュータプログラムに関する。

マルチチャンネル音声コンテンツは現在、消費者電子機器においてますます一般的になっている。多くのマルチメディアおよび通信システムでは、没入型の音声が一般的な特徴となりつつある。しかし、没入型の音声は、たとえば２２．２レイアウトなど、多数のラウドスピーカを伴う再現レイアウトを必要とすることが多い。これは、２つのラウドスピーカまたはヘッドフォンのみで音声信号を出力し、これらの信号が左右の音声出力チャンネルから出力される、移動デバイス（スマートフォン、タブレットなど）、ならびに遠隔会議の適用、ホームシネマの適用、Ｈｉ−Ｆｉの適用などの製品にとって、大きな制約である。

「バーチャルサラウンド」とも呼ばれるバイノーラル化とは、ヘッドフォン、左／右ラウドスピーカ、または他のトランスオーラル装置（ラウドスピーカを介するバイノーラル方式）を使用するリスナに対するマルチチャンネル音声信号のバイノーラル方式の提示である。バイノーラル化を実施する１つの方法は、各ラウドスピーカおよび関係する供給信号を仮想ソースとしてレンダリングすることであり、すなわち供給信号をバイノーラル方式でフィルタリングして、ヘッドフォンを使用しても本物のラウドスピーカのような知覚を取得する。各ラウドスピーカおよび関係する供給信号をバイノーラル方式でレンダリングするために、信号は、所与の室内におけるラウドスピーカの位置に対応してバイノーラル室内インパルス応答，ＢＲＩＲ，でフィルタリングされ、ＢＲＩＲは、仮想リスナ位置で判定および測定される。

一般に、室内インパルス応答，ＲＩＲ，とは、点源の励振に対する室の応答を１点で測定したものである。典型的には、室内で室内インパルス応答を測定するために、室はラウドスピーカで励振され、異なる位置のマイクロフォンを使用して応答が測定される。図１に関連して説明するように、励振に対する応答がダミーヘッドの耳の中に取り付けられたマイクロフォンで測定された場合、それぞれの２つのチャンネル応答が、バイノーラル室内インパルス応答，ＢＲＩＲ，と呼ばれる。

ＢＲＩＲは、それぞれのラウドスピーカとリスナの２つの耳（左および右）との間の伝達関数を符号化する。

バイノーラルフィルタリング（ｂｉｎａｕｒａｌ ｆｉｌｔｅｒｉｎｇ）処理に対する例が、図１に表されており、ここで、Ｈ_i ^Xは、チャンネルｉ信号によってリスナのＸ耳へ供給されるラウドスピーカのインパルス応答を表す（Ｘは、左の場合はＬまたは右の場合はＲとすることができる）。大文字のＨは、インパルス応答の周波数領域を表し、小文字のｈは、インパルス応答の時間領域表現を表す。図１に概略的に示されるように、リスナ１００は、室内の仮想位置にいて、室内のそれぞれの異なる位置にある２つのラウドスピーカ１０５（スピーカ１）および１１０（スピーカ２）が音声波を放出し、これらの音声波が、ユーザ１００の左耳（Ｌ）および右耳（Ｒ）によって受け取られる。図１に示されるように、スピーカ１０５，１１０の各々に対して、インパルス応答Ｈのペアが存在する。

バイノーラル化に伴う信号処理は、特に高品質の適用に対して高い計算上の複雑さを招くことができる。複雑さは、バイノーラル室内インパルス応答，ＢＲＩＲ，によるマルチチャンネル入力信号のフィルタリングに関係する。特に、数万のサンプルを容易に超過する可能性のあるＢＲＩＲを使用すると、複雑さは極めて高くなる可能性がある。さらに、マルチチャンネルアーキテクチャは、たとえば２２．２スピーカレイアウトにおける２２個のチャンネルなど、多数のチャンネルからなることがある（２つの低音効果，ＬＦＥ，チャンネルに関して、これらはソースの局所化に寄与しないため、典型的には異なる処理が使用される）。

バイノーラル化の適用に対する計算上の複雑さを低減させるために、室内のインパルス応答は通常、図２に示される例示的なＲＩＲのリフレクトグラム図にも視覚化される２つの部分、すなわち直接経路および早期反射（Ｄ＆Ｅ）部分、ならびに残響テール（後期部分）に分割される。次いで、２つの部分に対して異なるバイノーラル化方策が使用される。

Ｄ＆Ｅ部分と後期部分との間の遷移点が、ミキシング時間と呼ばれる。ミキシング時間は、実際の時間値（たとえば、ナノ秒、ミリ秒、秒）、または時間点を表すサンプル値で表現することができる。概して、本発明者らは、ミキシング時間の両方の表現を包含するサンプル時間について述べる。早期反射は、個々の反射がもはや区別または知覚されることができなくなるまで密度が増大する離散反射のセットである。図３の例に示される室内インパルス応答振幅／時間図の例で理解されることができるように、Ｄ＆Ｅ部分内の直接的な音は、容易に識別されることができる単一の事象であるのに対して、室内のインパルス応答の早期反射および後期残響は、区別してラベル付けすることがより困難である。

ミキシング時間の推定および判定は、従来技術でかなりよく研究された話題であり、いくつかの解決策が提案されている。

手法の第１の群は、モデルベースの方法であり、体積または幾何形状など、室の特性についてのいくらかの予備知識が存在すると仮定する。ここで、ミキシング時間は、たとえば室内の反射の密度の閾値、または室内の平均自由経路の閾値に基づいて判定される。反射密度および平均自由経路は、いくらかの室内特性に数学的に関係付けられることが可能であり、したがってミキシング時間は、閉形式で計算されることが可能である。手法の第１の群に対する制限および問題は、室内特性の予備知識が必要なことである。典型的には、これらの手法の結果は、実際の室ではなく室のモデルだけに基づくため、それほど精密でない。結果の質は、モデルの質およびモデルに対する実際の室の適合性に強く依存する。

手法の第２の群は、単一の測定された室内インパルス応答を使用して、ミキシング時間を推定する。手法の第２の群は、信号ベースの方法に基づいており、閾値推定を使用して、たとえば（ガウス）確率性の閾値、メモリの閾値、反射検出可能性の閾値、位相ランダム性の閾値を設定する。次いで、ミキシング時間は、所与の測定基準が所与の閾値を下回るまたは上回る時間（またはサンプル）で固定される。しかし、これらの手法の評価は、ミキシング時間の明確な定義がないため問題となる。

意味のある基準を有するために、いくつかの従来技術の研究は、主観的なリスニング試験において知覚ミキシング時間を定義するために、ＲＩＲの知覚分析を実行する。そのような研究は典型的には、同じ室内の異なる位置で測定された複数のＲＩＲを利用する。いくつかの場合には、モデルベース、信号ベースの推定量および知覚推定は、回帰方法を使用して併合される。概して、統計的手法は、制限された一貫性を有し、ミキシング時間の非ロバストな推定を与える。統計的方法は、雑音のある検出曲線を提供する傾向があり、したがってそのような曲線上で閾値を適用すると誤りが起きやすく、曲線のわずかな変動が、ミキシング時間推定の大きな変動を招く。さらに、ＭＰＥＧバイノーラル化フレームワークには、直交ミラーフィルタ，ＱＭＦ，などの技法によって取得されるＲＩＲまたはＢＲＩＲのダウンサンプリングされたサブバンド領域表現が必要とされる。信号ベースのアルゴリズムは、そのような文脈ではこれまで評価されていない。しかし、フルバンドＲＩＲの制限されたロバスト性を考慮すると、ダウンサンプリングされたサブバンド領域において性能は十分でないと仮定することが妥当であり、より短い分析窓は、統計的な不正確さを招くことがあり（窓の長さ、典型的には１０２４個のサンプルが、複数のサブバンド、典型的には６４個に分割される）、フルバンドＲＩＲからダウンサンプリングされたサブバンドＲＩＲへ移る微細構造の変化は、推定の不正確さを招くことがある。

したがって、本発明の目的は、ロバストなミキシング時間推定を可能にする、室内インパルス応答の少なくとも第１のペアに基づいて総ミキシング時間を推定する概念を提供することである。

上記の目的は、添付される独立請求項に提供される解決策によって実現される。有利な実装形態は、それぞれの従属請求項に定義される。

本発明の第１の態様は、室内インパルス応答の少なくとも第１のペアに基づいて総ミキシング時間を推定する装置を提供する。装置は、室内インパルス応答の第１のペアの複数の異なるサンプル時間における室内インパルス応答の第１のペアの第１の室内インパルス応答と室内インパルス応答の第１のペアの第２の室内インパルス応答とのエネルギープロファイル間の差を判定し、室内インパルス応答の第１のペアの第１の室内インパルス応答と第２の室内インパルス応答とのエネルギープロファイル間の差が閾値と同等であるまたはそれより小さい室内インパルス応答の第１のペアに対するミキシング時間として複数のサンプル時間のサンプル時間を設定し、室内インパルス応答の第１のペアに対するミキシング時間に基づいて総ミキシング時間を判定するように構成された処理要素を備える。

本発明の第１の態様による装置は、本出願の導入部分に記載された概念と比較すると増大された精度およびロバスト性で総ミキシング時間を推定することを可能にする。

本発明の第１の態様による装置の第１の実装形態では、装置は、室内インパルス応答の複数のペアに基づいて総ミキシング時間を推定するように構成され、室内インパルス応答の第１のペアは、室内インパルス応答の複数のペア内に含まれ、処理要素は、インパルス応答の複数のペアのインパルス応答の各ペアに対して、室内インパルス応答のそれぞれのペアの複数の異なるサンプル時間における室内インパルス応答のそれぞれのペアの第１の室内インパルス応答と第２の室内インパルス応答とのエネルギープロファイル間の差を判定し、インパルス応答の複数のペアの室内インパルス応答の各ペアに対して、室内インパルス応答のそれぞれのペアの第１の室内インパルス応答と第２の室内インパルス応答とのエネルギープロファイル間の差が閾値と同等であるまたはそれより小さい室内インパルス応答のそれぞれのペアに対するミキシング時間として複数のサンプル時間のサンプル時間を設定し、複数の室内インパルス応答の各々のミキシング時間に基づいて総ミキシング時間を判定するようにさらに構成される。この実装形態は、マルチチャンネルシステムに対する安定したロバストな推定結果を提供する。ＲＩＲの１つのペアだけでなくＲＩＲの複数のペアに基づいて総ミキシング時間を導出する可能性を有することによって、ミキシング時間のさらによりロバストな検出が実現されることが可能である。

本発明の第１の態様の第１の実装形態による装置の第２の実装形態では、処理要素は、室内インパルス応答の複数のペアのミキシング時間にわたる平均化に基づいて総ミキシング時間を判定するようにさらに構成される。この解決策は、総ミキシング時間に対する改善されたより精密な結果を提供する。

本発明の第１の態様の第１の実装形態または第２の実装形態による装置の第３の実装形態では、処理要素は、少なくとも室内インパルス応答の複数のペアの一部分に対して、判定されたミキシング時間に重み付けし、重み付けされたミキシング時間に基づいて総ミキシング時間を判定するようにさらに構成される。この解決策は、ミキシング時間に重み付けすることによって、（たとえば、ＲＩＲのペアの特性を記録することに応じて）総ミキシング時間の推定に対するＲＩＲのペアの寄与が変動されることが可能であるため、より確実な推定結果を提供する。

本発明の第１の態様の第３の実装形態による装置の第４の実装形態では、処理要素は、室内インパルス応答のそれぞれのペアの第１の室内インパルス応答に関連付けられた第１のメタデータおよび室内インパルス応答のそれぞれのペアの第２の室内インパルス応答に関連付けられた第２のメタデータに基づいて、複数の室内インパルス応答の一部分の室内インパルス応答の各ペアのミキシング時間に重み付けするようにさらに構成され、第１のメタデータは、関連付けられた第１の室内インパルス応答を導出するために使用されるソースと受信器との間の相互関係を示し、第２のメタデータは、関連付けられた第２の室内インパルス応答を導出するために使用されるソースと受信器との間の相互関係を示す。この解決策は、関連付けられたソースと受信器との間の相互関係を考慮に入れることによって、室内インパルス応答の特定のペアがミキシング時間を判定するためにどれだけ確実であるかが導出されることが可能であるため、推定結果の強化された正確さを提供する。したがって、不確実であると考えられる室内インパルス応答のペアは、より低い重みを得ることが可能であり、確実であると考えられる室内インパルス応答のペアは、より高い重みを得ることが可能である。

本発明の第１の態様自体または第１の態様の前述の実装形態のいずれかによる装置の第５の実装形態では、処理要素は、後方積分エネルギー差減衰曲線を計算して、エネルギープロファイルの前記差を判定するようにさらに構成される。この解決策は、結果の追加の正確さおよび強化された信頼性を提供する。

本発明の第１の態様の第５の実装形態による装置の第６の実装形態では、処理要素は、平滑化されたエネルギー差を使用して、前記後方積分エネルギー差減衰曲線を計算し、または直接エネルギー差を使用して、前記後方積分エネルギー差減衰曲線を計算し、または振幅差を使用して、前記後方積分エネルギー差減衰曲線を計算し、またはレベル差を使用して、前記後方積分エネルギー差減衰曲線を計算するようにさらに構成される。これらの解決策は、有利な良質の推定結果を提供する。

本発明の第１の態様自体または第１の態様の前述の実装形態のいずれかによる装置の第７の実装形態では、処理要素は、第１のインパルス応答と第２のインパルス応答とのエネルギープロファイルの差を導出するように構成され、それにより差は、式

によって計算可能になり、ＤＥＤＣ［ｎ］は、サンプル時間ｎにおける第１のインパルス応答と第２のインパルス応答とのエネルギープロファイル間の差であり、

は、

の時間的に平滑化されたバージョンであり、｜・｜は、絶対値を指し、ｈ₁［ｋ］は、サンプル時間ｋにおける第１のインパルス応答の値であり、ｈ₂［ｋ］は、サンプル時間ｋにおける第２の室内インパルス応答の値であり、Ｐは、第１のペア室内インパルス応答の室内インパルス応答の長さである。この解決策は、結果の正確さに関して特に有利である。

本発明の第１の態様自体または第１の態様の前述の実装形態のいずれかによる装置の第８の実装形態では、処理要素は、第１の室内インパルス応答に関連付けられた第１のメタデータおよび第２の室内インパルス応答に関連付けられた第２のメタデータに基づいて、利用可能な室内インパルス応答のコーパスからインパルス応答の第１のペアを判定するように構成され、第１のメタデータは、第１の室内インパルス応答を導出するために使用されるソースと受信器との間の相互関係を示し、第２のメタデータは、第２の室内インパルス応答を導出するために使用されるソースと受信器との間の相互関係を示す。この解決策は、推定結果のさらに強化された品質を提供する。

本発明の第１の態様自体または第１の態様の前述の実装形態のいずれかによる装置の第９の実装形態では、処理要素は、室内インパルス応答の第１のペアの複数のサブバンド区画に対する複数の異なるサンプル時間における第１の室内インパルス応答と第２の室内インパルス応答とのエネルギープロファイル間の差を判定し、各サブバンド区画に対して別個に、それぞれのサブバンド区画に対する第１の室内インパルス応答と第２の室内インパルス応答とのエネルギープロファイルの差が閾値以下になる対応するサブバンド区画に対するミキシング時間として複数のサンプル時間のサンプル時間を設定し、複数のサブバンド区画に対するミキシング時間に基づいて総ミキシング時間を判定するようにさらに構成される。この解決策は、ＢＲＩＲのサブバンド表現が与えられる場合でもロバストかつ正確な推定を提供する。

本発明の第１の態様自体または第１の態様の前述の実装形態のいずれかによる装置の第１０の実装形態では、閾値は所定であり、または処理要素は、室内インパルス応答の第１のペアに関連付けられたメタデータに基づいて閾値を導出するように構成され、メタデータは、少なくとも室の特性を示し、室内インパルス応答の第１のペアがそれに基づいて導出される。

本発明の第２の態様は、本発明の第１の態様自体または第１の態様の前述の実装形態のいずれかに定義される室内インパルス応答の少なくとも第１のペアに基づいて総ミキシング時間を推定する装置を備える音声信号を復号する音声デコーダを提供する。

本発明の第３の態様は、室内インパルス応答の少なくとも第１のペアに基づいて総ミキシング時間を推定する方法を提供する。方法は、室内インパルス応答の第１のペアの複数の異なるサンプル時間における室内インパルス応答の第１のペアの第１の室内インパルス応答と室内インパルス応答の第１のペアの第２の室内インパルス応答とのエネルギープロファイル間の差を判定するステップと、室内インパルス応答の第１のペアの第１の室内インパルス応答と第２の室内インパルス応答とのエネルギープロファイルの差が閾値以下になる室内インパルス応答の第１のペアに対するミキシング時間として複数のサンプル時間のサンプル時間を設定するステップと、室内インパルス応答の第１のペアに対するミキシング時間に基づいて総ミキシング時間を判定するステップとを含む。

本発明の第３の態様による方法の第２の実装形態では、室内インパルス応答の第１のペアは、バイノーラルインパルス応答である（第１の室内インパルス応答（たとえば、右耳記録位置に対応する）および第２の室内インパルス応答（たとえば、左耳記録位置に対応する）を含む。

第３の態様自体または第１の実装形態による方法の第２の実装形態では、方法は、総ミキシング時間が室内インパルス応答の複数のペアに基づいて推定され、室内インパルス応答の第１のペアは、室内インパルス応答の複数のペア内に含まれる。方法は、インパルス応答の複数のペアのインパルス応答の各ペアに対して、室内インパルス応答のそれぞれのペアの複数の異なるサンプル時間における室内インパルス応答のそれぞれのペアの第１の室内インパルス応答と第２の室内インパルス応答とのエネルギープロファイル間の差を判定するステップと、インパルス応答の複数のペアのインパルス応答の各ペアに対して、室内インパルス応答のそれぞれのペアの第１の室内インパルス応答と第２の室内インパルス応答とのエネルギープロファイルの差が閾値以下になる室内インパルス応答のそれぞれのペアに対するミキシング時間として複数のサンプル時間のサンプル時間を設定するステップと、複数の室内インパルス応答の各々のミキシング時間に基づいて総ミキシング時間を判定するステップとを含む。

第２の実装形態による方法の第３の実装形態では、方法は、室内インパルス応答の複数のペアのミキシング時間にわたる平均化に基づいて総ミキシング時間を判定するステップをさらに含む。

第２または第３の実装形態による方法の第４の実装形態では、方法は、少なくとも室内インパルス応答の複数のペアの一部分に対して、判定されたミキシング時間に重み付けするステップと、重み付けされたミキシング時間に基づいて総ミキシング時間を判定するステップとをさらに含む。

第３の実装形態による方法の第５の実装形態では、方法は、室内インパルス応答のそれぞれのペアの第１の室内インパルス応答に関連付けられた第１のメタデータおよび室内インパルス応答のそれぞれのペアの第２の室内インパルス応答に関連付けられた第２のメタデータに基づいて、複数の室内インパルス応答の一部分の室内インパルス応答の各ペアのミキシング時間に重み付けするステップをさらに含み、第１のメタデータは、関連付けられた第１の室内インパルス応答を導出するために使用されるソースと受信器との間の相互関係を示し、第２のメタデータは、関連付けられた第２の室内インパルス応答を導出するために使用されるソースと受信器との間の相互関係を示す。

第３の態様自体または第３の態様の前述の実装形態のいずれかによる方法の第６の実装形態では、方法は、前記エネルギープロファイルとしてエネルギー減衰曲線、および後方積分エネルギー差減衰曲線を使用して、エネルギー減衰曲線の前記差を判定するステップをさらに含む。

第５の実装形態による方法の第７の実装形態では、方法は、平滑化されたエネルギー差を前記後方積分エネルギー差減衰曲線内で使用するステップ、または直接エネルギー差を前記後方積分エネルギー差減衰曲線内で使用するステップ、または振幅差を前記後方積分エネルギー差減衰曲線内で使用するステップ、またはレベル差を前記後方積分エネルギー差減衰曲線内で使用するステップをさらに含む。

第３の態様自体または第３の態様の前述の実装形態のいずれかによる方法の第８の実装形態では、方法は、第１のインパルス応答と第２のインパルス応答とのエネルギープロファイルの差を導出するステップをさらに含み、それにより差は、式

によって計算可能になり、ＤＥＤＣ［ｎ］は、サンプル時間ｎにおける第１のインパルス応答と第２のインパルス応答とのエネルギープロファイル間の差であり、

は、

の時間的に平滑化されたバージョンであり、｜・｜は、絶対値を指し、ｈ₁［ｋ］は、サンプル時間ｋにおける第１のインパルス応答の値であり、ｈ₂［ｋ］は、サンプル時間ｋにおける第２の室内インパルス応答の値であり、Ｐは、第１のペア室内インパルス応答の室内インパルス応答の長さである。

第３の態様自体または第３の態様の前述の実装形態のいずれかによる方法の第９の実装形態では、方法は、第１の室内インパルス応答に関連付けられた第１のメタデータおよび第２の室内インパルス応答に関連付けられた第２のメタデータに基づいて、利用可能な室内インパルス応答のコーパスからインパルス応答の第１のペアを判定するステップをさらに含み、第１のメタデータは、第１の室内インパルス応答を導出するために使用されるソースと受信器との間の相互関係を示し、第２のメタデータは、第２の室内インパルス応答を導出するために使用されるソースと受信器との間の相互関係を示す。

第３の態様自体または第３の態様の前述の実装形態のいずれかによる方法の第１０の実装形態では、方法は、室内インパルス応答の第１のペアの複数のサブバンド区画に対する複数の異なるサンプル時間における第１の室内インパルス応答と第２の室内インパルス応答とのエネルギープロファイル間の差を判定するステップと、各サブバンド区画に対して別個に、それぞれのサブバンド区画に対する第１の室内インパルス応答と第２の室内インパルス応答とのエネルギープロファイルの差が閾値以下になる対応するサブバンド区画に対するミキシング時間として複数のサンプル時間のサンプル時間を設定するステップと、複数のサブバンド区画に対するミキシング時間に基づいて総ミキシング時間を判定するステップとをさらに含む。

第３の態様自体または第３の態様の前述の実装形態の１つによる方法の第１１の実装形態では、閾値は所定であり、または方法は、室内インパルス応答の第１のペアに関連付けられたメタデータに基づいて閾値を導出するステップをさらに含み、メタデータは、少なくとも室の特性を示し、室内インパルス応答の第１のペアがそれに基づいて導出される。

本発明の第４の態様は、コンピュータ上で走るときに本発明の第３の態様自体または第３の態様の実装形態のいずれかによる方法を実行するプログラムコードを備えるコンピュータプログラムを提供する。

本発明の上記の第１の態様、第２の態様、第３の態様、および第４の態様は、前述の目的を有利に解決する。様々な前述の実装形態では、さらに有利であるが任意選択の実装形態が定義される。概して、本出願に記載される配置、デバイス、要素、ユニット、および手段などはすべて、ソフトウェアもしくはハードウェア要素またはそれらのあらゆる種類の組合せによって実施されることが可能であることに留意されたい。本出願に記載される様々な実体によって実行されるすべてのステップ、ならびに様々な実体によって実行されるように記載される機能は、それぞれの実体がそれぞれのステップおよび機能を実行するように適合または構成されることを意味することが意図される。特有の実施形態の以下の説明において、概略的な実体によって実行されるべき特有の機能またはステップが、その特有のステップまたは機能を実行するその実体の特有の詳細な要素の説明に反映されていない場合でも、これらの方法および機能は、それぞれのハードウェアもしくはソフトウェア要素またはそれらのあらゆる種類の組合せにおいて実施されることが可能であることが、当業者には明らかなはずである。さらに、本発明の方法およびその様々なステップは、様々な記載される装置要素の機能で実施される。

本発明の上記の態様および実装形態は、添付の図面に関連する特有の実施形態の以下の説明で説明される。

２つの仮想スピーカに対するバイノーラルフィルタリングの概略的な例を示す図である。 ミキシング時間を説明する室内インパルス応答の例を示す図である。 典型的な室内の室内インパルス応答の例を示す図である。 本発明の一実施形態による処理要素を有する装置を備える４チャンネル音声コンテンツを有するＭＰＥＧ−Ｈ ３Ｄ音声デコーダの概略的なブロック図である。 図４に示される音声デコーダのバイノーラルレンダラ（binaural renderer）および本発明の一実施形態による処理要素の概略的なブロック図である。 同じ室内の異なる位置で記録されたいくつかの室内インパルス応答に対する異なるエネルギー減衰曲線，ＥＤＣ，に対する例を示す図である。 室内の異なる位置で記録された２つの室内インパルス応答（ＲＩＲ）に対するエネルギー減衰曲線（ＥＤＣ）の図である。 図７ａに示される２つのＲＩＲに対する対応する差分エネルギー減衰曲線，ＤＥＤＣ，の図である。 本発明の一実施形態によるバイノーラルレンダラ内で実施されるバイノーラル室内インパルス応答（ＢＲＩＲ）に対するミキシング時間推定の概略的な流れ図である。 本発明の一実施形態によるレンダラ内で実施される複数のＲＩＲペアに対するミキシング時間推定のための方法の概略的な流れ図である。 本発明の実施形態を使用するミキシング時間の推定と従来のサブバンド処理手法とを比較する例示的な図である。 本発明の実施形態を使用するミキシング時間の推定と従来の手法とを比較する別の概略図である。

図４は、本発明の一実施形態による装置の実装例として、４チャンネル音声コンテンツの例に対するＭＰＥＧ−Ｈの３Ｄ音声デコーダ２００の概略的なブロック図を示し、そのような音声デコーダ内のバイノーラルレンダラ２０５の位置を視覚化する。後に説明される処理要素３０５を除いて、示されている音声デコーダ２００の様々な要素は、ＭＰＥＧ規格および特有の例ではＭＰＥＧ−Ｈ規格の音声デコーダの一般的な周知の要素に対応し、したがってそれぞれの規格文献が参照され、各要素の詳細な説明は省略される。

しかし、図４の現在の４チャンネルの例で理解することができるように、マルチチャンネル音声信号、たとえばｍｐ３またはｍｐ４は、音声デコーダ２００のデコーダ２１０に入力され、音声デコーダ２００は信号を復号してマルチチャンネル音声信号を取得し、いくつかのさらなる処理後に、信号は、ミキサ２１５内でそれぞれ必要とされまたは設計される数の出力音声チャンネルにミキシングされる。バイノーラルレンダラ２０５内では、この例の４つのチャンネルが、図１に関連して記載される伝達関数Ｈでそれぞれフィルタリングされ、バイノーラル信号ＬｓおよびＲｓを取得し、次いでバイノーラル信号ＬｓおよびＲｓは、ヘッドフォン２２０などへ入力される。本発明の実施形態は、４チャンネルの例に限定されるものではなく、任意の数のチャンネルに適用されることが可能であることに留意されたい。また、本発明の実施形態は、他の音声コード化およびバイノーラル音声レンダリング環境で実施されることが可能であるため、ＭＰＥＧの適用に限定されるものではない。

言い換えれば、本発明の実施形態は、この出願ではＭＰＥＧデコーダ２００の例を使用して記載されるが、本発明の最も簡単な実施形態は、以下に説明される処理要素３０５を備える装置によって形成されることが可能である。

システムの待ち時間を妥当な値に保ち、高品質の音声体験を与えるために、図４の例に示されるように、バイノーラルレンダラ２０５内の計算上の複雑さを低減させる技術が必要とされている。ＭＰＥＧでは、複雑さを低減させるいくつかの技法を使用する高品質であるが複雑さの低いバイノーラルレンダラが開発されてきた。可能な限り最も高い品質を維持しながら複雑さを低減させる１つの部分は、ＢＲＩＲを異なる部分に分離し、異なる部分の各々に対して異なるフィルタリング方策を適用することである。

次に図５は、図４に示される音声デコーダのバイノーラルレンダラ２０５ならびに本発明の一実施形態による処理要素３０５の要素の概略的なブロック図を示す。処理要素３０５は、たとえば、示されているＢＲＩＲパラメータ化要素３０５であり、バイノーラルレンダラ２０５に接続される。パラメータ化要素３０５内で、それぞれのＢＲＩＲは、直接および早期（Ｄ＆Ｅ）部分３１５と、後期残響部分３２０とに分離される。その後、これらの２つの部分の各々は、バイノーラルレンダラ２０５内で異なる方法でフィルタリングされる。典型的には、短いＤ＆Ｅ部分３１５は、良好な局所化性能を実現するために、最も高い品質でフィルタリングされる。しかし、室の残響を含むため非常に長くなる可能性のある後期残響部分３２０は、バイノーラルレンダラ２０５内でより低い分解能でフィルタリングされる。後期残響は、第１次近似で測定位置に依存しない室の特性であるのに対して、直接経路および早期反射を搬送するインパルス応答の早期部分は、リスナ１００およびスピーカ１０５，１１０の位置を具体的かつ個々に考慮してモデル化されなければならない（図１参照）。

ＢＲＩＲの早期部分３１５は、特定のスピーカおよび入力チャンネルを指し、これは、本物のような再現を提供するために、各入力チャンネルが、対応する早期ＢＲＩＲでフィルタされなければならないことを意味する。他方、後期部分３２０は、ラウドスピーカの特有の位置に依存するのではなく、それぞれの室内のすべての位置に対して本質的に同じである。したがって、それぞれのＢＲＩＲの後期部分３２０で各チャンネルをフィルタリングする必要はない。代わりに、同じ後期部分３２０で各チャンネルをフィルタリングすることが可能である。その結果、バイノーラルレンダラ２０５内で、すべてのチャンネルの合計が、同じ後期部分３２０で直接フィルタリングされる。他方、早期部分３１５は、各チャンネルに対して個々にフィルタリングされる。出力チャンネル（所与の例では２つの出力チャンネル、たとえば２２個のチャンネルである入力チャンネルのすべてとは限らない）上で後期部分３２０のみのフィルタリングを実行することにより、劇的に低減された複雑さをもたらす。さらに、低減されたフィルタリング動作（重畳）自体の最適化により、計算上の複雑さに関してさらに強化された性能をもたらす。

本発明の実施形態は概して、室内インパルス応答（ＲＩＲ）の少なくとも第１のペアに基づいて総ミキシング時間を推定するための装置および方法に関する。

そのような装置は、図４および図５に示されるように処理要素３０５を備える。したがって、図２に示される音声デコーダ２００は、本発明の一実施形態による装置を形成し、または少なくともそのような装置を備える。

本発明の一実施形態による装置、たとえば音声デコーダ２００は、以下でさらに詳細に説明されるように、様々な機能を実行するように構成された処理要素３０５を備える。この処理要素３０５は、たとえば、別個の処理要素として図５に示されるパラメータ化要素内で実施され、またはその一部である。概して、装置２００の処理要素３０５は、室内インパルス応答の第１のペアの複数の異なるサンプル時間における室内インパルス応答の第１のペアの第１の室内インパルス応答と室内インパルス応答の第１のペアの第２の室内インパルス応答とのエネルギープロファイル間の差を判定するように構成される。さらに、処理要素３０５は、室内インパルス応答の第１のペアの第１の室内インパルス応答と第２の室内インパルス応答とのエネルギープロファイル間の差が閾値と等しいまたはそれより小さい室内インパルス応答の第１のペアに対するミキシング時間として複数のサンプル時間のサンプル時間を設定し、室内インパルス応答の第１のペアに対するミキシング時間に基づいて総ミキシング時間を判定するように構成される。室内インパルス応答の第１のペアまたは後に記載される室内インパルス応答の複数のペアは、たとえば、音声デコーダ２００内のデータベース内または処理要素３０５のメモリ要素内に記憶される。本発明の一実施形態による処理要素３０５は次いで、以下で説明される様々な実施形態および実装の詳細によって総ミキシング時間を判定する。

ミキシング時間の概略的な概念では、室内のソースによって省略される音が、受信器（リスナ、マイクロフォンなど）に直接到達する。これは、直接経路と呼ばれる。直接経路音の後に、室の壁に対する低次反射に起因するいくつかの個別の早期反射が続く。次いで、反射の密度は、個々の反射が区別できなくなる（高い反射密度）ミキシング時間と呼ばれる時間まで増大する。これは、図２および図３に関連して上記ですでに説明されたが、本発明の実施形態および実装形態にも同様に当てはまる。エルゴード的室内では、エネルギーは空間および時間において累進的に均質に拡散され、これは、室内の任意の表面を通る均一のエネルギーの流れおよび室内のすべての位置における一定のエネルギー密度を意味する。その結果、エルゴード的室内に関して、ミキシング時間後、エネルギーの流れおよび密度は、室のあらゆる点で同様に減衰し、したがって室内の任意の位置で測定されるすべてのインパルス応答は、同じエネルギー減衰プロファイルを有する。言い換えれば、エルゴード的システムは、空間において平均化される挙動と同じ、時間において平均化される挙動を有する。事象の１つのシーケンスの時間平均は、集合の平均と同じである。現実世界の室内では、エルゴード性仮定は、典型的には当てはまらず、室内の吸収の不均一の分布、連結された室、非常に小さい室、壁との近接、および／または低周波モードの挙動によって制限されることがある。しかし、バイノーラル化の目標は、快適なリスニング経験を再現することであるため、バイノーラル化コンテンツ内で使用される一般的なＢＲＩＲは、音響的に最適のリスニング室を代表する。そのような室内では、前述の制限は、典型的には当てはまらない。本発明者らは、ミキシング時間の推定および実用的なバイノーラル化の適用に対して、エルゴード性が仮定されることが可能であることを見出した。その結果、ＲＩＲの後期残響部分３１５は室内の位置に依存しないと仮定されることが可能である。言い換えれば、エルゴード性仮定に基づいて、ミキシング時間後、エネルギープロファイルは同じ室内の任意の位置で測定されるすべてのＲＩＲに対して同じであるということが可能である。

上述されたように、他の特徴の中でも、総ミキシング時間を推定する本発明の実施形態は、室内インパルス応答のペアの複数の異なるサンプル時間における室内インパルス応答のペアの第１の室内インパルス応答と第２の室内インパルス応答とのエネルギープロファイル間の差の判定に基づく。これによって、本発明の実施形態は、有利にはかつ任意選択で、エネルギープロファイル間の差を判定するために後方積分エネルギー差減衰曲線を使用することを示唆する。そのような後方積分エネルギー減衰曲線は、シュレーダーエネルギー減衰曲線，ＥＤＣ，とも呼ばれ、いくつかの測定を平均化することと同等である。これらの曲線の主な利益は、それらが常に減少しており、たとえば任意の時刻におけるエネルギーを表す２乗インパルス応答より平滑であることである。その結果、後方積分エネルギー減衰曲線は、ロバストなエネルギー減衰プロファイル推定を提供する。

時係数ｎ∈｛１，．．．，Ｐ｝を有する長さＰのインパルス応答ｈを考えると、エネルギー減衰曲線ＥＤＣは、後方積分エネルギー

として定義される。この定義に従うと、ＥＤＣ［１］は、インパルス応答ｈの完全なエネルギーである。

図６は、同じ室内で記録されたインパルス応答のセットに対するそのようなＥＤＣのいくつかの異なる例を示す。Ｘ軸はサンプル内の時間を定義し、Ｙ軸はエネルギーを定義する。これらの曲線は、室内音響の重要な部分であり、たとえば残響時間は従来、たとえば−６０ｄＢのＥＤＣの閾値を使用して定義される。

上述したように、エルゴード的条件では、室内の異なる点で測定された２つ以上のＲＩＲに対応するＥＤＣは、早期部分で大部分が異なり、後期部分で非常に類似している。この影響は、図６で観察されることが可能であり、ＥＤＣは、早期部分で大きな変動を示し、後期部分で同じ値への変換を示す。本発明の実施形態は次に、有利な任意選択の実装形態において、次のように室内の異なる点で測定されたＲＩＲのエネルギー差の減衰プロファイルを捕捉するために差分エネルギー減衰曲線，ＤＥＤＣ，を使用することを示唆する。

長さＰの２つのＲＩＲ ｈ_1,ｈ₂を考えると、室内の異なる点で測定されるサンプルは、

として定義され、ここで、

は、

の時間的に平滑化されたバージョンであり、｜・｜は、絶対値を指す。

バイノーラル室内インパルス応答の場合は、ダミーヘッドの２つの耳の中の２つのマイクロフォンが同時に異なる位置（左耳、右耳）で２つのインパルス応答（ｈ_L，ｈ_R）を提供するため、特殊な場合として考慮されることが可能である。バイノーラルＤＥＤＣ（Ｂ−ＤＥＤＣ）は、

として定義される。これらの等式から理解されることができるように、ＤＥＤＣおよびＢ−ＤＥＤＣは、２つのＲＩＲのエネルギー差の減衰を捕捉する後方積分エネルギー差減衰曲線として理解されることが可能である。

エネルギー差を計算するいくつかの方策が可能である。

・直接エネルギー差

・平滑化されたエネルギー差

・振幅差｜ｈ₁［ｋ］｜−｜ｈ₂［ｋ］｜
・レベル差２０ｌｏｇ（｜ｈ₁［ｋ］｜）−２０ｌｏｇ（｜ｈ₂［ｋ］｜）
これによって、ミキシング時間の結果の計算上の労力および正確さの点から、平滑なエネルギー差の使用が有利になり得る。

図７ａは、同じ室内の異なる位置で測定されたＲＩＲの２つのＥＤＣを示す。Ｘ軸は時間を定義し、Ｙ軸はエネルギーを定義する。明らかに、エネルギー減衰の差は、大部分が早期部分内に位置する。したがって、図７ｂに示されるように、その結果得られるＤＥＤＣは、早期部分内で大きい値を呈し、ゼロの方へ迅速に収束する。Ｘ軸はサンプル内の時間を定義し、Ｙ軸はエネルギーを定義する。理論上、ＤＥＤＣは、ミキシング時間後にゼロになるはずである。しかし実際には、本発明の実施形態によって実行されるように、ＤＥＤＣの閾値を設定することで、妥当な計算上の労力および良好かつ確実な結果で推定されたミキシング時間を与える。本発明の実施形態は、ＤＥＤＣまたはＢＤＥＤＣが初めて閾値を下回る値ｎを検索することを示唆する。このときこの値ｎは、ミキシング時間を形成する。図７ａおよび図７ｂの例では、ミキシング時間は、サンプルまたはサンプル番号で表現されるが、時間単位、たとえばミリ秒の表現も可能である。概して、本発明者らは、両方の表現（時間単位およびサンプル番号）を包含するサンプル時間について述べる。

図８は、たとえば室内で測定されたＮ要素ＢＲＩＲコーパス、すなわちＮ個のＢＲＩＲのセットを考慮して、室のミキシング時間を推定するための方法の概略的な流れ図を示す。第１のステップ８１０で、Ｎ個のＢＲＩＲすべてに対して、２つの対応する応答、すなわち左および右チャンネルが時間的に位置合わせされ、その後、ステップ８２０で、各ペアに対してＢ−ＤＥＤＣが計算される。Ｂ−ＤＥＤＣからミキシング時間を導出するために、閾値が使用される。閾値は、事前設定（固定）されることが可能であり、または室のいくつかの特性、たとえばその残響時間ＲＴに応じて、適合され、可変のものとすることが可能であり、第２の選択肢では、その残響時間はたとえば、ステップ８８０で、ＢＲＩＲデータベース８７０内の室情報から導出されることも可能である。この例では、室情報は残響時間であるが、室の他の適したパラメータが使用されることも可能である。ステップ８３０で、Ｂ−ＤＥＤＣが閾値を下回るサンプルインデックスまたはサンプル時間は、評価されたＢＲＩＲに対するそれぞれのミキシング時間として判定される。たとえば、サンプルインデックス１におけるＢ−ＤＥＤＣからの閾値は、−１８ｄＢから−２３ｄＢ（包括的）とすることが可能である。この動作からＮ個のミキシング時間推定が得られる（各々に対してミキシング時間推定におけるＢＲＩＲが導出される）。次いで、ステップ８６０で、室の総ミキシング時間を取得するために、ステップ８５０で、Ｎ個のミキシング時間は平均化されて記憶される。任意選択で、ペアの各々に重みを与える追加の重み付けステップ８４０が実施されることが可能である。室内の特定の位置は、それらの確実性がより低いまたは高いことがあるため、より低いまたは高い重みを受け取ることが可能である。たとえば、ダミーヘッド（図１参照）の前面または背面の中心に位置するソースからのＢＲＩＲ測定は、確実な推定を提供しない。左耳および右耳におけるＢＲＩＲの２つの応答が、早期部分に対しても等しいまたは少なくとも非常に類似していると見なされる可能性があるため、推定は確実でない。Ｂ−ＤＥＤＣは理論的には、あらゆる時間値に対してもゼロに等しいはずである。したがって、ステップ８４０で、中心位置に対応するＢＲＩＲに対する重みは、ゼロに設定され得る。

図９は、たとえば本発明の一実施形態による室内で測定された２Ｎ要素ＲＩＲコーパスを考慮して、室のミキシング時間を推定する方法の流れ図を示す。第１のステップ９０５で、ＲＩＲデータベース９７０から２つのＲＩＲが選択され、次いでステップ９１０で、応答が時間的に位置合わせされ、その後、ステップ９２０で、各ペアに対してＤＥＤＣが計算される。ステップ９３０で、ＤＥＤＣからミキシング時間を導出するために、閾値が設定され、閾値は、固定されることが可能であり、または図８のステップ８３０に関連して記載された方法と同様に、室のいくつかの特性、たとえばその残響時間ＲＴに適合されることが可能である。サンプルインデックス１における（選択されたペアの）ＤＥＤＣからの閾値は、たとえば、−１８ｄＢから−２３ｄＢ（包括的）とすることが可能である。ステップ９３０で、ＤＥＤＣが閾値を下回るサンプルインデックスまたはサンプル時間が、それぞれのミキシング時間として判定される。ステップ９３０で、この動作からＮ個のミキシング時間推定をもたらし得る。次いで、ミキシング時間は、室に対する最終または総ミキシング時間を取得するために、平均化される。このステップに関して、任意選択で、ステップ９４０で、ペアに重みを与えることによって、重み付けされた平均が計算されることが可能である。たとえば、室内の特定の位置は、それらがより低いまたは高い確実性となることがあるため、より低いまたは高い重みを実現することが可能である。図８に関連するものに類似の問題は、２つの近接して測定されたＲＩＲ、または室の幾何形状に関して対称の位置で測定された２つのＲＩＲに対する重み付けに当てはまる。ステップ９０５でＲＩＲセクションを実行するＲＩＲペア選択モジュールは、考慮されるペアによって運ばれる有効な情報を考慮して、選択を最適化するスマート選択手順を含むことができる。例として、ＲＩＲのペアは、複数のＲＩＲがそれらのエネルギープロファイルに関して（おそらく）最も大きい差を有するＲＩＲのペアに組み合わせられるように選択されることが可能である。ＲＩＲペアのこの選択は、重み付けとも同様に、単一のＲＩＲのメタデータに基づくことが可能である。メタデータは、関連付けられた室内インパルス応答を導出するために使用されるソースと受信器との間の相互関係を示す。

図８および図９の流れ図に示され、それに関連して説明される様々なステップは、処理要素３０５内のそれぞれの機能実体または要素によって実施されることが可能であることに留意されなければならない。本発明の最も簡単な実施形態では、総ミキシング時間は、室内インパルス応答の第１のペアのみから導出される。この簡単な実施形態では、総ミキシング時間は、室内インパルス応答の第１のペアに対して推定されるミキシング時間に等しい。

本発明のさらなる実施形態によれば、ＤＥＤＣまたはＢ−ＤＥＤＣはまた、サブバンド表現から計算されることが可能である。これによって、処理要素３０５は、室内インパルス応答の第１のペアの複数のサブバンド区画に対する複数の異なるサンプル時間における第１の室内インパルス応答と第２の室内インパルス応答とのエネルギープロファイル間の差を判定するように構成される。さらに、処理要素３０５は、各サブバンド区画に対して別個に、それぞれのサブバンド区画に対する第１の室内インパルス応答と第２の室内インパルス応答とのエネルギープロファイル間の差が閾値と等しいまたはそれより小さい、対応するサブバンド区画に対するミキシング時間として複数のサンプル時間のサンプル時間を設定するように構成される。さらに、処理要素３０５は、複数のサブバンド区画に対するミキシング時間に基づいて総ミキシング時間を判定するように構成される。

この場合、インパルス応答のペアの室内インパルス応答ｈ₁，ｈ₂（ＢＲＩＲまたはステップ９０５で選択される）は、まず、たとえばフィルタバンクを使用して、Ｂ周波サブバンドｈ^b ₁，ｈ^b ₂，ｂ∈｛１，．．．，Ｂ｝に分割される。次いで、Ｂサブバンドミキシング時間推定を得る各サブバンドｈ^b ₁、ｈ^b ₂に対してミキシング時間推定が導出される。

これらのサブバンドミキシング時間推定に基づいて、総ミキシング時間が推定されることが可能である。

Ｘ軸がサブバンドインデックスを定義し、Ｙ軸がサンプル内の推定されたミキシング時間を定義する図１０から、本出願に記載される概念もロバストであり、ＭＰＥＧ−Ｈデコーダの直交ミラーフィルタ（ＱＭＦ）インターフェースによって提供されるものなど、サブバンドがダウンサンプリングされた応答に対処することが理解されることが可能であり、図１０は、通常考えられる４８個の第１のＱＭＦサブバンドがガウス推定量の結果と比較されて示される場合のサブバンドミキシング推定時間値を示す。

図１０は、推定測定基準ＤＥＤＣの単調な挙動による、記載される概念の増大されたロバスト性を示す。ガウス手法などの従来の統計的手法は、はるかに不安定である。特に前述のサブバンドがダウンサンプリングされた表現に関して、たとえば図１０に反映されるようにＱＭＦフィルタバンクによって、この増大されたロバスト性はかなり顕著である。

図１０では、円形のマーカ１００１は、２８個のＢＲＩＲにわたって平均化されたＢ−ＤＥＤＣから導出されるサブバンドＭＴ値に対応する。まっすぐな点線１００３は、Ｂ−ＤＥＤＣに対するサブバンド平均に対応する。星形のマーカ１００５は、従来のガウス手法を使用して導出されたサブバンドミキシング時間値を示す（まっすぐな破線１００７はそれらの平均）。理解されることができるように、Ｂ−ＤＥＤＣは、低周波に対するより長いミキシング時間および高周波に対する短いミキシング時間の物理的挙動をはるかによく反映する。

図１１は、ＭＰＥＧの文脈で使用される所与のＢＲＩＲに対するいくつかのミキシング時間推定を示す。Ｘ軸はサンプル内の時間を定義し、Ｙ軸は振幅を定義する。ＤＥＤＣによって提供される３８００個のサンプルのミキシング時間（約８０ミリ秒）が、目視検査によって取得され、概してこの室に受け入れられる。

図１１は、サブバンド，ＳＢ，の文脈でガウス推定を使用するミキシング時間推定に対応する第１の白色の矢印１１０１と、フルバンド，ＦＢ，の文脈でガウス推定を使用するミキシング時間推定に対応する第２の白色の矢印１１０３とを示す。サブバンドにおけるガウス推定に関して、明らかに、１つの主な反射は考慮されていない。さらに、ガウス結果は、フルバンド，ＦＢ，およびサブバンド，ＳＢ，の領域に対して一貫していない（２つの白色の矢印はかなり異なる）。

さらに、図１１は、サブバンド，ＳＢ，の文脈で本発明の実施形態（ＤＥＤＣに基づく）を使用するミキシング時間推定に対応する第１の黒色の矢印１１０５と、フルバンド，ＦＢ，の文脈で本発明の実施形態を使用するミキシング時間推定に対応する第２の黒色の矢印１１０７とを示す。本発明の実施形態によるＤＥＤＣから導出されるミキシング時間（黒色の矢印１１０５，１１０７）は、ＤＥＤＣの単調な挙動のため２つの文脈によりロバストでありかつ一貫しており、目視検査から導出されるように３８００個のサンプルのミキシング時間に対する予期値にはるかに近い。

本発明は、例ならびに実装形態として様々な実施形態とともに記載される。しかし、他の変形形態は、図面、開示、および独立請求項の研究から、クレームされる発明を実施する際に当業者によって理解および実施されることが可能である。特許請求の範囲ならびに説明では、「備える、含む（ｃｏｍｐｒｉｓｉｎｇ）」という単語は、他の要素またはステップを排除するものではなく、不定冠詞「ａ」または「ａｎ」は複数を排除するものではない。単一の要素または他のユニットは、特許請求の範囲に定義されるいくつかの実体または物品の機能を満たすことができる。相互に異なるクレームにおいて特定の方策が引用されることだけで、これらの方策の組合せが有利な実装において使用されることが可能でないことを示すものではない。

Claims (15)

1. 室内インパルス応答の少なくとも第１のペアに基づいて総ミキシング時間を推定するための装置であって、
   室内インパルス応答の前記第１のペアの複数の異なるサンプル時間における室内インパルス応答の前記第１のペアの第１の室内インパルス応答と室内インパルス応答の前記第１のペアの第２の室内インパルス応答とのエネルギープロファイル間の差を判定し、
   室内インパルス応答の前記第１のペアの前記第１の室内インパルス応答と前記第２の室内インパルス応答との前記エネルギープロファイル間の前記差が閾値と同等であるまたはそれよりも小さい室内インパルス応答の前記第１のペアに対するミキシング時間として前記複数のサンプル時間のうち、前記差が閾値と同等であるまたはそれよりも小さい室内インパルス応答の前記第１のペアに対応する各々のサンプル時間を設定し、
   室内インパルス応答の前記第１のペアに対する各々の前記ミキシング時間に基づいて前記総ミキシング時間を判定する
   ように構成された処理要素
   を備え、
   前記エネルギープロファイルは、前記ミキシング時間後において、同じ室内の複数の位置で測定された室内インパルス応答に対して同じになるように定義されることを特徴とする装置。
2. 前記装置は、室内インパルス応答の複数のペアに基づいて前記総ミキシング時間を推定するように構成され、室内インパルス応答の前記第１のペアは、室内インパルス応答の前記複数のペア内に含まれ、
   前記処理要素は、
   インパルス応答の複数のペアのインパルス応答の各ペアに対して、室内インパルス応答のそれぞれのペアの複数の異なるサンプル時間における室内インパルス応答の前記それぞれのペアの第１の室内インパルス応答と第２の室内インパルス応答とのエネルギープロファイル間の差を判定し、
   インパルス応答の前記複数のペアのインパルス応答の各ペアに対して、室内インパルス応答の前記それぞれのペアの前記第１の室内インパルス応答と前記第２の室内インパルス応答との前記エネルギープロファイル間の前記差が閾値と同等であるまたはそれより小さい室内インパルス応答の前記それぞれのペアに対するミキシング時間として前記複数のサンプル時間のうちの前記サンプル時間を設定し、
   前記複数の室内インパルス応答の各々の前記ミキシング時間に基づいて前記総ミキシング時間を判定するようにさらに構成されることを特徴とする請求項１に記載の装置。
3. 前記処理要素は、室内インパルス応答の前記複数のペアの前記ミキシング時間にわたる平均化に基づいて前記総ミキシング時間を判定するようにさらに構成されることを特徴とする請求項２に記載の装置。
4. 前記処理要素は、
   少なくとも室内インパルス応答の前記複数のペアの一部に対して、前記判定されたミキシング時間に重み付けし、
   前記重み付けされたミキシング時間に基づいて前記総ミキシング時間を判定するようにさらに構成されることを特徴とする請求項２または３に記載の装置。
5. 前記処理要素は、室内インパルス応答の前記それぞれのペアの前記第１の室内インパルス応答に関連付けられた第１のメタデータ、および室内インパルス応答の前記それぞれのペアの前記第２の室内インパルス応答に関連付けられた第２のメタデータに基づいて、前記複数の室内インパルス応答の前記一部の室内インパルス応答の各ペアの前記ミキシング時間に重み付けするようにさらに構成され、前記第１のメタデータは、前記関連付けられた第１の室内インパルス応答を導出するために使用されるソースと受信器との間の相互関係を示し、前記第２のメタデータは、前記関連付けられた第２の室内インパルス応答を導出するために使用されるソースと受信器との間の相互関係を示すことを特徴とする請求項４に記載の装置。
6. 前記処理要素は、後方積分エネルギー差減衰曲線を計算して、前記エネルギープロファイル間の前記差を判定するようにさらに構成される
   ことを特徴とする請求項１乃至５のいずれか一項に記載の装置。
7. 前記処理要素は、平滑化されたエネルギー差を使用して、前記後方積分エネルギー差減衰曲線を計算し、または直接エネルギー差を使用して、前記後方積分エネルギー差減衰曲線を計算し、または振幅差を使用して、前記後方積分エネルギー差減衰曲線を計算し、またはレベル差を使用して、前記後方積分エネルギー差減衰曲線を計算するようにさらに構成されることを特徴とする請求項６に記載の装置。
8. 前記処理要素は、前記第１のインパルス応答と前記第２のインパルス応答との前記エネルギープロファイル間の前記差を導出するように構成され、それにより前記差は、式
   

   

   によって計算可能になり、ＤＥＤＣ［ｎ］は、サンプル時間ｎにおける前記第１のインパルス応答と前記第２のインパルス応答との前記エネルギープロファイル間の前記差であり、
   

   

   は、
   

   

   の時間的に平滑化されたバージョンであり、｜・｜は、絶対値を指し、ｈ₁［ｋ］は、サンプル時間ｋにおける前記第１のインパルス応答の値であり、ｈ₂［ｋ］は、サンプル時間ｋにおける前記第２の室内インパルス応答の値であり、Ｐは、前記第１のペア室内インパルス応答の前記室内インパルス応答の長さであることを特徴とする請求項１乃至６のいずれか一項に記載の装置。
9. 前記処理要素は、前記第１の室内インパルス応答に関連付けられた第１のメタデータ、および前記第２の室内インパルス応答に関連付けられた第２のメタデータに基づいて、利用可能な室内インパルス応答のコーパスからインパルス応答の前記第１のペアを判定するように構成され、前記第１のメタデータは、前記第１の室内インパルス応答を導出するために使用されるソースと受信器との間の相互関係を示し、前記第２のメタデータは、前記第２の室内インパルス応答を導出するために使用されるソースと受信器との間の相互関係を示すことを特徴とする請求項１乃至８のいずれか一項に記載の装置。
10. 前記処理要素は、
    室内インパルス応答の前記第１のペアの複数のサブバンド区画に対する前記複数の異なるサンプル時間における前記第１の室内インパルス応答と前記第２の室内インパルス応答との前記エネルギープロファイル間の前記差を判定し、
    各サブバンド区画に対して別個に、それぞれのサブバンド区画に対する前記第１の室内インパルス応答と前記第２の室内インパルス応答との前記エネルギープロファイル間の前記差が閾値と同等であるまたはそれより小さい対応するサブバンド区画に対する前記ミキシング時間として前記複数のサンプル時間の前記サンプル時間を設定し、
    前記複数のサブバンド区画に対する前記ミキシング時間に基づいて前記総ミキシング時間を判定するようにさらに構成されることを特徴とする請求項１乃至９のいずれか一項に記載の装置。
11. 前記閾値はあらかじめ定められている、または
    前記処理要素は、室内インパルス応答の前記第１のペアに関連付けられたメタデータに基づいて前記閾値を導出するように構成され、前記メタデータは、少なくとも室の特性を示し、前記室内インパルス応答の第１のペアがそれに基づいて導出されることを特徴とする請求項１乃至１０のいずれか一項に記載の装置。
12. 請求項１乃至１１のいずれか一項に記載の室内インパルス応答の少なくとも第１のペアに基づいて総ミキシング時間を推定する装置を備えることを特徴とする音声信号を復号する音声デコーダ。
13. 室内インパルス応答の少なくとも第１のペアに基づいて総ミキシング時間を推定するための方法であって、
    室内インパルス応答の前記第１のペアの複数の異なるサンプル時間における室内インパルス応答の前記第１のペアの第１の室内インパルス応答と室内インパルス応答の前記第１のペアの第２の室内インパルス応答とのエネルギープロファイル間の差を判定するステップと、
    室内インパルス応答の前記第１のペアの前記第１の室内インパルス応答と前記第２の室内インパルス応答との前記エネルギープロファイル間の前記差が閾値と同等であるまたはそれより小さい室内インパルス応答の前記第１のペアに対するミキシング時間として前記複数のサンプル時間のうち、前記差が閾値と同等であるまたはそれよりも小さい室内インパルス応答の前記第１のペアに対応する各々のサンプル時間を設定するステップと、
    室内インパルス応答の前記第１のペアに対する前記ミキシング時間に基づいて前記総ミキシング時間を判定するステップと
    を含み、
    前記差を判定する前記ステップにおいては、前記エネルギープロファイルは、前記ミキシング時間後において、同じ室内の複数の位置で測定された室内インパルス応答に対して同じになるように定義されることを特徴とする方法。
14. 室内インパルス応答の前記第１のペアは、バイノーラル室内インパルス応答であることを特徴とする請求項１３に記載の方法。
15. コンピュータ上で実行する場合に、請求項１３または１４に記載の方法を実行するためのプログラムコードを備えることを特徴とするコンピュータプログラム。

Images