JP4813365B2

JP4813365B2 - オーディオ信号のインパルス応答を符号化及び復号化する方法

Info

Publication number: JP4813365B2
Application number: JP2006541827A
Authority: JP
Inventors: シュミットユルゲン; アイルツ−グリムクラウス
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS
Priority date: 2003-12-02
Filing date: 2004-11-18
Publication date: 2011-11-09
Anticipated expiration: 2024-11-18
Also published as: JP2007513370A; US20070140501A1; KR20070037431A; TWI350476B; TW200525416A; WO2005055193A1; EP1690251B1; CN1886781B; BRPI0416577A; KR101132485B1; US7894610B2; EP1690251A1; CN1886781A

Description

本発明はオーディオ信号のインパルス応答を符号化及び復号化するための、特に、ＭＰＥＧ−４オーディオ規格に準拠したオーディオオブジェクトとして符号化された音源のプレゼンテーションを記述するための方法及び装置に関する。

背景
リバーブとも略される自然残響は、閉じた室で表面からの反射により生じる音の漸進的な減衰の効果である。音源から発した音は壁の表面に当たり、様々な角度で表面から反射される。これらの反射のうちの幾らかはすぐに知覚されるが、他の反射は知覚されるまで他の表面で反射され続ける。堅く重い表面が穏やかな減衰で音を反射する一方で、軟らかい表面は音の大部分を、特に、高周波成分を吸収する。室のサイズ、複雑さ、壁の角度、表面の性質、及び室の内容物の組合せが、室内の音特性を、したがってリバーブを決定する。

リバーブは時不変の効果なので、録音中又は再生中に室内インパルス応答をオーディオ信号に適用することによって再現することができる。室内インパルス応答は、瞬時の全周波数衝撃騒音に対する、残響という形態での室応答として理解することができ、一般には減衰する雑音のように見える。ディジタル化された室内インパルス応答が得られるならば、ディジタル化された信号処理により、任意のディジタル化された「乾いた」音に正確な室内特性を付加することができる。また、単に異なる室内インパルス応答を使用するだけで、オーディオ信号を異なる空間に置くことが可能である。

近年、この室内特性を持った音信号を再生するために、実際の、すなわち、測定された室内インパルス応答を伝送及び使用することが、研究開発の課題であった。ＭＰＥＧ−４オーディオ及びシステム規格ＩＳＯ／ＩＥＣ１４４９６において規定された形のＭＰＥＧ−４を使用する場合には、長いインパルス応答の伝送は以下の問題のゆえに困難であることが判明している：
１．室内インパルス応答はＭＰＥＧ−４‘サンプルダンプ’としてＭＰＥＧ−４プレーヤーにロードすることができる。ＭＰＥＧ−４‘サンプルダンプ’は、適切なＭＩＤＩ及びＳＡプロファイルを有するＭＩＤＩを含んだ完全な合成オーディオ（ＳｔｒｕｃｔｕｒｅｄＡｕｄｉｏ（ＳＡ，ＭＰＥＧ−４プログラミング言語））の実施を要する技術である。この解決手段はコードと複雑さと実行能力とに対する極めて高い要求を課すため、現在ＭＰＥＧ−４プレーヤーでは実行不可能であり、将来の装置においてさえ利用可能でないかもしれない。
２．特に仮想現実用途のために規定された‘ＤｉｒｅｃｔｉｖｅＳｏｕｎｄ’ノードを使用することによる合成室内インパルス応答の利用の不利な点は、このようなパラメトリック合成室内インパルス応答は実測された室内インパルス応答とは著しく異なっており、音の自然さではるかに劣るということである。
３．上記解決手段１．及び２．は可能ではあるが、最適ではないため、また可能ならば新たなノードの導入は避けるべきであることから、実際の室内インパルス応答の伝送及び使用のために特別に設計された新たなノードを付加することは望ましくない。
４．室内インパルス応答の伝送にオーディオ信号自体の場合と同じ符号化を適用することは合理的でない。一般的なＭＰＥＧオーディオ符号化スキームは心理音響学的現象を利用している。これは、知覚できないオーディオ信号部分を抑圧することによりオーディオデータレートを低下させるのに特に適している。しかし、室内インパルス応答は人間の耳にではなく、室内特性に関係しているので、心理音響学を室内インパルスに適用すると歪曲をもたらしてしまう。

発明
本発明は、ＭＰＥＧ−４規格との適合性があり、しかも上記の問題を克服するような、オーディオ信号のインパルス応答を符号化するための方法を具体化するという課題に基づいている。この課題は請求項１に規定された方法により解決される。

本発明は以下の事実の認識に基づいている。ＭＰＥＧ−４システム規格では、オーディオ効果を記述するために、いわゆるＡｕｄｉｏＦＸノードとＡｕｄｉｏＦＸＰｒｏｔｏソリューションが規定されている。ｐａｒａｍｓ［１２８］と呼ばれる、ＡｕｄｉｏＦＸノードとＡｕｄｉｏＦＸＰｒｏｔｏソリューションのそれぞれにおける１２８個の浮動小数点値のアレイは、オーディオ効果の制御のためのパラメータを提供するために使用される。これらのパラメータは、効果の持続時間の間、固定されていてもよいし、例えば、フェーディングのような時間に依存する効果を可能にするために、フレームの更新のたびに更新してもよい。拡張された信号の伝送は１２８個の値という制限のゆえに可能ではない。１２８個の値という制限は広範なインパルス応答には余りに狭すぎる。

それゆえ、オーディオ信号のインパルス応答を符号化する本発明による方法は、音源のインパルス応答を生成し、この生成したインパルス応答を表すパラメータを、特に連続したｐａｒａｍｓ［１２８］アレイである複数の連続した制御パラメータフィールドに挿入することから成っており、第１の制御パラメータフィールドは後続のフィールドの個数及び内容に関する情報を含んでいる。

さらに、本発明は、オーディオ信号のインパルス応答を復号化するための対応する方法を具体化するという課題に基づいている。この課題は請求項６に規定された方法により解決される。

原則的に、オーディオ信号のインパルス応答を復号化する本発明による方法は、インパルス応答を表すパラメータを複数の連続した制御パラメータフィールドから分離することから成っており、第１の制御パラメータフィールドは後続のフィールドの個数と内容とに関する情報を含んでいる。分離されたパラメータはノードの追加メモリに格納され、格納されたパラメータは室内特性の計算に使用される。

本発明のさらに別の有利な実施形態は、従属請求項、以下の説明、及び図面から明らかになる。

図面
本発明の実施例を図１に基づいて説明する。図１は、本発明による連続した制御パラメータフィールドを用いたＡｕｄｉｏＦＸＰｒｏｔｏソリューションを持つＢＩＦＳシーンの一例を図式的に示したものである。

実施例
図１に示されているＢＩＦＳシーンには、ＭＰＥＧ−４バイナリストリーム１とＭＰＥＧ−４デコーダの３つの処理層２，３，４が描かれている。デマルチプレクス／復号化層２は、例えばＧ７２３又はＡＡＣデコーダであるそれぞれのオーディオデコーダ５，６，７に３つのオーディオ信号ストリームを供給することによりこれらのオーディオ信号ストリームを復号化し、ＢＩＦＳデコーダ８を使用することによりＢＩＦＳストリームを復号化する。復号化されたＢＩＦＳストリームはオーディオＢＩＦＳ層３を具体化及び構成し、オーディオＢＩＦＳ層３及び上のＢＩＦＳ層４のノード内での信号処理のための情報を提供する。デコーダ５，６，７からの復号化されたオーディオ信号ストリームは、オーディオソースノード９，１０，及び１１へのオーディオ入力として機能する。オーディオソースノード１１からの信号は、ＡｕｄｉｏＭｉｘノード１２によりダウンミックスされた信号をＳｏｕｎｄ２Ｄノード１４を介して出力側に供給する前に、ＡｕｄｉｏＦＸＰｒｏｔｏ１３において室内インパルス応答を適用することにより付加的効果を得る。図において連続するブロック１５，１６，１７，１８で表されている複数の連続したｐａｒａｍｓ［１２８］フィールドは、完全な室内インパルス応答を伝送するために使用される。ここで、第１のブロック１５は、それぞれ室内インパルス応答の相応する部分を含んでいる後続のｐａｒａｍｓ［１２８］フィールドの個数などの一般的情報を含んでいる。ＡｕｄｉｏＦＸＰｒｏｔｏの実施では、信号処理の前に、完全な室内インパルス応答が再採取されなければならない。

このＭＰＥＧ−４向け実施形態の理解を容易にするため、以下では、本発明の実施形態のさらなる詳細に入る前に、関連するＭＰＥＧ−４の詳細の簡潔な説明を与える。

ＭＰＥＧ−４は、オーディオオブジェクトの表現をサポートすることにより広範なアプリケーションを容易にする。オーディオオブジェクトを組合せるために、付加的な情報−いわゆるシーン記述−が空間及び時間内での配置を決定し、符号化されたオーディオオブジェクトとともに伝送される。伝送後、オーディオオブジェクトは別個に復号化され、１個の表現へと加工されるようにシーン記述を用いて構成され、リスナーに提示される。

効率性のために、ＭＰＥＧ−４システム規格ＩＳＯ／ＩＥＣ１４４９６は、２進表現でのシーン記述、いわゆるBinary Information for Scenes（ＢＩＦＳ）を符号化する方法を規定している。同様に、オーディオ処理のために求められたＢＩＦＳの部分集合が、いわゆるＡｕｄｉｏＢＩＦＳである。シーン記述は階層構造になっており、グラフとして表現することができる。このグラフでは、グラフのリーフノードが個々のオブジェクトを形成し、他のノードは処理、例えば、位置決め、スケーリング、効果などを記述する。個々のオブジェクトの外見と挙動はシーン記述ノード内のパラメータを用いて制御することができる。

いわゆるＡｕｄｉｏＦＸノードは、オーディオプログラミング言語“Structured Audio”（ＳＡ）に基づいてオーディオ効果を記述するために定義されている。Structured Audioの適用は高い処理性能を要求し、Structured Audioコンパイラ又はインタープリタを必要とする。このことが、処理性能とインプリメンテーションの複雑さとが限定された製品での使用を制限してしまう。

しかし、ＭＰＥＧ−４システム規格で規定されているＰｒｏｔｏ機構を使用することにより簡略化を達成することができる。Ｐｒｏｔｏ機構はＢＩＦＳ言語のための専用マクロ機構である。ＡｕｄｉｏＦＸＰｒｏｔｏソリューションは民生用機器に適合されており、Structured Audio機能のないプレーヤーも基本的なオーディオ効果を使用することが可能である。ＰＲＯＴＯはＡｕｄｉｏＦＸノードをカプセル化するので、Structured Audio機能を備えた拡張ＭＰＥＧ−４プレーヤーは直接ＳＡトークンストリームを復号化することができる。よりシンプルな民生用プレーヤーは効果を識別し、使用可能ならば、内部効果表現から基本的なオーディオ効果を開始するだけである。ＡｕｄｉｏＦＸＰｒｏｔｏソリューションの１つのフィールドとして、ｐａｒａｍｓ［１２８］フィールドがある。このフィールドはふつう効果の実時間制御のためのパラメータを含んでいる。本発明は、ある効果において使用可能な、例えば室内インパルス応答である１２８個の浮動小数点値よりも長さの長い複雑なシステムパラメータを使用できるようにするために、１２８個の浮動小数点値のデータブロック長（３２ビットｆｌｏａｔ）に制限されたこのｐａｒａｍｓ［１２８］に対して、複数の連続したフィールドアップデートを使用する。第１のｐａｒａｍｓ［１２８］フィールドは後続のフィールドの個数と内容とに関する情報を含んでいる。これはフィールドアップデートの拡張であり、−デフォルトでは−ただ１つのｐａｒａｍｓ［１２８］フィールドで実行される。任意の長さのデータの伝送が可能になる。続いて、これらのデータを追加メモリに格納し、効果の計算中に使用することができる。原則的に、伝送されるデータの数をできるだけ小さく保つために、動作中にフィールドのある部分だけをそれぞれ置き換え又は修正することも可能である。

詳細には、ａｕｄｉｏＮａｔｕｒａｌＲｅｖｅｒｂと呼ばれる、ＭＰＥＧ−４に自然な室内インパルス応答を適用するための特別なＡｕｄｉｏＦＸＰｒｏｔｏは、以下のパラメータを含んでいる：
第１のｐａｒａｍｓ［］フィールド：

後続のｐａｒａｍｓ［］フィールド：

ａｕｄｉｏＮａｔｕｒａｌＲｅｖｅｒｂＰＲＯＴＯは、リバーブ効果を生じさせる異なる音響チャネルのインパルス応答を使用する。これらのインパルス応答は非常に長い（大きな教会やホールでは数秒）場合もあるので、１つのｐａｒａｍｓ［］アレイでは完全なデータセットを送信するには不十分である。したがって、次のように大量の連続したｐａｒａｍｓ［］アレイが使用される：
ｐａｒａｍｓ［］の第１ブロックは後続のｐａｒａｍｓ［］フィールドに関する情報を含んでいる：
ｎｕｍＰａｒａｍｓＦｉｅｌｄｓフィールドは、使用される後続のｐａｒａｍｓ［］フィールドの個数を決定する。ＮａｔｕｒａｌＲｅｖｅｒｂＰＲＯＴＯはこれらのフィールドを格納するのに十分なメモリを提供しなければならない。

ｎｕｍＩｍｐＲｅｓｐはインパルス応答の個数を定める。

ｒｅｖｅｒｂＣｈａｎｎｅｌｓフィールドは入力チャネルへのインパルス応答のマッピングを定める。

ｉｍｐｕｌｓｅＲｅｓｐｏｎｓｅＣｏｄｉｎｇフィールドは、どのようにインパルス応答を符号化するかを示す（下の表を参照）。

ケース１は、疎なインパルス応答の長さを低減するのに有用である。

室内インパルス応答のスケーラブルな伝送を可能にするために、さらなる値を定義してもよい。同報通信モードにおける１つの有利な例は、短い室内インパルス応答を頻繁に伝送し、長いシーケンスはより低頻度で伝送することである。インターリーブモードにおける別の有利な例は、室内インパルス応答の第１の部分を頻繁に伝送し、室内インパルス応答の後続部分はより低頻度で伝送することである。

フィールドは次のように第１のｐａｒａｍｓ［］アレイにマッピングされる：
ｎｕｍＰａｒａｍｓＦｉｅｌｄｓ＝ｐａｒａｍｓ［０］
ｎｕｍＲｅｖＣｈａｎ＝ｐａｒａｍｓ［１］
ｓａｍｐｌｅＲａｔｅ＝ｐａｒａｍｓ［２］
ｒｅｖｅｒｂＣｈａｎｎｅｌｓ［０…ｎｕｍＲｅｖＣｈａｎ−１］＝
ｐａｒａｍｓ［３…３＋ｎｕｍＲｅｖＣｈａｎ−１］
ｉｍｐｕｌｓｅＲｅｓｐｏｎｓｅＣｏｄｉｎｇ＝
ｐａｒａｍｓ［３＋ｎｕｍＲｅｖＣｈａｎ］
後続のｐａｒａｍｓ［］フィールドは、以下のように、連続したｎｕｍＩｍｐＲｅｓｐインパルス応答を含んでいる：
ｉｍｐｕｌｓｅＲｅｓｐｏｎｓｅＬｅｎｇｔｈは後続のｉｍｐｕｌｓｅＲｅｓｐｏｎｓｅの長さを与える。

ｉｍｐｕｌｓｅＲｅｓｐｏｎｓｅＬｅｎｇｔｈとｉｍｐｕｌｓｅＲｅｓｐｏｎｓｅは、ｎｕｍＩｍｐＲｅｓｐ回繰り返される。

フィールドは次のように後続のｐａｒａｍｓ［］アレイにマッピングされる：
ｉｍｐｕｌｓｅＲｅｓｐｏｎｓｅＬｅｎｇｔｈ＝ｐａｒａｍｓ［０］
ｉｍｐｕｌｓｅＲｅｓｐｏｎｓｅ＝
ｐａｒａｍｓ［１…１＋ｉｍｐｕｌｓｅＲｅｓｐｏｎｓｅＬｅｎｇｔｈ］…
指定したパラメータにしたがって残響を計算するために、出力として残響音信号を出す別の方法を使用してもよい。

本発明によれば、ＭＰＥＧ−４規格における制御パラメータの長さの限界を克服することによって、音信号の再生のために拡張室内インパルス応答を伝送及び使用することが可能になる。しかしながら、本発明は他のシステムにも又は同様の限界を有するＭＰＥＧ−４における他の機能にも適用することができる。

本発明による連続した制御パラメータフィールドを用いたＡｕｄｉｏＦＸＰｒｏｔｏソリューションを持つＢＩＦＳシーンの一例を図式的に示す。

Claims

オーディオ信号のインパルス応答を符号化する方法であって、インパルス応答により所定の室内特性に相応する音信号の再生を可能にする、方法であって、
ＭＰＥＧ−４エンコーダを使用して、符号化されるオーディオ信号に関連付けられる１又は２以上のインパルス応答の送信のために、後続のステップで定義されるＭＰＥＧ−４ＢＩＦＳストリームの複数の連続したＭＰＥＧ−４ＰＲＯＴＯｐａｒａｍｓフィールドを符号化するステップと、
前記ＭＰＥＧ−４エンコーダによって、前記複数の連続したＭＰＥＧ−４ＰＲＯＴＯｐａｒａｍｓフィールドの第１番目に、後続のＭＰＥＧ−４ＰＲＯＴＯｐａｒａｍｓフィールドについての情報を挿入するステップであって、前記情報は、使用される後続のＭＰＥＧ−４ＰＲＯＴＯｐａｒａｍｓフィードの個数と、送信されるインパルス応答の個数とを含む、ステップと、
前記後続のＭＰＥＧ−４ＰＲＯＴＯｐａｒａｍｓフィールドに、前記インパルス応答の各々に対して、前記インパルス応答の長さ情報と、前記インパルス応答を表すサンプルとを挿入するステップと
を備える方法。
インパルス応答のスケーラブルな伝送を可能にする、請求項１記載の方法。
同報通信モードでは、短いバージョンのインパルス応答は頻繁に伝送され、長いシーケンスはより低頻度で伝送される、請求項２記載の方法。
インターリーブモードでは、インパルス応答の第１の部分は頻繁に伝送され、インパルス応答の後続部分はより低頻度で伝送される、請求項２記載の方法。
ＭＰＥＧ−４デコーダによってオーディオ信号のインパルス応答を復号化する方法であって、インパルス応答により所定の室内特性に相応する音信号の再生を可能にする、方法であって、
ＭＰＥＧ−４デコーダにおいて、ＭＰＥＧ−４ＢＩＦＳストリームの複数の連続したＭＰＥＧ−４ＰＲＯＴＯｐａｒａｍｓフィールド内の１又は２以上のインパルス応答を受信するステップであって、前記複数の連続したＭＰＥＧ−４ＰＲＯＴＯｐａｒａｍｓフィールドの第１番目は、後続のＭＰＥＧ−４ＰＲＯＴＯｐａｒａｍｓフィールドについての情報を含み、前記情報は、使用される後続のＭＰＥＧ−４ＰＲＯＴＯｐａｒａｍｓフィールドの個数と、送信されるインパルス応答の個数とを含み、前記後続のＭＰＥＧ−４ＰＲＯＴＯｐａｒａｍｓフィールドは、前記インパルス応答の各々に対して、前記インパルス応答の長さ情報と、前記インパルス応答を表すサンプルとを含む、ステップと、
前記ＭＰＥＧ−４デコーダによって、前記１又は２以上のインパルス応答を表すサンプルを、前記第１のＭＰＥＧ−４ＰＲＯＴＯｐａｒａｍｓフィールド内の情報と、前記後続のＭＰＥＧ−４ＰＲＯＴＯｐａｒａｍｓフィールド内の長さ情報とに基づいて、分離するステップと、
前記ＭＰＥＧ−４デコーダによる、前記室内特性に相応する残響効果の計算のための前記分離されたサンプルによって表される前記１又は２以上のインパルス応答を使用するステップと、
を備える方法。
前記インパルス応答は、前記インパルス応答のスケーラブルな伝送に続いて受信される、請求項５記載の方法。
同報通信モードでは、短いバージョンのインパルス応答は頻繁に受信され、長いシーケンスはより低頻度で受信される、請求項６記載の方法。
インターリーブモードでは、インパルス応答の第１の部分は頻繁に受信され、インパルス応答の後続部分はより低頻度で受信される、請求項６記載の方法。
オーディオ信号のインパルス応答を符号化する装置であって、インパルス応答により所定の室内特性に相応する音信号の再生を可能にする、装置であって、
符号化されるオーディオ信号に関連付けられる１又は２以上のインパルス応答の送信のために、ＭＰＥＧ−４ＢＩＦＳストリームの複数の連続したＭＰＥＧ−４ＰＲＯＴＯｐａｒａｍｓフィールドを符号化するＭＰＥＧ−４エンコーダを備え、前記ＭＰＥＧ−４エンコーダは、
前記ＭＰＥＧ−４エンコーダにより、前記複数の連続したＭＰＥＧ−４ＰＲＯＴＯｐａｒａｍｓフィールドの第１番目に、後続のＭＰＥＧ−４ＰＲＯＴＯｐａｒａｍｓフィールドについての情報を挿入し、前記情報は、使用される後続のＭＰＥＧ−４ＰＲＯＴＯｐａｒａｍｓフィードの個数と、送信されるインパルス応答の個数とを含み、
前記後続のＭＰＥＧ−４ＰＲＯＴＯｐａｒａｍｓフィールドに、前記インパルス応答の各々に対して、前記インパルス応答の長さ情報と、前記インパルス応答を表すサンプルとを挿入する、
装置。