JP5247148B2 - 残響サウンド信号のコーディング - Google Patents

Description

本発明は、オーディオ信号コーディングの分野に関する。特に、本発明は、残響オーディオ信号の効率的なコーディングの分野に関する。本発明は、エンコーダ、デコーダ、符号化及び復号化するための方法、符号化されたオーディオ信号、このような符号化された信号を表わすデータをもつ記憶及び送信媒体並びにエンコーダ及び／又はデコーダをもつオーディオ装置に関する。

残響は、サウンドが記録される環境、例えば、コンサートホールの音響効果によってもたらされる。残響は、この環境において表面にぶつかる反射から成る。その結果、記録されたサウンド信号は、直接的な「ドライの」オーディオ信号を含むだけでなく、一連の遅延され減衰された反射、即ち、直接的な「ドライの」サウンドの遅延され減衰されたバージョンから成る残響成分も含み、その結果、この残響成分は、直接信号と相互に関連している。ここで、「ドライの」とは「エコーの無い」という意味であり、即ち、実質的に、エコー又は残響を含まないという意味である。

実験により、かなりの量の残響をもつサウンド信号をコード化することによるいくつかの非透過的なサウンドコーデックは、適切に機能しない、即ち、コーデックは明らかに聞き取れるアーチファクトをもつサウンド信号を生成してしまうことが示される。しかし、同じサウンドコーデックは、非常に又は純粋に「ドライの」信号をもつサウンド信号、即ち、付加された残響をもたない人工的に生成されたサウンド、又はエコーの無い環境において記録されたサウンド信号に対しては、良好なパフォーマンスを発揮し得る。

多くのアプリケーションにおいて、残響はサウンド信号のネガティブな特性とみなされる。例えば、音声が残響を含む場合、自動音声認識システムのパフォーマンスは低下し、通信アプリケーションにおいて、残響は、音声の明瞭度及び品質にネガティブに影響を及ぼす。この問題に対する解決策は、信号から残響を取り除くこと、即ち、残響を除去することであってもよく、これは、（２００３年、Basbugらによる）幾つかのシステムにおいても行なわれている（非特許文献のリスト参照）。

しかし、高品質オーディオコーディングでは、状況が異なる。オーディオコーディングは、透過性を得ようと努力し、従って、残響が同じようにコード化される必要がある。更に、音楽においては、残響成分が信号の重要な部分であり、この成分をもつオーディオ信号は、「ドライの」即ち鈍く聞こえる当該成分をもたない信号よりも好まれ、その残響成分をもたないサウンドは、録音環境の重要な独自の特性に欠けている。
F.Basbug, K.Swaminathan 及びS.Nandkumar、「音声コーデックのためのノイズ低減及びエコーキャンセレーションフロントエンド（Noise Reduction and Echo Cancellation Front-End for Speech Codecs）」、音声及びオーディオ処理に関するＩＥＥＥ報告書、２００３年、第１１巻、第１号 E.Schuijers, W. Oomen, B.den Brinker 及びJ. Breebaart、「高品質オーディオのためのパラメトリックコーディングの利点（Advances in Parametric Coding for High-Quality Audio）」、第１１４回ＡＥＳ会議の議事録、オランダ国アムステルダム、２００３年３月２２日〜２５日 鵜木、古川、坂田及び赤木、「残響信号からパワーエンベロープを残響除去するためのＭＴＦ概念に基づいた方法（Method based on the MTF Concept for dereverberating the Power Envelope from the Reverberant Signal）」、音響・音声・信号処理に関するＩＥＥＥ国際会議の議事録、中国香港、２００３年４月６日〜１９日、第１巻、８４０〜８４３ページ

当業者の知識においても、サウンド信号の残響成分をコード化するのに特別な事前措置が取られることはなく、このことは品質の問題につながり得る。

本発明の目的は、オーディオコーデックを使用することによって高品質の残響オーディオ信号を取り扱うことができる方法並びにオーディオエンコーダ及びデコーダを提供することにある。

本発明の第１の実施態様によれば、この目的は、オーディオ信号を符号化するオーディオエンコーダであって、
オーディオ信号を実質的にエコーの無いオーディオ信号とオーディオ信号に関連する残響場を記述する情報とに分離する分離手段と、
実質的にエコーの無いオーディオ信号を第１の符号化される信号部分に符号化し、残響場を記述する情報を第２の符号化される信号部分に符号化するエンコーダ手段とを有するオーディオエンコーダを提供することによって満たされる。

この分離手段は、オーディオ信号を、エコーの無い、即ち、「ドライの」部分と、オーディオ信号に関する残響の様子についての情報とに分割する役割を果たす。言い換えると、オーディオ信号は残響除去され、オーディオ信号に関連する残響場を記述する情報、即ち、残響の実質的に透過的な再現を可能にする情報が抽出される。

エンコーダ手段は、「ドライの」部分と残響部分とを別々に取り扱う。従って、「ドライの」部分を第１の符号化される信号部分に符号化するために、オーディオコーデックを適用することが可能であり、その一方、残響部分は、エンコーダにおける信号の残響部分を実質的に再現するのに十分に正確なパラメトリック記述のような残響を記述するのに適している完全に異なるアルゴリズムによって符号化されてもよい。

これにより、オーディオコーデックが残響成分をコード化するタスクから解放され、残響サウンド信号をコード化する問題は解決される。その代わりに、残響オーディオ信号の残響部分を符号化する手段は、例えば、非常に限られた数のパラメータを使用する元のオーディオ信号の残響部分のパラメトリック記述に基づいた残響アルゴリズムを含んでもよい。その結果として、パラメトリックコーデックは、単に「ドライの」信号を符号化するために使用されてもよく、このようなコーデックは、そうした用途に十分に適している。これによって、残響オーディオ信号の残響部分を符号化する手段と組み合わせてオーディオコーデックを使用し、残響オーディオ信号を実質的に透過的に符号化し復号化することが可能になる。

更に、符号化効率は、残響サウンド信号を直接符号化するやり方と比較すると高まる。このことは、第１の実施態様によるエンコーダが、残響場によってサウンド信号に導かれた相関関係を最大限に利用することから、より高いコーディング効率をもたらす、即ち、残響部分の冗長度が特に考慮に入れられるという事実のためである。

ある実施形態において、エンコーダ手段は、例えば、（２００３年、Schuijersらによる）パラメトリックオーディオコーデックによって実質的にエコーの無いオーディオ信号を符号化するように構成され得る。他の好ましい実施形態では、分離手段が、鵜木らの残響除去アルゴリズムをオーディオ信号に適用して、オーディオ信号を実質的にエコーの無い部分と残響場を記述する情報とに分離するように構成される。鵜木らの残響除去アルゴリズムとは、鵜木、古川、坂田及び赤木、「残響信号からパワーエンベロープを残響除去するためのＭＴＦ概念に基づいた方法（Method based on the MTF Concept for dereverberating the Power Envelope from the Reverberant Signal）」、音響・音声・信号処理に関するＩＥＥＥ国際会議の議事録、中国香港、２００３年４月６日〜１９日、第１巻、８４０〜８４３ページに記述される残響除去の原理であると理解されたい。この文献は参照として本願明細書に組み込まれる。

本発明の第２の実施態様は、第１及び第２の部分をもつ符号化されたオーディオ信号からオーディオ信号を再生するオーディオデコーダであって、
第１の符号化された信号部分を実質的にエコーの無いオーディオ信号に復号化し、更に、第２の符号化された信号部分からオーディオ信号に関連する残響場を記述する情報を生成するデコーダ手段と、
残響場を記述する情報に基づいて残響を実質的にエコーの無いオーディオ信号に付加する変換手段とを有するオーディオデコーダを提供する。
従って、第２の実施態様によるオーディオデコーダは、第１の実施態様によるオーディオエンコーダから符号化された信号を復号化し、そのため、エンコーダ／デコーダシステムを形成する。
デコーダシステムにおいて、「ドライの」信号が再現される。その場合、残響情報に基づいて残響が変換手段によって「ドライの」信号に付加される。このことは、僅かな数のパラメータに基づいて高いオーディオ品質残響を生成することができる現存の人工残響ジェネレータ又は室内シミュレータから知られている。この方法、即ち、デコーダにおいて残響を付加することの追加の利点は、残響が復号化された「ドライの」信号における幾つかの潜在的なアーチファクトをマスキングするということである。
好ましくは、変換手段が、再生されたエコーの無いオーディオ信号を、時間ｔの関数であるインパルス応答ｈ（ｔ）で畳み込みを行なうための手段を有しており、ここで、ｈ（ｔ）は第２の符号化された信号部分に基づいている。
好ましくは、第２の符号化された信号部分が、
オーディオ信号の残響時間に関する第１のパラメータＴと、
オーディオ信号の残響振幅に関する第２のパラメータＡとの表現を有する。

デコーダ手段は、パラメトリックオーディオコーデックによって第１の符号化された信号部分を復号化するように構成され得る。

第３の実施態様において、本発明は、オーディオ信号を符号化する方法であって、
オーディオ信号を、実質的にエコーの無い部分とオーディオ信号に関連する残響場を記述する情報とに分離するステップと、
オーディオ信号の実質的にエコーの無い部分を第１の符号化される信号に符号化するステップと、
残響場を記述する情報を第２の符号化される信号に符号化するステップとを含む方法を提供する。

第４の実施態様において、本発明は、元のオーディオ信号を表わす符号化されたオーディオ信号を復号化する方法であって、
第１の符号化された信号部分を第１のオーディオ信号に復号化するステップと、
第２の符号化された信号部分を元のオーディオ信号に関連する残響場を記述する情報に復号化するステップと、
元のオーディオ信号を再生するように、残響場を記述する情報に基づいて残響を付加することによって、第１のオーディオ信号を変換するステップとを含む方法を提供する。

第５の実施態様において、本発明は、元のオーディオ信号を表わす符号化されたオーディオ信号であって、
元のオーディオ信号の実質的にエコーの無い部分を表わす第１の部分と、
元のオーディオ信号に関連する残響場についての情報を表わす第２の部分とを有する符号化されたオーディオ信号を提供する。

符号化される信号は、標準デジタルオーディオフォーマットに従うフォーマットをもつデジタル電気信号であってもよい。この信号は、２つのオーディオ装置の間において電気接続ケーブルを使用して送信されてもよい。但し、符号化される信号は、無線周波キャリアを使用する空気伝播信号のようなワイヤレス信号、又は光ファイバを使用する送信に適している光信号であってもよい。

第６の実施態様において、本発明は、第５の実施態様による符号化されたオーディオ信号を表わすデータを有する記憶媒体を提供する。この記憶媒体は、好ましくは、ＤＶＤ、ＣＤ、読み取り／書き込み可能なＣＤ、ミニディスク、ＭＰ３ディスク、コンパクトフラッシュ、メモリスティックなどのような標準オーディオデータ記憶媒体である。但し、この記憶媒体は、コンピュータハードディスク、コンピュータメモリ、フロッピーディスクなどのようなコンピュータデータ記憶媒体であってもよい。

第７の実施態様において、本発明は、第１の実施態様によるオーディオエンコーダを有するオーディオ装置を提供する。

第８の実施態様において、本発明は、第２の実施態様によるオーディオデコーダを有するオーディオ装置を提供する。

第７及び第８の実施態様による好ましいオーディオ装置は、テープ、ディスク又はメモリベースのオーディオレコーダ及びプレーヤのあらゆる異なるタイプである。これらは、例えば、ＭＰ３プレーヤ、ＤＶＤプレーヤ、コンピュータ用のオーディオプロセッサなどである。更に、この装置は、携帯電話に対しても好適であり得る。

以下、本発明は、本発明による好ましいエンコーダ及びデコーダのブロック図を示す添付の図１を参照して、より詳細に説明される。

本発明は種々の変更形態及び代替形態が可能であるが、特定の実施形態が例として図で示されており、ここで詳細に説明される。但し、本発明は、開示された特定の形態に限定されることを意図されていないことが理解されるべきである。むしろ、本発明は、添付された請求項により規定される本発明の趣旨及び範囲内に入る全ての変更、同等及び代替の形態をカバーするものである。

オーディオ信号は、エンコーダ１の入力部ＩＮで受け取られる。まず、オーディオ信号は、残響抽出器ＲＥＶ／ＥＸＴによって取り扱われる。ここで、オーディオ信号は、（２００３年、鵜木らによる）鵜木らの残響除去アルゴリズムを使用して残響除去される。モノラル信号について、残響オーディオ信号から残響成分を抽出することは簡単ではないことに留意されたい。但し、この抽出はパーフェクトである必要はなく、残響フィールドの一部を取り除くことによっても既に利得が得られることができる。マルチチャンネル信号については、既に、良好な残響除去アルゴリズムが存在する。

その後、結果として生じる「ドライの」信号は、（２００３年，Schuijersらによる文献）に記述されたようなエンコーダ手段ＥＮＣのＳＳＣエンコーダ部分において符号化され、符号化手段ＥＮＣの他の部分は、残響抽出器ＲＥＶ ＥＸＴによって抽出された残響部分を符号化する。エンコーダ１からの出力は２つの部分をもつ。これらの部分は、エンコーダ手段ＥＮＣのＳＳＣエンコーダ部分によって供給されるビットストリーム３である第１の部分と、残響抽出器ＲＥＶ ＥＸＴによって供給される２つの残響パラメータ４、即ち、元のオーディオ信号の取り除かれた残響部分のパラメータ記述を有する第２の部分とである。好ましくは、２つの残響パラメータ４は、オーディオ信号の「ドライの」部分と関係する元のオーディオ信号の残響部分のレベルに関連する残響振幅定数Ａ及び残響時間Ｔ_Ｒであり、これらは、室内残響インパルス応答ｈ（ｔ）の非常に簡単な記述である。ユーザは、必要に応じて上記信号を通じてアップデートすることにより、上記信号の開始時に完全な室内残響インパルス応答ｈ（ｔ）を送り出すことも可能である。このことは、ｈ（ｔ）が、通常、ゆっくりと変化するか又は全く変化しないので、更に効果的である。残響部分を符号化するエンコーダ手段ＥＮＣのエンコーダ部分は、残響抽出器ＲＥＶ ＥＸＴによって出力された残響部分の実際の形態に高度に依存する。残響抽出器ＲＥＶ ＥＸＴが、ほんの僅かな残響パラメータを出力する場合、残響部分のエンコーディングは、抽出されたもの自体に含まれるものであると言ってもよく、そのため、エンコーダ手段ＥＮＣは、残響抽出器ＲＥＶ ＥＸＴから受け取られた残響部分に更なるエンコーディングを追加する必要はない。

デコーダ２は、エンコーダ１からＳＳＣ符号化された信号３及び２つの残響パラメータ４を受け取る。図１は、エンコーダ／デコーダシステムの原理を単に示すだけであることを理解されたい。符号化された信号３，４又はこれらの信号３，４を表わすデータは、一般に、ＭＰ３プレーヤなどのためのオーディオディスクのような記憶媒体又はデータ担体に記憶されてもよい。

デコーダ２において、ＳＳＣ符号化された信号３は、デコーダ手段ＤＥＣのＳＳＣデコーダ部分によって復号化され、そのため、実質的に「ドライの」オーディオ信号を復元する。その後、この復元された「ドライの」信号は、残響プロセッサＲＥＶに供給される。更に、残響プロセッサＲＥＶは、デコーダ手段ＤＥＣの他の部分によって復号化されている２つの残響パラメータ４を受け取り、これらのパラメータ４に基づいて、残響プロセッサＲＥＶは、２つの残響パラメータ４における抽出された残響情報に基づいてインパルス応答を生成する。即ち、室内インパルス応答が、２つの残響パラメータ４に基づいて構成される。元のオーディオ信号の残響部分は、生成された残響インパルス応答による畳み込みによって、デコーダ手段ＤＥＣのＳＳＣデコーダ部分から復元された「ドライの」オーディオ信号に付与される。それゆえ、この復元された「ドライの」オーディオ信号は、復元された又は少なくともほぼ復元された元のオーディオ信号に変換される。ついには、この復元された元のオーディオ信号が、エンコーダ２の出力部ＯＵＴに供給される。

残響プロセッサＲＥＶにおいて生成される室内残響インパルス応答ｈ（ｔ）は、好ましくは、以下の式で表わされ、ここで、ｔは時間を示す。
h(t)=A*exp(-6.9t/ T_R)*n(t)
上式で、n(t)は、ホワイトノイズ信号である。

原則として、本発明は、任意のオーディオエンコーダ、例えば、現在、ＭＰＥＧにおいて規格化され、任意の残響除去アルゴリズムをもつ（２００３年、Schuijersらによる文献に）記述されたＳＳＣエンコーダに関して使用されることができる。

本発明によるエンコーダ及びデコーダは、デジタル信号プロセッサをもつシングルチップに実現されてもよい。その場合、このチップは、オーディオ装置の信号プロセッサ容量には関係なく、当該オーディオ装置に組み込まれて適用されることができる。エンコーダ及びデコーダは、代替例として、単に、アプリケーション装置の主要な信号プロセッサで実行されるアルゴリズムによって実現されてもよい。

各請求項において、図面に対する参照符号は、単に明瞭さの理由で含まれている。例示的な実施形態に対するこれらの参照符号は、いかなるやり方であれ、請求項の範囲を限定するものとして解釈されるべきではない。

信号の流れに関してエンコーダ１及びデコーダ２の好ましい実施形態の原理を示すブロック図である。

Claims (9)

1. オーディオ信号を符号化するオーディオエンコーダであって、
   前記オーディオ信号をエコーの無い部分と前記オーディオ信号に関連する残響場を記述する情報とに分離する分離手段と、
   前記エコーの無い部分を第１の符号化される信号部分に符号化し、前記残響場を記述する前記情報を第２の符号化される信号部分に符号化するエンコーダ手段とを有し、
   前記エンコーダ手段が、パラメトリックオーディオコーデックによって前記エコーの無い部分を符号化する、オーディオエンコーダ。
2. 第１の符号化された信号部分及び第２の符号化された信号部分をもつ符号化されたオーディオ信号から元のオーディオ信号を再生するオーディオデコーダであって、
   前記第１の符号化された信号部分をエコーの無いオーディオ信号に復号化し、更に、前記第２の符号化された信号部分から前記オーディオ信号に関連する残響場を記述する情報を生成するデコーダ手段と、
   前記残響場を記述する前記情報に基づいて、残響を前記エコーの無いオーディオ信号に付加する変換手段とを有し、
   前記デコーダ手段が、パラメトリックオーディオコーデックによって前記第１の符号化された信号部分を復号化する、オーディオデコーダ。
3. 前記変換手段が、前記エコーの無いオーディオ信号を時間ｔの関数であるインパルス応答ｈ（ｔ）で畳み込みを行なうための手段を有しており、ここで、ｈ（ｔ）が前記残響場を記述する前記情報に基づいている、請求項２に記載のオーディオデコーダ。
4. 前記デコーダ手段が、前記第２の符号化された信号部分から、
   前記オーディオ信号の残響時間に関する第１のパラメータＴと、
   前記オーディオ信号の残響振幅に関する第２のパラメータＡとを生成する、請求項３に記載のオーディオデコーダ。
5. 前記変換手段が、h(t)=A*exp(k*t/T)*n(t)として、前記第１のパラメータ及び前記第２のパラメータに基づいて前記インパルス応答ｈ（ｔ）を計算するように構成されており、ここで、ｋが定数を表わし、ｎ（ｔ）がノイズ信号を表わす、請求項４に記載のオーディオデコーダ。
6. オーディオ信号を符号化する方法であって、
   前記オーディオ信号をエコーの無い部分と前記オーディオ信号に関連する残響場を記述する情報とに分離するステップと、
   前記オーディオ信号の前記エコーの無い部分を、パラメトリックオーディオコーデックによって、第１の符号化される信号に符号化するステップと、
   前記残響場を記述する前記情報を第２の符号化される信号に符号化するステップとを含む方法。
7. 符号化されたオーディオ信号を元のオーディオ信号へ復号化する方法であって、
   第１の符号化された信号部分を、パラメトリックオーディオコーデックによって、エコーの無い第１のオーディオ信号に復号化するステップと、
   第２の符号化された信号部分を前記元のオーディオ信号に関連する残響場を記述する情報に復号化するステップと、
   前記元のオーディオ信号を再生するように、前記残響場を記述する前記情報に基づいて残響を付加することによって、前記第１のオーディオ信号を変換するステップとを含む方法。
8. 請求項１に記載のオーディオエンコーダを有するオーディオ装置。
9. 請求項２から５いずれか１項に記載のオーディオデコーダを有するオーディオ装置。

Images