JP5227946B2

JP5227946B2 - フィルタ適応周波数分解能

Info

Publication number: JP5227946B2
Application number: JP2009502720A
Authority: JP
Inventors: アニッセタレブ，; エルレンダーカールソン，; エリックノルベル，; ハラルドポブロス，
Original assignee: テレフオンアクチーボラゲットエルエムエリクソン（パブル）
Priority date: 2006-03-28
Filing date: 2007-03-28
Publication date: 2013-07-03
Anticipated expiration: 2027-03-28
Also published as: EP1999847A4; US8266195B2; JP2009531955A; CN101411063B; EP1999847B1; CN101411063A; EP1999847A2; WO2007111560A3; US20090172060A1; WO2007111560A2

Description

本発明は、デジタル入力信号のデジタルフィルタリングに関し、特に、デジタルフィルタの表現におけるフィルタ係数の処理に関する。

（関連出願）
本願は、２００６年３月２８日に出願の米国仮出願第６０／７４３，８７２号の優先権を主張し、この引用によりその開示はすべて、本明細書に組み込まれる。本願においては、２００７年１月５日に出願の、係属中の国際出願ＰＣＴ／ＳＥ２００７／０００００６、「マルチチャネル・サラウンドサウンドの個人用復号化 (Personalized Decoding of Multi-Channel Surround Sound) 」、に開示された実施形態が簡潔に記載され議論される。この引用によりその開示はすべて、本明細書に組み込まれる。

デジタル信号処理において、一般に、フィルタは、一連のフィルタ係数又はフィルタ係数のセットにより表され、かつ、一連のフィルタ係数又はフィルタ係数のセットとして格納される。それらの係数は、時間領域又は周波数領域のフィルタのモデル化されたインパルス応答等を表すことができ、あるいは、以下のような差分方程式の係数を表すことができる。

式中、tは時間サンプルの指標であり、yはフィルタの出力であり、xはその入力であり、a及びbはフィルタを表す係数のセットである。フィルタがそのインパルス応答により表される場合、格納される係数の数はフィルタのインパルス応答を記述するのに必要なブロック長に依存する。差分方程式（式（１））の係数が使用される他の例において、係数の数はフィルタ次数により判定される。なお、ＦＩＲフィルタ（全てのa_n = 0）の場合、時間領域インパルス応答は係数b_nと一致する。周波数領域インパルス応答により表されるフィルタが格納及び使用され且つ本発明が有用である１つの応用例は、サラウンドサウンドのバイノーラル復号化である。

世界中の映画館において、マルチチャネルサラウンドオーディオシステムは、長い間、映画の観客の前で上映され且つ「臨場感」という現実感のある納得のいく感覚を観客に与える映画シーンのオーディオ空間の中央に、観客を配置してきた。このオーディオ技術は、ホームサラウンドサウンドシアターシステムとして一般の家庭で使用されるようになり、現在ではその人自身の居間で「臨場感」という感覚を提供している。

このオーディオ技術が使用される次の分野は、移動無線装置又は端末、特に携帯電話やＰＤＡ（パーソナルデジタルアシスタント）等の小型装置である。ディスプレイのサイズが小さいため、没入的なサラウンドサウンドがより重要となる。しかし、この技術をモバイル装置に適用するのは容易ではない。主な課題を以下に示す。

１．多くの場合、無線移動体チャネルにおいて利用可能なビットレートが低い。
２．移動端末の処理電力が制限されることが多い。
３．一般に、小型の移動端末は２つのマイクロスピーカ及びイヤホン若しくはヘッドホンのみ有する。

特に携帯電話等の移動端末に対しては、これは、移動端末に対するサラウンドサウンド・ソリューションがDolby Digital 5.1システムにおいて使用される３８４キロビット／秒よりかなり低いビットレートを使用する必要があることを意味する。処理電力が制限されるため、移動端末の復号器はコンピュータにより最適化される必要があり、移動端末のスピーカの構成のために、サラウンドサウンドはイヤホン又はヘッドホンを介して出力される必要がある。

ヘッドホン又はイヤホンを介してマルチチャネルサラウンドサウンドを出力する標準的な方法は、各スピーカ信号の３Ｄオーディオ又はバイノーラルレンダリングを実行することである。

一般に、３Ｄオーディオレンダリングにおいて、オーディオシーンのモデルが使用され、各入力モノラル信号が、人の頭部、胴及び耳により行なわれる変換をモデル化するフィルタのセットを介してフィルタリングされる。それらフィルタは、頭部伝達関数（ＨＲＴＦ）を有する頭部フィルタ（ＨＲＦ）と呼ばれ、適切に設計された場合には適切な３Ｄオーディオシーン知覚を与えることができる。

図１は、５．１サラウンドシステムによるオーディオ信号の完全な３Ｄオーディオレンダリングの方法を示す。５．１サラウンドシステムに係る６つのマルチチャネル信号は以下の通りである。
・サラウンド右（ＳＲ）
・右（Ｒ）
・中央（Ｃ）
・低周波（ＬＦＥ）
・左（Ｌ）
・サラウンド左（ＳＬ）

図１に示す例において、中央信号及び低周波信号は１つの信号に組み合わされる。左側及び右側に対する音響は対称的であると仮定されるため、頭部フィルタリングは５つのフィルタ H_I ^B, H_C ^B, H^C, H_I ^F, H_C ^Fを使用して実現される。頭部の一方側から見ると、これらのフィルタは、ここでは下付きの添え字I及びCで示される頭部の同一側（ipsilateral）及び反対側（contralateral）に位置するスピーカから到来する音に対する音響をモデル化する。それらの次元は中間軸（前方又は後方）の原点と結合され、上付き文字の指標F及びBを与える。オーディオシーンの中央に位置する音は、フィルタ H_C ^Bを使用してモデル化される。

そのようなレンダリングの３Ｄ知覚に関する品質は、リスナーが聴いている時にＨＲＦがどの程度厳密にリスナー自身の頭部フィルタリングをモデル化又は表現するかに依存する。従って、良い品質又は非常に良い品質が望まれた時にＨＲＦがそれぞれのリスナーに対して適応化及び個人化される場合、それは有利となるだろう。この適応化及び個人化ステップには、知覚される３Ｄオーディオシーンの品質を向上させるための、モデル化、測定、一般的なユーザによる調整が含まれうる。

現在の最新の標準化マルチチャネルオーディオコーデックは、受け入れられる品質を達成するために広い帯域幅又は高いビットレートを必要とするため、無線移動ストリーミング等のサービスにそのようなコーデックを使用することはできない。

例えば、Dolby Digital 5.1コーデック（ＡＣ−３コーデック）は、演算量がＡＡＣマルチチャネルコーデックと比較して非常に低いものであるとしても、同等の品質を得るためには非常に高いビットレートを必要とする。ＡＡＣマルチチャネルコーデック及びＡＣ−３コーデックの双方のコーデックは、演算量及びビットレートに対する要求が高いため、今日まで無線移動体の分野では使用不可能なままである。

バイノーラルキュー符号化の原理に基づく新たなパラメトリックマルチチャネルコーデックが開発されている。最近標準化されたパラメトリックステレオツールは、演算量が小さく、しかも品質が高い立体音響を符号化するパラメトリック技術のよい一例である。パラメトリックステレオのマルチチャネル符号化への拡張は、現在、空間オーディオ符号化（Spatial Audio coding）という名の下、ＭＰＥＧで標準化が図られており、ＭＰＥＧサラウンドとも呼ばれている。

パラメトリックマルチチャネル符号化の原理は、一般的な例を示す図２のブロック図から説明され、理解される。マルチチャネルパラメトリックサラウンド符号器とも呼ばれるパラメトリックサラウンド符号器３は、個々の信号x₁(n)〜x_N(n)を含むマルチチャネル合成オーディオ信号を受信する。ここで、Nは入力チャネルの数である。５．１サラウンドシステムの場合、上述したようにN = 6である。その後、符号器３はダウンミキシングユニット５において個々のダウンミックスされた信号z₁(ｎ)〜z_M(ｎ)を含む合成ダウンミックス信号を形成する。ダウンミックスチャネルの数M（M ＜ N）は、Ｍチャネルオーディオ符号器７の要求されるか又は許容される最大ビットレート、要求される品質及び有用性に依存する。符号化処理の１つの重要な側面は、一般にはステレオ信号であるがモノラル信号でもよいダウンミックス合成信号がマルチチャネル入力信号から導出され、チャネル１１を介した送信のためにオーディオ符号器７で圧縮される信号が元のマルチチャネル信号ではなくそのダウンミックス合成信号であることである。パラメトリック符号器３及び特にパラメトリック符号器３のダウンミキシングユニット５は、ダウンミキシング処理を実行できるため、モノラル領域又はステレオ領域におけるマルチチャネル信号と略等価な信号を作成する。パラメトリックサラウンド符号器は、空間パラメータ推定ユニット９を更に具備し、ユニット９は、ある点においてダウンミキシング処理又はその処理における仮定を記述すると言われるキュー又は空間パラメータを入力信号x₁(n)〜x_N(n)から算出する。Ｍチャネルオーディオ符号器から出力され且つ主信号である圧縮されたオーディオ信号は、当該例においては一般に移動端末である受信側へ無線インタフェース等のインタフェース１１を介して送信される副情報を構成する空間パラメータと組み合わされる。

あるいは、ダウンミキシングはArtistic Downmixを採用するユニット等から外部ユニットにより供給される。

受信側において、補助パラメトリックサラウンド復号器１３はオーディオ復号器１５を含み、送信側で使用されたダウンミキシングアルゴリズムの知識及び圧縮されたマルチチャネル信号と同時に受信される符号化空間パラメータ又はキューに基づいて可能な最適なマルチチャネル復号化を行うことができるように構成されるべきである。オーディオ復号器１５は、送信側の信号z₁(n)〜z_M(n)に可能な限り類似した信号^z₁(n)〜^z_M(n)を生成する。それらは空間合成ユニット１７に入力された空間パラメータと組み合わされ、ユニット１７は送信側の元の入力信号x₁(n)〜x_N(n)に可能な限り類似した出力信号^x₁(n)〜^x_N(n)を生成する。出力信号^x₁(n)〜^x_N(n)は、図１に示すシステム等のバイノーラルレンダリングシステムに入力される。

インタフェース１１を介した送信チャネルの一般に比較的狭い帯域幅に依存することは、情報の損失があり、受信側の信号^z₁(n)〜^z_M(n)及び^x₁(n)〜^x_N(n)が送信側の対応する信号と同一にはならないことは明らかである。それらの信号は、対応する信号の完全な等価物でなくても、知覚的には十分に適切な等価物である可能性がある。

一般に、そのようなサラウンド符号化処理は、図２のユニットであるオーディオ符号器７及びオーディオ復号器１５において使用される送信チャネルに対して使用される圧縮アルゴリズムとは無関係である。符号化処理は、AMR-WB+、MPEG-1 Layer III、MPEG-4 AAC又はMPEG-4 High Efficiency AAC等の多くの高性能圧縮アルゴリズムのうちの任意のアルゴリズムを使用できる。あるいは、符号化処理はＰＣＭを使用できる。

一般に、上述の動作は変換信号領域で行われ、使用される変換はフーリエ変換やＭＤＣＴ等である。これは、ユニット９における空間パラメータ推定及びユニット１７における合成がコアコーデックとも呼ばれるオーディオ符号器７で使用される変換と同一の種類の変換を使用する場合に特に有益である。

図３は、効率的なパラメトリックオーディオ符号器を詳細に示すブロック図である。x_N(n)としてベクトル形式で示されるＮチャネル離散時間入力信号は、まず、変換ユニット２１において周波数領域及び一般に信号/x_N(n)を与える変換領域に変換される。指標kは、変換係数の指標であるか又は周波数領域変換が選択された場合には部分帯域の指標である。指標mは、可能性としてオーバラップフレームを介して入力信号にも関連付けられる間引きされた時間領域指標を表す。

その後、信号は、ダウンミキシングユニット５でダウンミックスされ、Ｍチャネルダウンミックス信号z_M(k, m)を生成する。ここでM ＜ Nである。一連の空間モデルパラメータベクトルp_N(k, m)は、推定ユニット９で推定される。これは、開ループ又は閉ループのいずれの方法でも行うことができる。

空間パラメータは、サラウンドサウンド感覚の表現である心理音響キューから構成される。例えばＭＰＥＧサラウンド符号器において、それらパラメータは、ＩＬＤキュー、ＩＴＤキュー、ＩＣキューに等価なレベル、位相及びコヒーレンスのチャネル間の差分から構成され、送信されたダウンミックス信号z_M(k, m)又は閉ループの場合には復号化信号^〜z_M(k, m)に対するマルチチャネルオーディオ信号の空間イメージを取り込む。キューp_N(k, m)は、空間パラメータ符号器２５が後続する信号^〜p_N(k, m)を生成する空間パラメータ量子化ユニット２３等において非常に密に符号化される。Ｍチャネルオーディオ符号器７は主ビットストリームを生成し、主ビットストリームは、マルチプレクサ２７においてパラメータ符号器により生成される空間副情報を使用して多重化される。多重化信号は、受信側においてマルチプレクサからデマルチプレクサ２９に送信され、受信側では、副情報及び主ビットストリームが図４のブロック図で分かるように回復される。

受信側において、主ビットストリームが復号化され、受信された空間パラメータを使用して高品質のマルチチャネル表現を合成する。まず、主ビットストリームはＭチャネルオーディオ復号器３１において復号化され、復号化信号^z_M(k, m)は復号器３１から空間合成ユニット１７に入力される。空間パラメータを保持する空間副情報は、デマルチプレクサ２９で抽出され、空間パラメータ復号器３３に出力される。復号器３３は、復号化パラメータ^p_N(k, m)を生成し且つそれらを合成ユニット１７に送信する。空間合成ユニットは信号^/x_N(k, m)を生成する。その信号は、その信号を時間領域に変換する信号Ｆ／Ｔ変換ユニット３５に供給され、信号^x_N(n)、すなわちマルチチャネル復号化信号を生成する。

マルチチャネルサラウンドサウンドの３Ｄオーディオレンダリングは、効率的なパラメトリックサラウンド復号器を使用して移動端末のユーザに出力され、まず複数のサラウンドサウンドチャネルを取得し、例えば図４を参照して上述したマルチチャネル復号器を使用する。その後、図１に示されるシステムは、バイノーラル３Ｄオーディオレンダリングされたマルチチャネル信号を合成するために使用される。この動作を図５の概略図に示す。

あるいは、２００７年１月５日に出願された国際出願ＰＣＴ／ＳＥ２００７／０００００６の「Personalized Decoding of Multi-Channel Surround Sound」で説明されるような更に効率的なバイノーラル復号器を使用してもよい。このバイノーラル復号器の動作を以下に要約する。

ＭＰＥＧサラウンド復号器における処理は、図１５に示すような２つのマトリクスの乗算で定義できる。この乗算は、それぞれ事前逆相関器マトリクスユニット及びミックスマトリクスユニットと呼ばれるマトリクスユニットＭ１及びＭ２を含むものとして示され、各信号がそれらのユニットに入力される。第１のマトリクスの乗算は逆相関ユニット又は逆相関器Ｄ₁, Ｄ₂, …に対する入力信号を形成し、第２のマトリクスの乗算はダウンミックス入力及び逆相関器からの出力に基づいて出力信号を形成する。上記演算は、ハイブリッド指標kで指標付けされるハイブリッド部分帯域毎に行われる。

以下において、指標nはタイムスロットの番号に使用され、kはハイブリッド部分帯域を指標付けするために使用され、lはパラメータセットを指標付けするために使用される。出力チャネルを形成するための入力チャネルの処理は以下のように記述される。

y^n,k = M₁ ^n,kx^n,k （２）
y^n,k = M₂ ^n,kw^n,k （３）

ここで、M₁ ^n,kは、特定の数の入力チャネルを逆相関器に入る特定の数のチャネルにマッピングする２次元マトリクスであり、タイムスロットn毎及びハイブリッド部分帯域k毎に規定される。M₂ ^n,kは、特定の数の事前処理済みチャネルを特定の数の出力チャネルにマッピングする２次元マトリクスであり、タイムスロットn毎及びハイブリッド部分帯域k毎に規定される。マトリクスM₂ ^n,kは、逆相関された信号の時間領域時間シェイピング（ＴＰ）が使用されるか又は時間包絡線シェイピング（ＴＥＳ）が使用されるかに依存して２つのバージョンになる。それら２つのバージョンはM_{2_wet} ^n,k及びM_{2_dry} ^n,kで示される。双方のマトリクスM₁ ^n,k及びM₂ ^n,kは、復号器に送信されるバイノーラルパラメータを使用して導出される。M₁ ^n,k及びM₂ ^n,kの導出については、ISO/EC 14496-3:200X/PDAM 4, MPEG Surround N7530、２００５年１０月、Nice, Franceで更に詳細に説明されている。

第１のマトリクスユニットM1に対する入力ベクトルx^n,kは、Ｍチャネルオーディオ復号器３１から取得される図４の復号化信号^z_M(k,m)に対応する。ミックスマトリクスユニットＭ２に入力されるベクトルw^n,kは、逆相関器D₁, D₂, ..., からの出力d₁, d₂, ...、第１のマトリクスの乗算、すなわち事前逆相関器マトリクスユニットM1からの出力及び残差信号res₁, res₂, ..., の組合せであり、タイムスロットn毎及びハイブリッド部分帯域k毎に規定される。出力ベクトルy^n,kは、上述のように基本的に信号L、SL、R、SR、C及びLFEに対応する成分l_f、l_s、r_f、r_s、cf、lfeを有する。成分は、時間領域に変換される必要があり、ある方法でレンダリングされて使用されるイヤホンに供給される必要がある。すなわち、それら成分は直接使用することはできない。

３Ｄオーディオレンダリングの方法は、「モデルからの再構成」ブロックを含む復号器を使用する。そのブロックは、パーソナルＨＲＦの表現及びハイブリッドフィルタバンク領域の他のレンダリングパラメータ等の追加の入力を取得し、図１４の項目４３、３７、１７’を比較し、それを使用してモデルパラメータの導関数を他のモデルパラメータに変換し、変換領域において２つのバイノーラル信号を直接生成することを可能にする。従って、バイノーラル２チャネル信号のみがＭＰＥＧサラウンドに基づく個人化バイノーラル復号化を示す図１４の変換ユニット３５等において離散時間領域に変換される必要がある。

この例において、図１６のパラメータ変更マトリクスM3として象徴的に示される第３のマトリクスM₃ ^n,kは６つのチャネルから２つのチャネルへの線形マッピングであり、２つのチャネルは変換ユニット３５を介してユーザヘッドホン３９への入力として使用される。マトリクスの乗算は以下のように表すことができる。

(r,l) = M₃ ^n,k y^n,k （４）

線形性（結合法則）により、マトリクスM₂ ^n,kとM₃ ^n,kが組み合わされ、新たなミックスマトリクスM₄ ^n,k = M₃ ^n,k M₂ ^n,kに格納されるパラメータの新たなセットを形成できることは明らかである。この組み合わせ動作を図１７に示す。図１７において、新たなマトリクスに対応する乗算ユニットはミックスマトリクスユニットM4として示され、２つのマトリクスの乗算は乗算ユニット４５で行われる。

新たなミックスマトリクスM₄ ^n,kは、ビットストリームパラメータ及びユーザ事前定義済み頭部フィルタＨＲＦの双方に依存し且つ更に要望に応じて他の動的なレンダリングパラメータに依存するパラメータを有する。

頭部フィルタの場合にのみ、マトリクスM₃ ^n,kは以下のように表せる。

マトリクスの要素は頭部フィルタリングを実現するために使用される５つの異なるフィルタであり、上述のように H_I ^B, H_C ^B, H^C, H_I ^F, H_C ^F で示される。図１５のシステムにおいて、フィルタはハイブリッド領域において表される。フィルタの表現を時間領域から周波数領域又は変換領域に変換するそのような動作は信号処理文献において周知である。ここで、マトリクスM₃ ^n,kを形成するフィルタは、ハイブリッド部分帯域指標kの関数であり、図１に示すフィルタと類似する。これについては、図１７に更に詳細に示す。まず、２０個の空間パラメータ帯域において表される空間パラメータが使用され、マトリクスM_2p ^n,t、パラメータ帯域領域におけるミキシングマトリクスを生成する。その後、上記ISO/EC文献のTable A.30で与えられるマッピング機能が使用され、パラメータ部分帯域指標iをハイブリッド部分帯域指標kにマップしてM₂ ^n,kを生成する。結果として得られるミキシングマトリクスはM₃ ^n,kと乗算され、その結果から、最終的なミキシングマトリクスM₄ ^n,kが生成される。

なお、この単純な例の場合、マトリクスM₃ ^n,kはタイムスロット指標nに無関係である。ユーザが別の仮想スピーカ構成をヘッドホン３９を介して体験したい場合には頭部フィルタを動的に変更することができる。

上記説明から、例えば移動電話のように処理及び／又は格納するためのリソースが制限されているアプリケーションにおいて、デジタルフィルタやそのフィルタの係数をより効率的に取り扱うことができれば有益であることは明らかである。

本発明の目的は、デジタルフィルタリングのための方法及び装置、特にデジタルフィルタにおけるフィルタ係数を効率的に処理するための方法及び装置を提供することである。

一般に、フィルタの表現は、フィルタ特性に依存して効率的に適応化されるとよい。

更に、フィルタの表現は、忠実度基準を満たすために適応的に調整されるとよい。

フィルタの表現は、演算量の基準を満たすために適応的に調整されるとよい。

更に、フィルタの周波数分解能は、フィルタがその周波数領域インパルス応答により表される場合には周波数応答に依存して効率的に適応化されるとよい。

バイノーラルサラウンド復号化に対して、バイノーラル処理帯域の概念が適用されてもよく、それは効率的で高品質のバイノーラルレンダリングを実行するために中間周波数分解能として使用される。

バイノーラルパラメータ帯域分解能は、品質又は演算量に対する要求を満たすために適応的に調整される。

特に、フィルタ表現の周波数分解能は、そのフィルタの周波数応答に対して適応化される。基本原理は、フィルタの周波数応答が特定の周波数範囲に対して略一定であることである。この周波数範囲は、単一の係数により表される。従って、フィルタに必要とされる記憶空間の量は減少する。更に、フィルタ応答を同様のプロパティと組み合わせる場合、同一の乗算は回避される。可能な一実施形態は、事前定義済み周波数帯域においてフィルタ応答の分散を解析し、高分散の帯域を２つの帯域に分割することである。この方法は、例えば頭部フィルタ伝達関数を適用及び格納する場合に有用である。

一般的な１つの側面において、入力信号は、フィルタ係数のセットにより表されるデジタルフィルタに入力信号を供給し、デジタルフィルタにより入力信号をフィルタリングする従来のステップを使用して処理される。フィルタリングする実際のステップの前に、フィルタ係数は、縮小フィルタ係数により表され且つ縮小フィルタ係数にとして格納される縮小デジタルフィルタから展開される。また、縮小デジタルフィルタはオリジナルデジタルフィルタに対応する。その後、縮小フィルタ係数のうちの少なくとも１つは、オリジナルデジタルフィルタにおけるフィルタ係数のうちの２つのフィルタ係数に対応するか又はそれらに略一致する。縮小フィルタは、オリジナルデジタルフィルタのフィルタ係数を互いに比較し、その比較結果に従って互いに等しいか又は互いに十分に近接するフィルタ係数を組み合わせてフィルタ係数のサブセットにすることにより取得される。そのような各サブセットは、一般に周波数帯域であってもよく、ある平均演算等によりサブセット中のフィルタ係数から取得される縮小フィルタ係数により表される。

オリジナルデジタルフィルタは、複数のオリジナルの要素デジタルフィルタの積とすることができる。その後、比較動作において、各要素デジタルフィルタのフィルタ係数は互いに比較され、組合せステップにおいて、互いに等しいか又は互いに十分に近接する各要素デジタルフィルタのフィルタ係数は組み合わされてサブセットになる。単純な例の場合、そのような各サブセットは、サブセット中のフィルタ係数から取得される縮小フィルタ係数により表される。全ての要素デジタルフィルタに対するフィルタ係数のセットのサブセットは、互いに等しくなるように選択される。すなわち、要素デジタルフィルタのフィルタ係数の全てのセットは同様の方法でサブセットに分割される。

入力信号を処理する装置は、縮小デジタルフィルタの縮小フィルタ係数を格納するための記憶場所と、縮小フィルタ係数をオリジナルデジタルフィルタのフィルタ係数にマッピングするテーブルを格納するための記憶場所と、オリジナルデジタルフィルタのフィルタ係数と等しいか又はそれに略一致する実際のフィルタ係数を形成するために縮小フィルタ係数を展開する論理ユニットと、実際のフィルタ係数を使用して入力信号をフィルタリングするフィルタリングユニットとを有する。

別の側面において、オリジナルのフィルタ係数により表されるオリジナルデジタルフィルタを表すフィルタ係数が格納される。格納動作において、オリジナルのフィルタ係数は互いに比較され、その比較結果に従って、互いに等しいか又は互いに十分に近接するフィルタ係数を組み合わせて上述のようなフィルタ係数のサブセットにする。最後に、縮小フィルタ係数が格納され、またサブセットをオリジナルのフィルタ係数にマッピングするテーブルが判定及び格納される。

本発明のその他の目的及び利点は、以下の説明において示され、その説明からある程度明らかとなるか、あるいは本発明を実施することにより理解されよう。本発明の目的及び利点は、特に添付の請求の範囲により示される方法、処理、手段及び組合せにより実現され取得されうる。

フィルタ表現の分解能が現在のフィルタ応答に適応する方法及びシステムを説明する。これは、アプリケーションの起動時又はその動作中に異なるフィルタ応答に直面した場合に特に興味深いものである。連続するアプリケーションセットアップの間に変動する可能性のあるフィルタ応答の一例が、アルゴリズムの各ユーザに個別の頭部伝達関数（ＨＲＴＦ）を有する頭部フィルタである。ＨＲＴＦが格納され且つ他のフィルタ応答と組み合わされる場合、格納形式及びＨＲＴＦの係数の数はＨＲＴＦの分散に対して適応可能である。

時間領域入力信号x[t]（時間tの関数である信号振幅）が周波数領域に変換される信号処理システムを考える。そうすると、時間領域入力信号x[t]のＴ個のサンプル（時刻t₁, t₂, ..., t_Tにおいて取得される）が、Ｋ個の周波数領域サンプルX[k]に変換されることになる。その後、時間領域インパルス応答h[t]を有するフィルタが、フィルタの周波数領域インパルス応答H[k]と変換信号X[k]とを乗算することにより変換信号に適用され、フィルタリングされた周波数領域信号Y[k]を取得する。

Y[k] = X[k] H[k] （６）

この演算を図６に示す。この場合、周波数領域に変換するために使用される変換の分解能Ｋによってフィルタ係数の数が決まる。すなわち、分解能Ｋはフィルタ係数の数に等しい。図７を参照すると、周波数領域インパルス応答H[k]の一部のフィルタ係数が互いに等しいか又は略等しい場合、そのような等しい係数のうちの１つの代表値のみを格納するので十分である。この代表値の範囲の周波数帯域は、フィルタ帯域と呼ばれる。１つのフィルタ帯域におけるフィルタ係数が厳密に等しくない場合、適切な代表値は、以下に説明するように誤り基準を最小にすることにより又は適切な平均演算により導出されうる。

各周波数領域インパルス応答H₁[k], H₂[k], ..., H_F[k]を有するＦ個の直列に接続された個々のフィルタ、すなわちカスケード接続されたＦ個のフィルタを考える場合、結果として得られる全体の周波数領域インパルス応答H[k]は、図８を参照して与えられるようなベクトルの乗法演算により取得される。

H[k] = H₁[k]H₂[k]…H_F[k] （７）

全てのカスケードフィルタがいくつかの周波数範囲において一定であるか又は略一定である場合、全体のフィルタ周波数領域インパルス応答H[k]を導出するのに必要な乗算の数はF・KからF・Iに減少できる。ここで、Iはフィルタ応答H₁〜H_Fを表すのに必要な周波数帯域の数であり、I ＜ Kである。これは、演算量及び記憶容量がK/Iだけ減少することに対応する。Ｋ個の変換帯域からＩ個のフィルタ帯域にマッピングする一例を図１１に示す。図１１において、各フィルタ帯域は少なくとも２つの変換帯域に亘る。垂直方向の矢印は、フィルタ帯域から変換帯域へのマッピングを示す。

かかる減少の後、新たなフィルタ応答H_{1_red}[i], H_{2_red}[i], ..., H_{F_red}[i]が取得される。ここで式（７）の乗算が示される図９を参照すると、iは１〜Ｉの範囲である。フィルタ帯域への縮小は、演算量を増加させる図７及び図９のボックス「展開論理」で表される追加の論理と、単純な例において記憶空間の要求を増加させるフィルタ帯域から変換帯域へのマッピングのテーブルとを必要とする。しかし、複数のカスケードフィルタが提供される場合、演算量及び記憶空間の要求は全体的に減少されるであろう。

本明細書で説明されるような方法は、２つの主な特徴を含む。
・フィルタの記憶及び計算に対するフィルタの適応周波数分解能。
・フィルタ応答を表す帯域を見つける方法。

フィルタ応答H[k]、k = 1, 2, ..., Kを与えられるフィルタ帯域の所望の数Ｉを適応的に見つける反復的アルゴリズムの一例の概略を、図１０のフローチャートを参照して以下のステップで示す。

１．フローチャートのステップ１０１を参照すると、フィルタ帯域の数Ｉを１に初期化する。これにより初期フィルタ帯域は周波数範囲全体に亘る。

２．フローチャートのステップ１０３において、全てのフィルタ帯域におけるフィルタ応答H[k]の分散σ²[i]を見つける。

ただし、B_iはフィルタ帯域iにマッピングする全ての変換帯域kのセット、K_iはB_iのサイズである。

３．フローチャートの次のステップ１０５において、分散σ²[i]が最大となるフィルタ帯域iを２つの部分に分割して、フローチャートのステップ１０７において、Iを１増加させる。

４．フローチャートのステップ１０９により、数Iが帯域の所望の数又は所定の数に到達するまで、あるいは、ある基準が満たされるまで、上記ステップ２及びステップ３を繰り返す。

ステップ３の分割演算及びステップ４の停止基準は種々の方法で実現される。ステップ３の分割に対する可能なオプションの例は以下の通りである。

ａ）最大の分散σ²を有するように見つけられた帯域は、K_iが奇数である場合に２つの同等の大きさの部分又は略同等の大きさの部分に分割される。

ｂ）分散最小化法：最大の分散σ²を有するように見つけられた帯域は、結果として得られる２つの帯域の分散の合計σ₁ ² + σ₂ ²が最小となるように分割される。ここで、σ₁ ²及びσ₂ ²はそれぞれ、その分割の結果として得られる第１の帯域及び第２の帯域の分散を示す。

ｃ）スペクトル平坦性最大化法：最大の分散σ²を有するように見つけられた帯域は、全体のスペクトル平坦性flat₁ + flat₂が最大となるように分割される。スペクトル平坦性は以下のように定義される。

ｄ）等価矩形帯域幅（ＥＲＢ）法：結果として得られる帯域が中心周波数の周囲の１つのＥＲＢの相等分数になるように、最大の分散を有する帯域を分割する。この場合、この方法の目的は、双方の帯域が知覚的に等しい大きさとなることである。ＥＲＢは、例えばB.C.J Mooreの「An Introduction to the Psychology of Hearing」Academic Press, Longon、１９８９年、１０５〜１０９ページにおいて定義されている。

ERB(f) = 0.108f + 24.7 （９）
ただし、fは、単位がＨｚの帯域の中心周波数である。

上記ステップ４の種々の停止基準は、帯域の所望の数N又は忠実度基準に関連する。種々の忠実度基準の例は以下の通りである。

ａ）最大分散：所定の帯域のうちの任意の帯域において観測される最大の分散が閾値以下になるまで帯域を分割する。

ｂ）最小スペクトル平坦性：所定の帯域のうちの任意の帯域における最小スペクトル平坦性が閾値以下になるまで帯域を分割する。

ｃ）ＥＲＢの最大値：観測されるＥＲＢの最大値が閾値以下になるまで帯域を分割する。

上記ステップ３の分割基準及びステップ４の停止基準が合致しない場合、アルゴリズムが無限ループに入らないように注意する必要がある。例えば、相対的に広い帯域がゼロ分散に到達し、それ以上分割されないことが可能である。しかし、この場合、最大値ＥＲＢ基準はアルゴリズムを終了しない。

例えば上述のＦ個のカスケードフィルタ又は以下に説明するようなＨＲＦのセットの場合、同一のフィルタ帯域がフィルタのセットに対して使用される時、図１０に示すアルゴリズムは全てのフィルタに同時に対処するように変更される必要がある。そのような変更の一例は、上記反復的アルゴリズムのステップ２を変更することである。変更は、その帯域で観測される最大分散である分散σ²[i]を見つけることである。

ただし、f∈{1...F}は関係するフィルタの指標である。

分割手順の終了後、新たなフィルタ係数が計算され、フィルタとフィルタ帯域との間のマッピングがテーブルに格納される。新しいフィルタ係数は、誤り基準を最小にすることにより計算される。例えば、帯域k₁からk₂が１つのフィルタ帯域に組み合わされる場合、可能な誤り基準は以下の通りである。

この誤り基準は以下のように設定することにより最小化される。

上述の適応フィルタ表現は、時間領域インパルス応答又は差分方程式（式（１））の係数に適用される。

更に、適応フィルタ表現は時間で変動するフィルタに適用され、時間で変動するフィルタのセット全体の表現の分解能を見つけるか又は特定の時間において個々のフィルタの表現の分解能を見つける。

また、方法は画像処理等で使用される多次元フィルタに適用される。この場合、フィルタのインパルス応答は数次元で規定される。すなわち、フィルタは応答H[k₁, k₂,..., k_D]を有する。ここで、Ｄが次元数である。この場合、係数のグループ化は種々の幾何学形状に亘る。すなわち、係数は単一の係数H_red[i]により置換される。ここで、G_k1, ... G_kDは新しい係数iにマップされる係数k₁, ..., k_Dのセットである。

フィルタ帯域への縮小に対する上記方法の応用例は、ＭＰＥＧサラウンド復号器の拡張であり、例えば、前述した、ISO/EC 14496-3:200X/PDAM 4, MPEG Surround N7530、２００５年１０月、Nice, Franceの文献を参照されたい。

図１２を参照すると、上記ISO/EC文献において特定されるようなＭＰＥＧサラウンド復号器の信号処理部は７１個のハイブリッド帯域に対して動作し、空間化を表すパラメータは２０個のパラメータ帯域の分解能で復号器に送信され、パラメトリックサラウンド復号器に対して例えば図４のブロック１７を比較する。パラメータ帯域からハイブリッド帯域へのマッピングは上記文献のTable A.30で与えられ、適応可能ではない。

７１個のハイブリッド帯域を有するハイブリッド領域の周波数分解能は、ＨＲＦの表現に対して必要以上に高い。殆どのリスナーのＨＲＦは低分解能で正確に表される。すなわち、式（４）のマトリクスM₃ ^n,kに亘るフィルタは更に低い周波数分解能で領域において表される。しかし、パラメータ帯域の分解能は粗すぎる。上述のようにフィルタ帯域へ縮小する方法は、ＨＲＦの特徴に適応可能な不均一の分解能を見つける方法を提供する。

結果として得られる周波数帯域は、それらが提供する周波数分解能が高品質のバイノーラルレンダリングを実行するのに十分であるため、バイノーラル帯域と呼ばれる。パラメータ帯域の存在を考慮するために、上述のアルゴリズムの初期化は、フィルタ帯域（この応用例においてはバイノーラル帯域）をパラメータ帯域と等価に設定するように変更される。従って、パラメータ帯域はフィルタ帯域の初期のセットとして考えられる。更に、パラメータ帯域を分割する場合、アルゴリズムはパラメータ帯域とバイノーラル帯域との間及びバイノーラル帯域とハイブリッド帯域との間のマッピング機能を常時監視する必要がある。ＨＲＦの調査したセットの殆どを表現するのに、I = 30個のバイノーラル帯域で十分であることが分かる。

変更されたシステムは、３つの異なる周波数分解能を提供する。
１．上述のISO/EC文献において説明されるように、マトリクスM₁ ^n,k及びM₂ ^n,kの導出を可能にする符号化空間パラメータを表すのに使用されるパラメータ帯域。
２．ミキシングマトリクスM_2r ^n,kをＨＲＴＦと組み合わせてパラメータ変更マトリクスにするために使用されるバイノーラル帯域。ＨＲＴＦはこの分解能で格納される。
３．マトリクスM₄ ^n,kを使用して信号マトリクスw^n,kを含む組合せパラメータの処理を実行するために使用されるハイブリッド帯域。

結果として得られるシステムを図１３に示す。なお、マッピングの要素となるパラメータのみがマッピングの結果として得られる種々の帯域に複写されるため、マッピング機能は計算上単純である。

本発明の利点は、例えば以下のとおりである。

１．フィルタ応答又はカスケード接続されたフィルタの応答を格納するのに必要とされるメモリ量が、減少し、かつ、観測されるフィルタ又はカスケード接続されたフィルタに対して適応化される。

２．カスケード接続されたＦ個のフィルタの計算にかかる演算量がF・K個の乗算からF・I個の乗算に減少する。ここで、Kはオリジナルの変換の分解能であり、I ＜ Kは本明細書で説明した方法で使用される分解能である。

上述のアルゴリズムの選択に依存して、所定の演算量及び記憶容量の減少に対するフィルタ表現の品質が最大となる。あるいは、必要とされる演算量及び記憶容量は、フィルタ表現の所定の忠実度に対して最小となる。

ＭＰＥＧサラウンド復号器におけるバイノーラル復号化の例においては、演算量及び記憶容量が1/2.37に減少、すなわち帯域の数のK = 71からI = 30に減少する。更にこの例においては、頭部伝達関数は復号器に送信されるパラメータと組み合わされ、信号と乗算されるミックスマトリクスになる。バイノーラル帯域におけるＨＲＴＦの表現を導入することにより、それらミックスマトリクスの計算は単純化される。Ｋ個の異なるマトリクスを計算する代わりに、計算する必要があるのはＩ個の異なるマトリクスのみとなる。

本明細書において本発明の特定の実施形態を図示し且つ説明したが、多くの他の実施形態が考えられ、多くの追加の利点、変形及び変更が本発明の趣旨の範囲から逸脱せずに当業者により容易に行われることが理解されよう。従って、より広い面における本発明は、本明細書において示され且つ説明された特定の詳細、代表的な装置及び例に限定されない。添付の請求の範囲及びその等価物により規定されるような一般的な本発明の概念の趣旨の範囲を逸脱せずに、種々の変形が行われうる。従って、添付の請求の範囲は、本発明の趣旨の範囲内に入るような全てのそのような変形及び変更を含むことを意図することが理解されよう。多くの他の実施形態は、本発明の趣旨の範囲から逸脱せずに考えられる。

略語リスト：
ＡＡＣ：Advanced Audio Coding
Ｃ：中央、５．１サラウンドシステムの６つのマルチチャネル信号の１つ
ＥＲＢ：等価矩形帯域幅
ＦＩＲフィルタ：有限インパルス応答フィルタ
ＨＲＦ：頭部フィルタ
ＨＲＴＦ：頭部伝達関数
ＭＰＥＧ：Moving Picture Experts Group
Ｌ：左、５．１サラウンドシステムの６つのマルチチャネル信号の１つ
ＬＦＥ：低周波、５．１サラウンドシステムの６つのマルチチャネル信号の１つ
ＰＤＡ：パーソナルデジタルアシスタント
Ｒ：右、５．１サラウンドシステムの６つのマルチチャネル信号の１つ
ＳＬ：サラウンド左、５．１サラウンドシステムの６つのマルチチャネル信号の１つ
ＳＲ：サラウンド右、５．１サラウンドシステムの６つのマルチチャネル信号の１つ

５．１オーディオ信号の可能な３Ｄオーディオレンダリング又はバイノーラルレンダリングを示すブロック図である。パラメトリックマルチチャネル符号化及び復号化システムの原理を示す概略図である。パラメトリックマルチチャネルオーディオ符号器を更に詳細に詳細に示す概略図である。パラメトリックマルチチャネルオーディオ復号器を更に詳細に示す概略図である。復号化マルチチャネル信号の３Ｄオーディオレンダリングを示す概略図である。フィルタインパルス応答により周波数領域信号のベクトルの乗算を示す概略図である。図６に類似する、フィルタ帯域に縮小されたフィルタインパルス応答が使用される時の乗算を示す図である。フィルタインパルス応答がカスケードフィルタから導出される例を示す図６に類似する図である。図８に類似する、フィルタ帯域に縮小されたフィルタインパルス応答がカスケードフィルタに対して使用される時に必要とされる乗算を示す図である。フィルタ帯域を見つけるための手順を示すフローチャートである。Ｋ個の変換帯域からＩ個のフィルタ帯域へマッピングする一例を示す概略図である。バイノーラル帯域を使用せずに、パラメータ変更マトリクスがハイブリッド領域のミックスマトリクスと組み合わされる方法を示す概略図である。バイノーラル帯域が使用される例を示す図１２に類似する図である。マルチチャネルサラウンドサウンドの個人化バイノーラル復号化に対する一例を示す概略図である。ＭＰＥＧサラウンド復号器における空間オーディオ処理を示す一般的な概略図である。個人化バイノーラル復号化のためのデバイスを示す概略図である。パラメータが組み合わされる方法を更に示す図１４に類似する図である。

Claims

入力信号を処理するための方法であって、
フィルタ係数のセットにより表されるデジタルフィルタに前記入力信号を供給する供給ステップと、
前記デジタルフィルタにより前記入力信号をフィルタリングするフィルタリングステップと、
を有し、
前記フィルタ係数のセットは、前記フィルタリングステップの前に、縮小フィルタ係数により表されると共に縮小フィルタ係数として格納された、オリジナルデジタルフィルタに対応する縮小デジタルフィルタから展開されたものであり、前記縮小フィルタ係数の少なくとも１つは前記オリジナルデジタルフィルタにおける前記フィルタ係数のうちの２つに一致するか又は略一致し、
前記縮小デジタルフィルタは、
前記オリジナルデジタルフィルタの前記フィルタ係数を互いに比較する比較ステップと、
前記比較の結果に従って、互いに等しいか又は互いに十分近接するフィルタ係数を組み合わせてフィルタ係数のサブセットにする組合せステップと、
により取得され、各サブセットは、当該サブセットのフィルタ係数から取得される縮小フィルタ係数により表されることを特徴とする方法。
前記オリジナルデジタルフィルタが複数のオリジナルの要素デジタルフィルタの積である場合、前記比較ステップにおいて、前記要素デジタルフィルタの各々のフィルタ係数が互いに比較され、前記組合せステップにおいて、互いに等しいか又は互いに十分に近接する前記要素デジタルフィルタの各々のフィルタ係数が組み合わされてサブセットになり、各サブセットは、当該サブセットのフィルタ係数から取得される縮小フィルタ係数により表され、全ての要素デジタルフィルタに対するフィルタ係数のセットのサブセットは互いに等しいことを特徴とする請求項１に記載の方法。
前記入力信号は時間に依存する信号であり、前記フィルタ係数はそれぞれ、異なる周波数に対応することを特徴とする請求項１に記載の方法。
前記比較ステップにおいて、隣接する周波数に対する前記オリジナルデジタルフィルタのフィルタ係数が比較され、これにより、前記組合せステップにおいて、隣接する周波数に対するフィルタ係数のみが組み合わされ、形成される１つ以上のサブセットがそれぞれ別個の周波数帯域に亘るものになることを特徴とする請求項３に記載の方法。
前記オリジナルデジタルフィルタを表す前記フィルタ係数のセットは、当該オリジナルデジタルフィルタの周波数インパルス応答であることを特徴とする請求項１に記載の方法。
前記オリジナルデジタルフィルタを表す前記フィルタ係数のセットは、当該デジタルフィルタの時間インパルス応答であることを特徴とする請求項１に記載の方法。
前記オリジナルデジタルフィルタを表す前記フィルタ係数のセットは、当該デジタルフィルタを特徴付ける差分方程式の係数のセットであることを特徴とする請求項１に記載の方法。
前記比較ステップにおいて、前記オリジナルデジタルフィルタを表す前記係数のサブセットの分散が比較されることを特徴とする請求項１に記載の方法。
前記比較ステップ及び前記組合せステップは、
サブセットの数を１に初期化して、初期サブセットが前記オリジナルデジタルフィルタを表す全ての係数を含むようにする初期化ステップと、
前記オリジナルデジタルフィルタの全てのサブセットにおける前記係数の分散を判定する判定ステップと、
前記分散が最大となるサブセットを２つの部分に分割して、サブセットの数を１増加させる分割ステップと、を有し、
停止基準が満たされるまで、前記判定ステップ及び前記分割ステップを繰り返すことを特徴とする請求項１に記載の方法。
前記分割ステップにおいて、前記最大の分散を有するサブセットは、２つの等しい大きさの部分又は可能な限り略等しい大きさの部分に分割されることを特徴とする請求項９に記載の方法。
前記分割ステップにおいて、前記最大の分散を有するサブセットは、分割によって得られる２つのサブセットの分散の合計が最小となるように分割されることを特徴とする請求項９に記載の方法。
前記分割ステップにおいて、前記最大の分散を有するサブセットは、分割によって得られる２つのサブセットのスペクトル平坦性の和が最大となるように分割されることを特徴とする請求項９に記載の方法。
前記分割ステップにおいて、前記最大の分散を有するサブセットは、結果として得られるサブセットが中心周波数の周囲の１つの等価矩形帯域幅の相等分数になるように分割されることを特徴とする請求項９に記載の方法。
前記判定ステップ及び前記分割ステップは、前記サブセットの数が所定数になるまで繰り返されることを特徴とする請求項９に記載の方法。
前記判定ステップ及び前記分割ステップは、結果として得られるサブセットのうちの任意のサブセットにおいて観測される前記最大の分散が閾値以下となるまで繰り返されることを特徴とする請求項９に記載の方法。
前記判定ステップ及び前記分割ステップは、結果として得られるサブセットの帯域のうちの任意の帯域における最小スペクトル平坦性が閾値以下となるまで繰り返されることを特徴とする請求項９に記載の方法。
前記判定ステップ及び前記分割ステップは、結果として得られるサブセットにおける等価矩形帯域幅の最大値が閾値以下となるまで繰り返されることを特徴とする請求項９に記載の方法。
入力信号を処理するための装置であって、
縮小デジタルフィルタの縮小フィルタ係数を格納するメモリ部分と、
前記縮小フィルタ係数をオリジナルデジタルフィルタのフィルタ係数にマッピングするテーブルを格納するメモリ部分と、
前記オリジナルデジタルフィルタのフィルタ係数と等しいか又はそれに略一致する実際のフィルタ係数を形成するために前記縮小フィルタ係数を展開する論理ユニットと、
前記実際のフィルタ係数を使用して前記入力信号をフィルタリングするフィルタリングユニットと、
を有することを特徴とする装置。
前記縮小フィルタ係数のうちの少なくとも１つは、前記オリジナルデジタルフィルタの少なくとも２つのフィルタ係数に対応し、前記縮小フィルタ係数を格納するのに必要とされる前記メモリ部分は、前記オリジナルデジタルフィルタの前記フィルタ係数を格納するのに必要とされるメモリ部分より小さいことを特徴とする請求項１８に記載の装置。
時間領域の入力信号を処理するための方法であって、
前記入力信号を周波数領域信号に変換して変換入力信号を出力するステップと、
フィルタにおいて、前記変換入力信号の周波数成分の振幅と前記フィルタの周波数領域インパルス応答の係数とを乗算することにより前記変換入力信号をフィルタリングするステップと、
を有し、
前記係数は、係数の縮小セットから導出され、前記縮小セットの係数の少なくとも１つは、前記変換において使用される少なくとも２つの隣接する周波数を範囲に含む周波数帯域におけるフィルタ応答を表すことを特徴とする方法。
オリジナルのフィルタ係数により表されるオリジナルデジタルフィルタを表すフィルタ係数を格納するための方法であって、
前記オリジナルのフィルタ係数を互いに比較する比較ステップと、
前記比較の結果に従って、互いに等しいか又は互いに十分に近接するフィルタ係数を組み合わせてフィルタ係数のサブセットにする組合せステップであって、各サブセットは当該サブセットのフィルタ係数から取得される縮小フィルタ係数により表される、組合せステップと、
前記縮小フィルタ係数及び前記サブセットを前記オリジナルのフィルタ係数にマッピングするテーブルを格納するステップと、
を有することを特徴とする方法。
前記フィルタ係数が別個の周波数と関連付けられる場合、前記比較ステップにおいて、隣接する周波数に対する前記オリジナルデジタルフィルタのフィルタ係数が比較され、これにより、前記組合せステップにおいて、隣接する周波数に対するフィルタ係数のみが組み合わされ、形成される１つ以上のサブセットがそれぞれ別個の周波数帯域に亘るものになることを特徴とする請求項２１に記載の方法。