JP4726875B2 - オーディオ信号処理方法および装置 - Google Patents

Description

本出願人によって出願された「高精度且つ高効率のディジタルフィルタ」と題する国際ＰＣＴ出願第ＰＣＴ／ＡＵ９３／００３３０号には、詳細なインパルス応答関数の効果的で長い畳み込みを可能にすることに加え極めて低いレイテンシを有する畳み込みのプロセスが開示されている。

インパルス応答関数の畳み込みを用いてオーディオ信号に「色」を加え、例えば、ヘッドホン上で再生する際、信号によって「頭の外から」のリスニング体験が得られることは公知である。遺憾ながら、高速フーリエ返還（ＦＦＴ）のような高度なアルゴリズム技術を使用しながらも畳み込みプロセスは、計算時間を過度に必要とすることがしばしばある。サラウンド音の全容量が必要となるときにはよくあることであるが、多チャネルを独立して畳み込ませる必要がある場合、計算要求量が増大することがある。畳み込みのレイテンシ（ｌａｔｅｎｃｙ）に対してリアルタイム制限を課している場合は特にそうであるが、最新ＤＳＰプロセッサは信号の完全な畳み込みのための資源を提供できないことがある。

従って、畳み込みプロセスの全体的品質は実質的に維持しながら、畳み込みシステム全体の処理要求量を削減しようという一般的な必要性がある。

本発明の第一態様に基づき、リスナ周辺の所定の位置に配置した一連の仮想音源を表す一連の入力オーディオ信号を処理して削減したオーディオ出力信号集合を生成し、リスナ周辺に配置したスピーカで再生する方法が提供されている。この方法は、（ａ）各入力オーディオ信号および各オーディオ出力信号について（ｉ）入力オーディオ信号を対応する仮想オーディオ源のインパルス応答のはじめの音および早期反射を実質的に対応するスピーカ装置にマッピングする対応するインパルス応答の初期ヘッド部と畳み込みするステップと、（ｂ）入力オーディオ信号のそれぞれおよびオーディオ出力信号のそれぞれについて（ｉ）オーディオ入力信号から結合ミックスを形成するステップと、（ii）単一畳み込みテールを決定するステップと、（iii）結合ミックスを単一畳み込みテールと畳み込んで結合テール応答を形成するするステップと、（ｃ）オーディオ出力信号のそれぞれについて（ｉ）対応する一連の初期応答と対応する結合テール応答とを結合しオーディオ出力信号を形成するするステップとで構成する。単一の畳み込みテールは、対応するインパルス応答のテールを結合することによって形成することができる。または、単一の畳み込みテールは仮想スピーカテールインパルス応答の選択した一つとすることができる。理想的には、この方法はさらに（ａ）対応するインパルス応答関数集合を構築すること（ｂ）インパルス応答関数を多数のセグメントに分割すること（ｃ）所定数のセグメントに対しては、セグメントの端部においてインパルス応答値を低減することによってインパルス応答関数を前処理するステップを含む。

入力オーディオ信号は周波数領域に変換し、畳み込みは周波数領域において実行することが望ましい。ゼロにしたより高い周波数係数を使用することが好ましい場合には、より高い周波数係数をゼロにし、乗算ステップを除去することによって、周波数領域においてインパルス応答関数簡略化が可能である。

畳み込みは、低レイテンシの畳み込みプロセスを用いて実行することが好ましい。低レイテンシの畳み込みプロセスは、入力オーディオ信号の所定の第一ブロックサイズ部分を対応する周波数領域入力関数ブロックに変換するステップと、インパルス応答信号所定の第二ブロックサイズ部を対応する周波数領域インパルス係数ブロックに変換するステップと、周波数領域入力係数ブロックのそれぞれを対応する周波数領域インパルス係数ブロックの所定のもので所定の方法で結合し、結合した出力ブロックを生成するステップと、結合した出力ブロックの所定のものを纏めて付加し、オーディオ出力信号のそれぞれに対し周波数領域出力応答を生成するステップと、周波数領域出力応答を対応する時間領域オーディオ出力信号に変換するステップと、および時間領域オーディオ出力信号を出力するステップとを含むことができることが好ましい。

本発明の別態様に基づき、リスナ周辺の所定の位置に配置した一連の仮想音源を表す一連の入力オーディオ信号を処理して削減したオーディオ出力信号集合を生成し、リスナ周辺に配置したスピーカで再生する方法が提供されている。この方法は、（ａ）対応するスピーカ装置に対応する仮想オーディオ源を実質的にマッピングする一連のインパルス応答関数を生成するステップと、（ｂ）インパルス応答関数をたくさんのセグメントに分割するステップと、（ｃ）所定の数のセグメントがセグメントの端部においてインパルス応答値を低減させ、変更したインパルス応答を生成するステップスと、（ｄ）入力オーディオ信号のそれぞれおよびオーディオ出力信号のそれぞれが（ｉ）対応する仮想オーディオ音源を対応するスピーカ装置にマッピングする対応する修正インパルスの応答部分に入力オーディオ信号を畳み込みするステップとからなる。

本発明の別の態様に基づき、種々の第一音源からオーディオ信号を表す多数のオーディオ信号を同時に畳み込み、オーディオ環境を第二の一連の出力音源から擬似化し投影することを可能とする方法が提示してある。第二の一連の出力音源は、（ａ）オーディオ環境におかれたとき、第一音源を実質的にマッピングするインパルス応答関数の第一のはじめの部分で多重オーディオ信号の夫々を独立してフィルタ処理するステップ、および（ｂ）インパルス応答関数の後の部分から形成される残響テールフィルタで多重オーディオ信号の残響テールフィルタ処理を可能とするステップからなる。

フィルタ処理は周波数領域における畳み込みを介して行うことが可能であり、オーディオ信号は周波数領域にはじめに変換されることが好ましい。一連の入力オーディオ信号は左前チャネル信号、右前チャネル信号、前中央チャネル信号、左後チャネル信号および右後チャネル信号を含むことが可能である。オーディオ出力信号は左右の出力信号を含むことができる。

本発明は多数の異なる方法で実施することが可能である。例えば、ＣＤ−ＲＯＭプレーヤ・ユニット内に配置するスキップ防止プロセッサ・ユニットを利用すること、修正形態のディジタル／アナログコンバータからなる専用集積回路を利用すること、専用またはプログラム可能なディジタル信号プロセッサを利用すること、または、アナログ／ディジタルコンバータとディジタル／アナログコンバータとの間を相互接続したＤＳＰプロセッサを利用することである。あるいは、本発明は音出力信号生成器と一対のヘッドホンの中間に接続された、別個に分離可能な外部装置上で実行することが可能であり、この音出力信号はディジタル形態に出力され外部装置によって処理される。

別の修正は、可変制御を用いてインパルス応答関数を所定の方法で変更することを含むことができる。
本発明の範囲内に該当する形態は他にもあるが、これより、添付図面を参照しながら本発明の好適な形態を見本としてのみ説明することとする。

好適および他の実施例の説明
好適実施例においては、一連の入力信号の最大長の畳み込みを各耳用のインパルス応答関数に近似させ、出力が左右の耳に合計されヘッドホン上で再生されることが望ましい。

図１を参照すると、それぞれをまとめて２で表記してあるが、左前、中央前、右前、左サラウンド、右サラウンドおよび低周波数効果チャネルからなる信号の６個の入力ドルビーサラウンド音集合の全畳み込みプロセスが示されている。各チャネルに対して、左および右インパルス応答関数が用いられている。したがって、左前チャネル３に対しては、対応する左前インパルス応答関数４が左の信号と畳み込まれる６。左前インパルス応答関数４は、理想的な位置に置かれた左前チャネルスピーカから出力される理想的なスパイクに対する左耳が受け取るインパルス応答である。出力７はヘッドホンの左チャネル信号に合計される１０。

同様に、左チャネルスピーカの右耳用の対応するインパルス応答５は、左前信号と畳み込みされて（８）出力９を生成し、右チャネルに合計される１１。他の信号のそれぞれにも同様なプロセスを行う。
したがって、図１の構成は６個の入力信号に対しほぼ１２の畳み込みステップを必要とする。このように大きな数の畳み込みは、所望の長い畳み込みが使用される場合に特にそうであるが、ＤＳＰチップにとって極めて厄介になる可能性がある。

ここで図２を参照すると、標準的な「オーバーラップおよびセーブ」畳み込みプロセスが示されている。これは、ジョンプロアキスおよびディミティスマノラキス、マクミラン出版社（Ｊｏｈｎ Ｐｒｏａｋｉｓ and Ｄｉｍｉｔｉｓ Ｍａｎｏｌａｋｉｓ、ＭｃＭｉｌａｎ Ｐｕｂｌｉｓｈｉｎｇ Ｃｏｍｐａｎｙ）による、１９９２年の「ディジタル信号処理」のような標準的なテキストに十全に掲載されている。

図２に示されている伝統的なオーバーラップおよびセーブ方法においては、入力信号２１はディジタル化され、Ｎサンプルブロック２２に分けられる。Ｎは通常、２の累乗である。同様に、長さＮのインパルス応答２３は、通常は所望の環境測定値を取ることによって決定され、長さ２Ｎになるようゼロ挿入される。第一マッピング２４をインパルス応答２３の２Ｎブロックに行い、実係数および虚係数を有するＮ個の複素数を形成する。次にＦＦＴを用いてＮ個の周波数係数を生成する。ステップ２４は処理開始前に一度実行し、対応する周波数領域係数２５を格納しておいて、後で使用することが可能である。

次に、入力オーディオの長さ２Ｎのブロックを受け、再び高速フーリエ変換を用いて２Ｎ個の実入力値に対応する対応周波数領域データ２８を決定する。次に、データの二つの集合をエレメントごとに乗算３０し、周波数領域データ３１を生成する。次に、逆フーリエ変換を行い２Ｎ個の実数値を生成し、第一のＮ個３４が廃棄され、第二のＮ個３５が出力オーディオの出力値３６となる。図２に例示されたプロセスは、標準の周波数領域畳み込みプロセスとして公知である。しかしながら、遺憾なことには、入力データをブロックに集める必要があるために、さらにＦＦＴプロセスが有限の時間がかかるために、Ｎの値によっては（処理時間は、Ｏ（ＮｌｏｇＮ）である）、はじめの２Ｎ個の入力値が最初のＦＦＴ２７に入力されるときから、逆ＦＦＴ３２からのその後の出力までの間に一定のレイテンシすなわち遅延が出る。この遅延すなわちレイテンシは時には、リアルタイム要求を満たす必要がある場合は特にそうであるが、極めて望ましくない。

前述のＰＣＴ出願第ＰＣＴ／ＡＵ９３／００３３０において、リアルタイム使用に好適なきわめて低いレイテンシの畳み込みプロセスを可能とする方法が開示されていた。前述のＰＣＴ明細書を参照し、ＦＦＴ周波数領域オーバーラッププロセス４１によってオーディオ入力がまず周波数領域に変換される低レイテンシプロセスの基本ステップ４０を例示する図３を参照しながら、これより、低レイテンシプロセスについて短く論じることにする。周波数領域データは格納され４２、次に、各畳み込み「サイクル」の後、次の格納ブロック、例えば４３、４４に渡される。周波数領域データ、例えば４２は、まず、インパルス応答関数の最初の部分に対応する対応周波数領域係数５１と要素ごとに乗算５０する。

同時に、以前に遅延された周波数領域データ４３をインパルス応答関数の後の部分に対応する周波数領域係数５３と乗算する（５４）。このステップは、残りのインパルス応答関数にも繰り返して行う。出力はエレメントごとに合計５６して、全ての周波数領域データを生成し、逆高速フーリエ変換し、データの半分を廃棄５７してオーディオ出力５８を生成する。図３の構成によって、きわめて長い畳み込みを低レイテンシで行うことが可能となる。

図３の全般的なプロセスを用いて図１と同等の全般的なプロセスを行うことが可能である。これは図４に示されている。そこでは、６個の入力チャネル、例えば６０の夫々がＦＦＴオーバーラッププロセス６１を用いて最初に周波数領域に変換される。次に、各チャネルは、周波数領域において、インパルス応答関数に対応する周波数領域係数と結合６２される。また、周波数領域プロセス６２は、周波数成分を足し合わせ、左および右出力６４、６５を形成することを含むこともできる。最後に、逆周波数領域廃棄プロセス６６、６７を用いて、左および右チャネル出力を生成する。

必要な畳み込み数を簡略化することによって、計算要求量をかなり削減することができる。
ここで図５を参照すると、好適実施例において実行された簡略化の一形態が示されている。そこでは、中央チャネル７０は利得因数７１を乗算され、左および右チャネルに夫々加算７２、７３される。同様に、低周波数効果チャネル７１の部分が他のチャネルの夫々に加算される。

次に、これらの信号をフーリエ変換オーバーラッププロセッサ７５、７８にかける。計算集約的なフーリエ変換プロセスを行うチャネルの数は６から４に削減される。次に、フーリエ領域プロセス８４を用いて出力７９、８９を生成し、そこから逆フーリエ変換および廃棄プロセス８２、８３を用いて左右のチャネルを残す。
ここで図６を参照すると、左耳について図５のプロセスの理想的な最終結果の全体が概略的に示されている。そこでは、４つの入力信号９０が夫々対応する最大長の有限インパルス応答フィルタ９１ないし９４にかけられ、その後、合計９５されて対応する出力信号９６を形成する。遺憾なことに、高レベルのリアルさを得るためには、きわめて長いインパルス応答関数をしばしば利用しなければならない。例えば、およそ７，０００タップのタップ長のインパルス応答関数は、標準的な４８ＫＨｚオーディオ信号にはまれではない。図６の構成では、ここでもまた、過度の計算要求はフィルタの長さを延ばす結果となる。

インパルス応答係数の詳細の分析およびある実験は、音源の正確な位置確認に必要な手がかりの全ては直接および最初の数次の反射の時間内に含まれており、インパルス応答の残りは、音響環境の「サイズ」および「活気」を強調するのに必要なだけであるということを示している。この観察を用いると応答（例えば最初の１０２４個のタップ）のそれぞれの直接的または「ヘッド（先頭）」部分を反饗または「テール」部分から分けることが可能である。「テール」（ｔａｉｌ，末尾）部分は全て合計することが可能であり、得られたフィルタは個々の入力信号の合計で励起することが可能である。この簡略実施を図７に概略的に示す１００。ヘッドフィルタ１０１ないし１０４は、短い１０２４タップフィルタであることが可能であり、信号は合計１０５され、およそ６０００タップを有することができる拡大テールフィルタに供給され、結果は合計１０９されて出力される。右耳に対しこのプロセスを繰り返す。結合したテールを使用することにより、二つの方法で計算要求量が削減される。第一に、リアルタイムに計算する必要のある畳み込み合計の項数の明らかな削減がある。この削減は入力チャネルの数の倍数による。第二に、テールフィルタ計算の計算レイテンシは、テールフィルタの最初のタップを各ヘッドフィルタの最後のタップと揃えるのに十分な短さであればよい。オーバーラップ／加算、オーバーラップ／セーブまたは、前述のＰＣＴ出願の低レイテンシ畳み込みアルゴリズムのようなブロックフィルタ実施技法を用いた場合、このことは、任意的に、より大きなブロックを用いれば、テールをヘッドよりも低いフレームレートで実施することが可能であることを意味している。

ここで図８を参照すると、図７の結合テールシステムを実施する際の周波数領域処理の全体のフローチャートが詳細に示されている。図８の構成１１０は、図５における８４のような周波数領域プロセスとして動作することを意図している。全体システムは、総和１１１および１１２を含み、夫々左チャネルおよび右チャネルに出力する。４個の入力は前左、前右、後左および後右であり、左右対称に処理され、最初の入力は遅延格納ブロック１１３に格納され、インパルス応答の最初の部分から導出される周波数領域係数１１５を乗算され１１４、出力は加算機１１１に向かう。右チャネルも対称的に処理し、右チャネル出力を生成するが、ここではこれ以上は論じない。

「サイクル」後、遅延したブロック１１３を遅延ブロック１２０に送る。これはデータブロックポインタの単なる再マッピングでもよいことはＤＳＰプログラミング技術の当業者には明らかであろう。次のサイクルの間、係数１２１がブロック１２０内のデータと乗算１２２され、出力は左チャネル加算器１１１に送られる。係数１１５および１２１の二つの集合はインパルス応答関数のヘッド部分に対応する。各チャネルは左および右の出力チャネル毎に個別化されたヘッド関数を有する。

遅延ブロック１２０，１２５，１２６および１２７からの出力を加算器１３０に送り、合計を遅延ブロック１３１に格納する。遅延ブロック１３１およびその後の遅延ブロック、例えば１３２，１３３は、結合テールフィルタを実装し、遅延ブロック１３１に格納された第一セグメントは係数１３７を乗算１３６されて、左チャネル合計１１１に送られる。次のサイクルにおいては、遅延サイクル１３１はブロック１３２に送られ、残りの遅延ブロック、例えば１３３について実行したのと同様のプロセスが実行される。ここでもまた、右チャネルは対称的に処理される。

好適実施例の構築において用いられるたくさんのインパルス応答関数またはその部分があることは、前述の論述から明らかであろう。これより、最初は図９を参照しながら、周波数領域係数ブロックの生成のプロセスの最適化についてさらに論じる。要求される周波数領域係数を決定するために、インパルス応答１４０を長さＮの多数のセグメント１４１に分割する。各セグメントに追加的なＮ個の値ゼロのデータ値を挿入１４２してから、Ｎ個の複素データに対するＦＦＴマッピングを適用１４３して値をＮ個の周波数領域係数１４４に変換する。このプロセスを繰り返してその後の周波数領域係数１４５，１４６，１４７を得ることができる。

図９のセグメント分割プロセスを用いることにより、不自然に高い周波数成分が生じる可能性がある。これは、セグメント分割プロセスおよびその高速フーリエ変換との相互作用の直接の結果である。高速フーリエ変換は、端のデータ値における不連続を近似する周波数成分を生じねばならないのである（ＦＦＴはデータサイズで割った余りについては周期的である）。結果として得られるＦＦＴは、実質的にこの不連続の結果として存在する極めて高い周波数成分を有することがよくある。好適実施例においては、本プロセスは、ゼロである周波数領域成分の集合のためにかなりの量の計算が廃棄できるところまで高周波数成分を削減するように行うことが望ましい。帯域の限られた周波数領域係数ブロックを作成するこのプロセスを、図１０を参照しながら論じる。

最初のインパルス応答１５０をここでも長さＮのセグメント１５１に分割する。次に、各セグメントを長さ２Ｎになるよう挿入１５２する。次に、データ１５２に漸進的端部１５６，１６７を含む「ウインドウイング(ｗｉｎｄｏｗｉｎｇ)」関数１５３を乗算する。前記の二つの端部は、データシーケンス１５１の端をゼロの値にマッピングする一方、その間では情報を保持するように設計する。得られた出力１５９は点１６０，１６１ではゼロの値を含む。次に、出力１５９は実ＦＦＴプロセスにかけられ、廃棄可能ないくつかのごく小さい成分１６６に加えてフーリエ変換のより低い周波数領域においていくつかのより大きな係数１６７を有する周波数領域係数１６５を生成する。したがって、インパルス応答データの対応部分を表す周波数領域成分として、周波数領域成分の最終的な部分集合１６９が用いられる。

成分１６６を廃棄することは、畳み込みプロセス中は、限られた形態の畳み込み処理を実行するだけでよく、Ｎ個の複素係数の全集合の乗算することは不必要であるということを意味している。Ｎ個の複素係数のかなりの部分は０だからである。これはまた、畳み込みプロセスの計算必要量が限定されることにおいて効率性利得を高めることになる。さらに、係数廃棄の結果、データおよび係数格納のいずれも削減することができるという事実を利用することによって、アルゴリズムのメモリ要求量の大幅削減が可能になる。

好適実施例では、Ｎは５１２に等しく、ヘッドフィルタは長さが１０２４タップであり、テールフィルタは長さが６１４４タップである。したがって、ヘッドフィルタはそれぞれ二つのブロックの係数から構成され（図８に示すように）、テールフィルタはそれぞれ１２ブロックの係数から構成される。本好適実施例では、全てのヘッドフィルタおよび各テールフィルタの最初の４ブロックは、係数フーリエ変換の完全な集合を用いて実装され、各テールフィルタの次の４ブロックは、周波数成分の低い方の半分だけが存在する係数ブロックを用いて実装され、さらに、各テールフィルタの最後の４ブロックは、周波数成分の低い方の１／４だけが存在する係数ブロックを用いて実装される。

好適実施例は、より高い周波数のオーディオ入力を用いるが、低い周波数の計算要求を維持することが望ましい状況にも広げることができる。例えば、ディジタルサンプル用に９６ＫＨｚのサンプルレートを採用することは現在、当業界では通常のことであり、従って、やはりこのレートでサンプリングされたインパルス応答の畳み込みを可能とすることが望ましい。図１１を参照すると、より低いインパルス応答サンプルレートを用いた拡大の一形態が示してある。本構成においては、９６ＫＨｚのレートの入力信号１７０は遅延したバッファ１７１に送られる。入力信号はまた、低域通過（ローパス）フィルタ処理され１７２、次に、２対１で４８ＫＨｚのレートにまで間引かれ１７３、それが次に、先に概略を記したシステムに基づいてＦＩＲフィルタ処理される。その上で、サンプルレートが２倍にされ１７５、これに低域通過フィルタ１７６が続く。低域通過フィルタ１７６を出た信号は、遅延バッファ１７１から送られたもとから遅延した入力信号に予め利得因子Ａを乗算したものに加算される１７７。加算器１７７の出力が、畳み込みされたディジタル出力を形成する。

通常は、所望の９６ＫＨｚインパルス応答をｈ₉₆（ｔ）と表すとすると、ｈ₄₈（ｔ）と表される４８ＫＨｚＦＩＲ係数は、LowPass［ｈ₉₆（ｔ）］から導出可能である。この表記は、元のインパルス応答ｈ₉₆（ｔ）が低域通過（ローパス）フィルタ処理されることを意味することを意図している。しかしながら、図１１の改良された方法においては、所望の応答をｈ₉₆（ｔ）と表記し、遅延インパルス応答をΑ・δ（ｔ−τ）と表記すると、ｈ₄₈（ｔ）と表記される４８ＫＨｚＦＩＲ係数は、LowPass[ｈ₉₆（ｔ）‐ Ａ・δ（ｔ−τ）]から導出可能である。利得エレメント１７８から得られる信号が正しい到達時間および大きさを有し、９６ＫＨｚ音響インパルス応答の直接到達部において求められる高周波数成分を生成するように、遅延因子τおよび利得因子Ａの選択を行う。また、遅延および利得という構成を使用する代わりに、疎なＦＩＲを用いて、多数の広帯域および周波数形状のエコーを生成することができる。

したがって、本好適実施例は、全畳み込みシステムの多数の特性を保ちながら、計算量は低減した畳み込みシステムを提供することが理解される。
本好適実施例は、ドルビープロロジック、ディジタル（ＡＣ−３）およびＤＴＳのような多チャネルディジタル入力信号またはサララウンド音入力信号を取り込み、一組以上のヘッドホンを用いて出力する。前述の技術を用いて入力信号を両耳処理し、ヘッドホンを通じて広範囲なソース材料に関するリスニング体験を向上させ、それにより「頭の外から」聞こえるようにし、サラウンド音をますます聞くようにすることが可能である。

このような頭の外からの効果が得られる処理技術があれば、多数の異なる実施例を用いて処理を受け継ぐシステムを提供することができる。例えば、できるだけたくさんの物理的な実施例が可能であり、最終結果は、アナログまたはディジタル信号処理技術あるいは、両方の組み合わせを利用して実行することができる。
純ディジタル実施においては、入力データはディジタル的に時間サンプルされた形式で得られると想定される。コンパクトディスク（ＣＤ）、ミニディスク、ディジタルビデオディスク（ＤＶＤ）またはディジタルオーディオテープ（ＤＡＴ）のようなディジタルオーディオ装置の部分として実施例を実施する場合、入力データは既にこの形態において利用可能である。ユニットがそれ自体で物理的装置として実施される場合、そのユニットは、ディジタルレシーバを含むことができる（ＳＰＤＩＦまたは光学または電気的な同様のもの）。アナログ入力信号だけが利用可能なように本発明を実施する場合、アナログ信号はアナログ／ディジタルコンバータ（ＡＤＣ）を用いてディジタル化する必要がある。

次に、ディジタル入力信号を何らかの形態のディジタル信号プロセッサ（ＤＳＰ）によって処理する。使用可能なＤＳＰの例は以下の通り。

１．当該タスク専用のＤＳＰとして設計されたセミカスタムまたはフルカスタムの集積回路。
２．プログラム可能なＤＳＰチップ、例えばモトローラＤＳＰ５６００２。３．一つ以上のプログラム可能な論理装置。

特定のヘッドホンセットで実施例を使用する場合、インパルス応答関数のフィルタ処理を用いてそれらのヘッドホンの望まれない周波数応答特性を補償することが可能である。
処理後、ディジタル／アナログコンバータ（ＤＡＣ）を使用してステレオディジタル出力信号をアナログ信号に変換し、必要に応じ増幅し、さらに、おそらくは他の回路を介して、ステレオヘッドホン出力に導く。この最終段階は、実施例が内蔵されている場合はオーディオ装置の内部で、また、実施例が別個の装置として実施される場合は、別個の装置の一部として行われる。

ＡＤＣおよび／またはＤＡＣもまたプロセッサとして同じ集積回路に組み込むことも可能である。処理の一部または全部をアナログ領域で行うように実施例を実装することもまた可能である。実施例は「バイノーラライザ（ｂｉｎａｕｒａｌｉｓｅｒ）」効果のスイッチを入れたり切ったりする何らかの方法を有することが望ましく、種々のヘッドホンセット用のイコライザ設定間でのスイッチング方法またはおそらく出力ボリュームを含む、実行される処理の他のバリエーションの制御方法を組み込むことが可能である。

図１２に示された第一の実施例において、処理ステップが、スキップ防止ＩＣに替わるものとしてポータブルＣＤまたはＤＶＤプレーヤに組み込まれている。現在入手可能なＣＤプレーヤの多くは、ＣＤから読み取ったデータをランダムアクセスメモリにバッファリングする「スキップ防止」機能を有している。「スキップ」が検出されると、すなわちユニットがトラックから外れる機構によってオーディオの流れが中断すると、ユニットはＲＡＭからのデータを再生している間にＣＤからのデータを読み取り直すことが可能である。このスキップ防止は、オンチップＲＡＭを有する専用ＤＳＰまたはＲＡＭが外付けの専用ＤＳＰとして時々実施される。

本実施例は、現行デザインの最低限の変更でスキップ防止プロセッサに替わるものとして使用できるように実装される。この実装はフルカスタム集積回路としておそらくは実現可能であり、現行のスキップ防止プロセッサおよび「頭の外から」処理の実行の両方の機能を果たすことができよう。スキップ防止用に既に含まれているＲＡＭの一部を用いて「頭の外から」アルゴリズムを走らせ、ＨＲＴＦ型の処理をすることができる。スキップ防止プロセッサの構築要素の多くは、本発明に記載されている処理にも使用される。かかる構成の例は、図１２に示されている。

この実施例においては、カスタムＤＳＰ２００は、ＣＤまたはＤＶＤプレーヤ２０２内のスキップ防止ＤＳＰに替わるものとして備えられている。カスタムＤＳＰ２００はディスクからの入力データを受け、ステレオ信号をディジタル／アナログコンバータ２０１に出力し、該ディジタル／アナログコンバータ２０１はアナログ出力を与え、そのアナログ出力が増幅されて２０４，２０５左および右のスピーカ出力を与える。カスタムＤＳＰは必要に応じて基板上のＲＡＭ２０６または外部ＲＡＭ２０７を備えることができる。バイノーラライザ（ｂｉｎａｕｒａｌｉｚｅｒ）効果を入れたり切ったりするためのバイノーラライザスイッチ２８を備えることができる。

図１３に示された第二の実施例においては、本処理は、ＤＡＣに替わるものとして（ＣＤ、ミニディスク、ＤＶＤ，またはＤＡＴプレーヤのような）ディジタルオーディオ装置２１０に組み込まれている。この実装においては、ＤＡＣを組み込んだ専用集積回路２１１によって信号処理が行われる。これは、集積回路は現行のＤＡＣと実質上ピン互換性がありうるので、現行デザインには小さな変更を加えるだけで、ディジタルオーディオ装置に容易に組み入れることができる。

カスタムＩＣ２１１は基板上のＤＳＰコア２１２および通常のディジタルアナログ変換装置２１３を含む。カスタムＩＣは通常のディジタルデータ出力を受け、ＤＳＰ２１２およびディジタルからアナログ変換２１３を介して処理を行いステレオ出力を可能とする。ここでもまた、バイノーラライザスイッチ２１４を備え、要求されるバイノーラリゼーション効果を制御することができる。

図１４に示された第三の実施例においては、本処理は、ディジタル信号チェーンにおける追加的な段階２２１として（ＣＤ、ミニディスク、ＤＶＤまたはＤＡＴプレーヤのような）ディジタルオーディオ装置２２０に組み込まれている。この実装においては、ディジタルオーディオ装置の内部に実装し、ＤＡＣ２２２の手前でステレオディジタル信号チェーンに挿入された専用のまたはプログラム可能なＤＳＰ２２１によって信号処理を行う。

図１５に示された第四の実施例においては、本処理は、アナログ信号チェーンにおける追加的な段階として（パーソナルカセットプレーヤまたはステレオラジオ受信機２３０のような）オーディオ装置の中に組み込まれている。この実施例はＡＤＣ２３２を用い、アナログ入力信号を利用する。この実施例はＡＤＣ２３２、ＤＳＰ２３３およびＤＡＣ２３４を組み込んだ単一の集積回路２３１上でおそらくは製造可能である。それは何らかのアナログ処理を組み込むこともできる。これはカセットプレーヤおよび類似の装置の現行デザインの中のアナログ信号チェーンの中に付加して入れることは簡単にできる。

図１６に示された第五の実施例においては、本処理は、ディジタル形態のステレオ入力とともに利用される外部装置として実装される。前述したように、この実施例は、それ自体を物理的ユニットとすることも、または、ヘッドホンセットに一体化したものとすることも可能である。それは、外部のＤＣプラグパック電源から電力を取り入れる選択もできる電池式であることもできる。この装置は、いくつかのＣＤおよびＤＶＤプレーヤまたは類似装置において利用可能な光学または電気形態のディジタルステレオ入力を受ける。入力様式は、ＳＰＤＩＦまたは類似したものであり、ユニットはドルビディジタルＡＣ−３またはＤＴＳのようなサラウンドサウンド様式を支援することができる。また、それは以下に記載するようなアナログ入力を有することもできる。処理は、カスタムＩＣ２４２内部のＤＳＰコア２４１によって行われる。これにＤＡＣ２４３が続く。ＤＡＣがヘッドホンを直接駆動できない場合、追加的なアンプ２４６，２４７をＤＡＣの後に付加する。本発明のこの実施例は、ＤＳＰ、ＤＡＣおよび可能性としては、ヘッドホンアンプを組み込んだカスタム集積回路２４２上で実行可能である。

または、本実施例はそれ自体を物理的ユニットとして実施しすることも、またはヘッドホンセットに一体化したものとすることも可能である。それは、外部のＤＣプラグパック電源から電力を取り入れる選択もできる電池式であることもできる。その装置はアナログステレオ入力を受けＡＤＣを介してディジタルデータに変換する。次に、このデータをＤＳＰを用いて処理し、ＤＡＣを介してアナログに再変換する。この処理の一部または全部を、代わりに、アナログ領域において行ってもよい。この実施例はＡＤＣ、ＤＳＰ、ＤＡＣおよび必要なアナログ処理回路や可能性としてはヘッドホンアンプを組み込んだカスタム集積回路上で製造可能である。

本実施例には、リスナが音源の知覚される距離または環境を変えることができるようにする距離または「ズーム」制御を組み込んでいてもよい。好適実施例ではこの制御はスライダ制御として実装する。この制御が最小のところにある場合、耳のすぐ近くから来るかのように感じられ、実際、両耳効果を施していないプレーンなステレオ音響となることが可能である。この制御を最大に設定すると、音は遠くから来るように知覚される。最低と最大の間で制御変更可能であり、音の「頭の外から」らしさの知覚を制御できる。制御を最小の位置から出発し、最大の方向にスライドすることによって、ユーザは簡単な両耳オン／オフスイッチ（ｂｉｎａｕｒａｌ ｏｎ／ｏｆｆ ｓｗｉｔｃｈ）で調整するよりも素早く両耳効果体験を調整することが可能である。かかる制御の実装は、異なる距離に対しては異なったフィルタ応答集合を利用することを含めることができる。

スライダ機構を有する実装例は図１７に示す。また、オーディオ環境を切り替えるための追加的な制御を備えることも可能である。
さらにまた、前述のものを含めた多様な用途に適合する一般的な集積回路による解決策として実施例を実現することは可能である。この同じ集積回路はヘッドホン出力を持つ殆どいずれのオーディオ装置にも、組み入れることができる。それは、本発明の実装として特定して作った全ての物理的ユニットの基本的な構築要素である。かかる集積回路はＡＤＣ，ＤＳＰ，ＤＡＣ，メモリＩ²Ｓステレオディジタルオーディオ入力、Ｓ／ＰＤＩＦディジタルオーディオ入力、ヘッドホンアンプおよび制御ピンのいくつかまたは全てを含み、種々のモード（例えば、アナログまたはディジタル入力）で装置を動作させることが可能とする。

具体的な実施例に示したように、概括的に記載した本発明の精神または範囲から逸脱することなく多数のバリエーションおよび／または修正を行うことが可能であることを、当業者は認めよう。したがって、本実施例はあらゆる点で、限定ではなく例示とみなすべきである。

全体畳み込み処理を行い、一連の信号を二つのヘッドホン出力チャネルにマッピングするプロセスを概略的に示す図である。 伝統的なオーバーラップおよびセーブＦＦＴプロセスを示す図である。 好適実施例において用いられる低レイテンシプロセスを示す図である。 一般的な周波数領域畳み込みプロセスを概略的に示す図である。 図４のプロセスの第一の簡略化を示す図である。 ヘッドホンの左耳への一連の入力信号の理想的な処理を示す図である。 図６の処理要求量の第一の簡略化を示す図である。 低レイテンシ畳み込みを利用する図７の構成の周波数領域実装をさらに詳細に示す図である。 周波数領域係数を導出する標準的合成プロセスを示す図である。 周波数領域係数生成の修正形態を示す図である。 好適実施例のより高い周波数のオーディオデータへの拡大を示す図である。 本オーディオ処理回路を現行ＣＤプレーヤのスキップ防止機能の代替として使用する実施例を示す図である。 本オーディオ処理回路をディジタル／アナログコンバータと同じＩＣパッケージ内で用いる実施例を示す図である。 本オーディオ処理回路を信号チェーンにおいてディジタル／アナログコンバータの手前で用いる実施例を示す図である。 本オーディオ処理回路をアナログ／ディジタルおよびディジタル／アナログコンバータをもつ構成において使用する実施例を示す図である。 任意的なディジタル入力を含む図１７の回路への拡張を示す図である。 本発明のいくつかの可能な物理的実施例を示す図である。

Claims (15)

1. リスナ周辺の対応する所定の位置群に置かれた仮想オーディオ音源群を表す、あるサンプリングレートでサンプリングされている入力オーディオ信号のセットを処理して、環境中のリスナ周辺に置かれたスピーカ装置群を通じた再生のためのオーディオ出力信号群の縮小セットを生成する方法であって、それぞれの入力オーディオ信号に対応するインパルス応答関数のセットが各スピーカ装置について用意されており、各スピーカ装置について用意された各インパルス応答関数はそのスピーカ装置についてのはじめの部分およびそのスピーカ装置についての後の部分を有しており、前記方法が：
   各スピーカ装置について、各入力オーディオ信号を、そのスピーカ装置について用意されたその入力オーディオ信号に対応するインパルス応答関数のはじめの部分によって特徴付けられるフィルタによってフィルタ処理して、そのスピーカ装置についての前記サンプリングレートの複数の第一のフィルタ処理された信号を生成し、
   前記オーディオ入力信号の組み合わされた混合を形成し、
   各スピーカ装置について、前記組み合わされた混合を、そのスピーカ装置について用意された前記セットのインパルス応答関数の後の部分のうちの一つまたは複数から形成されたそのスピーカ装置についての尾部応答関数によって特徴付けられるフィルタによってフィルタ処理する、ことを含み、
   各スピーカ装置についての前記はじめの部分が、そのスピーカ装置についての前記環境における初期音および早期反射の効果をシミュレートし、各スピーカ装置についての前記尾部応答関数がそのスピーカ装置についての前記環境における残響の効果をシミュレートし、それによりサンプリングレートを下げることなく各スピーカ装置についての初期音および早期反射ならびに残響がシミュレートされる、
   方法。
2. 各スピーカ装置についての前記尾部応答関数が、そのスピーカ装置について用意された前記セットのインパルス応答関数の後の部分を組み合わせることによって形成される、請求項１記載の方法。
3. 各スピーカ装置についての前記尾部応答関数が、そのスピーカ装置について用意された前記セットのインパルス応答関数の後の部分のうちの一つを選択することによって形成される、請求項１記載の方法。
4. 各スピーカ装置について用意された前記インパルス応答関数を事前処理して、そのスピーカ装置について用意された該インパルス応答関数を複数のセグメントに分割し、該複数のセグメントにウインドウイングを適用することをさらに含む、請求項１記載の方法。
5. 前記ウインドウイングがセグメントの両端でインパルス応答関数を小さくして、修正されたインパルス応答を生成することを含む、請求項４記載の方法。
6. 請求項１ないし請求項５のうちいずれか一項記載の方法であって、前記入力オーディオ信号群が周波数領域に変換され、前記複数の第一のフィルタ処理された信号を生成するフィルタ処理が周波数領域において実行され、いくつかのより高い周波数係数をゼロにし、該ゼロに設定されたより高い周波数係数が使われるところでは乗算ステップをなくすことによって、各スピーカ装置についての前記インパルス応答関数が周波数領域において簡略化される方法。
7. 請求項１ないし６のうちいずれか一項記載の方法であって、各スピーカ装置についての前記入力信号および前記組み合わされた混合の前記フィルタリングが、
   前記入力オーディオ信号の第一の所定のオーバーラップするブロックサイズの諸部分を、対応する周波数領域入力係数ブロック群に変換するステップと、
   前記インパルス応答関数の第二の所定のブロックサイズの諸部分を対応する周波数領域インパルス係数ブロック群に変換するステップと、
   前記周波数領域入力係数ブロック群のそれぞれを、所定の方法で、そのスピーカ装置についての対応する周波数領域インパルス係数ブロック群のうちの所定のブロック群と結合し、結合出力ブロック群を生成するステップと、
   前記結合出力ブロック群のうちの所定のブロック群を合計し、各スピーカ装置についての周波数領域出力応答を生成するステップと、
   前記周波数領域出力応答を対応する時間領域オーディオ出力信号に変換するステップと、
   前記時間領域オーディオ出力信号の一部を廃棄するステップと、
   前記時間領域オーディオ出力信号の残りの部分をスピーカ装置に出力するステップと、
   を含むプロセスを用いて実行される、方法。
8. 請求項１ないし３のうちいずれか一項記載の方法であって、前記複数の第一のフィルタ処理された信号を生成するための各入力オーディオ信号のフィルタ処理が、前記スピーカ装置のそれぞれについて、
   ローパスフィルタ処理および間引きプロセスによって、入力オーディオ信号をより低いサンプルレートに変換し、間引きされた入力信号を生成するステップと、
   フィルタ処理プロセスを前記間引きされた入力信号に適用し、間引きされフィルタ処理された信号を生成するステップと、
   補間およびローパスフィルタ処理プロセスによって、前記間引きされフィルタ処理された信号をもとのより高いサンプルレートに変換し、高サンプルレートフィルタ処理信号を生成するステップと、
   疎フィルタ処理プロセスを前記入力オーディオ信号に適用し、疎フィルタ処理されたオーディオ信号を生成するステップと、
   前記高サンプルレートフィルタ処理信号および前記疎フィルタ処理されたオーディオ信号を合計し、前記スピーカ装置についてのオーディオ出力信号を生成するステップとを有する、
   方法。
9. 請求項８記載の方法であって、前記疎フィルタ処理プロセスが単一の遅延素子および利得関数よりなる方法。
10. 請求項９記載の方法であって、前記疎フィルタ処理プロセスが遅延ラインからなり、複数のタップされたオーディオ信号が該遅延ラインから取られ、前記タップされたオーディオ信号のそれぞれが利得関数を介して拡縮され、前記利得関数の出力が合計されて前記疎フィルタ処理されたオーディオ信号を生成する方法。
11. 請求項１ないし３のうちいずれか一項記載の方法であって、
    各スピーカ装置についての前記複数の第一のフィルタ処理された信号を生成するためのフィルタ処理が、そのスピーカ装置について用意されたそれぞれのインパルス応答関数のはじめの部分のそれぞれの周波数領域表現をそれぞれの入力オーディオ信号の周波数領域表現に適用することを含み、
    各スピーカ装置について前記組み合わされた混合をフィルタ処理することが、そのスピーカ装置について用意された尾部応答関数によって特徴付けられる前記フィルタの周波数領域表現を入力オーディオ信号群の周波数領域表現の混合に適用することによって第二のフィルタ処理された信号を生成することを含み、そのスピーカ装置についての前記第二のフィルタの周波数領域表現および入力オーディオ信号群の周波数領域表現の混合の一つ以上の高周波数係数は前記適用から除外され、
    当該方法はさらに、
    各スピーカ装置について、そのスピーカ装置についての前記第一のフィルタ処理された信号および前記第二のフィルタ処理された信号を組み合わせることによってそれぞれの出力信号を生成するステップをさらに有する、
    方法。
12. 請求項１１記載の方法であって、各スピーカ装置について用意されたそれぞれのインパルス応答関数のはじめの部分の周波数領域表現の一つ以上の高周波数係数が、そのスピーカ装置についての前記複数の第一のフィルタ処理された信号を生成するためのフィルタ処理から除外される、方法。
13. 請求項１ないし１２のうちいずれか一項記載の方法であって、前記スピーカ装置が左ヘッドホンおよび右ヘッドホンである方法。
14. 請求項１ないし１３のうちいずれか一項記載の方法であって、前記スピーカ装置が一対のヘッドホンであり、前記方法が、音出力信号生成器と一対のヘッドホンの中間に接続された、別個に分離可能な外部装置による処理のためにディジタル形式で音出力信号を形成するステップをさらに有する、方法。
15. 請求項１ないし１４のうちいずれか一項記載の方法を実施させるためのプログラムが格納された記憶装置と、前記プログラムを実行可能に構成された一つまたは複数のプロセッサとを有し、前記プロセッサにより前記プログラムを実行して請求項１ないし１４のうちいずれか一項に係る方法を実施する装置。

Images