JP4477081B2 - リスナーの周囲にある音源の空間的ひろがり感を増強するためのステレオヘッドホンデバイス内でのフィルタ効果の利用 - Google Patents

Description

本発明は、特にヘッドホン上でのオーディオ信号処理及びオーディオ再生の分野に関し、さらに、計算効率の良い形でリスナーの周囲にある物体の空間的ひろがり感といった増強された効果を作り出す音再生技術を開示するものである。

一対のヘッドホン上でより快適なリスニング体験を提供することが望ましいと思われる。好ましくは、オリジナル録音の意図された雰囲気を再現するリスニング体験が望まれる。特に、快適なリスニング体験の好ましい様相としては、その音が自らの頭の外側で発生している、又はより特定的にはそれがヘッドホンそのものから発していないというリスナー側のフィーリングが含まれる。この効果を、以下ではアウトオブヘッド（ＯＯＨ）と記す。さらにそして幾分か関連しているのは、理想的にはリスナーが自らの目を閉じ、演奏者と共に１つの部屋の中にいるか又は一定の距離をとって置かれた外部スピーカーセットを聴取しているような感じをもつことができなければならないということである。

往々にして、任意の特定の環境内でヘッドホンリスナーに対し３次元サラウンドサウンド環境の感じを作り出すことが望まれる場合がある。例えばヘッドホンの利用のための１つの一般的な環境形態は、例えば機内映画やビデオが上映される長距離飛行機フライトの場合である。ヘッドホンのその他の一般的な用途は、リスナーが自分の周囲にいる人々を邪魔することなくヘッドホン信号のプライベートリスニングを採用することを希望する人混みの中の環境におけるものである。かかる環境内ではヘッドホン全体にわたり全サラウンドサウンドを提供するための手段を提供することが望ましくなる。

残念なことに、標準的ヘッドホンを利用するとき、アウトオブヘッド知覚は失なわれ、音は、リスナーの頭の内部の場所から発しているように感じられ、実質的に集中化されている。

その他のサウンドフォーマットは、ヘッドホン上で再生されたとき、類似の問題に直面する。例えば、もう１つの一般的フォーマットであるドルビーＡＣ−３フォーマットは、実質的により豊かな音環境を作り出すべくリスナーのまわりに一定数のスピーカを設置するように設計されている。ここでも又、かかる環境においてヘッドホンデバイスが利用される場合、音の意図された空間的位置設定は失なわれ、ここでも又音はリスナーの頭の中から発しているように感じられる。

適切な頭部関連伝達関数（ＨＲＴＦ）を伴うオーディオ信号のコンボリューション（畳み込み演算）が当該技術分野において知られている。しかしながら、このような全コンボリューション技術は往々にして過度の計算資源を必要とし、適切な資源を利用できるようにしないかぎり容易に実現できない。

ヘッドホンなどを通して音響空間をシミュレートするための効率の良い方法及び機器を提供することが、本発明の１つの目的である。

本発明の１つの態様に従うと、反対側に相対した１対のヘッドホンスピーカを利用して、一対のヘッドホンの間の部域から空間的に離隔した音源の感覚を作り出すための装置であって、
（ａ）理想化されたリスナーに対して或る空間的場所に定位された理想化された音源から投射されているオーディオ信号を表わす一連のオーディオ入力、
（ｂ）中間出力信号として前記オーディオ入力の予め定められた組合せを出力するためのオーディオ入力及び一連のフィードバック入力に相互接続される第１のミキシングマトリクス手段；
（ｃ）中間出力信号をろ波し、ろ波された中間出力信号及び一連のフィードバック入力を出力するフィルタシステムであって、フィードバック入力を生成するためのフィードバック応答ろ波に加えて直接応答及び短時間応答のろ波及び残響応答に対する近似のための別々のフィルタを含むもの；及び
（ｄ）左及び右チャンネルのステレオ出力を生成するためろ波された中間出力信号を組合わせる第２のマトリクスミキシング手段を具備する装置が提供されている。

本発明のシステムは、既存のシステムにおける計算所要量の減少及び仮想スピーカシステムのリアリズムの改善に関する改良を含んでいる。

好ましくは、予め定められた数のフィードバック入力が同様に第２のマトリクスミキシングにも入力される。フィードバック応答のろ波には、残響フィルタが含まれいてよい。この残響フィルタは、疎タップＦＩＲ，再帰的アルゴリズムフィルタ又は全コンヴォリューションＦＩＲフィルタのうちの１つを含むことができ、オーディオ入力信号のサラウンドサウンドセットを含むことができる。

さらに、１つの実施形態においては、フィードバック入力はオーディオ入力の前方部分のみとミキシングされる。

フィルタシステムは、理想化されたリスナーの前方に位置づけされたオーディオ入力の和をろ波する前方和フィルタを内含することができ、この前方和フィルタには、前方入力のための直接及びシャドー頭部関連伝達関数の和の近似が実質的に含まれている。さらに、このフィルタシステムには、理想化されたリスナーの前に位置づけされたオーディオ入力の差をろ波する前方差フィルタが含まれていてよく、この前方差フィルタには前方入力のための直接及びシャドー頭部関連伝達関数の差の近似が実質的に含まれている。さらにフィルタシテスムには、理想化されたリスナーの後方に位置づけされたオーディオ入力の和をろ波する後方合計フィルタが含まれていてよく、この後方和フィルタには後方入力のための直接及びシャドー頭部関連伝達関数の和の近似が実質的に含まれている。さらに、フィルタシステムには、理想化されたリスナーの後方に位置づけされたオーディオ入力の差をろ波する後方差フィルタが含まれていてよく、この後方差フィルタには、後方入力のための直接及びシャドー頭部関連伝達関数の差の近似が実質的に含まれている。さらにフィルタシステムには、オーディオ入力の和に相互接続された残響フィルタが含まれている。

本発明のさらにもう１つの態様に従うと、少なくとも１つの入力信号をバイノーラル化するためのバイノーラル化ユニットにおいて、直接音及び初期エコーをシミュレートするための第１の一連のフィルタ；後期反射をシミュレートすることを目的とし、さらに、少なくとも１つの再帰的フィルタ構造及び少なくとも１つの再帰的フィルタ構造に相互接続された一連の有限インパルス応答フィルタを含むバイノーラル残響プロセッサ、を含んで成るバイノーラル化ユニットが提供されている。

バイノーラル残響プロセッサは、その出力端に相互接続された左右のチャンネルの有限インパルス応答フィルタを各々有する少なくとも２つの再帰的フィルタ構造を含むことができ、ここで第１の再帰的フィルタ構造は、第２の再帰的フィルタ構造よりも長い残響減衰時間を有する。

バイノーラル残響プロセッサは、さらに、それ自体左右のチャンネル出力端に対して出力する和及び差フィルタに相互接続された一連の再帰的フィルタ構造を含むことができる。

一実施形態では有限インパルス応答フィルタのうちの１つからの出力の一部分が、再帰的フィルタ構造の少なくとも１つのうちの１つの入力端に対してフィードバックされ得る。

本発明のさらなる態様に従うと、一対のヘッドホン上でステレオ信号として出力するための一連の音出力信号のコンパクトな処理形態を提供する方法が提供されており、この方法には、ステレオヘッドホン出力信号を生成するべく実時間で音出力信号を用いて予め定められた構築済みバイノーラル室内応答をコンヴォリュートする段階が含まれている。

１つの実施形態においては、コンヴォリューションは、ＣＤ−ＲＯＭプレイヤーユニット内部に位置設定されたスキップ保護プロセッサユニットを利用して実施される。もう１つの実施形態においては、コンヴォリューションは、変形された形のデジタル−アナログ変換器を含む専用集積回路を利用して実施される。もう１つの実施形態においては、コンヴォリューションは、専用又はプログラマブルデジタル信号プロセッサを用いて実施される。もう１つの実施形態においては、コンヴォリューションは、アナログ−デジタル変換器とデジタル−アナログ変換器の間に相互接続されたＤＳＰプロセッサによってアナログ入力について実施される。もう１つの実施形態では、コンヴォリューションは、音出力信号発生器とヘッドホンの中間に接続された別々に離脱可能な外部装置上のステレオ出力信号について実施され、この音出力信号は、この外部装置による処理のためデジタル形態で処理される。もう１つの実施形態においては、音出力信号発生器とヘッドホンの中間に接続された別々に離脱可能な外部装置上のステレオ出力信号について実施され、音出力信号は、アナログ形態で出力される。

好ましい実施形態の論述を容易にするため、ここで使用されている用語の定義づけを行なう。

［システム］
ヘッドホン上での音源の仮想演出用システム。抽象的な形では、これは、一定数の入力（各スピーカ位置に対するもの）及び２つの出力（左右のヘッドホンの耳に対するもの）をもつ装置から成る。

［伝達関数］
一定の与えられた入力から一定の与えられた出力への信号マッピング。システムがＭ個の入力とＮ個の出力を有する場合には、考えられる伝達関数はＭ×Ｎ個存在する。システムが線形で時間不変的である場合には、これらの伝達関数は、静的かつ独立したものとなる。これらは往々にして個々に入力−出力伝達関数（例えば左−左，左後方−右）として言及される。

［フィルタ特性ＨＲＴＦ］
各伝達関数は、特定のＨＲＴＦの近似を表わす応答の初期部分を有する。この部分の長さは通常、最高１００サンプルである。

［ＨＲＴＦ対称性］
入力源の仮想場所がリスナーのまわりで幾分かの対称性を有する場合、ＨＲＴＦはこの対称性を反映することができる。例えば、リスナーの左右に３０度を成して定位された仮想スピーカが存在する場合、ＨＲＴＦ即ち左−左伝達関数の初期部分は、右−右伝達関数の初期部分と同一になる。従って左−右及び右−左へは、初期部分において類似性又は等価性を示すことになる。

［疎残響］
初期ＨＲＦＴの後、残響フィールド近似が各伝達関数内に存在することになる。この近似は非常に疎となる。疎伝達関数の特性は、フィルタが幾分縮退していて、フィルタの長さ全体にわたるフィルタタップの完全な自由度により網羅されるものよりもはるかに小さな部分集合を網羅する識別可能な自由度を有する、ということにある。

この疎特性については、以下のようないくつかの可能性がある：
＊ 実際の疎タップ。伝達関数は、一定数の非ゼロタップを伴って大体はゼロである。これらは離散的であり振幅及び正負符号以外の全ての面で等価である。
＊ ろ波された疎タップ。伝達関数は、時間的に疎な位置で反復パターンを示す。これは粗タップタイプのフィルタをさらにフィルタに通過させてタップを広げた結果である。疎パターンは、振幅及び正負符号以外の全ての面で等価となる。パターンは重複する可能性もあり、その場合、それはろ過された疎タップの存在に無関心な観察者にとっては明白でないかもしれない。
＊ 複合ろ波された疎タップ。複数の独特の疎タップタイプセクションを作り上げ、異なるフィルタ内を通過させることができる。これは振幅及び正負符号以外全ての面で同一である時間的に反復されている複数の異なるフィルタパターンによって識別されることになる。それにより使用されるフィルタパターンは、システムの伝達関数の一部又は全ての初期ＨＲＴＦに対応する。
＊ 再帰的疎タップ。再帰的エレメントを伴う疎タップ。これらの疎タップは時間的に無限に連続し、幾何級数で減衰する。
＊ 再帰的にろ波された疎タップ。再帰的疎タップタイプの実現を特定のフィルタ及び/ 又はＨＲＴＦを通してろ波した結果。この結果として、全く異なるろ波された疎タップをもつアルゴリズム残響は、時が経つにつれて見かけ上複雑な応答になる。フィルタは一部又は全てのシステム伝達関数の初期ＨＲＴＦに対応することができる。

［モノラル残響］
伝達関数の残響部分は、モノラルの又は組合せられた音源から導出され得る。このことは、全ての入力から特定の出力への伝達関数が等価であることから明らかである。例えば、ステレオ仮想スピーカーの例においては、左−左、及び右−左の伝達関数は、応答のより後期の部分において非常に類似した特性を示すことになる。応答における差があるとすれば、これは、経時的シフト、スケーリング又は単純なろ波操作によるものである。

最初に図１を参照すると、第１の実現例の動作の概略的例示が提供されている。この実施形態においては、通常はオーディオ信号を入力し一連のスピーカ入力１３を作り出す先行技術の一部を成すことになる機構１２に対して、一連のオーディオ入力１１が供給される。このスピーカ入力は、例えばステレオ出力フォーマット又はＡＣ−３出力フォーマットといったさまざまな出力フォーマットについて提供されうる。破線１４内の部分の動作は、完全に従来通りのものである。スピーカー入力はヘッドホン処理システム１５へと転送され、このシステムは、ヘッドホン１６を用いるリスナの周囲にある一定数のスピーカの存在をシミュレートするべく１セットの標準ヘッドホン１６へと出力を行なう。

図１は、ヘッドホン処理システム１５が、通常のステレオ応答であるかのように、ヘッドホン１６のユーザの前の２つの仮想スピーカ１７，１８の存在をシミュレートしている例を示す。図１の配置は、ステレオオーディオの再生のために一般に利用されるあらゆるシステム内に組込むことができる。システム１５は、スピーカ上での再生のために意図された通常の信号１３を処理し、従って、ラウトスピーカー上でのオーディオの再生を増強するように設計されたいずれかのその他のシステムと相容性がありかつこれらと組合せての使用が可能である。

ヘッドホン処理システム１５の第１の実現形態例の一般的構造は、意図されたスピーカの入力の各々が２つのフィルタつまり各耳に１つずつのフィルタを通過させられるフィルターによるものである。これらのフィルタの加算結果は、その耳についての適切なヘッドホンチャンネルに送られる信号である。変形実施形態においては、フィルタは仮想スピーカアレイ内部のリスナーの頭の向きの変化を反映するべく更新できてもできなくてもよい。リスナーの頭の物理的向きに基づいてフィルタを更新することにより、より忠実な、頭の動きに追従した環境を作り出すことができるが、頭の動きの追跡が必要となる。計算所要量を低減させるため、さまざまな実現形態がこのテーマに基づく変形形態であり得る。さらに性能を改善するために構造に対し非線形の能動的又は適応型コンポーネントを付加することもできる。

より複雑な形でのヘッドホン処理システムの一般的構造の一例が図２に例示されている。実現形態２０は、各々に別々の望ましいインパルス応答フィルタ例えば２２，２３が適用され、１つのフィルタ例えば２２が左側チャンネルのために又もう１つのフィルタ例えば２３が右側チャンネルのために適用されている、１連のスピーカ入力例えば２１を含んでいる。フィルタは、それぞれの音源から対応する耳へのＨＲＴＦを表わしている。フィルタ出力は加算され（例えば２４）て最終出力２５を形成する。

図２の配置は、多数のフィルタ（例えば２２）が具備されなくてはならないという点で過度に負担を加える複雑性を導き、こうして計算コストも大幅に増大する可能性が高い。対称性を利用することによって計算所要量を著しく低減させるための第１の技術は「シャフリング」技術を利用することである。一対のチャンネルについて、これは、組合せの前にチャンネルの和及び差に対しフィルタを適用することを表わしている。フィルタが対称的に設置されている（すなわち左左フィルタ＝右右フィルタ、左右フィルタ＝右左フィルタ）ステレオの場合、これは計算所要量を５０％低減させることができる。この技術は、フィルタバンクの前後に線形マトリクスミックスを挿入することによって表わすことができる。

より一般的に言うと、図３に示されているように、実現構造３０は次のもので構成されうる：
＊ 一定数の入力３１
＊ 各々が入力信号の線形組合せである、１セットの信号を生成するためのミキシングマトリクス３２（中間の信号セットは、入力信号自身を含むことができ又重複した信号を含み得るという点に留意されたい）。変形実施形態においては、マトリクス利得は、経時的に変動し得る。
＊ 中間信号の各々に対する一連のフィルタ（例えば３３）。これらのフィルタは独立したものであってよく、従って異なる構造、長さ及び遅延（例えばＩＩＲ，ＦＩＲ，疎タップＩＲ，及び低待ち時間コンヴォリューション）を有することができる。
＊ ２つのヘッドホン出力信号３６を作り出すためにろ波された中間信号を適切に組合せるためのミキシングマトリクス３５。

図３の一般的システムに包含される多数の特定的な実現形態は、以下の通りである。

［ハイエンドＡＣ−３復号器］
図４に例示されているように、ドルビー（登録商標）ＡＣ−３（登録商標）規格は、スピーカ入力４１として使用すべき５（,１）チャンネルのセットを規定している。これらのチャンネルは、ＡＣ−３復号器を用いてＡＣ−３ビットストリームデータ源から導出され得る。ひとたび復号されると、スピーカ入力は、ヘッドホン出力４２を生成する図４の装置４０に対する入力４１として利用するのに適している。５つのスピーカ入力の各々は、各々の耳についてのフィルタ（例えば４３，４４）の中を通過させられ、加算されて（例えば４５），ヘッドホン信号を生成し、こうして１０のフィルタの合計が作られる。

フィルタ４３，４４は、上述の技術を利用して室内にある対応する仮想スピーカアレイをシミュレートするために具備される。

仮想スピーカアレイのシミュレーションにおいて高レベルの質を達成するためには、リスニング環境の空間的幾何形状を考慮に入れるため、かなり長いフィルタが必要とされる。（ヘッドホンのための等化及び適切な頭部関連伝達関数を組込んだ）適切なフィルタセットの場合、結果は、使用されている一組の外部スピーカのほぼ完全な錯覚を提供する。しかしながら、適用環境により処理所要量が過剰になる可能性もある。

１０個のより短いフィルタとわずか２つの全長フィルタを使用することにより過度に大きな品質の劣化無く計算バワーを低減させるべく１０−フィルタ設計を改良することが可能である。２つのより長いフィルタ４７，４８は、平均的室内応答の尾部のバイノーラルシミュレーションであり得る。５つのスピーカ入力全ての組合せが、アナログ加算器４９を介してバイノーラル尾部フィルタ４７，４８内に供給され、現実の室内応答の近似を提供する。短かいフィルタ（例えば４３，４４）の各々は、リスナーの耳にはその特定のスピーカに対する応答の初期部分であり得る。

プロトタイプの実現例において使用されるフィルタ長は、標準的には、短フィルタ（例えば４３，４４）については４８ＫHzのサンプリング速度で２０００タップであり、より長いフィルタ４７，４８については３２０００タップであった。長フィルタは通常さらに低い帯域幅を有し、遅延時間を伴って実現されうる。これには計算所要量を低下させるべく低減されたサンプル速度処理の使用を利用することができる。フィルタは、システム遅延時間及び計算所要量を低下させるため、当該出願人に譲渡された米国特許第５, ５０２, ７４７号に開示されているものといった低遅延時間コンヴォリューションアルゴリズムを使用して実現することができる。

最も単純なケースでは、いかなるフィルタ処理も利用されず、フィルタは、ＣＡＴＴアコースティック楽器といった音響モデリングパッケージを用いて仮想スピーカセットアップをシミュレートすること又は現実のスピーカアレイの内部に置かれた本物の又は合成のヘッドを用いることによって得ることができる。

ハイエンドＡＣ−３復号器は、仮想スピーカアレイのヘッドホンを通してかなり正確なシミュレーションを提供するが、これは同時に大量の計算資源を必要とする。

［ローエンドステレオ復号器］
図５に５０として例示されているようなローエンドステレオ復号器は、ハイエンド計算資源を伴うシステムの特長のうちの一部分のみを利用する装置である。主たる目的は、優れた構成のステレオを聞くという経験をシミュレートする、リスナーのまわりから発出される音の印象を与えるべく、ヘッドホン５２上での再生のためにステレオ入力源を操作することにある。図５のシステムは、低コストでの大量生産に適するように設計される；つまり設計上のより重要な問題は、計算上の複雑性を低減させることにある。

前述したように、ローエンドステレオ復号器５０の一般的構造は、従来のステレオのための２つの入力５１及びヘッドホン信号のための２つの出力を有する。アナログ加算器５５から出力された左右の信号の合計について動作する第１のフィルタ５３及び差ユニット５６から出力された差信号について動作する第２のフィルタ５４を伴う２つのフィルタのバンクが使用される。

ローエンドステレオ復号器５０は、前述の一般的実現例と同等のもう１つの例である。この場合、マトリクスオペレーションは、２チャンネルの和５５及び差５６のシャフルである。フィルタは、望まれた結果がスピーカ対称性をもつ（すなわちＬ→Ｌ＝Ｒ→Ｒ 及び Ｌ→Ｒ＝Ｒ→Ｌ）場合に計算所要量を半減するべく合計及び差信号に対して適用される。

このシステムの性能は、フィルタ係数の選択によって左右される。計算所要量を低減させるために、理想的には短かいフィルタが使用される。差フィルタを和フィルタよりも幾分か短かくすることができ、それでもなお適正な結果が得られることがわかっている。

好ましい形態は、水平平面内に対して３０°のスピーカ位置に対する頭部関連伝達関数と半残響尾部であるがかなり疎ではあるフィルタの組合せである。フィルタの構成は、次のようである：
以下の構築済みインパルス応答、すなわち
Ｄ：単位エネルギに正規化された直接耳応答；
Ｓ：Ｄに正比例してスケーリングされたシャドー耳応答；
Ｒ：単位エネルギーに正規化された残響応答；
及び以下のパラメータ、すなわち
α：ミックス中の残響入力の存在つまり量；
がわかっている場合、新しいSum'及びDiff'信号を生成するために和及び差信号に対し以下の予め計算されたフィルタを適用することができる。

必要とされる処理量をさらに低減させるためには、フィルタセットに対し一定数の近似を行なうことができる。シャドー耳応答は、適切にシャドーされた応答から直接耳応答をデコンヴォリュートすることによって導出される正確な信号の周波数応答及び群遅延を整合させる５タップＦＩＲによって近似され得る。約２０の疎タップが５〜１０ｍｓの遅延線から残響応答を近似することができる。

このアプローチによると、係数を密に量子化することができ適正な性能が維持できることがわかっている。和フィルタは、２５６タップの遅延線（４８ＫHzで）からの２５タップのセットとして実現され得、一方差フィルタは、３０タップの遅延線からのわずか６タップであってよくそれで適切な結果が得られる。こうして、システムを、約３ＭＩＰＳ（ｍｉｌｌｉｏｎ ｉｎｓｔｒｕｃｔｉｏｎｓ ｐｅｒ ｓｅｃｏｎｄ）で実現することが可能となり、かくして低コストの大量生産に適したものになりヘッドホンを使用するその他のオーディオ製品内への組込みに適したものになる。

実現例５０に対するさらなる拡張には、以下のものが含まれる可能性がある：
＊ より長いフィルタの可能性を許容するための低遅延コンヴォリューションの使用。
＊ 「サラウンドサウンド」フォーマットのシミュレーションを可能にするためのさらなる入力及び類似の予算（ｂｕｄｇｅｔ）処理の付加。例えば、リスナーの背後の後方又はまわりの音の存在をシミュレートするサラウンドチャンネルを付加することができる。
＊ ステレオ信号がミックス内で多大なモノラル成分を有する場合の、より優れた性能を提供するための非対称コンポーネントの付加。
＊ 性能を増強させるための非線形コンポーネントの付加（例えば、雑音の多い環境内でのリスニングの質を改善するためのダイナミックレンジコンプレッサ）。

このように、第１の一連の実施形態は、ヘッドホン上の３次元音の感覚的印象を作り出すため入力ミックス処理、フィルタ及び出力ミックス処理の独特の組合せを利用していることがわかる。開示されている装置は、計算の複雑性及びメモリ所要量の低減についての変形を含んでおり、かくして実現コストは大幅に削減される結果となる。フィルタ構造及び係数は、計算の複雑性の増大を最小限におさえながら音の指向性及び深度を改善する。単純なＨＲＴＦ近似は、通常の５０〜６０フィルタタップから著しく削減されたわずかな処理バワーしか必要としない。

有意なＨＲＴＦの特長には、以下のものが含まれる：
（ａ） 直接応答の多大な主エネルギー成分（短時間近似）及び、シャドー又は反射応答に対する直接応答のコンヴォリューションマッピングの近似。

（ｂ） 約５０〜１００タップの後５〜１０ｍｓの疎タップを含むフィルタ係数の使用。残響フィルタの使用は、音の局在化及び深度を増大させることによってＨＲＴＦの近似、正規のＨＲＴＦ及び室内インパルス応答の性能を高める。

（ｃ） 変形形態においては、ＨＲＴＦの近似は、背後の局在化を改善するべくシャドー応答の中に逆位相成分を含み入れるための係数を含めることができる。

（ｄ） さまざまな実施形態のフィルタは、指向性及び局在化を提供する第１の部分及び、雰囲気及び室内アコースティック楽器を提供するものの指向性は最小限のものである第２の部分を含むことができる。

これらの実施形態の引渡しフォーマットの利用は、最適な計算及びメモリ利用と性能の間のトレードオフに関する多大な融通性を提供する。

ドルビーＡＣ−３入力に対する図５のシステム５０の１つの拡張は、図６で６０に示されているようなものであり得る。中央チャンネル６１が、それぞれ左前方及び右後方チャンネルに付加される（６２，６３）。出力信号は、左右の耳に加算（７０，７１）のための出力を提供するＨＲＴＦ６７〜６９に供給される前に、５〜１０msecの遅延線でありうる遅延ユニット６４，６５に供給される。後方信号７３，７４は和および差信号７６，７７を形成するために使用され、それらはＨＲＴＦ７９，８０に供給され和ＨＲＴＦ７９は左および右の和ユニット７０，７１に供給され、差ＨＲＴＦ８０は和ユニット７０，７１へ逆位相で供給される。

さらなる変形構成も可能である。ここで図７を見ると、図３に示されている一般的実現例を参考にして前述した一般的構成の第１の変形形態９０が例示されている。図７の装置は、フィルタ９１，９２及びフィードバック経路９３を含んでいる。ミキシングマトリクス９４は、特定の実現例に必要とされるようにその入力信号を反転し、スケーリングし、加算し、再導出する能力をもつ単純な線形マトリクスのままである。他の実現例ではフィードバックフィルタ９１，９２の出力９３は第２のミキシングマトリクス内へも入力され（図示せず）、直接出力９８に寄与する。より一層一般的な配置においては、全てのフィルタ出力は第１のミキシングマトリクス９４へとフィーバックされ、そこでそれらはミックスに含まれるかまたは除外される。しかしながら、一般に、ミキシングマトリクス９４のサイズを最小限にとどめることが好ましい。

変形された一般的構成９０は、各フィルタ内に再帰的エレメント以外のものを有するフィードバック経路９３を可能にする。フィルタアレイ例えば９６，９７を通してフィルタ９１，９２の一部分として作り上げられた残響フィルタの出力を供給することにより、さらにリアルな残響を作り上げることができる。ＨＲＴＦフィルタ処理の前に、フィルタフィード信号に対しフィルタ済み信号を付加することができる。これは、より妥当な空間的成分を残響に与え、リスニング体験を改善する可能性が高い。

残響生成、フィルタ９１，９２は、疎タップＦＩＲ，再帰的アルゴリズムフィルタ又は全コンヴォリューションＦＩＲであってよい。これら全てのケースにおいて、仮想スピーカ入力内に残響の出力をフィードバックすることが有益でありうる。結果は、残響をシミュレートするのに疎タップＦＩＲが用いられる低資源システムにおいて最も有意である。このとき、疎タップ反射のシミュレーションが、ヘッドホンからではなくリスナの外側の発生源から発出すると思われる。

ここで図８を参照すると、図５の実施形態５０に類似するさらなる変形された実施形態１００が示されている。この配置は、２つの和及び差フィルタ１０１，１０２を含んでおり、それらはリスナーの両側約３０°に定位された２つのスピーカの直接プラスシャドー及び直接マイナスシャドーＨＲＴＦに対する短時間ＦＩＲ近似である。しかしながら、図８の装置１００においては、２つの入力の合計１０３として付加的信号が導出され、単一疎タップ残響ＦＩＲ遅延線１０４に供給される。ＦＩＲ１０４内の一組の係数から２つの疎タップ出力１０５，１０６が導出されている。この信号対１０５，１０６は次に、シャフリングプロセス１０９に先立ち入力ステレオ信号に付加される（１０７，１０８）。この要領で、ステレオ疎タップ残響は「バイノーラル化」される。

図８の配置は、図６の配置に類似したサラウンドサウンド復号器にまで拡張可能である。かかる拡張は図９に例示されているが、部分１１１は図６のものに類似している。図９の配置は、左前方及び右前方スピーカの間の中央にパンされた仮想スピーカとされるべき中央スピーカ入力１１２を提供している。これは、左前方及び右前方スピーカ入力に対し中央フィード入力１１２を加算することによって（１１３，１１４）達成される。後方スピーカ入力１１６，１１７はリスナーの頭の両側１２０°のところに定位されたスピーカーのためのＨＲＴＦ応答を近似するべく、シャフラ１１８及び和１１９及び差フィルタ１２０を有する。このとき出力はミキシングされ（１２２，１２３），単一のシャフラ（１２４）内に供給されてバイノーラル出力を形成する。入力の各々は合計され（１２６）て、疎タップ残響ＦＩＲフィルタ１２７による残響処理のため単一のモノラル信号を形成する。残響フィルタの出力は次に、前方スピーカ入力に加算される（１１３，１１４）。後方スピーカ入力にはさらなる残響信号を付加することができるものの、心理−音響的な前方の混同及び上昇を克服するためにはシステムがイメージを前に投げ送ることが一般に有利である。残響について前方スピーカ位置のみを使用すると、イメージを前へ投げ送る助けとなり、より納得のいく前方音が得られる。

ここで図１０を参照すると、図９の疎フィルタ残響ＦＩＲ１２７のためのフィルタ値の導出についてより良く記述するために、いくつかの用語が定義づけされる。まず第１に、直接ＨＲＴＦは、仮想スピーカの場所１３０，１３１から、人の頭のそれと同じ側にある耳１３２までの伝達関数として定義づけされる。シャドーされたＨＲＴＦ関数は、仮想スピーカ場所、例えば１３０及び１３１から、頭の反対側にあるその人物の耳１３３までの伝達関数として定義づけされる。フィルタを近似するために、実際のＨＲＴＦ測定値セットを使用することができる。前方ＨＲＴＦは、リスナー前方の両側３０°に置かれたスピーカーから測定できる。後方ＨＲＴＦは、リスナーの両側１２０°に置かれたスピーカーから測定できる。好ましくは、ＨＲＴＦは、優れた発声特性で音質を最高にするために等化される。

図９の前方和フィルタ１２８は、和及び直接及びシャドー前方ＨＲＴＦの近似である。フィルタの実現形態は、非最小位相伝達関数を可能にする実質的なＦＩＲ成分を有する直接形の伝達関数（ＦＩＲ）及び（ＩＩＲ）である。システムの次数は、ＦＩＲ及びＩＩＲの次数の格子に対する近似誤差を計算することによって選択されうる。和及び差フィルタが格子の各点に設定された次数で近似され、次に直接及びシャドーされたＨＲＴＦ内の誤差がプロットされる。これは、それぞれ前方直接及びシャドー応答について図１１及び図１２に示されている。近似のためには、プロニー解析が用いられた。プロットは、或る次数で良くそれを超えると悪くなるという「ニー（ひざ）」特性を示す。２つの前方フィルタについての次数はこの情報に基づいて選択され得る。有効なのは、ＦＩＲの次数が１４でＩＩＲの次数が４であるという結果が得られた。

図９の前方差フィルタは、前方直接ＨＲＴＦマイナス前方シャドーＨＲＴＦの近似でありうる。この近似は、前段落で記述されたとおりに実施でき、結果として１４というＦＩＲの次数及び４というＩＩＲの次数が得られる。

後方和フィルタ１１９は、後方直接ＨＲＴＦプラス後方シャドーＨＲＴＦの近似である。近似は、前方フィルタについて記述したとおりに実施できる。２５というＦＩＲの次数及び４というＩＩＲの次数が選択された。

後方差フィルタ１２０は、後方直接ＨＲＴＦマイナス後方シャドーＨＲＴＦの近似である。近似は、前方フィルタについて記述された通りに実施できる。２５というＦＩＲの次数及び４というＩＩＲの次数が選択された。

残響フィルタの長い遅延線１２７には、全ての入力の合計１２６（モノラル信号）が供給される。この遅延線から２つの出力を作り出すため、２組の疎タップ係数が用いられる。遅延線１２７は、メモリーが許すかぎり長いものであっても短かいものであってもよい。適正な結果のためには、約３００〜４００タップの最小長が好ましい。２組の疎タップ係数は、特性が類似しているが、値的にはかなり異なっている。第１の例においては、使用される実際のタップは、以下の制約条件を伴ってランダムプロセスにより生成された：
＊ 最初の３００〜４００タップ内にはいかなるタップも存在しない。これは初期ＨＲＴＦ応答と最初の初期エコーの間にギャップを作り出すためである。これは、初期ＨＲＴＦ内の空間的場所に重なるのを妨げるためである。
＊ タップの大きさは、経時的に減少する。これは、空気を通しての透過及び損失のある反射の減衰をモデリングするためである。減少は、或る程度の無作為性を提供するためディザされた。このレベルのディーテールは、必要ではないが、より長いフィルタについては、これははるかに自然な反響成果を生成する。
＊ タップの頻度は、経時的に増大する。これは、経路長が増大し、リスナーに対する可能な経路が増大するにつれて、初期エコーの増大する密度をモデリングするためである。

これらの制約条件の下でいくつかのランダム係数セットが作り出され、均等に広がっている（過度に集中していない）ように見え優れた音を生成したセットが選択された。かかる疎タップフィルタの一例は、図１３に示されている。

疎タップ係数を導出するためのその他の方法及び近似も使用可能であるが、実験からこの方法が適切であることがわかった。

残響フィルタ１２７の基本的特性は、有意な周波数カラーレーションが無く、時間的に分散したモノラル入力からの情報を含む２つの相関のない出力を作り出すことにある。かくして、フィルタは、再帰的な低いサンプル速度であってよく、そうでなければメモリー及び計算能力が許せばその他の精巧な処理が関与するものであってもよい。

図１４及び図１５はそれぞれ、前方ＨＲＴＦを通過した後の残響フィルタからの左右のインパルス出力を例として示している。比較的少量の計算及びメモリーに対して、出力フィルタ内に多大な量のディテールが得られることがわかる。

前述のように、一般には、非常に長いＦＩＲフィルタの使用は、３次元音響空間の非常に正確なシミュレーションの達成を可能にするものの、これには、オーディオデータ及びフィルタ係数を記憶するための大型メモリが必要となる。これとは対照的に、再帰的（ＩＩＲ）フィルタ構造ははるかに少ないメモリ、そして往々にして同じく比較的少ないバワーしか必要とせず、残響様のフィルタ応答を実現するのに使用することができる。残念なことに、ＩＩＲ残響装置内で用いられるメモリ記憶域を著しく減少させると、結果として、はるかに不満足な３次元音響印象をもたらす可能性がある。

３次元バイノーラルオーディオ信号の作成においてとられる１つのアプローチは、シミュレートされた音響応答の初期部分について（高次数のフィルタ構造を用いて）より高品質の処理を適用することにある。このようにして、直接音（仮想拡声器から直接リスナーへの信号経路のシミュレーション）及びいくつかの初期反射の処理は、各々の音の到着について別々のフィルタ対を使用して実現されることになる。各々の対において、左耳応答を生成するように１つのフィルタが作動しており、もう１方のフィルタは、右耳応答を生成するように作動している。

図１６は、実現形態のさらなる一例を示す。このシステム例では、頭部関連伝達関数（ＨＲＴＦ）は全て、５０タップのＦＩＲフィルタ対を用いて実現されている。図１６中の２つの最上位のフィルタ１５２，１５３は、リスナーの２つの耳に直接音が到達するのをシミュレートするべく入力オーディオを処理する。遅延線１６０に取りつけられているＦＩＲフィルタ対（例えば５対）は、リスナーの２つの耳に仮想の部屋の中の初期エコーが到達するのをシミュレートするべく遅延した入力オーディオを処理する。最終的に、残響装置例えば１５６，１５７は、そこからその入力をとるＦＩＲフィルタ対１５８，１５９によって各々個々にバイノーラル化された複数の未相関残響信号を生成する。

この例では、拡散した３次元残響フィールドの印象は、ＨＲＴＦ ＦＩＲフィルタの集合がリスナーの周囲の大きな入射角の広がりを網羅するような形で配置された異なるＨＲＴＦ ＦＩＲフィルター例えば１５８，１５９を通して各々処理された（通常は再帰的フィルタ構造と共に実現される）多数の残響装置例えば１５６，１５７を利用することによって達成される。

実際には、図１６に示されているもののようなシステムの実現形態は、各々のＦＩＲフィルタ内で異なるＦＩＲフィルタ長を使用する可能性がある。全体的処理所要量の大部分は、これらのＦＩＲフィルタの実現形態において消費される可能性があり、アルゴリズムの効率の改善手段として可能な場合には、より短かい近似されたＨＲＴＦを使用することができる。

ＨＲＴＦフィルタは、約４ｍｓ以上の持続時間を有する必要はない。５０タップフィルタ（サンプル速度は４８ＫHzと仮定）の使用は、一例としてのものにすぎない。

図１７は、後期残響部分が一対の長いＦＩＲフィルタ１７１を用いて実現されている３次元音処理システムの他の実現形態１７０を示す。この例においては（４８ＫHzのサンプル速度を仮定）、３２ｋタップのＦＩＲフィルタが、最高６７０ｍｓの残響時間での音響空間のシミュレーションを可能にする。

現実の測定されたバイノーラル音響応答を使用することにより、図１７の残響ＦＩＲフィルタは、図１６内で使用された再帰的残響構造よりもはるかに正確な３次元音響印象を提供することができる。

図１７の残響フィルタ中で使用される長いＦＩＲフィルタは、当該出願人に対し譲渡された米国特許第５,５０２,７４７号に記述されているもののような技術を用いて効率良く実現することができる。これらのフィルタの実現形態において必要とされる計算効率はこのような技術を利用することによって低減され得るものの、メモリー所要量はなお非常に高いものである。

さらにもう１つの実施形態は、バイノーラル残響の生成用に意図された１クラスの残響装置について記述するものであり、この場合、再帰的フィルタを用いて長いインパルス応答が作り出され、バイノーラル特性は、一対の中位の長さのＦＩＲフィルタを使用することによって付与される。

図１８は、さらにもう１つの実施形態１８０の一般的構造を示す。前述のように、ＦＩＲフィルタ、例えば１８１，遅延線１８２及び加算用素子１８３は、直接音及び初期エコーをシミュレートする目的で内含されている。３次元音響応答の中位乃至は後期の残響部分は、バイノーラル残響プロセッサ１８５によって提供される。

バンノーラル残響プロセッサ１８５のいくつかの望ましい特長は、以下の通りである：
＊ バイノーラル残響プロセッサ１８５の左右のチャンネルインパルス応答の間の相互相関は、現実の（測定された）バイノーラル室内応答のものと同じ近似した特性を示さなくてはならない。これは、好ましくは、残響応答の側方エネルギー成分が一部の音響空間の室内応答の後期部分において成長する場合に起こるように、時間変動性の相互相関を内含するべきである。
＊ 残響応答のスペクトル密度は、現実の（測定された）バイノーラル室内応答のものと同じ近似した時間−輪郭を追従していなければならない。この問題は、再帰的フィルタループが空気の吸収及びその他の効果をシミュレートするべく低周波数（例えば）よりも急速に高周波数を減衰させるように作用することから、今日使用されている大部分の再帰的残響プロセッサにおいてはすでに解決されている。

バイノーラル残響プロセッサ１８５の実現のために、いくつかの他の構造が提案されている。図１９は、１つの好ましい実施形態を示している。

原則として、音響空間の望ましい減衰残響プロフィールを生成するために単一の再帰的フィルタを使用することができ、又左右出力に対し拡散バイノーラル特性を付加するために、ＦＩＲフィルタの単一対を使用することができる。しかしながら、実際には、ＦＩＲフィルタ内の絶え間ない有意なチャンネル間振幅不均衡又は周波数応答の不規則性が存在する場合、これらはシステムの出力において認知できることだろう。このような理由から、より無作為なバイノーラル応答を提供するため、多数の再帰的フィルタ構造１９１（各々その独自のＦＩＲフィルタのバイノーラル対、例えば１９２，１９３を伴う）が使用される。

本発明のさらにもう１つの実施形態においては、図１９の２つの再帰的フィルタ構造は、上部再帰的フィルタ構造１９０が下部再帰的フィルタ構造１９１よりも長い残響減衰時間を有するような形で適合されている。この場合、下部ＦＩＲフィルタ対１９４，１９５のバイノーラル特性は、残響減衰の初期部分におけるシステムの応答を支配することになり、上部フィルタ１９２，１９３のバイノーラル特性は、残響減衰のより後期の部分におけるシステムの応答を支配することになる。

図２０には、今度はより多数の再帰的フィルタ構造２０１〜２０４を示すもう１つの実施形態２００が例示されている。図２０に示されたこのシステム２００においては、ＦＩＲフィルタ内で使用される左右フィルタ係数間に考えられる不均衡が生じた場合、これは、その鏡像に沿って各々のバイノーラルフィルタ対（左右のフィルタ伝達関数が変換された、同じフィルタバイノーラル対）を使用することによって補正される。

図２１に示されているさらなる配置２１０においては、ＦＩＲフィルタの２つの鏡像対が、和（例２１１）及び差（２１２）フィルタの単一対を使用して実現される。こうしてＦＩＲの計算労力は著しく削減される。

さらにもう１つの変形実施形態２２０が図２２に示されており、ここで、１つのＦＩＲフィルタの出力２２１は、再帰的フィルタ構造のうちの単数又は複数のものの中へフィードバックされる。このフィードバック経路２２１は、より密度の高い残響フィルタを実現することをも可能にする。

前述のとおり、論述された実施形態は、ステレオ入力信号又は代替的には、利用可能な場合、ドルビープロロジック、ドルビーデジタル（ＡＣ−３）及びＤＴＳといったデジタル入力信号又はサラウンドサウンド入力信号をとり、出力のため単数又は複数のヘッドホンセットを使用する。入力信号はバイノーラル処理されて、さまざまな音源材料のヘッドホンを通したリスニング体験を改善しかくしてそれを「アウトオブヘッド」サウンドにするか又は増大したサラウンドサウンドリスニングを提供する。

アウトオブヘッド効果を生成するためのこのような処理技術がわかっていることから、処理を引受けるためのシステムを一定数の異なる形態で提供することが可能である。例えば、数多くの考えられる異なる物理的実施形態が可能であり、アナログ又はデジタルのいずれかの信号処理技術又はその両方の組合せを利用して最終結果を実行することができる。

純粋にデジタル式の実現形態においては、入力データはデジタルで時間サンプリングされた形で得られるものとなる。実施形態がコンパクトディスク（ＣＤ），ミニディスク、デジタルビデオディスク（ＤＶＤ）又はデジタルオーディオテープ（ＤＡＴ）といったデジタルオーディオデバイスの一部として実行される場合、入力データはすでに、この形で利用可能となる。ユニットが独自に物理的デバイスとして実現される場合、それはデジタル受信機（ＳＰＤＩＦ又はそれに類似する光学又は電気式のもの）を内含することができる。アナログ入力信号のみが利用可能であるように発明が実現される場合、このアナログ信号は、アナログ−デジタル変換器（ＡＤＣ）を用いてデジタル化されなくてはならない。

このデジタル入力信号はこのとき、選ばれたフィルタ及びミキシング効果を実施するようにプログラミングされたデジタル信号プロセッサ（ＤＳＰ）によって処理される。使用可能なＤＳＰの例としては、以下のものがある：
１．特定用途のＤＳＰとして設計されたセミカスタム又はフルカスタムの集積回路；
２．例えばモトローラＤＳＰ５６００２といったプログラマブルＤＳＰチップ、
３．単数又は複数のプログラマブル論理デバイス。

標準的な実現形態においては、処理に、以下のような主要なビルディングブロックを含んでも良い。

１．当該出願人に譲渡された米国特許第５,５０２,７４７号に記述されているもののような低待ち時間技術を用いた、測定された又は合成された頭部関連伝達関数（ＨＲＴＦ）から導出されたフィルタ特性での畳み込み演算。

２．測定された又は合成されたＨＲＴＦから導出されインパルス応答の全て又は一部分についての無限のインパルス応答（ＩＩＲ）を用いた再帰的フィルタリング。

３．スピーカを伴う標準的なリスニング環境内に存在する後期反射をシミュレートするための「疎タップ」有限インパルス応答（ＦＩＲ）又はＩＩＲ残響フィルタ。疎タップＦＩＲフィルタというのは、大部分の係数がゼロで計算の必要がないもののことである。

４．実施形態が特定のヘッドホンセットと合わせて使用されるようになっている場合、これらのヘッドホンの何らかの望ましくない周波数応答特性を補償するべく、フィルタを適用することが可能である。

処理の後、ステレオデジタル出力信号は、デジタル−アナログ変換器（ＤＡＣ）を用いてアナログ信号に変換され、必要とあらば増幅され、恐らくはその他の回路を介してステレオヘッドホン出力に導かれる。この最終段階は、実施形態が組込み型である場合にはオーディオデバイスの内部で行なわれていてもよいし、或いは、実施形態が別のデバイスの一部分として実現されている場合にはそのように行なわれてもよい。

ＡＤＣ及び/又はＤＡＣは同様に、プロセッサと同じ集積回路上に組込まれていてもよい。処理の一部又は全てがアナログドメイン内で行なわれるように、実施形態を実現することもできる。実施形態は、好ましくは「バイノーラル化装置」効果をオン及びオフに切換えるいくつかの方法を有し、異なるヘッドホンセットに対する等化器設定値の間での切換え方法又は、恐らくは出力音量を含めた実施される処理内のその他の変化の制御方法を内蔵することができる。

１つの実施形態においては、処理段階は、スキップ保護ＩＣの代わりにボータブル式ＣＤ又はＤＶＤプレイヤ内に組込まれる。現在利用可能な数多くのＣＤプレイヤが、ランダムアクセスメモリ（ＲＡＭ）内でＣＤから読出したデータをバッファリングする「スキップ保護」機能を内蔵している。「スキップ」が検出された場合、すなわち、オーディオストリームが、ユニットの機構におけるトラック外れのために中断された場合、このユニットは、ＲＡＭからのデータを再生する一方でＣＤからのデータを再度読取ることができる。このスキップ保護は往々にして、ＲＡＭがオンチップ又はオフチップのいずれかである状態で、専用ＤＳＰとして実現される。

この実施形態は、既存の設計に対する負担を最小限におさえながらスキップ保護プロセッサの１つ代わりとして使用可能であるように実現される。この実現形態では、それは、既存のスキップ保護プロセッサ及びアウトオブヘッド処理の実現の両方の機能を果たすフルカスタム集積回路として実現されるであろう。すでにスキップ保護のために内含されているＲＡＭの一部分を、ＨＲＴＦタイプの処理のためのアウトオブヘッドアルゴリズムを実行するのに使用することが可能である。本発明に関して記述された処理のためには、スキップ保護プロセッサの数多くのビルディングブロックが利用できる。かかる配置の一例は、図２３に示されている。

図２４に例示されているさらにもう１つの実施形態においては、処理は、ＤＡＣの代わりに（ＣＤ，ミニディスク，ＤＶＤ又はＤＡＴプレイヤといった）デジタルオーディオ装置内に組込まれる。この実現形態においては、信号処理は、ＤＡＣを内蔵する専用集積回路によって行なわれる。集積回路が事実上既存のＤＡＣとピン互換性をもち得ることから、これは、既存の設計に対しわずかな修正を行なうだけでデジタルオーディオ及びデバイス内に容易に組込むことができる。

図２５に例示されているさらにもう１つの実施形態においては、処理は、デジタル信号チェーン内の追加段として、デジタルオーディオ装置（例えば、ＣＤ，ミニディスク，ＤＶＤ又はＤＡＴプレーヤ）の中に組込まれる。この実現形態においては、信号処理は、デジタルオーディオ装置の内部に取りつけられ、ＤＡＣの前にステレオデジタル信号チェーン内に挿入される専用又はプログラマブルＤＳＰによって実施されることになる。

図２６に例示されているさらなる実施形態においては、処理は、アナログ信号処理の連鎖内の追加手段としてオーディオ装置（例えばパーソナルカセットプレーヤ又はステレオ無線受信機）の中に組込まれる。この実施形態では、アナログ入力信号を使用するためにＡＤＣが用いられる。この実施形態は、ＡＤＣ，ＤＳＰ及びＤＡＣを内蔵する単一の集積回路上で製造されるであろう。これは同様に、幾分かのアナログ処理をも内蔵し得る。これは、カセットプレイヤー及び類似のデバイスの既存の設計の中でアナログ信号チェーンの中に容易に付加することができる。

図２７に例示されているさらなる実施形態においては、処理は、デジタル形態でステレオ入力と共に使用するための外部装置として実現される。この実施形態は、独自で物理的ユニットとして存在してもよいし又は前述のようにヘッドホンセットの中に一体化されていてもよい。これは外部直流プラグパック電源からの電力を受入れるオプションを備えて、バッテリから動力供給を受けることができる。デバイスは、いくつかのＣＤ及びＤＶＤプレーヤ又はそれに類するものの上で利用可能であるように、光学又は電気的形態のデジタルステレオ入力をとる。入力フォーマットはＳＰＤＩＦ又はそれに類するものであってよく、ユニットは、ドルビーデジタルＡＣ−３，ＤＴＳといったサラウンドサウンドフォーマットをサポートすることができる。これは又、以下で記述するようにアナログ入力を有することもできる。処理は、何らかの形のＤＳＰによって実施される。これには、ＤＡＣが後続する。このＤＡＣが直接ヘッドホンを駆動できない場合には、付加的な増幅器をＤＡＣの後に付加する。本発明のこの実施形態は、ＤＳＰ，ＤＡＣそして可能性としてはヘッドホン増幅器を内蔵するカスタム集積回路上で実現され得る。

代替的には、この実施形態は、独自で物理的ユニットとして実現することもできるし、又はヘッドホンセットの中に一体化することもできる。これは、外部直流プラグパック電源からの電力を受け入れるオプションを伴って、バッテリから動力供給を受ける。この装置は、ＡＤＣを介してデジタルデータに変換されるアナログステレオ入力をとる。このデータはその後ＤＳＰを用いて処理され、ＤＡＣを介してアナログに戻される。処理の一部又は全てを、代ってアナログドメインで実施することも可能である。この実現形態は、ＡＤＣ，ＤＳＰ，ＤＡＣそして可能性としてはヘッドホン増幅器ならびに必要とされるあらゆるアナログ処理回路を内蔵するカスタム集積回路上で製造することができる。この実施形態は、リスナーが音源の知覚距離を変動させることができるようにする距離又は「ズーム」制御機構を内蔵することができる。

さらにもう１つの実施形態においては、この制御機構は、スライダ制御機構として実現される。この制御機構がその最小位置にあるとき、音は耳にきわめて近いところから来るように思われ、実際には、平坦なバイノーラル化されていないステレオであり得る。この制御機構の最大設定値においては、音は、一定の距離から来るように知覚される。この制御機構は、音の知覚された「アウトオブヘッド」性を制御するべく、これらの極限の間で変動させることができる。最小位置で制御機構を開始させそれを最大までスライドさせることにより、ユーザは、単純なバイノーラルオン/オフスイッチの場合よりもすばやくバイノーラル環境に順応することができることになる。

かかる制御機構の実現形態は、異なる距離に音源を設置しながら測定されたフィルタ応答の異なるセットを記憶し、プロセッサが現行のズーム制御位置又は設定値に従って現行のフィルタ係数セットを変更することを含む。

さらなる変形形態としては、前述したもの含めた広範囲の利用分野に適合した包括的な集積回路の解決法として、一実施形態を実現することができる。

この実施形態は、上述の実現形態の中で言及したビルディングブロックの一部又は全てを内蔵する集積回路として実現可能である。この集積回路は、ヘッドホン出力を伴う事実上あらゆるオーディオ機器製品の中に組込むことができる。これは又、本発明の実現形態として特定的に製造されるあらゆる物理的ユニットの基本的ビルディングブロックともなりうる。かかる集積回路は、（例えばアナログ又はデジタル入力といった）異なるモードでデバイスが動作できるようにするためのコントロールピンならびにＡＤＣ，ＤＳＰ，ＤＡＣ，メモリ−Ｉ２Ｓステレオデジタルオーディオ入力、Ｓ/ＰＤＩＦデジタルオーディオ入力、ヘッドホン増幅器のうちの一部又は全てを内含することになる。

当業者であれば、広範に記述された本発明の精神又は範囲から逸脱することなく、特定の実施形態の中で示されたような本発明に対し数多くのさらなる変更及び/ 又は修正を加えることができるということは理解できるであろう。従って、これらの実施形態はあらゆる点で制限的な意味のない例示目的のものであるとみなされるべきである。

本発明の範囲内にはその他の任意の形態が入り得るものの、ここでは単なる一例として、添付図面を参照しながら、本発明の好ましい形態について記述する。なお図面中、
本発明のシステムの作動を例示する。 一実施形態の一般化された形態を例示する。 一実施形態のより詳細な概略的形態を例示する。 ドルビーＡＣ−３からステレオヘッドホンへの変換器の概略図を例示する。 概略的な形でステレオ入力からステレオ出力への実施形態を例示する。 本発明に従ったドルビーＡＣ−３入力からステレオ出力への変換の一形態を概略的な形で例示している。 変形された一般的実施形態を例示する。 変形された形のステレオミキシングの概略図を例示する。 変形された形のサラウンドサウンドミキシングを例示する。 直接及びシャドー応答の計算プロセスを例示する。 結果としての直接応答を例示する。 結果としてのシャドー応答を例示する。 適切な残響疎タップを例示する。 適切な残響フィルタを例示する。 適切な残響フィルタを例示する。 バイノーラル化の実現方法を例示する。 第２の既知のバイノーラル化実現方法を例示する。 さらなる実施形態の基本的全体構造を例示する。 図１８のバイノーラル残響プロセスの第１の実現形態を例示する。 バイノーラル残響プロセッサの値の実現形態を例示する。 バイノーラル残響プロセッサのさらに他の実現形態を例示する。 バイノーラル残響プロセッサのさらに他の実現形態におけるフィードバックの利用を例示する。 ＣＤ又はＤＶＤプレイヤ内のスキップ保護ＤＳＰの代わりとなるバイノーラル化装置を含む１つの実施形態を例示する。 デジタルオーディオ装置内のデジタル−アナログ変換器の代わりとなるバイノーラル化装置を含む１つの実施形態を例示する。 デジタルオーディオ装置内へのバイノーラル化装置の組込みを含む一実施形態を例示する。 アナログオーディオ装置内へのバイノーラル化装置の組込みを含む一実施形態を例示する。 独立型バイノーラル化装置を例示する。 独立型バイノーラル化装置の考えられるさまざまな物理的実現形態を例示する。

符号の説明

１１ オーディオ入力
１３ スピーカ入力
１５ ヘッドホン処理システム
１６ ヘッドホン
１７，１８ 仮想スピーカ
２２，２３ インパルス応答フィルタ
３２，３５ ミキシングマトリクス
３３ フィルタ
４３，４４，４７，４８ フィルタ
４９ アナログ加算器
５０ ローエンドステレオ復号器
５２ ヘッドホン
５３，５４ フィルタ
５５ アナログ加算器
５６ 差ユニット
９１，９２ フィルタ
９３ フィードバック経路
９４，９５ ミキシングマトリクス
９６，９７ フィルタアレイ
１０１ 和フィルタ
１０２ 差フィルタ
１０４ 単一疎タップ残響ＦＩＲ遅延線
１０５，１０６ 疎タップ出力
１０９ シャフリングプロセス
１１２ 中央スピーカ入力
１１６，１１７ 後方スピーカ入力
１１８ シャフラ
１１９ 和フィルタ
１２０ 差フィルタ
１２４ シャフラ
１２７ 疎タップ残響ＦＩＲフィルタ
１３０，１３１ 仮想スピーカ
１３２，１３３ 耳
１５２，１５３ フィルタ
１５６，１５７ 残響装置
１５８，１５９ フィルタ
１６０ 遅延線
１７１ ＦＩＲフィルタ
１８１ ＦＩＲフィルタ
１８２ 遅延線１８２
１８３ 加算用素子
１８５ バイノーラル残響プロセッサ
１９０，１９１ 再帰的フィルタ構造
１９２，１９３ 上部ＦＩＲフィルタ
１９４，１９５ 下部ＦＩＲフィルタ
２０１，２０２，２０３，２０４ 再帰的フィルタ構造
２１１ 和フィルタ
２１２ 差フィルタ
２２１ フィードバック経路

Claims (26)

1. 一組のオーディオ入力信号を処理するよう構成された装置であって、
   （ａ）前記一組のオーディオ入力信号および一組のフィードバック入力信号を受け入れて前記オーディオ入力信号と前記フィードバック入力信号との第１の予め定められた組合せとして中間出力信号を形成し、各オーディオ入力信号はリスナー位置に対するそれぞれの空間音源位置に位置するそれぞれの理想化された音源から投射されるオーディオを表し、前記一組のオーディオ入力信号は少なくとも左オーディオ入力信号および右オーディオ入力信号を含む、第１のミキシング器；
   （ｂ）フィルタ・システムであって、
   （ｉ）前記中間出力信号をろ波し、ろ波された中間出力信号を出力するよう構成された一つまたは複数のフィルタの第１の組であって、室内の直接及び初期エコー応答を担当するフィルタの組、及び
   （ｉｉ）前記入力信号の所定のモノラル関数をろ波して前記フィードバック入力信号を生成するよう構成された一つまたは複数のフィルタの第２の組であって、前記室内の残響の非方向性の近似を担当するフィルタの組を含み、
   前記フィードバック入力信号が非方向性であり、前記直接及び初期エコー応答を担当する一つまたはフィルタの前記第１の組が前記オーディオ入力信号と前記フィードバック入力信号の前記第１の予め定められた組合せをろ波するようにする、フィルタシステム；及び
   （ｃ）前記ろ波された中間出力信号を受け容れ、前記ろ波された中間出力信号のミキシングによって反対側に相対したヘッドホンのための左及び右のチャンネルのステレオ出力信号を決定するよう構成された第２のミキシング器；
   を具備し、
   前記リスナー位置にいる、前記反対側に相対したヘッドホンを使って聴いているリスナーが前記ヘッドホンの対の間の部域から空間的に離隔した音源の感覚をもつようにする、装置。
2. 前記一つまたは複数のフィルタの第２の組が、少なくとも、疎タップＦＩＲフィルタ又は再帰的アルゴリズムフィルタ又は全コンヴォリューションＦＩＲフィルタを具備する、請求項１に記載の装置。
3. 前記オーディオ入力信号が信号のサラウンドサウンドセットを含む、請求項１又は２に記載の装置。
4. 前記フィードバック入力信号が前記オーディオ入力信号の前方部分のみとミキシングされる、請求項３に記載の装置。
5. 前記オーディオ入力信号が前記リスナー位置の前方に位置されるオーディオ入力信号を含み、前記一つまたは複数のフィルタの第１の組が、前記リスナー位置の前方に位置づけされた前記オーディオ入力信号の和をろ波する前方和フィルタを含み、この前方和フィルタには、前記前方入力信号のための直接及びシャドー頭部関連伝達関数又は該伝達関数に対応するインパルス応答の和の近似が実質的に含まれている、請求項１ないし４のうちいずれか１項に記載の装置。
6. 前記オーディオ入力信号が前記リスナー位置の前方に位置されるオーディオ入力信号を含み、前記フィルタの第１の組が、前記リスナー位置の前に位置づけされた前記オーディオ入力の差をろ波する前方差フィルタを含み、前記前方差フィルタには前記前方入力信号のための直接及びシャドー頭部関連伝達関数又は該伝達関数に対応するインパルス応答の差の近似が実質的に含まれている、請求項１ないし５のうちいずれか１項に記載の装置。
7. 前記オーディオ入力信号が前記リスナー位置の後方に位置されるオーディオ入力信号を含み、前記一つまたは複数のフィルタの第１の組には、前記リスナー位置の後方に位置づけされた前記オーディオ入力の和をろ波する後方和フィルタが含まれており、この後方和フィルタには前記後方入力信号のための直接及びシャドー頭部関連伝達関数又は該伝達関数に対応するインパルス応答の和の近似が実質的に含まれている、請求項１ないし６のうちいずれか１項に記載の装置。
8. 前記オーディオ入力信号が前記リスナー位置の後方に位置されるオーディオ入力信号を含み、前記一つまたは複数のフィルタの第１の組には、前記リスナー位置の後方に位置づけされた前記オーディオ入力信号の差をろ波する後方差フィルタが含まれており、この後方差フィルタには、前記後方入力信号のための直接及びシャドー頭部関連伝達関数又は該伝達関数に対応するインパルス応答の差の近似が実質的に含まれている、請求項１ないし６のうちいずれか１項に記載の装置。
9. 前記所定のモノラル関数が前記入力信号の和である、請求項１ないし８のうちいずれか１項に記載の装置。
10. ＣＤ−ＲＯＭプレイヤユニット内部に位置されたスキップ保護プロセッサユニットを利用して実現される、請求項１ないし９のうちいずれか１項に記載の装置。
11. 変形された形のデジタル−アナログ変換器を含む専用集積回路を利用して実現される、請求項１ないし１０のうちいずれか１項に記載の装置。
12. 専用の又はプログラマブルなデジタル信号プロセッサを利用して実現される、請求項１ないし１０のうちいずれか１項に記載の装置。
13. アナログ−デジタル変換器とデジタル−アナログ変換器の間に相互接続されたＤＳＰプロセッサを用いてアナログ入力信号に対して作用する、請求項１ないし１０のうちいずれか１項に記載の装置。
14. 音出力信号発生器と前記ヘッドホンの中間に接続された別々に離脱可能な外部デバイスを利用して実現され、前記音出力信号は前記外部デバイスによる処理のためデジタル形態で出力される、請求項１ないし１０のうちいずれか１項に記載の装置。
15. 音出力信号発生器と前記ヘッドホンの中間に接続された別々に離脱可能な外部デバイスを利用して実現され、前記音出力信号がアナログ形態で出力される、請求項１ないし１０のうちいずれか１項に記載の装置。
16. 前記フィルタ・システムがフィルタ係数を使用し、当該装置がさらに：
    音源位置の知覚される距離を変更するべく制御設定に従って前記フィルタ係数を変更するように適合された可変ズーム制御をさらに具備する、
    請求項１ないし１０のうちいずれか１項に記載の装置。
17. 一組のオーディオ入力信号を処理する方法であって、
    （ａ）オーディオ信号を表わす前記一組のオーディオ入力信号を受け入れる段階であって、各オーディオ入力信号はリスナー位置に対するそれぞれの空間音源位置に位置するそれぞれの理想化された音源から投射されるオーディオを表し、前記一組のオーディオ入力信号は少なくとも左オーディオ入力信号および右オーディオ入力信号を含む、段階；
    （ｂ）前記オーディオ入力信号及び一組のフィードバック入力信号をミキシングして、前記オーディオ入力信号と前記一組のフィードバック入力信号との第１の予め定められた組合せとして中間出力信号を形成する段階；
    （ｃ）室内の直接及び初期エコー応答を担当する一つまたは複数のフィルタの第１の組を使って前記中間出力信号をろ波してろ波された中間出力信号を出力する段階；
    （ｄ）前記室内の残響の非方向性の近似を取り入れるよう、一つまたは複数のフィルタの第２の組によって前記入力信号の所定のモノラル関数をろ波して前記フィードバック入力信号を生成する段階であって、
    前記フィードバック入力信号が非方向性であり、前記直接及び初期エコー応答を担当する一つまたはフィルタの前記第１の組が前記オーディオ入力信号と前記フィードバック入力信号の前記第１の予め定められた組合せをろ波するようにする、段階；及び
    （ｅ）前記ろ波された中間出力信号のミキシングによって、反対側に相対したヘッドホンのための左及び右のチャンネルのステレオ出力を決定する段階；
    を有し、
    前記リスナー位置にいる、前記反対側に相対したヘッドホンを使って聴いているリスナーが前記ヘッドホンの対の間の部域から空間的に離隔した音源の感覚をもつようにする、方法。
18. 前記一つまたは複数のフィルタの第２の組が、少なくとも、疎タップＦＩＲフィルタ又は再帰的アルゴリズムフィルタ又は全コンヴォリューションＦＩＲフィルタを含む、請求項１７に記載の方法。
19. 前記オーディオ入力信号が信号のサラウンドサウンドセットを含む、請求項１７又は１８に記載の方法。
20. 前記フィードバック入力信号が、前記段階（ｂ）において、前記オーディオ入力信号の前方部分のみとミキシングされる、請求項１７ないし１９のうちいずれか１項に記載の方法。
21. 前記オーディオ入力信号が前記リスナー位置の前方に位置されるオーディオ入力信号を含み、前記段階（ｃ）のろ波が、前記リスナーの前方に位置づけされた前記オーディオ入力信号の和をろ波する前方和フィルタリングを含み、この前方和フィルタリングは、実質的に前記前方入力信号のための直接及びシャドー頭部関連伝達関数又は該伝達関数に対応するインパルス応答の和の近似を使う、請求項１７ないし２０のうちいずれか１項に記載の方法。
22. 前記オーディオ入力信号が前記リスナー位置の前方に位置されるオーディオ入力信号を含み、前記段階（ｃ）のろ波が、前記リスナーの前に位置づけされた前記オーディオ入力信号の差をろ波する前方差フィルタリングを含み、前記前方差フィルタリングは、実質的に、前記前方入力信号のための直接及びシャドー頭部関連伝達関数又は該伝達関数に対応するインパルス応答の差の近似を使う、請求項１７ないし２１のうちいずれか１項に記載の方法。
23. 前記オーディオ入力信号が前記リスナー位置の後方に位置されるオーディオ入力信号を含み、前記段階（ｃ）のろ波が、前記リスナーの後方に位置づけされた前記オーディオ入力の和をろ波する後方和フィルタリングを含み、この後方和フィルタリングは、実質的に、前記後方入力信号のための直接及びシャドー頭部関連伝達関数又は該伝達関数に対応するインパルス応答の和の近似を使う、請求項１７ないし２２のうちいずれか１項に記載の方法。
24. 前記オーディオ入力信号が前記リスナー位置の後方に位置されるオーディオ入力信号を含み、前記段階（ｃ）のろ波が、前記リスナーの後方に位置づけされた前記オーディオ入力の差をろ波する後方差フィルタリングを含み、この後方差フィルタリングは、実質的に、前記後方入力信号のための直接及びシャドー頭部関連伝達関数又は該伝達関数に対応するインパルス応答の差の近似を使う、請求項１７ないし２３のうちいずれか１項に記載の方法。
25. 前記所定のモノラル関数が前記入力信号の和である、請求項１７ないし２４のうちいずれか１項に記載の方法。
26. 可変ズーム制御を使って前記リスナーが位置する室内のバイノーラル応答の知覚される距離を変える段階をさらに有する、請求項１７ないし２５のうちいずれか１項に記載の方法。
    

Images