JP5298199B2 - モノフォニック対応およびラウドスピーカ対応のバイノーラルフィルタ - Google Patents

Description

関連出願の相互参照
本出願は、参照によりその内容全体を本願明細書に組み込むものとする、２００８年９月２５日出願の米国特許仮出願第６１／０９９，９６７号に対する優先権を主張する。

発明の分野
本開示は、全般的にはオーディオ信号の信号処理に関し、特に、出力がヘッドホンでも、モノフォニックでも、一組のスピーカを通してでも、再生可能であるように、バイノーラルフィルタによって空間化するためのオーディオ入力の処理に関する。

リスニングルーム内の所定位置に配置された複数の仮想スピーカからのサウンドを聴いているという印象を受聴者にもたらすように、ヘッドホンを通して再生される１つ以上のオーディオ入力信号から成る信号セットを処理することは公知である。本願明細書においては、このような処理を空間化およびバイノーラル化と称する。本願明細書においては、オーディオ入力信号を処理するフィルタをバイノーラルフィルタと称する。このような処理がなければ、ヘッドホンを通して聴いている受聴者は、そのサウンドが受聴者の頭の内部にあるという印象を持つであろう。このオーディオ入力信号は、単一の信号、ステレオ再生用の一対の信号、複数のサラウンドサウンド信号、例えば、４．１サラウンドサウンド用の４つのオーディオ入力信号、５．１用の５つのオーディオ入力信号、７．１用の７つのオーディオ入力信号など、でもよく、さらに特定の音源のような、複数の特定位置に対応する個々の信号を含んでもよい。空間化される各オーディオ入力信号に対して、一対のバイノーラルフィルタが存在する。リアルな再生のために、バイノーラルフィルタは、各仮想スピーカから左耳および右耳のそれぞれへの頭部伝達関数（ＨＲＴＦ：ｈｅａｄ ｒｅｌａｔｅｄ ｔｒａｎｓｆｅｒ ｆｕｎｃｔｉｏｎ）を考慮すると共に、シミュレートされるリスニングルームの初期反響と残響応答の両方も考慮する。

このように、ヘッドホンを通して受聴するための一対のオーディオ出力信号、すなわちバイノーラル化された信号、を生成するために、バイノーラルフィルタによって信号を前処理することは公知である。

バイノーラル化された信号を単一のスピーカを通して、すなわち信号をモノフォニック再生用に電子的にダウンミックスすることによってモノフォニックで、聴きたいと思われる場合も多い。一例は、モバイル機器のモノフォニックラウドスピーカを通しての受聴である。さらに、狭い間隔で配置された一対のラウドスピーカを通してこのようなサウンドを聴きたいと思われる場合も多い。後者の場合、バイノーラル化された出力信号は、電子的にではなく、オーディオクロストークによってミックスダウンされる。どちらの場合も、バイノーラル化後にミックスダウンされた信号の響きは不自然であり、特に、残響が響くため、了解度とオーディオの明晰さが下がる。バイノーラル化されたオーディオにおける空間および距離の印象を損なわずに、この問題を排除することは難しい。

本発明の複数の実施形態は、方法と、装置と、プログラムロジック、例えば実行されたときに本方法の実施を引き起こす、コンピュータ可読媒体内にコード化されたプログラムロジック、とを含む。１つの方法は、１つ以上のオーディオ入力の仮想空間化を実現するために、ヘッドホンを通して再生される１つ以上のオーディオ入力信号をバイノーラルフィルタを用いて処理する方法であり、ダウンミックス後のモノフォニック再生時に、または相対的に狭い間隔で配置された複数のラウドスピーカを通して再生されたときに、バイノーラル化された信号が良好に響くという追加の特性をさらに提供する。別の方法は、１つ以上のオーディオ入力信号を一対以上の修正されたバイノーラルフィルタの特性を有する一対以上のバイノーラルフィルタによってそれぞれバイノーラル化したときに、バイノーラル化された信号が１つ以上のオーディオ入力の仮想空間化を実現すると共に、バイノーラル化された信号のダウンミックス後のモノフォニック再生時に、または相対的に狭い間隔で配置された複数のラウドスピーカを介して再生されたときに、良好に響くという追加の特性を有するように、一対以上の修正されたバイノーラルフィルタの特性、例えば、修正されたバイノーラルフィルタのインパルス応答、を求めるために、対応する一対以上のバイノーラルフィルタの特性、例えばバイノーラルフィルタのインパルス応答、を処理するためのデータ処理システムを動作させる方法である。

特定の複数の実施形態は、１つ以上のオーディオ入力信号から成るオーディオ入力信号セットをバイノーラル化するための装置を含む。この装置は、一対以上のベースバイノーラルフィルタによって特徴付けられる一対のバイノーラルフィルタを含み、各オーディオ信号入力に一対のベースバイノーラルフィルタが対応する。各ベースバイノーラルフィルタ対は、左耳のベースフィルタと右耳のベースフィルタとによって表され、さらにベース和フィルタとベース差フィルタとによって表される。各フィルタは、それぞれのインパルス応答によって特徴付けられる。

少なくとも一対のベースバイノーラルフィルタは、受聴者への直接応答を対応する仮想スピーカ位置から取り込むために、およびリスニングルームの初期反響と残響応答の両方を取り込むために、対応するオーディオ信号入力を空間化するように構成される。

少なくとも一対のベースバイノーラルフィルタについては、
・ ベース和フィルタの時間周波数特性は、ベース差フィルタの時間周波数特性とは大幅に異なり、ベース和フィルタ長は、あらゆる周波数において、ベース差フィルタ長、左耳ベースフィルタ長、および右耳ベースフィルタ長より大幅に短い。
・ ベース和フィルタ長は、左耳ベースフィルタ長または右耳ベースフィルタ長の複数の周波数にわたる変化に比べ、さまざまな周波数にわたって大きく変化し、ベース和フィルタ長は、周波数の増加に伴い減少する。

本装置は、ヘッドホンを通して、またはモノフォニックミックス後のモノフォニックで、再生可能な出力信号を生成する。

一部の実施形態において、少なくとも一対のベースバイノーラルフィルタについては、ベース和フィルタのインパルス応答の非有意レベルへの移行は、ベース和フィルタのインパルス応答の初期期間にわたって周波数依存的に経時的に徐々に起こる。

一部の実施形態において、少なくとも一対のベースバイノーラルフィルタについては、ベース和フィルタは、この移行期間にわたって初期の全帯域幅から低域カットオフに向けて周波数成分が減少する。例えば、少なくとも一対のベースバイノーラルフィルタについては、この移行期間は、ベース和フィルタのインパルス応答が約３ｍｓまでの全帯域幅から約４０ｍｓにおける１００Ｈｚ未満に移行するようになっている。

一部の実施形態において、少なくとも一対のベースバイノーラルフィルタについては、１０ｋＨｚ超の高周波数におけるベース差フィルタ長は４０ｍｓ未満であり、３ｋＨｚと４ｋＨｚの間の周波数におけるベース差フィルタ長は１００ｍｓ未満であり、２ｋＨｚ未満の周波数におけるベース差フィルタ長は１６０ｍｓ未満である。これらの実施形態の一部において、１０ｋＨｚ超の高周波数におけるベース差フィルタ長は２０ｍｓ未満であり、３ｋＨｚと４ｋＨｚの間の周波数におけるベース差フィルタ長は６０ｍｓ未満であり、２ｋＨｚ未満の周波数におけるベース差フィルタ長は１２０ｍｓ未満である。これらの実施形態の一部において、１０ｋＨｚ超の高周波数におけるベース差フィルタ長は１０ｍｓ未満であり、３ｋＨｚと４ｋＨｚの間の周波数におけるベース差フィルタ長は４０ｍｓ未満であり、２ｋＨｚ未満の周波数におけるベース差フィルタ長は８０ｍｓ未満である。

一部の実施形態において、少なくとも一対のベースバイノーラルフィルタについては、ベース差フィルタ長は約８００ｍｓ未満である。これらの実施形態の一部において、ベース差フィルタ長は約４００ｍｓ未満である。これらの実施形態の一部において、ベース差フィルタ長は約２００ｍｓ未満である。

一部の実施形態において、少なくとも一対のベースバイノーラルフィルタについては、ベース和フィルタ長は周波数の増加に伴い減少し、１００Ｈｚ未満のあらゆる周波数におけるベース和フィルタ長は４０ｍｓ以上１６０ｍｓ以下であり、１００Ｈｚと１ｋＨｚの間のあらゆる周波数におけるベース和フィルタ長は２０ｍｓ以上８０ｍｓ以下であり、１ｋＨｚと２ｋＨｚの間のあらゆる周波数におけるベース和フィルタ長は１０ｍｓ以上２０ｍｓ以下であり、２ｋＨｚと２０ｋＨｚの間のあらゆる周波数におけるベース和フィルタ長は５ｍｓ以上２０ｍｓ以下である。これらの実施形態の一部において、１００Ｈｚ未満のあらゆる周波数におけるベース和フィルタ長は６０ｍｓ以上１２０ｍｓ以下であり、１００Ｈｚと１ｋＨｚの間のあらゆる周波数におけるベース和フィルタ長は３０ｍｓ以上６０ｍｓ以下であり、１ｋＨｚと２ｋＨｚの間のあらゆる周波数におけるベース和フィルタ長は１５ｍｓ以上３０ｍｓ以下であり、２ｋＨｚと２０ｋＨｚの間のあらゆる周波数におけるベース和フィルタ長は７ｍｓ以上１５ｍｓ以下である。さらに、これらの実施形態の一部において、１００Ｈｚ未満のあらゆる周波数におけるベース和フィルタ長は７０ｍｓ以上９０ｍｓ以下であり、１００Ｈｚと１ｋＨｚの間のあらゆる周波数におけるベース和フィルタ長は３５ｍｓ以上５０ｍｓ以下であり、１ｋＨｚと２ｋＨｚの間のあらゆる周波数におけるベース和フィルタ長は１８ｍｓ以上２５ｍｓ以下であり、２ｋＨｚと２０ｋＨｚの間のあらゆる周波数におけるベース和フィルタ長は８ｍｓ以上１２ｍｓ以下である。

一部の実施形態において、少なくとも一対のベースバイノーラルフィルタについては、ベースバイノーラルフィルタの特性は、整合される一対のバイノーラルフィルタの特性から決まる。このような実施形態の一部において、少なくとも一対のベースバイノーラルフィルタについては、ベース差フィルタのインパルス応答は、後期において、整合されるバイノーラルフィルタの差フィルタにほぼ比例する。例えば、ベース差フィルタのインパルス応答は、４０ｍｓ後に、整合されるバイノーラルフィルタの差フィルタにほぼ比例する。

特定の複数の実施形態は、１つ以上のオーディオ入力信号から成るオーディオ入力信号セットをバイノーラル化する方法を含む。この方法は、一対以上のベースバイノーラルフィルタによって特徴付けられるバイノーラライザによってオーディオ入力信号セットをフィルタリングするステップを含む。ベースバイノーラルフィルタは、さまざまな実施形態において、この「発明の概要」節における特定の装置実施形態の説明で上述したとおりである。

特定の複数の実施形態は、信号処理装置を動作させる方法を含む。この方法は、オーディオ信号をバイノーラル化するように構成された一対の整合されるバイノーラルフィルタのインパルス応答を表す対応する一対の信号を受け付けるステップと、時変フィルタ特性を有する修正フィルタによって各フィルタが特徴付けられる一対のフィルタによって、受け付けた信号セットを処理するステップと、を含む。この処理は、一対の修正されたバイノーラルフィルタのインパルス応答を表す、対応する一対の修正された信号を形成する。修正されたバイノーラルフィルタは、オーディオ信号をバイノーラル化するように構成され、かつモノフォニックミックスダウンにおいて知覚される残響が小さく、ヘッドホン経由のバイノーラルフィルタに対する影響も最小であるという特性をさらに有する。

一部の実施形態において、修正されたバイノーラルフィルタは、修正された和フィルタと修正された差フィルタとによって特徴付けられる。時変フィルタは、修正されたバイノーラルフィルタのインパルス応答が、所定位置にある仮想スピーカを聴いている受聴者に対する頭部伝達関数によって規定される直接部分を含むように構成される。さらに、修正された和フィルタは、修正された差フィルタに比べ、大幅に低減されたレベルと大幅に短い残響時間とを有し、和フィルタのインパルス応答の直接部分から和フィルタの無視しうるほど小さい応答部分への滑らかな移行があり、この滑らかな移行は周波数選択的に経時的に起こる。

さまざまな実施形態において、修正されたバイノーラルフィルタは、この「発明の概要」節で特定の装置実施形態に関して上述したベースバイノーラルフィルタの特性を有する。

特定の複数の実施形態は、信号処理装置を動作させる方法を含む。この方法は、オーディオ信号をバイノーラル化するように構成された左耳および右耳バイノーラルフィルタのインパルス応答を表す、対応する左耳信号と右耳信号とを受け付けるステップを含む。この方法は、左耳信号と右耳信号の和に比例する和信号と、左耳信号と右耳信号の間の差に比例する差信号とを形成するために、左耳信号と右耳信号とをシャフリングするステップをさらに含む。この方法は、時変フィルタ特性を有する和フィルタによって和信号をフィルタリングしてフィルタリングされた和信号を形成し、和フィルタによって特徴付けられる差フィルタによって差信号を処理してフィルタリングされた差信号を形成するステップとをさらに含む。この方法は、修正された左耳および右耳バイノーラルフィルタのインパルス応答を表す、対応する修正された左耳信号と修正された右耳信号とを形成するために、フィルタリングされた和信号とフィルタリングされた差信号とをアンシャフリングするステップをさらに含む。修正されたバイノーラルフィルタは、オーディオ信号をバイノーラル化するように構成され、かつ修正された和フィルタと修正された差フィルタとによって表現可能である。さまざまな実施形態において、修正されたバイノーラルフィルタは、この「発明の概要」節で特定の装置実施形態に関して上述したベースバイノーラルフィルタの特性を有する。

特定の複数の実施形態は、処理システムの少なくとも１つのプロセッサによって実行されたときに、この「発明の概要」節で特定の装置実施形態に関して上述した方法実施形態の何れかの実施を引き起こすプログラムロジックを含む。

特定の複数の実施形態は、処理システムの少なくとも１つのプロセッサによって実行されたときに、この「発明の概要」節で特定の装置実施形態に関して上述した方法実施形態の何れかの実施を引き起こすプログラムロジックを収容したコンピュータ可読媒体を含む。

特定の複数の実施形態は、装置を含む。この装置は、少なくとも１つのプロセッサと記憶デバイスとを有する処理システムを備える。この記憶デバイスは、実行されたときに、この「発明の概要」節で特定の装置実施形態に関して上述した方法実施形態の何れかを装置に実施させるプログラムロジックと共に構成される。

特定の複数の実施形態は、これらの側面、特徴、または利点の全てまたは一部を提供する場合も、一切提供しない場合もある。特定の複数の実施形態は、他の側面、特徴、または利点を１つ以上提供することもあり、これらのうちの１つ以上は、本願明細書に含まれる図、説明、および特許請求の範囲から当業者には容易に明らかになるかもしれない。

本発明の一実施形態を含む、単一の入力信号を処理するための一対のバイノーラルフィルタを含むバイノーラライザの簡略ブロック図を示す。 本発明の一実施形態を含む、対応する１つ以上の入力信号を処理するための一対以上のバイノーラルフィルタを含むバイノーラライザの簡略ブロック図を示す。 本発明の一実施形態を含みうる、１つ以上のオーディオ入力信号を有し、モノフォニックミックスにミックスダウンされる左耳および右耳用出力信号を生成するバイノーラライザの簡略ブロック図を示す。 シャフリング操作と、その後の、本発明の一実施形態を含みうるバイノーラルフィルタ対による和および差フィルタリングと、その後のデシャフリング操作とを示す。 本発明の一実施形態を含みうるバイノーラルフィルタのインパルス応答を表す左および右入力信号に対するシャフリング操作と、その後のデシャフリング操作とを示す。 バイノーラルフィルタのインパルス応答の一例を示す。 整合されるバイノーラル化特性を有するバイノーラルフィルタのインパルス応答を表す一対の入力信号を操作する信号処理装置の実施形態の簡略ブロック図を示す。この処理装置は、本発明の１つ以上の側面によると、バイノーラル化と自然な響きのモノフォニックミックスの生成とが可能なバイノーラルフィルタのインパルス応答を表す信号を出力するように構成される。 バイノーラルインパルス応答を発生させるために図６のような信号処理装置を動作させる方法の一実施形態の簡略フローチャートを示す。 バイノーラルフィルタのインパルス応答を表す一対の信号をバイノーラルフィルタの修正されたインパルス応答を表す信号に変換する方法の一実施形態を実施するＭＡＴＬＡＢ（マサチューセッツ州ネイティックのマスワークス社）構文のコードの一部を示す。 一組のさまざまな時点のそれぞれにおけるインパルスに対する図６の装置実施形態と図７の方法実施形態とに用いられる時変フィルタのインパルス応答のプロットを示す。 一組のさまざまな時点のそれぞれにおける図６の装置実施形態及び図７の方法実施形態とに用いられる時変フィルタの周波数応答の大きさのプロットを示す。 元の左耳バイノーラルフィルタのインパルス応答と、本発明の一実施形態による左耳バイノーラルフィルタのインパルス応答とを示す。 元のバイノーラル化和フィルタのインパルス応答と、本発明の一実施形態によるバイノーラル化和フィルタのインパルス応答とを示す。 元のバイノーラル化差フィルタのインパルス応答と、本発明の一実施形態によるバイノーラル化差フィルタのインパルス応答とを示す。 本発明の一例示的実施形態のバイノーラルフィルタ対のフィルタのインパルス応答の長さに沿った一期間における和および差フィルタの応答におけるエネルギーのプロットを周波数の関数として示す。 本発明の一例示的実施形態のバイノーラルフィルタ対のフィルタのインパルス応答の長さに沿った別の期間における和および差フィルタの応答におけるエネルギーのプロットを周波数の関数として示す。 本発明の一例示的実施形態のバイノーラルフィルタ対のフィルタのインパルス応答の長さに沿った別の期間における和および差フィルタの応答におけるエネルギーのプロットを周波数の関数として示す。 本発明の一例示的実施形態のバイノーラルフィルタ対のフィルタのインパルス応答の長さに沿った別の期間における和および差フィルタの応答におけるエネルギーのプロットを周波数の関数として示す。 本発明の一例示的実施形態のバイノーラルフィルタ対のフィルタのインパルス応答の長さに沿った別の期間における和および差フィルタの応答におけるエネルギーのプロットを周波数の関数として示す。 本発明の一例示的実施形態のバイノーラルフィルタ対の和フィルタのインパルス応答にそれぞれ対応する時間周波数平面上の等減衰量等高線を示す。 本発明の一例示的実施形態のバイノーラルフィルタ対の周波数フィルタのインパルス応答にそれぞれ対応する時間周波数平面上の等減衰量等高線を示す。 本発明の一例示的実施形態のバイノーラルフィルタ対の和フィルタのインパルス応答の時間周波数プロット、すなわちスペクトログラム、の表面の等角図を示す。 本発明の一例示的実施形態のバイノーラルフィルタ対の周波数フィルタのインパルス応答の時間周波数プロット、すなわちスペクトログラム、の表面の等角図を示す。 図１６Ａと同じ時間周波数プロットの表面の等角図であるが、一般的なバイノーラルフィルタ対、特に、図１６Ａに用いられているバイノーラルフィルタ、の和フィルタのインパルス応答の等角図を示す。 図１６Ｂと同じ時間周波数プロットの表面の等角図であるが、一般的なバイノーラルフィルタ対、特に、図１６Ｂに用いられているバイノーラルフィルタ、の周波数フィルタのインパルス応答の等角図を示す。 本発明の複数の側面による一組のオーディオ入力信号を処理するように構成されたオーディオ処理装置の実装の一形態を示す。 ５つのチャンネルのオーディオ情報を受け付けるバイノーラル化装置の一実施形態の簡略ブロック図を示す。 ４つのチャンネルのオーディオ情報を受け付けるバイノーラル化装置の一実施形態の簡略ブロック図を示す。

バイノーラルフィルタおよび表記法
図１は、単一の入力信号を処理するための一対のバイノーラルフィルタ１０３、１０４を含むバイノーラライザ１０１の簡略ブロック図を示す。バイノーラルフィルタは当該技術分野で周知であるが、本願明細書に記載のモノフォニック再生の特徴を含むバイノーラルフィルタは従来技術ではない。

この説明を続けるために、一部の表記法を紹介する。説明を簡潔にするために、本願明細書においては、信号は連続的な時間関数として表される。ただし、この枠組みは、離散時間信号、すなわち適切に標本化および量子化された信号、にも同様によく当てはまることは信号処理分野の当業者には明らかなはずである。このような信号は、一般に、標本化された時点を表す整数のインデックスによって示される。畳み込み積分は畳み込み和などになる。さらに、記載の各フィルタは、時間領域または周波数領域のどちらか一方に、あるいはこれらの組み合わせにも、実装可能であり、さらに有限インパルス応答ＦＩＲ（ｆｉｎｉｔｅ ｉｍｐｕｌｓｅ ｒｅｓｐｏｎｓｅ）による実装、再帰型無限インパルス応答（ＩＩＲ：ｉｎｆｉｎｉｔｅ ｉｍｐｕｌｓｅ ｒｅｓｐｏｎｓｅ）による近似、時間遅延などとしても実装可能であることを当業者は理解されるであろう。これらの詳細については、本明細書から省かれている。

さらに、記載の各方法は、通常、任意の数の入力ソース信号に適用可能であり、容易に一般化される。なお、この説明および定式化は、個別化された何れか特定の頭部伝達関数セットに固有のものではなく、あるいは何れか特定の合成された、または全般的な、頭部伝達関数に固有なものでもないことに留意すべきである。この手法は、所望される如何なるバイノーラル応答にも適用可能である。

図１を参照すると、ヘッドホン１０５を通したバイノーラルレンダリングのためにバイノーラライザ１０１によってバイノーラル化される単一のオーディオ信号がｕ（ｔ）で示され、リスニングルーム内の受聴者１０７の左耳および右耳に対するバイノーラルフィルタのインパルス応答がそれぞれｈ_Ｌ（ｔ）およびｈ_Ｒ（ｔ）で示されている。バイノーラライザは、音源、すなわち所定の位置にある「仮想ラウドスピーカ」１０９、から来る信号ｕ（ｔ）の響きを聴いている感覚を受聴者１０５にもたらすように設計される。

バイノーラルフィルタ１０３および１０４の適切な設計によってこのような音源の仮想的な空間定位を実現するためのバイノーラルフィルタの設計、近似、および実装に関する従来技術は多数存在する。これらのフィルタは、スピーカ１０９が完全な無響室に存在するかのように各耳の頭部伝達関数（ＨＲＴＦ）を考慮に入れる、すなわち仮想スピーカ１０９からの直接受聴の空間寸法を考慮に入れ、さらには受聴環境における初期反射と残響の両方を考慮に入れる。いくつかのバイノーラルフィルタの設計方法に関する詳細については、例えば国際公開第９９１４９８３号として公開された「ステレオヘッドホンデバイスにおけるフィルタリング効果の利用（ＵＴＩＬＩＺＡＴＩＯＮ ＯＦ ＦＩＬＴＥＲＩＮＧ ＥＦＦＥＣＴＳ ＩＮ ＳＴＥＲＥＯ ＨＥＡＤＰＨＯＮＥ ＤＥＶＩＣＥＳ）」と題される国際出願ＰＣＴ／ＡＵ９８／００７６９号および国際公開第９９４９５７４号として公開された「オーディオ信号処理方法および装置（ＡＵＤＩＯ ＳＩＧＮＡＬ ＰＲＯＣＥＳＳＩＮＧ ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ）」と題される国際出願ＰＣＴ／ＡＵ９９／００００２号を参照されたい。これらの出願の各々は米国を指定国としている。国際公開第９９１４９８３号および国際公開第９９４９５７４号の各公開内容は、参照により本願明細書に組み込まれるものとする。

したがって、ヘッドホン用にバイノーラル化された複数の信号を利用可能であることもある。これらの信号のバイノーラル化処理は、さまざまな種類の部屋においてコンテンツ受聴感を受聴者にもたらすように設けられた１つ以上の所定のバイノーラルフィルタにより可能である。商用バイノーラル化の１つは、ＤＯＬＢＹ ＨＥＡＤＰＨＯＮＥ（商標）として公知である。ＤＯＬＢＹ ＨＥＡＤＰＨＯＮＥのバイノーラル化におけるバイノーラルフィルタ対は、空間的広がりのない１つの共通の残響尾部を有するインパルス応答をそれぞれ有する。さらに、ＤＯＬＢＹ ＨＥＡＤＰＨＯＮＥの一部の実装は、単一の一般的なリスニングルームを表す単一のバイノーラルフィルタセットのみを提供し、他の実装は、ＤＨ１、ＤＨ２、およびＤＨ３で示される３つの異なるバイノーラルフィルタセットのうちの１つを用いてバイノーラル化を行える。これらは、以下の特性を有する。
・ ＤＨ１は、映画および音楽のみの録音の両方に適した小さな、よく吸音される部屋での受聴感をもたらす。
・ ＤＨ２は、音楽の受聴に特に適した、より音響的にライブな部屋での受聴感をもたらす。
・ ＤＨ３は、より大きな部屋、すなわちコンサートホールまたは映画館により近い部屋、での受聴感をもたらす。

畳み込み動作を

で示す。すなわち、ａ（ｔ）およびｂ（ｔ）の畳み込みは、次のように示される。

式中、時間依存性は左辺に明示的には示されていないが、英字の使用により暗示されるであろう。非時間依存量は、明確に示されるであろう。

バイノーラル出力は、ｖ_Ｌ（ｔ）で示される左出力信号とｖ_Ｒ（ｔ）で示される右耳信号とを含む。バイノーラル出力は、ソース信号ｕ（ｔ）とバイノーラルフィルタ１０３、１０４の左右のインパルス応答との畳み込みによって生成される。

図１は、単一の入力オーディオ信号を示す。図２は、ｕ_１（ｔ）、ｕ_２（ｔ）、．．．、ｕ_Ｍ（ｔ）で示される１つ以上のオーディオ入力信号を有するバイノーラライザの簡略ブロック図を示す。ここで、Ｍは入力オーディオ信号の数である。Ｍは、１またはそれ以上にすることができる。Ｍ＝２はステレオ再生用であり、これより大きな数はサラウンドサウンド信号用であり、例えば、Ｍ＝４は４．１サラウンドサウンド用、Ｍ＝５は５．１サラウンドサウンド用、Ｍ＝７は７．１サラウンドサウンド用などである。複数の音源を有することもできる。例えば、通常のバックグラウンドのための複数の入力に加え、環境内で喋っている人々など、特定の音源を配置するための１つ以上の入力を有することもできる。空間化される各オーディオ入力信号に対して、一対のバイノーラルフィルタが存在する。リアルな再生のために、バイノーラルフィルタは、各仮想スピーカ位置と左右の耳とに関するそれぞれの頭部伝達関数（ＨＲＴＦ）を考慮に入れ、さらにシミュレートされるリスニングルームの初期反響と残響応答の両方を考慮に入れる。図示のバイノーラライザのための左右のバイノーラルフィルタは、インパルス応答ｈ_１Ｌ（ｔ）およびｈ_１Ｒ（ｔ）、ｈ_２Ｌ（ｔ）およびｈ_２Ｒ（ｔ）、．．．、ｈ_ＭＬ（ｔ）およびｈ_ＭＲ（ｔ）をそれぞれ有する左耳バイノーラライザおよび右の各バイノーラライザ２０３−１および２０４−１、２０３−２および２０４−２、．．．、２０３−Ｍおよび２０４−Ｍを含む。出力ｖ_Ｌ（ｔ）およびｖ_Ｒ（ｔ）を生成するために、加算器２０５および２０６によって左耳および右耳出力が加算される。

仮想スピーカの数はＭ_ｖで示されている。このようなスピーカは、図２の対応するＭ_ｖ位置にスピーカ２０９−１、２０９−２、．．．、２０９−Ｍ_ｖとして示されている。一般にはＭ＝Ｍ_ｖであるが、これは必須ではない。例えば、一対のステレオ入力信号を空間化するアップミキシングを組み込むことによって、ヘッドホンを装着している受聴者に、あたかも５つの仮想ラウドスピーカがあるかのように響かせることもできる。

本願明細書の説明においては、一対のバイノーラルフィルタの特性と操作とについて述べる。このようなバイノーラルフィルタ対の特性と操作とは、図２に示すような構成の各バイノーラルフィルタ対に適用されることを当業者は理解するであろう。

図３は、１つ以上のオーディオ入力信号を有し、左出力信号ｖ_Ｌ（ｔ）と、ｖ_Ｒ（ｔ）で示される右耳信号とを生成するバイノーラライザ３０３の簡略ブロック図を示す。左耳信号ｖ_Ｌ（ｔ）と、ｖ_Ｒ（ｔ）で示される右耳信号とのそれぞれに対して一部フィルタリングを行い、フィルタリングされた信号同士を加算すなわち混合するダウンミキサー３０５によって得られた左右の出力信号のモノフォニックミックスダウンがｖ_Ｍ（ｔ）で示されている。以下の説明は、単一の入力ｕ（ｔ）を想定する。ダウンミキサー３０５の左右の出力信号に対するフィルタ３０７および３０８のインパルス応答をそれぞれｍ_Ｌ（ｔ）およびｍ_Ｒ（ｔ）で示す。以下の説明は、単一の入力ｕ（ｔ）を想定する。同様の操作がこのような入力のそれぞれに対して行われる。次に、このモノフォニックミックスダウンは、

理想的なモノフォニック対応のためには、モノフォニックミックスが初期信号ｕ（ｔ）と同じである（またはこれに比例している）ことが望ましい。すなわち、ｖ_Ｍ（ｔ）＝αｕ（ｔ）。ここで、αは何らかの変倍率定数である。これを適用するために、α＝１であると想定すると、次の恒等式を理論上適用する必要があるであろう。

式中、δ（ｔ）は、

になるように規定される単位元の積分核であり、ディラックのデルタ関数とも呼ばれる。離散処理において、所望される結果は、

− 各インパルス応答は離散関数 − が単位インパルス応答に比例することである。勿論、実際の実装においては、計算に時間がかかるため、実際の因果性フィルタを用いて実装するには、「完全な」モノフォニック対応のための要件は、

が単位インパルスの時間遅延されて変倍された形になることである。

単純なモノフォニックミキシングの場合は、ｍ_Ｌ（ｔ）＝ｍ_Ｒ（ｔ）＝δ（ｔ）である。すなわち、

したがって、単純なモノフォニックミキシングの場合、バイノーラル化された出力のモノフォニックミックスを完全に再生するには、理想的には、
ｈ_Ｌ（ｔ）＋ｈ_Ｒ（ｔ）＝δ（ｔ）。 （５）

ｈ_Ｌ（ｔ）およびｈ_Ｒ（ｔ）は、良好なバイノーラル化をもたらすことが望ましい。すなわち、これらの出力のレンダリングは、あたかもそのサウンドが本当のリスニングルームにおいて仮想スピーカ位置（単数または複数）から出ているように、ヘッドホンを通して自然に響くことが望ましい。さらに、バイノーラル出力のモノフォニックミックスは、レンダリング時にオーディオ入力ｕ（ｔ）のように響くことが望ましい。

オーディオ信号処理の当業者は、和チャンネルと差チャンネルとを生成するために、最初に左右のバイノーラル信号のシャフリングを行うことによって一組のステレオ信号に対するバイノーラルフィルタリング操作を表現することに精通しているであろう。

理想的には、左入力および右ステレオまたはバイノーラル入力ｕ_Ｌ（ｔ）およびｕ_Ｒ（ｔ）に対して、ｕ_Ｓ（ｔ）およびｕ_Ｄ（ｔ）で示される和信号および差信号は、

逆の関係もシャフリング操作によって行われる。

シャフリングによって、バイノーラルフィルタのインパルス応答を、バイノーラルフィルタリングされた和および差信号ｖ_Ｓ（ｔ）、ｖ_Ｄ（ｔ）を生成する、インパルス応答ｈ_Ｓ（ｔ）を有する和フィルタと、インパルス応答ｈ_Ｄ（ｔ）を有する差フィルタとして表現できる。すなわち、

式中、

左耳および右耳バイノーラルフィルタのインパルス応答間の逆の関係も次のシャフリング操作によって実現される。

この説明では、左耳および右耳バイノーラルフィルタｈ_Ｌ（ｔ）およびｈ_Ｒ（ｔ）に関連付けられた、インパルス応答ｈ_Ｓ（ｔ）を有する和フィルタおよびインパルス応答ｈ_Ｄ（ｔ）を有する差フィルタの特性について述べる。これらの和および差フィルタは、各バイノーラルフィルタ対に対して規定される。ステレオ入力については、単に例示のために上で述べた。勿論、和および差フィルタの存在は、ステレオ入力または何れか特定数の入力の存在に依存するものではない。各バイノーラルフィルタ対に対して、和および差フィルタが規定される。

図４Ａは、左耳のバイノーラル信号出力ｖ_Ｌ（ｔ）と右耳のバイノーラル信号出力ｖ_Ｒ（ｔ）とを生成するための、左耳のステレオ信号ｕ_Ｌ（ｔ）と右耳のステレオ信号ｕ_Ｒ（ｔ）とに対するシャフラ４０１によるシャフリング操作、その後の和フィルタのインパルス応答および差フィルタのインパルス応答ｈ_Ｓ（ｔ）およびｈ_Ｓ（ｔ）をそれぞれ有する和フィルタ４０３および差フィルタ４０４、およびその後のデシャフラ４０５、すなわち基本的に各信号のシャフラおよびハーバー、の簡略ブロック図を示す。

インパルス応答は時間信号であるため、すなわち単位インパルス入力に対する応答であるため、インパルス応答に対するフィルタリングおよび他の信号処理操作は他の如何なる信号とも同様に実行可能である。図４Ｂは、和フィルタのバイノーラルインパルス応答ｈ_Ｓ（ｔ）と差フィルタのバイノーラルインパルス応答ｈ_Ｄ（ｔ）とを生成するためのシャフラ４０１による左耳バイノーラルフィルタのインパルス応答ｈ_Ｌ（ｔ）と右耳バイノーラルフィルタのインパルス応答ｈ_Ｒ（ｔ）とに対するシャフリング操作の簡略ブロック図を示す。左耳バイノーラルフィルタのインパルス応答ｈ_Ｌ（ｔ）と右耳バイノーラルフィルタのインパルス応答ｈ_Ｒ（ｔ）とを返すためのデシャフラ４０５、すなわち基本的にはシャフラとハーバー、によるデシャフリングも示されている。

なお、線形性のために、実際には多くの場合、√２係数はシャフリングから除外され、アンシャフリングされた出力に変倍係数２が加えられることに注目されたい。したがって、一部の実施形態においては、

および

したがって、当業者には明らかなように、本願明細書の説明においては、あらゆる数量が適宜変倍可能である。

バイノーラルフィルタの設計
本発明の特定の実施形態は、用意された一対のバイノーラルフィルタの特性を修正して一対の修正されたバイノーラルフィルタの特性を求めるために、信号処理装置を動作させる方法を含む。本方法の１つの実施形態は、１つのオーディオ信号をバイノーラル化するように構成された、対応する一対のバイノーラルフィルタのインパルス応答を表す一対の信号を受け付けるステップを含む。本方法は、この受け付けられた一対の信号を、時変フィルタ特性を有する修正フィルタによって各フィルタが特徴付けられる、一対のフィルタによって処理することによって、対応する一対の修正されたバイノーラルフィルタのインパルス応答を表す一対の修正された信号を形成する。修正された各バイノーラルフィルタは、１つのオーディオ信号をバイノーラル化して一対のバイノーラル化された信号にするように構成され、かつバイノーラル化された信号のモノフォニックミックスが受聴者に自然に響くという特性をさらに有する。

左耳および右耳のインパルス応答ｈ_Ｌ（ｔ）およびｈ_Ｒ（ｔ）をそれぞれ有する一組のバイノーラルフィルタを考えてみる。上記のように、式（３）に記述されているようなモノフォニックミックスの場合、理想的な完全モノフォニック対応のためには、理想的には、如何なる比例定数も無視して、以下の恒等式を適用する必要があるであろう。

単純なモノフォニックミキシングの場合は、理想的には、
ｈ_Ｌ（ｔ）＋ｈ_Ｒ（ｔ）＝δ（ｔ）。 （５）

発明者らは、レンダリング時にバイノーラル出力のモノフォニックミックスがオーディオ入力ｕ（ｔ）のように響く特性を「モノフォニック再生対応」または単に「モノフォニック対応」と称する。モノフォニック再生対応に加え、ｈ_Ｌ（ｔ）およびｈ_Ｒ（ｔ）が良好なバイノーラル化をもたらす、すなわち出力のレンダリングが、あたかもそのサウンドが本物のリスニングルームにおいて仮想スピーカ位置（単数または複数）から出ているかのように、ヘッドホンを介して自然に響くことが望ましい。さらに、バイノーラル化されたオーディオは、さまざまな仮想スピーカ位置、ひいてはさまざまなバイノーラルフィルタ対、によって混合されるいくつかの異なるオーディオ入力源を含むケースに対応することが望ましい。モノフォニックフィルタは簡単に実装可能であることが望ましく、かつステレオコンテンツのモノフォニックダウンミキシングのための一般慣行に対応することが好ましいであろう。式（５）の拘束は、通常、バイノーラルインパルス応答の指向性および距離特性に大きな影響を及ぼさずには可能ではない。これは、フィルタのインパルス応答の初期インパルスまたはタップ以外では、ｔ＞０においてｈ_Ｒ（ｔ）＝−ｈ_Ｌ（ｔ）であることを暗示する。換言すると、バイノーラルフィルタをインパルス応答ｈ_Ｓ（ｔ）およびｈ_Ｄ（ｔ）を有する和および差フィルタとして表すと、ｔ＞０においてｈ_Ｓ（ｔ）＝０である。

この拘束を、バイノーラル応答に大きな影響を及ぼさずに、何れかの方法によって実現しうることは直ちには分からない。このためには、バイノーラルインパルス応答の大部分が相関係数−１を有する必要がある。すなわち、インパルス応答は同じになるが、符号が逆になる。

図５は、一般的なバイノーラルフィルタのインパルス応答、例えば和フィルタのインパルス応答ｈ_Ｓ（ｔ）、または左耳または右耳バイノーラルフィルタのどちらか一方のインパルス応答、を簡略化された形態で示す。このような音響インパルス応答の一般的な形態は、直接音と、いくらかの初期反射と、狭い間隔で隔てられた複数の反射で構成される、ひいては拡散残響によってよく近似される、応答の後期部分とを含む。

ある人にインパルス応答ｈ_Ｌ０（ｔ）およびｈ_Ｒ０（ｔ）をそれぞれ有する左耳および右耳バイノーラルフィルタが用意されていると想定し、これらが申し分ないバイノーラル化をもたらすと想定する。本発明の一側面は、インパルス応答ｈ_Ｌ（ｔ）およびｈ_Ｒ（ｔ）によって規定される、申し分ないバイノーラル化をもたらす一組のバイノーラルフィルタであり、例えば、所与の一組のフィルタｈ_Ｌ０（ｔ）およびｈ_Ｒ０（ｔ）と同様であるが、その出力がモノフォニック信号へのミックスダウン時にも良好に響く一組のバイノーラルフィルタである。次に、ｈ_Ｌ（ｔ）およびｈ_Ｒ（ｔ）がｈ_Ｌ０（ｔ）およびｈ_Ｒ０（ｔ）に如何に匹敵するかについて、また所与のｈ_Ｌ０（ｔ）およびｈ_Ｒ０（ｔ）に対して如何にｈ_Ｌ（ｔ）およびｈ_Ｒ（ｔ）を設計するかについて述べる。

直接応答部分
左耳および右耳のバイノーラルインパルス応答の各々において、直接応答は、受聴者に与えられる方向感に主に関与する、２つの対応する耳へのレベル差および時間差をコード化する。発明者は、バイノーラルフィルタの頭部伝達関数（ＨＲＴＦ）の直接部分のスペクトル効果はそれほど重大ではないことを見出した。さらに、一般的なＨＲＴＦは、時間遅延成分をさらに含む。すなわち、バイノーラル化された出力を混合してモノフォニック信号にすると、このモノフォニック信号用の等価フィルタは最小位相にならず、追加のスペクトル整形をいくらか導入する。発明者は、これらの遅延が比較的短いこと、例えば１ｍｓ未満であること、を見出した。したがって、バイノーラル化された信号の出力が混合されてモノフォニック信号になるとき、これらの遅延はいくらかのスペクトル整形を生成するが、発明者は、このスペクトル整形は一般にそれほど重大ではなく、この遅延によって生じる離散反響は何れも比較的感知不能であることを見出した。したがって、本発明の一部の実施形態においては、バイノーラルフィルタのインパルス応答ｈ_Ｌ（ｔ）およびｈ_Ｒ（ｔ）の直接部分、すなわちＨＲＴＦによって規定される部分、は何れのバイノーラルフィルタのインパルス応答、例えばフィルタｈ_Ｌ０（ｔ）およびｈ_Ｒ０（ｔ）のインパルス応答、とも同じである。すなわち、本発明の一部の側面により見られるバイノーラルフィルタｈ_Ｌ（ｔ）およびｈ_Ｒ（ｔ）の特性は、これらのバイノーラルフィルタのインパルス応答の直接部分を除外する。

なお、一部の代替実施形態においては、このスペクトル整形が考慮されることに注目されたい。複数の仮想スピーカ位置にわたって励振が与えられたときに左右の耳にもたらされる、組み合わされたスペクトルを考慮することにより、１つの実施形態は、より平らなスペクトル応答を実現するための補償用等化フィルタを含む。これは、多くの場合、拡散音場における頭部応答のための補償と称され、このようなフィルタリングの実施方法は当業者には単純明快である。このような補償はスペクトルバイノーラルキューの一部を除去できる一方、スペクトルカラレーションをもたらす。

１つの実施形態において、直接音応答はｔ＜０における応答である。すなわち、
ｔ＜３ｍｓにおいては、ｈ_Ｌ（ｔ）＝ｈ_Ｌ０（ｔ）、および （１０）
ｔ＜３ｍｓにおいては、ｈ_Ｒ（ｔ）＝ｈ_Ｒ０（ｔ）。 （１１）

ここで、ｈ_Ｓ０（ｔ）およびｈ_Ｄ０（ｔ）で示される元の和フィルタおよび差フィルタと、それぞれｈ_Ｓ（ｔ）およびｈ_Ｄ（ｔ）で示されるバイノーラライザの和および差フィルタとを考える。式（８ａ）および式（９ａ）ならびに図４Ｂは、左耳および右耳のバイノーラライザのインパルス応答と和および差フィルタのインパルス応答との間の、すなわち一方は他方のシャフリング結果である、順方向および逆方向の関係を表す。ここでも、シャフリング操作および逆シャフリング操作の実際の実装においては、√２係数を各操作に含めなくてもよいが、一例として、式（８ｂ）および式（９ｂ）に記述されているように、和および差を１回のシャフリングで単に求め、この操作を逆にするためのシャフリングにおいて２で割ることに注目されたい。

発明者は、一般的なバイノーラルフィルタのインパルス応答は、和および差フィルタの両方において１つの同様の信号エネルギーを有することを見出した。式（５）において特定されたモノフォニック対応の拘束は、和フィルタはインパルス応答を有しない、すなわち、ｔ＞０においてｈ_Ｓ（ｔ）＝０である、と述べることに相当する。変化しない応答の直接部分を考慮しない実施形態の場合、要件は、式（１０）および式（１１）に示されているように、ｔ＞３ｍｓ以降においてもｈ_Ｓ（ｔ）＝０に緩和される。

ほぼ同じエネルギーを和および差フィルタにおいて維持するために、修正された応答において直接エネルギーと残響エネルギーとの比およびスペクトルを正しく維持する必要がある場合は、差チャンネルを、元のフィルタに比べ、約３ｄＢブーストすべきである。ただし、この修正は、バイノーラル音像の望ましくない劣化を引き起こす。両耳間の相互相関の急激な変化は、強い知覚的影響を有し、空間感覚および距離感の大部分を破壊する。

１つの実施形態において、
ｔが小さい値の場合、例えばｔ＜３ｍｓにおいては、
ｈ_Ｄ（ｔ）＝ｈ_Ｄ０（ｔ）であり、 （１２）
ｔが大きい値の場合、例えばｔ＞４０ｍｓにおいては、
ｈ_Ｄ（ｔ）＝√２ｈ_Ｄ０（ｔ）である。 （１３）

バイノーラルフィルタの差フィルタのインパルス応答は、インパルス応答の直接部分、例えば＜３ｍｓ、については一般的なバイノーラル差フィルタのインパルス応答に比べ、３ｄＢブーストされ、差フィルタのインパルス応答の残響部分の後期部分においてフラットな一定値のインパルス応答を有する。

発明者は、ｈ_Ｄ（ｔ）＝ｈ_Ｄ０（ｔ）からｈ_Ｄ（ｔ）＝ｈ_Ｄ（ｔ）＝√２ｈ_Ｄ０（ｔ）への変化は突然起こり、得られたバイノーラルフィルタは、元のフィルタに比べ、バイノーラル音像の望ましくない劣化を有することを見出した。両耳間の相互相関の急激な変化は、強い知覚的影響を有し、空間感覚および距離感の大部分を破壊する。

この開示の１つの側面は、モノフォニック対応の拘束をバイノーラル応答の後期部分に、知覚的にマスクされた段階的方法で、ひいてはバイノーラル音像への影響が最小である方法で、導入することである。

発明者は、バイノーラルフィルタ対の一般的なバイノーラル室内インパルス応答は、一般に初期にはかなり相関性があり、応答の後期部分では無相関になることを見出した。さらに、波長がより短いことにより、応答のより高い周波数部分がバイノーラル応答のより早期において無相関になる。すなわち、発明者は、時間依存的な現象があることを見出した。

本発明の１つの実施形態において、バイノーラル対の和フィルタは、一般的なバイノーラルフィルタ対の一般的な和フィルタに時変フィルタによって関連付けられる。この時変フィルタの時変インパルス応答をｆ（ｔ，τ）で示す。これは、時点ｔ＝τにおけるインパルス、すなわち入力δ（ｔ−τ）、に対する時点ｔにおける時変フィルタの応答である。すなわち、

式中、ｆ（ｔ，τ）は以下のようになる。
ｆ（０、τ）＝δ（τ）および （１５）
後期においては、例えばｔ＞４０ｍｓまたはｔ＞８０ｍｓにおいては、
ｆ（ｔ，τ）≒０。 （１６）

一部の実施形態においては、｜Ｆ（ｔ，ω）｜で示される時間依存的な周波数応答が、帯域幅未満の低周波数においては｜Ｆ（ｔ，ω）｜がフラットであり、帯域幅外では０であるという特性を有するように、ｆ（ｔ，τ）は、Ω（ｔ）＞０で示される、時間依存的に帯域幅が減少するゼロ遅延、線形位相、低域通過フィルタのインパルス応答であるか、またはこれに近似する。
｜ω｜＜Ω（ｔ）｜においては、｜Ｆ（ｔ，ω）｜≒１ （１７）
｜ω｜＞Ω（ｔ）｜においては、｜Ｆ（ｔ，ω）｜≒０ （１８）
式中、時変周波数応答はＦ（ｔ，ω）で示される。

式中、時変帯域幅は、経時的に単調に減少する、すなわち、
ｔ_１＜ｔ_２において、Ω（ｔ_１）＞Ω（ｔ_２） （２０）

１つの実施形態は、ｔ＝０における最小値２０ｋＨｚから高い時間値、例えばｔ＞１０ｍｓ、における約１００Ｈｚ以下に単調に増加するフィルタの時間依存的な帯域幅を使用する。すなわち、
次のようになる。
Ω（０）／２π＞２０ｋＨｚ、および
ｔ＞４０ｍｓにおいては、Ω（ｔ）／２π＜１００Ｈｚ （２１）

ここでも、フィルタの形態は式（１４）〜（２１）において連続時間で示されていることを当業者は理解されるであろう。これを離散時間として記述することは比較的単純明快であるので、本願明細書においては、本発明の特徴の説明から気を逸らさせないために、述べないことにする。

差フィルタに関して、１つの実施形態で用いられる差フィルタのインパルス応答ｈ_Ｄ（ｔ）は、その空間的広がりが整合される差フィルタに以下の式によって関連付けられる。

式中、ｈ_Ｄ０（ｔ）は、元の差フィルタのインパルス応答を示す。

ここでも、フィルタの形態は式（２２）において連続時間で示されていることを当業者は理解されるであろう。これを離散時間として記述することは比較的単純明快であるので、本願明細書においては、本発明の特徴の説明から気を逸らさせないために、述べないことにする。

式（２２）のインパルス応答を有するフィルタは、空間化品質を整合させる元の差フィルタｈ_Ｄ０（ｔ）と差フィルタｈ_Ｄ（ｔ）とが位相同期するように、ｆ（ｔ，τ）で示される低域通過フィルタのインパルス応答がゼロ遅延および線形位相を有する場合に適している。

なお、ｆ（０，τ）＝δ（τ）であるため、
ｈ_Ｄ（０）＝ｈ_Ｄ０（０）。

さらに、後期、例えばｔ＞４０ｍｓ、においては、ｆ（ｔ，τ）≒０であるため、
ｔ＞４０ｍｓ程度においては、ｈ_Ｄ（ｔ）＝√２ｈ_Ｄ０（ｔ）。

したがって、差フィルタのインパルス応答は、後期においては、例えば４０ｍｓ後に、整合される、または一般的な、バイノーラルフィルタの差フィルタに比例する。したがって、元の差フィルタのインパルス応答ｈ_Ｄ０（ｔ）に対する修正は、ｔ＝０と規定される初期インパルス時点の０ｄＢから、時間ｔの増加に伴い漸次低下する周波数において＋３ｄＢへと増加する周波数依存的なブーストを差チャンネルに対してもたらす。この利得は、和および差フィルタのインパルス応答が大きさにおいて同様であり、かつ無相関であるという前提のもとに適している。これは常に厳密に真実であるとは限らないが、発明者はこれは妥当な前提であることを見出し、さらに差チャンネルのインパルス応答ｈ_Ｄ（ｔ）と、空間的広がりが整合されるバイノーラルフィルタ対の差チャンネルのインパルス応答との間の関係は、修正されたフィルタのスペクトルと直接エネルギーと残響エネルギーとの比とを修正するために妥当なアプローチであることを見出した。

ただし、本発明は、式（１４）および式（２２）に示された関係に限定されない。複数の代替実施形態においては、他の関係を用いて規定または決定された何れかのバイノーラルフィルタ対、例えばインパルス応答ｈ_Ｌ０（ｔ）およびｈ_Ｒ０（ｔ）を有するバイノーラルフィルタ対、とのスペクトルの整合をさらに向上させることができる。この具体的なアプローチは、本願明細書においては妥当な結果を達成するための比較的単純な方法として提示されており、限定を意図したものではない。

次に、式（８ａ）および式（９ａ）ならびに図４Ｂのシャフリング関係を用いて、または式（８ｂ）および式（９ｂ）のシャフリング関係を用いて、目的のバイノーラルフィルタを再構成できる。このアプローチは、モノフォニックミックスダウンにおける残響の低減と、バイノーラル応答に対する知覚的にマスクされた影響との間に効果的な平衡をもたらすことが見出された。相関係数−１への移行は、滑らかに、かつインパルス応答の初期期間中に、例えば初期４０ｍｓ中に、起こる。このような一実施形態において、モノフォニックミックスダウンにおける残響応答は約４０ｍｓに制限され、高周波残響ははるかに短い。

モノフォニックミックスダウンが知覚的にほぼ無響になる時間として、４０ｍｓが示唆される。一部の初期反射および残響はモノフォニックミックスに依然として存在しうるが、これは直接音によって効果的にマスクされ、離散的な反響またはさらなる残響としては知覚されないことを発明者は見出した。

本発明は、移行領域の長さ４０ｍｓに限定されない。このような移行領域は、用途に応じて変化させうる。残響時間が特に長いか、または直接エネルギーと残響エネルギーとの比が低い部屋をシミュレートしたい場合は、このような部屋のための標準バイノーラルフィルタに比べ、移行時間をさらに延長できるばかりでなく、モノフォニック対応の向上を引き続きもたらすこともできる。移行時間４０ｍｓは、元のバイノーラルフィルタの残響時間が１５０ｍｓであり、かつモノフォニックミックスをできる限り無響に近付ける必要がある特定の用途に適していることが見出された。

一部の実施形態においては和フィルタが完全に排除されるが、これは要件ではない。和インパルス応答の大きさは、モノフォニックミックスダウンの残響部分の顕著な差または低減の実現に十分な割合に低減される。発明者は、約６ｄＢの残響レベルの変化に対して「丁度可知差異」を基準として選択した。したがって、本発明の一部の実施形態においては、一般的なバイノーラルフィルタを用いてバイノーラル化された信号のモノフォニックミックスダウンの場合に比べ、和フィルタの残響応答の少なくとも６ｄＢの低減が用いられる。したがって、一部の実施形態において、和フィルタは完全には排除されないが、その影響、例えば、そのインパルス応答の大きさは、例えば和チャンネルフィルタのインパルス応答の振幅を６ｄＢ以上減衰することによって、大幅に低減される。１つの実施形態は、これを実現するために、

で示される以下の和インパルス応答を求めるために、元の和フィルタのインパルス応答と上で提案した、修正されたフィルタのインパルス応答とを組み合わせる。

βの一般的な値は１／２である。これは、元の和フィルタおよび修正された和フィルタのインパルス応答を等しく重み付けする。複数の代替実施形態においては、他の重み付けを用いる。

なお、拘束ｆ（ｔ，τ）がゼロ遅延であり、かつ線形位相であることは、式（２２）の差チャンネルのシャフリング変換および修正における簡略化および適切な位相の復元のためであることにも留意されたい。ｈ_Ｄ（ｔ）とｈ_Ｄ０（ｔ）との間に関係を生じさせるために差チャンネルにも適切なフィルタリングが適用される場合は、この拘束を緩和できることは信号処理の当業者には明らかなはずである。発明者が行った観察では、バイノーラル応答の後期部分における厳密な位相関係および指向性キューは、全般的な空間感覚および距離感には重要ではない。したがって、このようなフィルタリングは厳密には必要ないこともある。バイノーラルフィルタｈ_Ｌ（ｔ）、ｈ_Ｒ（ｔ）に別のバイノーラルフィルタ対ｈ_Ｌ０（ｔ）、ｈ_Ｒ０（ｔ）に存在するような残響比を維持することが目標である場合は、差フィルタのインパルス応答ｈ_Ｄ（ｔ）への適切な、１つの実施形態においては周波数依存的な、利得によって実現できる。

図６は信号処理装置の簡略ブロック図を示し、図７は信号処理装置の動作方法の簡略フローチャートを示す。この装置は、左耳および右耳のインパルス応答ｈ_Ｌ０（ｔ）およびｈ_Ｒ０（ｔ）を有するバイノーラルフィルタ対のバイノーラル化を近似するバイノーラルフィルタ対の左耳および右耳のインパルス応答を形成する一組の左耳信号ｈ_Ｌ（ｔ）および右耳信号ｈ_R（ｔ）を求めるためのものである。この方法は、７０３において、オーディオ信号をバイノーラル化するように構成され、そのバイノーラル応答が整合化される対応する左耳および右耳バイノーラルフィルタのインパルス応答を表す左耳信号ｈ_Ｌ０（ｔ）と右耳信号ｈ_Ｒ０（ｔ）とを受け付けるステップを含む。この方法は、７０５において、左耳信号と右耳信号の和に比例する和信号と、左耳信号と右耳信号の間の差に比例する差信号とを形成するために、左耳信号と右耳信号とをシャフリングするステップをさらに含む。図６の装置において、これはシャフラ６０３によって行われる。この方法は、さらに７０７において、時変フィルタ特性を有する時変フィルタ（和フィルタ）６０５によって和信号をフィルタリングしてフィルタリングされた和信号を形成し、和フィルタ６０５によって特徴付けられる異なる時変フィルタ６０７、すなわち差フィルタ、によって差信号を処理してフィルタリングされた差信号を形成するステップをさらに含む。この方法は、さらに７０９において、整合されるバイノーラルフィルタの空間化特性にその空間化特性が一致し、かつその出力を許容できる響きのモノフォニックミックスにダウンミックスできるバイノーラルフィルタの左耳および右耳のインパルス応答にそれぞれ比例する左耳信号と右耳信号とを生成するために、フィルタリングされた和信号およびフィルタリングされた差信号をアンシャフリングするステップを含む。図６において、デシャフラ６０９は、シャフラ６０３と同じであるが、２による除算が追加されている。得られる各インパルス応答は、オーディオ信号をバイノーラル化するように構成された各バイノーラルフィルタを規定すると共に、和チャンネルのインパルス応答は、最初の４０ｍｓ程度で、感知できないレベル、例えば−６ｄＢ超、に滑らかに低減し、差チャンネルは、最初の４０ｍｓ程度で移行して、一般的な、または整合される特定の、バイノーラルフィルタの差チャンネルのインパルス応答に比例するという特性をさらに有する。

以上で、信号処理装置の動作方法を説明した。本方法は、１つのオーディオ信号をバイノーラル化するように構成された対応する一対のバイノーラルフィルタのインパルス応答を表す一対の信号を受け付けるステップを含む。本方法は、時変フィルタ特性を有する修正フィルタによってそれぞれ特徴付けられる一対のフィルタによって、受け付けられた一対の信号を処理することによって、対応する一対の修正されたバイノーラルフィルタのインパルス応答を表す一対の修正された信号を形成する。修正されたバイノーラルフィルタは、オーディオ信号をバイノーラル化するように構成され、さらにモノフォニックミックスダウンにおいて知覚される残響が小さく、かつヘッドホン経由のバイノーラルフィルタに対する影響が最小であるという特性を有する。

本発明の１つ以上の側面によるバイノーラルフィルタは、以下の特性を有する。
・ インパルス応答の直接部分、例えばインパルス応答の初期の３ｍｓから５ｍｓにおける部分、は仮想スピーカ位置の頭部伝達関数によって規定される。
・ 差フィルタのインパルス応答に比べ、和フィルタのインパルス応答のレベルは大幅に低減され、および／または残響が大幅に短い。
・ 和フィルタのインパルス応答の直接部分から和フィルタの後期のゼロまたは無視しうるほど小さい応答部分への移行が滑らかである。この滑らかな移行は、周波数選択的に経時的に起こる。

これらの特性は、実際の室内応答においては如何なる場合も起こらず、ひいては一般的な、または整合される、バイノーラルフィルタにおいては存在しないであろう。これらの特性は、一組のバイノーラルフィルタに導入または設計される。

これらの特性について、以下により詳細に説明する。

スピーカ対応
上の説明はモノフォニック再生対応のバイノーラルフィルタについて説明しているが、本発明の別の側面では、本発明の一実施形態によるフィルタを用いてバイノーラル化された出力信号は、一組のラウドスピーカ経由の再生にも対応している。

音響クロストークとは、例えば受聴者のほぼ中央正面にある、一対のステレオラウドスピーカを聴くときに受聴者の各耳がこれらのステレオラウドスピーカの両方からの信号を受聴する現象を記述するために用いられる用語である。本発明の複数の実施形態によるバイノーラルフィルタでは、音響クロストークは低周波残響をいくらかキャンセルする。全般的に、入力に対する残響応答の後期部分は低域通過フィルタによって漸次フィルタリングされる。したがって、本発明の複数の実施形態によるフィルタバイノーラルフィルタによってバイノーラル化された信号は、スピーカ経由の受聴時に残響がより少ないことが見出された。これは、特にモバイルメディア機器に見られるように、複数の小型ステレオスピーカが相対的に狭い間隔で配置された場合である。

複雑さの低減
インパルス応答の残響部分は空間位置の影響を受けにくいという観察を用いることによって、実装される計算が相対的に少ないバイノーラルフィルタを設計することは公知である。したがって、多くのバイノーラル処理システムは、シミュレートされるさまざまな仮想スピーカ位置に対してインパルス応答の尾部が共通であるバイノーラルフィルタを用いる。例えば、上記の国際公開第９９１４９８３号および国際公開第９９４９５７４号を参照されたい。本発明の複数の実施形態は、このようなバイノーラル処理システムに適用可能であり、さらにモノフォニック再生に対応させるためにこのようなバイノーラルフィルタを修正する場合にも適用可能である。特に、本発明のいくつかの実施形態により設計されたバイノーラルフィルタは、左右の耳のインパルス応答の残響尾部の後期部分は位相がずれており、時間ｔ＞４０ｍｓ程度においてｈ_Ｒ（ｔ）≒−ｈ_Ｌ（ｔ）と数学的に表される特性を有する。したがって、計算の複雑度が比較的低いバイノーラルフィルタの実装によると、応答の後期部分に対して単一のフィルタのインパルス応答のみを求めるだけでよく、このように求められた後期部分のインパルス応答はあらゆる仮想スピーカ位置に対するバイノーラルフィルタ対の左耳および右耳のインパルス応答の各々に使用可能であるため、メモリおよび計算の節約につながる。このような各バイノーラルフィルタ対の和フィルタは、和フィルタの低周波数成分をバイノーラル応答にまで広げる漸次時変周波数カットオフを含む。

アルゴリズム例および結果
前節では、修正されたバイノーラルフィルタリングを実現するための全般的特性とアプローチとを示した。同様の結果をもたらすフィルタ設計および処理の可能な変形例は多数あるが、以下の例は、所望のフィルタ特性を実証するために提示されており、既存のバイノーラルフィルタセットを修正するための好適なアプローチを提供する。

図８は、一対のバイノーラルフィルタのインパルス応答を、バイノーラルフィルタのインパルス応答を表す信号に変換する方法部分を実行するＭＡＴＬＡＢ（マサチューセッツ州ネイティックのマスワークス社）構文のコードの一部を示す。連結された一連の一次フィルタを用いて、線形位相、ゼロ遅延、時変低域通過フィルタを実装する。この単純なアプローチはガウシアンフィルタに近似する。ＭＡＴＬＡＢコードのこの短いセクションは、一対のバイノーラルフィルタｈ＿Ｌ０およびｈ＿Ｒ０を取り、一組の出力バイノーラルフィルタｈ＿Ｌおよびｈ＿Ｒを作成する。これは、標本化速度４８ｋＨｚに基づく。

最初に、８０３において、元の和および差フィルタを作成するために、入力フィルタをシャフリングする（コードの行１〜２を参照）。

ガウシアンフィルタ（Ｂ）の３ｄＢ帯域幅を標本数の逆二乗と適切な変倍係数とによって変化させる。これから、ガウシアンフィルタの対応する分散を計算し（ＧａｕｓｓＶａｒ）、４で除算して指数一次フィルタの分散を得る（ＥｘｐｏｎＶａｒ）。８０５において、これを用いて時変指数関数的重み付け係数（ａ）を計算する。（コードの行３〜６を参照）。

８０７において、一次フィルタの２つの順方向パスと２つの逆方向パスとを用いてフィルタを実装する。和および差応答の両方をフィルタリングする。（コードの行７〜１２を参照）。

８０９において、元の差応答のスケールアップ版から再作成された差から、フィルタリングされた差応答の適切量を引く。これは、実質的に、時間ゼロにおける０ｄＢからその後の応答における＋３ｄＢへの差チャンネルの周波数選択的なブーストである。（コードの行１３を参照）。

最後に８１１において、修正された左右のバイノーラルフィルタを作成するために、フィルタをリシャフリングする。（コードの行１４〜１５を参照）。

以降の数字は、受聴者の正面に位置付けられた、最大残響時間が１５０ｍｓであり、サウンドの直接エネルギーと残響エネルギーとの比が約１３ｄＢの一組のバイノーラルフィルタのインパルス応答に、図８にコード化されている方法を適用することによって得られる。

図９は、複数の時点τ、すなわち１ｍｓ、５ｍｓ、１０ｍｓ、２０ｍｓ、および４０ｍｓ、におけるインパルスに対する時変フィルタｆ（ｔ，τ）のインパルス応答のプロットを示す。最初の２つのインパルスは、この図の縦軸を超えている。図９は、適用されたフィルタのインパルス応答のガウス近似とほぼガウス状分布のフィルタのインパルス応答の経時的に増加する分散とを明確に示す。一次フィルタは順方向および逆方向の両方向に実行されるので、得られるフィルタはゼロ遅延、線形位相、低域通過フィルタに近似する。

図１０は、複数の時点τ、すなわち１ｍｓ、５ｍｓ、１０ｍｓ、２０ｍｓ、および４０ｍｓ、におけるインパルス応答の時変フィルタｆ（ｔ，τ）の周波数応答エネルギーのプロットを示す。この応答の直接部分、このケースにおいてはほぼ０ｍｓから３ｍｓの部分、はフィルタの影響を大きく受けないが、４０ｍｓまでにフィルタは１００Ｈｚまでほぼ１０ｄＢの減衰を引き起こすことが分かる。このインパルス応答はほぼガウス形状であるため、周波数応答もほぼガウス分布を有する。このほぼガウス分布の周波数応答と、カットオフ周波数の経時的変化とは、元のフィルタに行われる修正の知覚マスキングの実現を助ける。

図１１は、元の左耳のインパルス応答ｈ_Ｌ０（ｔ）と修正された左耳のインパルス応答ｈ_Ｌ（ｔ）とを示す。この両方が同様の残響エネルギーレベルを有することは明らかである。直接音は不変である。なお、直接音の初期インパルスは約０．２であり、この図の目盛りでは示すことができないことに留意されたい。

図１２は、元の和インパルス応答ｈ_Ｓ０（ｔ）と修正された和インパルス応答ｈ_Ｓ（ｔ）との比較を示す。これは、和応答のレベルおよび残響時間の低減を明確に実証する。これは、出力がモノフォニックにミックスダウンされたときに残響の大幅な低減を実現する特徴である。修正された和応答ｈ_Ｓ（ｔ）は低域通過フィルタによって漸次フィルタリングされ、最も低い周波数信号成分のみが応答の初期部分を超えて広がることも分かる。

図１３は、元の差インパルス応答ｈ_Ｄ０（ｔ）と修正された差インパルス応答ｈ_Ｄ（ｔ）とを示す。この差信号のレベルがブーストされていることを観察できる。これは、２つの応答の匹敵するスペクトルを実現するためである。

バイノーラルフィルタの時間周波数解析
バイノーラルフィルタ、例えば本発明の１つ以上の側面による一対のバイノーラルインパルス応答によって特徴付けられるようなバイノーラルフィルタ、は、ソース信号のフィルタリングに用いられたとき、例えばバイノーラルインパルス応答との畳み込みによって、または他の方法でソース信号に適用されたときに、方向、距離、および室内音響効果をシミュレートした空間音質を、ヘッドホンを介して受聴している受聴者に追加する。

時間周波数解析、例えば短時間フーリエ変換または他の短時間変換を重複しうる複数区間の信号に対して用いた時間周波数解析、は当該技術分野では周知である。例えば、周波数時間解析プロットは、スペクトログラムとして公知である。短時間フーリエ変換は、例えば、所望の信号の１セグメントにわたる窓掛けされた離散フーリエ変換（ＤＦＴ：ｄｉｓｃｒｅｔｅ Ｆｏｕｒｉｅｒ ｔｒａｎｓｆｏｒｍ）として一般に実装される。時間周波数解析には、他の変換、例えばウェーブレット変換などの変換、を用いることもできる。インパルス応答は時間信号であり、したがってその時間周波数特性によって特徴付けられうる。このような時間周波数特性によって、本発明のバイノーラルフィルタを記述することもできる。

本発明の１つ以上の側面によるバイノーラルフィルタは、例えば一対の整合されるバイノーラルフィルタにより、ヘッドホンを通じて納得のいくバイノーラル効果と、単一出力へのミックスダウン時にモノフォニック再生対応信号とを同時に実現するように構成される。本発明のバイノーラルフィルタの実施形態は、バイノーラルフィルタのインパルス応答の（短時間）周波数応答が１つ以上の特徴を伴って経時的に変化するという特性を有するように構成される。具体的には、和フィルタのインパルス応答、例えば２つの左右のバイノーラルフィルタのインパルス応答の算術和、は時間および周波数にわたって、差フィルタのインパルス応答、例えば左右のバイノーラルフィルタのインパルス応答の算術差、とは著しく異なるパターンを有する。一般的なバイノーラル応答の場合、和および差フィルタは、経時的な周波数応答において１つの極めて同様の変化を示す。この応答の初期部分は、エネルギーの大半を含み、後期部分は残響または拡散成分を含む。これは、初期部分および後期部分の間の平衡であり、インパルス応答の空間またはバイノーラル特性を与えるフィルタの特徴的な構造である。ただし、モノフォニックにミックスダウンされると、この残響応答は、通常、信号了解度および知覚品質を低下させる。

単純な対応とは、式（５）が当てはまることを意味する。すなわち、フィルタのインパルス応答の初期インパルスまたはタップ以外では、ｔ＞０においてｈ_Ｒ（ｔ）＝−ｈ_Ｌ（ｔ）、すなわちｔ＞０においてｈ_Ｓ（ｔ）＝０である。得られるフィルタセットは、単純なモノフォニック再生対応フィルタセットまたは単純なフィルタと称される。

この節では、本発明のバイノーラルフィルタ対のこのようなインパルス応答の時間周波数解析の特徴のいくつかを説明し、いくつかの時間周波数パラメータに対する一般的な値および値範囲のいくつかを提供する。これはデータ例と、１）一組の整合される、例えば一般的な、バイノーラルフィルタと、２）単純なモノフォニック対応フィルタセットを得るために簡単な適合性を課すことによって一般的なバイノーラルフィルタから派生させたフィルタセットと、の比較とによって実証される。

図１４Ａ〜１４Ｅは、フィルタの長さに沿った可変期間における和および差フィルタの応答におけるエネルギーのプロットを周波数の関数として示す。独断的ではあるが、発明者は、この説明のために、０〜５ｍｓ、１０〜１５ｍｓ、２０〜２５ｍｓ、４０〜４５ｍｓ、および８０〜８５ｍｓのタイムスライスを選択した。各区間の５ｍｓの時間は、相対的なパワーレベルを求めるために一貫した長さを維持するためであり、経時的に散在しうる、各フィルタの反響および詳細のいくつかを捕捉するためにも十分でもある。図１４Ａ〜１４Ｅは、これらの時点の５ｍｓセグメントにおける周波数スペクトルを、一般的な対、単純なモノフォニック対応対、および本発明の１つ以上の側面による新規バイノーラルフィルタ対について示す。これらのプロットを求めるために、単純なモノフォニック対応対のインパルス応答は、一般的な対（整合される対）から求められた。さらに、本発明の特徴を含むフィルタのインパルス応答は、上記方法による一般的な対（整合される対）から求められた。周波数エネルギー応答の計算には、短時間フーリエ変換を窓掛けされた短時間ＤＦＴとして用いた。５つの周波数応答セットを求めるために、重複は一切用いなかった。

なお、これらのプロットに表現される値が相対的および量的な意味で解釈されるように、図示のフィルタは任意量で容易に変倍されうることに留意されたい。注目すべき点は、実際のレベルではなく、それぞれの差フィルタのインパルス応答のスペクトルの特定部分が、それぞれの和フィルタのインパルス応答に比べ、無視しうるほど小さくなる時点である。

図１４Ａでは、時点０ｍｓからの最初の５ｍｓの間、３つの応答は殆ど同じであることが分かる。これは、仮想スピーカ位置からのＨＲＴＦに基づく応答の極めて初期の、方向感を与える、部分である。この時間におけるフィルタ内の信号または反響の如何なる広がりも、マスキング効果と優勢な初期インパルスとにより、知覚的には殆ど無視される。

図１４Ｂでは、時点１０ｍｓからの５ｍｓにおいて、単純なアプローチの和信号はゼロである。和応答の後期部分は除去されている。それに対し、新規フィルタ対、例えば上記のフィルタ対、は４ｋＨｚ未満において和フィルタにいくらかの信号エネルギーを依然として維持している。これら３つのフィルタ全ての差応答は同様であり、新規フィルタ対の差インパルス応答は、周波数が高くなるほどエネルギーが僅かに大きくなる。

図１４Ｃでは、時点２０ｍｓからの５ｍｓにおいて、新規フィルタ対の和フィルタはさらに減衰され、帯域幅は約１ｋＨｚになる。新規フィルタ対の差フィルタは、バイノーラルレベルおよび周波数応答を全体として、一般的な、または整合される、フィルタ対のものと同様に維持するために、ブーストされる。

図１４Ｄでは、４０ｍｓからの５ｍｓにおいて、新規フィルタ対の和フィルタの最も低い成分のみが残っている。最後に、図１４Ｅでは、８０ｍｓからの５ｍｓにおいて、単純なフィルタ対および新規フィルタ対の両方の和フィルタのインパルス応答は無視しうるほど小さい。

したがって、極めて良好なモノフォニック再生対応を実現するように構成された、バイノーラルフィルタのインパルス応答の整形を伴うバイノーラルフィルタセットが提案される。一部の実施形態において、これらのフィルタは、モノフォニック応答が最初の４０ｍｓに限定されるように構成される。

以下の特性は、良好なバイノーラル応答と良好なモノフォニック再生対応の両方を実現するためのフィルタの有効性に関する。これらにおいて、「フィルタ範囲」および「フィルタ長」とは、フィルタのインパルス応答がその初期値の−６０ｄＢ未満になる時点である。これは、当該技術分野においては「残響時間」としても公知である。

以下の特性により、本願明細書に記載の本発明のフィルタを他のバイノーラルフィルタおよびモノフォニック再生対応バイノーラルフィルタから区別することができる。
・ 和および差フィルタは大きく異なる。通常のバイノーラルフィルタの場合、和および差フィルタは、時間周波数プロットにわたって同様の強度および衰退特性を示す。
・ 和フィルタは、あらゆる周波数において差フィルタより大幅に短い。和フィルタは、一般的なリスニングルームにおいて一般に持続時間が僅かに短くなるが、これは大して重要ではない。モノフォニック対応のために、和フィルタを大幅に短くする必要がある。
・ 和フィルタは、さまざまな周波数にわたって大きな長さの違いを示す。これは、さまざまな周波数にわたって和フィルタの長さがある程度一定している単純なアプローチと比較してのことである。
・ 和フィルタは、高周波数においてより短く、低周波数においてより長い。

なお、和チャンネルの抑圧をより強硬にした（より良好なモノフォニック応答）、またはより控えめにした（より良好なバイノーラル応答）同様の整形も実現可能であることに注目されたい。

より数量的に表現すると、バイノーラル応答とモノフォニック再生対応との良好な組み合わせを実現するには、以下が当てはまることが見出された。

差フィルタ
・ 差フィルタの高周波数、例えば１０ｋＨｚ超、は約１０ｍｓを超えて広がらない。別の例示的実施形態において、約２０ｍｓという差フィルタ長は依然として許容可能であるが、約４０ｍｓというフィルタ長ではモノフォニック信号が反響し始める。
・ 差フィルタの低周波数、例えば３ｋＨｚと４ｋＨｚの間の周波数、はより長く、約４０ｍｓまで、またはその周波数における差フィルタの残響長の約１／８から１／４まで、広がる。
・ さらに低い周波数、例えば２ｋＨｚ未満、において極めて良好な応答を得るには、最も低い周波数において差フィルタを約８０ｍｓより長くすべきではない。一部の実施形態においては、１２０ｍｓという長さでも許容可能と思われるが、２ｋＨｚ未満においては約１６０ｍｓのフィルタ長でモノフォニック信号が反響し始める。

さらに、この拘束された差フィルタで良好なバイノーラル応答を得るには、全体的な範囲、例えば差フィルタの残響、を長くしすぎてはならない。発明者は、残響時間２００ｍｓは素晴らしい結果をもたらし、４００ｍｓは許容可能な結果をもたらすが、フィルタ長８００ｍｓではオーディオの響きに問題が出始めることを見出した。

和フィルタ
表１は、さまざまな周波数帯域についての和フィルタのインパルス応答長の一般的な値セットと、モノフォニック再生対応とリスニングルームの空間化との間の平衡を依然としてもたらす周波数帯域における和フィルタのインパルス応答の長さ値の範囲とを示す。

時間依存的な周波数整形の選択は、例えば上記のような整合される一組のバイノーラルフィルタｈ_Ｌ０（ｔ）およびｈ_Ｒ０（ｔ）によって特徴付けられるような、所望のバイノーラル応答の性質と残響とに依存すると共に、これらのバイノーラルフィルタにおける近似または拘束に対してモノフォニックミックスにおける明晰さを優先させるか否かにも依存する。

次に、この発明によって示される和フィルタの整形の説明を容易にするために、データ例を時間および周波数の二次元マップにわたる相対的なフィルタエネルギーのプロットとして提示する。図１５Ａおよび図１５Ｂは、バイノーラルフィルタ対の一例示的実施形態の和および周波数フィルタのインパルス応答それぞれについての等減衰量の等高線を時間周波数平面上に示す。図１６Ａおよび図１６Ｂは、この時間周波数プロット、すなわちスペクトログラム、の表面の等角図を示す。等高線データは、１．５ｍｓ間隔で始まる、すなわち重複部分が大きい、各５ｍｓ長のセグメントに対して窓掛けされた短時間フーリエ変換を用いることによって得られた。これらの等角図は、３ｍｓの窓長を用いた。重複はない、すなわちデータは３ｍｓごとに始まる。図１７Ａおよび図１７Ｂは、図１６Ａおよび図１６Ｂと同じ時間周波数プロットの表面の等角図であるが、一般的なバイノーラルフィルタ対、特に、図１６Ａおよび図１６Ｂに用いられている整合されるバイノーラルフィルタ、の和および周波数フィルタのインパルス応答それぞれについての等角図を示す。なお、一般的なバイノーラルフィルタ対においては、和および差フィルタの対応するインパルス応答の時間周波数プロットの形状はあまり違わないことに注目されたい。

なお、単純なモノフォニック対応フィルタ対は、和フィルタのインパルス応答が、あらゆる周波数において、即座にかつ突然に知覚可能レベル未満への降下を示すであろうことに注目されたい。

なお、それぞれの応答の些細な変化によって時間周波数特性の特徴が曖昧にならないように、図１５Ａ、図１５Ｂ、図１６Ａ、図１６Ｂ、図１７Ａ、および図１７Ｂの作成に当たっては、図面を単純化するために時間周波数データをいくらか平滑化したことに留意されたい。

本願明細書に提示されている全てのプロットおよびグラフに示されているｄＢレベルは、単なる相対的な大きさに過ぎず、説明されているフィルタおよびパターンの絶対的特性ではないことに留意すべきである。これらの図面と図面が記述している特性とは、詳細なレベル、時間、およびスペクトル形状を厳密に守らなくとも、当業者は解釈できるであろう。

テスト
発明者は、上の表１の欄「一般的な和フィルタ長」に規定されている整形を伴う数種類のソース材料と、図１４Ａ〜１４Ｅの例として与えられている、整合されるバイノーラルインパルス応答とを用いて、主観テストを実行した。整合されるインパルス応答は、残響時間２００〜３００ｍｓのバイノーラル応答を有し、ＤＯＬＢＹ ＨＥＡＤＰＨＯＮＥ ＤＨ３バイノーラルフィルタに対応する。このテストにおいては、被験者が１つのバイノーラル応答を他のバイノーラル応答より好む統計的に有意なケースはなかった。ただし、モノフォニックミックスは、テストした全てのソース材料について大幅に改善され、全ての被験者によって全員一致で好まれた。

スピーカによる再生
バイノーラルフィルタを用いた上記の方法および装置は、ヘッドホンでのバイノーラル再生に適用可能であるだけではなく、スピーカによるステレオ再生にも適用可能である。ラウドスピーカ同士が近接している場合、受聴中の受聴者の左耳と右耳の間にクロストーク、例えば１つのスピーカの出力とそのスピーカから最も遠い耳との間のクロストーク、が起きる。例えば、受聴者の正面に置かれた一対のステレオスピーカの場合、クロストークとは、左耳で右スピーカからの音を聴くことばかりでなく、右耳で左スピーカからの音を聴くことでもある。スピーカと受聴者との間の距離に比べ、スピーカ同士が十分に近接している場合は、クロストークは基本的に２つのスピーカ出力の和を受聴者に聴かせる。これは、基本的にモノフォニック再生と同じである。

フィルタの実装
さらに、デジタルフィルタを多くの方法で実装しうることを当業者は理解するであろう。例えば、有限インパルス応答（ＦＩＲ）の実装、周波数領域での実装、重複変換法などによってデジタルフィルタを実施しうる。このような方法の多くは公知であり、これらの方法を本願明細書に記載の実装に適用する方法は当業者には単純明快であろう。

なお、上記フィルタ説明は、オーディオアンプや他の同様の要素など、必要な全ての構成要素を例示していないことを当業者は理解されるであろう。また、当業者は、このような要素の追加をさらなる教示なしに行えるであろう。さらに、上記の実装はデジタルフィルタリング用である。したがって、アナログ入力の場合は、アナログデジタル変換器を含める必要があることを当業者は理解されるであろう。さらに、ヘッドホンを介した再生には、またはトランスオーラルフィルタリングの場合のラウドスピーカを介した再生には、デジタル信号出力をアナログ出力に変換するために、デジタルアナログ（Ｄ／Ａ）変換器が必要であることを理解されるであろう。

図１８は、本発明の複数の側面による一組のオーディオ入力信号を処理するためのオーディオ処理装置の実装の一形態を示す。このオーディオ処理システムは、アナログ入力信号を対応するデジタル信号に変換するように構成されたアナログデジタル（Ａ／Ｄ）変換器を含む入力インタフェースブロック１８２１と、処理された信号をアナログ出力信号に変換するためのデジタルアナログ（Ｄ／Ａ）変換器を備えた出力ブロック１８２３とを備える。一代替実施形態において、入力ブロック１８２１はさらに、またはＡ／Ｄ変換器の代わりに、アナログ入力信号に加えて、またはその代わりに、デジタル入力信号を受け付けるように構成されたＳＰＤＩＦ（ソニー／フィリップスデジタルインターコネクトフォーマット）インタフェースを備える。この装置は、入力を処理して出力を十分高速に生成できるデジタル信号プロセッサ（ＤＳＰ：ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）デバイス１８００を含む。１つの実施形態において、ＤＳＰデバイスは、プロセッサのオーバーヘッドなしにＡ／ＤおよびＤ／Ａ変換器情報をやり取りするように構成された複数のシリアルポート１８１７の形態のインタフェース回路を含み、１つの実施形態においては、オフデバイスメモリ１８０３と、入出力処理の動作を妨げずにオフチップメモリ１８０３からオンチップメモリ１８１１へデータをコピーできるＤＭＡエンジン１８１３とを含む。一部の実施形態において、本願明細書に記載の本発明の複数の側面を実装するためのプログラムコードは、オフチップメモリ１８０３にあってもよく、必要に応じてオンチップメモリ１８１１に読み込んでもよい。図示のＤＳＰ装置は、ＤＳＰ装置のプロセッサ部１８０５に本願明細書に記載のフィルタリングを実施させるプログラムコード１８０９を含むプログラムメモリ１８０７を含む。外部メモリ１８０３が必要な場合のために、外部バスマルチプレクサ１８１５が含まれている。

なお、オフチップおよびオンチップという用語は、図示のチップが複数存在することを暗示すると解釈されるべきではないことに留意されたい。最新の用途においては、図示のＤＳＰデバイス１８００のブロックは、他の回路と一緒にチップに含まれる「コア」として設けられる場合もある。さらに、図１８に示されている装置は単なる一例であることを当業者は理解されるであろう。

同様に、図１９Ａは、複数の正面スピーカによる再生用の左、中央、および右信号と、複数のリアスピーカによる再生用の左サラウンドおよび右サラウンド信号との形態で、５つのチャンネルのオーディオ情報を受け付けるように構成されたバイノーラル化装置の一実施形態の簡略ブロック図を示す。このバイノーラライザは、ヘッドホンを通して聴いている受聴者には空間量を体験させる一方で、モノフォニックミックスを聴いている受聴者には信号があたかもモノフォニック音源から出ているように心地よく体験させるように、左サラウンドおよび右サラウンド信号を含む、各入力に対応した複数のバイノーラルフィルタ対を実装する。このバイノーラライザは、処理システム１９０３、例えば少なくとも１つのプロセッサ１９０５を含むＤＳＰデバイスを含む処理システム、を用いて実装される。プログラムコードを複数の命令の形態で保持するためにメモリ１９０７が含まれているが、メモリ１９０７は必要なパラメータがあれば如何なるものでもさらに保持できる。プログラムコードは、実行されたときに、上記のようなフィルタリングを処理システム１９０３に実行させる。

同様に、図１９Ｂは、正面スピーカによる再生用の左右のフロント信号と、リアスピーカによる再生用の左リアおよび右リア信号との形態で４つのチャンネルのオーディオ情報を受け付けるバイノーラル化装置の一実施形態の簡略ブロック図を示す。このバイノーラライザは、ヘッドホンを通して聴いている受聴者には空間量を体験させる一方で、モノフォニックミックスを聴いている受聴者には信号があたかもモノフォニック音源から出ているように心地よく体験させるように、左右の信号と左リアおよび右リア信号とを含む各入力に対して複数のバイノーラルフィルタ対を実装する。このバイノーラライザは、処理システム１９０３、例えばプロセッサ１９０５を有するＤＳＰデバイスを含む処理システムを用いて実装される。プログラムコード１９０９を複数の命令の形態で保持するためにメモリ１９０７が含まれているが、メモリ１９０７は必要なパラメータがあれば如何なるものでもさらに保持できる。プログラムコードは、実行されたときに、上記のようなフィルタリングを処理システム１９０３に実行させる。

１つの実施形態においては、プログラムロジック、例えば少なくとも１つのプロセッサによって実行されたときに、本願明細書に記載の方法の一連の方法ステップの実施を引き起こす一組の命令、と共にコンピュータ可読媒体が構成される。

特に明記されていない限り、以下の説明から明らかなように、本明細書を通して、「処理する（ｐｒｏｃｅｓｓｉｎｇ）」、「計算する（ｃｏｍｐｕｔｉｎｇ）」、「計算する（ｃａｌｃｕｌａｔｉｎｇ）」、「求める／決める（ｄｅｔｅｒｍｉｎｉｎｇ）」などの用語を用いた説明は、コンピュータまたはコンピューティングシステム、あるいは電子的などの物理的な数量として表されるデータを扱う、および／または同様に物理量として表される他のデータに変換する同様の電子計算機器、の動作および／または処理を指す。

同様に、用語「プロセッサ」は、電子データ、例えばレジスタおよび／またはメモリからの電子データ、を処理してその電子データを他の、例えばレジスタおよび／またはメモリに格納可能な、電子データに変換する、何れかのデバイスまたはデバイスの一部を指すこともある。「コンピュータ」または「計算機」または「コンピューティングプラットフォーム」は、少なくとも１つのプロセッサを含みうる。

なお、いくつかの要素、例えば、いくつかのステップを含む方法が説明されるとき、特に明記されていない限り、このような要素の順序付け、例えばステップの順序付け、は暗示されていないことに留意されたい。

本願明細書に記載の方法は、１つの実施形態においては、１つ以上のコンピュータ可読媒体上に具現化されたコンピュータ実行可能（マシン実行可能とも称される）プログラムロジックを受け付ける１つ以上のプロセッサによって実行可能である。このプログラムロジックは、１つ以上のプロセッサによって実行されたときに、本願明細書に記載の方法の少なくとも１つを実施する一組の命令を含む。取るべきアクションを指定する一組の命令（順次またはその他）を実行可能な何れかのプロセッサが含まれる。したがって、一例は、１つ以上のプロセッサを含む一般的な処理システムである。各プロセッサは、１つ以上のＣＰＵと、１つのグラフィックス処理ユニットと、１つのプログラム可能ＤＳＰユニットとを含みうる。この処理システムは、主ＲＡＭおよび／またはスタティックＲＡＭ、および／またはＲＯＭを含むメモリサブシステムを含む記憶サブシステムをさらに含みうる。記憶サブシステムは、他の記憶デバイスを１つ以上さらに含みうる。構成要素間の通信用にバスサブシステムを含んでもよい。この処理システムは、さらに、複数のプロセッサが１つのネットワークによって結合された分散処理システムでもよい。この処理システムが表示を必要とする場合は、例えば液晶ディスプレイ（ＬＣＤ：ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）、有機発光ディスプレイ、プラズマディスプレイ、陰極線管（ＣＲＴ：ｃａｔｈｏｄｅ ｒａｙ ｔｕｂｅ）ディスプレイなどの、ディスプレイを含んでもよい。手動データ入力が必要な場合は、処理システムは、キーボードなどの１つ以上の英数字入力ユニット、マウスなどのポインティング制御デバイスなどの入力デバイスをさらに含む。本願明細書で使用されている記憶デバイス、記憶サブシステム、ユニットなどの用語は、文脈から明らかな場合、および特に明記されていない限り、ディスクドライブユニットなどの記憶デバイスも含む。一部の構成における処理システムは、サウンド出力デバイスとネットワークインタフェースデバイスとを含みうる。したがって、記憶サブシステムは、１つ以上のプロセッサによって実行されたときに本願明細書に記載の方法の１つ以上の実施を引き起こす一組の命令を含むプログラムロジック（例えば、ソフトウェア）を担持するコンピュータ可読媒体を含む。このプログラムロジックは、ハードディスクに常駐させてもよく、あるいは処理システムによるその実行中、その全体、または少なくとも一部、をＲＡＭ内および／またはプロセッサ内に常駐させてもよい。したがって、メモリおよびプロセッサは、コード化された、例えば命令の形態の、プログラムロジックが格納されるコンピュータ可読媒体をさらに構成する。

さらに、コンピュータ可読媒体は、コンピュータプログラム製品を形成してもよいが、コンピュータプログラム製品に含めてもよい。

複数の代替実施形態において、１つ以上のプロセッサはスタンドアロンデバイスとして動作するか、または他のプロセッサ（単数または複数）に接続、例えばネットワーク型配備においては他のプロセッサ（単数または複数）にネットワーク接続、することもできる。この１つ以上のプロセッサは、サーバクライアントネットワーク環境においてサーバまたはクライアントマシンとして機能することも、またはピアツーピアまたは分散ネットワーク環境においてピアマシンとして機能することもできる。この１つ以上のプロセッサは、パーソナルコンピュータ（ＰＣ：ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）、タブレットＰＣ、セットトップボックス（ＳＴＢ：ｓｅｔ−ｔｏｐ ｂｏｘ）、電子手帳（ＰＤＡ：Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、携帯電話、ウェブアプライアンス、ネットワークルータ、スイッチまたはブリッジ、またはマシンが取るべきアクションを指定する一組の命令を（順次またはその他）実行可能な何れかのマシンを形成しうる。

なお、一部の図面（単数または複数）は単一のプロセッサと、複数の命令を含むロジックを担持する単一のメモリとだけを示しているが、当業者は上記の構成要素の多くが含まれていること、しかし本発明の側面を曖昧にしないために明示的に図示または説明されていないことを理解されるであろう。例えば、単一のマシンのみが図示されているが、単数の「マシン」という用語は、本願明細書に記載の方法の１つ以上を実行するために一組の（または複数組の）命令を個々にまたは一緒に実行する複数のマシンから成る何れかのマシン集合を含むものとしても解釈されるべきである。

したがって、本願明細書に記載の方法の各々の１つの実施形態は、一組の命令、例えば１つ以上のプロセッサ上で、例えば信号処理装置の一部を構成する１つ以上のプロセッサ上で、実行するためのコンピュータプログラム、と共に構成されたコンピュータ可読媒体の形態である。したがって、当業者には理解されるように、本発明の複数の実施形態は、方法、専用装置などの装置、データ処理システムなどの装置、またはコンピュータ可読媒体、例えばコンピュータプログラム製品、として具現化されうる。コンピュータ可読媒体は、１つ以上のプロセッサ上で実行されたとき、方法ステップの実施を引き起こす一組の命令を含むロジックを担持する。したがって、本発明の複数の側面は、方法、完全にハードウェアの実施形態、完全にソフトウェアの実施形態、またはソフトウェアおよびハードウェアの側面を組み合わせた実施形態の形態を取りうる。さらに、本発明は、例えばコンピュータ可読媒体内の、プログラムロジックの形態、例えばコンピュータ可読記憶媒体上のコンピュータプログラム、またはコンピュータ可読プログラムコードで構成されたコンピュータ可読媒体、例えばコンピュータプログラム製品の形態、を取りうる。

一例示的実施形態において、コンピュータ可読媒体は単一の媒体として図示されているが、単数形の「媒体（ｍｅｄｉｕｍ）」という用語は、一組以上の命令を格納する単一の媒体または複数の媒体（例えば、集中または分散データベース、および／または対応付けられた複数のキャッシュおよび複数のサーバ）を含むものと解釈されたい。用語「コンピュータ可読媒体」は、１つ以上のプロセッサによって実行され、本発明の方法の何れか１つ以上の実施を引き起こす命令セットの格納、コード化が可能な、またはこれらの命令と共にその他の方法で構成された、コンピュータ可読媒体であれば如何なるものでも含むものと解釈されたい。コンピュータ可読媒体は、不揮発性媒体および揮発性媒体などの多くの形態を取りうるが、これだけに限定されない。不揮発性媒体として、例えば、光、磁気ディスク、および光磁気ディスクが挙げられる。揮発性媒体として、主メモリなどのダイナミックメモリが挙げられる。

記載の各方法のステップは、１つの実施形態においては記憶装置に格納された命令を実行する処理システム（例えば、コンピュータシステム）の適切なプロセッサ（単数または複数）によって実施されることを理解されるであろう。本発明の複数の実施形態は、何れか特定の実装またはプログラミング手法に限定されず、本発明は本願明細書に記載の機能を実施するための何れか適切な手法を用いて実施されうることも理解されるであろう。さらに、複数の実施形態は、何れか特定のプログラミング言語またはオペレーティングシステムに限定されない。

この明細書本文を通して「１つの実施形態（ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ）」または「一実施形態（ａｎ ｅｍｂｏｄｉｍｅｎｔ）」への言及は、その実施形態に関連して説明されている特定の特徴、構造、または特性が本発明の少なくとも１つの実施形態に含まれることを意味する。したがって、この明細書を通してさまざまな箇所において「１つの実施形態において（ｉｎ ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ）」または「一実施形態において（ｉｎ ａｎ ｅｍｂｏｄｉｍｅｎｔ）」という句の出現は、必ずしも全てが１つの同じ実施形態に言及しているわけではなく、複数の実施形態に言及している場合もある。さらに、この開示から当業者には明らかなように、特定の特徴、構造、または特性は、１つ以上の実施形態において何れか適した方法での組み合わせが可能である。

同様に、本発明の一例示的実施形態の上記説明においては、本開示を簡素化し、本発明のさまざまな側面のうちの１つ以上の理解を助ける目的で、本発明のさまざまな特徴が単一の実施形態、図、またはその説明において一緒にまとめられている場合もあることを理解されたい。ただし、この開示の方法は、本願発明が各請求項に明示的に記載されている特徴より多くの特徴を必要とするという意図を反映したものとは解釈されないものとする。むしろ、添付の特許請求の範囲に反映されているように、本発明の複数の側面は、上記の単一の開示された実施形態の全ての特徴より少ない特徴にある。したがって、これにより、この「発明を実施するための形態」に続く特許請求の範囲は、上記の「発明の概要」および「発明を実施するための形態」に明示的に組み込まれ、各請求項はこの発明の１つの独立した実施形態として自立する。

さらに、本願明細書に記載の一部の実施形態は、他の複数の実施形態に含まれている特徴の一部のみを含むが、さまざまな実施形態の特徴のさまざまな組み合わせは、当業者には理解されるように、本発明の範囲に含まれ、さまざまな実施形態を形成するものとする。例えば、添付の特許請求の範囲において、記載されている実施形態の多くは如何なる組み合わせでも使用可能である。

さらに、これらの実施形態の一部は、本願明細書において、コンピュータシステムのプロセッサによって、またはその機能を実行する他の手段によって、実施可能な１つの方法として、または１つの方法の要素の組み合わせとして、記載されている。したがって、このような方法、またはこのような方法の要素を実行するために必要な命令、を備えたプロセッサは、この方法、または方法の要素、を実行するための手段を形成する。さらに、装置実施形態について本願明細書に記載されている要素は、本発明を実施するためにその要素によって実行される機能を実施する手段の一例である。

本願明細書に提供されている説明において、数多くの具体的詳細が説明されている。ただし、本発明の複数の実施形態は、これらの具体的詳細なしに実施されうることを理解されたい。また、この説明の理解を曖昧にしないために、周知の方法、構造、および手法については詳細に示されていない。

特に明記されていない限り、１つの共通の対象物を記述するために本願明細書で使用されている序数形容詞「第１の」、「第２の」、「第３の」などの使用は、言及されている同様の対象物の複数の異なるインスタンスを単に示しているにすぎず、そのように記述されている対象物が時間的、空間的、序列において、または何れか他の様式で、所与の順序でなければならないことを暗示することを意図しているものではない。

この明細書における従来技術の説明は何れも、そのような従来技術が広く知られている、または公に知られている、または当該技術分野における一般常識の一部を成すことを認めるものであるとは決して見なされないものとする。

以下の特許請求の範囲および本願明細書の説明において、「を備える／含む（ｃｏｍｐｒｉｓｉｎｇ）」、「で構成された（ｃｏｍｐｒｉｓｅｄ ｏｆ）」、または「を備える（ｗｈｉｃｈ ｃｏｍｐｒｉｓｅｓ）」という用語は何れも、後続の要素／特徴を少なくとも含むが、他の要素／特徴を排除しないことを意味する非限定的な用語である。したがって、「を備える／備えた／含む／含んだ（ｃｏｍｐｒｉｓｉｎｇ）」という用語は、特許請求の範囲で用いられたとき、その後に列挙されている手段または要素またはステップに限定するものと解釈されるべきではない。例えば、「ＡとＢとを備えたデバイス（ａ ｄｅｖｉｃｅ ｃｏｍｐｒｉｓｉｎｇ Ａ ａｎｄ Ｂ）」という表現の範囲は、要素ＡおよびＢのみによって構成されたデバイスに限定されるべきではない。本願明細書で使用される場合、「を含む（ｉｎｃｌｕｄｉｎｇ）」、または「を含む（ｗｈｉｃｈ ｉｎｃｌｕｄｅｓ）」、または「を含む（ｔｈａｔ ｉｎｃｌｕｄｅｓ）」という用語は何れも、その用語に続く要素／特徴を少なくとも含み、他の要素／特徴を排除しないことを意味する非限定的な用語である。したがって、「を含む（ｉｎｃｌｕｄｉｎｇ）」は「を備える（ｃｏｍｐｒｉｓｉｎｇ）」と同義である。

同様に、用語「結合され（ｃｏｕｐｌｅｄ）」は、特許請求の範囲で使われた場合、直接接続のみに限定されると解釈されるべきではないことに留意されたい。用語「結合され（ｃｏｕｐｌｅｄ）」および「接続され（ｃｏｎｎｅｃｔｅｄ）」は、これらの派生語と共に、使用されうる。これらの用語は互いに同義語であると意図されていないことを理解されたい。したがって、「デバイスＢに結合されたデバイスＡ（ａ ｄｅｖｉｃｅ Ａ ｃｏｕｐｌｅｄ ｔｏ ａ ｄｅｖｉｃｅ Ｂ）」と言う表現の範囲は、デバイスＡの出力がデバイスＢの入力に直接接続されているシステムまたはデバイスに限定されるべきではない。すなわち、Ａの出力とＢの入力との間に経路が存在し、その経路は他のデバイスまたは手段を含む経路でもよいことを意味する。「結合され（ｃｏｕｐｌｅｄ）」とは、２つ以上の要素が物理的または電気的に直接接触していること、または２つ以上の要素が互いに直接は接触していないが、互いに連係または相互作用すること意味しうる。

したがって、本発明の好適な実施形態と考えられるものを説明してきたが、他の修正およびさらなる修正を、本発明の精神から逸脱せずに、これらの実施形態に行いうることを当業者は認識されるであろう。したがって、このような変更および修正は全て本発明の範囲に含まれることを主張するものである。例えば、上記の式は何れも、使用しうる手順を単に表しているにすぎない。機能をブロック図に追加または削除してもよく、動作を機能ブロック間で入れ替えてもよい。記載されている方法に、本発明の範囲内で、ステップを追加または削除してもよい。

Claims (36)

1. １つ以上のオーディオ入力信号から成るオーディオ入力信号セットをバイノーラル化するための装置であって、
   一対以上のバイノーラルフィルタ（２０３−１、２０４−１、．．．、２０３−Ｍ、２０４−Ｍ）を実装するバイノーラライザ（１０１）であって、各バイノーラルフィルタ対は前記オーディオ信号入力の各々に対応し、各バイノーラルフィルタ対（２０３−１、２０４−１、．．．、２０３−Ｍ、２０４−Ｍ）は、左耳出力と右耳出力とを有し、各バイノーラルフィルタ対は、左耳のバイノーラルフィルタと右耳のバイノーラルフィルタとによってそれぞれ表現可能であり、各バイノーラルフィルタ対は、前記左耳および右耳のバイノーラルフィルタに関連付けられた和フィルタ（４０３）と差フィルタ（４０４）とによってさらに表現可能であり、各フィルタは前記フィルタを特徴付けるインパルス応答をそれぞれ有する、バイノーラライザ（１０１）を備え、
   少なくとも一対のバイノーラルフィルタ（２０３−１、２０４−１、．．．、２０３−Ｍ、２０４−Ｍ）は、受聴者（１０７）への直接応答を対応する仮想スピーカ位置（２０９−１、．．．、２０９−Ｍ_ｖ）から取り込むために、およびリスニングルームの初期反響と残響応答の両方を取り込むために、それぞれのオーディオ入力信号を空間化するように構成され、
   前記少なくとも一対のバイノーラルフィルタ（２０３−１、２０４−１、．．．、２０３−Ｍ、２０４−Ｍ）については、
   前記和フィルタ（４０３）の時間周波数特性は、前記差フィルタ（４０４）の時間周波数特性とは異なり、前記和フィルタの残響時間は、あらゆる周波数において、前記差フィルタの残響時間、前記左耳フィルタの残響時間、および前記右耳フィルタの残響時間のどれよりも小さく、
   前記和フィルタの残響時間は、複数の異なる周波数にわたって、前記左耳フィルタの残響時間および前記右耳フィルタの残響時間の複数の周波数にわたるそれぞれの変化より大きく変化し、前記和フィルタの残響時間は、周波数の増加に伴い減少し、
   これにより、前記一対のバイノーラルフィルタ（２０３−１、２０４−１、．．．、２０３−Ｍ、２０４−Ｍ）によってフィルタリングされた前記１つ以上のオーディオ入力信号は、ヘッドホン（１０５）を通じて再生されたときは空間的広がりを持って知覚され、ダウンミキシングによって、または相対的に狭い間隔で配置された複数のラウドスピーカによる再生によって、モノフォニックミックスが実現された後にモノフォニック再生されたときは良好に響く出力信号を生成し、前記少なくとも一対のバイノーラルフィルタ（２０３−１、２０４−１、．．．、２０３−Ｍ、２０４−Ｍ）については、前記和フィルタのインパルス応答のその無視しうるほど低いレベルへの移行は、前記和フィルタのインパルス応答の初期期間にわたって周波数依存的に経時的に徐々に起こり、前記少なくとも一対のバイノーラルフィルタ（２０３−１、２０４１、．．．、２０３−Ｍ、２０４−Ｍ）については、前記和フィルタは、前記移行期間にわたって初期の全帯域幅から低域カットオフに向けて周波数成分が減少するようになっている、
   装置。
2. 前記少なくとも一対のバイノーラルフィルタ（２０３−１、２０４−１、．．．、２０３Ｍ、２０４−Ｍ）については、前記移行期間は、前記和フィルタのインパルス応答が約３ｍｓまでの全帯域幅から約４０ｍｓにおける１００Ｈｚ未満に移行するようになっている、請求項１に記載の装置。
3. 前記少なくとも一対のバイノーラルフィルタ（２０３−１、２０４−１、．．．、２０３−Ｍ、２０４−Ｍ）については、１０ｋＨｚ超の高周波数における前記差フィルタの残響時間は４０ｍｓ未満であり、３ｋＨｚと４ｋＨｚの間の周波数における前記差フィルタの残響時間は１００ｍｓ未満であり、２ｋＨｚ未満の周波数における前記差フィルタの残響時間は１６０ｍｓ未満である、請求項１または２に記載の装置。
4. 前記少なくとも一対のバイノーラルフィルタ（２０３−１、２０４−１、．．．、２０３−Ｍ、２０４−Ｍ）については、１０ｋＨｚ超の高周波数における前記差フィルタの残響時間は２０ｍｓ未満であり、３ｋＨｚと４ｋＨｚの間の周波数における前記差フィルタの残響時間は６０ｍｓ未満であり、２ｋＨｚ未満の周波数における前記差フィルタの残響時間は１２０ｍｓ未満である、請求項１乃至３の何れか１項に記載の装置。
5. 前記少なくとも一対のバイノーラルフィルタ（２０３−１、２０４−１、．．．、２０３−Ｍ、２０４−Ｍ）については、１０ｋＨｚ超の高周波数における前記差フィルタの残響時間は１０ｍｓ未満であり、３ｋＨｚと４ｋＨｚの間の周波数における前記差フィルタの残響時間は４０ｍｓ未満であり、２ｋＨｚ未満の周波数における前記差フィルタの残響時間は８０ｍｓ未満である、請求項１乃至４の何れか１項に記載の装置。
6. 前記少なくとも一対のバイノーラルフィルタ（２０３−１、２０４−１、．．．、２０３−Ｍ、２０４−Ｍ）については、前記差フィルタの残響時間は約８００ｍｓ未満である、請求項１乃至５の何れか１項に記載の装置。
7. 前記少なくとも一対のバイノーラルフィルタ（２０３−１、２０４−１、．．．、２０３−Ｍ、２０４−Ｍ）については、前記差フィルタの残響時間は約４００ｍｓ未満である、請求項１乃至６の何れか１項に記載の装置。
8. 前記少なくとも一対のバイノーラルフィルタ（２０３−１、２０４−１、．．．、２０３−Ｍ、２０４−Ｍ）については、前記差フィルタの残響時間は約２００ｍｓ未満である、請求項１乃至７の何れか１項に記載の装置。
9. 前記少なくとも一対のバイノーラルフィルタ（２０３−１、２０４−１、．．．、２０３−Ｍ、２０４−Ｍ）については、
   前記和フィルタの残響時間は、前記周波数の増加に伴い減少し、
   前記和フィルタの残響時間は、１００Ｈｚ未満のあらゆる周波数において、４０ｍｓ以上１６０ｍｓ以下であり、
   前記和フィルタの残響時間は、１００Ｈｚと１ｋＨｚの間のあらゆる周波数において、２０ｍｓ以上８０ｍｓ以下であり、
   前記和フィルタの残響時間は、１ｋＨｚと２ｋＨｚの間のあらゆる周波数において、１０ｍｓ以上２０ｍｓ以下であり、
   前記和フィルタの残響時間は、２ｋＨｚと２０ｋＨｚの間のあらゆる周波数において、５ｍｓ以上２０ｍｓ以下である、請求項１乃至８の何れか１項に記載の装置。
10. 前記少なくとも一対のバイノーラルフィルタ（２０３−１、２０４−１、．．．、２０３−Ｍ、２０４−Ｍ）については、
    前記和フィルタの残響時間は、前記周波数の増加に伴い減少し、
    前記和フィルタの残響時間は、１００Ｈｚ未満のあらゆる周波数において、６０ｍｓ以上１２０ｍｓ以下であり、
    前記和フィルタの残響時間は、１００Ｈｚと１ｋＨｚの間のあらゆる周波数において、３０ｍｓ以上６０ｍｓ以下であり、
    前記和フィルタの残響時間は、１ｋＨｚと２ｋＨｚの間のあらゆる周波数において、１５ｍｓ以上３０ｍｓ以下であり、
    前記和フィルタの残響時間は、２ｋＨｚと２０ｋＨｚの間のあらゆる周波数において、７ｍｓ以上１５ｍｓ以下である、請求項１乃至９の何れか１項に記載の装置。
11. 前記少なくとも一対のバイノーラルフィルタ（２０３−１、２０４−１、．．．、２０３−Ｍ、２０４−Ｍ）については、
    前記和フィルタの残響時間は、前記周波数の増加に伴い減少し、
    前記和フィルタの残響時間は、１００Ｈｚ未満のあらゆる周波数において、７０ｍｓ以上９０ｍｓ以下であり、
    前記和フィルタの残響時間は、１００Ｈｚと１ｋＨｚの間のあらゆる周波数において、３５ｍｓ以上５０ｍｓ以下であり、
    前記和フィルタの残響時間は、１ｋＨｚと２ｋＨｚの間のあらゆる周波数において、１８ｍｓ以上２５ｍｓ以下であり、
    前記和フィルタの残響時間は、２ｋＨｚと２０ｋＨｚの間のあらゆる周波数において、８ｍｓ以上１２ｍｓ以下である、
    請求項１乃至１０の何れか１項に記載の装置。
12. 前記少なくとも一対のバイノーラルフィルタ（２０３−１、２０４−１、．．．、２０３−Ｍ、２０４−Ｍ）については、前記バイノーラルフィルタの特性は、整合される一対のバイノーラルフィルタの特性から決まる、請求項１乃至１１の何れか１項に記載の装置。
13. 前記少なくとも一対のバイノーラルフィルタ（２０３−１、２０４−１、．．．、２０３−Ｍ、２０４−Ｍ）については、前記差フィルタのインパルス応答は、後期において、前記整合されるバイノーラルフィルタの前記差フィルタに比例する、請求項１２に記載の装置。
14. 前記少なくとも一対のバイノーラルフィルタ（２０３−１、２０４−１、．．．、２０３−Ｍ、２０４−Ｍ）については、前記差フィルタのインパルス応答は、４０ｍｓ後に、前記整合されるバイノーラルフィルタの前記差フィルタに比例する、請求項１３に記載の装置。
15. １つ以上のオーディオ入力信号から成るオーディオ入力信号セットをバイノーラル化する方法であって、
    一対以上のバイノーラルフィルタ（２０３−１、２０４−１、．．．、２０３−Ｍ、２０４−Ｍ）を実装するバイノーラライザ（１０１）によって前記オーディオ入力信号セットをフィルタリングするステップであって、各バイノーラルフィルタ対は前記オーディオ信号入力の各々に対応し、各バイノーラルフィルタ対（２０３−１、２０４−１、．．．、２０３−Ｍ、２０４−Ｍ）は、左耳出力と右耳出力とを有し、各バイノーラルフィルタ対は、左耳のバイノーラルフィルタと右耳のバイノーラルフィルタとによってそれぞれ表現可能であり、各バイノーラルフィルタ対は、さらに前記左耳および右耳のバイノーラルフィルタに関連付けられた和フィルタ（４０３）と差フィルタ（４０４）とによって表現可能であり、各フィルタは前記フィルタを特徴付けるインパルス応答をそれぞれ有する、ステップを含み、
    少なくとも一対のバイノーラルフィルタ（２０３−１、２０４−１、．．．、２０３−Ｍ、２０４−Ｍ）は、受聴者（１０７）への直接応答を対応する仮想スピーカ位置（２０９−１、．．．、２０９−Ｍ_ｖ）から取り込むために、およびリスニングルームの初期反響と残響応答の両方を取り込むために、それぞれのオーディオ入力信号を空間化するように構成され、
    前記少なくとも一対のバイノーラルフィルタ（２０３−１、２０４−１、．．．、２０３−Ｍ、２０４−Ｍ）については、
    前記和フィルタ（４０３）の時間周波数特性は、前記差フィルタ（４０４）の時間周波数特性とは異なり、前記和フィルタの残響時間は、あらゆる周波数において、前記差フィルタの残響時間、前記左耳フィルタの残響時間、および前記右耳フィルタの残響時間のどれよりも小さく、
    前記和フィルタの残響時間の複数の異なる周波数にわたる変化は、複数の周波数にわたる前記左耳フィルタの残響時間および前記右耳フィルタの残響時間のそれぞれの変化より大きく、前記和フィルタの残響時間は周波数の増加に伴い減少し、
    これにより、前記出力は、ヘッドホン（１０４）を通して再生されたときは空間的広がりを持って知覚され、またダウンミキシングによって、または相対的に狭い間隔で配置された複数のラウドスピーカを介した再生によって、モノフォニックミックスが実現された後にモノフォニック再生されたときは良好に響くようになっており、
    前記少なくとも一対のバイノーラルフィルタ（２０３−１、２０４−１、．．．、２０３−Ｍ、２０４−Ｍ）については、前記和フィルタのインパルス応答のその無視しうるほど低いレベルへの移行は、前記和フィルタのインパルス応答の初期期間にわたって周波数依存的に経時的に徐々に起こり、
    前記少なくとも一対のバイノーラルフィルタ（２０３−１、２０４−１、．．．、２０３−Ｍ、２０４−Ｍ）については、前記和フィルタは、前記移行期間にわたって初期の全帯域幅から低域カットオフに向けて周波数成分が減少する、
    方法。
16. 前記少なくとも一対のバイノーラルフィルタ（２０３−１、２０４−１、．．．、２０３−Ｍ、２０４−Ｍ）については、前記移行期間は、前記和フィルタのインパルス応答が約３ｍｓまでの全帯域幅から約４０ｍｓにおける１００Ｈｚ未満に移行するようになっている、請求項１５に記載の方法。
17. 前記少なくとも一対のバイノーラルフィルタ（２０３−１、２０４−１、．．．、２０３−Ｍ、２０４−Ｍ）については、１０ｋＨｚ超の高周波数における前記差フィルタの残響時間は４０ｍｓ未満であり、３ｋＨｚと４ｋＨｚの間の周波数における前記差フィルタの残響時間は１００ｍｓ未満であり、２ｋＨｚ未満の周波数における前記差フィルタの残響時間は１６０ｍｓ未満である、請求項１５または１６に記載の方法。
18. 前記少なくとも一対のバイノーラルフィルタ（２０３−１、２０４−１、．．．、２０３−Ｍ、２０４−Ｍ）については、１０ｋＨｚ超の高周波数における前記差フィルタの残響時間は２０ｍｓ未満であり、３ｋＨｚと４ｋＨｚの間の周波数における前記差フィルタの残響時間は６０ｍｓ未満であり、２ｋＨｚ未満の周波数における前記差フィルタの残響時間は１２０ｍｓ未満である、請求項１５乃至１７の何れか１項に記載の方法。
19. 前記少なくとも一対のバイノーラルフィルタ（２０３−１、２０４−１、．．．、２０３−Ｍ、２０４−Ｍ）については、１０ｋＨｚ超の高周波数における前記差フィルタの残響時間は１０ｍｓ未満であり、３ｋＨｚと４ｋＨｚの間の周波数における前記差フィルタの残響時間は４０ｍｓ未満であり、２ｋＨｚ未満の周波数における前記差フィルタの残響時間は８０ｍｓ未満である、請求項１５乃至１８の何れか１項に記載の方法。
20. 前記少なくとも一対のバイノーラルフィルタ（２０３−１、２０４−１、．．．、２０３−Ｍ、２０４−Ｍ）については、前記差フィルタの残響時間は約８００ｍｓ未満である、請求項１５乃至１９の何れか１項に記載の方法。
21. 前記少なくとも一対のバイノーラルフィルタ（２０３−１、２０４−１、．．．、２０３−Ｍ、２０４−Ｍ）については、前記差フィルタの残響時間は約４００ｍｓ未満である、請求項１５乃至２０の何れか１項に記載の方法。
22. 前記少なくとも一対のバイノーラルフィルタ（２０３−１、２０４−１、．．．、２０３−Ｍ、２０４−Ｍ）については、前記差フィルタの残響時間は約２００ｍｓ未満である、請求項１５乃至２１の何れか１項に記載の方法。
23. 前記少なくとも一対のバイノーラルフィルタ（２０３−１、２０４−１、．．．、２０３−Ｍ、２０４−Ｍ）については、
    前記和フィルタの残響時間は、前記周波数の増加に伴い減少し、
    前記和フィルタの残響時間は、１００Ｈｚ未満のあらゆる周波数において、４０ｍｓ以上１６０ｍｓ以下であり、
    前記和フィルタの残響時間は、１００Ｈｚと１ｋＨｚの間のあらゆる周波数において、２０ｍｓ以上８０ｍｓ以下であり、
    前記和フィルタの残響時間は、１ｋＨｚと２ｋＨｚの間のあらゆる周波数において、１０ｍｓ以上２０ｍｓ以下であり、
    前記和フィルタの残響時間は、２ｋＨｚと２０ｋＨｚの間のあらゆる周波数において、５ｍｓ以上２０ｍｓ以下である、請求項１５乃至２２の何れか１項に記載の方法。
24. 前記少なくとも一対のバイノーラルフィルタ（２０３−１、２０４−１、．．．、２０３−Ｍ、２０４−Ｍ）については、
    前記和フィルタの残響時間は、前記周波数の増加に伴い減少し、
    前記和フィルタの残響時間は、１００Ｈｚ未満のあらゆる周波数において、６０ｍｓ以上１２０ｍｓ以下であり、
    前記和フィルタの残響時間は、１００Ｈｚと１ｋＨｚの間のあらゆる周波数において、３０ｍｓ以上６０ｍｓ以下であり、
    前記和フィルタの残響時間は、１ｋＨｚと２ｋＨｚの間のあらゆる周波数において、１５ｍｓ以上３０ｍｓ以下であり、
    前記和フィルタの残響時間は、２ｋＨｚと２０ｋＨｚの間のあらゆる周波数において、７ｍｓ以上１５ｍｓ以下である、請求項１５乃至２３の何れか１項に記載の方法。
25. 前記少なくとも一対のバイノーラルフィルタ（２０３−１、２０４−１、．．．、２０３−Ｍ、２０４−Ｍ）については、
    前記和フィルタの残響時間は、前記周波数の増加に伴い減少し、
    前記和フィルタの残響時間は、１００Ｈｚ未満のあらゆる周波数において、７０ｍｓ以上９０ｍｓ以下であり、
    前記和フィルタの残響時間は、１００Ｈｚと１ｋＨｚの間のあらゆる周波数において、３５ｍｓ以上５０ｍｓ以下であり、
    前記和フィルタの残響時間は、１ｋＨｚと２ｋＨｚの間のあらゆる周波数において、１８ｍｓ以上２５ｍｓ以下であり、
    前記和フィルタの残響時間は、２ｋＨｚと２０ｋＨｚの間のあらゆる周波数において、８ｍｓ以上１２ｍｓ以下である、請求項１５乃至２４の何れか１項に記載の方法。
26. 前記少なくとも一対のバイノーラルフィルタ（２０３−１、２０４−１、．．．、２０３−Ｍ、２０４−Ｍ）については、前記バイノーラルフィルタの特性は、整合される一対のバイノーラルフィルタの特性から決まる、請求項１５乃至２５の何れか１項に記載の方法。
27. 修正されたバイノーラルフィルタを生成するために一対の信号を処理する方法であって、
    オーディオ信号をバイノーラル化するように構成された一対の整合されるバイノーラルフィルタのインパルス応答を表す一対の対応する信号を受け付けるステップ（７０３）と、
    時変フィルタ特性を有する修正フィルタによってそれぞれ特徴付けられる一対のフィルタによって前記受け付けられた一対の信号の和フィルタおよび差フィルタ表現を処理するステップ（７０７）であって、前記処理は、一対の修正されたバイノーラルフィルタの前記インパルス応答を表す、対応する一対の修正された信号の和フィルタおよび差フィルタ表現を形成する、ステップと、を含み、
    これにより、前記修正されたバイノーラルフィルタは、オーディオ信号をバイノーラル化するように構成され、さらにモノフォニックミックスダウンにおいては知覚される残響が小さく、ヘッドホン経由の前記バイノーラルフィルタに対する影響が最小であるという特性を有するようになっており、
    修正されたバイノーラルフィルタは、修正された和フィルタと修正された差フィルタとによって特徴付けられ、前記時変フィルタは、
    修正されたバイノーラルフィルタのインパルス応答は、所定位置にある仮想スピーカを聴いている受聴者に対する頭部伝達関数によって規定された直接部分を含み、
    前記修正された和フィルタは、前記修正された差フィルタに比べ、レベルが低く、残響時間がより短く、
    前記和フィルタの前記インパルス応答の前記直接部分から前記和フィルタの前記無視しうるほど小さい応答部分への滑らかな移行があり、滑らかな移行は周波数選択的に経時的に起こる、
    ように構成される、
    方法。
28. 修正されたバイノーラルフィルタを生成するために、左耳信号と右耳信号とを処理する方法であって、
    オーディオ信号をバイノーラル化するように構成された左耳および右耳のバイノーラルフィルタのインパルス応答を表す、対応する左耳信号と右耳信号とを受け付けるステップ（７０３）と、
    前記左耳信号と右耳信号との和に比例する和信号と、前記左耳信号と前記右耳信号の間の差に比例する差信号とを形成するために、前記左耳信号と右耳信号とをシャフリングするステップ（７０５）と、
    時変フィルタ特性を有する和フィルタによって前記和信号をフィルタリングするステップであって、前記フィルタリングはフィルタリングされた和信号を形成する、ステップ（７０７）と、
    前記和フィルタによって特徴付けられる差フィルタによって前記差信号を処理するステップであって、前記処理はフィルタリングされた差信号を形成する、ステップ（７０７）と、
    左耳および右耳の修正されたバイノーラルフィルタの前記インパルス応答を表す、対応する修正された左耳信号と修正された右耳信号とを形成するために、前記フィルタリングされた和信号と前記フィルタリングされた差信号とをアンシャフリングするステップ（７０９）と、を含み、
    前記修正されたバイノーラルフィルタは、オーディオ信号をバイノーラル化するように構成され、対応する修正された和フィルタと対応する修正された差フィルタとによって表現可能であり、さらに左耳出力と右耳出力とを有し、各対のバイノーラルフィルタは、左耳のバイノーラルフィルタと右耳のバイノーラルフィルタとによってそれぞれ表現可能であり、各フィルタはそのフィルタを特徴付けるインパルス応答をそれぞれ有し、
    少なくとも一対のバイノーラルフィルタ（２０３−１、２０４−１、．．．、２０３−Ｍ、２０４−Ｍ）は、受聴者（１０７）への直接応答を対応する仮想スピーカ位置（２０９−１、．．．、２０９−Ｍ_ｖ）から取り込むために、およびリスニングルームの初期反響と残響応答の両方を取り込むために、それぞれのオーディオ入力信号を空間化するように構成され、
    前記少なくとも一対のバイノーラルフィルタ（２０３−１、２０４−１、．．．、２０３−Ｍ、２０４−Ｍ）については、
    前記和フィルタ（４０３）の時間周波数特性は、前記差フィルタ（４０４）の時間周波数特性とは異なり、前記和フィルタの残響時間は、あらゆる周波数において、前記差フィルタの残響時間、前記左耳フィルタの残響時間、および前記右耳フィルタの残響時間のどれよりも小さく、
    前記和フィルタの残響時間の複数の異なる周波数にわたる変化は、複数の周波数にわたる前記左耳フィルタの残響時間および前記右耳フィルタの残響時間のそれぞれの変化より大きく、前記和フィルタの残響時間は周波数の増加に伴い減少し、
    これにより、前記一対のバイノーラルフィルタ（２０３−１、２０４−１、．．．、２０３−Ｍ、２０４−Ｍ）によってフィルタリングされた前記１つ以上のオーディオ入力信号は、ヘッドホン（１０５）を通して再生されたときは空間的広がりを持って知覚され、またダウンミキシングによって、または相対的に狭い間隔で配置された複数のラウドスピーカによる再生によって、モノフォニックミックスを実現した後はモノフォニック再生されたときに良好に響く出力信号を生成し、前記少なくとも一対のバイノーラルフィルタ（２０３−１、２０４−１、．．．、２０３−Ｍ、２０４−Ｍ）については、前記和フィルタのインパルス応答のその無視しうるほど低いレベルへの移行は、前記和フィルタのインパルス応答の初期期間にわたって周波数依存的に経時的に徐々に起こり、前記少なくとも一対のバイノーラルフィルタ（２０３−１、２０４−１、．．．、２０３−Ｍ、２０４−Ｍ）については、前記和フィルタは、前記移行期間にわたって初期の全帯域幅から低域カットオフに向かって周波数成分が減少するようになっている、
    方法。
29. 前記修正された和信号は、前記時変フィルタリングによって引き起こされた前記修正された差信号の損失エネルギーがあればそれを補償するために適切にブーストされる、請求項２８に記載の方法。
30. 前記修正時変フィルタは、前記整合されるバイノーラルフィルタの前記和フィルタを表す信号を操作する和修正フィルタと、前記整合されるバイノーラルフィルタの前記差フィルタを表す信号を操作する差修正フィルタとによって表現可能であり、
    前記和修正フィルタは、４０ｍｓより後の時点においては、前記整合されるバイノーラルフィルタの前記和フィルタを表す前記信号を大幅に減衰させ、前記差修正フィルタは、前記和修正フィルタの前記時変特性によって規定可能である、請求項２７乃至２９の何れか１項に記載の方法。
31. 前記和修正フィルタは、時刻ｔ＝γにおけるインパルスに対する、ｔで示される時点における時変インパルス応答ｆ（ｔ，τ）によって特徴付けられ、前記和修正フィルタは、時変帯域幅を含む時変周波数応答によってさらに特徴付けられ、前記差修正フィルタの前記インパルス応答はｆ（ｔ，τ）から決定可能であり、前記時変帯域幅は経時的に単調に狭まる、
    請求項３０に記載の方法。
32. 前記時変帯域幅は、ほぼ４０ｍｓより長い時間において１００Ｈｚ未満に滑らかに狭まる、請求項３１に記載の方法。
33. 前記差修正フィルタの前記インパルス応答は、
    

    

    に比例し、ｈ_Ｄ０（ｔ）は、前記シャフリングから得られた前記差信号を示す、
    請求項３１乃至３２の何れか１項に記載の方法。
34. 処理システムの少なくとも１つのプロセッサによって実行されたときに、請求項１５乃至３３の何れか１項に記載の方法の実施を引き起こすコンピュータプログラム。
35. 処理システムの少なくとも１つのプロセッサによって実行されたときに、請求項１５乃至３３の何れか１項に記載の方法の実施を引き起こすコンピュータプログラムを内部に有するコンピュータ可読媒体。
36. 少なくとも１つのプロセッサと、
    記憶デバイスと、
    を含む処理システムを備えた装置であって、
    前記記憶デバイスは、実行されたときに、請求項１５乃至３３の何れか１項に記載の方法を前記装置に実施させるコンピュータプログラムと共に構成される、装置。

Images