JP6454027B2 - バイノーラルレンダリングのためのオーディオ信号処理装置及びその方法 - Google Patents

Description

本発明は、バイノーラルレンダリングを行うためのオーディオ信号処理装置及びその方法に係る。

３Ｄオーディオとは、従来のサラウンドオーディオから提供する水平面（２Ｄ）上のサウンド場面に高さ位置に当たる他の軸を提供することで、３次元空間上において臨場感のあるサウンドを提供するための一連の信号処理、伝送、符号化及び再生技術などを通称する。特に、３Ｄオーディオを提供するためには、従来より多数のスピーカを使用するか、或いは少数のスピーカを使用してもスピーカが存在しない仮想の位置に音像が結ばれるようにするレンダリング技術が要求される。

３Ｄオーディオは超高度解像度ＴＶ（ＵＨＤＴＶ）に対応するオーディオソリューションになり、多様な分野及びディバイスで使用されると予想される。３Ｄオーディオに提供される音源の形態としては、チャネル基盤の信号とオブジェクト基盤の信号が存在する。これだけでなく、チャネル基盤の信号とオブジェクト基盤の信号が混合された形態の音源が存在してもよく、これを介してユーザに新たな形態の聴取経験を提供することができる。

一方、バイノーラルレンダリングは入力オーディオ信号を人の両耳に提供される信号にモデリングするプロセッシングである。ユーザは、バイノーラルレンダリングされた２チャネルオーディオ信号をヘッドフォンやイヤーフォンを介して聴取することで、音の立体感を感じることができる。よって、３Ｄオーディオを人の両耳に伝達されるオーディオ信号の形態にモデリングすることができれば、２チャネル出力オーディオ信号を介して３Ｄオーディオの立体感を再現することができる。

本発明は、バイノーラルレンダリングを行うためのオーディオ信号処理装置及びその方法を提供する目的を有する。

また、本発明は３Ｄオーディオのオブジェクト信号及びチャネル信号に対する効率的なバイノーラルレンダリングを行うための目的を有する。

また、本発明は仮想現実（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ、ＶＲ）コンテンツのオーディオ信号に対する没入型バイノーラルレンダリングを具現するための目的を有する。

前記のような課題を解決するために、本発明は以下のようなオーディオ信号処理方法及びオーディオ信号処理装置を提供する。

まず、本発明の実施例によると、入力オーディオ信号に対するバイノーラルフィルタリングを行うためのオーディオ信号処理装置であって、前記入力オーディオ信号を第１側伝達関数でフィルタリングして第１側出力信号を生成する第１フィルタリング部と、前記入力オーディオ信号を第２側伝達関数でフィルタリングして第２側出力信号を生成する第２フィルタリング部と、を含むが、前記第１側伝達関数及び第２側伝達関数は、前記入力オーディオ信号に対する第１側ＨＲＴＦ（Ｈｅａｄ Ｒｅｌａｔｅｄ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）を第２側ＨＲＴＦで割った両耳間伝達関数（Ｉｎｔｅｒａｕｒａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ、ＩＴＦ）を変形して生成されるオーディオ信号処理装置が提供される。

前記第１側伝達関数及び前記第２側伝達関数は、前記入力オーディオ信号に対する第１側ＨＲＴＦ及び第２側ＨＲＴＦのうち少なくとも一つのノッチ（ｎｏｔｃｈ）成分に基づき、前記ＩＦＴを変形して生成される。

前記第１側伝達関数は、前記第１側ＨＲＴＦから抽出されたノッチ成分に基づいて生成され、前記第２側伝達関数は前記第２側ＨＲＴＦを前記第１側ＨＲＴＦから抽出されたエンベロープ（ｅｎｖｅｌｏｐｅ）成分で割った値に基づいて生成される。

前記第１側伝達関数は、前記第１側ＨＲＴＦから抽出されたノッチ成分に基づいて生成され、前記第２側伝達関数は前記第２側ＨＲＴＦを入力オーディオ信号とは異なる方向を有する第１側ＨＲＴＦから抽出されたエンベロープ成分で割った値に基づいて生成される。

前記異なる方向を有する第１側ＨＲＴＦは前記入力オーディオ信号と同じ方位角を有し、高度角０を有する第１側ＨＲＴＦである。

前記第１側伝達関数は、前記第１側ＨＲＴＦのノッチ成分を利用して生成されたＦＩＲ（Ｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタ係数、またはＩＲＲ（Ｉｎｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタ係数である。

前記第２側伝達関数は、前記入力オーディオに信号対する第１側ＨＲＴＦのエンベロープ成分と第２側ＨＲＴＦのエンベロープ成分に基づいて生成された両耳間パラメータ及び前記第２側ＨＲＴＦのノッチ成分に基づいて生成されたＩＲ（Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタ係数を含み、前記第１側伝達関数は前記第１側ＨＲＴＦのノッチ成分に基づいて生成されたＩＲフィルタ係数を含む。

前記両耳間パラメータは、ＩＬＤ（Ｉｎｔｅｒａｕｒａｌ Ｌｅｖｅｌ Ｄｉｆｆｅｒｅｎｃｅ）及びＩＴＤ（Ｉｎｔｅｒａｕｒａｌ Ｔｉｍｅ Ｄｉｆｆｅｒｅｎｃｅ）を含む。

次に、本発明の他の実施例によると、入力オーディオ信号に対するバイノーラルフィルタリングを行うためのオーディオ信号処理装置であって、前記入力オーディオ信号を同側伝達関数でフィルタリングして同側出力信号を生成する同側フィルタリング部と、前記入力オーディオ信号を対側伝達関数でフィルタリングして対側出力信号を生成する対側フィルタリング部と、を含むが、前記同側及び対側伝達関数は、第１周波数帯域と第２周波数帯域において互いに異なる伝達関数に基づいて生成されるオーディオ信号処理装置が提供される。

前記第１周波数帯域の前記同側及び対側伝達関数は、両耳間伝達関数（ＩＴＦ）に基づいて生成されるが、前記ＩＴＦは前記入力オーディオ信号に対する同側ＨＲＴＦを対側ＨＲＴＦに割った値に基づいて生成される。

前記第１周波数帯域の前記同側及び対側伝達関数は、前記入力オーディオ信号に対する同側ＨＲＴＦ及び対側ＨＲＴＦである。

前記第１周波数帯域とは異なる第２周波数帯域の前記同側及び対側伝達関数は変形された両耳間伝達関数（Ｍｏｄｉｆｉｅｄ Ｉｎｔｅｒａｕｒａｌ Ｔｒａｎｓｆｅｒ Ｆｕｃｔｉｏｎ、ＭＩＴＦ）に基づいて生成されるが、前記ＭＩＴＦは前記入力オーディオ信号に対する同側ＨＲＴＦ及び対側ＨＲＴＦのうち少なくとも一つのノッチ成分に基づいて両耳間伝達関数（ＩＴＦ）を変形して生成される。

前記第２周波数帯域の同側伝達関数は前記同側ＨＲＴＦから抽出されたノッチ成分に基づいて生成され、前記第２周波数帯域の対側伝達関数は前記対側ＨＲＴＦを前記同側ＨＲＴＦから抽出されたエンベロープ成分で割った値に基づいて生成される。

前記第１周波数帯域の前記同側及び対側伝達関数は、前記入力オーディオ信号に対する同側ＨＲＴＦ及び対側ＨＲＴＦの周波数バンド別ＩＬＤ、ＩＴＤ、ＩＰＤ（Ｉｎｔｅｒａｕｒａｌ Ｐｈａｓｅ Ｄｉｆｆｅｒｅｎｃｅ）及びＩＣ（Ｉｎｔｅｒａｕｒａｌ Ｃｏｈｅｒｅｎｃｅ）のうち少なくとも一つから抽出された情報に基づいて生成される。

前記第１周波数帯域と第２周波数帯域の伝達関数は、同じ同側及び対側ＨＲＴＦから抽出された情報に基づいて生成される。

前記第１周波数帯域は、前記第２周波数帯域より低い周波数帯域である。

前記第１周波数帯域の前記同側及び対側伝達関数は第１伝達関数に基づいて生成され、前記第１周波数帯域とは異なる第２周波数帯域の前記同側及び対側伝達関数は第２伝達関数に基づいて生成され、前記第１周波数帯域と第２周波数帯域の間の第３周波数帯域の前記同側及び対側伝達関数は、第１伝達関数と第２伝達関数の線型結合に基づいて生成される。

また、本発明の実施例によると、入力オーディオ信号に対するバイノーラルフィルタリングを行うためのオーディオ信号処理方法であって、入力オーディオ信号を受信するステップと、前記入力オーディオ信号を同側伝達関数でフィルタリングして同側出力信号を生成するステップと、前記入力オーディオ信号を対側伝達関数でフィルタリングして対側出力信号を生成するステップと、を含むが、前記同側及び対側伝達関数は、第１周波数帯域と第２周波数帯域において互いに異なる伝達関数に基づいて生成されるオーディオ信号処理方法が提供される。

また、本発明の他の実施例によると、入力オーディオ信号に対するバイノーラルフィルタリングを行うためのオーディオ信号処理方法であって、入力オーディオ信号を受信するステップと、前記入力オーディオ信号を第１側伝達関数でフィルタリングして第１側出力信号を生成するステップと、前記入力オーディオ信号を第２側伝達関数でフィルタリングして第２側出力信号を生成するステップと、を含むが、前記第１側伝達関数及び第２側伝達関数は、前記入力オーディオ信号に対する第１側ＨＲＴＦを第２側ＨＲＴＦで割った両耳間伝達関数（ＩＴＦ）を変形して生成されるオーディオ信号処理方法が提供される。

本発明の実施例によると、低い演算量で高品質のバイノーラルサウンドを提供することができる。

また、本発明の実施例によると、バイノーラルレンダリングの際に発生し得る音声定位の劣化及び音質の低下を防止することができる。

また、本発明の実施例によると、効率的な演算を介してユーザまたは客体の動きを反映したバイノーラルレンダリング処理が可能になる。

本発明の実施例によるオーディオ信号処理装置を示すブロック図である。 本発明の実施例によるバイノーラルレンダラを示すブロック図である。 本発明の一実施例による方向レンダラを示すブロック図である。 本発明の一実施例によるＭＩＴＦ（Ｍｏｄｉｆｉｅｄ ＩＴＦ）の生成方法を示す図である。 本発明の他の実施例によるＭＩＴＦの生成方法を示す図である。 本発明の他の実施例によるバイノーラルパラメータの生成方法を示す図である。 本発明の他の実施例による方向レンダラを示すブロック図である。 本発明のまた他の実施例によるＭＩＴＦの生成方法を示す図である。

本明細書で使用される用語は本発明における機能を考慮してできるだけ現在広く使用される一般的な用語を選択したが、これは合分野に携わる技術者の意図、慣例または新たな技術の出現などによって異なり得る。また、特定の場合は出願人が任意に選択したものもあるが、この場合、該当する発明を実施する形態の部分においてその意味を記載する。よって、本明細書で使用される用語は、単なる用語の名称ではなく、その用語の有する実質的な意味と本明細書全般にわたる内容に基づいて解析すべきであることを明らかにする。

図１は、本発明の実施例によるオーディオ信号処理装置を示すブロック図である。図１を参照すると、オーディオ信号処理装置１０はバイノーラルレンダラ１００、バイノーラルパラメータコントローラ２００及びパーソナライザ３００を含む。

まず、バイノーラルレンダラ１００は入力オーディオを受信し、それに対するバイノーラルレンダリングを行って２チャネル出力オーディを信号Ｌ、Ｒを生成する。バイノーラルレンダラ１００の入力オーディオ信号は、オブジェクト信号及びチャネル信号のうち少なくとも一つを含む。この際、入力オーディオは１つのオブジェクト信号またはモノ信号であってもよく、マルチオブジェクト信号またはマルチチャネル信号であってもよい。一実施例によると、バイノーラルレンダラ１００が別途のデコーダを含む場合、バイノーラルレンダラ１００の入力信号は前記オーディオ信号の符号化されたビットストリームとなる。

バイノーラルレンダラ１００の出力オーディオ信号はバイノーラル信号であって、各入力オブジェクト／チャネル信号が３次元上に位置する仮想の音源によって表現されるようにする２チャネルのオーディオ信号である。バイノーラルレンダリングは、バイノーラルパラメータコントローラ２００から提供されたバイノーラルパラメータに基づいて行われるが、時間ドメインまたは周波数ドメインの上で行われる。このように、バイノーラルレンダラ１００は多様なタイプの入力信号に対するバイノーラルレンダリングを粉って、３Ｄオーディオヘッドフォン信号（つまり、３Ｄオーディオ２チャネル信号）を生成する。

一実施例によると、バイノーラルレンダラ１００の出力オーディオ信号に対するポストプロセッシングが追加に行われる。ポストプロセッシングにはクローストークの除去、ＤＲＣ（Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｃｏｎｔｒｏｌ）、音量正規化、ピークの制限などが含まれる。また、ポストプロセッシングはバイノーラルレンダラ１００の出力オーディオ信号に対する周波数／時間ドメインの変換を含む。オーディオ信号処理装置１０はポストプロセッシングを行う別途のポストプロセッシング部を含み、他の実施例によると、ポストプロセッシング部はバイノーラルレンダラ１００に含まれてもよい。

バイノーラルパラメータコントローラ２００は、バイノーラルレンダリングのためのパラメータを生成し、これをバイノーラルレンダラ１００に伝達する。この際、伝達されるバイノーラルパラメータには後述する多様な実施例のように、同側（ｉｐｓｉｌａｔｅｒａｌ）伝達関数及び対側（ｃｏｎｔｒａｌａｔｅｒａｌ）伝達関数を含む。この際、伝達関数はＨＲＴＦ、ＩＴＦ、ＭＩＴＦ、ＢＲＴＦ（Ｂｉｎａｕｒａｌ Ｒｏｏｍ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）、ＲＩＲ（Ｒｏｏｍ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）、ＢＲＩＲ（Ｂｉｎａｕｒａｌ Ｒｏｏｍ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）、ＨＲＩＲ（Ｈｅａｄ Ｒｅｌａｔｅｄ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）及びこれの変形及び編集されたデータのうち少なくとも一つを含むが、これに限らない。

前記伝達関数は無響室で測定されたものであってもよく、シミュレーションで推定されたＨＲＴＦに関する情報を含む。ＨＲＴＦを推定するのに使用されるシミュレーション技法は、球状ヘッドモデル（Ｓｐｈｅｒｉｃａｌ Ｈｅａｄ Ｍｏｄｅｌ、ＳＨＭ）、スノーマンモデル（ｓｎｏｗｍａｎ ｍｏｄｅｌ）、有限差分時間領域技法（Ｆｉｎｉｔｅ−Ｄｉｆｆｅｒｅｎｃｅ Ｔｉｍｅ−Ｄｏｍａｉｎ Ｍｅｔｈｏｄ、ＦＤＴＤＭ）及び境界要素法（Ｂｏｕｎｄａｒｙ Ｅｌｅｍｅｎｔ Ｍｅｔｈｏｄ、ＢＥＭ）のうち少なくとも一つである。この際、球状ヘッドモデルは人の頭が球状であると仮定してシミュレーションするシミュレーション技法を指す。また、スノーマンモデルは頭と体が球状であると仮定してシミュレーションするシミュレーション技法を指す。

バイノーラルパラメータコントローラ２００はデータベース（図示せず）から前記伝達関数を獲得してもよく、個人化された（ｐｅｒｓｏｎａｌｉｚｅｄ）伝達関数をパーソナライザ３００から受信してもよい。本発明においては伝達関数はＩＲを高速フーリエ変換（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）したと前提したが、本発明における変換方法はこれに限らない。つまり、本発明の実施例によると、変換方法はＱＭＦ（Ｑｕａｄｒａｔｉｃ Ｍｉｒｒｏｒ Ｆｉｌｔｅｒｂａｎｋ）、離散コサイン変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ、ＤＣＴ）、離散サイン変換（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ、ＤＳＴ）、Ｗａｖｅｌｅｔなどを含む。

本発明の実施例によると、バイノーラルパラメータコントローラ２００は同側伝達関数及び対側伝達関数を生成し、生成された伝達関数をバイノーラルレンダラ１００に伝達する。一実施例によると、同側伝達関数及び対側伝達関数は、それぞれ同側原型（ｐｒｏｔｏｔｙｐｅ）伝達関数及び対側原型伝達関数を変形して生成される。また、バイノーラルパラメータは、ＩＬＤ、ＩＴＤ、ＦＩＲフィルタ係数、ＩＩＲフィルタ係数などを更に含む。本発明において、ＩＬＤ及びＩＴＤは両耳間パラメータとも称される。

一方、本発明の実施例において、伝達関数はフィルタ係数と相互置換可能な用語として使用される。また、原型関数は原型フィルタ係数と相互置換可能な用語として使用される。よって、同側伝達関数及び対側伝達関数それぞれは同側フィルタ係数及び対側フィルタ係数を示し、同側原型伝達関数及び対側原型伝達関数それぞれは同側原型フィルタ係数及び対側原型フィルタ係数を示す。

一実施例によると、バイノーラルパラメータコントローラ２００はパーソナライザ３００から獲得された個人化された情報に基づいてバイノーラルパラメータを生成する。パーソナライザ３００はユーザによって互いに異なるバイノーラルパラメータを適用するための付加情報を獲得し、獲得された付加情報に基づいて決定されたバイノーラル伝達関数を提供する。例えば、パーソナライザ３００はユーザの身体的特徴情報に基づいて、該当ユーザのためのバイノーラル伝達関数（例えば、個人化されたＨＲＴＦ）をデータベースから選択する。この際、身体的特徴情報は耳介の模様及び大きさ、外耳道の形態、頭蓋骨の大きさ及び類型、体形、体重などの情報を含む。

パーソナライザ３００は、決定されたバイノーラル伝達関数をバイノーラルレンダラ１００及び／またはバイノーラルパラメータコントローラ２００に提供する。一実施例によると、バイノーラルレンダラ１００はパーソナライザ３００から提供されたバイノーラル伝達関数を利用して入力オーディオ信号に対するバイノーラルレンダリングを行う。他の実施例によると、バイノーラルパラメータコントローラ２００はパーソナライザ３００から提供されたバイノーラル伝達関数を利用してバイノーラルパラメータを生成し、生成されたバイノーラルパラメータをバイノーラルレンダラ１００に伝達する。バイノーラルレンダラ１００はバイノーラルパラメータコントローラ２００から獲得したバイノーラルパラメータに基づいて、入力オーディオ信号に対するバイノーラルレンダリングを行う。

一方、図１は本発明のオーディオ信号処理装置１０の構成を示す一実施例であるが、本発明はこれに限らない。例えば、本発明のオーディオ信号処理装置１０は、図１に示した構成以外の追加的な構成を更に含んでもよい。また、図１に示した一部の構成、例えば、パーソナライザ３００などはオーディオ信号処理装置１０から省略されてもよい。

図２は、本発明の実施例によるバイノーラルレンダラを示すブロック図である。図２を参照すると、バイノーラルレンダラ１００は方向レンダラ１２０と距離レンダラ１４０を含む。本発明の実施例において、オーディオ信号処理装置とは図２のバイノーラルレンダラ１００を示すか、その構成要素である方向レンダラ１２０または距離レンダラ１４０を指す。しかし、本発明の実施例において、広い意味でのオーディオ信号処理装置は、バイノーラルレンダラ１００を含む図１のオーディオ信号処理装置１０を指す。

まず、方向レンダラ１２０は入力オーディオ信号の音源方向を定位（ｌｏｃａｌｉｚｅｉｎｇ）する方向レンダリングを行う。音源は、オブジェクト信号に対応するオーディオオブジェクトまたはチャネル信号に対応する拡声器を示す。方向レンダラ１２０は、聴取者を基準にする音源の方向を識別しようとするバイノーラルキュー（ｂｉｎａｕｒａｌ ｃｕｅ）、つまり、ディレクションキュー（ｄｉｒｅｃｔｉｏｎ ｃｕｅ）を入力オーディオ信号に適用して方向レンダリングを行う。この際、ディレクションキューは両耳（ｂｏｔｈ ｅａｒｓ）のレベル差、両耳の位相差、スペクトルエンベロープ（ｓｐｅｃｔｒａｌ ｅｎｖｅｌｏｐｅ）、スペクトルノッチ（ｓｐｅｃｔｒａｌ ｎｏｔｃｈ）、ピークなどを含む。方向レンダラ１２０は、同側伝達関数、対側伝達関数などのバイノーラルパラメータを利用してバイノーラルレンダリングを行う。

次に、距離レンダラ１４０は入力オーディオ信号の音源距離による効果を反映する距離レンダリングを行う。距離レンダラ１４０は、聴取者を基準にする音源の距離を識別しようとするディスタンスキュー（ｄｉｓｔａｎｃｅ ｃｕｅ）を入力オーディオ信号に適用して距離レンダリングを行う。本発明の実施例によると、距離レンダリングは音源の距離変化による音響強度（ｓｏｕｎｄ ｉｎｔｅｎｓｉｔｙ）及びスペクトル形態（ｓｐｅｃｔｒａｌ ｓｈａｐｉｎｇ）の変化を入力オーディオ信号に反映する。本発明の実施例によると、距離レンダラ１４０は音源の距離が予め設定された臨界値以下であるのか否かに基づいて互いに異なるプロセッシングを行う。もし、音源の距離が予め設定された臨界値を超過すれば、聴取者の頭を中心に音源の距離に反比例する音響強度が適用される。しかし、音源の距離が予め設定された臨界値を以下であれば、聴取者の両耳それぞれを基準に測定された音源の距離に基づいて別途の距離レンダリングが行われる。

本発明の実施例によると、バイノーラルレンダラ１００は入力信号に対する方向レンダリング及び距離レンダリングのうち少なくとも一つを行ってバイノーラル出漁信号を生成する。バイノーラルレンダラ１００は入力信号に対する方向レンダリング及び距離レンダリングを順次に行ってもよく、方向レンダリング及び距離レンダリングが統合されたプロセッシングを行ってもよい。以下、本発明の実施例では方向レンダリング、距離レンダリング及びこれらの組み合わせを全て含む概念としてバイノーラルレンダリングまたはバイノーラルフィルタリングという用語が使用される。

一実施例によると、バイノーラルレンダラ１００は入力オーディオ信号に対する方向レンダリングを先に行って、２チャネルの出力信号、つまり、同側出力信号Ｄ＾Ｉと対側出力信号Ｄ＾Ｃを獲得する。次に、バイノーラルレンダラ１００は２チャネルの出力信号Ｄ＾Ｉ及びＤ＾Ｃに対する距離レンダリングを行って、バイノーラル出力信号Ｂ＾Ｉ、Ｂ＾Ｃを生成する。この際、方向レンダラ１２０の入力信号はオブジェクト信号及び／またはチャネル信号であり、距離レンダラ１４０の入力信号は前処理段階として方向レンダリングが行われた２チャネル信号Ｄ＾Ｉ及びＤ＾Ｃである。

他の実施例によると、バイノーラルレンダラ１００は入力オーディオ信号に対する距離レンダリングを先に行って、２チャネルの出力信号、つまり、同側出力信号ｄ＾Ｉと対側出力信号ｄ＾Ｃを獲得する。次に、バイノーラルレンダラ１００は２チャネルの出力信号ｄ＾Ｉ及びｄ＾Ｃに対する方向レンダリングを行って、バイノーラル出力信号Ｂ＾Ｉ、Ｂ＾Ｃを生成する。この際、距離レンダラ１４０の入力信号はオブジェクト信号及び／またはチャネル信号であり、方向レンダラ１２０の入力信号は前処理段階として距離レンダリングが行われた２チャネル信号ｄ＾Ｉ及びｄ＾Ｃである。

図３は、本発明の一実施例による方向レンダラ１２０−１を示すブロック図である。図３を参照すると、方向レンダラ１２０−１は同側フィルタリング部１２２ａと対側フィルタリング部１２２ｂを含む。方向レンダラ１２０−１同側伝達関数及び対側伝達関数を含むバイノーラルパラメータを受信し、入力オーディオ信号を受信されたバイノーラルパラメータでフィルタリングして、同側出力信号と対側出力信号を生成する。つまり、同側フィルタリング部１２２ａは入力オーディオ信号を同側伝達関数でフィルタリングして同側出力信号を生成し、対側フィルタリング部１２２ｂは入力オーディオ信号を対側伝達関数でフィルタリングして対側出力信号を生成する。本発明の一実施例によると、同側伝達関数及び対側伝達関数は、それぞれ同側ＨＲＴＦ及び対側ＨＲＴＦである。つまり、方向レンダラ１２０−１は入力オーディオ信号を両耳に対するＨＲＴＦにコンボリューションすることで、該当方向のバイノーラル信号を獲得する。

本発明の実施例において、同側／対側フィルタリング部１２２ａ、１２ｂは、それぞれ左／右チャネルのフィルタリング部を示すか、右／左チャネルフィルタリング部を示す。もし、入力オーディオ信号の音源が聴取者の左側に位置する場合、同側フィルタリング部１２２ａは左側チャネル出力信号を生成し、対側フィルタリング部１２２ｂは右側チャネル出力信号を生成する。しかし、入力オーディオ信号の音源が聴取者の右側に位置する場合、同側フィルタリング部１２２ａは右側チャネル出力信号を生成し、対側フィルタリング部１２２ｂは左側チャネル出力信号を生成する。このように、方向レンダラ１２０−１は同側／対側フィルタリングを行って２チャネルの左／右出力信号を生成する。

本発明の実施例によると、方向レンダラ１２０−１は無響室の特性がバイノーラル信号に反映されることを防止するために、ＨＲＴＦの代わりに両耳間伝達関数（ＩＴＦ）、変形された両耳間伝達関数（ＭＩＴＦ）、またはこれらの組み合わせを利用して入力オーディオ信号をフィルタリングする。以下、本発明の多様な実施例による伝達関数を利用したバイノーラルレンダリング方法について説明する。

＜ＩＴＦを利用したバイノーラルレンダリング＞
まず、方向レンダラ１２０−１はＩＴＦを利用して入力オーディオ信号をフィルタリングする。ＩＴＦは以下の数式１のように対側ＨＲＴＦを同側ＨＲＴＦに割った伝達関数と定義される。

ここで、ｋは周波数インデックスであり、Ｈ＿Ｉ（ｋ）は周波数ｋの同側ＨＲＴＦ、Ｈ＿Ｃ（ｋ）は周波数ｋの対側ＨＲＴＦ、Ｉ＿Ｉ（ｋ）は周波数ｋの同側ＨＲＴＦ、Ｉ＿Ｃ（ｋ）は周波数ｋの対側ＩＴＦを示す。

つまり、本発明の実施例によると、各周波数ｋにおけるＩ＿Ｉ（ｋ）の値は１（つまり、０ｄＢ）と定義され、Ｉ＿Ｃ（ｋ）は該当周波数ｋのＨ＿Ｃ（ｋ）をＨ＿Ｉ（ｋ）で割った値と定義される。方向レンダラ１２０−１の同側フィルタリング部１２２ａは入力オーディオ信号を同側ＩＴＦでフィルタリングして同側出力信号を生成し、対側フィルタリング部１２２ｂは入力オーディオ信号を対側ＩＴＦでフィルタリングして対側出力信号を生成する。この際、数式１のように同側ＩＴＦが１であれば、つまり、同側ＩＴＦが時間ドメインにおいてユニットデルタ関数であるか、周波数ドメインにおいて全ての利得が１であれば、同側フィルタリング部１２２ａは入力オーディオ信号に対するフィルタリングをバイパス（ｂｙｐａｓｓ）する。このように、同側フィルタリングはバイパスし、対側ＩＴＦで入力オーディオ信号に対する対側フィルタリングを行うことで、ＩＴＦを利用したバイノーラルレンダリングが行われる。方向レンダラ１２０−１は、同側フィルタリング部１２２ａの演算を省略することで演算量の利得を得る。

ＩＴＦは同側原型伝達関数と対側原型伝達関数の差を示す関数であり、聴取者は両耳間の伝達関数の差を手がかりに方向感を認知する。ＩＴＦの処理過程においてはＨＲＴＦの室（ｒｏｏｍ）特性が相殺されるが、よって、ＨＲＴＦを利用したレンダリングで不自然な音（主に低音が喪失された音）が現れる現象を補完することができる。一方、本発明の他の実施例によると、Ｉ＿Ｃ（ｋ）が１と定義され、Ｉ＿Ｉ（ｋ）は該当周波数ｋのＨ＿Ｉ（ｋ）をＨ＿Ｃ（ｋ）で割った値と定義される。この際、方向レンダラ１２０−１は対側フィルタリングをバイパスし、同側ＩＴＦで入力オーディオ信号に対する同側フィルタリングを行う。

＜ＭＩＴＦを利用したバイノーラルレンダリング＞
ＩＴＦを利用してバイノーラルレンダリングを行うと、Ｌ／Ｒペアのうち一側のチャネルにのみレンダリングを行えばよいため、大きな演算量の利得が得られるようになる。しかし、ＩＴＦを利用すると、ＨＲＴＦのスペクトルピーク、ノッチなどの固有特性が喪失され、音像定位の劣化が発生する恐れがある。また、ＩＴＦの分母となるＨＲＴＦ（前記実施例において、同側ＨＲＴＦ）にノッチが存在すれば、該当ＩＴＦにはバンド幅が狭いすぺ朽ちるピークが発生してトーンノイズを誘発する問題がある。よって、本発明の他の実施例によると、バイノーラルフィルタリングのための同側伝達関数及び対側伝達関数は、入力オーディオ信号に対するＩＴＦを変形して生成される。方向レンダラ１２０−１は変形されたＩＴＦ（つまり、ＭＩＴＦ）を利用して入力オーディオ信号をフィルタリングする。

図４は、本発明の一実施例によるＭＩＴＦの生成方法を示す図である。ＭＩＴＦ生成部２２０は図１のバイノーラルパラメータコントローラ２００の一構成要素であり、同側ＨＲＴＦ及び対側ＨＲＴＦを受信して同側ＭＩＴＦ及び対側ＭＩＴＦを生成する。ＭＩＴＦ生成部２２０で生成された同側ＭＩＴＦ及び対側ＭＩＴＦは、それぞれ図３の同側フィルタリング部１２２ａ及び対側フィルタリング部１２２ｂに伝達されて同側フィルタリング及び対側フィルタリングに使用される。

以下、数式を参照して、本発明の多様な実施例によるＭＩＴＦ生成方法を説明する。本発明の実施例において、第１側は同側及び対側のうちいずれか一つを、第２側はそのうち残りの他の一つを示す。本発明は、便宜上、第１側を同側、第２側を対側と仮定して説明するが、第１側が対側、第２側が同側である場合にも同一に実施可能である。つまり、本発明の各数式及び実施例は同側と対側を互いに置換しても使用可能である。例えば、同側ＨＲＴＦを対側ＨＲＴＦで割って同側ＭＩＴＦを獲得する演算は、対側ＨＲＴＦを同側ＨＲＴＦで割って対側ＭＩＴＦを獲得する演算に置換されてもよい。

また、以下の実施例においてＭＩＴＦは原型伝達関数ＨＲＴＦを利用して生成される。しかし、本発明の実施例によると、ＨＲＴＦではなく他の原型伝達関数、つまり、他のバイノーラルパラメータがＭＩＴＦの生成に利用されてもよい。

（ＭＩＴＦ第１方法−条件付同側フィルタリング）
本発明の第１実施例によると、特定周波数インデックスｋにおいて対側ＨＲＴＦの値が同側ＨＲＴＦの値より大きければ、ＭＩＴＦは同側ＨＲＴＦを対側ＨＲＴＦで割った値に基づいて生成される。つまり、同側ＨＲＴＦのノッチ成分によって同側ＨＲＴＦと対側ＨＲＴＦの大きさ（ｍａｇｎｉｔｕｄｅ）が客店されれば、ＩＴＦの演算とは逆に同側ＨＲＴＦを対側ＨＲＴＦに割ってスペクトルピークの発生を防止する。より詳しくは、周波数インデックスｋに対して同側ＨＲＴＦをＨ＿Ｉ（ｋ）、対側ＨＲＴＦをＨ＿Ｃ（ｋ）、同側ＭＩＴＦをＭ＿Ｉ（ｋ）、対側ＭＩＴＦをＭ＿Ｃ（ｋ）とすると、同側及び対側ＭＩＴＦは以下の数式２のように生成される。

つまり、実施例によると特定周波数インデックスｋにおいてＨ＿Ｉ（ｋ）の値がＨ＿Ｃ（ｋ）の値より小さければ（つまり、ノッチ町域であれば）、Ｍ＿Ｉ（ｋ）はＨ＿Ｉ（ｋ）をＨ＿Ｃ（ｋ）で割った値に決定され、Ｍ＿Ｃ（ｋ）の値は１に決定される。しかし、Ｈ＿Ｉ（ｋ）の値がＨ＿Ｃ（ｋ）の値より小さくなければ、Ｍ＿Ｉ（ｋ）の値は１に決定され、Ｍ＿Ｃ（ｋ）の値はをＨ＿Ｃ（ｋ）をＨ＿Ｉ（ｋ）で割った値に決定される。

（ＭＩＴＦ第２方法−切断）
本発明の第２実施例によると、特定周波数インデックスｋにおいてＩＴＦの分母となるＨＲＴＦ、つまり、同側ＨＲＴＦにノッチ成分があれば、該当周波数インデックスｋにおける同側及び対側ＭＩＴＦの値は１に（つまり、０ｄＢ）に設定される。ＭＩＴＦ生成方法の第２実施例を数式で表すと、以下の数式３のようである。

つまり、第２実施例によると特定周波数インデックスｋにおいてＨ＿Ｉ（ｋ）の値がＨ＿Ｃ（ｋ）の値より小さければ（つまり、ノッチ町域であれば）、Ｍ＿Ｉ（ｋ）及びＭ＿Ｃ（ｋ）の値は１に決定される。しかし、Ｈ＿Ｉ（ｋ）の値がＨ＿Ｃ（ｋ）の値より小さくなければ、同側及び対側ＭＩＴＦはそれぞれ同側及び対側ＩＴＦと同じく設定される。つまり、ＭＩＴＦ Ｈ＿Ｉ（ｋ）の値は１に決定され、Ｍ＿Ｃ（ｋ）の値はをＨ＿Ｃ（ｋ）をＨ＿Ｉ（ｋ）で割った値に決定される。

（ＭＩＴＦ第３方法−スケーリング）
本発明の第３実施例によると、ノッチ成分のあるＨＲＴＦに対して加重値を反映し、ノッチの深さを減らす。ＩＴＦの分母となるＨＲＴＦ、つまり、同側ＨＲＴＦのノッチ成分に対して１より大きい加重値を反映するために、加重値関数ｗ（ｋ）が数式４のように適用される。

ここで、＊は乗算を意味する。つまり、第３実第施例によると特定周波数インデックスｋにおいてＨ＿Ｉ（ｋ）の値がＨ＿Ｃ（ｋ）の値より小さければ（つまり、ノッチ町域であれば）、Ｍ＿Ｉ（ｋ）の値は１に決定され、Ｍ＿Ｃ（ｋ）の値はＨ＿Ｃ（ｋ）をｗ（ｋ）とＨ＿Ｉ（ｋ）の積で割った値に決定される。しかし、Ｈ＿Ｉ（ｋ）の値がＨ＿Ｃ（ｋ）の値より小さくなければ、Ｍ＿Ｉ（ｋ）の値は１に決定され、Ｍ＿Ｃ（ｋ）の値はをＨ＿Ｃ（ｋ）をＨ＿Ｉ（ｋ）で割った値に決定される。つまり、加重値関数ｗ（ｋ）はＨ＿Ｉ（ｋ）の値がＨ＿Ｃ（ｋ）の値より小さい場合に適用される。一実施例によると、加重値関数ｗ（ｋ）は同側ＨＲＴＦのノッチの深さが深いほど、つまり、同側ＨＲＴＦの値が小さいほど大きい値を有するように設定される。他の実施例によると、加重値関数ｗ（ｋ）は同側ＨＲＴＦの値と対側のＨＲＴＦの値の差が大きいほど大きい値を有するように設定される。

前記第１、第２及び第３実施例の条件部分は、特定周波数インデックスｋにおいてＨ＿Ｉ（ｋ）の値がＨ＿Ｃ（ｋ）の値の一定割合（α）より小さい場合に拡張される。つまり、Ｈ＿Ｉ（ｋ）の値がα＊Ｈ＿Ｃ（ｋ）の値より小さければ、同側及び対側ＭＩＴＦは各実施例の条件文内の数式に基づいて生成される。しかし、Ｈ＿Ｉ（ｋ）の値がα＊Ｈ＿Ｃ（ｋ）の値より小さくなければ、同側及び対側ＭＩＴＦはそれぞれ同側及び対側ＩＴＦと同じく設定される。また、前記第１、第２及び第３実施例の条件部分は特定周波数帯域に限って使用され、前記一定割合（α）は周波数帯域に応じて互いに異なる値が適用されてもよい。

（ＭＩＴＦ第４−１方法−ノッチの分離）
本発明の第４実施例によると、ＨＲＴＦのノッチ成分を別に分離し、分離されたノッチ成分に基づいてＭＩＴＦが生成される。図５は、本発明の第４実施例によるＭＩＴＦの生成方法を示す図である。ＭＩＴＦ生成部２２０−１は、ＨＲＴＦ分離部２２２及びノーマライゼーション部２２４を更に含む。ＨＲＴＦ分離部２２２は原型伝達関数、つまり、ＨＲＴＦをＨＲＴＦエンベロープ成分とＨＲＴＦノッチ成分に分離する。

本発明の実施例によると、ＨＲＴＦ分離部２２２は分母となるＨＲＴＦ、つまり、同側ＨＲＴＦをＨＲＴＦエンベロープ成分とＨＲＴＦノッチ成分に分離し、分離された同側ＨＲＴＦエンベロープ成分と同側ＨＲＴＦノッチ成分に基づいてＭＩＴＦが生成される。ＭＩＴＦ生成方法の第４実施例を数式で表すと、以下の数式５のようである。

ここで、ｋは周は周波数インデックスであり、Ｈ＿Ｉ＿ｎｏｔｃｈ（ｋ）は同側ＨＲＴＦノッチ成分、Ｈ＿Ｉ＿ｅｎｖ（ｋ）は同側ＨＲＴＦエンベロープ成分、Ｈ＿Ｃ＿ｎｏｔｃｈ（ｋ）は対側ＨＲＴＦノッチ成分、Ｈ＿Ｃ＿ｅｎｖ（ｋ）は対側ＨＲＴＦエンベロープ成分を示す。＊は乗算を示し、Ｈ＿Ｃ＿ｎｏｔｃｈ（ｋ）＊Ｈ＿Ｃ＿ｅｎｖ（ｋ）は分離されていない対側ＨＲＴＦ Ｈ＿Ｃ（ｋ）に代替されてもよい。

つまり、第４実施例によると、Ｍ＿Ｉ（ｋ）は同側ＨＲＴＦから抽出されたノッチ成分Ｈ＿Ｉ＿ｎｏｔｃｈ（ｋ）の値に決定され、Ｍ＿Ｃ（ｋ）は対側ＨＲＴＦ Ｈ＿Ｃ（ｋ）を同側ＨＲＴＦから抽出されたエンベロープ成分Ｈ＿Ｉ＿ｅｎｖ（ｋ）で割った値に決定される。図５を参照すると、ＨＲＴＦ分離部２２２は同側ＨＲＴＦから同側ＨＲＴＦエンベロープ成分を抽出し、同側ＨＲＴＦの残余成分、つまり、ノッチ成分を同側ＭＩＴＦとして出力する。また、ノーマライゼーション部２２４は同側ＨＲＴＦエンベロープ成分と対側ＨＲＴＦを受信し、前記数式５の実施例によって対側ＭＩＴＦを生成し出力する。

スペクトルノッチの場合、一般的に外耳の特定位置に反射が起こることで発生するが、ＨＲＴＦのスペクトルノッチは高度感の認知に大きく寄与する。一般に、ノッチはスペクトルドメインで素早く変化する特徴を有する。逆に、ＩＴＦが示すバイノーラルキューはスペクトルドメインでゆっくりに変化する特徴を有する。よって、本発明の一実施例によると、ＨＲＴＦ分離部２２２はケプストラム（ｃｅｐｓｔｒｕｍ）を利用した同形信号処理（ｈｏｍｏｎｍｏｒｐｈｉｃ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ）またはウェーブインターポレーション（ｗａｖｅ ｉｎｔｅｒｐｏｌａｔｉｏｎ）を使用してＨＲＴＦのノッチ成分を分離する。

例えば、ＨＲＴＦ分離部２２２は同側ＨＲＴＦのケプストラムにウィンドイングを行って、同側ＨＲＴＦエンベロープ成分を獲得する。ＭＩＴＦ生成部２００は、同側ＨＲＴＦと対側ＨＲＴＦをそれぞれ同側ＨＲＴＦエンベロープ成分で割ることで、スペクトルカラーレーション（ｃｏｌｏｒａｔｉｏｎ）が除去された同側ＭＩＴＦを生成する。一方、本発明の追加的な実施例によると、ＨＲＴＦ分離部２２２はオール・ポールモデリング（ａｌｌ−ｐｏｌｅ ｍｏｄｅｌｉｎｇ）、ポール・ゼロモデリング（ｐｏｌｅ−ｚｅｒｏ ｍｏｄｅｌｉｎｇ）、グループディレー関数（ｇｒｏｕｐ ｄｅｌａｙ ｆｕｃｔｉｏｎ）などを利用してＨＲＴＦのノッチ成分を分離してもよい。

一方、本発明の追加的な実施例によると、Ｈ＿Ｉ＿ｎｏｔｃｈ（ｋ）をＦＩＲフィルタ係数またはＩＩＲフィルタ係数で近似計算し、近似計算したフィルタ係数がバイノーラルレンダリングの同側伝達関数として使用される。つまり、方向レンダラの同側フィルタリング部は入力オーディオ信号を前記近似計算したフィルタ係数でフィルタリングして、同側出力信号を生成する。

（ＭＩＴＦ第４−２方法−ノッチの分離／他の高度角のＨＲＴＦの使用）
本発明の追加的な実施例によると、特定角度のＭＩＴＦを生成するために、入力オーディオ信号とは異なる方向を有するＨＲＴＦエンベロープ成分が使用される。例えば、ＭＩＴＦ生成部２００は水平面上の（つまり、高度角０の）ＨＲＴＦエンベロープ成分で他のＨＲＴＦ対（同側ＨＲＴＦ、対側ＨＲＴＦ）を正規化することで、水平面上に位置した伝達関数を平坦なスペクトルを有するＭＩＴＦに具現する。本発明の一実施例によると、ＭＩＴＦは以下の数式６の方法で生成される。

ここで、ｋは周波数インデックス、θは高度角、Φは方位角を示す。

つまり、高度角θと方位角Φの同側ＭＩＴＦ Ｍ＿Ｉ（ｋ、θ、Φ）は該当高度角θ及び方位角Φの同側ＨＲＴＦから抽出されたノッチ成分Ｈ＿Ｉ＿ｎｏｔｃｈ（ｋ、θ、Φ）に決定され、対側ＭＩＴＦ Ｍ＿Ｃ（ｋ、θ、Φ）は該当高度角θ及び方位角Φの対側ＭＩＴＦ Ｍ＿Ｃ（ｋ、θ、Φ）を高度角０及び方位角Φの同側ＨＲＴＦから抽出されたエンベロープ成分Ｈ＿Ｉ＿ｅｎｖ（ｋ、θ、Φ）で割った値に決定される。本発明の他の実施例によると、ＭＩＴＦは以下の数式７の方法でも生成される。

つまり、高度角θと方位角Φの同側ＭＩＴＦ Ｍ＿Ｉ（ｋ、θ、Φ）は該当高度角θ及び方位角Φの同側ＨＲＴＦ Ｈ＿Ｉ（ｋ、θ、Φ）を前記Ｈ＿Ｉ＿ｅｎｖ（ｋ、θ、Φ）で割った値に決定され、対側ＭＩＴＦ Ｍ＿Ｃ（ｋ、θ、Φ）は該当高度角θ及び方位角Φの対側ＭＩＴＦ Ｍ＿Ｃ（ｋ、θ、Φ）を前記Ｈ＿Ｉ＿ｅｎｖ（ｋ、θ、Φ）で割った値に決定される。数式６及び数式７においては、ＭＩＴＦを生成するために同一方位角及び他の高度角（つまり、高度角０）のＨＲＴＦエンベロープ成分が利用されることを例示した。しかし、本発明はこれに限らず、他の方位角及び／または他の高度角のＨＲＴＦエンベロープ成分を利用してＭＩＴＦが生成されてもよい。

（ＭＩＴＦ第５方法−ノッチの分離２）
本発明の第５実施例によると、空間／周波数軸で表現されるウェーブインターポレーションを使用してＭＩＴＦが生成される。例えば、ＨＲＴＦは高度角／周波数軸または方位角／周波数軸の３次元で表現されるＳＥＷ（ｓｌｏｗｌｙ ｅｖｏｌｖｉｎｇ ｗａｖｅｆｏｒｍ）とＲＥＷ（ｒａｐｉｄｌｙ ｅｖｏｌｖｉｎｇ ｗａｖｅｆｏｒｍ）に分離される。この際、バイノーラルレンダリングのためのバイノーラルキュー（例えば、ＩＴＦ、両耳間パラメータはＳＥＷから、ノッチ成分はＲＥＷから抽出される。

本発明の実施例によると、方向レンダラはＳＥＷから抽出されたバイノーラルキューを利用してバイノーラルレンダリングを行い、ＲＥＷから抽出されたノッチ成分を各チャネル（同側チャネル／対側チャネル）に直接適用してトーンノイズを抑制する。空間／周波数ドメインのウェーブインターポレーションにおいて、ＳＥＷとＲＥＷを分離するために、同形信号プロセッシング、ロウ／ハイパスフィルタリングなどの方法が使用される。

（ＭＩＴＦ第６方法−ノッチの分離３）
本発明の第６実施例によると、原型伝達関数のノッチ領域では該当原型伝達関数がバイノーラルフィルタリングに使用され、ノッチ領域ではなく上述した実施例によるＭＩＴＦがバイノーラルフィルタリングに使用される。これを数式で表すと、以下の数式８のようである。

ここで、Ｍ’＿Ｉ（ｋ）及びＭ’＿Ｃ（ｋ）はそれぞれ第６実施例による同側及び対側ＭＩＴＦを示し、Ｍ＿Ｉ（ｋ）及びＭ＿Ｃ（ｋ）は上述した実施例のうちいずれか一つによる同側及び対側ＭＩＴＦを示す。Ｈ＿Ｉ（ｋ）及びＨ＿Ｃ（ｋ）は原型伝達関数である同側及び対側ＨＲＴＦを示す。つまり、同側ＨＲＴＦのノッチ成分が含まれた周波数帯域の場合、同側ＨＲＴＦ及び対側ＨＲＴＦがそれぞれバイノーラルレンダリングの同側伝達関数及び対側伝達関数として使用される。また、同側ＨＲＴＦのノッチ成分が含まれていない周波数帯域の場合、同側ＭＩＴＦ及び対側ＭＩＴＦがそれぞれバイノーラルレンダリングの同側伝達関数及び対側伝達関数として使用される。ノッチ領域を分離するために、上述したようにオール・ポールモデリング、ポール・ゼロモデリング、グループディレー関数などが使用される。本発明の追加的な実施例によると、ノッチ領域と非ノッチ領域の境界における急激なスペクトルの変化による音質の劣化を防止するために、ロウパスフィルタリングのようなスムージング（ｓｍｏｏｔｈｉｎｇ）技法が使用される。

（ＭＩＴＦ第７方法−複雑度の低いノッチの分離）
本発明の第６実施例によると、ＨＲＴＦ分離の残余成分、つまり、ノッチ成分はより簡単な演算で処理される。一実施例にイ夜と、ＨＲＴＦ残余成分はＦＩＲフィルタ係数またはＩＩＲフィルタ係数で近似計算され、近似計算されたフィルタ係数がバイノーラルレンダリングの同側及び／または対側伝達関数として使用される。図６は本発明の他の実施例によるバイノーラルパラメータの生成方法を示す図であり、図７は本発明の他の実施例による方向レンダラを示すブロック図である。

まず、図６は本発明の実施例によるバイノーラルパラメータ生成部２２０−２を示す。図６を参照すると、バイノーラルパラメータ生成部２２０−２はＨＲＴＦ分離部２２２ａ、２２２ｂ、両耳間パラメータ算出部２２５、及びノッチパラメータ化部２２６ａ、２２６ｂを含む。一実施例によると、バイノーラルパラメータ生成部２２０−２は図４及び図５のＭＩＴＦ生成部を代替する構成として使用される。

まず、ＨＲＴＦ分離部２２２ａ、２２２ｂは入力されたＨＲＴＦをＨＲＴＦエンベロープ成分とＨＲＴＦ残余成分に分離する。第１ＨＲＴＦ分離部２２２ａは同側ＨＲＴＦを受信し、これを同側ＨＲＴＦエンベロープ成分と同側ＨＲＴＦ残余成分に分離する。第２ＨＲＴＦ分離部２２２ｂは対側ＨＲＴＦを受信し、これを対側ＨＲＴＦエンベロープ成分と対側ＨＲＴＦ残余成分に分離する。両耳間パラメータ算出部２２５は同側ＨＲＴＦエンベロープ成分及び対側ＴＦエンベロープ成分を受信し、これを利用して両耳間パラメータを生成する。両耳間パラメータは、ＩＬＤ及びＩＴＤを含む。この際、ＩＬＤは両耳間伝達関数の大きさに対応し、ＩＴＤは両耳間伝達関数の位相（或いは、時間ドメインにおける時間差）に対応する。

一方、ノッチパラメータ化部２２６ａ、２２６ｂはＨＲＴＦ残余成分を受信し、これをＩＲフィルタ係数に近似計算する。ＨＲＴＦ残余成分はＨＲＴＦノッチ成分を含み、ＩＲフィルタはＦＩＲフィルタ及びＩＩＲフィルタを含む。第１ノッチパラメータ化部２２６ａは同側ＨＲＴＦ残余成分を受信し、これを利用して同側ＩＲフィルタ係数を生成する。第２ノッチパラメータ化部２２６ｂは対側ＨＲＴＦ残余成分を受信し、これを利用して対側ＩＲフィルタ係数を生成する。

このように、バイノーラルパラメータ生成部２２０−２によって生成されたバイノーラルパラメータは、方向レンダラに伝達される。前記バイノーラルパラメータは、両耳間パラメータ、同側／対側ＩＲフィルタの個数を含む。この際、両耳間パラメータはＩＬＤ及びＩＴＤを少なくとも含む。

図７は、本発明の実施例による方向レンダラ１２０−２を示すブロック図である。図７を参照すると、方向レンダラ１２０−２はエンベロープフィルタリング部１２５と同側／対側ノッチフィルタリング部１２６ａ、１２６ｂを含む。一実施例によると、同側ノッチフィルタリング部１２６ａは図２の同側フィルタリング部１２２ａを代替する構成で使用され、エンベロープフィルタリング部１２５及び対側ノッチフィルタリング部１２６ｂは図２の対側フィルタリング部１２２ｂを代替する構成で使用される。

まず、エンベロープフィルタリング部１２５は両耳間パラメータを受信し、受信された両耳間パラメータに基づいて入力オーディオ信号をフィルタリングして、同側／対側間のエンベロープの差を反映する。図７の実施例によると、エンベロープフィルタリング部１２５は対側信号のためのフィルタリングを行うが、本発明はこれに限らない。つまり、他の実施例によると、エンベロープフィルタリング部１２５は同側信号のためのフィルタリングを行ってもよい。エンベロープフィルタリング部１２５が対側信号のためのフィルタリングを行う際、両耳間パラメータは同側エンベロープを基準とする対側エンベロープの相対的な情報を示し、エンベロープフィルタリング部１２５が同側信号のためのフィルタリングを行う際、両耳間パラメータは対側エンベロープを基準とする同側エンベロープの相対的な情報を示す。

次に、ノッチフィルタリング部１２６ａ、１２６ｂは同側／対側信号に対するフィルタフィングを行って、それぞれ同側／対側伝達関数のノッチを反映する。第１ノッチフィルタリング部１２６ａは、入力オーディオ信号を同側ＩＲフィルタ係数でフィルタリングして同側出力信号を生成する。第２ノッチフィルタリング部１２６ｂは、入力オーディオ信号を対側ＩＲフィルタ係数でフィルタリングして対側出力信号を生成する。図７の実施例ではエンベロープフィルタリングがノッチフィルタリングより先に行われると示したが、本発明はこれに限らない。本発明の他の実施例によると、入力オーディオ信号に対する同側／対側ノッチフィルタリングが先に行われた後、同側または対側信号に対するエンベロープフィルタリングが行われてもよい。

このように、図７の実施例によると、方向レンダラ１２０−２は同側ノッチフィルタリング部１２６ａを利用して同側フィルタリングを行う。また、方向レンダラ１２０−２はエンベロープフィルタリング部１２５及び対側ノッチフィルタリング部１２６ｂを利用して対側フィルタリングを行う。この際、同側フィルタリングに使用される同側伝達関数は、同側ＨＲＴＦのノッチ成分に基づいて生成されたＩＲフィルタ係数を含む。また、対側フィルタリングに使用される対側伝達関数は、対側ＨＲＴＦのノッチ成分に基づいて生成されたＩＲフィルタ係数及び両耳間パラメータを含む。ここで、両耳間パラメータは同側ＨＲＴＦのエンベロープ成分と対側ＨＲＴＦのエンベロープ成分に基づいて生成される。

（ＭＩＴＦ第８方法−ハイブリッドＩＴＦ）
本発明の第８実施例によると、上述したＩＴＦ及びＭＩＴＦのうち２つ以上が組み合わせられたハイブリッドＩＴＦ（ＨＩＴＦ）が使用される。本発明の実施例において、ＨＩＴＦは少なくとも一つの周波数帯域で使用される伝達関数が他の周波数帯域で使用される伝達関数とは異なる両耳間伝達関数を示す。つまり、第１周波数帯域と第２周波数帯域において、それぞれ異なる伝達関数に基づいて生成された同側及び対側伝達関数が使用される。本発明の一実施例によると、第１周波数帯域のバイノーラルレンダリングにはＩＴＦが、第２周波数帯域のバイノーラルレンダリングにはＭＩＴＦが使用される。

より詳しくは、低周波帯域の場合、両耳レベル、両耳の位相差などが音像定位において重要な要素であり、高周波帯域の場合、スペクトルエンベロープ、特定のノッチ、ピークなどが音像定位において重要な手がかりになる。よって、これを効果的に反映するために、低周波帯域の同側及び対側伝達関数はＩＴＦに基づいて生成され、高周波帯域の同側及び対側伝達関数はＭＩＴＦに基づいて生成される。これを数式で表すと、以下の数式９のようである。

ここで、ｋは周波数インデックス、Ｃ０は臨界周波数インデックスであり、ｈ＿Ｉ（ｋ）及びｈ＿Ｃ（ｋ）はそれぞれ本発明の実施例による同側及び対側ＨＩＴＦを示す。また、Ｉ＿Ｉ（ｋ）及びＩ＿Ｃ（ｋ）はそれぞれ同側及び対側ＩＴＦを示し、Ｍ＿Ｉ（ｋ）及びＭ＿Ｃ（ｋ）はそれぞれ上述した実施例のうちいずれか一つによる同側及び対側ＭＩＴＦを示す。

つまり、本発明の一実施例によると、周波数インデックスが臨界周波数インデックスより低い第１周波数帯域の同側及び対側伝達関数はＩＴＦに基づいて生成され、周波数インデックスが臨界周波数インデックスより高いか同じである第２周波数帯域の同側及び対側伝達関数はＭＩＴＦに基づいて生成される。一実施例によると、臨界周波数インデックスＣ０は５００Ｈｚ乃至２ＫＨｚの間の特定周波数を指す。

一方、本発明の他の実施例によると、低周波帯域の同側及び対側伝達関数はＩＴＦに基づいて生成され、高周波帯域の同側及び対側伝達関数はＭＩＴＦに基づいて生成され、低周波帯域と高周波帯域の間の中間周波数帯域の同側及び対側伝達関数はＩＴＦとＭＩＴＦの線型結合に基づいて生成される。これを数式で表すと、以下の数式１０のようである。

ここで、Ｃ１は第１臨界周波数インデックスを、Ｃ２は第２臨界周波数インデックスを示す。また、ｇ１（ｋ）及びｇ２（ｋ）は、それぞれ周波数インデックスｋにおけるＩＴＦ及びＭＩＴＦに対するゲイン（ｇａｉｎ）を示す。

つまり、本発明の他の実施例によると、周波数インデックスが第１臨界周波数インデックスより低い第１周波数帯域の同側及び対側伝達関数はＩＴＦに基づいて生成され、周波数インデックスが第２臨界周波数インデックスより高いか同じである第２周波数帯域の同側及び対側伝達関数はＭＩＴＦに基づいて生成される。また、周波数インデックスが第１臨界周波数インデックスと第２周波数インデックスの間にある第３周波数インデックスの同側及び対側伝達関数は、ＩＴＦとＭＩＴＦの線型結合に基づいて生成される。但し、本発明はこれに限らず、第３周波数帯域の同側及び対側伝達関数ＩＴＦとＭＩＴＦのログ結合、スプライン（ｓｐｌｉｎｅ）結合、ラグランジュ（ｌａｇｒａｎｇｅ）結合のうち少なくとも一つに基づいて生成されてもよい。

一実施例によると、第１臨界周波数インデックスＣ１は５００Ｈｚ乃至１ＫＨｚの間の特定周波数を指し、第２臨界周波数インデックスＣ２は１ＫＨｚ乃至２ＫＨｚの間の特定周波数を指す。また、エネルギー保存のためにゲインｇ１（ｋ）及びｇ２（ｋ）の二乗の合算値であるｇ１（ｋ）＾２＋ｇ２（ｋ）＾２＝１を満足する。しかし、本発明がこれに限ることはない。

一方、ＩＴＦに基づいて生成された伝達関数とＭＩＴＦに基づいて生成された伝達関数は、互いに異なるディレーを有する。本発明の実施例によると、特定周波数帯域の同側／対側伝達関数のディレーが異なる周波数帯域の同側／対側伝達関数のディレーと互いに異なる場合、長いディレーを有する同側／対側伝達関数を基準に短いディレーを有する同側／対側伝達関数に対する遅延補償を追加に行う。

本発明の他の実施例によると、第１周波数帯域の同側及び対側伝達関数は同側及び対側ＨＲＴＦが使用され、第２周波数帯域の同側及び対側伝達関数は同側及び対側ＭＩＴＦに基づいて生成される。また、第１周波数帯域の同側及び対側ＨＲＴＦの各周波数バンド別ＩＬＤ、ＩＴＤ、ＩＰＤ及びＩＣのうち少なくとも一つから抽出された情報に基づいて生成され、第２周波数帯域の同側及び対側伝達関数はＭＩＴＦに基づいて生成される。

本発明の他の実施例によると、第１周波数帯域の同側及び対側伝達関数は球状ヘッドモデルの同側及び対側ＨＲＴＦが使用され、第２周波数帯域の同側及び対側伝達関数は測定された同側及び対側ＨＲＴＦに基づいて生成される。一実施例似ると、第１周波数帯域と第２周波数帯域の間の第３周波数帯域の同側及び対側伝達関数は、球状ヘッドモデルのＨＲＴＦと測定されたＨＲＴＦの線型結合、重畳、ウィンドイングなどに基づいて生成される。

（ＭＩＴＦ第９方法−ハイブリッドＩＴＦ２）
本発明の第９実施例によると、ＨＲＴＦ、ＩＴＦ及びＭＩＴＦのうち２つ以上が組み合わせられたハイブリッドＩＴＦ（ＨＩＴＦ）が使用される。本発明の実施例によると、音像定位の性能を上げるために特定周波数帯域のスペクトル特性が強調される。上述したＩＴＦまたはＭＩＴＦを使用すると、音源のカラーレーションが減少されるが、音像定位性能も落ちるトレードオフ現象が起こる。よって、音像定位性能を向上するために同側／対側伝達関数に対する追加的な精製が必要である。

本発明の一実施例によると、音源のカラーレーションに支配的な影響を及ぼす低周波帯域の同側及び対側伝達関数は、ＭＩＴＦ（または、ＩＴＦ）に基づいて生成され、音像定位に支配的な影響を及ぼす高周波帯域の同側及び対側伝達関数は、ＨＲＴＦに基づいて生成される。これを数式で表すと、以下の数式１１のようである。

ここで、ｋは周波数インデックス、Ｃ０は臨界周波数インデックスであり、ｈ＿Ｉ（ｋ）及びｈ＿Ｃ（ｋ）はそれぞれ本発明の実施例による同側及び対側ＨＩＴＦを示す。また、Ｈ＿Ｉ（ｋ）及びＨ＿Ｃ（ｋ）はそれぞれ同側及び対側ＨＲＴＦを示し、Ｍ＿Ｉ（ｋ）及びＭ＿Ｃ（ｋ）はそれぞれ上述した実施例のうちいずれか一つによる同側及び対側ＭＩＴＦを示す。

つまり、本発明の一実施例によると、周波数インデックスが臨界周波数インデックスよより低い第１周波数帯域の同側及び対側伝達関数はＭＩＴＦに基づいて生成され、周波数インデックスが臨界周波数インデックスよより高いか同じである第２周波数帯域の同側及び対側伝達関数はＨＲＴＦに基づいて生成される。一実施例によると、臨界周波数インデックスＣ０は２ＨＫｚ乃至４ＫＨｚの間の特定周波数をさすが、本発明はこれに限らない。

本発明の他の実施例によると、同側及び対側伝達関数はＩＴＦに基づいて生成され、高周波帯域の同側及び対側伝達関数に別途のゲインが適用される。これを数式で表すと、以下の数式１２のようである。

ここで、Ｇはゲインを示す。つまり、本発明の他の実施例によると、周波数インデックスが臨界周波数インデックスよより低い第１周波数帯域の同側及び対側伝達関数はＩＴＦに基づいて生成され、周波数インデックスが臨界周波数インデックスよより高いか同じである第２周波数帯域の同側及び対側伝達関数はＩＴＦ設定されたゲインＧをかけた値に基づいて生成される。

本発明のまた他の実施例によると、同側及び対側伝達関数は上述した実施例のうちいずれか一つによるＭＩＴＦに基づいて生成され、高周波帯域の同側及び対側伝達関数に別途のゲインが適用される。これを数式で表すと、以下の数式１３のようである。

つまり、本発明のまた他の実施例によると、周波数インデックスが臨界周波数インデックスよより低い第１周波数帯域の同側及び対側伝達関数はＭＩＴＦに基づいて生成され、周波数インデックスが臨界周波数インデックスよより高いか同じである第２周波数帯域の同側及び対側伝達関数はＭＩＴＦ設定されたゲインＧをかけた値に基づいて生成される。

前記ＨＩＴＦに適用されるゲインＧは、多様な実施例によって生成される。一実施例によると、第２周波数帯域において最大高度角ＨＲＴＦの大きさの平均値と最小高度角ＨＲＴＦの大きさの平均値をそれぞれ算出し、２つの平均値の差を利用したインターポレーションに基づいてゲインＧが獲得される。この際、第２周波数帯域の周波数ビン（ｂｉｎ）別に互いに異なるゲインを適用することで、ゲインの解像度が上げられる。

一方、第１周波数帯域と第２周波数帯域間の不連続性による歪曲が発生することを防止するために、周波数軸で平滑化されたゲインが追加に使用される。一実施例によると、ゲインが適用されない第１周波数帯域とゲインが適用される第２周波数帯域の間に第３周波数帯域が設定される。第３周波数帯域の同側及び対側伝達関数には平滑化されたゲインが適用される。平滑化されたゲインは線型インターポレーション、ログインターポレーション、スプラインインターポレーション、ラグランジュインターポレーションのうち少なくとも一つに基づいて生成され、周波数ビンごとに異なる値を有するためＧ（ｋ）と示される。

本発明の他の実施例によると、ゲインＧは他の高度角ＨＲＴＦから抽出されたエンベロープ成分に基づいて獲得される。図８は、本発明のまた他の実施例によってゲインを適用したＭＩＴＦの生成方法を示している。図８を参照すると、ＭＩＴＦ生成部２２０−３はＨＲＴＦ分離部２２２ａ、２２２ｃ、ＥＬＤ（Ｅｌｅｖａｔｉｏｎ Ｌｅｖｅｌ Ｄｉｆｆｅｒｅｎｃｅ）算出部２２３、及びノーマライゼーション部２２４を含む。

図８は、ＭＩＴＦ生成部２２２−３が周波数ｋ、高度角θ１、方位角Φの同側及び対側ＭＩＴＦを生成する実施例を示す。まず、第１ＨＲＴＦ分離部２２２ａは高度角θ１、方位角Φの同側ＨＲＴＦを同側ＨＲＴＦエンベロープ成分と同側ＨＲＴＦノッチ成分に分離する。一方、第２ＨＲＴＦ分離部２２２ｃは他の高度角θ２の同側ＨＲＴＦを同側ＨＲＴＦエンベロープ成分と同側ＨＲＴＦノッチ成分に分離する。θ２はθ１とは異なる高度角を示し、一実施例によるとθ２は０度（つまり、水平面上の角度）に設定される。

ＥＬＤ算出部２２３は高度角θ１の同側ＨＲＴＦエンベロープ成分と高度角θ２の同側ＨＲＴＦエンベロープ成分を受信し、それに基づいてゲインＧを生成する。一実施例によると、ＥＬＤ算出部２２３は高度角変化に応じて周波数応答が大きく変わらないほどゲイン値を１日に近く設定し、波数応答が大きいほどゲイン値が増幅されるか減衰されるように設定する。

ＭＩＴＦ生成部２２２−３は、ＥＬＤ算出部２２３から生成されたゲインを利用してＭＩＴＦを生成する。数式１４は、生成されたゲインを利用したＭＩＴＦ生成の実施例を示す。

周波数インデックスが臨界周波数インデックスより低い第１周波数帯域の同側及び対側伝達関数は、数式５の実施例によるＭＩＴＦに基づいて生成される。つまり、高度角θ１、方位角Φの同側ＭＩＴＦ Ｍ＿Ｉ（ｋ、θ１、Φ）は同側ＨＲＴＦから抽出されたノッチ成分Ｈ＿Ｉ＿ｎｏｔｃｈ（ｋ、θ１、Φ）値に決定され、対側ＭＩＴＦ Ｍ＿Ｃ（ｋ、θ１、Φ）は対側ＨＲＴＦから抽出されたエンベロープ成分Ｈ＿Ｉ＿ｅｎｖ（ｋ、θ１、Φ）で割った値に決定される。

しかし、周波数インデックスが臨界周波数インデックスより高いか同じである第２周波数帯域の同側及び対側伝達関数は、数式５の実施例によるＭＩＴＦにゲインＧをかけた値に基づいて生成される。つまり、Ｍ＿Ｉ（ｋ、θ１、Φ）は同側ＨＲＴＦから抽出されたノッチ成分Ｈ＿Ｉ＿ｎｏｔｃｈ（ｋ、θ１、Φ）値にゲインＧをかけた値に決定され、Ｍ＿Ｃ（ｋ、θ１、Φ）は対側ＨＲＴＦ Ｈ＿Ｃ（ｋ、θ１、Φ）にゲインＧをかけた値を同側ＨＲＴＦから抽出されたエンベロープ成分Ｈ＿Ｉ＿ｅｎｖ（ｋ、θ１、Φ）で割った値に決定される。

よって、図８を参照すると、第１ＨＲＴＦ分離部２２２ａで分離された同側ＨＲＴＦノッチ成分は、ゲインＧとかけられて同側ＭＩＴＦとして出力される。また、ノーマライゼーション部２２４は数式１４のように同側ＨＲＴＦエンベロープ成分に備えた対側ＨＲＴＦ値を算出するが、算出された値はゲインＧとかけられて対側ＭＩＴＦとして出力される。この際、ゲインＧは該当高度角θ１の同側ＨＲＴＦエンベロープ成分とは異なる高度角θ２の同側ＨＲＴＦエンベロープ成分に基づいて生成された値である。数式１５は、前記ゲインＧを生成する実施例を示す。

つまり、ゲインＧは高度角θ１及び方位角Φの同側ＨＲＴＦから抽出されたエンベロープ成分Ｈ＿Ｉ＿ｅｎｖ（ｋ、θ１、Φ）を、高度角θ２及び方位角Φの同側ＨＲＴＦから抽出されたエンベロープ成分Ｈ＿Ｉ＿ｅｎｖ（ｋ、θ２、Φ）で割った値に決定する。

一方、前記実施例では高度角が互いに異なる同側ＨＲＴＦのエンベロープ成分を利用してゲインＧが生成されたが、本発明はこれに限らない。つまり、ゲインＧは方位角が互いに異なる同側ＨＲＴＦのンベロープ成分、または高度角と方位角が全て異なる同側ＨＲＴＦのンベロープ成分に基づいて生成されてもよい。また、前記ゲインＧはＨＩＴＦだけでなくＩＴＦ、ＭＩＴＦ及びＨＲＴＦのうち少なくとも一つに適用されてもよい。それだけでなく、ゲインＧは高周波帯域などの特定周波数帯域だけでなく全ての周波数帯域に適用されてもよい。

上述した多用な実施例による同側ＭＩＴＦ（または、同側ＨＩＴＦ）は同側伝達関数として、対側ＭＩＴＦ（または、対側ＨＩＴＦ）は対側伝達関数として方向レンダラに伝達される。方向レンダラの同側フィルタリング部は入力オーディオ信号を上述した実施例による同側ＭＩＴＦ（または、同側ＨＩＴＦ）でフィルタリングして同側出力信号を生成し、対側フィルタリング部は入力オーディオ信号を上述した実施例による対側ＭＩＴＦ（または、対側ＨＩＴＦ）でフィルタリングして対側出力信号を生成する。

上述した実施例において、同側ＭＩＴＦまたは対側ＭＩＴＦの値が１であれば、該当同側フィルタリング部または対側フィルタリング部はフィルタリング演算をバイパスする。この際、フィルタリングのバイパス可否はレンダリング時点に決定される。しかし、たの実施例によると、原型伝達関数（ＨＲＦ）が予め決定されている場合、同側／対側フィルタリング部はバイパス地点（例えば、周波数インデックス）に対する付加情報を予め獲得し、該当付加情報に基づいて各地点におけるフィルタリングのバイパス可否を決定する。

一方、上述した実施例及び図面においては、同側フィルタリング部及び対側フィルタリング部が同じ入力オーディオ信号を受信してフィルタリングを受信すると説明されたが、本発明はこれに限らない。本発明の他の実施例によると、前処理が行われた２チャネル信号が方向レンダラの入力して受信される。例えば、前処理ステップとして距離レンダリングが行われた同側信号ｄ＾Ｉ及び対側信号ｄ＾Ｃが方向レンダラの入力して受信される。この際、方向レンダラの同側フィルタリング部は受信された同側信号ｄ＾Ｉを同側伝達関数でフィルタリングして同側出力信号Ｂ＾Ｉを生成する。また、方向レンダラの対側フィルタリング部は受信された対側信号ｄ＾Ｃを対側伝達関数でフィルタリングして対側出力信号Ｂ＾Ｃを生成する。

これまで本発明を具体的な実施例を介して説明したが、当業者であれば本発明の趣旨及び範囲を逸脱せずに修正、変形を行うことができる。つまり、本発明はオーディオ信号に対するバイのーラルレンダリングの実施例について説明したが、本発明はオーディオ信号だけでなくビデオ信号を含む多様なマルチメディア信号にも同じく適用及び拡張可能である。よって、本発明の詳細な説明及び実施例から本発明の属する技術分野に属する人が容易に類推し得るものは、本発明の権利範囲に属すると解釈される。

Claims (10)

1. 入力オーディオ信号に対するバイノーラルフィルタリングを行うためのオーディオ信号処理装置であって、
   前記入力オーディオ信号を同側伝達関数でフィルタリングして同側出力信号を生成する同側フィルタリング部と、
   前記入力オーディオ信号を対側伝達関数でフィルタリングして対側出力信号を生成する対側フィルタリング部と、を含み、
   第１周波数帯域における前記同側及び対側伝達関数は、両耳間伝達関数（Ｉｎｔｅｒａｕｒａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ、ＩＴＦ）に基づいて生成され、第２周波数帯域における前記同側及び対側伝達関数は、前記入力オーディオ信号に対する同側頭部伝達関数（Ｈｅａｄ Ｒｅｌａｔｅｄ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ、ＨＲＴＦ）及び対側ＨＲＴＦであり、
   前記同側フィルタリング部及び前記対側フィルタリング部は、周波数領域でフィルタリングを実行する、オーディオ信号処理装置。
2. 前記ＩＴＦは、前記同側ＨＲＴＦ及び前記対側ＨＲＴＦを使用して生成される、請求項１に記載のオーディオ信号処理装置。
3. 前記ＩＴＦは、前記同側ＨＲＴＦによって前記対側ＨＲＴＦを割った値に基づいて生成される請求項２に記載のオーディオ信号処理装置。
4. 前記第１周波数帯域は、前記第２周波数帯域より低い周波数帯域である請求項１に記載のオーディオ信号処理装置。
5. 前記第１周波数帯域の前記同側及び対側伝達関数は第１伝達関数に基づいて生成され、前記第１周波数帯域とは異なる第２周波数帯域の前記同側及び対側伝達関数は第２伝達関数に基づいて生成され、前記第１周波数帯域と第２周波数帯域の間の第３周波数帯域の前記同側及び対側伝達関数は、第１伝達関数と第２伝達関数の線型結合に基づいて生成される請求項１に記載のオーディオ信号処理装置。
6. 入力オーディオ信号に対するバイノーラルフィルタリングを行うためのオーディオ信号処理方法であって、
   入力オーディオ信号を受信するステップと、
   前記入力オーディオ信号を同側伝達関数でフィルタリングして同側出力信号を生成するステップと、
   前記入力オーディオ信号を対側伝達関数でフィルタリングして対側出力信号を生成するステップと、を含み、
   第１周波数帯域における前記同側及び対側伝達関数は、両耳間伝達関数（Ｉｎｔｅｒａｕｒａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ、ＩＴＦ）に基づいて生成され、第２周波数帯域における前記同側及び対側伝達関数は、前記入力オーディオ信号に対する同側頭部伝達関数（Ｈｅａｄ Ｒｅｌａｔｅｄ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ、ＨＲＴＦ）及び対側ＨＲＴＦであり、
   前記同側伝達関数での前記フィルタリング及び前記対側伝達関数での前記フィルタリングは、周波数領域でフィルタリングが実行される、オーディオ信号処理方法。
7. 前記ＩＴＦは、前記同側ＨＲＴＦ及び前記対側ＨＲＴＦを使用して生成される、請求項６に記載の方法。
8. 前記ＩＴＦは、前記ＩＴＦは、前記入力オーディオ信号に対する前記同側ＨＲＴＦによって前記対側ＨＲＴＦを割った値に基づいて生成される、請求項７に記載の方法。
9. 前記第１周波数帯域は、前記第２周波数帯域より低い周波数帯域である請求項６に記載の方法。
10. 前記第１周波数帯域の前記同側及び対側伝達関数は第１伝達関数に基づいて生成され、前記第１周波数帯域とは異なる第２周波数帯域の前記同側及び対側伝達関数は第２伝達関数に基づいて生成され、前記第１周波数帯域と第２周波数帯域の間の第３周波数帯域の前記同側及び対側伝達関数は、第１伝達関数と第２伝達関数の線型結合に基づいて生成される、請求項６に記載の方法。