JP6658026B2 - フィルタ生成装置、フィルタ生成方法、及び音像定位処理方法 - Google Patents

Description

本発明は、フィルタ生成装置、フィルタ生成方法、及び音像定位処理方法に関する。

音像定位技術として、ヘッドホンを用いて受聴者の頭部の外側に音像を定位させる頭外定位技術がある。頭外定位技術では、ヘッドホンから耳までの特性をキャンセルし、ステレオスピーカから耳までの４本の特性を与えることにより、音像を頭外に定位させている。

頭外定位再生においては、２チャンネル（以下、ｃｈと記載）のスピーカから発した測定信号（インパルス音等）を聴取者本人の耳に設置したマイクロフォン（以下、マイクとする）で録音する。そして、インパルス応答から頭部伝達関数を算出して、フィルタを作成する。作成したフィルタを２ｃｈのオーディオ信号に畳み込むことにより、頭外定位再生を実現することができる。

特許文献１には、個人化された室内インパルス応答のセットを取得する方法が開示されている。特許文献１では、聴取者の各耳の近くにマイクを設置している。そして、スピーカを駆動した時のインパルス音を、左右のマイクが録音する。

特表２００８−５１２０１５号公報

従来、スピーカなどの音源が設置された専用の測定室、及び専用の機材を用いて測定が行われていた。しかしながら、昨今のメモリ容量の増大や演算速度の高速化に伴い、受聴者がパーソナルコンピュータ（ＰＣ）等を用いて、インパルス応答測定を行うことが可能となっている。受聴者がＰＣ等を用いてインパルス応答測定を行う場合、以下に示す問題点がある。

左右のバランスのよい音場を再生する適切なフィルタを生成するためには、左右の伝達特性のタイミングを揃えて切り出す必要がある。左右のスピーカからのインパルス音を左右のマイクでそれぞれ測定して、伝達特性を取得する。そして、左右の伝達特性を同じ時刻から等しいフィルタ長で切り出すことで、フィルタ係数を求めることができる。

ＰＣ等の汎用機器を音響デバイスとして用いた場合、音響デバイスの遅延量は、測定毎に毎回変化してしまう。これは、入力と出力が同期した音響デバイスをＰＣ等の汎用機器に接続して用いた場合であっても同様である。すなわち、左のスピーカを用いた測定と、右のスピーカを用いた測定とで、測定開始から音がマイクに到達するまでの時間が異なってしまう場合がある。したがって、タイミングを揃えて切り出すことが困難になる。

また、測定する環境が受聴者の自宅などの場合、測定環境が左右非対称となることがある。例えば、部屋の形状が左右非対称である場合は、家具などの配置が左右非対称である場合がある。また、受聴者がＰＣ等を利用して測定した場合には、ディプレイやＰＣ等の本体が受聴者周辺に置かれる場合がある。さらに、受聴者の耳にマイクを装着した場合、左右の耳介の形状の違いにより、伝達特性が大きく異なる信号波形となってしまう。すなわち、左右の伝達特性の波形が大きく異なってしまい、左右同じタイミングで切り出すことが困難になってしまう。よって、適切にフィルタを生成することができず、左右のバランスの良い音場を得ることができないおそれがある。

本発明は上記の点に鑑みなされたもので、適切なフィルタを生成することができるフィルタ生成装置、フィルタ生成方法、及び音像定位処理方法を提供することを目的とする。

本発明の一態様にかかるフィルタ生成装置は、左右のスピーカと、前記左右のスピーカから出力された測定信号を収音して、収音信号を取得する左右のマイクと、前記収音信号に基づいて、前記左右のスピーカから前記左右のマイクまでの伝達特性に応じたフィルタを生成するフィルタ生成部と、を備えたフィルタ生成装置であって、前記フィルタ生成部は、前記左のスピーカから前記左のマイクまでの第１の伝達特性と、前記右のスピーカから前記右のマイクまでの第２の伝達特性とのそれぞれにおいて、振幅の絶対値が最大となる時刻を用いて、直接音到達時刻を探索する探索部と、前記直接音到達時刻における前記第１及び第２の伝達特性の前記振幅の符号が一致するか否かを判定する判定部と、前記直接音到達時刻における前記第１及び第２の伝達特性の前記振幅の前記符号が異なる場合、切り出しタイミングを訂正する訂正部と、前記訂正部により訂正された切り出しタイミングで、前記伝達特性を切り出すことで、前記フィルタを生成する切り出し部と、を備えたものである。

本発明の一態様にかかるフィルタ生成方法は、左右のスピーカと、左右のマイクとの間に伝達特性を用いてフィルタを生成するフィルタ生成方法であって、前記左のスピーカから前記左のマイクまでの第１の伝達特性と、前記右のスピーカから前記右のマイクまでの第２の伝達特性とのそれぞれにおいて、振幅の絶対値が最大となる時刻を用いて、直接音到達時刻を探索する探索ステップと、前記直接音到達時刻における前記第１及び第２の伝達特性の振幅の符号が一致するか否かを判定する判定ステップと、前記直接音到達時刻における前記第１及び第２の伝達特性の前記振幅の前記符号が異なる場合、切り出しタイミングを訂正する訂正ステップと、前記訂正された切り出しタイミングで、前記伝達特性を切り出すことで、前記フィルタを生成するステップと、を備えたものである。

本発明によれば、適切なフィルタを生成することができるフィルタ生成装置、フィルタ生成方法、及び音像定位処理方法を提供することができる。

本実施の形態に係る頭外定位処理装置を示すブロック図である。 フィルタを生成するフィルタ生成装置の構成を示す図である。 測定例１の伝達特性Ｈｌｓ、Ｈｌｏを示す図である。 測定例１の伝達特性Ｈｒｓ、Ｈｒｏを示す図である。 測定例２の伝達特性Ｈｌｓ、Ｈｌｏを示す図である。 測定例２の伝達特性Ｈｒｓ、Ｈｒｏを示す図である。 測定例３の伝達特性Ｈｌｓ、Ｈｌｏを示す図である。 測定例３の伝達特性Ｈｒｓ、Ｈｒｏを示す図である。 測定例４の伝達特性Ｈｌｓ、Ｈｌｏを示す図である。 測定例４の伝達特性Ｈｒｓ、Ｈｒｏを示す図である。 測定例５の伝達特性Ｈｌｓ、Ｈｌｏを示す図である。 測定例５の伝達特性Ｈｒｓ、Ｈｒｏを示す図である。 測定例４において、切り出された伝達特性Ｈｌｓ、Ｈｒｓを示す図である。 測定例５において、切り出された伝達特性Ｈｌｓ、Ｈｒｓを示す図である。 フィルタ生成装置の構成を示す制御ブロック図である。 フィルタの生成方法を示すフローチャートである。 直接音探索処理を示すフローチャートである。 図１７で示した処理の詳細な一例を示すフローチャートである。 相互相関係数を算出するための処理を説明するための図である。 音響デバイスによる遅延を説明するための図である。

本実施の形態にかかるフィルタ生成装置で生成したフィルタを用いた音像定位処理の概要について説明する。ここでは、音像定位処理装置の一例である頭外定位処理について説明する。本実施形態にかかる頭外定位処理は、個人の空間音響伝達特性（空間音響伝達関数ともいう）と外耳道伝達特性（外耳道伝達関数ともいう）を用いて頭外定位処理を行うものである。本実施形態では、スピーカから聴取者の耳までの空間音響伝達特性、及びヘッドホンを装着した状態での外耳道伝達特性を用いて頭外定位処理を実現している。

本実施の形態では、ヘッドホン装着状態でのヘッドホンスピーカユニットから外耳道入口までの特性である外耳道伝達特性が利用されている。そして、外耳道伝達特性の逆特性（外耳道補正関数ともいう）を用いて畳み込み処理を行うことで、外耳道伝達特性をキャンセルすることができる。

本実施の形態にかかる頭外定位処理装置は、パーソナルコンピュータ、スマートホン、タブレットＰＣなどの情報処理装置であり、プロセッサ等の処理手段、メモリやハードディスクなどの記憶手段、液晶モニタ等の表示手段、タッチパネル、ボタン、キーボード、マウスなどの入力手段、ヘッドホン又はイヤホンを有する出力手段を備えている。

実施の形態１．
本実施の形態にかかる音場再生装置の一例である頭外定位処理装置１００を図１に示す。図１は、頭外定位処理装置のブロック図である。頭外定位処理装置１００は、ヘッドホン４３を装着するユーザＵに対して音場を再生する。そのため、頭外定位処理装置１００は、ＬｃｈとＲｃｈのステレオ入力信号ＸＬ、ＸＲについて、音像定位処理を行う。ＬｃｈとＲｃｈのステレオ入力信号ＸＬ、ＸＲは、ＣＤ（Compact Disc）プレーヤなどから出力されるオーディオ再生信号である。なお、頭外定位処理装置１００は、物理的に単一な装置に限られるものではなく、一部の処理が異なる装置で行われてもよい。例えば、一部の処理がパソコンなどにより行われ、残りの処理がヘッドホン４３に内蔵されたＤＳＰ(Digital Signal Processor)などにより行われてもよい。

頭外定位処理装置１００は、頭外定位処理部１０と、フィルタ部４１、フィルタ部４２、及びヘッドホン４３を備えている。

頭外定位処理部１０は、畳み込み演算部１１〜１２、２１〜２２、及び加算器２４、２５を備えている。畳み込み演算部１１〜１２、２１〜２２は、空間音響伝達特性を用いた畳み込み処理を行う。頭外定位処理部１０には、ＣＤプレーヤなどからのステレオ入力信号ＸＬ、ＸＲが入力される。頭外定位処理部１０には、空間音響伝達特性が設定されている。頭外定位処理部１０は、各ｃｈのステレオ入力信号ＸＬ、ＸＲに対し、空間音響伝達特性を畳み込む。空間音響伝達特性はユーザＵ本人の頭部や耳介で測定した頭部伝達関数ＨＲＴＦでもよいし、ダミーヘッドまたは第三者の頭部伝達関数であってもよい。これらの伝達特性は、その場で測定してもよいし、予め用意してもよい。

空間音響伝達特性は、４つの伝達特性Ｈｌｓ、Ｈｌｏ、Ｈｒｏ、Ｈｒｓを有している。４つの伝達特性は、後述するフィルタ生成装置を用いて求めることができる。

そして、畳み込み演算部１１は、Ｌｃｈのステレオ入力信号ＸＬに対して伝達特性Ｈｌｓを畳み込む。畳み込み演算部１１は、畳み込み演算データを加算器２４に出力する。畳み込み演算部２１は、Ｒｃｈのステレオ入力信号ＸＲに対して伝達特性Ｈｒｏを畳み込む。畳み込み演算部２１は、畳み込み演算データを加算器２４に出力する。加算器２４は２つの畳み込み演算データを加算して、フィルタ部４１に出力する。

畳み込み演算部１２は、Ｌｃｈのステレオ入力信号ＸＬに対して伝達特性Ｈｌｏを畳み込む。畳み込み演算部１２は、畳み込み演算データを、加算器２５に出力する。畳み込み演算部２２は、Ｒｃｈのステレオ入力信号ＸＲに対して伝達特性Ｈｒｓを畳み込む。畳み込み演算部２２は、畳み込み演算データを、加算器２５に出力する。加算器２５は２つの畳み込み演算データを加算して、フィルタ部４２に出力する。

フィルタ部４１、４２には外耳道伝達特性をキャンセルする逆フィルタが設定されている。そして、頭外定位処理部１０での処理が施された再生信号に逆フィルタを畳み込む。フィルタ部４１で加算器２４からのＬｃｈ信号に対して、逆フィルタを畳み込む。同様に、フィルタ部４２は加算器２５からのＲｃｈ信号に対して逆フィルタを畳み込む。逆フィルタは、ヘッドホン４３を装着した場合に、ヘッドホンユニットからマイクまでの特性をキャンセルする。すなわち、外耳道入口にマイクを配置したとき、ユーザ各人の外耳道入口とヘッドホンの再生ユニット間、あるいは鼓膜とヘッドホンの再生ユニット間の伝達特性をキャンセルする。逆フィルタは、ユーザＵ本人の耳介で外耳道伝達関数をその場で測定した結果から算出してもよいし、ダミーヘッド等の任意の外耳道伝達関数から算出したヘッドホン特性の逆フィルタを予め用意してもよい。

フィルタ部４１は、補正されたＬｃｈ信号をヘッドホン４３の左ユニット４３Ｌに出力する。フィルタ部４２は、補正されたＲｃｈ信号をヘッドホン４３の右ユニット４３Ｒに出力する。ユーザＵは、ヘッドホン４３を装着している。ヘッドホン４３は、Ｌｃｈ信号とＲｃｈ信号をユーザＵに向けて出力する。これにより、ユーザＵの頭外に定位された音像を再生することができる。

（フィルタ生成装置）
図２を用いて、空間音響伝達特性（以下、伝達特性とする）を測定して、フィルタを生成するフィルタ生成装置について説明する。図２は、フィルタ生成装置２００の測定構成を模式的に示す図である。なお、フィルタ生成装置２００は、図１に示す頭外定位処理装置１００と共通の装置であってもよい。あるいは、フィルタ生成装置２００の一部又は全部が頭外定位処理装置１００と異なる装置となっていてもよい。

図２に示すように、フィルタ生成装置２００は、ステレオスピーカ５とステレオマイク２を有している。ステレオスピーカ５が測定環境に設置されている。測定環境は、音響特性が考慮されていない環境（例えば部屋の形状が左右非対称等）や、ノイズとなる環境音が発生している環境となっている。より具体的には、測定環境は、ユーザＵの自宅の部屋やオーディオシステムの販売店舗やショールーム等でもよい。また、測定環境が音響特性を考慮していないレイアウトとなっていることがある。自宅の部屋では、家具などが左右非対称に配置されていることもある。スピーカが部屋に対して左右対称に配置されていないこともある。さらに、窓、壁面、床面、天井面からの反射による不要な残響が発生することもある。本実施の形態では、理想的ではない測定環境であっても、適切な伝達特性を測定するための処理を行っている。

本実施の形態では、フィルタ生成装置２００の処理装置（図２では不図示）が、適切な伝達特性を測定するための演算処理を行っている。処理装置は、例えば、パーソナルコンピュータ（ＰＣ）、タブレット端末、スマートホン等である。

ステレオスピーカ５は、左スピーカ５Ｌと右スピーカ５Ｒを備えている。例えば、受聴者１の前方に左スピーカ５Ｌと右スピーカ５Ｒが設置されている。左スピーカ５Ｌと右スピーカ５Ｒは、インパルス応答測定を行うためのインパルス音等を出力する。

ステレオマイク２は、左のマイク２Ｌと右のマイク２Ｒを有している。左のマイク２Ｌは、受聴者１の左耳９Ｌに設置され、右のマイク２Ｒは、受聴者１の右耳９Ｒに設置されている。具体的には、左耳９Ｌ、右耳９Ｒの外耳道入口又は鼓膜位置にマイク２Ｌ、２Ｒを設置することが好ましい。マイク２Ｌ、２Ｒは、ステレオスピーカ５から出力された測定信号を収音して、収音信号を取得する。マイク２Ｌ、２Ｒは収音信号を後述するフィルタ生成装置に出力する。受聴者１は、人でもよく、ダミーヘッドでもよい。すなわち、本実施形態において、受聴者１は人だけでなく、ダミーヘッドを含む概念である。

上記のように、左右のスピーカ５Ｌ、５Ｒで出力されたインパルス音をマイク２Ｌ、２Ｒで測定することでインパルス応答が測定される。フィルタ生成装置は、インパルス応答測定に基づいて取得した収音信号をメモリなどに記憶する。これにより、左スピーカ５Ｌと左マイク２Ｌとの間の伝達特性Ｈｌｓ、左スピーカ５Ｌと右マイク２Ｒとの間の伝達特性Ｈｌｏ、右スピーカ５Ｌと左マイク２Ｌとの間の伝達特性Ｈｒｏ、右スピーカ５Ｒと右マイク２Ｒとの間の伝達特性Ｈｒｓが測定される。すなわち、左スピーカ５Ｌから出力された測定信号を左マイク２Ｌが収音することで、伝達特性Ｈｌｓが取得される。左スピーカ５Ｌから出力された測定信号を右マイク２Ｒが収音することで、伝達特性Ｈｌｏが取得される。右スピーカ５Ｒから出力された測定信号を左マイク２Ｌが収音することで、伝達特性Ｈｒｏが取得される。右スピーカ５Ｒから出力された測定信号を右マイク２Ｒが収音することで、伝達特性Ｈｒｓが取得される。

そして、フィルタ生成装置は、収音信号に基づいて、左右のスピーカ５Ｌ、５Ｒから左右のマイク２Ｌ、２Ｒまでの伝達特性Ｈｌｓ〜Ｈｒｓに応じたフィルタを生成する。具体的には、フィルタ生成装置２００は、伝達特性Ｈｌｓ〜Ｈｒｓを所定のフィルタ長で切り出して、頭外定位処理部１０の畳み込み演算に用いられるフィルタとして生成する。図１で示したように、頭外定位処理装置１００が、左右のスピーカ５Ｌ、５Ｒと左右のマイク２Ｌ、２Ｒとの間の伝達特性Ｈｌｓ〜Ｈｒｓを用いて頭外定位処理を行う。すなわち、伝達特性をオーディオ再生信号に畳み込むことにより、頭外定位処理を行う。

ここで、様々な測定環境で伝達特性を測定した場合に生じる問題について説明する。まず、理想的な測定環境において、インパルス応答測定した場合の収音信号の信号波形を測定例１として、図３、図４に示す。なお、図３、図４、及び後述の図に示す信号波形において、横軸がサンプル数であり、縦軸が振幅となっている。なお、サンプル数は測定開始からの時間に対応するものであり、測定開始タイミングを０としている。振幅は、マイク２Ｌ、２Ｒで取得した収音信号の信号強度、あるいは音圧に対応するものであり、正または負の符号を有する。

測定例１では、反響がない無響室に人頭とみなした剛球を配置して、測定を行っている。測定環境となる無響室において、剛球の前方には、左右対称に左右のスピーカ５Ｌ、５Ｒが配置されている。また、剛球に対して左右対称にマイクを設置している。

このような理想的な測定環境でインパルス測定を行った場合、図３、図４に示すような伝達特性Ｈｌｓ、Ｈｌｏ、Ｈｒｏ、Ｈｒｓが測定される。図３は、測定例１の伝達特性Ｈｌｓ、Ｈｌｏ、すなわち、左スピーカ５Ｌを駆動した時の測定結果を示している。図４は、測定例１の伝達特性Ｈｒｏ、Ｈｒｓ、すなわち右スピーカ５Ｒを駆動した時の測定結果を示している。図３の伝達特性Ｈｌｓと、図４の伝達特性Ｈｒｓとは、略同じ波形となっている。すなわち、伝達特性Ｈｌｓと、伝達特性Ｈｒｓとでは、ほぼ同じタイミングにほぼ同じ大きさのピークが現われる。すなわち、左スピーカ５Ｌから左マイク２Ｌまでのインパルス音の到達時刻と、右スピーカ５Ｒから右マイク２Ｒまでのインパルス音の到達時刻が一致している。

実際の測定が行われる測定環境で測定した伝達特性を測定例２、３として、図５〜図８に示す。図５は、測定例２の伝達特性Ｈｌｓ、Ｈｌｏを示し、図６は、測定例２の伝達特性のＨｒｏ、Ｈｒｓを示している。図７は、測定例３の伝達特性Ｈｌｓ、Ｈｌｏを示し、図８は、測定例３の伝達特性Ｈｒｏ、Ｈｒｓを示している。測定例２、３はそれぞれ異なる測定環境で行われた測定であり、受聴者周辺の物や、壁面、天井、床からの反響がある測定環境で行われている。

実際の測定環境が、受聴者１の自宅などの場合、パーソナルコンピュータやスマートホン等によって、ステレオスピーカ５からインパルス音を発生する。すなわち、パーソナルコンピュータやスマートホン等の汎用の処理装置が音響デバイスとして用いられる。このような場合、音響デバイスの遅延量が測定毎に異なるおそれがある。例えば、音響デバイスのプロセッサでの処理や、インターフェースでの処理により信号遅延が生じる。

よって、ステレオスピーカ５の中央に剛球を設置したとしても、音響デバイスでの遅延により、左スピーカ５Ｌの駆動時と、右スピーカ５Ｒの駆動時で、応答位置（ピーク位置）が異なる。このような場合、測定例２、３に示すように、最大振幅（絶対値が最大となる振幅）が同じ時刻となるように、伝達特性を切り出している。例えば、測定例２では、伝達特性Ｈｌｓ、Ｈｒｓの最大振幅Ａが３０サンプル目となるように、伝達特性Ｈｌｓ、Ｈｌｏ、Ｈｒｏ、Ｈｒｓを切り出している。なお、測定例２で、最大振幅は、負のピークとなっている（図５、図６のＡ）。

しかしながら、受聴者１の左右の耳介形状が異なる場合がある。この場合、受聴者１が左右のスピーカ５Ｌ、５Ｒに対して左右対称な位置にいたとしても、左右の伝達特性が大きく異なってしまう。また、測定環境が左右非対称である場合も、左右の伝達特性が大きく異なってしまう。

さらに、実際の測定環境において測定を行う場合、図９、図１０に示す測定例４のように、最大振幅を取るピークが２つに割れてしまうことがある。測定例４では、図１０に示すように伝達特性Ｈｒｓの最大振幅Ａが２つに割れている。

また、図１１、図１２の測定例５のように、左右の伝達特性Ｈｌｓ、Ｈｒｓで、最大振幅を取るピークの符号が異なる場合がある。測定例５では、伝達特性Ｈｌｓの最大振幅Ａは正のピークとなり（図１１）、伝達特性Ｈｒｓの最大振幅Ａは負のピークとなっている（図１２）。

このように、左右の伝達特性Ｈｌｓ、Ｈｒｓの信号波形が大きく異なると、左右のスピーカ５からの音の到達時間がずれてしまう。よって、頭外定位処理部１０において畳み込み演算を行った場合、左右のバランスの良い音場を得ることができない場合がある。例えば、測定例４、測定例５の伝達特性Ｈｌｓ、Ｈｒｓが最大振幅を示すサンプル位置（または時刻）で揃えて切り出した伝達特性を図１３、図１４に示す。図１３は、測定例４の伝達特性Ｈｌｓ、Ｈｒｓを示し、図１４は、測定例５の伝達特性Ｈｌｓ、Ｈｒｓを示している。

図１３、図１４に示すように、左右の伝達特性Ｈｌｓ、Ｈｒｓの波形の形状が大きく異なる場合、左右のバランスの良い音場を得ることができなってしまうおそれがある。例えば、センターに定位すべきボーカル音像が左右に偏ってしまう。このように、異なるインパルス応答測定で得られた伝達特性から適切に切り出すことができない場合がある。すなわち、適切にフィルタを生成することができない場合がある。そこで、本実施の形態では、フィルタ生成装置２００が以下の処理を行うことで適切な切り出しを行っている。

フィルタ生成装置２００の処理装置２１０の構成について、図１５を用いて、説明する。図１５は、処理装置２１０の構成を示すブロック図である。処理装置２１０は、測定信号生成部２１１、収音信号取得部２１２、同期加算部２１３、直接音到達時刻探索部２１４、左右直接音判定部２１５、エラー訂正部２１６、及び波形切り出し部２１７を備えている。例えば、処理装置２１０は、パーソナルコンピュータ、スマートホン、タブレット端末などの情報処理装置であり、音声入力インターフェース（ＩＦ）と音声出力インターフェースを備えている。すなわち、処理装置２１０は、ステレオマイク２、及びステレオスピーカ５に接続される入出力端子を有する音響デバイスである。

測定信号生成部２１１は、Ｄ／Ａ変換器やアンプなどを備えており、測定信号を生成する。測定信号生成部２１１は、生成した測定信号をステレオスピーカ５にそれぞれ出力する。左スピーカ５Ｌと右スピーカ５Ｒがそれぞれ伝達特性を測定するための測定信号を出力する。左スピーカ５Ｌによるインパルス応答測定と、右スピーカ５Ｒによるインパルス応答測定がそれぞれ行われる。

ステレオマイク２の左マイク２Ｌ、右マイク２Ｒがそれぞれ測定信号を収音し、収音信号を処理装置２１０に出力する。収音信号取得部２１２は、左マイク２Ｌ、右マイク２Ｒからの収音信号を取得する。なお、収音信号取得部２１２は、Ａ／Ｄ変換器、及びアンプなどを有しており、左マイク２Ｌ、右マイク２Ｒからの収音信号をＡ／Ｄ変換、増幅などしてもよい。収音信号取得部２１２は、取得した収音信号を同期加算部２１３に出力する。

左スピーカ５Ｌの駆動により、左スピーカ５Ｌと左マイク２Ｌとの間の伝達特性Ｈｌｓに応じた第１の収音信号と、左スピーカ５Ｌと右マイク２Ｒとの間の伝達特性Ｈｌｏに応じた第２の収音信号が同時に取得される。また、右スピーカ５Ｒの駆動により、右スピーカ５Ｒと左マイク２Ｌとの間の伝達特性Ｈｒｏに応じた第３の収音信号と、右スピーカ５Ｒと右マイク２Ｒとの間の伝達特性Ｈｒｓに応じた第４の収音信号が同時に取得される。

同期加算部２１３は収音信号を同期加算する。同期加算は、複数回のインパルス応答測定により取得された収音信号を同期して、加算するものである。同期加算を行うことで、突発的な騒音の影響を軽減することができる。例えば、同期加算回数は１０回とすることができる。このように、同期加算部２１３は収音信号を同期加算することで、伝達特性Ｈｌｓ、Ｈｌｏ、Ｈｒｏ、Ｈｒｓを取得する。

次に、直接音到達時刻探索部２１４が、同期加算された伝達特性Ｈｌｓ、Ｈｒｓの直接音到達時刻を探索する。直接音とは、左のスピーカ５Ｌから左のマイク２Ｌに直接到達する音、及び、右のスピーカ５Ｒから右のマイク２Ｒに直接到達する音である。すなわち、直接音とは、壁、床、天井、外耳等の周囲の構造物で反射せずに、スピーカ５Ｌ、５Ｒからマイク２Ｌ、２Ｒに到達した音である。通常、直接音はマイク２Ｌ、２Ｒに最も早く到達する音である。直接音到達時刻は測定開始から直接音が到達するまでに経過した時間に相当する。

より具体的には、直接音到達時刻探索部２１４は、伝達特性Ｈｌｓ、Ｈｒｓの振幅が最大となる時刻に基づいて、直接音到達時刻を探索する。なお、直接音到達時刻探索部２１４における処理については後述する。直接音到達時刻探索部２１４は、探索した直接音到達時刻を左右直接音判定部２１５に出力する。

直接音到達時刻探索部２１４が探索した直接音到達時刻を用いて、左右直接音判定部２１５は、左右の直接音の振幅の符号が一致するか否かの判定を行う。例えば、左右直接音判定部２１５は、直接音到達時刻における伝達特性Ｈｌｓ、Ｈｒｓの振幅の符号が一致するか否かを判定する。さらに、左右直接音判定部２１５は、直接音到達時刻が一致するか否かを判定する。左右直接音判定部２１５は、判定結果をエラー訂正部２１６に出力する。

直接音到達時刻における伝達特性Ｈｌｓ、Ｈｒｓの振幅の符号が一致しない場合、エラー訂正部２１６は、切り出しタイミングを訂正する。そして、波形切り出し部２１７は、訂正された切り出しタイミングで伝達特性Ｈｌｓ、Ｈｌｏ、Ｈｒｏ、Ｈｒｓの波形を切り出す。所定のフィルタ長で切り出された伝達特性Ｈｌｓ、Ｈｌｏ、Ｈｒｏ、Ｈｒｓがフィルタとなる。すなわち、波形切り出し部２１７は、先頭位置をずらして伝達特性Ｈｌｓ、Ｈｌｏ、Ｈｒｏ、Ｈｒｓの波形を切り出す。直接音到達時刻における伝達特性Ｈｌｓ、Ｈｒｓの振幅の符号が一致する場合、波形切り出し部２１は、切り出しタイミングを訂正せずに、そのままのタイミングで切り出す。

具体的には、伝達特性Ｈｌｓ、Ｈｒｓの振幅の符号が異なる場合、エラー訂正部２１６は、伝達特性Ｈｌｓ、Ｈｒｓの直接音到達時刻を揃えるように、切り出しタイミングを訂正する。伝達特性Ｈｌｓ、Ｈｒｓの直接音が同じサンプル数に位置するように、伝達特性Ｈｌｓ、Ｈｌｏ、又は伝達特性Ｈｒｏ、Ｈｒｓのデータを移動する。すなわち、伝達特性Ｈｌｓ、Ｈｌｏと、伝達特性Ｈｒｏ、Ｈｒｓとで、切り出しの先頭サンプル数を異ならせている。

そして、波形切り出し部２１７は、切り出した伝達特性Ｈｌｓ、Ｈｌｏ、Ｈｒｏ、Ｈｒｓからフィルタを生成する。すなわち、波形切り出し部２１７は、伝達特性Ｈｌｓ、Ｈｌｏ、Ｈｒｏ、Ｈｒｓの振幅をフィルタ係数とすることで、フィルタを生成する。波形切り出し部２１７で生成された伝達特性Ｈｌｓ、Ｈｌｏ、Ｈｒｏ、Ｈｒｓがフィルタとして、図１に示す畳み込み演算部１１、１２、２１、２２に設定される。これにより、左右のバランスの良い音質で頭外定位されたオーディオをユーザＵが受聴することができる。

次に、処理装置２１０によるフィルタ生成方法について、図１６を用いて詳細に説明する。図１６は、処理装置２１０におけるフィルタ生成方法を示すフローチャートである。

まず、同期加算部２１３が収音信号を同期加算する（Ｓ１０１）。すなわち、同期加算部２１３は、伝達特性Ｈｌｓ、Ｈｌｏ、Ｈｒｏ、Ｈｒｓ毎に収音信号を同期加算する。これにより、突発的なノイズの影響を低減することができる。

次に、直接音到達時刻探索部２１４が伝達特性Ｈｌｓにおける直接音到達時刻Ｈｌｓ＿Ｆｉｒｓｔ＿ｉｄｘと、伝達特性Ｈｒｓにおける直接音到達時刻Ｈｒｓ＿Ｆｉｒｓｔ＿ｉｄｘとを取得する（Ｓ１０２）。

ここで、直接音到達時刻探索部２１４における直接音到達時刻の探索処理について、図１７を用いて詳細に説明する。図１７は、直接音到達時刻の探索処理を示すフローチャートである。なお、図１７は、伝達特性Ｈｌｓ、伝達特性Ｈｒｓのそれぞれに対して行われる処理を示している。すなわち、直接音到達時刻探索部２１４が、図１７に示す処理を伝達特性Ｈｌｓ、Ｈｒｓのそれぞれに対して実行することで、直接音到達時刻Ｈｌｓ＿ｆｉｒｓｔ＿ｉｄｘと、直接音到達時刻Ｈｌｓ＿ｆｉｒｓｔ＿ｉｄｘとをそれぞれ取得することができる。

まず、直接音到達時刻探索部２１４が、伝達特性の振幅の絶対値が最大となる時刻ｍａｘ＿ｉｄｘを取得する（Ｓ２０１）。すなわち、直接音到達時刻探索部２１４は、図９〜図１２に示したように最大振幅Ａを取る時刻を時刻ｍａｘ＿ｉｄｘと設定する。時刻ｍａｘ＿ｉｄｘは、測定開始からの時間に対応するものである。また、時刻ｍａｘ＿ｉｄｘ、及び後述する各種の時刻は測定開始からの絶対時間として表してもよいし、測定開始からのサンプル数として表してもよい。

次に、直接音到達時刻探索部２１４が時刻ｍａｘ＿ｉｄｘにおけるｄａｔａ［ｍａｘ＿ｉｄｘ］が０より大きいか否かを判定する（Ｓ２０２）。ｄａｔａ［ｍａｘ＿ｉｄｘ］は、ｍａｘ＿ｉｄｘにおける伝達特性の振幅の値である。すなわち、直接音到達時刻探索部２１４は、最大振幅が正のピークか負のピークであるかを判定する。ｄａｔａ［ｍａｘ＿ｉｄｘ］が負の場合（Ｓ２０２のＮＯ）、直接音到達時刻探索部２１４は、ｚｅｒｏ＿ｉｄｘ＝ｍａｘ＿ｉｄｘと設定する（Ｓ２０３）。図１２に示す振幅Ｈｒｓでは、最大振幅Ａが負であるため、ｍａｘ＿ｉｄｘ＝ｚｅｒｏ＿ｉｄｘとなる。

ここで、ｚｅｒｏ＿ｉｄｘは直接音到達時刻の探索範囲の基準となる時刻である。具体的には、時刻ｚｅｒｏ＿ｉｄｘは、探索範囲の終端に対応する。直接音到達時刻探索部２１４は、０〜ｚｅｒｏ＿ｉｄｘの範囲内で、直接音到達時刻を探索する。

ｄａｔａ［ｍａｘ＿ｉｄｘ］が正の場合（Ｓ２０２のＹＥＳ）、直接音到達時刻探索部２１４は、ｚｅｒｏ＿ｉｄｘ＜ｍａｘ＿ｉｄｘ、かつ、振幅が最後に負となる時刻ｚｅｒｏ＿ｉｄｘを取得する（Ｓ２０４）。すなわち、直接音到達時刻探索部２１４は、時刻ｍａｘ＿ｉｄｘの直前で振幅が負となる時刻をｚｅｒｏ＿ｉｄｘとして設定する。例えば、図９〜図１１に示す伝達特性では、最大振幅Ａが正であるため、時刻ｍａｘ＿ｉｄｘよりも前にｚｅｒｏ＿ｉｄｘが存在する。時刻ｍａｘ＿ｉｄｘの直前で、振幅が負となる時刻を探索範囲の終端としているが、探索範囲の終端はこれに限られるものではない。

ステップＳ２０３、又はＳ２０４において、ｚｅｒｏ＿ｉｄｘが設定されると、直接音到達時刻探索部２１４は、０〜ｚｅｒｏ＿ｉｄｘまでの極大点を取得する（Ｓ２０５）。すなわち、直接音到達時刻探索部２１４は、探索範囲０〜ｚｅｒｏ＿ｉｄｘにおいて、振幅の正のピークを抽出する。

直接音到達時刻探索部２１４は、極大点の個数が０より大きいか否かを判定する（Ｓ２０６）。すなわち、直接音到達時刻探索部２１４は、探索範囲０〜ｚｅｒｏ＿ｉｄｘにおいて、極大点（正のピーク）が存在するか否かを判定する。

極大点の個数が０以下の場合（Ｓ２０６のＮＯ）、すなわち、探索範囲０〜ｚｅｒｏ＿ｉｄｘに極大点が無い場合、直接音到達時刻探索部２１４は、ｆｉｒｓｔ＿ｉｄｘ＝ｍａｘ＿ｉｄｘとする。ｆｉｒｓｔ＿ｉｄｘは、直接音到達時刻である。例えば、図１１、図１２に示す伝達特性Ｈｌｓ、Ｈｒｓでは、０〜ｚｅｒｏ＿ｉｄｘの範囲に、極大点が存在しない。よって、直接音到達時刻探索部２１４は、直接音到達時刻ｆｉｒｓｔ＿ｉｄｘ＝ｍａｘ＿ｉｄｘとする。

極大点の個数が０より大きい場合（Ｓ２０６のＹＥＳ）、すなわち、探索範囲０〜ｚｅｒｏ＿ｉｄｘに極大点がある場合、直接音到達時刻探索部２１４は、極大点の振幅が（｜ｄａｔａ［ｍａｘ＿ｉｄｘ］｜／１５）よりも大きくなる最初の時刻を直接音到達時刻ｆｉｒｓｔ＿ｉｄｘとする（Ｓ２０８）。すなわち、探索範囲０〜ｚｅｒｏ＿ｉｄｘにおいて、最も早い時刻にある正のピークであって、閾値（ここでは、最大振幅の絶対値の１５分の１）よりも高いピークを直接音とする。例えば、図９、図１０に示す伝達特性では、０〜ｚｅｒｏ＿ｉｄｘの範囲に、極大点Ｃ、Ｄが存在する。そして、最初の極大点Ｃの振幅が、閾値よりも大きい。したがって、直接音到達時刻探索部２１４は、極大点Ｃの時刻を直接音到達時刻ｆｉｒｓｔ＿ｉｄｘに設定する。

ここで、極大点の振幅が小さいと、ノイズ等によるものであるおそれがある。すなわち、極大点が、ノイズによるものか、スピーカからの直接音によるものであるかを判別する必要がある。したがって、本実施の形態では、（ｄａｔａ［ｍａｘ＿ｉｄｘ］の絶対値）／１５を閾値として、閾値よりも大きい極大点を直接音としている。このように、直接音到達時刻探索部２１４は、最大振幅に応じて閾値を設定している。

そして、直接音到達時刻探索部２１４が、極大点の振幅と、閾値とを比較することで、極大点がノイズによるものか、直接音によるものかを判別している。すなわち、極大点の振幅が最大振幅の絶対値に対する所定の割合未満である場合、直接音到達時刻探索部２１４は、極大点をノイズと判別する。極大点の振幅が最大振幅の絶対値に対する所定の割合以上である場合、直接音到達時刻探索部２１４は、極大点を直接音と判別する。このようにすることで、ノイズの影響を除去できるため、直接音到達時刻を正確に探索することができる。

もちろん、ノイズを判別するための閾値は、上記の値に限られるものではなく、測定環境や測定信号に応じて適切な割合を設定することができる。また、最大振幅に関わらず、閾値を設定することも可能である。

このように、直接音到達時刻探索部２１４は、直接音到達時刻ｆｉｒｓｔ＿ｉｄｘを求めている。具体的には、直接音到達時刻探索部２１４は、振幅の絶対値が最大となる時刻ｍａｘ＿ｉｄｘよりも前において、振幅が極大点を取る時刻を直接音到達時刻ｆｉｒｓｔ＿ｉｄｘとする。すなわち、直接音到達時刻探索部２１４は、最大振幅よりも前において、最初にある正のピークを直接音と判定する。最大振幅よりも前に極大点が無い場合、最大振幅を直接音と判定する。直接音到達時刻探索部２１４は探索した直接音到達時刻ｆｉｒｓｔ＿ｉｄｘを左右直接音判定部２１５に出力する。

図１６の説明に戻る。上記のように、左右直接音判定部２１５が伝達特性Ｈｌｓ、Ｈｒｓの直接音到達時刻Ｈｌｓ＿ｆｉｒｓｔ＿ｉｄｘ、Ｈｒｓ＿ｆｉｒｓｔ＿ｉｄｘをそれぞれ取得する。そして、左右直接音判定部２１５は、伝達特性Ｈｌｓ、Ｈｒｓの直接音の振幅の積を求める（Ｓ１０３）。すなわち、左右直接音判定部２１５は、直接音到達時刻Ｈｌｓ＿ｆｉｒｓｔ＿ｉｄｘにおける伝達特性Ｈｌｓの振幅と、直接音到達時刻Ｈｒｓ＿ｆｉｒｓｔ＿ｉｄｘにおける伝達特性Ｈｒｏの振幅とを乗算し、ＨｌｓとＨｒｓの最大振幅の正負の符号がそろっているか否かを判定する。

次に、左右直接音判定部２１５は、（伝達特性Ｈｌｓ、Ｈｒｓの直接音の振幅の積）＞０であり、かつ、Ｈｌｓ＿ｆｉｒｓｔ＿ｉｄｘ＝Ｈｒｓ＿ｆｉｒｓｔ＿ｉｄｘとなるか否かを判定する（Ｓ１０４）。すなわち、左右直接音判定部２１５は、伝達特性Ｈｌｓ、Ｈｒｓの直接音到達時刻における振幅の符号が一致するか否かを判定する。さらに、左右直接音判定部２１５は、直接音到達時刻Ｈｌｓ＿ｆｉｒｓｔ＿ｉｄｘが直接音到達時刻Ｈｒｓ＿ｆｉｒｓｔ＿ｉｄｘと一致するか否かを判定する。

直接音到達時刻における振幅が同じ符号であり、かつＨｌｓ＿ｆｉｒｓｔ＿ｉｄｘが直接音到達時刻Ｈｒｓ＿ｆｉｒｓｔ＿ｉｄｘと一致する場合（Ｓ１０４のＹＥＳ）、エラー訂正部２１６は、直接音が同じ時刻となるように一方のデータを移動する（Ｓ１０６）。なお、伝達特性の移動が不要の場合は、データの移動量は０となる。例えば、ステップＳ１０４でＹＥＳと判定された場合、データの移動量が０となる。この場合、ステップＳ１０６を省略して、ステップＳ１０７に移行してもよい。そして、波形切り出し部２１７が、同じ時刻から伝達特性Ｈｌｓ、Ｈｌｏ、Ｈｒｏ、Ｈｒｓをフィルタ長で切り出す（Ｓ１０７）。

伝達特性Ｈｌｓ、Ｈｒｓの直接音の振幅の積が負である場合、又は、Ｈｌｓ＿ｆｉｒｓｔ＿ｉｄｘ＝Ｈｒｓ＿ｆｉｒｓｔ＿ｉｄｘとならない場合（Ｓ１０４のＮＯ）、エラー訂正部２１６が伝達特性Ｈｌｓ、Ｈｒｓの相互相関係数ｃｏｒｒを算出する（Ｓ１０５）。すなわち、左右の直接音到達時刻が揃っていないため、エラー訂正部２１６が切り出しタイミングを訂正する。そのため、エラー訂正部２１６が伝達特性Ｈｌｓ、Ｈｒｓの相互相関係数ｃｏｒｒを算出する。

そして、エラー訂正部２１６は、相互相関係数ｃｏｒｒに基づいて、直接音が同じ時刻となるよう、一方のデータを移動する（Ｓ１０６）。具体的には、直接音到達時刻Ｈｌｓ＿ｆｉｒｓｔ＿ｉｄｘが直接音到達時刻Ｈｒｓ＿ｆｉｒｓｔ＿ｉｄｘと一致するように、伝達特性Ｈｒｓ、Ｈｒｏのデータを移動する。ここで、伝達特性Ｈｒｓ、Ｈｒｏのデータの移動量は、相関が最も高くなるオフセット量に応じて決定される。このように、エラー訂正部２１６は、伝達特性Ｈｌｓ、Ｈｒｓの相関に基づいて、切り出しタイミングを訂正する。波形切り出し部２１７は、伝達特性Ｈｌｓ、Ｈｌｏ、Ｈｒｏ、Ｈｒｓをフィルタ長で切り出す（Ｓ１０７）

ここで、ステップＳ１０４〜ステップＳ１０７の処理の一例について、図１８を用いて説明する。図１８は、ステップＳ１０４〜ステップＳ１０７の処理の一例を示すフローチャートである。

まず、左右直接音判定部２１５が、ステップＳ１０４と同様に、左右音の判定を行う。すなわち、左右直接音判定部２１５が、伝達特性Ｈｌｓ、Ｈｒｓの直接音の振幅の積＞０であり、かつ、Ｈｌｓ＿ｆｉｒｓｔ＿ｉｄｘ＝Ｈｒｓ＿ｆｉｒｓｔ＿ｉｄｘとなるか否かを判定する（Ｓ３０１）。

伝達特性Ｈｌｓ、Ｈｒｓの直接音の振幅の積＞０であり、かつ、Ｈｌｓ＿ｆｉｒｓｔ＿ｉｄｘ＝Ｈｒｓ＿ｆｉｒｓｔ＿ｉｄｘとなっている場合（Ｓ３０１のＹＥＳ）、Ｈｌｓ＿ｆｉｒｓｔ＿ｉｄｘ＝Ｈｒｓ＿ｆｉｒｓｔ＿ｉｄｘが同じ時刻となるよう、エラー訂正部２１６が伝達特性Ｈｒｓ、Ｈｒｏのデータを移動する（Ｓ３０５）。なお、伝達特性の移動が不要の場合は、データの移動量は０となる。例えば、ステップＳ３０１でＹＥＳと判定された場合、データの移動量が０となる。この場合、ステップＳ３０５を省略して、ステップＳ３０６に移行してもよい。そして、波形切り出し部２１７が、同じ時刻からフィルタ長で伝達特性Ｈｌｓ、Ｈｌｏ、Ｈｒｏ、Ｈｒｓをフィルタ長で切り出す（Ｓ３０６）。すなわち、エラー訂正部２１６が、直接音到達時刻を揃えるように、伝達特性Ｈｒｏ、Ｈｒｓの切り出しタイミングを訂正する。そして、エラー訂正部２１６で訂正された切り出しタイミングで波形切り出し部２１７が伝達特性Ｈｌｓ、Ｈｌｏ、Ｈｒｏ、Ｈｒｓを切り出す。

伝達特性Ｈｌｓ、Ｈｒｓの直接音の振幅の積＜０の場合、又は、Ｈｌｓ＿ｆｉｒｓｔ＿ｉｄｘ＝Ｈｒｓ＿ｆｉｒｓｔ＿ｉｄｘとならない場合（Ｓ３０１のＮＯ）、エラー訂正部２１６は、伝達特性Ｈｌｓのｓｔａｒｔ＝（ｆｉｒｓｔ＿ｉｄｘ−２０）をオフセットとし、＋３０サンプルのデータを取得し、平均値、分散を算出する（Ｓ３０２）。すなわち、エラー訂正部２１６は、直接音到達時刻ｆｉｒｓｔ＿ｉｄｘの２０サンプル前を開始点ｓｔａｒｔとして連続する３０サンプル分のデータを抽出する。そして、エラー訂正部２１６は、抽出した３０サンプルの平均値、及び分散を算出する。平均値及び分散は、相互相関係数を標準化するために用いられるため、標準化が不要の場合は算出しなくてもよい。なお、抽出するサンプル数は３０サンプルに限られるものではなく、エラー訂正部２１６は、任意のサンプル数を抽出することができる。

そして、エラー訂正部２１６は、伝達特性Ｈｒｓの（ｓｔａｒｔ−１０）から（ｓｔａｒｔ＋１０）までオフセットを１ずつずらし、伝達特性Ｈｌｓとの相互相関係数ｃｏｒｒ［０］〜ｃｏｒｒ［１９］を取得する（Ｓ３０３）。なお、エラー訂正部２１６は、伝達特性Ｈｒｓの平均値、及び分散を求め、伝達特性Ｈｌｓ、Ｈｒｓの平均値及び分散を用いて、相互相関係数ｃｏｒｒの標準化を行うことが好ましい。

図１９を用いて、相互相関係数の求め方について説明する。図１９（ｂ）には、伝達特性Ｈｌｓ、並びに、伝達特性Ｈｌｓから抽出された３０サンプルが太枠Ｇで示されている。また、図１９（ａ）には、伝達特性Ｈｒｓ、並びに、（ｓｔａｒｔ−１０）をオフセットとした場合の３０サンプルが太枠Ｆで示されている。ｆｉｒｓｔ＿ｉｄｘ−２０＝ｓｔａｒｔであるため、図１９（ａ）では、ｆｉｒｓｔ＿ｉｄｘ−３０を先頭とする３０サンプルが太枠Ｆに含まれている。

また、図１９（ｃ）には、伝達特性Ｈｒｓ、並びに、（ｓｔａｒｔ＋１０）をオフセットとした場合の３０サンプルが太枠Ｈで示されている。ｆｉｒｓｔ＿ｉｄｘ−２０＝ｓｔａｒｔであるため、図１９（ａ）では、ｆｉｒｓｔ＿ｉｄｘ−１０を先頭とする３０サンプルが太枠Ｆに含まれている。太枠Ｆに含まれる３０サンプルと太枠Ｇに含まれる３０サンプルとの相互相関を算出することで、相互相関係数ｃｏｒｒ［０］が求められる。同様に、太枠Ｇと太枠Ｈとの相互相関を算出することで、相互相関係数ｃｏｒｒ［１９］が求められる。相互相関係数ｃｏｒｒが高いほど、伝達特性Ｈｌｓ、Ｈｒｓの相関が高くなる。

エラー訂正部２１６は、相互相関係数が最大値を取るｃｏｒｒ［ｃｍａｘ＿ｉｄｘ］を取得する（Ｓ３０４）。ここで、ｃｍａｘ＿ｉｄｘは、相互相関係数が最大値を取るオフセット量を相当する。すなわち、ｃｍａｘ＿ｉｄｘは、伝達特性Ｈｌｓと伝達特性Ｈｒｓの相関が最も大きい時のオフセット量を示す。

そして、エラー訂正部２１６は、ｃｍａｘ＿ｉｄｘに応じて、Ｈｌｓ＿ｆｉｒｓｔ＿ｉｄｘとＨｒｓ＿ｆｉｒｓｔ＿ｉｄｘが同じ時刻となるよう伝達特性Ｈｒｓ、Ｈｒｏのデータを移動する（Ｓ３０５）。エラー訂正部２１６は、オフセット量だけ、伝達特性Ｈｒｓ、Ｈｒｏのデータを移動する。これにより、伝達特性Ｈｌｓ、Ｈｒｓの直接音到達時刻が揃う。なお、ステップＳ３０５は、図１６のステップＳ１０６に相当する。また、エラー訂正部２１６は、伝達特性Ｈｒｓ、Ｈｒｏを移動するのではなく、伝達特性Ｈｌｓ、Ｈｌｏを移動してもよい。

そして、波形切り出し部２１７は、同じ時刻からフィルタ長で伝達特性Ｈｌｓ、Ｈｌｏ、Ｈｒｏ、Ｈｒｓを切り出す。このようにすることで、直接音到達時刻が揃ったフィルタを生成することができる。よって、左右のバランスの良好な音場を生成することができる。これにより、ボーカル音像をセンターに定位させることができる。

次に、図２０を用いて直接音到達時刻を揃える意義について説明する。図２０（ａ）は、直接音到達時刻を揃える前の伝達特性Ｈｌｓ、Ｈｌｏを示す図である。図２０（ｂ）は、伝達特性Ｈｒｓ、Ｈｒｏを示す図である。図２０（ｃ）は、直接音到達時刻を揃えた後の伝達特性Ｈｌｓ、Ｈｌｏを示す図である。図２０において、横軸がサンプル数であり、縦軸が振幅となっている。サンプル数は測定開始からの時間に対応し、測定開始時刻をサンプル数０としている。

例えば、左スピーカ５Ｌからのインパルス応答測定と右スピーカ５Ｒからのインパルス応答測定で、音響デバイスでの遅延量が異なる場合がある。この場合、図２０（ｂ）に示す伝達特性Ｈｒｓ、Ｈｒｏに比べて、図２０（ａ）に示す伝達特性Ｈｌｓ、Ｈｌｏの直接音到達時刻が遅れてしまう。このような場合、直接音到達時刻のタイミングを揃えずに、伝達特性Ｈｌｓ、Ｈｌｏ、Ｈｒｏ、Ｈｒｓを切り出すと、左右のバランスが悪い音場が生成されてしまう。そこで、図２０（ｃ）のように、処理装置２１０が、相関に基づいて、伝達特性Ｈｌｓ、Ｈｌｏを移動している。これにより、伝達特性Ｈｌｓ、Ｈｒｓの直接音到達時刻を揃えることができる。

そして、処理装置２１０は、直接音到達時刻を揃えて伝達特性を切り出すことで、フィルタを生成している。すなわち、波形切り出し部２１７が、直接音到達時刻が一致するように揃えられた伝達特性を切り出することで、フィルタを生成している。よって、左右のバランスが良好な音場を再生することができる。

本実施の形態では、左右直接音判定部２１５が直接音の符号が一致しているか否かを判定する。左右直接音判定部２１５の判定結果に応じて、エラー訂正部２１６がエラー訂正を行っている。具体的には、直接音の符号が一致していない場合、又は、直接音到達時刻が一致していない場合に、エラー訂正部２１６が相互相関係数に基づいて、エラー訂正を行っている。直接音の符号が一致しており、かつ、直接音到達時刻が一致している場合は、エラー訂正部２１６が相互相関係数に基づくエラー訂正を実行しない。エラー訂正部２１６がエラー訂正を行う頻度は少ないため、不要な計算処理を省略することができる。すなわち、直接音の符号が一致しており、かつ、直接音到達時刻が一致している場合は、エラー訂正部２１６が総合相関係数を算出する必要がなくなる。よって、計算処理時間を短縮することができる。

通常、エラー訂正部２１６によるエラー訂正を行わなくてよい。しかしながら、左右のスピーカ５Ｌ、５Ｒの特性が異なっていたり、周囲の反射の状況が左右で大きく異なっていたりする場合がある。あるいは、左耳９Ｌ、右耳９Ｒでマイク２Ｌ、２Ｒの位置がずれていることもある。また、音響デバイスの遅延量が異なることもある。このような場合、測定信号を適切に収音することができず、左右でタイミングがずれることがある。本実施の形態では、エラー訂正部２１６がエラー訂正を行うことで、適切にフィルタを生成することができる。よって、左右のバランスのよい音場を再生することができうる。

また、直接音到達時刻探索部２１４が直接音到達時刻を探索している。具体的には、直接音到達時刻探索部２１４は、最大振幅となる時刻よりも前において、振幅が極大点を取る時刻を直接音到達時刻としている。さらに、直接音到達時刻探索部２１４は、最大振幅となる時刻よりも前において、極大点が無い場合に、最大振幅となる時刻を直接音到達時刻としている。このようにすることで、適切に直接音到達時刻を探索することができる。そして、直接音到達時刻に基づいて伝達特性を切り出すことで、より適切にフィルタを生成することができる。

左右直接音判定部２１５が、直接音到達時刻における伝達特性Ｈｌｓ、Ｈｒｓの振幅の符号が一致しているか否かを判定している。そして、符号が異なっている場合、エラー訂正部２１６が切り出しタイミングを訂正している。このようにすることで、適切に切り出しタイミングを調整することができる。さらに、左右直接音判定部２１５が、伝達特性Ｈｌｓ、Ｈｒｓの直接音到達時刻が一致しているか否かを判定している。そして、伝達特性Ｈｌｓ、Ｈｒｓの直接音到達時刻が一致していない場合に、エラー訂正部２１６が切り出しタイミングを訂正している。このようにすることで、適切に切り出しタイミングを調整することができる。

直接音到達時刻における伝達特性Ｈｌｓ、Ｈｒｓの振幅の符号が一致し、かつ、伝達特性Ｈｌｓ、Ｈｒｓの直接音到達時刻が一致している場合は、伝達特性の移動量は０となる。この場合、エラー訂正部２１６は切り出しタイミングを訂正する処理を省略してもよい。具体的には、ステップＳ１０４がＹＥＳの場合、ステップＳ１０６を省略することができる。あるいは、ステップＳ３０１がＹＥＳの場合、ステップＳ３０５を省略することができる。このようにすることで、不要な処理を省き、計算時間を短縮することができる。

エラー訂正部２１６は、伝達特性Ｈｌｓ、Ｈｒｓの相関に基づいて、切り出しタイミングを訂正することが好ましい。このようにすることで、直接音到達時刻を適切に揃えることが可能となる。よって、左右のバランスの良好な音場を再生することができる。

なお、上記の実施形態では、音像定位処理装置として、ヘッドホンを用いて頭外に音像を定位する頭外定位処理装置について説明したが、本実施の形態は頭外定位処理装置に限られるものではない。例えば、スピーカ５Ｌ、５Ｒからステレオ信号を再生することで、音像を定位させる音像定位処理装置に用いてもよい。すなわち、本実施の形態は、伝達特性を再生信号に畳み込む音像定位処理装置にて適用することが可能になる。例えば、バーチャルスピーカ、ニアスピーカサラウンド等における音像定位用フィルタを生成することも可能である。

上記信号処理のうちの一部又は全部は、コンピュータプログラムによって実行されてもよい。上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（ｔａｎｇｉｂｌｅ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ)、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ ＰＲＯＭ)、フラッシュＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は上記実施の形態に限られたものではなく、その要旨を逸脱しない範囲で種々変更可能であることは言うまでもない。

Ｕ ユーザ
１ 受聴者
２Ｌ 左マイク
２Ｒ 右マイク
５Ｌ 左スピーカ
５Ｒ 右スピーカ
９Ｌ 左耳
９Ｒ 右耳
１０ 頭外定位処理部
１１ 畳み込み演算部
１２ 畳み込み演算部
２１ 畳み込み演算部
２２ 畳み込み演算部
２４ 加算器
２５ 加算器
３０ 測定部
４１ フィルタ部
４２ フィルタ部
４３ ヘッドホン
１００ 頭外定位処理装置
２００ フィルタ生成装置
２１０ 処理装置
２１１ 測定信号生成部
２１２ 収音信号取得部
２１３ 同期加算部
２１４ 直接音到達時刻探索部
２１５ 左右直接音判定部
２１６ エラー訂正部
２１７ 波形切り出し部

Claims (11)

1. 左右のスピーカと、
   前記左右のスピーカから出力された測定信号を収音して、収音信号を取得する左右のマイクと、
   前記収音信号に基づいて、前記左右のスピーカから前記左右のマイクまでの伝達特性に応じたフィルタを生成するフィルタ生成部と、を備え、
   前記フィルタ生成部は、
   前記左のスピーカから前記左のマイクまでの第１の伝達特性と、前記右のスピーカから前記右のマイクまでの第２の伝達特性とのそれぞれにおいて、振幅の絶対値が最大となる時刻を用いて、直接音到達時刻を探索する探索部と、
   前記直接音到達時刻における前記第１及び第２の伝達特性の前記振幅の符号が一致するか否かを判定する判定部と、
   前記直接音到達時刻における前記第１及び第２の伝達特性の前記振幅の前記符号が異なる場合、前記第１の伝達特性または前記第２の伝達特性の切り出しタイミングを訂正する訂正部と、
   前記訂正部により訂正された切り出しタイミングで、前記第１の伝達特性または前記第２の伝達特性を切り出すことで、前記フィルタを生成する切り出し部と、を備えたフィルタ生成装置。
2. 前記探索部は、前記振幅の絶対値が最大となる時刻よりも前において、前記伝達特性が極大点を取る時刻を直接音到達時刻とすることを特徴とする請求項１に記載のフィルタ生成装置。
3. 前記探索部は、前記振幅の絶対値が最大となる時刻よりも前において、前記極大点が無い場合に、前記振幅の絶対値が最大となる時刻を直接音到達時刻とすることを特徴とする請求項２に記載のフィルタ生成装置。
4. 前記判定部が、前記第１及び第２の伝達特性の直接音到達時刻が一致しているか否かを判定し、
   前記第１及び第２の伝達特性の直接音到達時刻が一致していない場合に、前記訂正部が切り出しタイミングを訂正し、
   前記直接音到達時刻における前記第１及び第２の伝達特性の振幅の符号が一致し、かつ、前記第１及び第２の伝達特性の直接音到達時刻が一致している場合に、前記訂正部が前記切り出しタイミングを訂正しないことを特徴とする請求項１〜３のいずれか１項に記載のフィルタ生成装置。
5. 前記訂正部は、前記第１の伝達特性と前記第２の伝達特性の相関に基づいて、前記切り出しタイミングを訂正することを特徴とする請求項１〜４のいずれか１項に記載のフィルタ生成装置。
6. 左右のスピーカと、左右のマイクとの間に伝達特性を用いてフィルタを生成するフィルタ生成方法であって、
   前記左のスピーカから前記左のマイクまでの第１の伝達特性と、前記右のスピーカから前記右のマイクまでの第２の伝達特性とのそれぞれにおいて、振幅の絶対値が最大となる時刻を用いて、直接音到達時刻を探索する探索ステップと、
   前記直接音到達時刻における前記第１及び第２の伝達特性の振幅の符号が一致するか否かを判定する判定ステップと、
   前記直接音到達時刻における前記第１及び第２の伝達特性の前記振幅の前記符号が異なる場合、前記第１の伝達特性または前記第２の伝達特性の切り出しタイミングを訂正する訂正ステップと、
   前記訂正された切り出しタイミングで、前記第１の伝達特性または前記第２の伝達特性を切り出すことで、前記フィルタを生成するステップと、を備えたフィルタ生成方法。
7. 前記探索ステップでは、前記振幅の絶対値が最大となる時刻よりも前において、前記振幅が極大点を取る時刻を直接音到達時刻とすることを特徴とする請求項６に記載のフィルタ生成方法。
8. 前記探索ステップでは、前記振幅の絶対値が最大となる時刻よりも前において、前記極大点が無い場合に、前記振幅の絶対値が最大となる時刻を直接音到達時刻とすることを特徴とする請求項７に記載のフィルタ生成方法。
9. 前記判定ステップでは、前記第１及び第２の伝達特性の直接音到達時刻が一致しているか否かを判定し、
   前記第１及び第２の伝達特性の直接音到達時刻が一致していない場合に、前記切り出しタイミングを訂正し、
   前記直接音到達時刻における前記第１及び第２の伝達特性の振幅の符号が一致し、かつ、前記第１及び第２の伝達特性の直接音到達時刻が一致している場合に、前記切り出しタイミングを訂正しないことを特徴とする請求項６〜８のいずれか１項に記載のフィルタ生成方法。
10. 前記訂正ステップでは、前記第１の伝達特性と前記第２の伝達特性の相関に基づいて、前記切り出しタイミングを訂正することを特徴とする請求項６〜９のいずれか１項に記載のフィルタ生成方法。
11. 請求項６〜１０のいずれか１項のフィルタ生成方法でフィルタを生成するステップと
    前記フィルタを、再生信号に畳み込むステップを備える音像定位処理方法。

Images