フィルタを用いた音像定位処理の概要について説明する。本実施形態にかかる頭外定位処理は、空間音響伝達特性と外耳道伝達特性を用いて頭外定位処理を行うものである。空間音響伝達特性は、スピーカなどの音源から外耳道までの伝達特性である。外耳道伝達特性は、ヘッドホン又はイヤホンのスピーカユニットから鼓膜までの伝達特性であり、ヘッドホン特性ともいう。本実施形態では、ヘッドホン又はイヤホンを装着した状態での外耳道伝達特性を測定し、それらの測定データを用いてフィルタを生成する処理に特徴を有するものである。
本実施の形態にかかる頭外定位処理は、パーソナルコンピュータ、スマートホン、タブレットPCなどのユーザ端末で実行される。ユーザ端末は、プロセッサ等の処理手段、メモリやハードディスクなどの記憶手段、液晶モニタ等の表示手段、タッチパネル、ボタン、キーボード、マウスなどの入力手段を有する情報処理装置である。ユーザ端末は、データを送受信する通信機能を有していてもよい。さらに、ユーザ端末には、左右の出力ユニットを有する音声出力部(ヘッドホン又はイヤホン)が接続される。以下、音声出力部をヘッドホンとした場合の構成について例示する。
(頭外定位処理装置)
本実施の形態にかかる音場再生装置の一例である頭外定位処理装置100を図1に示す。図1は、頭外定位処理装置100のブロック図である。頭外定位処理装置100は、ヘッドホン43を装着するユーザUに対して音場を再生する。そのため、頭外定位処理装置100は、LchとRchのステレオ入力信号XL、XRについて、音像定位処理を行う。LchとRchのステレオ入力信号XL、XRは、CD(Compact Disc)プレイヤーなどから出力されるアナログのオーディオ再生信号、又は、mp3(MPEG Audio Layer-3)等のデジタルオーディオデータである。なお、オーディオ再生信号、又はデジタルオーディオデータをまとめて再生信号と称する。すなわち、LchとRchのステレオ入力信号XL、XRが再生信号となっている。
なお、頭外定位処理装置100は、物理的に単一な装置に限られるものではなく、一部の処理が異なる装置で行われてもよい。例えば、一部の処理がパソコンなどにより行われ、残りの処理がヘッドホン43に内蔵されたDSP(Digital Signal Processor)などにより行われてもよい。
頭外定位処理装置100は、頭外定位処理部10、フィルタ部41、フィルタ部42、及びヘッドホン43を備えている。頭外定位処理部10、フィルタ部41、及びフィルタ部42は、具体的にはプロセッサ等により実現可能である。
頭外定位処理部10は、畳み込み演算部11〜12、21〜22、及び加算器24、25を備えている。畳み込み演算部11〜12、21〜22は、空間音響伝達特性を用いた畳み込み処理を行う。頭外定位処理部10には、CDプレイヤーなどからのステレオ入力信号XL、XRが入力される。頭外定位処理部10には、空間音響伝達特性が設定されている。頭外定位処理部10は、各chのステレオ入力信号XL、XRに対し、空間音響伝達特性のフィルタ(以下、空間音響フィルタとも称する)を畳み込む。空間音響伝達特性は被測定者の頭部や耳介で測定した頭部伝達関数HRTFでもよいし、ダミーヘッドまたは第三者の頭部伝達関数であってもよい。
4つの空間音響伝達特性Hls、Hlo、Hro、Hrsを1セットとしたものを空間音響伝達関数とする。畳み込み演算部11、12、21、22で畳み込みに用いられるデータが空間音響フィルタとなる。空間音響伝達特性Hls、Hlo、Hro、Hrsを所定のフィルタ長で切り出すことで、空間音響フィルタが生成される。
空間音響伝達特性Hls、Hlo、Hro、Hrsのそれぞれは、インパルス応答測定などにより、事前に取得されている。例えば、ユーザUが左右の耳にマイクをそれぞれ装着する。ユーザUの前方に配置された左右のスピーカが、インパルス応答測定を行うための、インパルス音をそれぞれ出力する。そして、スピーカから出力されたインパルス音等の測定信号をマイクで収音する。マイクでの収音信号に基づいて、空間音響伝達特性Hls、Hlo、Hro、Hrsが取得される。左スピーカと左マイクとの間の空間音響伝達特性Hls、左スピーカと右マイクとの間の空間音響伝達特性Hlo、右スピーカと左マイクとの間の空間音響伝達特性Hro、右スピーカと右マイクとの間の空間音響伝達特性Hrsが測定される。
そして、畳み込み演算部11は、Lchのステレオ入力信号XLに対して空間音響伝達特性Hlsに応じた空間音響フィルタを畳み込む。畳み込み演算部11は、畳み込み演算データを加算器24に出力する。畳み込み演算部21は、Rchのステレオ入力信号XRに対して空間音響伝達特性Hroに応じた空間音響フィルタを畳み込む。畳み込み演算部21は、畳み込み演算データを加算器24に出力する。加算器24は2つの畳み込み演算データを加算して、フィルタ部41に出力する。
畳み込み演算部12は、Lchのステレオ入力信号XLに対して空間音響伝達特性Hloに応じた空間音響フィルタを畳み込む。畳み込み演算部12は、畳み込み演算データを、加算器25に出力する。畳み込み演算部22は、Rchのステレオ入力信号XRに対して空間音響伝達特性Hrsに応じた空間音響フィルタを畳み込む。畳み込み演算部22は、畳み込み演算データを、加算器25に出力する。加算器25は2つの畳み込み演算データを加算して、フィルタ部42に出力する。
フィルタ部41、42にはヘッドホン特性(ヘッドホンのスピーカユニットとマイク間の特性)をキャンセルする逆フィルタが設定されている。そして、頭外定位処理部10での処理が施された再生信号(畳み込み演算信号)に逆フィルタを畳み込む。フィルタ部41で加算器24からのLch信号に対して、Lch側のヘッドホン特性の逆フィルタを畳み込む。同様に、フィルタ部42は加算器25からのRch信号に対して、Rch側のヘッドホン特性の逆フィルタを畳み込む。逆フィルタは、ヘッドホン43を装着した場合に、ヘッドホンユニットからマイクまでのヘッドホン特性をキャンセルする。マイクは、外耳道入口から鼓膜までの間ならばどこに配置してもよい。逆フィルタは、後述するように、ユーザU本人の特性の測定結果から算出されている。
フィルタ部41は、処理されたLch信号YLをヘッドホン43の左ユニット43Lに出力する。フィルタ部42は、処理されたRch信号YRをヘッドホン43の右ユニット43Rに出力する。ユーザUは、ヘッドホン43を装着している。ヘッドホン43は、Lch信号YLとRch信号YR(以下、Lch信号YLとRch信号をまとめてステレオ信号ともいう)をユーザUに向けて出力する。これにより、ユーザUの頭外に定位された音像を再生することができる。
このように、頭外定位処理装置100は、空間音響伝達特性Hls、Hlo、Hro、Hrsに応じた空間音響フィルタと、ヘッドホン特性の逆フィルタを用いて、頭外定位処理を行っている。以下の説明において、空間音響伝達特性Hls、Hlo、Hro、Hrsに応じた空間音響フィルタと、ヘッドホン特性の逆フィルタとをまとめて頭外定位処理フィルタとする。2chのステレオ再生信号の場合、頭外定位フィルタは、4つの空間音響フィルタと、2つの逆フィルタとから構成されている。そして、頭外定位処理装置100は、ステレオ再生信号に対して合計6個の頭外定位フィルタを用いて畳み込み演算処理を行うことで、頭外定位処理を実行する。頭外定位フィルタは、ユーザU個人の測定に基づくものであることが好ましい。例えば,ユーザUの耳に装着されたマイクが収音した収音信号に基づいて、頭外定位フィルタが設定されている。
このように空間音響フィルタと、ヘッドホン特性の逆フィルタはオーディオ信号用のフィルタである。これらのフィルタが再生信号(ステレオ入力信号XL、XR)に畳み込まれることで、頭外定位処理装置100が、頭外定位処理を実行する。
(外耳道伝達特性の測定装置)
次に、逆フィルタを生成するために、外耳道伝達特性を測定する測定装置200について、図2を用いて説明する。図2は、被測定者1に対して外耳道伝達特性を測定するための構成を示している。測定装置200は、マイクユニット2と、ヘッドホン43と、処理装置201と、を備えている。なお、ここでは、被測定者1は、図1のユーザUと同一人物となっている。
処理装置201には、マイクユニット2と、ヘッドホン43と、が接続されている。なお、マイクユニット2は、ヘッドホン43に脱着可能に取り付けられていてもよい。マイクユニット2は、左マイク2Lと、右マイク2Rとを備えている。左マイク2Lは、被測定者1の左耳9Lに装着される。右マイク2Rは、被測定者1の右耳9Rに装着される。処理装置201は、頭外定位処理装置100と同じ処理装置であってもよく、異なる処理装置であってよい。以下の説明では、頭外定位処理装置100と処理装置201が同じ装置であるとして説明する。
ヘッドホン43は、ヘッドホンバンド43Bと、左ユニット43Lと、右ユニット43Rとを、有している。左ユニット43Lと、右ユニット43Rとはそれぞれ、左右の耳9L、9Rに対して音を出力する出力ユニットである。ヘッドホンバンド43Bは、左ユニット43Lと右ユニット43Rとを連結する。左ユニット43Lは被測定者1の左耳9Lに向かって音を出力する。右ユニット43Rは被測定者1の右耳9Rに向かって音を出力する。ヘッドホン43は密閉型、開放型、半開放型、または半密閉型等であり、ヘッドホンの種類を問わない。マイクユニット2が被測定者1に装着された状態で、被測定者1がヘッドホン43を装着する。すなわち、左マイク2L、右マイク2Rが装着された左耳9L、右耳9Rにヘッドホン43の左ユニット43L、右ユニット43Rがそれぞれ装着される。ヘッドホンバンド43Bは、左ユニット43Lと右ユニット43Rとをそれぞれ左耳9L、右耳9Rに押し付ける付勢力を発生する。
左マイク2Lは、ヘッドホン43の左ユニット43Lから出力された音を収音する。右マイク2Rは、ヘッドホン43の右ユニット43Rから出力された音を収音する。左マイク2L、及び右マイク2Rのマイク部は、外耳孔近傍の収音位置に配置される。左マイク2L、及び右マイク2Rは、ヘッドホン43に干渉しないように構成されている。すなわち、左マイク2L、及び右マイク2Rは左耳9L、右耳9Rの適切な位置に配置された状態で、被測定者1がヘッドホン43を装着することができる。
処理装置201は、ヘッドホン43に対して測定信号を出力する。これにより、ヘッドホン43はインパルス音などを発生する。具体的には、左ユニット43Lから出力されたインパルス音を左マイク2Lで測定する。右ユニット43Rから出力されたインパルス音を右マイク2Rで測定する。測定信号の出力時に、マイク2L、2Rが収音信号を取得することで、インパルス応答測定が実施される。
処理装置201は、インパルス応答測定に基づく収音信号をメモリなどに記憶する。これにより、左ユニット43Lと左マイク2Lとの間の伝達特性(すなわち、左耳の外耳道伝達特性)と、右ユニット43Rと右マイク2Rとの間の伝達特性(すなわち、右耳の外耳道伝達特性)が取得される。左マイク2Lで取得された左耳の外耳道伝達特性をLch(左ch)の外耳道伝達特性とし、右マイク2Rで取得された右耳の外耳道伝達特性をRch(右ch)の外耳道伝達特性とする。処理装置201が伝達特性の測定データを所定のフィルタ長で切り出すことで、フィルタ係数が求められる。処理装置201は、フィルタ係数から外耳道伝達特性(ヘッドホン特性)を打ち消すような逆フィルタを算出する。
処理装置201は、伝達特性の測定データをそれぞれ記憶するメモリなどを有している。なお、処理装置201は、外耳道伝達特性を測定するための測定信号として、インパルス信号やTSP(Time Stretched Pulse)信号等を発生する。測定信号はインパルス音等の測定音を含んでいる。
(外耳道伝達特性の補正)
本実施の形態にかかる頭外定位処理装置100は、ヘッドホン43の装着状態に応じて、外耳道伝達特性を補正する。そして、頭外定位処理装置100が、補正後の外耳道伝達特性に基づいて、逆フィルタを算出している。このようにすることで、頭外定位処理装置100が、ヘッドホン装着状態に適応した逆フィルタを用いて、頭外定位処理することができる。
図3を用いて、外耳道伝達特性の補正処理について説明する。図3は、外耳道伝達特性を補正するための構成を示す図である。図3では、説明の簡略化のため、左ユニット43Lのみを示しているが、右ユニット43Rについても同様の構成となっている。従って、右ユニット43Rに関する説明を適宜省略する。
頭外定位処理装置100は、測定信号生成部111と、D/Aコンバータ112と、A/Dコンバータ121と、参照信号取得部122と、A/Dコンバータ131と、ECTF取得部132と、メモリ140と、変換関数算出部151と、補正部152と、逆フィルタ生成部153と、を備えている。メモリ140は、第1の記憶部141と、第2の記憶部142と、第3の記憶部143と、を備えている。
左ユニット43Lは、ハウジング45と、ヘッドホンスピーカ46と、内蔵マイク48とを備えている。ハウジング45は、耳を覆うイヤーカップを備えている。ハウジング45には、ヘッドホンスピーカ46と、内蔵マイク48とが設けられている。ヘッドホンスピーカ46は、磁器回路や振動板等を有しており、ユーザUの左耳に対して音を出力する。
内蔵マイク48は、左ユニット43Lに内蔵されている。内蔵マイク48は、ハウジング45で覆われた空間に配置されている。内蔵マイク48は、ヘッドホンスピーカ46から出力された音を収音する。内蔵マイク48で収音した信号を参照用収音信号とする。つまり、内蔵マイク48は、参照用収音信号を収音するための参照用マイクである。内蔵マイク48と、ヘッドホンスピーカ46は、ハウジング45に固定されている。よって、ヘッドホンスピーカ46に対する内蔵マイク48の位置は一定となる。
なお、ヘッドホン43はBluetooth(登録商標)等の無線通信を用いたワイヤレスタイプであってもよい。さらに、ヘッドホン43は、一部の処理を実施するDSPを備えていてもよい。ヘッドホン43のDSP等が図3に示すブロックの一部、又は全ての処理を行ってもよい。例えば、D/Aコンバータ112、A/Dコンバータ121、A/Dコンバータ131等がヘッドホン43に内蔵されていてもよい。
さらに、左耳9L(図3では不図示)には、外耳道伝達特性を測定するための左マイク2Lが配置されている。左マイク2Lは、図2に示したように、外耳道伝達特性を測定するための測定用マイクである。左マイク2Lは左耳9Lに対して脱着可能に設けられている。外耳道伝達特性の測定時には、左耳9Lに左マイク2Lが装着される。また、ヘッドホン43により音楽を頭外定位受聴する時(以下、単に受聴時とする)、左マイク2Lは、左耳9Lから取り外される。なお、左マイク2Lは、左ユニット43Lに脱着可能に取り付けられていてもよく、左ユニット43Lとは独立した構成となっていてもよい。例えば、左マイク2Lは、左耳9Lに直接取り付けられていてもよい。
外耳道伝達特性の測定時には、左耳9Lに左マイク2Lを装着した装着状態となり、この状態を測定状態とする。ヘッドホン43により音楽を頭外定位受聴する受聴時には、左耳9Lから左マイク2Lを取り外した状態を非装着状態となり、この状態を受聴状態とする。
測定信号生成部111は、測定信号を生成する。測定信号生成部111で生成された測定信号は、D/Aコンバータ112でD/A変換されて、ヘッドホンスピーカ46に出力される。ヘッドホンスピーカ46が伝達特性を測定するための測定信号を出力する。
測定状態において、マイク2Lは、ヘッドホンスピーカ46からの測定信号を収音する。マイク2Lで収音された収音信号(特性用収音信号ともいう)は、A/Dコンバータ131でA/D変換される。A/D変換された特性用収音信号は、ECTF取得部132に出力される。なお、インパルス応答測定を複数回行って、特性用収音信号を同期加算してもよい。
ECTF取得部132は、特性用収音信号に基づいて、外耳道伝達特性(ECTF)を取得する。例えば、ECTF取得部132は、FFT(高速フーリエ変換)により、時間領域の特性用収音信号から周波数領域の外耳道伝達特性を算出する。これにより、外耳道伝達特性のパワー特性(パワースペクトル)と、位相特性(位相スペクトル)が生成される。なお、パワースペクトルの代わりに振幅スペクトルを生成してもよい。なお、ECTF取得部132は、離散フーリエ変換や離散コサイン変換等により、特性用収音信号を周波数領域のデータ(周波数特性)に変換することができる。
測定状態、及び、受聴状態の両方で、内蔵マイク48は、ヘッドホンスピーカ46からの測定信号を収音する。内蔵マイク48で収音された収音信号(参照用収音信号ともいう)は、A/Dコンバータ121でA/D変換される。A/D変換された参照用収音信号は、参照信号取得部122に出力される。具体的には、受聴者Uが左マイク2Lを装着した測定状態と、装着していない受聴状態との両方で、インパルス応答測定が実施される。なお、インパルス応答測定を複数回行って、参照用収音信号を同期加算してもよい。
参照信号取得部122は、参照用収音信号に基づいて、参照信号を取得する。例えば、参照信号取得部122は、FFT(高速フーリエ変換)により、時間領域の参照用収音信号から周波数領域の参照信号を算出する。これにより、参照用収音信号のパワー特性(パワースペクトル)と、位相特性(位相スペクトル)が生成される。なお、パワースペクトルの代わりに振幅スペクトルを生成してもよい。なお、参照信号取得部122は、離散フーリエ変換や離散コサイン変換等により、参照用収音信号を周波数領域のデータ(周波数特性)に変換することができる。
ここで、測定状態において、内蔵マイク48で収音された参照用収音信号を第1の参照用収音信号とする。第1の参照用収音信号に基づいて取得された参照信号を第1の参照信号とする。第1の参照用収音信号は、特性用収音信号とは、実質的に同時に収音される。つまり、同じインパルス応答測定での測定された第1の参照用収音信号は、特性用収音信号に基づいて、第1の参照信号と外耳道伝達特性とが取得される。
受聴状態において、内蔵マイク48で収音された参照用収音信号を第2の参照用収音信号とする。第2の参照用収音信号に基づいて取得された参照信号を第2の参照信号とする。第1の参照信号と第2の参照信号は、ヘッドホン43の装着状態に応じて変化する信号である。換言すると、第1の参照信号と第2の参照信号との差が、ヘッドホン43の装着状態の違いに相当する。
メモリ140は、第1の記憶部141と、第2の記憶部142と、第3の記憶部143とを備えている。第1の記憶部141は、第1の参照信号を記憶する。第2の記憶部142は、第2の参照信号を記憶する。第3の記憶部143は、外耳道伝達特性を記憶する。第1の記憶部141、第2の記憶部142、及び第3の記憶部143は、それぞれメモリ140において静的に確保しておいてもよく、任意の領域を動的に確保してもよい。
具体的には、第3の記憶部143は、外耳道伝達特性のパワースペクトル、及び位相スペクトルを記憶する。第1の記憶部141は、第1の参照信号のパワースペクトルを記憶する。第2の記憶部142は、第2の参照信号のパワースペクトルを記憶する。第1の記憶部141、及び第2の記憶部142は、それぞれ参照信号の位相スペクトルを記憶していてもよく、記憶していなくてもよい。
第1の記憶部141と、第2の記憶部142と、第3の記憶部143とは、物理的に単一なメモリ装置であってもよく、異なる装置であってもよい。例えば、1つのメモリ140が、外耳道伝達特性、第1の参照信号、及び第2の参照信号を記憶していてもよい。あるは、2つ以上のメモリに分けて、外耳道伝達特性、第1の参照信号、及び第2の参照信号が記憶されていてもよい。
変換関数算出部151は、第1の記憶部141、及び第2の記憶部142から第1の参照信号と第2の参照信号を読み出す。そして、変換関数算出部151は、第1の参照信号と第2の参照信号とに基づいて、周波数特性の変換関数を算出する。変換関数算出部151は、2つのパワースペクトルに基づいて、変換関数を算出している。つまり、変換関数算出部151は、2つの参照信号のパワースペクトルを比較することで、変換関数を算出している。
補正部152は、第3の記憶部143から外耳道伝達特性を読み出す。そして、補正部152は、変換関数を用いて、外耳道伝達特性を補正する。補正部152は、外耳道伝達特性のパワースペクトルを補正している。ここでは、補正部152は、パワースペクトルのみを補正しており、位相スペクトルについては補正していないが、位相スペクトルについて補正してもよい。
逆フィルタ生成部153は、補正された外耳道伝達特性(パワースペクトル)を用いて、逆フィルタを算出する。具体的には、逆フィルタ生成部153は、逆離散フーリエ変換により、補正後のパワースペクトル(振幅特性)と位相スペクトル(位相特性)とを用いて時間信号を算出する。逆フィルタ生成部153は、時間信号に基づいて、所定のフィルタ長の逆フィルタを算出する。
以下、逆フィルタを生成するための処理に基づいて、図4を用いて説明する。図4は、逆フィルタを生成するための処理を示すフローチャートである。
まず、測定状態での測定により、ECTF取得部132、及び参照信号取得部122が、外耳道伝達特性ECTF、及び第1の参照信号Ref1を取得する(S11)。つまり、ユーザUがマイク2L、及びヘッドホン43を装着した装着状態で、頭外定位処理装置100がインパルス応答測定を実施する。これにより、マイク2L、及び内蔵マイク48がそれぞれ収音信号を収音する。そして、特性用収音信号に基づいて、ECTF取得部132が外耳道伝達特性を算出する。参照用収音信号に基づいて、参照信号取得部122が第1の参照信号Ref1を算出する。
次に、受聴状態での測定により、参照信号取得部122が第2の参照信号Ref2を取得する(S12)。つまり、ユーザUがマイク2Lを取り外した状態で、ヘッドホン43を装着する。ユーザUがヘッドホン43のみを装着した状態で、インパルス応答測定が実施される。参照用収音信号に基づいて、参照信号取得部122が第2の参照信号Ref2を算出する。
次に、変換関数算出部151が、第1の参照信号Ref1と第2の参照信号Ref2から、変換関数を算出する(S13)。補正部152が、外耳道伝達特性ECTFに対して、変換関数を適用して、補正後の外耳道伝達特性(以下、補正特性AdECTFとする)を算出する(S14)。ここでは、対数パワースペクトルに対して、変換関数が適用されている。つまり、補正部152が、対数パワースペクトルのみを補正している。逆フィルタ生成部153が補正特性AdECTFから逆フィルタを算出する(S15)。
次に、S13〜S15の処理について、図5を用いて詳細に説明する。図5は、S13〜S15の処理の1例を示すフローチャートである。つまり、図5は、変換関数算出部151、補正部152、及び逆フィルタ生成部153における処理を示すフローチャートである。
まず、変換関数算出部151が外耳道伝達特性ECTF、第1の参照信号Ref1、第2の参照信号Ref2の対数パワースペクトルを計算し、正規化する(S21)。変換関数算出部151、補正部152、逆フィルタ生成部153は、正規化後のデータについて、以下の処理を実施する。
変換関数算出部151が第1の参照信号Ref1と第2の参照信号の対数パワースペクトルPSD1、PSD2において、極値EX1、EX2を求める(S22)。変換関数算出部151は、第1の参照信号Ref1の対数パワースペクトルPSD1の極値EX1と、第2の参照信号Ref2の対数パワースペクトルPSD2の極値EX2を求める。図6に極値EX1,EX2を示す。図6は、対数パワースペクトルPSD1、PSD2の一部を示す図であり、横軸が周波数(Hz)、縦軸がパワー(dB)となっている。
対数パワースペクトルPSD1、PSD2は通常、複数の極値を有している。ここで、対数パワースペクトルPSD1の複数の極値EX1を低周波数側から順にEX1−1、EX1−2、EX1−3、・・・・EX1−Nとする。同様に、対数パワースペクトルPSD2の複数の極値EX2を低周波数側から順にEX2−1、EX2−2、EX2−3、・・・・EX2−Nとする。なお、図6ではN=4となっており、極値EX1−1〜EX1−4と極値EX2−1〜EX2−4が図示されている。
変換関数算出部151は、極値EX1、EX2について、対応する極値間の変化ベクトルVを算出する(S23)。つまり、図6に示すように、変換関数算出部151は、極値EX1−1と極値EX2−1の変化ベクトルを変化ベクトルV1として求める。同様に、変換関数算出部151は、極値EX1−2と極値EX2−2の変化ベクトルを変化ベクトルV2として求める。変換関数算出部151は、変化ベクトルV1〜VNを算出する。図6の例では、N=4であるため、4つの変化ベクトルV1〜V4が図示されている。変化ベクトルVは、周波数と対数パワーとを要素とする2次元ベクトルである。
なお、対数パワースペクトルPSD1の極値EX1と、対数パワースペクトルPSD2の極値EX2の数が異なる場合、最も近い極値間の変化ベクトルVを求めればよい。例えば、対数パワースペクトルPSDの極値EX1の数が、対数パワースペクトルPSD2の極値EX2の数よりも小さい場合、対数パワースペクトルPSD1の極大値に最も近い対数パワースペクトルPSDの極大値をペアとして、変化ベクトルが求められる。同様に、対数パワースペクトルPSD1の極小値に最も近い対数パワースペクトルPSDの極小値をペアとして、変化ベクトルが求められる。
次に、変換関数算出部151は、変化ベクトルVに基づいて、変換関数を求める(S24)。ここでは、変換関数算出部151は、ベクトル変換手法を用いて、変換関数を算出している。具体的には、図7に示すように、対数パワースペクトルのグラフ内に格子状の制御点を配置する。そして、複数の変化ベクトルV1〜VNに基づいて、制御点のメッシュ構造を変化させる。
例えば、(5,5)にある制御点が、(6,6)に変化した場合、隣接した制御点がその変化に連動して移動するようにする。変換関数算出部151は、極値に近い制御点を変化ベクトルVに基づいて移動させる。変換関数算出部151は、複数の変化ベクトルV1〜VNに基づいて、対数パワースペクトルのグラフ上における全制御点の移動先を求める。つまり、変換関数算出部151は、変換関数(変換用メッシュ)を設定する。本ベクトル変換手法は、例えば、画像の形状変化や3次元データのモーフィング(Morphing)などに用いられるメッシュ構造と同等の手法であるため、詳細な説明は省略する。
補正部152は、外耳道伝達特性ECTFの対数パワースペクトルPSDに変換関数を適用する(S25)。ここでは、説明のため、外耳道伝達特性ECTFの対数パワースペクトルをPSDとし、位相スペクトルをASDとする。補正部152は、変換関数を用いて、対数パワースペクトルPSDを補正する。補正後の対数パワースペクトルをAdPSDとする。つまり、補正部152は、対数パワースペクトルPSDに、変換関数を適用することで、補正後の対数パワースペクトルAdPSDを算出する。なお、外耳道伝達特性ECTFを補正した補正特性AdECTFは、位相スペクトルASDと、補正後の対数パワースペクトルAdPSDとから構成される。
逆フィルタ生成部153は、補正後の対数パワースペクトルAdPSDに基づいて、逆フィルタを生成する(S26)。具体的には、逆フィルタ生成部153は、逆離散フーリエ変換又は逆離散コサイン変換等により、補正後の振幅特性(対数パワースペクトルAdPSD)と位相特性(位相スペクトルASD)から時間信号を算出する。この時間信号が補正された外耳道伝達特性AdECTF(以下、時間領域の補正特性AdECTFとも称する)を示す。逆フィルタ生成部153は、時間領域の補正特性AdECTFから、振幅と位相が反転する逆フィルタを生成する。逆フィルタの生成方法については公知の手法を用いることができるため説明を省略する。
この逆フィルタが図1で示したフィルタ部41に設定される。また、右ユニット43に対して同様の処理を行うことで求められた逆フィルタは、フィルタ部42に設定される。
図8に、外耳道伝達特性ECTFの対数パワースペクトルPSDと補正特性AdECTFの対数パワースペクトルAdPSDと、を示す。さらに、図8は、第1の参照信号Ref1の対数パワースペクトルPSD1と、第2の参照信号Ref2の対数パワースペクトルPSD2と、を示す。このように、対数パワースペクトルPSD1、PSD2に基づく変換関数を、対数パワースペクトルPSDに適用することで、補正後の対数パワースペクトルAdPSDを求めることができる。
対数パワースペクトルPSD1と対数パワースペクトルPSD2の差は、ヘッドホン43の装着状態の変化に対応する。補正部152が、対数パワースペクトルPSD1と対数パワースペクトルPSD2とに基づく変換関数を用いることで、適切に外耳道伝達特性を補正することができる。逆フィルタ生成部153が補正後の外耳道伝達特性から逆フィルタを算出している。従って、頭外定位処理装置100が精度の高い頭外定位処理を行うことができる。
具体的には、頭外定位受聴を行う前の事前測定として、測定状態でのインパルス応答測定を行う。これにより、メモリ140に、第1の参照信号Ref1、及び外耳道伝達特性ECTFを予め記憶させておくことができる。事前測定が終了したら、ユーザUがマイクユニット2を取り外す。そして、ユーザUがヘッドホン43を装着すると、受聴状態でのインパルス応答測定を実施して、第2の参照信号Ref2を取得する。ヘッドホン43を装着する毎に、参照信号取得部122が、第2の参照信号Ref2を取得することが好ましい。つまり、ユーザUがヘッドホン43を装着して、頭外定位受聴を行う前に、参照信号取得部122が、第2の参照信号Ref2を取得する。
上記の処理により、頭外定位処理装置100が、外耳道伝達特性ECTF、第1の参照信号Ref1、及び第2の参照信号Ref2から逆フィルタを算出する。このようにすることで、適応化された逆フィルタを用いて頭外定位処理を行うことができる。つまり、ヘッドホン43の装着状態が変化しても、頭外定位処理装置100が、適切な逆フィルタを用いて、頭外定位処理を行うことができる。なお、受聴時にヘッドホン43を装着したことを自動検知して、受聴状態での測定を自動で行ってもよく。あるいは、ユーザUが、タッチパネルなど操作部を操作して、受聴状態での測定を行うことを指示してもよい。
上記のように、変換関数算出部151は、パワースペクトルに基づいて、変換関数を算出している。したがって、第1の記憶部141、及び第2の記憶部142は、それぞれパワースペクトルのみを記憶していればよい。すなわち、第1の記憶部141と第2の記憶部142は、位相スペクトルを記憶していなくてもよい。あるいは、第1の記憶部141と第2の記憶部142は、時間領域の収音信号をそのまま参照信号として記憶していてもよい。同様に、第3の記憶部143は、時間領域の収音信号を外耳道伝達特性として記憶していてもよい。そして、変換関数算出部151が変換関数を算出する都度、離散フーリエ変換等を行って、参照信号及び外耳道伝達特性のパワースペクトルを算出するようにしてもよい。
なお、変換関数の算出方法は上記の手法に限定されるものではない。変換関数算出部151は、上記したベクトル変換に限らず、様々なパラメータや変換手法によって、変換関数を算出することができる。例えば、対数パワースペクトルPSD1と対数パワースペクトルPSD2の差に基づいて、変換関数を求めてもよい。
補正前の外耳道伝達特性ECTFの対数パワースペクトルPSD、第1の参照信号Ref1の対数パワースペクトルPSD1、第2の参照信号Ref2の対数パワースペクトルPSD2を用いて、補正後の外耳道伝達特性ECTFの対数パワースペクトルAdPSDを以下の式(1)を変換関数とすることができる。
AdPAD=PSD+(PSD2−PSD1) ・・・(1)
なお、図2の処理装置201は、頭外定位処理装置100と同じ装置であってもよく、異なる装置であってもよい。頭外定位処理装置100と、処理装置201が異なる装置である場合、処理装置201によって取得された外耳道伝達特性ECTF及び第1の参照信号Ref1を、頭外定位処理装置100が用いればよい。
具体的には、処理装置201は、外耳道伝達特性ECTFと、第1の参照信号Ref1を取得するために、測定状態でのインパルス応答測定を実施する。そして、処理装置201は、外耳道伝達特性ECTFと第1の参照信号Ref1を頭外定位処理装置100に無線又は有線で送信する。あるいは、外耳道伝達特性ECTFと第1の参照信号Ref1のデータの一部又は全部は外部に保存されていてもよい。処理装置201は、外耳道伝達特性ECTFと第1の参照信号Ref1を外部記憶装置やクラウドネットワークなどに記憶させる。頭外定位処理装置100は、外部記憶装置やクラウドネットワークなどに保存されているデータを読み取る、又は受信することで、外耳道伝達特性ECTFと第1の参照信号Ref1を取得する。この場合、メモリ140は、外耳道伝達特性ECTFと第1の参照信号Ref1と第2の参照信号Ref2とを一時的に記憶するメモリであってもよい。つまり、各データの使用後に、データを消去してもよい。
ヘッドホン43による受聴を行う前に、頭外定位処理装置100が受聴状態でのインパルス応答測定を行って、第2の参照信号Ref2を取得する。このように取得された外耳道伝達特性ECTF、第1の参照信号Ref1、第2の参照信号Ref2を用いて、頭外定位処理装置100が上記の補正処理を実施する。したがって、頭外定位処理装置100は、ヘッドホン装着状態に適応した逆フィルタを求めることができる。これにより、適切に頭外定位処理を行うことができ、高い精度での音像定位効果を得ることができる。
上記処理のうちの一部又は全部は、コンピュータプログラムによって実行されてもよい。上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non−transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD−ROM(Read Only Memory)、CD−R、CD−R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は上記実施の形態に限られたものではなく、その要旨を逸脱しない範囲で種々変更可能であることは言うまでもない。