JP4123376B2

JP4123376B2 - 信号処理装置およびバイノーラル再生方法

Info

Publication number: JP4123376B2
Application number: JP2004131067A
Authority: JP
Inventors: 健司中野
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2004-04-27
Filing date: 2004-04-27
Publication date: 2008-07-23
Anticipated expiration: 2024-04-27
Also published as: CN100586228C; US7715568B2; JP2005318061A; CN1691840A; US20050238176A1; KR20060047444A

Description

この発明は、バイノーラル再生用の信号処理装置、およびバイノーラル再生方法に関する。

音響空間に置かれた各音源からの音声を、その到来方向の情報を確保しつつ収録し、再生する方法として、バイノーラル方式がある。

バイノーラル方式は、小型マイクロフォンを左右の耳の耳道口近傍または耳道内に配置して録音するステレオ収録方法で、原理的には、そのマイクロフォンにより収録された音声信号を、ヘッドフォンなどにより、マイクロフォンを配置した耳道口などで忠実に再現させることによって、収録現場の音場感を忠実に再現することができる。非常に単純な収録再生装置で構成可能であるので、気軽な立体音響収録再生方法として生録分野で活用されることも多い。

バイノーラルを最も効果的に体験できるのは、自らの耳元で収録した音声を自らの耳元で再生するリアルヘッド収録再生である。この場合、いわゆる頭部音響伝達関数（ＨＲＴＦ：Ｈｅａｄ−ＲｅｌａｔｅｄＴｒａｎｓｆｅｒＦｕｎｃｔｉｏｎ）のマッチングが極めて良好になるので、音色（周波数−振幅の特性）の自然さ、音像定位感、音像品質などが最も理想的な形で再現されるとされている。

特許文献１（特開平６−２１７４００号公報）には、このようなバイノーラル収録再生方法において、音源を前方に自然な音色で定位させながら、収音系の残響音を３次元的な広がりをもってリスナーに聴取させることが示されている。

上に挙げた先行技術文献は、以下の通りである。
特開平６−２１７４００号公報

しかし、一見理想的に思えるリアルヘッド収録再生であるが、実際に行うと、音色が再現されない、音像が大きくなる、定位が明瞭でないなど、うまく効果が得られないことも少なくない。

これは、収録から再生までの伝達特性がフラットで、かつ左右で等しい、というバイノーラル収録再生方法の暗黙の了解が守られていないことに起因する。すなわち、収録に用いるマイクロフォンの特性がフラットでないこと、左右のマイクロフォンに特性の差があること、再生に用いるヘッドフォンの特性がフラットでないこと、ヘッドフォンの左右の音響変換器に特性の差があること、などによって、バイノーラルの効果が後退してしまうのである。

例えば、音像の上下定位感や前後定位感には、音色が少なからず寄与している。また、左右の耳の間でのレベル差、時間差（位相差を含む）は、左右定位感に大きく影響する。

しかし、この問題は、実際上、やっかいなものである。というのも、例えば、ヘッドフォンは同じものであっても、架け替えるだけで、耳元までの伝達特性が変化してしまうことが多い。特に密閉型など、大型の耳覆い型ヘッドフォンでは、遊びが多いので、聴取中でも伝達特性が変わりやすい。また、安価なヘッドフォンでは、一般に左右の特性の不揃いなものが多い。マイクロフォンについても、特に安価なものは、一般に特性や感度の揃っていないものが多い。

そこで、この発明は、リアルヘッド収録再生における収録から再生までの、フラットでない、左右差のある伝達特性によるバイノーラル効果の低下を軽減し、バイノーラル効果を向上させることができるようにしたものである。

この発明の信号処理装置は、
バイノーラル再生用の信号処理装置であって、
収録用マイクロフォンによって収録された入力音声信号をフィルタリングしてヘッドフォンに供給する補正フィルタと、
前記入力音声信号が供給される適応フィルタと、
前記収録用マイクロフォンと同一の、または前記収録用マイクロフォンと特性が近似した収音用マイクロフォンによって、前記ヘッドフォンにより再生された音声を収音して得られた音声信号と、前記適応フィルタの出力の音声信号との差分を算出し、その差分を前記適応フィルタに送出する残差検出手段とを備え、
前記適応フィルタは、前記入力音声信号と前記差分とから、前記ヘッドフォンから前記収音用マイクロフォンまでの合成特性を求め、この合成特性から求めた近似逆特性を前記補正フィルタの特性とすることを特徴とする信号処理装置
とするものである。

バイノーラル収録に用いたマイクロフォンそのもの、またはそれに特性が近似したマイクロフォンを、収録時と同様に耳に装着し、さらにヘッドフォンを装着して、インパルスなどの音響測定用信号を、そのヘッドフォンから再生し、マイクロフォンで拾った場合、マイクロフォンからの信号の特性は、ヘッドフォンの特性と、ヘッドフォン位置からマイクロフォン位置までの音響伝達特性（空間伝達特性）と、マイクロフォンの特性とが合成された特性となる。

したがって、この合成特性に近似し、かつ合成特性と逆の特性（以下、合成逆特性と称する）が求められれば、その合成逆特性は、ヘッドフォンの特性、ヘッドフォン位置からマイクロフォン位置までの音響伝達特性、およびマイクロフォンの特性を、補正するものとなり得る。

具体的に、この合成逆特性を、補正フィルタによって、収録用マイクロフォンによって収録されたバイノーラル信号に重畳すると、バイノーラル信号には、もともと収録用マイクロフォンの特性が重畳されているが、合成逆特性には、この収録用マイクロフォンの特性と逆の特性が含まれているので、収録用マイクロフォンの特性が補正されて、フラットな特性のマイクロフォンによって収録されたのと同じバイノーラル信号にすることができる。

また、合成逆特性には、ヘッドフォンの特性と逆の特性が含まれているので、再生信号はフラットな特性のヘッドフォンで再生したような信号となる。

さらに、合成逆特性には、ヘッドフォン位置からマイクロフォン位置までの音響伝達特性と逆の特性が含まれているので、ヘッドフォン位置からマイクロフォン位置までフラットな伝達特性で音響が伝送されることになる。すなわち、耳覆い型ヘッドフォンなどを使用した場合の、個々人で異なる耳の形状に左右される空間伝達特性を補正することができる。

この発明の信号処理装置は、以上の考察から、上記のように構成したので、これをバイノーラル再生に用いて、その補正フィルタによって、収録用マイクロフォンによって得られたバイノーラル信号に合成逆特性を重畳することによって、フラットではない、または左右の特性が揃っていないマイクロフォンやヘッドフォンを使用した場合でも、理想的なバイノーラル再生信号を得ることができる。

この場合、収録用マイクロフォンと、収音用マイクロフォン（再生時に使用するマイクロフォン）とは、特性が近似していれば、同一のものである必要はない。

さらに、バイノーラル収録する者（収録者）と、バイノーラル再生する者（リスナー）とは、必ずしも同一人である必要はない。同一人であれば理想的であるが、そうでなくても、上述したようにマイクロフォンやヘッドフォンの特性が補正されることによって、バイノーラル効果を向上させることができる。

さらに、インパルスなどの特殊な音響測定用信号を使用しないで、バイノーラル信号としての通常の音声信号を再生しつつ、適応フィルタにより逐次、ヘッドフォンからマイクロフォンまでの合成特性と逆の特性を求め、得られた合成逆特性を、補正フィルタにより、バイノーラル信号としての通常の音声信号に重畳することによって、マイクロフォンやヘッドフォンの特性を補正することができる。

したがって、この発明の信号処理装置によってバイノーラル再生を行う場合には、リスナーの負担が少なく、しかも、補正フィルタの特性を逐次更新できるため、再生聴取中におけるヘッドフォンの装着状態の変動などによる特性の変動に対しても追従させることができる。

以上のように、この発明によれば、リアルヘッド収録再生における収録から再生までの、フラットでない、左右差のある伝達特性によるバイノーラル効果の低下を軽減し、バイノーラル効果を向上させることができる。しかも、特殊な音響測定用信号を使用しないで、そのようなバイノーラル効果の向上を実現することができるとともに、再生聴取中におけるヘッドフォンの装着状態の変動などによる特性の変動に対しても追従させることができる。

〔バイノーラル収録方法の例：図１〕
図１に、この発明のバイノーラル再生方法の前提となるバイノーラル収録方法の一例を示す。

この例のバイノーラル収録方法では、収録現場において、収録者１の左耳２Ｌおよび右耳２Ｒの、それぞれ耳道口近傍に、小型の収録用のマイクロフォン３Ｌおよび３Ｒを装着し、そのマイクロフォン３Ｌおよび３Ｒによって、収録現場の音響空間の各音源からの音声をステレオ収録する。

収録用のマイクロフォン３Ｌおよび３Ｒは、その特性が後述の再生時に使用するマイクロフォンの特性と近似したものであれば、再生時に使用するマイクロフォンと同一のものである必要はない。また、収録者（バイノーラル収録する者）１は、リスナー（バイノーラル再生する者）と同一人でなくてもよい。

マイクロフォン３Ｌおよび３Ｒからの、バイノーラル信号としての音声信号ＳＬおよびＳＲは、記録装置１０に入力され、ディスク媒体やメモリカードなどの記録メディア４に記録される。

具体的に、記録装置１０では、入力音声信号ＳＬおよびＳＲが、それぞれ音声増幅回路１１Ｌおよび１１Ｒによって増幅された後、それぞれＡＤコンバータ１２Ｌおよび１２Ｒによってデジタル音声データＤＬおよびＤＲに変換され、さらに、その音声データＤＬおよびＤＲが、記録処理部１３に入力されて、必要に応じて圧縮符号化されるなど、所定フォーマットの音声データとして、記録メディア４に記録される。

なお、記録装置１０では、システムコントローラ１５によって、記録処理部１３およびメディアドライブ１４が制御される。

〔バイノーラル再生方法およびバイノーラル再生装置の例：図２〜図５〕
上述したように収録されたバイノーラル信号を再生する際には、図２に示すように、リスナー５は、左耳６Ｌおよび右耳６Ｒの、それぞれ耳道口近傍にマイクロフォン７Ｌおよび７Ｒを装着し、さらにヘッドフォン９を装着する。

マイクロフォン７Ｌおよび７Ｒは、小型の、耳道口を塞がないものとする。また、マイクロフォン７Ｌおよび７Ｒとしては、図１に示した収録用のマイクロフォン３Ｌおよび３Ｒと同一のものを用いることが望ましいが、マイクロフォン３Ｌおよび３Ｒと近似した特性のものであれば、マイクロフォン３Ｌおよび３Ｒと別のものを用いてもよい。

ヘッドフォン９は、図示するように、その左チャンネル音響変換器９Ｌおよび右チャンネル音響変換器９Ｒがリスナー５の左耳６Ｌおよび右耳６Ｒを覆う耳覆い型のものでもよい。

図３に、このようにリスナー５がマイクロフォン７Ｌ，７Ｒおよびヘッドフォン９を装着して、上述したように収録されたバイノーラル信号を再生する場合の、バイノーラル再生方法およびバイノーラル再生装置の一例を示す。

再生装置２０では、記録メディア４から、上記のように記録されたバイノーラル信号が読み出され、再生処理部２３で、伸長復号化されるなど、必要な処理が実行されて、再生処理部２３から、バイノーラル信号であるデジタル音声データＤＬおよびＤＲが出力される。

なお、再生装置２０では、システムコントローラ２５によって、メディアドライブ２４および再生処理部２３が制御される。

再生装置２０の再生処理部２３から出力された音声データＤＬおよびＤＲは、バイノーラル再生装置３０に供給される。

バイノーラル再生装置３０は、左チャンネルの系と右チャンネルの系とによって構成され、音声データＤＬが左チャンネルの系に供給され、音声データＤＲが右チャンネルの系に供給される。

左チャンネルの系について示すと、音声データＤＬが、入力音声データｘ（ｋ）として補正フィルタ３１Ｌおよび適応フィルタ３４Ｌに供給され、補正フィルタ３１Ｌの出力の音声データが、ＤＡコンバータ３２Ｌでアナログ音声信号に変換され、その変換後の音声信号が、ヘッドフォン左チャンネル音響変換器９Ｌに供給されて、左チャンネルの音声が再生される。

その再生された音声は、ヘッドフォン左チャンネル音響変換器９Ｌの近傍のマイクロフォン７Ｌで収音される。そのマイクロフォン７Ｌの出力の音声信号が、ＡＤコンバータ３３Ｌでデジタル音声データｄ（ｋ）に変換され、加算回路３５Ｌにおいて、ＡＤコンバータ３３Ｌの出力の音声データｄ（ｋ）から適応フィルタ３４Ｌの出力の音声データｙ（ｋ）が減算され、加算回路３５Ｌの出力の残差データｅ（ｋ）が、適応フィルタ３４Ｌに送出される。

適応フィルタ３４Ｌは、ＦＩＲ（ＦｉｎｉｔｅＩｍｐｕｌｓｅＲｅｓｐｏｎｓｅ）フィルタ型の適応型線形結合器（フィルタ部）と適応アルゴリズム演算部（フィルタ係数更新演算部）とによって構成され、後述のような適応アルゴリズム（フィルタ係数更新アルゴリズム）によって、補正フィルタ３１Ｌの特性、ヘッドフォン左チャンネル音響変換器９Ｌの特性、ヘッドフォン左チャンネル音響変換器９Ｌの位置からマイクロフォン７Ｌの位置までの空間伝達特性（音響伝達特性）、およびマイクロフォン７Ｌの特性を合成した伝達特性を同定するものであり、補正フィルタ３１Ｌの特性がフラットであれば、ヘッドフォン左チャンネル音響変換器９Ｌの特性、ヘッドフォン左チャンネル音響変換器９Ｌの位置からマイクロフォン７Ｌの位置までの空間伝達特性、およびマイクロフォン７Ｌの特性を合成した伝達特性を同定するものである。

補正フィルタ３１Ｌは、ＦＩＲフィルタなどによって構成され、そのフィルタ係数が適応フィルタ３４Ｌにより変えられることによって、そのフィルタ特性が更新される。

右チャンネルの系も、ヘッドフォン右チャンネル音響変換器９Ｒおよびマイクロフォン７Ｒを含んで、入力音声データＤＲに対して、同様に、補正フィルタ３１Ｒ、ＤＡコンバータ３２Ｒ、ＡＤコンバータ３３Ｒ、適応フィルタ３４Ｒおよび加算回路３５Ｒによって構成される。

適応フィルタ３４Ｌの同定および補正フィルタ３１Ｌの特性の更新については、理想的には、まず、補正フィルタ３１Ｌの特性をフラットにして、ヘッドフォン左チャンネル音響変換器９Ｌの特性、ヘッドフォン左チャンネル音響変換器９Ｌの位置からマイクロフォン７Ｌの位置までの空間伝達特性、およびマイクロフォン７Ｌの特性を合成した伝達特性を、適応フィルタ３４Ｌによって同定し、その逆特性が補正フィルタ３１Ｌの特性となるように、補正フィルタ３１Ｌの係数を更新する。同時に、適応フィルタ３４Ｌの特性をフラットにすれば、適応フィルタ３４Ｌは同定することになる。

しかし、実際上、ヘッドフォン左チャンネル音響変換器９Ｌの特性、ヘッドフォン左チャンネル音響変換器９Ｌの位置からマイクロフォン７Ｌの位置までの空間伝達特性、およびマイクロフォン７Ｌの特性を合成した伝達特性には、ディップという形で信号レベルが低くなる周波数帯域が存在することがあり、その場合、その逆特性は、非常に大きなゲインを有する周波数帯域を持つものとなってしまい、フィルタとして実現性が薄くなる。

そこで、補正フィルタ３１Ｌの特性を更新する際には、このような大きなゲインの周波数帯域を持たないように、リミッタなどによって適宜、信号レベルを一定範囲内に制限することが望ましい。その場合、補正フィルタ３１Ｌの特性に反映されなかった分は、適応フィルタ３４Ｌの特性に残すようにすれば、適応フィルタ３４Ｌは収束することになる。

以上は、適応フィルタ３４Ｌが同定収束するまで、補正フィルタ３１Ｌの特性を更新しない場合であるが、適応フィルタ３４Ｌが同定収束するまでの間でも適宜、補正フィルタ３１Ｌの特性を更新するようにしてもよい。

左チャンネルの系につき、このように補正フィルタ３１Ｌの特性を適宜更新する場合の適応アルゴリズムを、図４に示す。なお、図４はレベル特性のみを示す（図４中の各特性図の横軸ｆは周波数を、縦軸はレベル〔ｄＢ〕を、それぞれ示す）が、適応フィルタ３４Ｌの同定収束および補正フィルタ３１Ｌの特性の更新は、位相（遅延を含む）特性に対しても行われる。また、右チャンネルの系についても、全く同じである。

再生開始時点では、図４に「１．初期状態」として示すように、補正フィルタ３１Ｌは、そのレベル特性を、０ｄＢでフラットな特性とし、すなわち入力信号をそのまま通過させる特性とし、適応フィルタ３４Ｌは、そのレベル特性を、比較的低レベルの特性とする。これによって、入力音声データｘ（ｋ）に常時、レベルの低い周波数帯域が存在する場合でも、適応フィルタ３４Ｌが同定しやすくなる。なお、図４では、初期状態における適応フィルタ３４Ｌのレベル特性をフラットにしているが、特にフラットにする必要はない。

この状態から、補正フィルタ３１Ｌは、そのままにして、適応フィルタ３４Ｌの係数の更新を、ある程度進めていく。これによって、図４に「２．適応フィルタ更新後」として示すように、適応フィルタ３４Ｌのレベル特性が変化する。ただし、この状態は、いまだ適応フィルタ３４Ｌが同定収束に至っていない状態である。

この時点で、補正フィルタ３１Ｌの特性を更新する。そのために、まず、図４に「３．特性比算出」として示すように、「（適応フィルタのレベル特性）／（補正フィルタのレベル特性）」という特性を算出する。この場合は、補正フィルタ３１Ｌのレベル特性が０ｄＢフラットであるので、「（適応フィルタのレベル特性）／（補正フィルタのレベル特性）」は、適応フィルタ３４Ｌのレベル特性そのものとなる。

次に、その算出された特性を、ＡｄＢという、あるレベルを閾値にして、非補正帯域と補正帯域とに分け、レベルがＡｄＢ以下の周波数帯域を非補正帯域、レベルがＡｄＢより大きい周波数帯域を補正帯域とする。

そして、図４に「４．両特性更新」として示すように、適応フィルタ３４Ｌについては、非補正帯域では、その帯域における直前のレベル特性を残し、補正帯域ではレベルをＡｄＢとするように、レベル特性を更新し、補正フィルタ３１Ｌについては、非補正帯域ではレベルを０ｄＢのままとし、補正帯域では、ＡｄＢから上記の「（適応フィルタのレベル特性）／（補正フィルタのレベル特性）」の特性におけるレベルを差し引いたレベルとするように、レベル特性を更新する。

以後、「２．適応フィルタ更新後」「３．特性比算出」および「４．両特性更新」で示した操作と同様の操作を適宜繰り返すことによって、補正フィルタ３１Ｌとして、レベル特性のピークが抑えられた実際的な補正フィルタが形成され、適応フィルタ３４Ｌも同定収束に向かっていく。

しかも、適応フィルタ３４Ｌおよび補正フィルタ３１Ｌは逐次、特性が更新されるので、再生聴取中に、ヘッドフォン９の装着状態が変動するなどによって、ヘッドフォン左チャンネル音響変換器９Ｌの位置からマイクロフォン７Ｌの位置までの空間伝達特性などが変動したときでも、それに追従して、適応フィルタ３４Ｌおよび補正フィルタ３１Ｌの特性が更新され、適応フィルタ３４Ｌは同定収束するようになる。

図５に、その様子を示す。時点ｔｓは再生開始時点で、この時点ｔｓでは、適応フィルタ３４Ｌおよび３４Ｒは非同定収束状態にあるが、上述したように特性が更新されることによって、時点ｔｓから瞬間的な時間を経た時点で、適応フィルタ３４Ｌおよび３４Ｒは同定収束状態となる。その後、時点ｔａで、ヘッドフォン９の装着状態が変動するなど、バイノーラル再生系に乱れを生じると、適応フィルタ３４Ｌおよび３４Ｒは一瞬、非同定収束状態になるが、上述したように特性が更新されることによって、適応フィルタ３４Ｌおよび３４Ｒは直ちに同定収束状態となる。

なお、図４の例は、非補正帯域と補正帯域とを分ける閾値をＡｄＢという一定レベルにする場合であるが、音声周波数帯域を複数の周波数帯域に分割し、各周波数帯域で、非補正帯域と補正帯域とを分ける閾値を異ならせてもよく、または、再生開始時であるか、再生中であるか、などの状況に応じて、非補正帯域と補正帯域とを分ける閾値を変更してもよい。

バイノーラル収録方法の一例を示す図である。バイノーラル再生でのマイクロフォンおよびヘッドフォンの装着の例を示す図である。この発明のバイノーラル再生方法およびバイノーラル再生装置の一例を示す図である。この発明のバイノーラル再生方法における補正フィルタおよび適応フィルタの特性の更新の例を示す図である。この発明のバイノーラル再生方法における適応フィルタの同定収束の様子を示す図である。

符号の説明

主要部については図中に全て記述したので、ここでは省略する。

Claims

バイノーラル再生用の信号処理装置であって、
収録用マイクロフォンによって収録された入力音声信号をフィルタリングしてヘッドフォンに供給する補正フィルタと、
前記入力音声信号が供給される適応フィルタと、
前記収録用マイクロフォンと同一の、または前記収録用マイクロフォンと特性が近似した収音用マイクロフォンによって、前記ヘッドフォンにより再生された音声を収音して得られた音声信号と、前記適応フィルタの出力の音声信号との差分を算出し、その差分を前記適応フィルタに送出する残差検出手段とを備え、
前記適応フィルタは、前記入力音声信号と前記差分とから、前記ヘッドフォンから前記収音用マイクロフォンまでの合成特性を求め、この合成特性から求めた近似逆特性を前記補正フィルタの特性とすることを特徴とする信号処理装置。
収録用マイクロフォンによって収録された入力音声信号を、補正フィルタを通じてヘッドフォンに供給するとともに、適応フィルタに供給する工程と、
前記収録用マイクロフォンと同一の、または前記収録用マイクロフォンと特性が近似した収音用マイクロフォンによって、前記ヘッドフォンにより再生された音声を収音し、音声信号を得る工程と、
この前記収音用マイクロフォンからの音声信号と、前記適応フィルタの出力の音声信号との差分を算出し、その差分を前記適応フィルタに送出する工程と、
前記適応フィルタにおいて、前記入力音声信号と前記差分とから、前記ヘッドフォンから前記収音用マイクロフォンまでの合成特性を求め、この合成特性から求めた近似逆特性を前記補正フィルタの特性とする工程と、
を備えることを特徴とするバイノーラル再生方法。