JP5205993B2

JP5205993B2 - 車両用聴覚モニター装置および方法

Info

Publication number: JP5205993B2
Application number: JP2008020416A
Authority: JP
Inventors: 充伸神沼
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2007-02-01
Filing date: 2008-01-31
Publication date: 2013-06-05
Anticipated expiration: 2028-01-31
Also published as: JP2008207793A

Description

本発明は車両用聴覚モニター装置および方法に関する。

音像により他車の接近など自車周辺の状況を運転者に報知するようにした車両用聴覚モニター装置が知られている（例えば、特許文献１参照）。
この種の装置では、２つのマイクロホン（この明細書では単にマイクという）で任意の周辺車両の音を検出し、マイクに入力される周辺車両の音の時間差などによって周辺車両の相対的な方位を検出し、周辺車両の位置にその車両の音を出力することによって、周辺車両の状況を運転者に報知している。

この出願の発明に関連する先行技術文献としては次のものがある。
特許第２７７６０９２号

ところで、一般の車両では走行雑音を低減するように車室内環境を設計するため、静かな車室内で音像により他車の接近など自車周辺の状況を運転者に報知する場合には、状況によっては運転者の注意転導が発生し、安全な状況であるにもかかわらず運転者に強制的に注意のための認知リソースが割り振られ、運転操作に影響を与えることがある。
本発明は、従来の問題を鑑みてなされた発明であって、車室内で音響により自車周辺の状況を運転者に報知するときに運転操作に影響を与えにくい装置を提供することを目的としている。

本発明に係る車両用聴覚モニター装置は、マイクロホンの後方に配置した擬似耳介と、前記マイクロホンおよび前記擬似耳介を包み込む風切音低減部材とを備えた集音手段を車両の外周壁に複数個設けるに際して、車両正中面に対して左右等距離にあり、且つ、運転者の耳位置より車両の後方側に配置した車両用聴覚モニター装置であって、
前記集音手段により集音した音を増幅する増幅手段と、前記増幅手段により増幅された音をスピーカーから出力したときに前記運転者の耳位置に定位する音になるように補正する音制御手段と、複数の出力経路およびスピーカーを車両内部の前記運転者正中面に対し左右位置に設け、前記音制御手段により補正された音を増幅して前記運転者に出力する音出力手段とを備え、前記音制御手段は、前記スピーカーと前記運転者の耳位置との間における空間伝達特性を用いて、前記空間伝達特性の逆行列を求める逆フィルターを有することを特徴とする。
本発明に係る車両用聴覚モニター方法は、マイクロホンの後方に配置した擬似耳介と、前記マイクロホンおよび前記擬似耳介を包み込む風切音低減部材とを備えた集音手段を車両の外周壁に複数個設けるに際して、車両正中面に対して左右等距離にあり、且つ、運転者の耳位置より車両の後方側に配置する車両用聴覚モニター方法であって、前記集音手段により集音した音を増幅する増幅工程と、前記増幅工程により増幅された音をスピーカーから出力したときに前記運転者の耳位置に定位する音になるように補正する音制御工程と、複数の出力経路およびスピーカーを車両内部の前記運転者正中面に対し左右位置に設けることにより、前記音制御工程において補正された音を増幅して前記運転者に出力する音出力工程とを備え、前記音制御工程は、前記スピーカーと前記運転者の耳位置との間における空間伝達特性を用いて、前記空間伝達特性の逆行列を求める逆フィルター処理を実行することを特徴とする。

本発明によれば、車両乗員に突発的な注意転導が発生するのを防止しながら、車両の窓を閉めたまま車両周辺の複数の物体の音を車両乗員に聞かせる安価な装置を提供することができる。

本発明の車両用聴覚モニター装置を車両に搭載した一実施の形態を説明する。図１は一実施の形態の基本構成を示す図である。また、図２は一実施の形態の具体的な構成を示す図である。

音入力部（マイクロホン）１０は、車両の左右の外壁付近に設置され、車両周囲の音を集音する。これは図２のマイクロホン210_1〜210_nに相当する。マイクロホンは車両外壁に取り付けられる程度に小型であればよく、一般的なダイナミック型等のマイクロホンを使用できる。この音入力部１０は、詳細を後述する音分離部１５と防音部１８を備えている。音分離部１５は、マイク位置の音波について、マイクに到来する音方向により、当該音の位相差等の波動違いを物理的に生じさせる。また、防音部１８は、移動体が移動することで、マイクに気流が当たることにより生じる風きり音等の発生を防ぐ。

増幅部（マイクアンプ）２０は、集音された音を適切な大きさの電気信号等に変換する機能を有する。これは、図２に示すマイクアンプ２２０に相当し、一般的なマイクアンプを使用すればよい。また、音制御部３５０は、入力された複数の当該電気信号を適切な状態に加工し（詳細後述）、所望のチャネル数（＝スピーカー数）に変換した上で音出力手段に信号を出力する。これは、図２に示すAD変換器230、演算装置240、記憶装置245、DA変換器270によって実現できる。音制御部３５０から出力され、後述する制御点で観測される音は、音入力部１０によって集音された音と、理論上等価であることが望まれる。

音出力部４００は、音制御部３５０から出力された電気信号等を増幅し、スピーカーから出力する。これは図２に示す増幅装置（スピーカーアンプ）280とスピーカー290_1〜290_nを用いて実現する。増幅器およびスピーカーは車載配置可能である範囲で、一般的なものを用いればよい。

図３を用いて処理の流れを説明する。システムは動作を開始するとステップ２１０の初期設定を行なう。初期設定時には、電源の投入、音制御部３５０に用いるフィルターの読み込みを行なう。ステップ２２０の音入力では、マイクから音を入力し電気信号等に変換し、ステップ２３０へ送出する。ステップ２３０の増幅処理では、ステップ２２０から取得した電気信号等を適切なレベルに増幅し、ステップ２４０へ送出する。ステップ２４０の音制御処理ではステップ２３０から取得した電気信号等を離散変換し（取得した信号が連続信号の場合）、制御点における音信号が、入力信号と等価になるようにフィルタ処理を行い、得られた信号をそのまま、または、連続信号に変換した上で、ステップ２５０へ送出する。

ステップ２５０の増幅処理では、ステップ２４０から得られた電気信号等を増幅し、ステップ２６０へ送出する。ステップ２６０の音出力では、ステップ２５０から得られた電気信号等を音信号（音波）に変換し出力する。音制御処理はコスト等の観点から離散的なフィルターが望ましいが、連続処理が可能なフィルターの適用を否定するものではない。

次に、音入力系の設置方法を説明する。マイクロホンは、少なくとも２つ以上を用い、夫々のマイクロホンにおいては、一の音源から到来する音が、時間、周波数、音圧レベル等の観点から大きな差異を有することができるように、十分に距離を置いた配置としなければならない。理想的には２つのマイクロホンから入力された２つの音は、バイノーラル音源として成立していることが望ましい。しかしながら、バイノーラル音源として成立させるためには、車両外部に頭部を模擬したダミーヘッドおよび耳介を配置し、耳介の外耳道内部または入り口付近にマイクを配置して集音する必要がある。この構成は現実には困難であるため、同様の効果を得る手法として、耳介だけを用い、移動体前後方向から到来する音信号の分離を図る。

図４に車両右側面に擬似耳介とマイクロホンを配置した例を示す。擬似耳介は人間の耳と同様の形状、または、デフォルメされた形状を有しており、人間の耳の外耳道入り口に当たる位置にマイクロホンが設置されている。このとき、図４に示す移動体前方の音源１から到来する音は、直接波ａおよび擬似耳介によって反射した反射波ｂ等がマイクによって集音される。一方、移動体後方の音源２から到来する音は、耳介による回折波ｃがマイクによって集音される。このように、擬似耳介を用いることにより、移動体の前方から到来する音と、後方から到来する音について、位相等の音波の特徴を変換して集音することができる。このときの集音された音について、数人の被験者を用いて受聴させたところ、定性的な結果としてではあるが、音の前後感が再現できていることが確認できた。擬似耳介は必ずしも人間の耳の形状を模している必要はないが、少なくとも、前後から到来する音の音波の特徴が、使用者にとって十分にその位置から到来する音として判別できる程度に精度よく模擬されていることが要件となる。

なお、マイクロホンを外耳道内部に配置してもよいが、耳介の形状または外耳道の形状が使用者の耳と大きく異なる場合は、集音された音に違和感を生じる可能性があるため、擬似耳介の形状に大きく依存する位置にマイクを配置することは避けた方が、不特定多数の使用者に対してロバストである。

擬似耳介は、移動体正面に対し、マイクロホンの後方に配置するべきである。これは移動体の進行方向を前方の音として使用者が感じることができるような構成が、運転中に受音する音として自然であることに起因する。

マイクロホンと擬似耳介の組合せは、使用者の耳位置より後方に配置することが望ましい。これは、走行中の運転者にとって必要な環境音は後方から接近する車両等の移動物体である場合が多く、マイクのダイナミックレンジの観点から、運転者の耳位置より後方に配置することで、運転者にとって有益な音情報を集音することができることに起因する。例えば、図５に示すようにＣピラーの根本あたりに配置した場合や、図６に示すように車両後部に配置するとよい。

マイクロホンと擬似耳介の組み合わせは、車両の正中面に対し左右の位置に配置することが望ましい。これは、集音された環境音から運転者が車幅感覚に関する情報も同時に取得できるようになるからである。例えば、マイクの位置が車両の正中面に対し、何れかにオフセットしていた場合（図７）、真後ろに存在する音源１は本来、真後ろに聞こえることが望ましいが、使用者には左後ろから聞こえることになり、はなはだ不自然な間隔を体感させられることになる。また、正中面に関し、マイクロホンが等距離に配置されれば、更に、車幅間隔に一致した環境音を集音することができる。さらに、図５に示すように車両の側壁上または側壁近傍に設置することにより、ダミーヘッドのように特別な部材を設置することなく、環境音を、その位置情報を保持した状態で集音することができる。このときのマイクロホンの配置は、先に述べた、車両正中面の左右位置に配置する要件とも矛盾しない。

図８にマイクカバー（防音部）の形状の例を示す。図８(ａ)はマイクカバー（防音部）の上面図、(ｂ)は正面図、(ｃ)は側面図である。マイクカバーは、防水、防塵、防音の要件を満たしつつも、環境音の歪を極力抑えた状態で集音できるように設計されている必要がある。例では涙滴構造を正中面で半分に切った構造を示してある。カバーの後方はなるべく緩やかに車両側壁に接近していくことが望ましい。

図９にマイクカバーの内部にマイク及び擬似耳介を取り付けた状態を示す。マイクおよび擬似耳介はマイクカバーが最も張り出している位置に設置されている。また、マイクカバーの後方（マイク位置より後方）には複数のスリット（または音響透過壁）によって構成されている。この構成により、環境音の減衰が少ない状態で集音でき、かつ、カバーの内部においてこもり音の発生を押されることができるといった効果もある。

マイクカバーは前面を覆う構成である必要は無く、例えば、図１０に示すように車両の外装内に小さな室を設け、マイクと擬似耳介を埋め込み、外装の一部にスリットまたは音響透過壁を設けてもよい。なお、ここで音響透過壁とは、当該壁に侵入前の音波と、侵入後の音波との間に、音響的な損失、歪が殆ど発生しないもの指している。よって、スリットを開け、音響透過効果があり、かつ、防水等の効果も有する布等で、当該スリットを覆ってもよい。

次に、音制御部の原理を説明する。音制御部３５０は、入力された音信号が、スピーカーを経て使用者の耳元に音が達した際に、使用者の耳元の音信号と、入力された音信号（すなわち集音された音信号）とが等価になるように、入力された音信号を変換して出力する。図１１に示す制御点Ｃ１、Ｃ２位置において、入力信号Ｙ１、Ｙ２（ベクトル）が再現されるように音制御部３５０が設計されている。このとき、入力信号Ｙ１、Ｙ２と再現信号（制御点における観測信号）Ｚ１、Ｚ２（ベクトル）において、
Ｙ１＝Ｚ１・・・（１）、
Ｙ２＝Ｚ２・・・（２）
の関係になっていることが望ましい。このため、補正のためのフィルターを用いて空間伝達系の影響を除去することを試みる。以後、このフィルターを逆フィルターと呼ぶことにする。

図１２を参照して逆フィルターの構成と計算法を説明する。任意の周波数ごとに入力信号Ｙｎ（ベクトル）、逆フィルターＨｍｎ（ｍは音源番号、ｎは制御点番号でベクトル）、再現信号（制御点における観測信号）Ｚｎ（ベクトル）、および空間伝達特性Ｆｎｍ（ベクトル）としたとき、各要素の関係を表現すると、
ＦＨＹ＝Ｚ・・・（３）
と表現できる。ここで、Ｆ＝[Ｆｎｍ]、Ｈ＝[Ｈｍｎ]、Ｙ＝[Ｙｎ]、Ｚ＝Ｚ[Ｚｎ]である。このとき、（１）式、（２）式の関係を満たすためには、
ＦＨ＝Ｉ・・・（４）
（Ｉは単位ベクトル）であることが要求される。よって、ＦよりＨを導き出すためには、任意の周波数ごとに
Ｈ＝Ｆ⁻ ・・・（５）
（Ｆ⁻は行列Ｆの一般逆行列）を計算すればよい（例えば、”最小ノルム解を用いた逆フィルター設計のトランスオーラルシステムへの応用：日本音響学会講演論文集,pp495-496(1998)”に記載の計算方法等を参照）。

音出力部４００（スピーカー）の設置方法を説明する。図１３にこの一実施の形態におけるスピーカーの配置例を示す。スピーカーは使用者の耳介より後方に設置し、かつ、使用者正中面の左右位置に等間隔に配置することが望ましい。例えば、図１４のように使用者の耳介と同じ位置に配置する場合も考えられるが、車室内において実験的に確認したところ、当該位置は近接した位置に窓ガラスが配置されていることから、音制御には適さないことが分かった。また、耳介より前に配置する場合（例えば、インパネ上に設置）は、耳介より遠く、フィルタータップ数を大きくする必要がある。更に、後方の音の定位感に関する精度および使用者の頭部移動に対する定位感のロバスト性は、後方にスピーカーを配置した場合と比較して劣る。スピーカーを使用者の左右に等間隔に配置することで、集音に用いているマイクの位置関係と比較し、中心軸からの左右間隔において比例関係を維持することができる。この構成により、音制御部３５０は、マイクから集音された音について、安定して制御することができる。

図１５に今まで述べてきたシステムの概要を纏める。最小構成として、２本のマイク、擬似耳介およびマイクカバーと、２つのヘッドレストに配置されたスピーカーを用いることで実現できることを確認した。音制御部に用いたフィルターは、４８kＨzサンプリングで、１２８タップのフィルターを４セット用いている（図１６参照）。

この一実施の形態では、使用者の座席の肩位置またはヘッドレストの左右にスピーカーを配置するため、スピーカーと使用者頭部の相対的な位置関係は常に一定の範囲内に維持される。よって、座席の位置が変わる毎にフィルター係数を切替える必要が生じない。

このように、一実施の形態によれば、車両周辺の音に関し、車両周辺の音が使用者に対して相対的に有する位置情報を維持したまま車両周辺の音を使用者に出力することができ、後方の音像の解像度を向上させることができる。使用者は車両周辺の音を窓を開けることなく受聴することができる。また、使用者は車両周辺の音を連続的な音情報として取得することによって、突発的な注意転導が発生することなく、これらの音情報に対して認知リソースに応じた対応を行なうことができる。さらに、車両周辺の音情報は、音の種別情報および使用者に対し相対的な位置情報を有しているため、使用者は、報知された音の種類および相対的な位置情報も取得することができる。さらにまた、車両周辺の音は、音源数が増加しても原理的に破綻することなく音情報の提示が可能である。また、音分離手段（耳介）をつけることによって前後の音像分離がより明確になる。

一実施の形態によれば、少なくとも２つのマイクが車両正中面に対して左右に配置されているので、車両左右に存在する環境音の音像を立体的な位置情報を包含した状態で集音することができる。

一実施の形態によれば、マイクが車両正中面に対して左右等距離に配置されているので、車両左右に存在する環境音の音像を左右のバランスを維持し、かつ、立体的な位置情報を包含した状態で集音することができる。

一実施の形態によれば、少なくとも２つのマイクが車両の側壁内または側壁上に設置されているので、環境音の音像の左右位置に関する情報の独立性が向上し、使用者にとってより弁別しやすい音像を特別な構成を用いることなく低コストで提供することができる。

一実施の形態によれば、車両の進行方向に対して後方にマイクを配置しているので、車両の後方から接近し、前方に追い越しをかける他の車両を迅速に検出し、かつ、使用者に提示することができる。

一実施の形態によれば、マイクを包み込むカバーにより車両が移動する際に発生する風きり音を緩和するようにしたので、車両外部に配置したマイクにおいても風きり音に影響されずに集音することができる。また、マイクカバーを付けた状態においても車両外部の音を明瞭に集音することができ、かつ、マイクカバー内でモード等が発生することに起因する篭り音の発生を抑制することができる。

一実施の形態によれば、スピーカーの内の少なくとも２つは使用者耳介の後方に配置されるので、使用者に対して集音した環境音の定位感を保持しつつ提示することができる。このシステムを実装することによって、後方にスピーカーを配置すると後方から到来する音に対しては高い精度で定位感を保持することが可能であることが明らかになった。また、前方から到来する音に関しては、視覚による情報も得られるため、音による定位感のズレが視覚による情報によって補償される。よって、後方にスピーカーを配置することによって、すべての方向に付いて、環境音から得られる周囲環境物体に対する意識のズレを小さく抑えることができる。

一実施の形態によれば、スピーカーの内の少なくとも２つを使用者の左右に配置するか、または、スピーカーの内の少なくとも２つを使用者の正中面に対し左右に等間隔に配置するか、あるいはまた、スピーカーの内の少なくとも２つを使用者座席に付随しているヘッドレスト位置の左右、または肩位置に配置するようにしたので、使用者に対して集音した環境音について定位感を保持しつつ提示することができる。

本システムのように車室内において音場制御を行なう場合の注意点として、（１）車室内特有の音響特性（初期反射が大きく、残響時間が短いため、スピーカーから再生する音が篭って聞こえる）により、音の制御が難しい。（２）スピーカーレイアウトの自由度が低い。例えば、右ハンドルの車両であれば運転者の右側にスピーカーを配置することは困難である。制御を低コストかつ精度よく行なうためには、運転者後方（もちろん安全面に留意）かつ運転者の左右位置に配置されていることが望ましい（フィルター長が短くなり、かつ、側方への視界が確保できる）。この状態が維持されない場合、信号処理等を駆使して（１）の音響特性の補正を行なう必要がある。我々は、この状態を実現するために適した配置として、ヘッドレスト位置または肩位置にスピーカーを配置することによって、制御が容易になることを発見した。

一実施の形態によれば、音分離手段を人間の耳介の特徴を有したものとした。理想は使用者の耳型と同じ形状であることが望ましい。然るに、到来する音の前後判定等ができるだけでも本システムは優位な効果があるため、平均化された耳型を音分離手段とし、耳型の外耳道入口付近にマイクの振動面を設置するだけでも、目的を達せられる（実験の結果）。

以上説明したように、使用者は車に設置されているマイクロホンの位置に自身の耳を置いた場合と等価な音場を取得することができ、あたかも車と自身が聴感的に一体化したかのような感覚を得ることができる。

《発明の他の一実施の形態》
本発明の車両用聴覚モニター装置を車両に搭載した発明の他の一実施の形態を説明する。図１７は他の一実施の形態の基本構成を示すブロック図であり、図１８は他の一実施の形態の具体的な構成を示す図である。音入力部１０は車両周囲の外壁付近に設置され、車両周囲の音を集音する。音入力部１０としては、図１８に示すようにマイク210_1〜210_nを用いることができ、これらのマイクは車両外壁に取り付けられる程度に小型であればよく、一般的なダイナミック型マイクなどを用いることができる。

ここで、マイク210_1〜210_nの車両への取付け方法を説明する。マイク210_1〜210_nは少なくとも２個以上設置し、これらのマイクでは一つの音源から到来する音が時間、周波数、音圧レベルなどの特徴においてマイクごとに大きな差が出るように、十分に距離を置いた配置にする。理想的には２つのマイクから入力された２つの音が、バイノーラル音源として成立していることが望ましい。実際には、車両外壁に取り付けられたマイクで収録した音と、ダミーヘッドなどの耳介位置に配置されたマイクで収録した音とは異なるため、擬似的にバイノーラル録音を行なう。

例えば図１９に示すように、車両の屋根等にダミーヘッドに近い形状のドーム型の筐体（人間の頭部と同等の大きさ）と、この筐体左右に取り付けられた擬似的な耳介の外耳道内にマイクを取り付けて集音する。また、例えば図２０に示すように、車両の外壁に擬似的な耳介を取り付け、これらの耳介の外耳道内にマイクを取り付けて集音する。このような構成では、入力信号が実際のバイノーラル録音とは異なるが、使用者に対して目的の方向に音像を形成する点に関しては近い音が得られる。このとき、マイクはなるべく壁に近いほうが左右のマイクに入力される音信号の差異が出やすく、最大でも１０ｃｍ以下が望ましい。なお、単に進行方向と後方から到来する音を弁別させるだけであれば、図２１に示すようにマイクの後方に壁を設けるだけでも一定の効果が得られる

図１７および図１８において、増幅部２０は集音された音を適切な大きさの電気信号に変換する。増幅部２０としては、図１８に示すような一般的なフィルター付きマイクアンプ２２０を用いればよい。

第１補正部３０は、入力された複数の音の電気信号を適切な状態に加工し、所望のチャネル数（第２補正部４０の入力チャネル数）に変換して出力する。第１補正部３０は、図１８に示すＡＤ変換器２３０、演算装置２４０、記憶装置２４５およびＤＡ変換器２７０により構成される。この第１補正部３０から出力される音は、運転者の両耳付近や助手席乗員の頭部付近に設定される“制御点”における所望の音と理論上、等価になる必要がある。この第１補正部３０の構成については詳細を後述する。

第２補正部４０は、第１補正部３０により補正された音信号をスピーカーから出力するときに、スピーカーから制御点までの伝達系の影響を除去し、第１補正部３０により補正された音信号が制御点において忠実に音として再現されるように音信号を補正する。この第２補正部４０は、図１８に示すＡＤ変換器２３０、演算装置２４０、記憶装置２４５およびＤＡ変換器２７０により構成される。この第２補正部４０の構成については詳細を後述する。

なお、図２２に示すように、第１補正部３０と第２補正部４０に対し、それぞれ別の第１演算装置２４０と第２演算装置２５０、第１記憶装置２４５と第２記憶装置２５５、ＡＤ変換器２３０と２６２、ＤＡ変換器２６１と２７０を用いてもよい。この場合は、ＡＤ変換器２３０、第１演算装置２４０、第１記憶装置２４５およびＤＡ変換器２６１により第１補正部３０が構成され、ＡＤ変換器２６２、第２演算装置２５０、第２記憶装置２５５およびＤＡ変換器２７０により第２補正部４０が構成される。

音出力部５０は、第２補正部４０から出力された音信号を増幅してスピーカーから出力する。音出力部５０は、図１８に示す増幅装置（スピーカーアンプ）２８０およびスピーカー290_1〜290_nを用いて構成される。なお、増幅装置２８０とスピーカー290_1〜290_nは、車載配置可能な一般的なものを用いればよい。図１８に示す頭部位置検出装置３００は運転者の頭部位置を検出する。例えば、センサーにより運転席シートの位置を検出して運転者の頭部位置に換算すればよい。詳細を後述するが、運転者の頭部位置に応じて第１補正部３０と第２補正部４０で用いるフィルターを切り換える。

図２３は他の一実施の形態の動作を示すフローチャートである。他の一実施の形態の車両用聴覚モニター装置は、電源が投入されるとこの動作を実行する。まず、ステップ１１０において初期設定を行なう。初期設定時には、第１補正部３０と第２補正部４０で用いるフィルターの読み込みを行なう。ステップ１２０で音入力部１０で集音した音を入力し、電気信号に変換する。続くステップ１３０では音信号を適切なレベルに増幅する。

ステップ１４０において第１補正処理を行う。すなわち、音信号を離散変換して補正フィルター処理およびチャネルの統合処理を行い、得られた信号をそのまま、または、連続信号に変換する。次に、ステップ１５０で第２補正処理を行う。すなわち、第１補正処理後の音信号が連続信号であれば離散変換し、補正フィルター処理を行った後、連続信号に変換する。なお、第１補正処理と第２補正処理については詳細を後述する。ステップ１６０では、補正処理後の音信号を増幅し、続くステップ１７０でスピーカーから出力する。ステップ１８０において運転者の頭部位置を検出し、頭部位置が変化した場合はステップ１９０へ進み、第１補正処理および第２補正処理で用いるフィルターの内容を変更する。

なお、一連の処理における信号は、電気信号のような連続信号の場合は第１補正処理および第２補正処理の前後でＡＤ変換処理とＤＡ変換処理を行い、離散信号で得られる場合はこれらのＡＤ変換処理とＤＡ変換処理を行なわずに第１補正処理および第２補正処理を行う。第ｌ補正処理と第２補正処理においては、コスト等の観点から離散的なフィルターを適用するのが望ましいが、連続処理が可能なフィルターを適用してもよい。

第１補正部３０の詳細な構成とその第１補正処理について説明する。まず、第１補正部３０を擬似バイノーラル録音を行う構成とする場合の例を説明する。図１９および図２０で説明した手法を用い、２個のマイクで収録する入力音を擬似的にバイノーラル化する。すなわち、ダミーヘッドやHead And Torso Simulatorの耳介内部に設置されたマイクで収録した音と比較して、少なくとも音像の方向が同じように聞こえる音にする。この状態で集音された音源に対して第１補正部３０でフィルタリングするときには、その音源の内容が変更されないように処理することが望ましい。例えば図１９において、マイク210_1からの入力をＸ1、マイク210_2からの入力をＸ２、それぞれの入力に適用する第１補正部３０（第１補正処理）の時間領域のフィルターをＨ1、Ｈ2、第１補正部３０（第１補正処理）からの出力をＹ1、Ｙ2とすると、
Ｙ1＝Ｘ1＊Ｈ1 ・・・（６）、
Ｙ2＝Ｘ2＊Ｈ2 ・・・（７）
で表現できる。なお、（６）式および（７）式において、記述「Ａ＊Ｂ」はベクトルＡおよびベクトルＢの畳み込み演算を表す。このとき、Ｙ1、Ｙ2はＸ1、Ｘ2と等価であってよいので、フィルターＨ1、Ｈ2はタップ数１、係数１とするか、タップ数Ｎで何れかの時間（かつ、Ｈ1、Ｈ2において同時間）に係数１が立つ時間遅延フィルターとすることが望ましい。例えば、
Ｈ1＝Ｈ2＝１・・・（８）、
Ｈ1＝Ｈ2＝［０，１，０，０，０，０，０］（Ｎ＝７タップ、時間遅延１タップ）
・・・（９）
などの構成によって実現できる。

次に、第１補正部３０により、仮想音源を用いて窓を開けたときのような音響空間を構築する場合の例を説明する。この例では、自車周囲の環境音が自車の窓を開けたときのように聞こえるように、仮想音源を用いて音像を構成する。図２４(ａ)は、自車後部座席の左右の窓を開けた状態で到来する自車周囲の環境音の聞こえ方の例を示す。このとき、運転者は後方の窓から侵入してくる音を後方に定位する音源として聞くことができる。例えば、自車周囲の車両１と車両３は運転者から相対的に後方に位置し、後部座席左右の窓を開けた場合は、当該位置に定位して聞こえる。一方、車両２は運転者から相対的に右側に位置し、後部座席左右の窓を開けた場合は、窓からの回折音と前方窓を通した直接音とが到来する。

そこで、窓を開けたときに窓から到来する音のみを再現することによって、図２４(ａ)に示す状況を再現する手法を検討する。原始的な方法としては、図２４(ｂ)に示すように、窓の外にマイクを配置し、これらのマイクからの入力信号をそのまま窓の内側に配置したスピーカーを用いて再現する手法が考えられる。この手法を用いた場合は、窓の内側にスピーカーを配置する必要が有り、機器の配置に制限のある車両等では困難が予想される。そこでこの一実施の形態では、図２４(ｃ)に示すように、第１および第２の補正部によって、車外に配置されたマイクからの入力信号を、マイクと離れた位置にスピーカーを配置して仮想的な音像再生技術により窓の外側から到来するように制御する。

図２５は第１補正部３０の構成例を示す。マイク210_1〜210_nから入力された信号は、Ｇnmのフィルター処理を施した後、左右チャネルの信号として別個に加算され、第１補正部４０へ出力される。ここで、ｎはマイク番号を表し、ｍは第２補正部４０の入力チャネル番号を表す。番号ｎのマイク210_nから入力された信号はフィルターＧn1、Ｇn2による処理が施され、入力チャネル（この例ではｍ＝１、２）ごとに、かつ、それぞれの時間要素ごとに加算される。

図２６は、後席右側の車両外壁に配置されたマイク210_1に対応する時間領域のフィルターＧ11、Ｇ12の構成例を示す。フィルターＧ11、Ｇ12は、マイク210_1の位置（仮想的に開ける窓、または仮想的に想定する窓の位置）から運転者の頭部（両耳付近）までの遅延および距離減衰などを表す。ここでは９タップのＦＩＲフィルターを用いた遅延器の場合を示す。なお、遅延子の位置は、例えば、ＣＡＤ上で距離を計測し、音速を用いて到達時間を計るなど、幾何的な手法により物理的に容易に計算することができ、極めて簡易的に所望のフィルターを構成することができる。

図２７は、後席右側の車両外壁に配置されたマイク210_1に対応するフィルターＧ11、Ｇ12の他の構成例を示す。フィルターＧ11、Ｇ12は、マイク210_1の位置（仮想的に開ける窓、または仮想的に想定する窓の位置）から運転者の頭部（両耳付近）までの伝達関数を用いる。ここでは１０タップのＦＩＲフィルターを用いた伝達関数の場合を示す。なお、伝達関数はマイク210_1の位置から運転者の両耳付近までの音響伝達系を予め測定することにって実現できる。

第１補正部３０により仮想音源を用いて窓を開けたときのような音響空間を構築する場合には、上述したバイノーラル収録系と異なり、マイクを仮想的に設定する窓位置に配置することになり、各マイクの出力をフィルタリング後に加算する。このような構成により、種々の方向から仮想的に到来する音を、例えば、耳の左右の位置において再現することができる。

なお、図２６および図２７ではマイク210_1を後方のみに設置した例を示すが、例えば図２８に示すように、６台のマイク210_1〜210_6を後席左右の窓、前席左右の窓、フロントウインドウおよびリヤウインドウの６カ所に配置して６方向に対応させると、３６０度の水平面方向に対する音響的視界を得ることができる。この場合、運転者が使用するマイクを任意に選択できるようにすれば、運転者が好みの仮想窓だけを開けたかのごとく、音響的視界を構成することができる。

次に、第２補正部４０の詳細な構成とその第２補正処理について説明する。図２９は第２補正部４０の概念を説明するための図である。運転者の両耳付近に設定される制御点Ｃ１、Ｃ２において、上述した第１補正部３０からの入力信号Ｙ1、Ｙ2が再現されるように第２補正部４０を構成する。第１補正部３０からの入力信号Ｙ1、Ｙ2と、制御点Ｃ1、Ｃ2における再現信号（観測信号）Ｚ1、Ｚ2との間には、
Ｙ1＝Ｚ1 ・・・（１０）、
Ｙ2＝Ｚ2 ・・・（１１）
の関係が成立することが望ましい。そこで、この一実施の形態では補正のためのフィルターを用いて空間伝達系の影響を除去する。以下、このフィルターを“逆フィルター”と呼ぶ。

図３０により、第２補正部４０で用いる逆フィルターの構成と計算法を説明する。任意の周波数ごとに、入力信号Ｙn、逆フィルターＨmn（ｍは音源番号、ｎは制御点番号）、再現信号（制御点における観測信号）Ｚnおよび空間伝達特性Ｆnmとしたとき、各要素の関係は、
Ｆ・Ｈ・Ｙ＝Ｚ・・・（１２）
と表される。（１２）式において、Ｆ、Ｈ、Ｙ、Ｚはベクトルであり、Ｆ＝[Ｆnm]、Ｈ＝[Ｈmn]、Ｙ＝[Ｙn]、Ｚ＝[Ｚn]の行列式で表される。このとき、上記（１０）、（１１）式の関係を満たすためには、
Ｆ・Ｈ＝Ｉ・・・（１３）
（Ｉは単位ベクトル）であることが要求される。したがって、ＦよりＨを導き出すためには、任意の周波数ごとに
Ｈ＝Ｆ⁻ ・・・（１４）
を計算すればよい。（１４）式において、[・]⁻は行列[・]の一般逆行列を表す。例えば、“最小ノルム解を用いた逆フィルター設計のトランスオーラルシステムへの応用：日本音響学会講演論文集、pp495-496(1998)”に記載された計算方法を採用することができる。

次に、運転者以外の乗員に車外の環境音が聞こえないようにする方法を説明する。この一実施の形態では、車外の環境音を、それらの音源の位置から聞こえるように運転者に提示することによって安全性等の向上を図るが、提示される環境音は運転者以外の乗員、例えば助手席乗員にとっては必ずしも有用とは言えず、これら環境音が助手席では聞こえないようにシステムを構築する。

図３１および図３２により、助手席乗員に車外の環境音が聞こえないようにする第２補正部４０の逆フィルターの構成を説明する。まず、図３１に示す逆フィルター構成は４スピーカーＳ１〜Ｓ４、３制御点Ｃ１〜Ｃ３の例を示す。この構成では、入力信号Ｘnと、制御点で観測される観測信号Ｙnとの間に、Ｘn＝Ｙnの関係が成立するように、逆フィルターが設計される。今、入力信号Ｘ1とＸ2にはそれぞれ実体のある波形を入力し、入力信号Ｘ3には無音信号、すなわち振幅０の直列信号を入力したとき、Ｙ1＝Ｘ1、Ｙ2＝Ｘ2が成立し、かつ、Ｙ3＝０も同時に成立させることができる。そして、制御点Ｃ1、Ｃ2を運転者の両耳付近に設定し、制御点Ｃ3を助手席乗員の頭部付近に設定することによって、運転者には車外の環境音が聞こえ、助手席乗員には車外の環境音が聞こえないようにすることができる。なお、理想的には助手席乗員の両耳付近に制御点Ｃ3、Ｃ4を設定してＹ3＝Ｙ4＝０とするのが望ましい。

図３２に示す逆フィルター構成は、図３１に示す逆フィルター構成から冗長なフィルターを省略した例を示す。この場合、４スピーカー、３制御点であっても、８個のフィルターでシステムを構成できる。ただし、あくまで図３１の系を基に逆フィルターを構築した場合に１２個のフィルターを８個に減らすことができるのであり、始めから８個のフィルターで設計しても同様の効果は得られない。このように、車室内の各座席に制御点を設けることによって音を創出する制御と、音を消去する制御とを同時に実現できる。

次に、運転者の頭部位置の変化に応じてフィルターを切り換える例を説明する。第１補正部３０と第２補正部４０は運転者の頭部位置の変化により再現精度などが低下するため、頭部位置の変化に応じて第１補正部３０と第２補正部４０を変更することが望ましい。図１８に示す頭部位置検出装置３００により運転者の頭部位置を検出した後、記憶装置２４５に予め記憶されている第１補正部３０のフィルターと第２補正部４０のフィルターを運転者の頭部位置に応じて選択する。

具体的には、図３３に示すように、運転席を最前部に移動させた場合の頭部位置Ｐ１と、最後部に移動させた場合の頭部位置Ｐ２におけるマイクから運転者両耳位置までの伝達関数から求めたフィルターＧnm(1)、Ｇnm(2)を予め記憶しておき、座席の位置に応じた第１補正部３０のフィルターを選択する。同様に、第２補正部フィルターの選択例としては、図３４に示すように、運転席を最前部に移動させた場合の頭部位置Ｐ１と、最後部に移動させた場合の頭部位置Ｐ２におけるマイクから運転者両耳位置までの伝達関数から求めた逆フィルターＨmn(1)、Ｈmn(2)を予め記憶しておき、座席の位置に応じて第２補正部４０の逆フィルターを選択する。

このように、他の一実施の形態によれば、車体外周に車両周辺の音を集音する複数のマイクを設置するとともに、車室内に複数のスピーカーを配置し、複数のマイクにより車両周辺に存在する物体から位置情報を含む音を入力し、複数のスピーカーにより車両周辺物体の音を位置情報を維持したまま車両乗員に出力するようにした。具体的には、車両周辺物体の音が車両乗員に対して車両周辺物体が存在する方向から聞こえるように、複数のマイクで集音した音を補正する第１補正処理と、車両乗員に聞こえる複数のスピーカーの出力音が第１補正処理による補正後の音と等しくなるように、第１補正処理の出力音を補正する第２補正処理とを行うようにしたので、車両乗員に突発的な注意転導が発生するのを防止し、認知リソースに応じた適切な対応を取らせることができる上に、車両の窓を閉めたまま車両周辺の複数の物体の音を車両乗員に聞かせる安価な装置を提供することができる。

また、他の一実施の形態によれば、マイクを車両の左右に２個配置し、これらの２個のマイクで集音した音をバイノーラル音に補正するようにしたので、車両周辺物体からの音が開いている窓から自然に到来したかのように、車両乗員に車両周辺物体の音を聞かせることができる。

他の一実施の形態によれば、車両外周にダミーヘッドを取り付けて２個のマイクをダミーヘッドの左右耳介内に配置し、これらの２個のマイクで集音した音をバイノーラル音に補正するようにしたので、車両周辺物体からの音を車両乗員が直接両耳で聞くように、車両乗員に車両周辺物体の音を聞かせることができる。

他の一実施の形態によれば、マイクを車両の左右に２個配置し、車両周辺物体の音が車両の任意の窓を介して車両周辺物体の方向から聞こえるように、２個のマイクで集音した音を補正するようにした。具体的には、車両周辺物体の音に対して窓から車両乗員の頭部までの距離に応じた遅延と減衰の処理を施したり、あるいは車両周辺物体の音に対して窓から車両乗員の頭部までの音響伝達系の伝達関数により処理を施すようにしたので、車両周辺物体からの音が開いている窓から自然に到来したかのように、車両乗員に車両周辺物体の音を聞かせることができる。

他の一実施の形態によれば、第２補正処理において、第１補正処理後の出力音に対して各スピーカーから車両乗員までの音響伝達系の影響を除去する処理を施すようにしたので、マイクの位置と異なる位置にスピーカーを配値しても、車両乗員に対して車両周辺物体の音をその物体が存在する方向から正しく聞こえるように報知することができ、車両に対するマイクとスピーカーの配置自由度を向上させることができる。

他の一実施の形態によれば、車両乗員の両耳付近で車両周辺物体の音が聞こえ、車両運転者以外の車両乗員に車両周辺物体の音が聞こえないように、複数のスピーカーの出力音を制御するようにしたので、運転者にのみ車外環境音を聞かせて適切な対応を取らせながら、運転者以外の乗員には静かな車室内環境を提供することができる。

他の一実施の形態によれば、車両運転者の頭部位置を検出し、車両運転者の頭部位置に応じて第１補正処理と第２補正処理の内容を変更するようにしたので、運転者の頭部位置が変化しても車両周辺物体の音を精度よく再現することができる。

一実施の形態の基本構成を示す図一実施の形態の具体的な構成を示す図一実施の形態の処理の流れを示す示すフローチャート車両右側面に擬似耳介とマイクロホンを配置した例を示す図マイクロホンの取り付け位置例を示す図マイクロホンの取り付け位置例を示す図マイクロホンの取り付け位置例を示す図マイクカバー（防音部）の形状の例を示す図マイクカバーの内部にマイク及び擬似耳介を取り付けた状態を示す図車両の外装内に小さな室を設けてマイクと擬似耳介を埋め込んだ例を示す図音制御部の原理を説明するための図逆フィルターの構成例を示す図スピーカーの配置例を示す図スピーカーの配置例を示す図一実施の形態のシステムの概要を示す図音制御部のフィルター構成例を示す図他の一実施の形態の基本構成を示すブロック図他の一実施の形態の具体的な構成を示す図マイクの配置例を示す図マイクの他の配置例を示す図マイクの他の配置例を示す図他の一実施の形態の構成例を示す図他の一実施の形態の動作を示すフローチャート第１補正部の構成の概念を説明するための図第１補正部の構成例を示す図第１補正部フィルターの構成例を示す図第１補正部フィルターの他の構成例を示す図マイクの他の配置例を示す図第２補正部の構成の概念を示す図第２補正部の逆フィルターの構成例を示す図第２補正部の逆フィルターの他の構成例を示す図図３１に示す逆フィルターを簡略化した逆フィルター構成を示す図運転者頭部位置に応じた第１補正部フィルターの切り換え方法を説明する図運転者頭部位置に応じた第２補正部逆フィルターの切り換え方法を説明する図

符号の説明

１０音入力部
１５音分離部
１８防音部
３０第１補正部
４０第２補正部
５０音出力部
２１０_１〜２１０_ｎマイク
２３０、２６２ＡＤ変換器
２４０、２５０演算装置
２４５、２５５記憶装置
２６１、２７０ＤＡ変換器
２９０_１〜２９０_ｎスピーカー
３００頭部位置検出装置
３５０音制御部
４００音出力部

Claims

マイクロホンの後方に配置した擬似耳介と、前記マイクロホンおよび前記擬似耳介を包み込む風切音低減部材とを備えた集音手段を車両の外周壁に複数個設けるに際して、車両正中面に対して左右等距離にあり、且つ、運転者の耳位置より車両の後方側に配置した車両用聴覚モニター装置であって、
前記集音手段により集音した音を増幅する増幅手段と、
前記増幅手段により増幅された音をスピーカーから出力したときに前記運転者の耳位置に定位する音になるように補正する音制御手段と、
複数の出力経路およびスピーカーを車両内部の前記運転者正中面に対し左右位置に設け、前記音制御手段により補正された音を増幅して前記運転者に出力する音出力手段とを備え、
前記音制御手段は、前記スピーカーと前記運転者の耳位置との間における空間伝達特性を用いて、前記空間伝達特性の逆行列を求める逆フィルターを有する
ことを特徴とする車両用聴覚モニター装置。
請求項１に記載の車両用聴覚モニター装置において、
前記風切音低減部材は、音響透過性物質で防水加工されたスリットを有することを特徴とする車両用聴覚モニター装置。
請求項１または２に記載の車両用聴覚モニター装置において、
少なくとも２つの前記集音手段が車両の側壁内または側壁上に設置されることを特徴とする車両用聴覚モニター装置。
請求項１または２に記載の車両用聴覚モニター装置において、
前記音出力手段の前記スピーカーの内の少なくとも２つは、前記運転者耳介の後方に配置されることを特徴とする車両用聴覚モニター装置。
請求項１または２に記載の車両用聴覚モニター装置において、
前記音出力手段の前記スピーカーの内の少なくとも２つは、前記運転者の左右に配置されることを特徴とする車両用聴覚モニター装置。
請求項１または２に記載の車両用聴覚モニター装置において、
前記音出力手段の前記スピーカーの内の少なくとも２つは、前記運転者の正中面に対し左右に等間隔に配置されることを特徴とする車両用聴覚モニター装置。
請求項１または２に記載の車両用聴覚モニター装置において、
前記音出力手段の前記スピーカーの内の少なくとも２つは、前記運転者座席に付随しているヘッドレスト位置の左右、または肩位置に配置されることを特徴とする車両用聴覚モニター装置。
請求項１または２に記載の車両用聴覚モニター装置において、
前記音制御手段は、前記車両周辺物体の音が前記運転者に対して前記車両周辺物体が存在する方向から聞こえるように、前記複数のマイクロホンで集音した音を補正する第１補正手段と、
前記運転者に聞こえる前記複数のスピーカーの出力音が前記第１補正手段による補正後の音と等しくなるように、前記第１補正手段の出力音を補正する第２補正手段とを有することを特徴とする車両用聴覚モニター装置。
請求項８に記載の車両用聴覚モニター装置において、
前記マイクロホンを前記車両の左右に２個配置し、
前記第１補正手段は、前記２個のマイクロホンで集音した音をバイノーラル音に補正することを特徴とする車両用聴覚モニター装置。
請求項８に記載の車両用聴覚モニター装置において、
前記マイクロホンを前記車両の左右に２個配置し、
前記第１補正手段は、前記車両周辺物体の音が車両の任意の窓を介して前記車両周辺物体の方向から聞こえるように、前記２個のマイクロホンで集音した音を補正することを特徴とする車両用聴覚モニター装置。
請求項１０に記載の車両用聴覚モニター装置において、
前記第１補正手段は、前記車両周辺物体の音に対して前記窓から前記運転者の頭部までの距離に応じた遅延と減衰の処理を施すことを特徴とする車両用聴覚モニター装置。
請求項１０に記載の車両用聴覚モニター装置において、
前記第１補正手段は、前記車両周辺物体の音に対して前記窓から前記運転者の頭部までの音響伝達系の伝達関数により処理を施すことを特徴とする車両用聴覚モニター装置。
請求項８〜１２のいずれか１項に記載の車両用聴覚モニター装置において、
前記第２補正手段は、前記第１補正手段の出力音に対して前記各スピーカーから前記運転者までの音響伝達系の影響を除去する処理を施すことを特徴とする車両用聴覚モニター装置。
請求項１３に記載の車両用聴覚モニター装置において、
前記第２補正手段は、前記運転者の両耳付近で前記車両周辺物体の音が聞こえるように、前記複数のスピーカーの出力音を制御することを特徴とする車両用聴覚モニター装置。
請求項１３に記載の車両用聴覚モニター装置において、
前記第２補正手段は、前記運転者以外の車両乗員に前記車両周辺物体の音が聞こえないように、前記複数のスピーカーの出力音を制御することを特徴とする車両用聴覚モニター装置。
請求項８〜１５のいずれか１項に記載の車両用聴覚モニター装置において、
前記運転者の頭部位置を検出する位置検出手段を備え、
前記第１補正手段は、前記運転者の前記頭部位置に応じて前記第１補正手段の処理を変更することを特徴とする車両用聴覚モニター装置。
請求項８〜１５のいずれか１項に記載の車両用聴覚モニター装置において、
前記運転者の頭部位置を検出する位置検出手段を備え、
前記第２補正手段は、前記運転者の前記頭部位置に応じて前記第２補正手段の処理を変更することを特徴とする車両用聴覚モニター装置。
マイクロホンの後方に配置した擬似耳介と、前記マイクロホンおよび前記擬似耳介を包み込む風切音低減部材とを備えた集音手段を車両の外周壁に複数個設けるに際して、車両正中面に対して左右等距離にあり、且つ、運転者の耳位置より車両の後方側に配置する車両用聴覚モニター方法であって、
前記集音手段により集音した音を増幅する増幅工程と、
前記増幅工程により増幅された音をスピーカーから出力したときに前記運転者の耳位置に定位する音になるように補正する音制御工程と、
複数の出力経路およびスピーカーを車両内部の前記運転者正中面に対し左右位置に設けることにより、前記音制御工程において補正された音を増幅して前記運転者に出力する音出力工程とを備え、
前記音制御工程は、前記スピーカーと前記運転者の耳位置との間における空間伝達特性を用いて、前記空間伝達特性の逆行列を求める逆フィルター処理を実行する
ことを特徴とする車両用聴覚モニター方法。