JP5242450B2

JP5242450B2 - 音源推定方法

Info

Publication number: JP5242450B2
Application number: JP2009046460A
Authority: JP
Inventors: 雅直大脇; 健史財満; 甲治間瀬
Original assignee: Honda Motor Co Ltd; Kumagai Gumi Co Ltd
Current assignee: Honda Motor Co Ltd; Kumagai Gumi Co Ltd
Priority date: 2009-02-27
Filing date: 2009-02-27
Publication date: 2013-07-24
Anticipated expiration: 2029-02-27
Also published as: JP2010203785A

Description

本発明は、複数のマイクロフォンで採取した音の情報と、撮影手段で撮影した映像の情報とを用いて、音源を推定する方法に関するものである。

従来、音の到来方向を推定する方法としては、多数のマイクロフォンを等間隔に配置したマイクロフォンアレーを構築し、基準となるマイクロフォンに対する各マイクロフォンの位相差から音波の到来方向である音源の方向を推定する、いわゆる音響学的手法が考案されている（例えば、非特許文献１参照）。
一方、計測点に配置された複数のマイクロフォンの出力信号の位相差からではなく、複数のマイクロフォンから互いに交わる直線状に配置された複数のマイクロフォン対を構成し、対となる２つのマイクロフォン間の位相差に相当する到達時間差と、他の対となる２つのマイクロフォンＭｃ，Ｍｄ間の到達時間差との比から音源の方向を推定する方法が提案されている（例えば、特許文献１〜３参照）。

具体的には、図８に示すように、４個のマイクロフォンＭ１〜Ｍ４を、互いに直交する２直線上にそれぞれ所定の間隔で配置された２組のマイクロフォン対（Ｍ１，Ｍ３）及びマイクロフォン対（Ｍ２，Ｍ４）を構成するように配置し、前記マイクロフォン対（Ｍ１，Ｍ３）を構成するマイクロフォンＭ１，Ｍ３に入力する音圧信号の到達時間差と、前記マイクロフォン対（Ｍ２，Ｍ４）を構成するマイクロフォンＭ２，Ｍ４に入力する音圧信号の到達時間差との比から、計測点と音源の位置との水平角θを推定するとともに、第５のマイクロフォンＭ５を前記マイクロフォンＭ１〜Ｍ４の作る平面上にない位置に配置して、更に４組のマイクロフォン対（Ｍ５，Ｍ１），（Ｍ５，Ｍ２），（Ｍ５，Ｍ３），（Ｍ５，Ｍ４）を構成し、各マイクロフォン対を構成するマイクロフォン間の到達時間差から、計測点と音源の位置との成す仰角φを推定する。

これにより、マイクロフォンアレーを用いて音源方向を推定する場合に比較して、少ないマイクロフォン数で音源の方向を正確に推定することができる。
また、このとき、ＣＣＤカメラ等の映像採取手段を設けて推定された音源方向の映像を撮影した後、この映像のデータと音源の方向のデータとを合成して、映像中に推定した音源方向と音圧レベルとを図形で表示するようにすれば、音源を視覚的に把握することができる。

特開２００２−１８１９１３号公報特開２００６−３２４８９５号公報特開２００８−２２４２５９号公報

大賀寿郎，山崎芳男，金田豊；音響システムとディジタル処理，コロナ社，１９９５

ところで、前記従来の方法では、車室内などの室内で音源の測定を行った場合、計測点の位置によっては、室内モードの影響を強く受けてしまうことがある。つまり、室内では反射音が多く発生するため、音の共振により、音圧レベルが直接音よりも高くなる場所が発生する。そのため、室内モードの影響が強い場合には、推定した音源方向を示す図形が映像中の様々な位置に描画されるので、音源の位置を特定することが困難であった。

本発明は、従来の問題点に鑑みてなされたもので、車室内などの、室内モードの影響が大きい場所であっても、音源の方向を精度よく特定して、音源を確実に推定することのできる音源推定方法を提供することを目的とする。

本願の請求項１に記載の発明は、複数のマイクロフォンで採取した音の情報と、撮影手段で撮影した映像の情報とを用いて、音源の位置を推定する音源推定方法であって、複数のマイクロフォンと撮影手段とを一体化した音・映像採取ユニットを移動させて、音源と推定される方向から伝播される音と前記音源と推定される方向の映像とを採取する第１のステップと、前記複数のマイクロフォンで採取した音の音圧信号の位相差から音源の方向（水平角θと仰角φ）を複数の撮影位置にてそれぞれ推定する第２のステップと、前記推定された音源の方向のデータと、前記音源の方向の推定に用いた音を採取したときに撮影された映像の画像データとを合成して、前記推定された音源の方向を示す図形が描画された映像を前記複数の撮影位置毎に作成する第３のステップと、前記推定された音源の方向を示す図形が描画された複数の映像から、音源の位置を推定する第４のステップとを備え、前記第４のステップでは、前記推定された音源の方向を示す図形が描画された複数の映像から、前記図形が所定数以上重なって描画された箇所のある映像を選択し、この選択された映像中の、前記図形が所定数以上重なって描画された箇所を音源の方向であるとして音源の位置を推定することを特徴とする。

なお、映像中の、音源方向を示す図形が重なって描画された箇所を特定するには、例えば、連続して撮影された映像の複数の画像データＧ_k（ｋ＝１〜ｎ）のそれぞれについて、各画像データＧ_kをｍ個の領域Ｒ_k（ｋ＝１〜ｍ）に分割して、各領域Ｒ_kにおける点（θ，φ）の密度をそれぞれ算出して、密度が最も高い領域Ｒ_mがある複数の画像データＧ_kを抽出することで、音源方向を示す図形が重なって描画された箇所を特定することができる。音源の推定位置は、前記画像データＧ_kの密度が最も高い領域Ｒ_m内に存在するので、例えば、前記領域Ｒ_m内における点（θ，φ）の平均値を求めれば、音源の位置を精度よく推定することができる。

請求項２に記載の発明は、請求項１に記載の音源推定方法において、前記第４のステップで音源の方向であるとした方向を、前記第１のステップにおける音源と推定される方向であるとして、前記第１のステップから前記第４のステップまでを繰り返して、前記音源の位置を推定することを特徴とする。
請求項３に記載の発明は、請求項１または請求項２に記載の音源推定方法において、前記音・映像採取ユニットを、床面もしくは天井面と交差する空間内で移動させることを特徴とする。

また、請求項４に記載の発明は、請求項１〜請求項３のいずれかに記載の音源推定方法であって、前記複数のマイクロフォンは、互いに交わる２つの直線上にそれぞれ所定の間隔で配置された２組のマイクロフォン対を構成する第１〜第４のマイクロフォンと、前記２組のマイクロフォン対の作る平面上にない第５のマイクロフォンとを有し、前記２組のマイクロフォン対を構成するマイクロフォン間の位相差の比と、前記第５のマイクロフォンと前記２組のマイクロフォン対を構成する４個のマイクロフォンのそれぞれとで構成される４組のマイクロフォン対を構成するマイクロフォン間の位相差とを用いて前記音源の方向を推定することを特徴とする。

本発明によれば、複数のマイクロフォンと撮影手段とを一体化した音・映像採取ユニットを移動させて、音源と推定される方向から伝播される音と前記音源と推定される方向の映像とを採取して、音源方向を示す図形が描画された複数の映像を作成し、これら複数の映像から、音源方向を示す図形が集中している映像を選び出し、この選ばれた映像中の図形が集中している箇所が音源の方向であるとして音源の位置を推定するようにしたので、車室内などの、室内モードの影響が大きい場所であっても、音源の位置を短い測定時間で精度よく推定することができる。

本発明の方法では、音源方向を推定した後に音源の方向の映像を撮影するのではなく、音源と推定される方向から伝播される音の情報を採取しながら音源と推定される方向を撮影しているので、得られた複数の映像では、映像中心が推定した音源方向とはなっていないが、音の音圧信号と映像信号とを同時にかつほぼ連続的に測定しているので、音源方向を示す図形が描画された複数の映像を効率よく作成することができる。

また、第１のステップから第４のステップまでを繰り返して、音源の位置を推定するようにしたので、単に、計測点を移動させて測定する場合に比較して、推定した音源方向を示す図形が映像の特定の箇所に集中して描画されている映像を確実に得ることができる。したがって、音源方向の推定精度を大幅に向上させることができる。
また、音・映像採取ユニットを、床面もしくは天井面と交差する空間内で移動させることにより、音・映像採取ユニットの高さを変えながら測定して、室内の形状に依存する音圧レベルの分布の影響をなくすようにしたので、音源の位置の推定精度を更に向上させることができる。

また、互いに交わる２つの直線上にそれぞれ所定の間隔で配置された２組のマイクロフォン対を構成する第１〜第４のマイクロフォンと、２組のマイクロフォン対の作る平面上にない第５のマイクロフォンとから成る音採取手段を構成し、２組のマイクロフォン対を構成するマイクロフォン間の位相差の比と、前記第１〜第５のマイクロフォン間の位相差とを用いて音源の方向を推定するようにしたので、水平角θだけでなく、仰角φについても、少ないマイクロフォン数で、効率よくかつ正確に推定することができる。

なお、前記発明の概要は、本発明の必要な全ての特徴を列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となり得る。

本発明による音源推定方法の概要を示す図である。音源を推定する際に用いられる音源位置推定システムの構成を示す機能ブロック図である。異音の発生源を推定する方法を示すフローチャートである。音・映像採取ユニットの移動方法の一例を示す図である。音源位置推定画面が表示された表示画面の一例を示す図である。音及び映像の採取位置と音源位置推定画面との関係を示す図である。音源位置推定のための再測定の方法を説明するための図である。従来のマイクロフォン対を用いた音源探査方法におけるマイクロフォンの配列を示す図である。

以下、実施の形態を通じて本発明を詳説するが、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また、実施の形態の中で説明される特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

以下、本発明の実施の形態について、図面に基づき説明する。
図１は本発明による音源推定方法の概要を示す図で、本例では、乗用車５０の車室５１内で発生した異音の発生源を推定する。
また、図２は音源の推定に用いられる音源位置推定システムの構成を示す機能ブロック図である。
各図において、１０は音・映像採取ユニット、２０は音源位置推定装置である。
音・映像採取ユニット１０は、音採取手段としての複数のマイクロフォンＭ１〜Ｍ５と映像採取手段としてのＣＣＤカメラ（以下、カメラという）１２とを一体化したものである。マイクロフォンＭ１〜Ｍ５により音採取手段１１を構成する。

音採取手段１１を構成するマイクロフォンＭ１〜Ｍ５は、マイクロフォン固定部１３にそれぞれ固定される。また、カメラ１２はカメラ支持台１４に固定される。マイクロフォン固定部１３とカメラ支持台１４とは、カメラ支持台１４に立設された３本の支柱１５によって連結されている。つまり、音採取手段１１とカメラ１２とは一体化されている。なお、マイクロフォンＭ１〜Ｍ５は、カメラ１２の上部に配置される。
３本の支柱１５のうち、カメラ１２の撮影方向とは反対方向に位置する支柱１５には、把手（とって）１６が設けられている。この把手１６を把持してカメラ支持台１４を移動させることで、音採取手段１１とカメラ１２とを一体に移動させることができる。
マイクロフォンＭ１〜Ｍ５は、図示しない音源から伝播される音の音圧レベルをそれぞれ測定する。

マイクロフォンＭ１〜Ｍ５の配置は、前記図８に示したものと同様で、４個のマイクロフォンＭ１〜Ｍ４を、互いに直交する２直線上にそれぞれ所定の間隔で配置された２組のマイクロフォン対（Ｍ１，Ｍ３）及びマイクロフォン対（Ｍ２，Ｍ４）を構成するように配置するとともに、第５のマイクロフォンＭ５を前記マイクロフォンＭ１〜Ｍ４の作る平面上にない位置、詳細には、マイクロフォンＭ１〜Ｍ４の作る正方形を底面とする四角錐の頂点の位置に配置する。これにより、更に４組のマイクロフォン対（Ｍ５，Ｍ１）〜（Ｍ５，Ｍ４）が構成される。
本例では、カメラ１２の撮影方向を、前記直交する２直線の交点を通り前記２直線とほぼ４５°をなす方向に設定している。したがって、音・映像採取ユニット１０の向きは、図１の白抜きの矢印Ｄの方向となる。カメラ１２は、音・映像採取ユニット１０の向きに応じた映像を採取する。

音源位置推定装置２０は、増幅器２１と、Ａ／Ｄ変換器２２と、映像入出力手段２３と、記憶手段２４と、音圧信号取出手段２５と、音源方向推定手段２６と、映像信号取出手段２７と、データ合成手段２８と、音源位置表示手段２９とを備える。
増幅器２１はローパスフィルタを備え、マイクロフォンＭ１〜Ｍ５で採取した各音の音圧信号から高周波ノイズ成分を除去するとともに、各音圧信号をそれぞれ増幅してＡ／Ｄ変換器２２に出力する。Ａ／Ｄ変換器２２は、各音圧信号をＡ／Ｄ変換した音圧波形データを作成し、これを、記憶手段２４に出力する。
映像入出力手段２３は、カメラ１２で連続的に撮影された映像信号を入力し、所定時間（例えば、１／３０秒）毎に撮影方向の画像データを出力する。
記憶手段２４は、音圧波形データと画像データとを時系列に配列して記憶する。
音圧波形データと画像データとを時系列に配列して記憶する方法としては、音圧波形データと画像データとを同期させて記憶するか、あるいは、音圧波形データと画像データとにそれぞれに時刻データを付けて記憶するなど、周知の方法を用いることができる。

音圧信号取出手段２５は、記憶手段２４から、音圧波形データを取出してこれを音源方向推定手段２６に出力する。このとき、音圧波形データを、画像データに対応した所定時間毎の音圧波形データとして取出す。
音源方向推定手段２６では、取出された音圧波形データから各マイクロフォンＭ１〜Ｍ５間の位相差を求め、この求められた位相差から音源方向を推定し、その推定結果をデータ合成手段２８に出力する。音源方向の推定の詳細については、後述する。
映像信号取出手段２７は、記憶手段２４から、前記所定時間毎の画像データを取出してこれをデータ合成手段２８に出力する。
データ合成手段２８は、音源方向推定手段２６で推定された音源方向のデータと映像信号取出手段２７から出力される画像データ（音源の方向の推定に用いた音の音圧信号を採取したときに撮影された映像）とを合成する。
音源位置表示手段２９は、データ合成手段２８で合成された、画像中に音源の方向を示す図形が描画された音源方向推定画像を表示する。

次に、乗用車５０の車室５１内で発生した異音の発生源を推定する方法について、図３のフローチャートを参照して説明する。
まず、音・映像採取ユニット１０と音源位置推定装置２０とを乗用車５０の車室５１内に持ち込み、音・映像採取ユニット１０と音源位置推定装置２０とを接続してから、音源位置推定装置２０を立ち上げて測定の準備をする（ステップＳ１０）。
そして、図４に示すように、音・映像採取ユニット１０を、車室５１内を一定の速度でゆっくりと移動させ、マイクロフォンＭ１〜Ｍ５にて音を採取し、カメラ１２にて映像を採取する（ステップＳ１１）。このとき、音・映像採取ユニット１０を、同図の矢印で示すカメラ１２の撮影方向Ｄを、図示しない乗員から異音発生の指摘があった場所Ｐ方向に向けながら、車室５１内の空間を８の字を描くようにして移動させる。
音・映像採取ユニット１０を移動させる空間Ｓとしては、車体５１の床面もしくは天井面と交差する平面内で移動させることが好ましい。
また、移動速度の目安としては、１０cm/sec.以下とすることが好ましい。

次に、各マイクロフォンＭ１〜Ｍ５で採取した音の音圧信号（アナログ信号）をデジタル信号（音圧波形データ）に変換した後、これを記憶手段２４に記憶するとともに、カメラ１２で採取した映像信号についても、デジタル信号に変換した後、これを記憶手段２４に記憶する（ステップＳ１２）。
そして、記憶手段２４に記憶された音圧波形データを取出して、音源方向の推定計算を行う（ステップＳ１３）。音圧波形データの取出しは、撮影方向の画像データと同じ所定時間毎に行われるので、音源方向の推定を、所定時間毎に記憶された撮影方向の画像データ毎に行うことができる。
音源方向の推定は、音圧波形データをＦＦＴにて周波数解析し、各周波数毎にマイクロフォンＭ１〜Ｍ５間のそれぞれの位相差を求め、この求められた位相差から各周波数毎に音源の方向を推定する。
ステップＳ１４の水平角θ及び仰角φの計算方法について後述する。

推定された音源の方向のデータは、画像データ毎に求められるので、画像番号をｋ、周波数をｊとすると、音源の方向のデータは（θ_kj，φ_kj）と表わせる。
この音源の方向のデータ（θ_kj，φ_kj）と音源の方向の推定に用いた音の音圧信号を採取したときに撮影された映像の画像データＧ_kとを合成することにより、図５に示すような、推定された音源の方向を示す図形（ここでは、網目模様の丸印）３２が描画された音源位置推定画面３３ｋが表示された表示画面３０ｋを、各画像データＧ_k毎に作成する（ステップＳ１４）。

表示画面３０ｋには、カメラ１２で撮影した映像のうちのｋ番目の映像３１ｋ（画像データとしては、画像データＧ_k）上に、音源の方向を表す網目模様の丸印３２が描画された音源位置推定画面３３ｋが表示される。音源位置推定画面３３ｋの横軸は水平角θ_kで、縦軸は仰角φ_kである。
また、丸印３２の丸の大きさは音圧信号の大きさである音圧レベルを表す。
なお、推定された音源の方向を、予め設定した周波数帯域毎に表示することも可能である。この場合には、周波数帯域毎に丸印３２の色を設定すればよい。
また、音源位置推定画面３３ｋの下側には、横軸をθとしたときの音圧レベル（ｄＢ）を表示した音圧レベル表示画面３４ｋが表示される。この音圧レベル表示画面３４ｋについても、周波数帯域毎に表示することも可能である。

本例では、画像データＧ_k（ｋ＝１〜ｎ）毎に作成された多数の音源位置推定画面３３ｋを用いて、異音の発生源を推定する。すなわち、多数の音源位置推定画面３３ｋの中から、音源位置推定画面３３ｋ中に描画された網目模様の丸印３２が所定数以上重なって描画された箇所が集中している最適推定画面を選び出し、（ステップＳ１５）、この最適推定画面中の網目模様の丸印３２が集中している箇所を異音の発生源の方向と推定する（ステップＳ１６）。
本例では、この異音の発生源の位置の推定機能を、音源位置表示手段２９に持たせているが、別途、最適推定画面を選び出す手段である最適推定画面選定手段、及び、異音の発生源の位置を推定する音源位置特定手段を設けてもよい。
なお、異音の発生源とその位置については、前記推定された異音の発生源の方向を参照して、測定者が特定する。

最適推定画面の選定方法としては、以下のような方法がある。
まず、図６に示すように、前記連続して撮影された映像の複数の画像データＧ_k（ｋ＝１〜ｎ）のそれぞれについて、車室５１内の空間を８の字を描くようにして移動させて撮影した映像の各画像データＧ_kを、それぞれｍ個の領域Ｒ_k（ｋ＝１〜ｍ）に分割して、各領域Ｒ_kにおける点（θ，φ）の数をそれぞれ算出して、この数の最大値を各画像データＧ_kの集中数ｎ（ｋ）とする。各領域Ｒ_kにおける点（θ，φ）が、映像３１ｋにおける網目模様の丸印３２に対応する。
例えば、図６の左側で撮影した映像３１ｐの画像データＧ_ｐで最も点（θ，φ）の数が多いのは領域Ｒ₄で、その数は４個である。したがって、画像データＧ_ｐの集中数ｎ（ｐ）は４である。一方、図６の左上側で撮影した映像３１ｑの画像データＧ_qで最も点（θ，φ）の数が多いのは領域Ｒ₅で、その数は１２個である。したがって、画像データＧ_qの集中数ｎ（ｑ）は１２である。
このようにして、複数の画像データＧ_kの集中数ｎ（ｋ）をそれぞれ算出して比較することで、最適推定画面を特定することができる。本例では、画像データＧ_qの集中数ｎ（ｑ）が１２である映像３１ｑを最適推定画面とした。

最適推定画面を用いて音源方向を推定する際には、最適推定画面の画像データ（ここでは、画像データＧ_q）の分割数を増やして異音の発生源の方向を推定する。具体的には、映像の各画像データＧ_kを、上記ｍ個よりも大きな数ｎ個の領域ｒ_k（ｋ＝１〜ｎ）に分割して、各領域ｒ_kにおける点（θ，φ）の数をそれぞれ算出して、再度、点（θ，φ）の数が最も多い領域ｒ_Mを求める。そして、この領域ｒ_Mを音源の方向とすれば、異音の発生源の方向を精度よく推定することができる。
なお、最適推定画面の画像データＧ_qで最も点（θ，φ）の数が多い領域Ｒ_m内における点（θ，φ）の平均位置を求め、これを音源の方向としてもよい。
最適推定画面である映像３１ｑでは、図６に示すように、異音の発生源は、同図の黒い太丸で示す領域Ｘにあることが推定される。領域Ｘにはカーステレオのスピーカがあることから、異音は、運転者が間違ってカーステレオのスイッチをＯＮしたために発生したと推定される。一方、最適推定画面ではない映像３１ｐでは、異音の発生源であるカーステレオのスピーカが映っているにもかかわらず、網目模様の丸印３２が領域Ｘから大きく外れている。
このように、複数の画像データＧ_kから最適推定画面となる画像データを特定してこれを映像で表示し、この最適推定画面を用いて音源を推定するようにすれば、車室５１内などのように、室内モードの影響が大きい場所であっても、音源の位置を精度よく推定することができる。

なお、最適推定画面を選び出す方法としては、音源位置推定画面３３ｋ（ｋ＝１〜ｎ）を時系列に連続して音源位置表示手段２９の表示画面に映し出し、これを測定者が動画として観察し、判定するのが最も簡便である。つまり、測定者が動画をみて、音源位置推定画面３３ｋ中に描画された網目模様の丸印３２が集中している箇所が映っている画面が連続して現れたときに動画を停止させる。そして、その時刻前後の複数枚の音源位置推定画面３３ｋを音源位置表示手段２９の表示画面に順次映し出して、最適推定画面を特定すればよい。

ところで、最適推定画面を選択しても、最適推定画面中での網目模様の丸印３２の集中度が低い場合がある。この場合には、前記最適推定画面を用いて音源方向を推定しても、その精度は低いことが予想される。
そこで、本例では、最適推定画面の画像データをＧ_Mとしたとき、このＧ_M中の領域Ｒ_m内における点（θ，φ）の分布幅ｗを求めて、予め設定した閾値ｗ_kと比較することで、前記分布の分布幅が広いかどうかを判定する（ステップＳ１７）。
分布の幅が広い場合には、図７（ａ）に示すように、異音の発生源のあると推定される領域Ｍも広いので、測定箇所を、前記領域Ｍからの音が採取しやすい箇所Ｑに変更して（ステップＳ１８）、ステップＳ１１に戻り、再測定を行う。このときも、音・映像採取ユニット１０の向きを前記音が採取しやすい箇所Ｑの向きになるようにして、音・映像採取ユニット１０を一定の速度でゆっくりと移動させて測定する。これにより、推定された音源の方向を示す図形３２の集中度がより高い音源位置推定画面３３を選択することができるので、この音源位置推定画面３３を最適推定画面として、音源の方向を特定すれば、異音の発生源をより精度良く推定することができる。
また、前記ステップＳ１１〜Ｓ１８までを繰り返し行って音源の方向を推定すれば、音源方向の推定精度を向上させることができ、異音の発生源を確実に推定できる。

なお、ステップＳ１４における水平角θ及び仰角φの計算方法は以下の通りである。
各マイクロフォン対（Ｍｉ, Ｍｊ）のマイクロフォンＭｉとマイクロフォンＭｊとの間の到達時間差をＤ_ijとすると、音の入射方向である水平角θと仰角φとは以下の式（１），（２）で表わせるので、各マイクロフォンＭ１〜Ｍ５の出力信号をＦＦＴを用いて周波数分析し、対象となる周波数ｆにおける各マイクロフォンＭ_ｉ，Ｍ_ｊ間の到達時間差Ｄ_ijを算出することにより、前記水平角θ及び仰角φを求めることができる。

すなわち、互いに直交する２直線上にそれぞれ所定の間隔で配置された２組のマイクロフォン対（Ｍ１，Ｍ３）及びマイクロフォン対（Ｍ２，Ｍ４）を構成するマイクロフォンＭ１，Ｍ３に入力する音圧信号の到達時間差Ｄ₁₃と、前記マイクロフォン対（Ｍ２，Ｍ４）を構成するマイクロフォンＭ２，Ｍ４に入力する音圧信号の到達時間差Ｄ₂₄との比から、計測点と音源位置との水平角θを推定し、前記到達時間差Ｄ₁₃，Ｄ₂₄と、前記第５のマイクロフォンＭ５と他のマイクロフォンＭ１〜Ｍ４との到達時間差Ｄ_5j（ｊ＝１〜４）とから計測点と音源位置との成す仰角φを推定する。

なお、前記到達時間差Ｄ_ijは、２つのマイクロフォン対（Ｍ_ｉ，Ｍ_ｊ）に入力される信号のクロススペクトルＰ_ij（ｆ）を求め、更に、対象とする前記周波数ｆの位相角情報Ψ（ｒａｄ）を用いて、以下の式（３）を用いて算出される。

音源方向の推定結果は、所定時間毎に記憶された撮影方向の画像データ毎に行う。

このように、本実施の形態では、複数のマイクロフォンＭ１〜Ｍ５とカメラ１２とを一体化した音・映像採取ユニット１０を一定の速度でゆっくりと移動させて、異音発生の指摘があった場所Ｐを中心に音と映像の情報を採取し、各マイクロフォンＭ１〜Ｍ５で採取した音の音圧信号を用いて音源の方向である水平角θと仰角φとを周波数毎に算出した後、音源の方向のデータ（θ_kj，φ_kj）と音源の方向の推定に用いた音の音圧信号を採取したときに撮影された映像の画像データＧ_kとを合成して、推定された音源の方向を示す図形３２が描画された音源位置推定画面３３ｋを作成し、この音源位置推定画面３３ｋにおいて、音源の方向を示す図形３２が集中的に描画されている箇所を異音の発生源の方向として、異音の発生源を特定するようにしたので、乗用車５０の車室５１内などのような、室内モードの影響が大きい場所であっても、異音の発生源とその位置とを短い測定時間で精度よく推定することができる。
また、音源位置推定画面中での音源の方向を示す図形３２の集中度が低い場合には、推定した異音の発生源の方向を、異音発生の指摘があった方向として再測定を行うようにしたので、異音の発生源をより精度良く推定することができる。

なお、前記実施の形態では、車室内における異音の発生源を推定する方法について説明したが、本発明はこれに限るものではなく、室内などの壁等による反射音の影響が大きい箇所での音源の推定に用いることができる。
また、前記例では、音源位置の撮影間隔である所定時間を１／３０秒としたが、これに限るものではなく、音源の種類や必要測定精度等により適宜決定すればよい。
また、音・映像採取ユニット１０を移動させる際には、必ずしも、車室５１内の空間を８の字を描くようにして移動させる必要はなく、車体５１の床面もしくは天井面と交差する平面内で移動させるようにすればよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は前記実施の形態に記載の範囲には限定されない。前記実施の形態に、多様な変更または改良を加えることが可能であることが当業者にも明らかである。そのような変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲から明らかである。

以上説明したように、本発明によれば、車室内などの、室内モードの影響が大きい場所であっても、音源を精度よく推定できるので、室内で発生した異音等の発生源を特定することができる。したがって、室内における防音対策を効率よく行うことができる。

１０音・映像採取ユニット、１１音採取手段、１２ＣＣＤカメラ、
１３マイクロフォン固定部、１４カメラ支持台、１５支柱、１６把手、
Ｍ１〜Ｍ５マイクロフォン、
２０音源位置推定装置、２１増幅器、２２Ａ／Ｄ変換器、２３映像入出力手段、
２４記憶手段、２５音圧信号取出手段、２６音源方向推定手段、
２７映像信号取出手段、２８データ合成手段、２９音源位置表示手段、
３０表示画面、３１映像、３２音源の方向を表す図形、３３音源位置推定画面、
３４音圧レベル表示画面、５０乗用車、５１車室。

Claims

複数のマイクロフォンと撮影手段とを一体化した音・映像採取ユニットを移動させて、音源と推定される方向から伝播される音と前記音源と推定される方向の映像とを採取する第１のステップと、
前記複数のマイクロフォンで採取した音の音圧信号の位相差から音源の方向を複数の撮影位置にてそれぞれ推定する第２のステップと、
前記推定された音源の方向のデータと、前記音源の方向の推定に用いた音を採取したときに撮影された映像の画像データとを合成して、前記推定された音源の方向を示す図形が描画された映像を前記複数の撮影位置毎に作成する第３のステップと、
前記推定された音源の方向を示す図形が描画された複数の映像から、音源の位置を推定する第４のステップとを備え、
前記第４のステップでは、前記推定された音源の方向を示す図形が描画された複数の映像から、前記図形が所定数以上重なって描画された箇所のある映像を選択し、この選択された映像中の、前記図形が所定数以上重なって描画された箇所を音源の方向であるとして音源の位置を推定することを特徴とする音源推定方法。
前記第４のステップで音源の方向であるとした方向を、前記第１のステップにおける音源と推定される方向であるとして、前記第１のステップから前記第４のステップまでを繰り返して、前記音源の位置を推定することを特徴とする請求項１に記載の音源推定方法。
前記音・映像採取ユニットを、床面もしくは天井面と交差する空間内で移動させることを特徴とする請求項１または請求項２に記載の音源推定方法。
前記複数のマイクロフォンは、互いに交わる２つの直線上にそれぞれ所定の間隔で配置された２組のマイクロフォン対を構成する第１〜第４のマイクロフォンと、前記２組のマイクロフォン対の作る平面上にない第５のマイクロフォンとを有し、前記２組のマイクロフォン対を構成するマイクロフォン間の位相差の比と、前記第５のマイクロフォンと前記２組のマイクロフォン対を構成する４個のマイクロフォンのそれぞれとで構成される４組のマイクロフォン対を構成するマイクロフォン間の位相差とを用いて前記音源の方向を推定することを特徴とする請求項１〜請求項３に記載の音源推定方法。