JP5242452B2

JP5242452B2 - 音源の推定方法とその装置

Info

Publication number: JP5242452B2
Application number: JP2009046835A
Authority: JP
Inventors: 雅直大脇; 健史財満; 甲治間瀬
Original assignee: Honda Motor Co Ltd; Kumagai Gumi Co Ltd
Current assignee: Honda Motor Co Ltd; Kumagai Gumi Co Ltd
Priority date: 2009-02-27
Filing date: 2009-02-27
Publication date: 2013-07-24
Anticipated expiration: 2029-02-27
Also published as: JP2010203800A

Description

本発明は、複数のマイクロフォンで採取した音の情報と、撮影手段で撮影した映像の情報とを用いて、音源を推定する方法とその装置に関するものである。

従来、音の到来方向を推定する方法としては、多数のマイクロフォンを等間隔に配置したマイクロフォンアレーを構築し、基準となるマイクロフォンに対する各マイクロフォンの位相差から音波の到来方向である音源方向を推定する、いわゆる音響学的手法が考案されている（例えば、非特許文献１参照）。
一方、計測点に配置された複数のマイクロフォンの出力信号の位相差からではなく、複数のマイクロフォンから互いに交わる直線状に配置された複数のマイクロフォン対を構成し、対となる２つのマイクロフォン間の位相差に相当する到達時間差と、他の対となる２つのマイクロフォン間の到達時間差との比から音源方向を推定する方法が提案されている（例えば、特許文献１〜３参照）。

具体的には、図６に示すように、４個のマイクロフォンＭ１〜Ｍ４を、互いに直交する２直線上にそれぞれ所定の間隔で配置された２組のマイクロフォン対（Ｍ１，Ｍ３）及びマイクロフォン対（Ｍ２，Ｍ４）を構成するように配置し、前記マイクロフォン対（Ｍ１，Ｍ３）を構成するマイクロフォンＭ１，Ｍ３に入力する音圧信号の到達時間差と、前記マイクロフォン対（Ｍ２，Ｍ４）を構成するマイクロフォンＭ２，Ｍ４に入力する音圧信号の到達時間差との比から、計測点と音源の位置との成す水平角θを推定するとともに、第５のマイクロフォンＭ５を前記マイクロフォンＭ１〜Ｍ４の作る平面上にない位置に配置して、更に４組のマイクロフォン対（Ｍ５, Ｍ１），（Ｍ５, Ｍ２），（Ｍ５, Ｍ３），（Ｍ５, Ｍ４）を構成し、前記各マイクロフォン対を構成するマイクロフォン間の到達時間差から、計測点と音源の位置との成す仰角φを推定する。

これにより、マイクロフォンアレーを用いて音源方向を推定する場合に比較して、少ないマイクロフォン数で音源方向を正確に推定することができる。
また、このとき、ＣＣＤカメラ等の映像採取手段を設けて前記推定された音源方向の映像を撮影した後、この映像のデータと音源方向のデータとを合成して、映像中に前記推定した音源方向と音圧レベルとを図形で表示するようにすれば、音源を視覚的に把握することができる。
また、音の採取と同時に映像採取手段にて映像を連続的に撮影し、音の情報とともに、映像の情報を動画としてコンピュータに保存しておき、その後音源方向の計算を行って映像中に推定した音源方向と音圧レベルとを図形を表示して音源を推定する方法も行われている。

特開２００２−１８１９１３号公報特開２００６−３２４８９５号公報特開２００８−２２４２５９号公報

大賀寿郎，山崎芳男，金田豊；音響システムとディジタル処理，コロナ社，１９９５

ところで、前記従来の方法では、予め設定された所定の測定時間（例えば、１２０秒）だけ採取した音の情報と映像の情報とをコンピュータに取り込んだ後に、この取り込んだ情報を用いて音源方向の計算を行っていた。そのため、突発的な音や間欠的な音が発生した場合、測定仕損じたりすることがあり、不要なデータのみを解析してしまうなど、効率的な測定が困難であるといった問題点があった。

本発明は、従来の問題点に鑑みてなされたもので、突発的な音や間欠的な音が発生した場合でも、音源の推定を確実に行うことのできる方法とその装置を提供することを目的とする。

本願の請求項１に記載の発明は、複数のマイクロフォンと撮影手段とを一体に組み込んだ音・映像採取ユニットを用いて音の情報と映像の情報とを同時に採取して、この採取した音の音圧信号のデータである音圧波形データと採取した映像の画像データとを用いて音源を推定する音源の推定方法であって、前記採取した音の音圧波形データと採取した映像の画像データとをそれぞれ一時保存ファイルに保存するとともに、前記一時保存ファイルに保存された音圧波形データと画像データとが予め設定された遡行時間長の以上の長さになったときには遡行モードでの測定が可能であることを表示し、前記遡行モードでの測定が可能であるという表示がなされた後の任意の時刻であって、かつ、音源方向の測定開始の指令が発せられたときには、前記一時保存ファイルに予め設定された解析時間長分の音圧波形データと画像データとが保存されるまで上記音圧波形データと画像データとの保存を継続し、しかる後に、前記測定開始の指令が発せられた時刻から前記遡行時間長だけ遡った時刻から前記解析時間長分だけ経過した時刻までの間に前記一時保存ファイルに保存された音圧波形データと画像データとを抽出し、これらのデータをそれぞれ音ファイル及び動画ファイルとして記憶手段に保存し、この保存された音ファイルの音圧波形データを用いて、前記複数のマイクロフォンで採取した音の音圧信号間の位相差を算出して音源方向を推定した後、前記推定された音源方向と前記動画ファイルに保存されている前記音源方向の推定に用いられた時間内に撮影された画像データとを合成して、前記推定された音源方向を示す図形が描画された音源位置推定画像を作成し、この音源位置推定画像を用いて音源を推定することを特徴とする。

請求項２に記載の発明は、請求項１に記載の音源の推定方法であって、複数のマイクロフォンと撮影手段とを一体に組み込んだ音・映像採取ユニットを用いて音の情報と映像の情報とを同時に採取する第１のステップと、前記採取した音の音圧信号と映像の信号とをＡ／Ｄ変換してそれぞれ音圧波形データ及び画像データとして、データを所定の期間だけ保存する第１の記憶手段に保存する第２のステップと、前記第１の記憶手段に保存された音圧波形データと画像データとが予め設定された遡行時間長の以上の長さになったときには遡行モードでの測定が可能であることを表示する第３のステップと、前記遡行モードでの測定が可能であるという表示がなされた後の任意の時刻に、音源方向の測定開始の指令を発する第４のステップと、前記第１の記憶手段から音源の推定に用いる解析時間長分の音圧波形データと画像データとを抽出して、前記抽出された音圧波形データと画像データとをそれぞれ音ファイル及び動画ファイルとして第２の記憶手段に保存する第５のステップと、前記音ファイルから、音源方向の推定演算に用いる演算時間長分の音圧波形データを抽出して、前記複数のマイクロフォンで採取した音の音圧信号間の位相差を算出して音源方向を推定する第６のステップと、前記動画ファイルから、前記演算の開始時刻と終了時刻との間の時刻の画像データを抽出する第７のステップと、前記第６のステップで推定された音源方向と、前記第７のステップで抽出された画像データとを合成し、前記推定された音源方向を示す図形が描画された音源位置推定画像を作成して表示する第８のステップと、前記音源位置推定画像を用いて音源を推定する第９のステップとを備え、前記第５のステップでは、前記音源方向の測定開始の指令が発せられた後で、かつ、前記第１の記憶手段に予め設定された解析時間長分の音圧波形データと画像データとが保存された後に、前記測定開始の指令が発せられた時刻である第１の時刻よりも予め設定された遡行時間長だけ前の時刻である第２の時刻から前記第１の時刻までの間に前記第１の記憶手段に保存された音圧波形データと画像データと、前記第１の時刻から、前記第１の時刻から前記解析時間長よりも前記遡行時間長分だけ短い時間長だけ経過した時刻である第３の時刻までの間に前記第１の記憶手段に保存される音圧波形データと画像データとを前記第１の記憶手段から抽出することを特徴とする。

請求項３に記載の発明は、請求項２に記載の音源の推定方法であって、前記第５のステップと前記第６のステップとの間に、前記音ファイルに保存された音圧波形のデータから、音圧波形の時系列波形のグラフを作成して表示するステップと、前記表示されたグラフの任意の時刻を指定するステップとを設け、前記第６のステップでは、指定された時刻から前記演算時間長分の音圧波形データを前記音ファイルから抽出することを特徴とする。

また、請求項４に記載の発明は、互いに交わる２つの直線上にそれぞれ所定の間隔で配置された２組のマイクロフォン対を有するマイクロフォン群と音源方向の映像を撮影する撮影手段と表示手段とを備え、前記マイクロフォン群で採取した音源から伝播する音の音圧信号と音源方向を撮影した映像信号とから、音源方向を示す図形が描画された画像を作成して表示手段に表示して音源を推定する音源の推定装置であって、前記各マイクロフォンで採取した音圧信号と撮影手段で撮影した映像信号とをそれぞれデジタル信号に変換するＡ／Ｄ変換器と、前記Ａ／Ｄ変換された音圧信号を音圧波形データとし、前記Ａ／Ｄ変換された映像信号を画像データとして所定の期間一時的に保存する第１の記憶手段と、前記第１の記憶手段に保存された音圧波形データと画像データとが予め設定された遡行時間分以上になったことを表示する遡行有効表示部と、音源方向の推定を開始するための指令信号を出力する手段と、前記第１の記憶手段に予め設定された解析時間長分の音圧波形データと画像データとが保存されたことを表示する測定可能表示部と、音源の推定に用いる音圧波形データと画像データとを保存する第２の記憶手段と、前記指令信号が入力されたときに、前記第１の記憶手段から音源の推定に用いる解析時間長分の音圧波形データと画像データとを抽出して、音ファイルと動画ファイルとを作成し、これらのファイルを前記第２の記憶手段に出力する解析ファイル作成手段と、前記音ファイルから音源方向の推定演算に用いる演算時間長分の音圧波形データを抽出し、この抽出された音圧波形データを周波数解析して前記２組のマイクロフォン対を構成するマイクロフォン間のそれぞれの位相差を求め、この求められた２組のマイクロフォン対の位相差の比から音源方向を推定する音源方向推定手段と、前記動画ファイルから、前記推定演算の開始時刻と終了時刻との間の時刻における画像データを抽出する画像データ抽出手段と、前記推定された音源方向のデータと前記抽出された画像データとを合成して、前記推定された音源方向を示す図形が描画された音源位置推定画像を作成する音源位置推定画像作成手段とを備え、前記音源方向の推定を開始するための指令信号を出力する手段は、前記遡行有効表示部に前記第１の記憶手段に保存された音圧波形データと画像データとが予め設定された遡行時間分以上になったことが表示された後の任意の時刻に測定開始信号を出力し、前記解析ファイル作成手段は、前記測定開始信号が出力された後で、かつ、前記測定可能表示部に前記第１の記憶手段に予め設定された解析時間長分の音圧波形データと画像データとが保存されたことが表示された後に、前記測定開始信号が出力された時刻である第１の時刻よりも予め設定された遡行時間長だけ前の時刻である第２の時刻から前記第１の時刻までの間に前記第１の記憶手段に保存された音圧波形データと画像データと、前記第１の時刻から、前記第１の時刻から前記解析時間長よりも前記遡行時間長分だけ短い時間長だけ経過した時刻である第３の時刻までの間に前記第１の記憶手段に保存される音圧波形データと画像データとを抽出して前記音ファイルと前記動画ファイルとを作成することを特徴とする。

請求項５に記載の発明は、請求項４に記載の音源の推定装置において、前記マイクロフォン群に、前記２組のマイクロフォン対の作る平面上にない第５のマイクロフォンを追加するとともに、前記音源方向推定手段では、前記２組のマイクロフォン対を構成するマイクロフォン間の位相差と、前記第５のマイクロフォンと前記２組のマイクロフォン対を構成する４個のマイクロフォンのそれぞれとで構成される４組のマイクロフォン対を構成するマイクロフォン間の位相差とを用いて音源方向を推定することを特徴とする。

本発明によれば、複数のマイクロフォンと撮影手段とを一体に組み込んだ音・映像採取ユニットを用いて音の情報と映像の情報とを同時に採取して、この採取した音の音圧信号のデータである音圧波形のデータと映像の画像データとをそれぞれ記憶手段の一次保存ファイルに保存するとともに、前記一時保存ファイルに保存された音圧波形データと画像データとが予め設定された遡行時間長の以上の長さになったときには遡行モードでの測定が可能であることを表示し、前記遡行モードでの測定が可能であるという表示がなされた後の任意の時刻であって、かつ、音源方向の測定開始の指令が発せられたときには、前記一時保存ファイルに予め設定された解析時間長分の音圧波形データと画像データとが保存されるまで上記音圧波形データと画像データとの保存を継続し、しかる後に、前記測定開始の指令が発せられた時刻から前記遡行時間長だけ遡った時刻から前記解析時間長分だけ経過した時刻までの間に前記一時保存ファイルに保存された音圧波形データと画像データとを抽出し、これらのデータを音ファイル及び動画ファイルとして記憶手段に保存し、この保存された音ファイルの音圧波形データを用いて、前記複数のマイクロフォンで採取した音の音圧信号間の位相差を算出して音源方向を推定するようにしたので、突発的な音や間欠的な音が発生した場合でも、これらの音の発生源の方向を確実に推定することができる。したがって、測定の仕損じをなくすことができるとともに、不要な測定データの増加を防ぐことができるので、音源位置の推定を効率良く行うことができる。
また、音源を推定する際には、推定された音源方向と前記推定演算時間内に撮影された画像データとを合成して、推定された音源方向を示す図形が描画された音源位置推定画像を作成し、この音源位置推定画像を用いて、前記音源を推定するようにしたので、音源を確実に推定できる。

また、請求項２に記載のステップに従って音源を推定するようにすれば、突発的な音や間欠的な音の発生源を確実に推定することができる。
また、表示する音圧レベルの時系列波形を採取音の大きさの時系列波形とすれば、伝播音の大きさに応じた音源位置の推定を行うことができる。
また、音ファイルに保存された音圧波形のデータから、音圧波形の時系列波形のグラフを作成して表示するとともに、このグラフの任意の時刻を指定し、指定された時刻から演算時間長分の音圧波形データを音ファイルから抽出して音源方向を推定することにより、音ファイルに保存された音圧波形のデータを効率良くかつ効果的に利用することができるので、音源位置の推定を効率良く行うことができる。

また、請求項４に記載の音源の推定装置を用いることにより、突発的な音や間欠的な音の発生源を確実に推定することができる。
このとき、互いに交わる２つの直線上にそれぞれ所定の間隔で配置された２組のマイクロフォン対を構成する第１〜第４のマイクロフォンと、２組のマイクロフォン対の作る平面上にない第５のマイクロフォンとから成る音採取手段を構成し、２組のマイクロフォン対を構成するマイクロフォン間の位相差の比と、前記第１〜第５のマイクロフォン間の位相差とを用いて音源方向を推定するようにすれば、少ないマイクロフォン数で、効率良くかつ正確に水平角θと仰角φとを推定することができる。

なお、前記発明の概要は、本発明の必要な全ての特徴を列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となり得る。

本実施の形態に係る音源推定システムの構成を示す機能ブロック図である。本発明による音源の推定方法を示すフローチャートである。遡行モードにおけるデータの取出し方法を説明するための図である。音源位置推定画面が表示された表示画面の一例を示す図である。音圧レベルの時系列波形のグラフが表示された表示画面の一例を示す図である。従来のマイクロフォン対を用いた音源探査方法における各マイクロフォンの配列を示す図である。

以下、実施の形態を通じて本発明を詳説するが、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また、実施の形態の中で説明される特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

以下、本発明の実施の形態について、図面に基づき説明する。
図１は音源推定システムの構成を示す機能ブロック図である。
音源推定システムは、音・映像採取ユニット１０と制御ユニット２０と音源位置推定装置３０とを備える。
音・映像採取ユニット１０は、音採取手段１１と、映像採取手段としてのＣＣＤカメラ（以下、カメラという）１２と、マイクロフォン固定部１３と、カメラ支持台１４と、支柱１５と、回転台１６と、基台１７とを備える。音採取手段１１は複数のマイクロフォンＭ１〜Ｍ５を備える。
マイクロフォン固定部１３にはマイクロフォンＭ１〜Ｍ５が設置され、カメラ支持台１４にはカメラ１２が設置され、マイクロフォン固定部１３とカメラ支持台１４とは、３本の支柱１５によって連結されている。つまり、音採取手段１１とカメラ１２とは一体化されている。なお、マイクロフォンＭ１〜Ｍ５は、カメラ１２の上部に配置される。
基台１７は３脚から成る支持部材で、この基台１７上に回転台１６が設置されている。カメラ支持台１４は回転台１６の回転部材１６ｒに搭載されている。
したがって、回転部材１６ｒを回転させることにより、音採取手段１１とカメラ１２とを一体に回転させることができる。
マイクロフォンＭ１〜Ｍ５は、図示しない音源から伝播される音の音圧レベルをそれぞれ測定する。

マイクロフォンＭ１〜Ｍ５の配置は、前記図６に示したものと同様で、４個のマイクロフォンＭ１〜Ｍ４を、互いに直交する２直線上にそれぞれ所定の間隔で配置された２組のマイクロフォン対（Ｍ１，Ｍ３）及びマイクロフォン対（Ｍ２，Ｍ４）を構成するように配置するとともに、第５のマイクロフォンＭ５を前記マイクロフォンＭ１〜Ｍ４の作る平面上にない位置、詳細には、マイクロフォンＭ１〜Ｍ４の作る正方形を底面とする四角錐の頂点の位置に配置する。これにより、更に４組のマイクロフォン対（Ｍ５, Ｍ１）〜（Ｍ５, Ｍ４）が構成される。
本例では、カメラ１２の撮影方向を、前記直交する２直線の交点を通り前記２直線とほぼ４５°を成す方向に設定している。したがって、音・映像採取ユニット１０の向きは、図１の白抜きの矢印Ｄの方向となる。カメラ１２は、音・映像採取ユニット１０の向きに応じた映像を採取する。

制御ユニット２０は、モード切換手段２１と、増幅器２２と、Ａ／Ｄ変換器２３と、映像入出力手段２４と、第１の記憶手段であるバッファ２５と、解析時間長設定手段２６と、遡行時間長設定手段２７と、ファイル作成手段２８とを備える。
音源位置推定装置３０は、第２の記憶手段であるメモリー３１と、表示手段３２と、音圧波形データ取出手段３３と、音源方向推定手段３４と、画像データ取出手段３５と、データ合成手段３６とを備える。

本例の音源推定システムは、通常モードと遡行モードの２つの測定モードを有する。
通常モードは、音源方向の推定を開始するための指令信号である測定開始信号が入力された時刻から所定の解析時間長分のデータを用いて音源推定を行う。遡行モードは、測定開始信号の入力時より所定時間遡った時刻のデータを用いて音源推定を行う。
モード切換手段２１は、モード切換部２１ａと測定開始信号出力部２１ｂと測定可能表示部２１ｐと遡行有効表示部２１ｑと測定開始用スイッチ２１Ｓとを備える。
モード切換部２１ａは、測定モードを通常モードと遡行モードの何れか一方に切換えるとともに、ファイル作成手段２８にバッファ２５からのデータの取出方法を指示する。
測定開始信号出力部２１ｂは、測定開始用スイッチ２１Ｓが押されたときに、測定開始信号を出力する。
測定可能表示部２１ｐは、ＬＥＤを点灯させるなどして、バッファ２５に測定が可能なデータ数が保存されたことを測定者に視認させる。
遡行有効表示部２１ｑは、ＬＥＤを点灯させるなどして、バッファ２５に遡行分のデータ数が保存されたことを測定者に視認させる。なお、遡行モードにおいては、遡行有効表示部２１ｑのＬＥＤが点灯していない状態では、測定開始信号は出力されない。

増幅器２２はローパスフィルタを備え、マイクロフォンＭ１〜Ｍ５で採取した音の音圧信号から高周波ノイズ成分を除去するとともに、前記音圧信号を増幅してＡ／Ｄ変換器２３に出力する。Ａ／Ｄ変換器２３は、前記音圧信号をＡ／Ｄ変換した音圧波形データを作成し、これを、バッファ２５に出力する。
映像入出力手段２４は、カメラ１２で連続的に撮影された映像信号を入力し、所定時間（例えば、１／３０秒）毎に撮影方向の画像データを前記バッファ２５に出力する。
バッファ２５は、音圧波形データと画像データとを所定の期間だけ一時的に保存する。このバッファ２５は、第１のバッファ２５ａと第２のバッファ２５ｂとを備えている。
第１のバッファ２５ａが一杯になったら、第２のバッファ２５ｂに新たな音圧波形データと画像データとを保存する。そして、第２のバッファ２５ｂが一杯になったら、第１のバッファ２５ａに保存されているデータを全て消去し、第１のバッファ２５ａに新たな音圧波形データと画像データとを保存する。
音圧波形データと画像データとを第１のバッファ２５ａもしくは第２のバッファ２５ｂに記憶する際には、音圧波形データと画像データとを同期させて記憶するか、あるいは、音圧波形データと画像データとにそれぞれに時刻データを付けて記憶するなど、周知の方法を用いることができる。

解析時間長設定手段２６は、音圧波形データと画像データとを解析して音源を推定するための時間長である解析時間長Ｔ_wを設定する。
遡行時間長設定手段２７は、音源を推定するための測定開始信号が発せられた時刻である第１の時刻ｔ₀からの遡行時間長Ｔ_zを設定する。
ファイル作成手段２８は、バッファ２５から、第２の時刻である時刻ｔ₁＝ｔ₀−Ｔ_zと第３の時刻である時刻ｔ₂＝ｔ₀＋（Ｔ_w−Ｔ_z）との間に前記バッファ２５に保存された音圧波形データと画像データとを取出し、音圧波形データから音ファイル３１ａを作成し、画像データから動画ファイル３１ｂを作成して、これらのファイル３１ａ，３１ｂをメモリー３１に保存する。

メモリー３１は、ファイル作成手段２８で作成された音ファイル３１ａと動画ファイル３１ｂとを保存する。メモリー３１はＲＡＭで構成され書き換え可能である。
表示手段３２は、後述する音源位置を推定するための画像である音源位置推定画像を表示する画像表示部３２ａと、音源方向の水平角θと音圧レベルとの関係を示す音圧レベル表示部３２ｂとを有する表示画面３２Ｍを備える。
音圧波形データ取出手段３３は、音源方向の推定演算を行う音圧波形データ、すなわち、予め設定された解析時間長分の音圧波形データをメモリー３１に保存されている音ファイル３１ａから取出して音源方向推定手段３４に出力する。
音源方向推定手段３４は、取出された音圧波形データから各マイクロフォンＭ１〜Ｍ５間の位相差を求め、この求められた位相差から音源方向を推定し、その推定結果をデータ合成手段３６に出力する。なお、音源方向の推定の詳細については後述する。

画像データ取出手段３５は、メモリー３１に保存されている動画ファイル３１ｂから、前記解析時間の開始時刻と終了時刻との真中の時刻における画像データを取出してこれをデータ合成手段３６に出力する。
データ合成手段３６は、音源方向推定手段３４で推定された音源方向のデータと画像データ取出手段３５から出力される画像データとを合成し、画像中に音源方向を示す図形が描画された音源方向推定画像を作成して表示手段３２に出力する。

次に、音源推定システムを用いて音源方向を推定する方法について、図２のフローチャートを参照して説明する。
まず、音・映像採取ユニット１０と制御ユニット２０と音源位置推定装置３０とを接続した後、音・映像採取ユニット１０を計測点にセットする（ステップＳ１１）。
次に、解析時間長Ｔ_wと遡行時間長Ｔ_zとを設定した後（ステップＳ１２）、測定モードを選択する（ステップＳ１３）。
始めにステップＳ１３で測定モードを遡行モードとした場合について説明する。
測定モードの選択後には、カメラ１２の撮影方向を測定予定場所に向け、マイクロフォンＭ１〜Ｍ５にて音を採取し、カメラ１２にて測定予定場所の映像を採取する（ステップＳ１４）。
本例では、測定予定場所を音が間欠的に発生する噴水としたので、音・映像採取ユニット１０を固定して測定した。なお、噴水の近くで測定する場合には、噴水全体が映像視野に入らなくなるので、回転台１６を、例えば、３°/sec.程度のゆっくりした速度で、噴水の中央部を中心に往復させながら、音と映像とを採取するようにすればよい。回転範囲としては±６０°程度が適当である。
次に、マイクロフォンＭ１〜Ｍ５の出力信号とカメラ１２の映像信号とをそれぞれＡ／Ｄ変換し、音圧波形データと画像データ（以下、データという）とをバッファ２５に保存する（ステップＳ１５）。

バッファ２５に遡行時間長Ｔ_z分のデータが保存されると、遡行有効表示部２１ｑのＬＥＤが点灯するので、測定者はこのＬＥＤの点灯により、遡行モードでの測定が可能か否かを判定する（ステップＳ１６）。
遡行有効表示部２１ｑのＬＥＤが点灯していない場合には、バッファ２５に遡行時間長Ｔ_z分のデータが保存されていない。したがって、遡行モードでの測定はできないので、遡行有効表示部２１ｑのＬＥＤが点灯するまでデータの保存を継続する。
遡行有効表示部２１ｑのＬＥＤが点灯した場合には、遡行モードでの測定が可能になるので、いつでも測定開始信号を出力できる。

次に、測定開始信号が出力されているか否かを判定する（ステップＳ１７）。測定開始信号が出力されていない場合には、データの保存を継続する。
測定開始信号が出力された後も、マイクロフォンＭ１〜Ｍ５の出力信号とカメラ１２の映像信号とをそれぞれ音圧波形データと画像データとしてバッファ２５に保存する操作を継続する（ステップＳ１８）。
そして、バッファ２５に解析時間長Ｔ_w分のデータが保存されているか否かを、測定可能表示部２１ｐのＬＥＤの点灯により判定する（ステップＳ１９）。
バッファ２５に解析時間長Ｔ_w分のデータが保存されていないときには、データの保存を継続する。
バッファ２５に解析時間長Ｔ_w分のデータが保存された場合には、測定可能表示部２１ｐのＬＥＤが点灯するので、バッファ２５からデータを取出して音ファイル３１ａと動画ファイル３１ｂとを作成し、これらのファイル３１ａ，３１ｂをメモリー３１に保存する（ステップＳ２０）。
ステップＳ２０において、バッファ２５から取出されるデータは、図３に示すように、第２の時刻ｔ₁＝ｔ₀−Ｔ_zから測定開始時刻である第１の時刻ｔ₀までの間にバッファ２５に保存されたデータである遡行データＤ_zと、第１の時刻ｔ₀から第３の時刻ｔ₂＝ｔ₀＋（Ｔ_w−Ｔ_z）までの間に前記バッファ２５に保存されたデータである残測定データＤ_rとにより構成される。すなわち、測定開始信号が出力されてから、バッファ２５に解析時間長Ｔ_w分のデータが保存されるまでの待ち時間は（Ｔ_w−Ｔ_z）である。

次に、音ファイルから、予め設定された演算時間長Ｔ_cの音圧波形データを抽出して、音源方向の推定を行う（ステップＳ２１）。
音源方向の推定は、音圧波形データをＦＦＴにて周波数解析し、各周波数毎にマイクロフォンＭ１〜Ｍ５間のそれぞれの位相差を求め、この求められた位相差から各周波数毎に音源方向を推定する。なお、本例では、位相差に代えて、位相差に比例する物理量である到達時間差を用いて水平角θ及び仰角φを求めている。
このステップＳ２１の水平角θ及び仰角φの計算方法については後述する。

次に、演算時間の中心時刻ｔ_m、すなわち、演算開始時刻ｔ_cから演算時間長Ｔ_cの半分の長さだけ過ぎた時刻ｔ_m＝ｔ_c＋（Ｔ_c/２）に位置する画像データＧ_cを動画ファイルから抽出する（ステップＳ２２）。
そして、前記計算された周波数毎の音源方向のデータ（θ_f，φ_f）と前記画像データＧ_cとを合成し、この合成された画像である音源位置推定画像を表示手段３２の表示画面３２Ｍに設けられた画像表示部３２ａに音源位置推定画面として表示する（ステップＳ２３）。
図４はその一例を示す図で、画像表示部３２ａには、前記画像データＧ_cの上に、音源方向を表す図形（網目模様の丸印）３７が描画された音源位置推定画面３８が表示される。音源位置推定画面３８の横軸は水平角θ_fで、縦軸は仰角φ_fである。また、丸の大きさは音圧レベルを表す。
なお、推定された音源方向を、予め設定した周波数帯域毎に表示することも可能である。この場合には、周波数帯域毎に網目模様の丸印３７の色を設定すればよい。
また、音圧レベル表示部３２ｂには、横軸を水平角θ（deg.）としたときの音圧レベル（ｄＢ）を表示した音圧レベル表示画面３９が表示される。
最後に、音源位置推定画面３８から音源を推定する（ステップＳ２４）。音源位置推定画面３８において、音源方向を表す図形３７が描画されている箇所に映っている映像が推定される音源の映像である。

ステップＳ１３において、通常モードが選択された場合には、ステップＳ２５に進んで、カメラ１２の撮影方向を測定予定場所に向け、マイクロフォンＭ１〜Ｍ５にて音を採取し、カメラ１２にて測定予定場所の映像を採取するとともに、マイクロフォンＭ１〜Ｍ５の出力信号とカメラ１２の映像信号とをそれぞれＡ／Ｄ変換し、音圧波形データと画像データとをバッファ２５に保存する。
次に、測定開始信号が出力されているか否かを判定する（ステップＳ２６）。測定開始信号が出力されていない場合には、データの保存を継続する。
測定開始信号が出力された後も、マイクロフォンＭ１〜Ｍ５の出力信号とカメラ１２の映像信号とをそれぞれ音圧波形データと画像データとしてバッファ２５に保存する操作を継続する（ステップＳ２７）。
そして、バッファ２５に解析時間長Ｔ_w分のデータが保存されているか否かを、測定可能表示部２１ｐのＬＥＤの点灯により判定する（ステップＳ２８）。
バッファ２５に解析時間長Ｔ_w分のデータが保存されていないときには、データの保存を継続する。
バッファ２５に解析時間長Ｔ_w分のデータが保存された場合には、測定可能表示部２１ｐのＬＥＤが点灯するので、バッファ２５からデータを取出して音ファイル３１ａと動画ファイル３１ｂとを作成し、これらのファイル３１ａ，３１ｂをメモリー３１に保存する（ステップＳ２９）。
ステップＳ２９において、バッファ２５から取出されるデータは、測定開始時刻ｔ₀から、解析時間長Ｔ_w分経過した時刻ｔ_w＝ｔ₀＋Ｔ_wまでの間に前記バッファ２５に保存されたデータである。
ステップＳ２９以降に行う、音源方向の推定、画像データの抽出、音源位置推定画面の作成と表示、及び、音源の推定ついての処理ステップは、通常モードも遡行モードも同じであるので、音ファイル３１ａと動画ファイル３１ｂとをメモリー３１に保存した後には、ステップＳ２１に進み、ステップＳ２１からステップＳ２４までの処理を行って音源を推定する。

ステップＳ２１における水平角θ及び仰角φの計算方法は以下の通りである。
各マイクロフォン対（Ｍｉ, Ｍｊ）のマイクロフォンＭｉとマイクロフォンＭｊとの間の到達時間差をＤ_ijとすると、音の入射方向である水平角θと仰角φとは以下の式（１），（２）で表せるので、各マイクロフォンＭ１〜Ｍ５の出力信号をＦＦＴを用いて周波数解析し、対象となる周波数ｆにおける各マイクロフォンＭ_ｉ，Ｍ_ｊ間の到達時間差Ｄ_ijを算出することにより、前記水平角θ及び仰角φを求めることができる。

すなわち、互いに直交する２直線上にそれぞれ所定の間隔で配置された２組のマイクロフォン対（Ｍ１，Ｍ３）及びマイクロフォン対（Ｍ２，Ｍ４）を構成するマイクロフォンＭ１，Ｍ３に入力する音圧信号の到達時間差Ｄ₁₃と、前記マイクロフォン対（Ｍ２，Ｍ４）を構成するマイクロフォンＭ２，Ｍ４に入力する音圧信号の到達時間差Ｄ₂₄との比から、計測点と音源位置との水平角θを推定し、前記到達時間差Ｄ₁₃，Ｄ₂₄と、前記第５のマイクロフォンＭ５と他のマイクロフォンＭ１〜Ｍ４との到達時間差Ｄ_5j（ｊ＝１〜４）とから計測点と音源位置との成す仰角φを推定する。

なお、前記到達時間差Ｄ_ijは、２つのマイクロフォン対（Ｍ_ｉ，Ｍ_ｊ）に入力される信号のクロススペクトルＰ_ij（ｆ）を求め、更に、対象とする前記周波数ｆの位相角情報Ψ（ｒａｄ）を用いて、以下の式（３）により算出される。

音源方向の推定結果は、所定時間毎に記憶された撮影方向の画像データ毎に行う。

このように、本実施の形態では、複数のマイクロフォンＭ１〜Ｍ５とカメラ１２とを一体化した音・映像採取ユニット１０を用いて音と映像とを同時に採取した後Ａ／Ｄ変換して、バッファ２５に一時保存しておき、制御ユニット２０から測定開始信号の指令が発せられたときには、指令が発せられた第１の時刻ｔ₀から所定の遡行時間長Ｔ_z分だけ遡った第２の時刻ｔ₁＝ｔ₀−Ｔ_zと第３の時刻である時刻ｔ₂＝ｔ₀＋（Ｔ_w−Ｔ_z）との間に前記バッファ２５に保存された音圧波形データと画像データとを取出し、音圧波形データから音ファイル３１ａを作成し、画像データから動画ファイル３１ｂを作成して、これらのファイル３１ａ，３１ｂをメモリー３１に保存し、この保存された音ファイル３１ａの音圧波形データを用いて、複数のマイクロフォンＭ１〜Ｍ５で採取した音の音圧信号間の位相差を算出して音源方向である水平角θと仰角φとを推定するようにしたので、突発的な音や間欠的な音が発生した場合でも、これらの音の発生源の方向を確実に推定することができる。したがって、測定の仕損じをなくすことができる。
また、音源を推定する際には、推定された音源方向（θ，φ）と演算時間長Ｔ_c内に撮影された画像データＧ_cとを合成して、推定された音源方向を示す図形３７が描画された音源位置推定画面３８を表示して、前記音源を推定するようにしたので、音源を確実に推定することができる。

なお、前記実施の形態では、音ファイルの先頭から、音源方向の推定を行ったが、前記音ファイルから音圧波形データを呼び出し、音圧レベルの時系列波形のグラフを作成し、このグラフを用いて音ファイル抽出する演算時間長Ｔ_cの音圧波形データの時間位置を特定するようにしてもよい。
図５は音圧レベルの時系列波形のグラフの一例を示す図で、音圧レベルの時系列波形のグラフを表示画面３２Ｍに表示する場合には、音圧レベル表示画面３９が表示される音圧レベル表示部３２ｂに、音圧レベルの時系列波形のグラフを表示する。グラフの横軸は時間（秒）で、縦軸は音圧レベル（ｄＢ）である。この音圧レベルの時系列波形のグラフ上の特定の点（ここでは、測定後３秒のところにあるピーク）を指定することで、音源方向の解析を行う時間位置を指定することができる。
音圧レベルの時系列波形のグラフとしては、採取音の大きさ、すなわち、全周波数の音圧レベルの時間変化を示すグラフであってもよいし、予め設定した周波数帯域における音圧レベルの時間変化を示すグラフであってもよい。
図５では、水が噴き上る毎に音圧レベルが増加しているので、グラフ上のピークを指定して音源方向を推定することで、その指定されたピークが噴水のどの部分から発生した音であるかを推定することができる。

また、前記例では、５本のマイクロフォンＭ１〜Ｍ５を用いて、計測点と音源位置との成す水平角θと仰角φとを推定したが、音源位置が水平角θだけで十分な場合には、マイクロフォンＭ５を省略して、互いに交わる２つの直線上にそれぞれ所定の間隔で配置された２組のマイクロフォン対（Ｍ１，Ｍ３），（Ｍ２，Ｍ４）のみを用いればよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は前記実施の形態に記載の範囲には限定されない。前記実施の形態に、多様な変更または改良を加えることが可能であることが当業者にも明らかである。そのような変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲から明らかである。

以上説明したように、本発明によれば、突発的な音や間欠的な音が発生した場合でも、音源の推定を確実に行うことができるので、測定の仕損じをなくすことができ、音源の推定を効率良く行うことができる。

１０音・映像採取ユニット、１１音採取手段、Ｍ１〜Ｍ５マイクロフォン、
１２ＣＣＤカメラ、１３マイクロフォン固定部、１４カメラ支持台、１５支柱、１６回転台、１７基台、２０制御ユニット、２１モード切換手段、
２１ａモード切換部、２１ｂ測定開始信号出力部、２１ｐ測定可能表示部、
２１ｑ遡行有効表示部、２２増幅器、２３Ａ／Ｄ変換器、２４映像入出力手段、２５バッファ、２５ａ第１のバッファ、２５ｂ第２のバッファ、
２６解析時間長設定手段、２７遡行時間長設定手段、２８ファイル作成手段、
３０音源位置推定装置、３１メモリー、３１ａ音ファイル、
３１ｂ動画ファイル、３２表示手段、３２Ｍ表示画面、３２ａ画像表示部、
３２ｂ音圧レベル表示部、３３音圧波形データ取出手段、
３４音源方向推定手段、３５画像データ取出手段、３６データ合成手段、
３７音源方向を表す図形、３８音源位置推定画面、３９音圧レベル表示画面。

Claims

複数のマイクロフォンと撮影手段とを一体に組み込んだ音・映像採取ユニットを用いて音の情報と映像の情報とを同時に採取して、この採取した音の音圧信号のデータである音圧波形データと採取した映像の画像データとをそれぞれ一時保存ファイルに保存するとともに、前記一時保存ファイルに保存された音圧波形データと画像データとが予め設定された遡行時間長の以上の長さになったときには遡行モードでの測定が可能であることを表示し、前記遡行モードでの測定が可能であるという表示がなされた後の任意の時刻であって、かつ、音源方向の測定開始の指令が発せられたときには、前記一時保存ファイルに予め設定された解析時間長分の音圧波形データと画像データとが保存されるまで上記音圧波形データと画像データとの保存を継続し、しかる後に、前記測定開始の指令が発せられた時刻から前記遡行時間長だけ遡った時刻から前記解析時間長分だけ経過した時刻までの間に前記一時保存ファイルに保存された音圧波形データと画像データとを抽出し、これらのデータをそれぞれ音ファイル及び動画ファイルとして記憶手段に保存し、この保存された音ファイルの音圧波形データを用いて、前記複数のマイクロフォンで採取した音の音圧信号間の位相差を算出して音源方向を推定した後、前記推定された音源方向と前記動画ファイルに保存されている前記音源方向の推定に用いられた時間内に撮影された画像データとを合成して、前記推定された音源方向を示す図形が描画された音源位置推定画像を作成し、この音源位置推定画像を用いて音源を推定することを特徴とする音源の推定方法。
複数のマイクロフォンと撮影手段とを一体に組み込んだ音・映像採取ユニットを用いて音の情報と映像の情報とを同時に採取する第１のステップと、
前記採取した音の音圧信号と映像の信号とをＡ／Ｄ変換してそれぞれ音圧波形データ及び画像データとして、データを所定の期間だけ保存する第１の記憶手段に保存する第２のステップと、
前記第１の記憶手段に保存された音圧波形データと画像データとが予め設定された遡行時間長の以上の長さになったときには遡行モードでの測定が可能であることを表示する第３のステップと、
前記遡行モードでの測定が可能であるという表示がなされた後の任意の時刻に、音源方向の測定開始の指令を発することを可能にする第４のステップと、
前記第１の記憶手段から音源の推定に用いる解析時間長分の音圧波形データと画像データとを抽出して、前記抽出された音圧波形データと画像データとをそれぞれ音ファイル及び動画ファイルとして第２の記憶手段に保存する第５のステップと、
前記音ファイルから、音源方向の推定演算に用いる演算時間長分の音圧波形データを抽出して、前記複数のマイクロフォンで採取した音の音圧信号間の位相差を算出して音源方向を推定する第６のステップと、
前記動画ファイルから、前記演算の開始時刻と終了時刻との間の時刻の画像データを抽出する第７のステップと、
前記第６のステップで推定された音源方向と、前記第７のステップで抽出された画像データとを合成し、前記推定された音源方向を示す図形が描画された音源位置推定画像を作成して表示する第８のステップと、
前記音源位置推定画像を用いて音源を推定する第９のステップとを備え、
前記第５のステップでは、
前記音源方向の測定開始の指令が発せられた後で、かつ、前記第１の記憶手段に予め設定された解析時間長分の音圧波形データと画像データとが保存された後に、前記測定開始の指令が発せられた時刻である第１の時刻よりも予め設定された遡行時間長だけ前の時刻である第２の時刻から前記第１の時刻までの間に前記第１の記憶手段に保存された音圧波形データと画像データと、前記第１の時刻から、前記第１の時刻から前記解析時間長よりも前記遡行時間長分だけ短い時間長だけ経過した時刻である第３の時刻までの間に前記第１の記憶手段に保存される音圧波形データと画像データとを前記第１の記憶手段から抽出することを特徴とする請求項１に記載の音源の推定方法。
前記第５のステップと前記第６のステップとの間に、前記音ファイルに保存された音圧波形のデータから、音圧波形の時系列波形のグラフを作成して表示するステップと、
前記表示されたグラフの任意の時刻を指定するステップとを設け、
前記第６のステップでは、指定された時刻から前記演算時間長分の音圧波形データを前記音ファイルから抽出することを特徴とする請求項２に記載の音源の推定方法。
互いに交わる２つの直線上にそれぞれ所定の間隔で配置された２組のマイクロフォン対を有するマイクロフォン群と音源方向の映像を撮影する撮影手段と表示手段とを備え、前記マイクロフォン群で採取した音源から伝播する音の音圧信号と音源方向を撮影した映像信号とから、音源方向を示す図形が描画された画像を作成して表示手段に表示して音源を推定する音源の推定装置であって、
前記各マイクロフォンで採取した音圧信号と撮影手段で撮影した映像信号とをそれぞれデジタル信号に変換するＡ／Ｄ変換器と、
前記Ａ／Ｄ変換された音圧信号を音圧波形データとし、前記Ａ／Ｄ変換された映像信号を画像データとして所定の期間一時的に保存する第１の記憶手段と、
前記第１の記憶手段に保存された音圧波形データと画像データとが予め設定された遡行時間分以上になったことを表示する遡行有効表示部と、
音源方向の推定を開始するための指令信号を出力する手段と、
前記第１の記憶手段に予め設定された解析時間長分の音圧波形データと画像データとが保存されたことを表示する測定可能表示部と、
音源の推定に用いる音圧波形データと画像データとを保存する第２の記憶手段と、
前記指令信号が入力されたときに、前記第１の記憶手段から音源の推定に用いる解析時間長分の音圧波形データと画像データとを抽出して、音ファイルと動画ファイルとを作成し、これらのファイルを前記第２の記憶手段に出力する解析ファイル作成手段と、
前記音ファイルから音源方向の推定演算に用いる演算時間長分の音圧波形データを抽出し、この抽出された音圧波形データを周波数解析して前記２組のマイクロフォン対を構成するマイクロフォン間のそれぞれの位相差を求め、この求められた２組のマイクロフォン対の位相差の比から音源方向を推定する音源方向推定手段と、
前記動画ファイルから、前記推定演算の開始時刻と終了時刻との間の時刻における画像データを抽出する画像データ抽出手段と、
前記推定された音源方向のデータと前記抽出された画像データとを合成して、前記推定された音源方向を示す図形が描画された音源位置推定画像を作成する音源位置推定画像作成手段とを備え、
前記音源方向の推定を開始するための指令信号を出力する手段は、
前記遡行有効表示部に前記第１の記憶手段に保存された音圧波形データと画像データとが予め設定された遡行時間分以上になったことが表示された後の任意の時刻に測定開始信号を出力可能とし、
前記解析ファイル作成手段は、
前記測定開始信号が出力された後で、かつ、前記測定可能表示部に前記第１の記憶手段に予め設定された解析時間長分の音圧波形データと画像データとが保存されたことが表示された後に、前記測定開始信号が出力された時刻である第１の時刻よりも予め設定された遡行時間長だけ前の時刻である第２の時刻から前記第１の時刻までの間に前記第１の記憶手段に保存された音圧波形データと画像データと、前記第１の時刻から、前記第１の時刻から前記解析時間長よりも前記遡行時間長分だけ短い時間長だけ経過した時刻である第３の時刻までの間に前記第１の記憶手段に保存される音圧波形データと画像データとを抽出して前記音ファイルと前記動画ファイルとを作成することを特徴とする音源の推定装置。
前記マイクロフォン群に、前記２組のマイクロフォン対の作る平面上にない第５のマイクロフォンを追加するとともに、前記音源方向推定手段では、前記２組のマイクロフォン対を構成するマイクロフォン間の位相差と、前記第５のマイクロフォンと前記２組のマイクロフォン対を構成する４個のマイクロフォンのそれぞれとで構成される４組のマイクロフォン対を構成するマイクロフォン間の位相差とを用いて音源方向を推定することを特徴とする請求項４に記載の音源の推定装置。