JP6392656B2

JP6392656B2 - 音源方向推定方法

Info

Publication number: JP6392656B2
Application number: JP2014252277A
Authority: JP
Inventors: 大脇　雅直; 雅直大脇; 財満　健史; 健史財満
Original assignee: Kumagai Gumi Co Ltd
Current assignee: Kumagai Gumi Co Ltd
Priority date: 2014-12-12
Filing date: 2014-12-12
Publication date: 2018-09-19
Anticipated expiration: 2034-12-12
Also published as: JP2016114426A

Description

本発明は、平面板に設置された複数のマイクロフォンに入力される音源からの音の音圧信号から音源方向を推定する方法に関するものである。

従来、図１３に示すように、４個のマイクロフォンＭ１〜Ｍ４を、互いに直交する２直線上にそれぞれ所定の間隔で配置し、第５のマイクロフォンＭ５をマイクロフォンＭ１〜Ｍ４の作る正方形を底面とする四角錐の頂点の位置に配置した音採取手段により、音源から伝播する音の音圧信号を検出し、対となる２つのマイクロフォン（Ｍｉ，Ｍｊ）間の位相差に相当する到達時間差Ｄｉｊから音源の方向である水平角θと仰角φとを推定するとともに、ＣＣＤカメラ等の映像採取手段を設けて推定された音源方向の画像を撮影し、この画像データと音源方向のデータとを合成して、画像中に推定した音源方向（θ，φ）と音圧レベルとを図形で表示した音源推定用画像を作成する装置が知られている（例えば、特許文献１参照）。

前記従来の方法では音源方向と到来した音の大きさを周波数毎に計測できるので、音源の情報を確実に把握することができるが、室内などの狭い空間では壁などからの反射音の影響が大きいので、直接音と反射音とを区別するための演算処理が必要であった。
そこで、複数のマイクロフォンを平面板に設置して、マイクロフォンに入力する音圧信号をカメラの撮影方向である前方の１８０°のみに限定すれば、後方あるいは側方の壁などからの反射音の影響を大幅に低減できるので、音源方向の推定精度を大幅に向上させることが期待できる。また、マイクロフォンとカメラとを同一平面内に配置できるので、音・映像採取手段を小型化することができる。

特開２０１１−２３８９８５号公報

しかしながら、前記複数のマイクロフォンを平面板に設置した場合には、平面板による反射や回折の影響のため、音の入射方向によっては、推定された音源方向が実際の音源方向からずれてしまうといった問題点があった。

本発明は、従来の問題点に鑑みてなされたもので、平面板に設置された複数のマイクロフォンに入力される音源からの音の音圧信号から、音源の方向を精度よく推定する方法を提供することを目的とする。

本願発明者らは、鋭意検討の結果、平面板に設置された複数のマイクロフォンに入力される音の音圧信号から推定された音源方向と実際の音源方向との間に生じる誤差の原因は、各マイクロフォンの実際の音響中心が、各マイクロフォンの中央でかつ振動膜の位置である幾何学上の中心（以下、幾何学的中心という）とずれているためであること、及び、このずれは、平面板への音の入射角度のうちの入射仰角に依存することから、予め、入射仰角と音響中心間の到達時間差との関係を求めておき、この関係を用いて音源方向を推定すれば、音源の方向の推定精度を向上させることを見出し、本発明に到ったものである。

すなわち、本発明は、平面板に設置されて前記平面板を含む平面の一方の側である前方の音源から伝播される音の音圧信号のみを採取する、互いに一直線上にない少なくとも３個のマイクロフォンに入力された音圧信号の到達時間差から前記音源の方向を推定する方法であって、前記少なくとも３個のマイクロフォンのうちの、互いに交差する２本の直線上に配置された２組のマイクロフォン対を構成する３個もしくは４個のマイクロフォンの音響中心を含む面を仮想水平面とする仮想座標を、複数の入射仰角についてそれぞれ設定する仮想座標設定ステップと、前記２組のマイクロフォン対を構成する各マイクロフォンに入力する音圧信号の到達時間差と温度もしくは音速を計測するステップと、前記複数の入射仰角毎に設定された仮想座標において、前記計測された到達時間差と温度もしくは音速とを用いて、前記仮想座標における音の入射方向である仮想水平角と仮想仰角とをそれぞれ算出する仮想方向算出ステップと、前記入射仰角毎に、前記仮想座標を回転させて前記仮想座標を実際の座標系である物理座標に戻すことで、前記仮想水平角と仮想仰角とを、物理座標の水平角と仰角とにそれぞれ変換するステップと、前記変換された仰角と前記入射仰角とを比較して、音源方向を推定する音源方向推定ステップとを備え、前記仮想座標設定ステップでは、前記平面板への入射仰角を所定角度毎に変化させながら、前記２組のマイクロフォン対を構成する各マイクロフォンに入力する音圧信号の到達時間差を計測した後、前記計測された到達時間差から、前記２組のマイクロフォン対を構成する各マイクロフォンの音響中心同士を結ぶ軸ベクトルをそれぞれ算出し、前記算出された２つの軸ベクトルから２組のマイクロフォン対を構成するマイクロフォンの音響中心を含む面を仮想水平面とする仮想座標を設定することを特徴とする。
これにより、音の入射方向による音響中心のずれを考慮した音源方向の推定ができるので、音源方向を精度よく推定することができる。

また、前記仮想座標設定ステップを前記計測ステップの前に行って、前記設定された仮想座標を記憶手段に記憶しておき、音源方向の推定時には、前記記憶手段から取出した仮想座標を用いて、前記仮想水平角と仮想仰角とをそれぞれ算出するようにしたので、音源方向の推定を効率よく行うことができる。
また、本発明は、前記２組のマイクロフォン対を構成する各マイクロフォンを、互いに交わる２つの直線の交点を中心とした正方形の各頂点にそれぞれ配置するとともに、前記計測ステップでは、前記正方形の一方の対角線上にある第１のマイクロフォン対を構成する各マイクロフォンに入力する音圧信号の到達時間差と、前記正方形の他方の対角線上にある第２のマイクロフォン対を構成する各マイクロフォンに入力する音圧信号の到達時間差を計測することを特徴とする。
このように、マイクロフォンを４個とすれば、同じマイクロフォンの音圧信号を、到達時間差の計算に重複して用いる必要がないので、音源方向の推定精度を更に向上させることができる。

なお、前記発明の概要は、本発明の必要な全ての特徴を列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となり得る。

本実施の形態に係る音源推定用画像表示装置の構成を示す図である。本実施の形態に係るマイクロフォンとカメラの配置例を示す図である。音源推定用画像の一例を示す図である。マイクロフォンの幾何学的中心と音響中心とを示す図である。仮想座標を求めるための到達時間差の計測方法を示す図である。軸ベクトルの成分を算出する方法を示す図である。第１及び第２の軸ベクトルと仮想座標との関係を示す図である。仮想座標における水平角θ’、仰角φ’の算出方法を示す図である。音源方向を、仮想座標から物理座標へ変換する方法を示す図である。音源推定用画像の具体例を示す図である。吸音処理をした平面板の一例を示す図である。本発明による音採取手段の他の構成を示す図である。従来の音採取手段を構成するマイクロフォンの配置例を示す図である。

図１は、音源方向推定用画像表示装置１の構成を示す図で、音源方向推定用画像作成装置１は、音・映像採取ユニット１０と、音データ入出力手段２１と、映像入出力手段２２と、計測データ記憶手段２３と、音源方向推定手段２４と、音源推定用画像作成手段２５と、表示手段２６とを備える。
計測データ記憶手段２３〜音源推定用画像作成手段２５の各手段は、例えば、パーソナルコンピュータのソフトウェアとメモリーとにより構成され、表示手段２６は、例えば、液晶ディスプレイなどの表示装置により構成される。
音・映像採取ユニット１０は、４個のマイクロフォンＭ１〜Ｍ４を備えた音採取手段１１と、撮影手段としてのＣＣＤカメラ（以下、カメラという）１２と、マイクロフォンＭ１〜Ｍ４とカメラ１２とが装着される平面板１３と、平面板１３を支持する支持台１４と、支持台１４を支持する支持脚（三脚）１５とを備える。
本例では、図２（ａ）に示すように、平面板１３を円盤状とし、その中心にカメラ１２を装着するとともに、マイクロフォンＭ１〜Ｍ４を、カメラ１２を中心とする正方形の各頂点に配置した。また、図２（ｂ）に示すように、マイクロフォンＭ１〜Ｍ４を、振動膜面が平面板１３の一方の面（以下、前面１３ａという）とほぼ同じ位置になるように装着した。なお、平面板１３の他方の面を後面１３ｂ、（ｂ）図の矢印で示す、平面板１３の後面１３ｂから前面１３ａに向かう方向を前方向という。カメラ１２は、撮影方向が前方向となるように平面板１３に装着される。

ここで、平面板１３の板面をｘ_pｙ_p平面、板面に垂直な方向がｚ_p軸方向、カメラ１２の中心が原点、ｙ_p軸が鉛直方向である座標（以下、物理座標という）を設定する。
物理座標におけるマイクロフォンＭ１の位置Ｐ１の座標は（０，Ｌ/２，０）で、マイクロフォンＭ２の位置Ｐ２の座標は（Ｌ/２，０，０）ある。また、マイクロフォンＭ３の位置Ｐ３の座標は（０，−Ｌ/２，０）で、マイクロフォンＭ４の位置Ｐ４の座標は（−Ｌ/２，０，０）である。
このように、本例では、マイクロフォンＭ１〜Ｍ４を、正面（前面側）から見て、右回りにＭ１〜Ｍ４の順に配置するとともに、マイクロフォン対（Ｍ１，Ｍ３）を構成するマイクロフォンＭ１とマイクロフォンＭ３との距離、及び、マイクロフォン対（Ｍ２，Ｍ４）を構成するマイクロフォンＭ２とマイクロフォンＭ４との距離をいずれもＬとした。
なお、カメラ１２からみた座標を光学座標（実空間座標）とすると、鉛直方向である物理座標のｙ_p軸が光学座標のｚ軸となり、撮影方向である物理座標のｚ_p軸が光学座標のｙ軸となり、物理座標の−ｘ_p軸が光学座標のｘ軸となる。
ここで、マイクロフォンＭ１〜Ｍ４としては、無指向性、単一指向性のいずれのマイクロフォンを用いてもよい。また、マイクロフォンＭ１〜Ｍ４は、一般に使用されている小型のマイクロフォンでもよいし、サーフェイスマイクロフォンのような薄型のマイクロフォンでもよい。
また、平面板１３としては、剛性が高く、音を全反射する材料を用いることが好ましい。また、前面１３ａを、凹凸をなくした平坦な面とすることが好ましい。

音データ入出力手段２１は、増幅器２１ａと、Ａ／Ｄ変換器２１ｂとを備える。
増幅器２１ａは、ローパスフィルタを備え、マイクロフォンＭ１〜Ｍ４で採取した音の音圧信号から高周波ノイズ成分を除去するとともに、各音圧信号を増幅してＡ／Ｄ変換器２１ｂに出力する。
Ａ／Ｄ変換器２１ｂは、音圧信号をＡ／Ｄ変換するとともに、Ａ／Ｄ変換された音圧信号を音圧波形データとして計測データ記憶手段２３に送る。
映像入出力手段２２は、カメラ１２で連続的に撮影された映像信号を入力してＡ／Ｄ変換するとともに、Ａ／Ｄ変換された映像信号を画像データとして計測データ記憶手段２３に送る。
計測データ記憶手段２３は、音圧波形データと画像データとを保存する。
音源方向推定手段２４は、仮想座標記憶部２４ａと、仮想音源方向算出部２４ｂと、音源方向変換部２４ｃと、音源方向推定部２４ｄとを備え、計測データ記憶手段２３に保存された音圧信号を用いて、平面板１３から見た時の音源方向である水平角θ_pと仰角φ_pとを周波数毎に推定するとともに、音源から伝播される音の音圧レベルを計測する。
仮想座標記憶部２４ａは、マイクロフォンＭ１〜Ｍ４の音響中心Ｐ１’〜Ｐ４’を仮想水平面（ｘ’ｙ’平面）とする仮想座標を記憶する。
仮想音源方向算出部２４ｂは、マイクロフォンＭ１とマイクロフォンＭ３との音の到達時間差Ｍ１３とマイクロフォンＭ２とマイクロフォンＭ４との音の到達時間差Ｍ２４とを用いて、仮想座標における音源方向（水平角θ’、仰角φ’）を算出する。
音源方向変換部２４ｃは、仮想座標の各座標軸を回転させることで、仮想座標における音源方向を物理座標における音源方向（水平角θ_p、仰角φ_p）に変換する。
仮想座標、仮想座標における音源方向、及び、物理座標における音源方向は、入射仰角φ_in毎に設定もしくは求められる。
音源方向推定部２４は、入射仰角φ_in毎に求められた仰角φ_pと、条件角度としての入射仰角φ_inとを比較することで、最も確からしい音源方向を選択し、これを推定音源方向（水平角θ_p、仰角φ_p）とする。
なお、水平角θ_p及び仰角φ_pの推定方法の詳細については後述する。

音源推定用画像作成手段２５は、音源方向推定手段２４で推定された音源方向のデータである水平角θ_pと仰角φ_pとを、カメラから見たときの音源方向のデータ（光学座標における水平角θ及び仰角φ）に変換するとともに、計測データ記憶手段２３に記憶された画像データと水平角θ及び仰角φのデータとを合成し、図３の上側の図に示すような、画像中に音源の方向を示す複数の図形（ここでは、円とした）が描画された音源推定用画像Ｇを作成して表示手段２６に出力する。音源推定用画像Ｇは表示手段２６の表示画面２６Ｍに表示させる。図３の上側の図の横軸は水平角θ、縦軸は仰角φである。また、図中の円Ｃ_jの中心座標は、（θ_j，φ_j）で、円Ｃ_jの大きさが音圧レベル、模様が周波数を表す。
なお、図３の下側の図は、音圧レベルの分布を示す図で、横軸が水平角θで、縦軸は音圧レベル（ｄＢ）である。
なお、音源を推定するには、画像上に音源方向と周波数と音の大きさを表示した円Ｃが表示されていればよいので、座標変換の必要はない。

次に、仮想座標記憶部２４ａに記憶される仮想座標の設定方法と、仮想音源方向算出部２４ｂ、音源方向変換部２４ｃ、及び、音源方向推定部２４ｄの動作の詳細について説明する。
通常、マイクロフォンＭｉの音響中心は、マイクロフォンＭｉの中央かつ振動膜の位置Ｐｉとして考えられていたが、実際は、マイクロフォン付近の反射や回折の影響を受けることから、音の入射角度により見かけ上変化する。
図４に示すように、マイクロフォンＭｉの中央かつ振動膜の位置Ｐｉをマイクロフォンの幾何学的中心、実際の音響中心の位置を音響中心Ｐｉ’とすると、実際に計測したマイクロフォン対（Ｍ１，Ｍ３）を構成するマイクロフォンＭ１とマイクロフォンＭ３との間の到達時間差Ｍ１３と、マイクロフォン対（Ｍ２，Ｍ４）を構成するマイクロフォンＭ２とマイクロフォンＭ４とのとの間の到達時間差Ｍ２４とは、マイクロフォンＭｉ（ｉ＝１〜４）の音響中心Ｐｉ’に音が入射したときの到達時間差である。
到達時間差Ｍｉｊは、一対のマイクロフォンＭｉ及びマイクロフォンＭｊに入力される信号のクロススペクトルＫｉｊ（ｆ）を求め、更に、対象とする周波数ｆの位相角情報Ψ（ｒａｄ）を用いて、以下の式［数１］により算出される。
本例では、平面板１３へ入射する音の入射仰角φ_in毎に、マイクロフォンＭ１とマイクロフォンＭ３との到達時間差Ｐ１３と、マイクロフォンＭ２とマイクロフォンＭ４との到達時間差Ｐ２４とを計測して、音響中心Ｐ１’〜Ｐ４’を含む平面を仮想水平面とする仮想座標を設定する。仮想座標は音の入射仰角φ_in毎に設定される。
なお、仮想座標を設定するための到達時間差を、実際に計測した到達時間差Ｍ１３及び到達時間差Ｍ２４と区別するため、それぞれ、Ｐ１３及びＰ２４とした。

次に、仮想座標の設定方法について説明する。
まず、図５に示すように、平面板１３上に音源としてスピーカ３０を設置するとともに、マイクロフォンＭ１〜Ｍ４にてスピーカー３０の発生する音の音圧信号を採取して、マイクロフォンＭ１，Ｍ３間の到達時間差Ｐ１３と、マイクロフォンＭ２，Ｍ４間の到達時間差Ｐ２４を予め計測する。
具体的には、入射水平角θ_inを０°に固定し、入射仰角φ_inを１０°ピッチで０°〜１８０°まで変化させて、到達時間差Ｐ１３を計測し、入射水平角θ_inを９０°に固定し、入射仰角φ_inを１０°ピッチで０°〜１８０°まで変化させて、到達時間差Ｐ２４を計測する。
入射水平角θ_inを０°と９０°に限定したのは、マイクロフォンＭｉの音響中心は、入射水平角θ_inには依らず、入射仰角φ_inのみに依存することがわかったからである。また、マイクロフォン対を結んだ方向と入射水平角θ_inとが直交している場合には、位相差もしくは到達時間差の特定が困難であるからである。但し、より詳細な情報を得るために、他の入射水平角θ_inについても計測してもよい。

ここで、マイクロフォンＭ１の音響中心Ｐ１’を始点としマイクロフォンＭ３の音響中心Ｐ３’を終点とするベクトルである第１軸ベクトルＰ１３’の成分を（ｘ１，ｙ１，ｚ１）とし、マイクロフォンＭ２の音響中心Ｐ２’を始点としマイクロフォンＭ４の音響中心Ｐ４’を終点とするベクトルである第２軸ベクトルＰ２４’の成分を（ｘ２，ｙ２，ｚ２）とする。
図６に示すように、第１軸ベクトルＰ１３’の各成分（ｘ１，ｙ１，ｚ１）は、音の入射角度が（０°，φ_in）のときの、マイクロフォンＭ１とマイクロフォンＭ３との間の到達時間差Ｐ１３’と、入射角度が（０°，１８０°−φ_in）のときの到達時間差の実測値ＲＰ１３’と、入射仰角φ_inを用いて、以下の式［数２］のように表せる。
ところで、実際に計測したマイクロフォンＭ１とマイクロフォンＭ３との間の到達時間差Ｐ１３には、音響中心Ｐ１’と音響中心Ｐ３’と間の到達時間差Ｐ１３’と、マイクロフォンやアンプ、フィルタなどの特性によりシステム上で生じる誤差Δ１３が含まれている。つまり、Ｐ１３＝Ｐ１３’＋Δ１３である。同様に、ＲＰ１３＝ＲＰ１３’＋Δ１３である。したがって、Ｐ１３’−ＲＰ１３’＝Ｐ１３−ＲＰ１３となるので、本例では、第１軸ベクトルＰ１３’の各成分（ｘ１，ｙ１，ｚ１）を算出する際に、上記式［数１］の到達時間差Ｐ１３’と到達時間差ＲＰ１３’に代えて、到達時間差の実測値Ｐ１３とＲＰ１３とを用いている。

また、第２軸ベクトルＰ２４’の各成分（ｘ２，ｙ２，ｚ２）も、第１軸ベクトルＰ１３の場合と同様に、（９０°，φ_in）のときの到達時間差の実測値Ｐ２４と、入射角が、（９０°，１８０°−φ_in）のときの到達時間差の実測値ＲＰ２４と、入射仰角φ_inを用いて、以下の式［数３］のように表せる。
第１軸ベクトルＰ１３’の成分と第２軸ベクトルＰ２４’の成分とは、入射仰角φ_in毎に求められる。以下、入射仰角φ_inを「条件角度」という。

次に、図７に示すように、各マイクロフォンＭ１〜Ｍ４の音響中心Ｐ１’〜Ｐ４’は同一平面上にあるとして、これを仮想水平面（ｘ’ｙ’平面）とし、この面に垂直な方向を仮想鉛直軸（ｚ’軸）とした仮想座標を考える。なお、本例では、仮想座標の原点Ｏ’は、第１軸ベクトルＰ１３’と第２軸ベクトルＰ２４’とが、それぞれのベクトルの中点で交わっているとしたときの交点とした。
そして、マイクロフォンＭ３の音響中心Ｐ３’からマイクロフォンＭ１の音響中心Ｐ１’へ向かう方向をｙ’軸とし、ｘ’ｙ’平面内でｙ’軸に垂直な方向をｘ’軸とする。
このような操作を、条件角度（φ_ink）毎に行うことで、条件角度φ_inkの全てについて、仮想座標を求めることができる。本例では、入射仰角φ_inを、１０°ピッチで、０°〜１８０°まで変化させているので、ｋ＝１〜１９である。
なお、マイクロフォンＭ４の音響中心Ｐ４’からマイクロフォンＭ２へ向かう方向と、ｙ’軸との成す角度である軸角度γは、ベクトルＰ１３’の成分とベクトルＰ２４’の成分とを用いて、以下の式［数４］のように表せる。

このように、仮想座標記憶部２４ａは、平面板１３への入射仰角φ_inを所定角度（ここでは、１０°）毎に変化させながら、マイクロフォン対（Ｍ１，Ｍ３）を構成するマイクロフォンＭ１，Ｍ３に入力する音圧信号の到達時間差Ｐ１３，ＲＰ１３と、マイクロフォン対（Ｍ２，Ｍ４）を構成するマイクロフォンＭ２，Ｍ４に入力する音圧信号の到達時間差Ｐ２４，ＲＰ２４とを計測した後、これら計測された到達時間差から、マイクロフォン対（Ｍ１，Ｍ３）の音響中心Ｐ１’，Ｐ３’を結ぶ第１軸ベクトルＰ１３’とマイクロフォン対（Ｍ２，Ｍ４）の音響中心Ｐ２’，Ｐ４’同士を結ぶ第２軸ベクトルＰ２４’をそれぞれ算出し、これら第１及び第２軸ベクトルＰ１３’，Ｐ２４’からマイクロフォンＭ１〜Ｍ４の音響中心Ｐ１’〜Ｐ４’を含む面を仮想水平面とする、「条件角度φ_in」毎の仮想座標及び軸角度γを記憶する。
上記の仮想座標の設定は、音源からの音の音圧信号を採取する前に予め行なう。設定された仮想座標は、仮想座標記憶部２４ａに記憶される。

仮想音源方向算出部２４ｂでは、マイクロフォンＭ１とマイクロフォンＭ３との音の到達時間差Ｍ１３が、仮想座標記憶部２４ａに記憶された仮想座標上の音響中心Ｐ１’，Ｐ３’間の到達時間差であり、マイクロフォンＭ２とマイクロフォンＭ４との音の到達時間差Ｍ２４が、仮想座標上の音響中心Ｐ２’，Ｐ４’間の到達時間差であるとして、仮想座標における水平角θ’、仰角φ’を算出する。
なお、到達時間差Ｍ１３及び到達時間差Ｍ２４は、計測データ記憶手段２３に記憶されていたマイクロフォンＭ１〜Ｍ４の音圧波形データをＦＦＴにて周波数解析して求められる。到達時間差Ｍ１３及び到達時間差Ｍ２４は、各周波数ｆ毎に求められる。
すなわち、図８に示すように、水平角θ’、仰角φ’から音が入射したとすると、マイクロフォンＭ１とマイクロフォンＭ３との音の到達時間差Ｍ１３と、ベクトルＰ１３’との関係、及び、マイクロフォンＭ２とマイクロフォンＭ４との音の到達時間差Ｍ２４とベクトルＰ２４’との関係は、以下の式［数５］のように表せる。
ここで、仮想座標における音の入射角度である水平角θ’と仰角φ’とは、マイクロフォンＭ１とマイクロフォンＭ３との間の音の到達時間差Ｍ１３と、マイクロフォンＭ２とマイクロフォンＭ４との間の音の到達時間差Ｍ２３と、予め求めておいた条件角度がφ_inのときのベクトルＰ１３’の成分、及び、ベクトルＰ２４’の成分とから算出される。
ここで、上記式［数６］において、ｃ₀は、仮想座標を設定したときに測定した音速であり、ｃは、音源推定時（到達時間差の計測時）の音速である。なお、音速に代えて温度を計測し、この計測された温度から音速を求めてもよい。

音源方向変換部２４ｃでは、仮想座標における水平角θ’と仰角φ’とを、物理座標における水平角θ_pと仰角φ_pとへ変換する。なお、仮想座標の原点と物理座標の原点とは同一点であるとする。
仮想座標における音の入射方向を長さが１の単位ベクトルの座標（ｘ^’3，ｙ^’3，ｚ^’3）で表すと、以下のようになる。
ｘ^’3＝sinθ’・cosφ’
ｙ^’3＝cosθ’・cosφ’
ｚ^’3＝sinφ’
このベクトルを、仮想座標における音の入射方向ベクトルとする。
次に、上記の仮想座標における音の入射方向ベクトル（ｘ^’3，ｙ^’3，ｚ^’3）を物理座標における音の入射方向ベクトル（ｘ3，ｙ3，ｚ3）に変換する手順について説明する。
まず、仮想座標における第１軸ベクトルＰ１３’の座標（０，L13，０）と第２軸ベクトルＰ２４’の座標（L24・sinγ，L24・cosγ，０）とを、それぞれ、物理座標における第１軸ベクトルＰ１３’の座標（ｘ1，ｙ1，ｚ1）と第２軸ベクトルＰ２４’の座標（ｘ2，ｙ2，ｚ2）に変換する。
（ｘ1，ｙ1，ｚ1）を（０，L13，０）に変換するためには、図９（ａ）に示すように、物理座標のｘ軸とｙ軸とをｚ軸周りにηだけ回転させ、（ｘ1，ｙ1，ｚ1）を（０，（ｘ1²+ｙ1²）^1/2，ｚ1）に変換する。ここで、η＝tan^-1（ｘ1／ｙ1）である。このとき、（ｘ2，ｙ2，ｚ2）は、（ｘa2，ｙa2，ｚa2）に変換される。
次に、図９（ｂ）に示すように、ｘ軸をεだけ回転させて、（０，（ｘ1²+ｙ1²）^1/2，ｚ1）を（０，L13，０）に変換する。ここで、ε＝tan^-1｛z1／（ｘ1²+ｙ1²）^1/2｝である。このとき、（ｘa2，ｙa2，ｚa2）は、（ｘb2，ｙb2，ｚb2）に変換される。
次に、図９（ｃ）に示すように、ｙ軸をδだけ回転させて、（ｘb2，ｙb2，ｚb2）を（L24・sinγ，L24・cosγ，０）に変換する。ここで、δ＝tan^-1（zb2／xb2）である。
仮想座標における音の入射方向ベクトル（ｘ^’3，ｙ^’3，ｚ^’3）を物理座標における音の入射方向ベクトル（ｘ3，ｙ3，ｚ3）に変換するには、上記と逆の変換を行えばよい。
すなわち、最初に、ｙ^’軸を−δだけ回転させて、（ｘ^’3，ｙ^’3，ｚ^’3）を（ｘa3，ｙa3，ｚa3）に変換する。
（ｘa3，ｙa3，ｚa3）は、以下の式［数７］のようになる。
次に、ｘ^’軸を−εだけ回転させて、（ｘa3，ｙa3，ｚa3）を（ｘb3，ｙb3，ｚb3）に変換する。
（ｘb3，ｙb3，ｚb3）は、以下の式［数８］のようになる。
最後、ｚ^’軸を−ηだけ回転させて、（ｘb3，ｙb3，ｚb3）を物理座標における音の入射方向ベクトル（ｘ3，ｙ3，ｚ3）に変換する。
（ｘ3，ｙ3，ｚ3）は、以下の式［数９］のようになる。
したがって、図９（ｄ）に示すように、条件角度φ_inkのときの物理座標における水平角θ_kと仰角φ_kとは、以下の式［数１０］により求めることができる。
このような操作を、条件角度（φ_in）毎に行うことで、条件角度φ_inkの全てについて、物理座標における水平角θ_kと仰角φ_kとを求めることができる。

音源方向推定部２４では、入射仰角φ_in毎に求められた仰角φ_inkと、条件角度としての入射仰角φ_inとを比較する。
算出された仰角φ_inkの値が条件角度φ_inkに近いほど、水平角θ_inkと仰角φ_inkとは実際の水平角θと仰角φに近いはずである。したがって、算出された仰角φ_inkと条件角度φ_inとの差の絶対値｜φ_ink−φ_in｜を条件角度φ_in毎に求め、求められた絶対値｜φ_ink−φ_in｜が最も小さいときの水平角θ_inkと仰角φ_inkとを、音の到来方向（水平角θ_p，仰角φ_p）とすれば、音源方向を精度よく推定することができる。

このように、各マイクロフォンＭ１〜Ｍ４に入力する音圧信号の到達時間差Ｍ１３及びＭ２４と計測時の音速ｃを計測した後、複数の条件角度（入射仰角）φ_ink毎に設定された仮想座標において、計測された到達時間差Ｍ１３，Ｍ２４と音速ｃとを用いて仮想座標における音の入射方向である仮想水平角θ’と仮想仰角φ’とをそれぞれ算出するとともに、条件角度φ_ink毎に、仮想座標を回転させて、仮想座標を実際の座標系である物理座標に戻すことで、仮想水平角θ’と仮想仰角φ’とを、物理座標の水平角θ_kと仰角φ_kとにそれぞれ変換し、この変換された仰角φ_kと条件角度φ_inkとを比較し、条件角度φ_inkに近い仰角φ_kを有する水平角θ_kと仰角φ_kとの組を音源方向としたので音源方向を精度よく推定することができる。

［実施例］
図１０（ａ）は、マイクロフォンＭ１とマイクロフォンＭ３との音の到達時間差Ｍ１３と、マイクロフォンＭ２とマイクロフォンＭ４との音の到達時間差Ｍ２４とから、以下の式［数１１］を用いて求めた音源方向を描画した音源推定用画像である。
また、図１０（ｂ）は、本発明による音源推定用画像で、図１０（ｃ）は、従来の、４個のマイクロフォンＭ１〜Ｍ４を互いに直交する２直線上にそれぞれ所定の間隔で配置し、第５のマイクロフォンＭ５をマイクロフォンＭ１〜Ｍ４の作る正方形を底面とする四角錐の頂点の位置に配置した音採取手段により、音源方向を描画した音源推定用画像である。
図１０から明らかなように、本発明の音源方向推定方法により推定した音源方向は、従来の５個のマイクロフォンＭ１〜Ｍ５を用いて推定した音源方向と略同じであり、かつ、音圧レベルの分布も同等である。
これにより、本発明の音源方向推定方法を用いれば、音の入射方向による音響中心のずれを考慮した音源方向の推定ができるので、平板型の音採取手段１１であっても音源方向を精度よく推定することができることが確認された。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は前記実施の形態に記載の範囲には限定されない。前記実施の形態に、多様な変更または改良を加えることが可能であることが当業者にも明らかである。そのような変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲から明らかである。

例えば、前記実施の形態では、平面板１３として、剛性が高く、音を全反射する材料を用いたが、図１１（ａ）に示すように、平面板１３の前方に防風スクリーン３１を配置したり、図１１（ｂ）に示すように、防風スクリーン３１に加えて、平面板１３の周囲に吸音材３２を配置するなどの吸音処理を行えば、反射の影響を更に低減することができる。
防風スクリーン３１としては、例えば、ウレタンフォームなどの網材を用いることができる。また、吸音材３２としては、不織布を環状にしたものなどを用いればよい。なお、防風スクリーン３１を不織布から構成してもよい。
また、前記実施の形態では、平面板１３に配置された４個のマイクロフォンＭ１〜Ｍ４を備えた音採取手段１１を用いて音源方向を推定したが、音採取手段を、互いに交わる２つの直線上にそれぞれ所定の間隔で配置された３個のマイクロフォンＭ１〜Ｍ３から構成してもよい。マイクロフォンＭ１，Ｍ２，Ｍ３は、図１２（ａ）に示すように、１辺の長さがＬの正三角形の各頂点に配置してもよいし、図１２（ｂ）に示すように、二等辺三角形の各頂点に配置してもよい。

１音源方向推定用画像表示装置、
１０音・映像採取ユニット、１１音採取手段、１２撮影手段（カメラ）、
１３平面板、１３ａ平面板の前面、１３ｂ平面板の後面、１４支持台、
１５支持脚、
２１音データ入出力手段、２１ａ増幅器、２１ｂＡ／Ｄ変換器、
２２映像入出力手段、２３計測データ記憶手段、２４音源方向推定手段、
２４ａ仮想座標記憶部、２４ｂ仮想音源方向算出部、２４ｃ音源方向変換部、
２４ｄ音源方向推定部、２５音源推定用画像作成手段、
２６表示手段、２６Ｍ表示画面、
Ｍ１〜Ｍ４マイクロフォン。

Claims

平面板に設置されて前記平面板を含む平面の一方の側である前方の音源から伝播される音の音圧信号のみを採取する、互いに一直線上にない少なくとも３個のマイクロフォンに入力された音圧信号の到達時間差から前記音源の方向を推定する方法であって、
前記少なくとも３個のマイクロフォンのうちの、互いに交差する２本の直線上に配置された２組のマイクロフォン対を構成する３個もしくは４個のマイクロフォンの音響中心を含む面を仮想水平面とする仮想座標を、複数の入射仰角についてそれぞれ設定する仮想座標設定ステップと、
前記２組のマイクロフォン対を構成する各マイクロフォンに入力する音圧信号の到達時間差と温度もしくは音速を計測するステップと、
前記複数の入射仰角毎に設定された仮想座標において、前記計測された到達時間差と温度もしくは音速とを用いて、前記仮想座標における音の入射方向である仮想水平角と仮想仰角とをそれぞれ算出する仮想方向算出ステップと、
前記入射仰角毎に、前記仮想座標を回転させて前記仮想座標を実際の座標系である物理座標に戻すことで、前記仮想水平角と仮想仰角とを、物理座標の水平角と仰角とにそれぞれ変換するステップと、
前記変換された仰角と、前記入射仰角とを比較して、音源方向を推定する音源方向推定ステップとを備え、
前記仮想座標設定ステップでは、
前記平面板への入射仰角を所定角度毎に変化させながら、前記２組のマイクロフォン対を構成する各マイクロフォンに入力する音圧信号の到達時間差を計測した後、
前記計測された到達時間差から、前記２組のマイクロフォン対を構成する各マイクロフォンの音響中心同士を結ぶ軸ベクトルをそれぞれ算出し、
前記算出された２つの軸ベクトルから２組のマイクロフォン対を構成するマイクロフォンの音響中心を含む面を仮想水平面とする仮想座標を設定することを特徴とする音源方向推定方法。
前記仮想座標設定ステップを前記計測ステップの前に行って、前記設定された仮想座標を記憶手段に記憶しておき、
音源方向の推定時には、
前記記憶手段から取出した仮想座標を用いて、前記仮想水平角と仮想仰角とをそれぞれ算出することを特徴とする請求項１に記載の音源方向推定方法。
前記２組のマイクロフォン対を構成する各マイクロフォンは、
互いに交わる２つの直線の交点を中心とした正方形の各頂点にそれぞれ配置され、
前記計測ステップでは、
前記正方形の一方の対角線上にある第１のマイクロフォン対を構成する各マイクロフォンに入力する音圧信号の到達時間差と、前記正方形の他方の対角線上にある第２のマイクロフォン対を構成する各マイクロフォンに入力する音圧信号の到達時間差を計測することを特徴とする請求項１または請求項２に記載の音源方向推定方法。