JP6491863B2

JP6491863B2 - 音源方向推定装置、及び、音源推定用画像作成装置

Info

Publication number: JP6491863B2
Application number: JP2014241848A
Authority: JP
Inventors: 大脇　雅直; 雅直大脇; 財満　健史; 健史財満
Original assignee: Kumagai Gumi Co Ltd
Current assignee: Kumagai Gumi Co Ltd
Priority date: 2014-11-28
Filing date: 2014-11-28
Publication date: 2019-03-27
Anticipated expiration: 2034-11-28
Also published as: JP2016102741A

Description

本発明は、複数のマイクロフォンで採取した音の情報から音源の方向を推定する装置と、マイクロフォンで採取した音の情報と撮影手段で撮影した映像の情報とを用いて、音源を推定するための画像を作成する装置とに関する。

従来、図８に示すように、４個のマイクロフォンＭ１〜Ｍ４を、互いに直交する２直線上にそれぞれ所定の間隔で配置し、第５のマイクロフォンＭ５をマイクロフォンＭ１〜Ｍ４の作る正方形を底面とする四角錐の頂点の位置に配置して成る音採取手段により、音源から伝播する音の音圧信号を検出し、対となる２つのマイクロフォン（Ｍ_i, Ｍ_j）間の位相差に相当する到達時間差Ｄ_ijから音源の方向である水平角θと仰角φとを推定するとともに、図示しないＣＣＤカメラ等の映像採取手段により音源方向の画像を撮影し、この撮影された画像データと推定された音源方向のデータとを合成して、画像中に推定した音源方向（θ，φ）と音圧レベルとを図形で表示した音源推定用画像を作成して表示する音源推定用画像の表示装置が知られている（例えば、特許文献１参照）。

特開２０１１−２３８９８５号公報

前記音源推定用画像の表示装置では、マイクロフォンとカメラとを一体化した音・映像採取手段を用いているが、マイクロフォンとカメラとを一体化するためには、カメラを立体配置されたマイクロフォンの外部に配置しなければならないため、音・映像採取手段が大型化してしまうと行った問題点があった。
そこで、音採取手段を、平面板にマイクロフォンを配置した平板型とし、平面板の前方から伝播される音の音圧信号のみを採取する構成とすれば、音・映像採取手段を小型化できることが考えられる。

ところで、マイクロフォンを支持する平面板としては、剛性が高く、音を全反射する材料を用いることが好ましい。しかしながら、平板型の音採取手段では、マイクロフォンの検出部である振動膜の位置と平面板の表面とがほぼ同じ位置にあるため、反射音や風などの影響を受けやすく、その結果、音源方向の推定精度が低下してしまうといった問題点があった。

本発明は、従来の問題点に鑑みてなされたもので、音源の方向を精度よく推定できる平板型の音採取手段を備えた音源方向推定装置と音源推定用画像作成装置とを提供することを目的とする。

本発明は、音源から伝播される音の音圧信号を採取する音採取手段と、前記音採取手段で採取された音圧信号から音源の方向を推定する音源方向推定手段とを備えた音源方向推定装置であって、前記音採取手段が、側板と防音板としての底板とを有し、前記底板とは反対側に開口部を有する収納体と、前記収納体の前記底板に取付けられる平面板と、前記平面板に設置されて前記開口部側である前方から伝播される音の音圧信号のみを採取する、互いに一直線上にない、２組のマイクロフォン対を構成する少なくとも３個のマイクロフォンと、前記平面板の前記マイクロフォンの前方に配置される防風スクリーンと、前記防風スクリーンと前記平面板との間、及び、前記防風スクリーンと前記側板と前記平面板と前記底板との間に挿入されて、前記平面板及び前記収納体の振動を低減する吸音材と、を備え、前記音源方向推定手段が、前記各マイクロフォンに入力する音圧信号の到達時間差と、前記マイクロフォンの位置座標と音速とから前記音源の方向を推定することを特徴とする。
このように、互いに一直線上にない少なくとも３個のマイクロフォンを含む複数のマイクロフォンを平面板に設置して、平面板の前方から伝播される音の音圧信号のみを採取するとともに、マイクロフォンの前方に防風スクリーンを配置することで、マイクロフォンに入射する反射音や風雑音を低減するようにしたので、装置を小型化できるとともに、音源方向の推定精度を向上させることができる。
また、前記平面板を、側板と防音板としての底板とを有し、前記底板とは反対側に開口部を有する収納体の前記底板に取付けるとともに、前記防風スクリーンと前記平面板との間、及び、前記防風スクリーンと前記側板と前記平面板と前記防音板との間に吸音材を挿入することで、平面板の振動による影響についても低減できるようにしたので、音源方向の推定精度が更に向上する。
また、前記防風スクリーンの周囲に配置される吸音部材を設けて、マイクロフォンに入射する反射音を低減させるようにしたので、音源方向の推定精度が更に向上した。

また、本発明は、前記２組のマイクロフォン対を構成する各マイクロフォンを、互いに交わる２つの直線の交点を中心とした正方形の各頂点にそれぞれ配置するとともに、前記音源方向推定手段では、前記正方形の一方の対角線上にある第１のマイクロフォン対を構成する各マイクロフォンに入力する音圧信号の到達時間差と、前記正方形の他方の対角線上にある第２のマイクロフォン対を構成する各マイクロフォンに入力する音圧信号の到達時間差とを用いて前記音源の方向を推定することを特徴とする。
このように、マイクロフォンを４個とすれば、同じマイクロフォンの音圧信号を、到達時間差の計算に重複して用いる必要がないので、音源方向の推定精度を更に向上させることができる。

また、本発明は、音源から伝播される音の音圧信号を採取する音採取手段と前記音採取手段で採取された音圧信号から音源の方向を推定する音源方向推定手段とを備えた音源方向推定装置と、前記推定された音源の方向の映像を撮影する撮影手段と、音源を推定するための音源推定用画像を作成する音源推定用画像作成手段とを備えた音源推定用画像作成装置であって、前記音源方向推定装置として、請求項１〜請求項３のいずれかに記載の音源方向推定装置を用いるとともに、前記撮影手段は、撮影方向が前記平面板に対して垂直でかつ前記平面板の前方を向くように、前記平面板の側面に取付けられて、前記音源の方向の映像を撮影し、音源推定用画像作成手段は、前記音源方向推定手段で推定された音源の方向のデータと前記撮影手段で撮影された音源の方向の映像信号である画像データとを合成して、前記推定された音源方向を示す図形が描画された画像である音源推定用画像を作成することを特徴とする。
このような構成を採ることにより、反射音や風の影響が少ない音源推定用画像を作成することができるので、音源の推定精度を向上させることができる。

なお、前記発明の概要は、本発明の必要な全ての特徴を列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となり得る。

本実施の形態に係る音源推定用画像作成装置の構成を示す図である。本実施の形態に係る音・映像採取ユニットの構成を示す図である。マイクロフォンの配置例を示す図である。音源方向画像の具体例を示す図である。音源方向の推定に対する風の影響を調査した結果を示す図である。吸音処理をした平面板の一例を示す図である。マイクロフォンの他の配置例を示す図である。従来の音採取手段を構成するマイクロフォンの配置例を示す図である。

図１は、音源推定用画像作成装置１の構成を示す図で、音源推定用画像作成装置１は、音・映像採取ユニット１０と、音データ入出力手段２１と、映像入出力手段２２と、記憶手段２３と、音源方向推定手段２４と、音源推定用画像作成手段２５と、表示手段２６とを備える。
記憶手段２３〜音源推定用画像作成手段２５の各手段は、例えば、パーソナルコンピュータのソフトウェアとメモリーとにより構成され、表示手段２６は、例えば、液晶ディスプレイなどの表示装置により構成される。
音・映像採取ユニット１０は、４個のマイクロフォンＭ１〜Ｍ４を備えた音採取手段１１と、撮影手段としてのＣＣＤカメラ（以下、カメラという）１２と、マイクロフォンＭ１〜Ｍ４とカメラ１２とが装着される機器装着部材１３と、機器装着部材１３を支持する支持部材１４と、支持部材１４を支持する基台１５と、温度センサー１６とを備える。
本例では、音・映像採取ユニット１０の基台１５を支持脚（三脚）１７により支持して、計測を行っている。
マイクロフォンＭ１〜Ｍ４と、機器装着部材１３と、温度センサー１６と、音データ入出力手段２１と、記憶手段２３と、音源方向推定手段２４とにより、本発明の音源方向推定装置を構成する。

図２（ａ）〜（ｃ）は音・映像採取ユニット１０の構成を示す図で、（ａ）図は正面図、（ｂ）図は側面図、（ｃ）図は断面図である。
機器装着部材１３は、側板１３１と防音板としての底板１３２とを有し、一方に開口部１３Ｓを有する円筒状の収納体１３３と、平面板１３４と、カメラ取付部材１３５と、防風スクリーン１３６と、吸音材１３７とを備える。
平面板１３４は、平面視十字状の部材で、収納体１３３の底板１３２に取付けられる。平面板１３４の十字を形成する４つの延長部には、それぞれマイク取付孔１３ｈが形成されている。図３に示すように、４つのマイク取付孔１３ｈは、互いに対向する孔同士の間隔がＬである正方形状に形成されている。すなわち、マイクロフォンＭ１〜Ｍ４をそれぞれマイク取付孔１３ｈに装着したとき、４つのマイクロフォンＭ１〜Ｍ４の中心は、対角線の長さがＬの正方形の各頂点に配置される。
以下、図２（ｃ）の左側である開口部側を前方、右側である収納体１３３の底板１３２側を後方という。また、平面板１３４の開口部１３Ｓ側の面を前面１３４ａ、底板１３２側を後面１３４ｂという。
本例では、平面板１３４の前面１３４ａの位置が、側板１３１の先端の位置よりも底板１３２側に位置するように、平面板１３４の厚さを側板１３１の長さよりも短くするとともに、マイクロフォンＭ１〜Ｍ４の先端（検出部である振動膜側）の位置が、収納体１３３の側板１３１の前端と同じ位置になるように、前面１３４ａよりも前方に突出させるようにしている。
なお、マイクロフォンＭ１〜Ｍ４としては、無指向性、単一指向性のいずれでもよい。また、マイクロフォンＭ１〜Ｍ４は、一般に使用されている小型のマイクロフォンでもよいし、サーフェイスマイクロフォンのような薄型のマイクロフォンでもよい。
カメラ１２は、収納体１３３の側板１３１の外周面に設けられたカメラ取付部材１３５に、撮影方向が前向となるように装着される。

防風スクリーン１３６は、収納体１３３の側板１３１の前端に、マイクロフォンＭ１〜Ｍ４を前方から覆うように取付けられて、マイクロフォンＭ１〜Ｍ４に入射する風雑音を低減する。なお、防風スクリーン１３６とマイクロフォンＭ１〜Ｍ４の先端との間には、若干の隙間があることが好ましいが、防風スクリーン１３６とマイクロフォンＭ１〜Ｍ４の先端とが接触していても、特に、問題はない。
防風スクリーン１３６としては、例えば、ウレタンフォームなどの網体が挙げられる。
なお、防風スクリーン１３６を収納体１３３の側板１３１に取付ける方法としては、防風スクリーン１３６の周縁部を収納体１３３の側板１３１の外周部に接着するか、円環状のバンドなどで固定するようにしてもよいし、周縁部を予め円環状のバンドに取付けた防風スクリーン１３６を、側板１３１の外周部に取付けるようにしてもよい。
吸音材１３７は、機器装着部材１３の内部、すなわち、防風スクリーン１３６と平面板１３４との間、及び、防風スクリーン１３６と側板１３１と平面板１３４と底板１３２との間に挿入されて、平面板１３４及び収納体１３３の振動を低減する。
吸音材１３７としては、例えば、グラスウールやウレタンスポンジなどの多孔質体が挙げられる。
支持部材１４は、図２（ｂ）にも示すように、機器装着部材１３の底板１３２の後方に取付けられる垂直片１４ａと、垂直片１４ａを基台１５に取付ける水平片１４ｂを備えた、側面視Ｌ字状の部材で、機器装着部材１３を基台１５に支持する。
基台１５は板状の部材で、支持部材１４に支持された機器装着部材１３と温度センサー１６とを保持する。
温度センサー１６は、基台１５に装着されて、周囲の温度を計測し、この計測された温度データを音源方向推定手段２４に送る。
なお、本例では、音・映像採取ユニット１０の基台１５を支持脚（三脚）１７により支持して、計測を行っている。

音データ入出力手段２１は、増幅器２１ａと、Ａ／Ｄ変換器２１ｂとを備える。
増幅器２１ａは、ローパスフィルタを備え、マイクロフォンＭ１〜Ｍ４で採取した音の音圧信号から高周波ノイズ成分を除去するとともに、各音圧信号を増幅してＡ／Ｄ変換器２１ｂに出力する。
Ａ／Ｄ変換器２１ｂは、音圧信号をＡ／Ｄ変換するとともに、Ａ／Ｄ変換された音圧信号を音圧波形データとして記憶手段２３に送る。
映像入出力手段２２は、カメラ１２で連続的に撮影された映像信号を入力してＡ／Ｄ変換するとともに、Ａ／Ｄ変換された映像信号を画像データとして記憶手段２３に送る。
記憶手段２３は、音圧波形データと画像データとを保存する。
音源方向推定手段２４は、記憶手段２３に保存された音圧信号を用いて、平面板１３４から見た時の音源方向、すなわち、平面板１３４の前面１３４ａを水平面とし、マイクロフォンＭ１とマイクロフォンＭ３とを結ぶ線分とマイクロフォンＭ２とマイクロフォンＭ４とを結ぶ線分との交点を原点としたときの水平角θ_pと仰角φ_pとを周波数毎に算出するとともに、音源から伝播される音の音圧レベルを計測する。
なお、水平角θ_pと仰角φ_pの算出方法については後述する。

音源推定用画像作成手段２５は、音源方向推定手段２４で推定された音源方向のデータである水平角θ_pと仰角φ_pとを、カメラから見たときの音源方向のデータ（光学座標における水平角θ及び仰角φ）に変換するとともに、記憶手段２３に記憶された画像データと水平角θ及び仰角φのデータとを合成し、画像中に音源の方向を示す複数の図形が描画された音源推定用画像を作成して表示手段２６に出力する。音源推定用画像は表示手段２６の表示画面２６Ｍに表示させる。
図４は、画像データと合成する前の画像（音源方向画像）の一例を示す図で、音源方向画像は、画像中に音源の方向を示す複数の図形（ここでは、丸とした）が描画される。図４の上側の図の横軸は水平角θ、縦軸は仰角φで、丸Ｃ_jの大きさが音圧レベル、模様が周波数を表す。
なお、図４の下側の図は、音圧レベルの分布を示す図で、横軸が水平角θで、縦軸は音圧レベル（ｄＢ）である。

次に、音源方向の計算について説明する。
マイクロフォンＭ１〜Ｍ４には、平面板１３４の前方から伝播される音の音圧信号のみが入力されるものとし、マイクロフォンＭ１〜Ｍ４の音圧波形データをＦＦＴにて周波数解析し、周波数毎にマイクロフォンＭ１〜Ｍ４間の位相差を求め、この求められた位相差と、温度センサー１６により計測された温度を用いて算出した音速ｃとから音源の方向を周波数毎に算出する。
水平角θ_p及び仰角φ_pは以下の式［数１］で表わせる。
ここで、到達時間差Ｄ_ijは、マイクロフォンＭ_iに到達する音圧信号とマイクロフォンＭ_jに到達する音圧信号との時間差で、対となる２つのマイクロフォンＭ_i及びマイクロフォンＭ_jに入力される信号のクロススペクトルＰ_ij（ｆ）を求め、更に、対象とする周波数ｆの位相角情報Ψ（rad）を用いて、以下の式［数２］により算出される。
音源方向と音圧レベルとは周波数毎に計測する。
なお、音圧信号の大きさとしては、マイクロフォンＭ１〜Ｍ４のうちのいずれかに入力される信号の大きさとしてもよいし、マイクロフォンＭ１〜Ｍ４に入力される信号の大きさの平均値を用いてもよい。

このように、本実施の形態では、音源から伝播される音の音圧信号を採取するマイクロフォンＭ１〜Ｍ４を平面板１３４に設置するとともに、平面板１３４の前方に防風スクリーン１３６を設けて、風の影響を低減するようにしたので、風雑音を大幅に低減することができる。したがって、平面板にマイクロフォンを設置した平板型の音採取手段１１を用いて採取した音圧信号を用いても、音源の方向を精度よく推定することができる。

［実施例］
図５（ａ）〜（ｄ）は、音源方向画像の一例を示す図で、（ａ）図は、防風スクリーンのない音・映像採取ユニットを用い、風のない状態で計測した時の音源方向の推定結果、（ｂ）図は、本発明による音・映像採取ユニット１０を用い、風のない状態で計測した時の音源方向の推定結果である。
一方、（ｃ）図は、防風スクリーンのない音・映像採取ユニットを用い、12.5m/sの風をマイクロフォンに向けて送った時の音源方向の推定結果、（ｄ）図は、本発明による音・映像採取ユニット１０を用い、12.5m/sの風をマイクロフォンに向けて送った時の音源方向の推定結果である。
図５（ａ）〜（ｄ）を比較して明らかなように、風のない状態では、防風スクリーンの有無で推定結果に差はないが、風がある場合には、防風スクリーンがないと、音源方向の推定精度が低下していることがわかる。これに対して、図５（ｄ）に示す、防風スクリーンを備えた本発明による音・映像採取ユニット１０を用いて推定した音源方向のばらつきは、図５（ａ），（ｂ）の風のない状態とほとんど変わらないことがわかる。
これにより、防風スクリーンを設けることにより、風がある状態でも、音源の方向を精度よく推定できることが確認された。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は前記実施の形態に記載の範囲には限定されない。前記実施の形態に、多様な変更または改良を加えることが可能であることが当業者にも明らかである。そのような変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲から明らかである。

例えば、前記実施の形態では、平面板１３４を平面視十字状の部材としたが、円盤状などの他の形状としてもよい。また、機器装着部材１３についても、円筒状に限らず、四角柱状としてもよい。この場合、防音板としての底板１３２の形状は、機器装着部材１３の底面の形状と同じものとすることが好ましい。
また、前記実施の形態では、図６（ａ）に示すように、平面板１３４の前方に防風スクリーン１３６を配置したが、図６（ｂ）に示すように、防風スクリーン１３６の周囲に、吸音部材としての吸音リング１３８を配置すれば、反射の影響を一層低減できるので、音源の方向を推定精度が更に向上する。
吸音リング１３８としては、例えば、不織布を環状にしたものがよく用いられるが、吸音性能を有している材料であれば、吸音材１３７に用いたウレタンスポンジなどの他の吸音材を用いてもよい。また、防風スクリーン１３６を不織布から構成してもよい。
また、前記実施の形態では、平面板１３４に配置された４個のマイクロフォンＭ１〜Ｍ４を備えた音採取手段１１を用いて音源方向を推定したが、音採取手段を、互いに交わる２つの直線上にそれぞれ所定の間隔で配置された３個のマイクロフォンＭ１〜Ｍ３から構成してもよい。マイクロフォンＭ１，Ｍ２，Ｍ３は、図７（ａ）に示すような、１辺の長さがＬの正三角形の各頂点に配置してもよいし、図７（ｂ）に示すように、二等辺三角形の各頂点に配置してもよい。

１音源推定用画像作成装置、１０音・映像採取ユニット、
１１音採取手段、１２撮影手段（カメラ）、１３機器装着部材、１３１側板、
１３２底板、１３３収納体、１３４平面板、１３４ａ平面板の前面、
１３４ｂ平面板の後面、１３５カメラ取付け部材、１３６防風スクリーン、
１３７吸音材、１３８吸音リング、１３ｈマイク取付孔、１４支持部材、
１５基台、１６温度センサー、１７支持脚
２１音データ入出力手段、２１ａ増幅器、２１ｂＡ／Ｄ変換器、
２２映像入出力手段、２３記憶手段、２４音源方向推定手段、
２５音源推定用画像作成手段、２６表示手段、２６Ｍ表示画面、
Ｍ１〜Ｍ４マイクロフォン。

Claims

音源から伝播される音の音圧信号を採取する音採取手段と、前記音採取手段で採取された音圧信号から音源の方向を推定する音源方向推定手段とを備えた音源方向推定装置であって、
前記音採取手段は、
側板と防音板としての底板とを有し、前記底板とは反対側に開口部を有する収納体と、前記収納体の前記底板に取付けられる平面板と、前記平面板に設置されて前記開口部側である前方から伝播される音の音圧信号のみを採取する、互いに一直線上にない、２組のマイクロフォン対を構成する少なくとも３個のマイクロフォンと、前記平面板の前記マイクロフォンの前方に配置される防風スクリーンと、前記防風スクリーンと前記平面板との間、及び、前記防風スクリーンと前記側板と前記平面板と前記底板との間に挿入されて、前記平面板及び前記収納体の振動を低減する吸音材と、を備え、
前記音源方向推定手段は、前記各マイクロフォンに入力する音圧信号の到達時間差と、前記マイクロフォンの位置座標と音速とから前記音源の方向を推定することを特徴とする音源方向推定装置。
前記音採取手段は、前記防風スクリーンの周囲に配置される吸音部材を更に備えることを特徴とする請求項１に記載の音源方向推定装置。
前記２組のマイクロフォン対を構成する各マイクロフォンを、互いに交わる２つの直線の交点を中心とした正方形の各頂点にそれぞれ配置するとともに、前記音源方向推定手段では、前記正方形の一方の対角線上にある第１のマイクロフォン対を構成する各マイクロフォンに入力する音圧信号の到達時間差と、前記正方形の他方の対角線上にある第２のマイクロフォン対を構成する各マイクロフォンに入力する音圧信号の到達時間差とを用いて前記音源の方向を推定することを特徴とする請求項１または請求項２に記載の音源方向推定装置。
音源から伝播される音の音圧信号を採取する音採取手段と前記音採取手段で採取された音圧信号から音源の方向を推定する音源方向推定手段とを備えた音源方向推定装置と、前記推定された音源の方向の映像を撮影する撮影手段と、音源を推定するための音源推定用画像を作成する音源推定用画像作成手段とを備えた音源推定用画像作成装置であって、
前記音源方向推定装置として、請求項１〜請求項３のいずれかに記載の音源方向推定装置を用いるとともに、
前記撮影手段は、撮影方向が前記平面板に対して垂直でかつ前記平面板の前方を向くように、前記平面板の側面に取付けられて、前記音源の方向の映像を撮影し、
音源推定用画像作成手段は、前記音源方向推定手段で推定された音源の方向のデータと前記撮影手段で撮影された音源の方向の映像信号である画像データとを合成して、前記推定された音源方向を示す図形が描画された画像である音源推定用画像を作成することを特徴とする音源推定用画像作成装置。