JP6297858B2

JP6297858B2 - 音源推定用画像の作成装置

Info

Publication number: JP6297858B2
Application number: JP2014033814A
Authority: JP
Inventors: 北原　成郎; 成郎北原; 大脇　雅直; 雅直大脇; 財満　健史; 健史財満
Original assignee: Kumagai Gumi Co Ltd
Current assignee: Kumagai Gumi Co Ltd
Priority date: 2014-02-25
Filing date: 2014-02-25
Publication date: 2018-03-20
Anticipated expiration: 2034-02-25
Also published as: JP2015159458A

Description

本発明は、複数のマイクロフォンで採取した音の情報と、撮影手段で撮影した映像の情報とを用いて、音源を推定するための画像を作成する装置に関するものである。

従来、複数のマイクロフォンから互いに交わる直線状に配置された複数のマイクロフォン対を構成し、対となる２つのマイクロフォン間の位相差に相当する到達時間差と、他の対となる２つのマイクロフォン間の到達時間差との比から音源方向を推定するとともに、ＣＣＤカメラ等の映像採取手段を設けて前記推定した音源方向の映像を撮影し、音源方向の映像を撮影した画像データと音源方向のデータとを合成して、映像中に推定した音源方向と音圧レベルとを図形で表示した音源推定用画像を作成し、この音源推定用画像をディスプレイ等の表示画面に表示することで、音源を視覚的に把握する技術が開示されている（例えば、特許文献１参照）。

特開２０１１−２３８９８５号公報

しかしながら、前記従来の方法では、音源方向と音圧レベルとを表示した図形を周波数毎に表示しているため、近い場所に異なる周波数帯域の音源が存在する場合には、これらの音源を判別できない場合があった。

本発明は、従来の問題点に鑑みてなされたもので、近い場所に異なる周波数の音源が複数存在していても、音源を確実に推定することのできる音源推定用画像を作成する装置を提供することを目的とする。

本発明は、複数のマイクロフォンを備えた音源から伝搬される音の音圧信号を採取する音採取手段と、前記各マイクロフォンに入力する音圧信号の到達時間差から周波数毎に音源方向を推定する音源方向推定手段と、音源方向の映像を撮影する撮影手段と、前記音源方向推定手段で推定された音源方向のデータと前記撮影手段で撮影された音源方向の映像信号である画像データとを合成して、前記推定された音源方向を示す図形が描画された画像である音源推定用画像を作成する音源推定用画像作成手段と、前記音源推定用画像を表示画面に表示する表示手段とを備えた音源推定用画像の作成装置において、前記音源推定用画像作成手段で作成された音源推定用画像から、オクターブバンド毎の音源方向を示す図形が描画された画像であるバンド画像を作成するバンド画像作成手段を設けるとともに、前記表示手段は、複数枚のバンド画像を同一画面に並べて表示することを特徴とする。
これにより、周波数毎の差異が見やすくなるので、近い場所に異なる周波数の音源が複数存在していても、音源を確実に推定することができる。

また、本発明は、前記バンド画像作成手段で作成された周波数帯域が隣り合った２つ以上のバンド画像を重ね合わせた画像である重合バンド画像を作成する重合バンド画像作成手段を更に設けたことを特徴とする。
重合バンド画像の周波数領域は、バンド画像の周波数領域よりも広いので、少ない数の画像で音源を推定することができる。また、注目する周波数範囲が複数のバンドに跨っている場合には、バンド画像に代えて、重合バンド画像を用いて音源を推定した方が、音源を効果的に特定することができる。

また、本発明は、前記音採取手段が、互いに交わる２つの直線上にそれぞれ所定の間隔で配置された第１及び第２のマイクロフォン対と、前記２組のマイクロフォン対の作る平面上にない第５のマイクロフォンとを備え、前記音源方向推定手段は、前記２組のマイクロフォン対を構成するマイクロフォン間の位相差と、前記第５のマイクロフォンと前記２組のマイクロフォン対を構成する４個のマイクロフォンのそれぞれとで構成される４組のマイクロフォン対を構成するマイクロフォン間の位相差とを用いて音源方向を推定することを特徴とする。
これにより、少ないマイクロフォン数で、効率よくかつ正確に音源方向の水平角θと仰角φとを推定することができるので、精度の高い音源推定用画像を作成することができる。
なお、前記発明の概要は、本発明の必要な全ての特徴を列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となり得る。

本発明の実施の形態に係る音源推定用画像作成装置の構成を示す機能ブロック図である。音採取手段を構成するマイクロフォンの配置を示す図である。音源推定用画像の一例を示す図である。バンド画像の作成方法とバンド画像の一例を示す図である。本実施の形態に係るバンド画像の作成方法を示すフローチャートである。

以下、本発明の実施の形態について、図面に基づき説明する。
図１は、本実施の形態に係る音源推定用画像作成装置１の構成を示す図で、音源推定用画像作成装置１は、音・映像採取ユニット１０と、データ処理部２０と、記憶・演算部３０と、表示手段４０とを備える。
音・映像採取ユニット１０は、音採取手段１１と、映像採取手段としてのＣＣＤカメラ（以下、カメラという）１２と、マイクロフォン固定部１３と、カメラ支持台１４と、支柱１５と、回転台１６と、基台１７とを備える。
音採取手段１１は複数のマイクロフォンＭ１〜Ｍ５を備え、図示しない音源から伝播される音の音圧信号を測定する。
マイクロフォンＭ１〜Ｍ５の配置は、図２に示すように、４個のマイクロフォンＭ１〜Ｍ４を、互いに直交する２直線（ここでは、ｘ軸とｙ軸）上にそれぞれ所定の間隔Ｌで配置された２組のマイクロフォン対（Ｍ１，Ｍ３）及びマイクロフォン対（Ｍ２，Ｍ４）を構成するように配置するとともに、第５のマイクロフォンＭ５を前記マイクロフォンＭ１〜Ｍ４の作る平面上にない位置（ここでは、Ｚ軸上）に配置する。
本例では、マイクロフォンＭ５を、マイクロフォンＭ１〜Ｍ４の作る正方形を底面とする四角錐の頂点の位置に配置した。これにより、更に４組のマイクロフォン対（Ｍ５, Ｍ１）〜（Ｍ５, Ｍ４）が構成される。

カメラ１２の撮影方向は、図１の白抜きの矢印に示すように、２組のマイクロフォン対（Ｍ１，Ｍ３）及びマイクロフォン対（Ｍ２，Ｍ４）が配置される直交する２直線の交点を通り前記２直線とほぼ４５°をなす方向に設定してある。なお、カメラ１２の撮影方向としては、マイクロフォンＭ１からマイクロフォンＭ３へ向かう方向（図２のＸ軸方向）など、他の方向であってもよい。
本例では、カメラ１２の撮影方向を、音源が存在すると推定される方向になるように、音・映像採取ユニット１０を設置する。
マイクロフォン固定部１３にはマイクロフォンＭ１〜Ｍ５が設置され、カメラ支持台１４にはカメラ１２が設置され、マイクロフォン固定部１３とカメラ支持台１４とは、３本の支柱１５によって連結されている。つまり、音採取手段１１とカメラ１２とは一体化されている。なお、マイクロフォンＭ１〜Ｍ５は、カメラ１２の上部に配置される。
また、基台１７は３脚から成る支持部材で、この基台１７上に回転台１６が設置されている。カメラ支持台１４は回転台１６の回転部材１６ｒに搭載されている。
これにより、回転部材１６ｒを回転させることにより、音採取手段１１とカメラ１２とを一体に回転させることができる。

データ処理部２０は、音データ入出力手段２１と映像入出力手段２２とを備える。
音データ入出力手段２１は、増幅器２１ａと、Ａ／Ｄ変換器２１ｂとを備える。
増幅器２１ａはローパスフィルタを備え、マイクロフォンＭ１〜Ｍ５で採取した音の音圧信号から高周波ノイズ成分を除去するとともに、前記各音圧信号を増幅してＡ／Ｄ変換器２１ｂに出力する。
Ａ／Ｄ変換器２１ｂは、音圧信号をＡ／Ｄ変換して得られた音圧波形データを記憶・演算部３０のデータ記憶手段３１に送る。
映像入出力手段２２は、カメラ１２で撮影した映像信号を入力し、この映像信号をＡ／Ｄ変換して得られた画像データをデータ記憶手段３１に送る。

記憶・演算部３０は、データ記憶手段３１と、音源方向推定手段３２と、音源推定用画像作成手段３３と、バンド画像作成手段３４とを備える。
記憶・演算部３０を構成する各手段は、例えば、パーソナルコンピュータのソフトウェアとメモリーとにより構成される。
データ記憶手段３１は、音圧波形データと画像データとを記憶する。
音源方向推定手段３２は、データ記憶手段３１に記憶された音圧波形データを用いて、音源方向である水平角θと仰角φとを周波数ｆ毎に算出するとともに、マイクロフォンＭ５に入力した音圧レベルを計測してこれを音源から伝播された音の音圧レベルとする。なお、水平角θと仰角φの算出方法については後述する。
音源推定用画像作成手段３３は、音源方向推定手段３２で算出された周波数毎の音源データである音源方向のデータ（水平角θと仰角φ）及び音圧レベルと、データ記憶手段３１に記憶された撮影方向の画像データとを合成し、画像中に音源の方向を示す図形（ここでは、円とした）が周波数ｆ毎に描画された音源推定用画像Ｇを作成してバンド画像作成手段３４に送る。
図３は、音源推定用画像Ｇの一例を示す図で、音・映像採取ユニット１０を図示しない工場の入り口に設置して、工場内の工作機械Ｈのどの個所から騒音が発生しているかを推定した。同図の横軸は水平角θで、縦軸は仰角φである。この例では、水平角θの範囲及び仰角φの範囲をそれぞれ−８０°≦θ≦＋８０°、−５０°≦φ≦＋５０°とした。
工作機械Ｈの音源推定用画像Ｇをみると、同図の四角い枠で囲った領域Ｄに音源の方向を示す図形が多いことがわかる。

バンド画像作成手段３４は、図４（ａ）に示すように、音源推定用画像Ｇから、オクターブバンド毎の画像である複数のバンド画像Ｇ_pを作成する。
具体的には、オクターブバンドとして、１/３オクターブバンドを用い、中心周波数ｆ_p（ｐ＝１〜１７）を、例えば、１２５Ｈｚ，１６０Ｈｚ，２００Ｈｚ，…………，３．１５ｋＨｚ，４ｋＨｚ，５ｋＨｚとすると、バンド画像Ｇ_pは１７枚となる。
１/３オクターブバンドの場合、中心周波数がｆ_pであるバンド画像Ｇ_pは、周波数帯域が［ｆ_p/１．１２５，１．１２５・ｆ_p］の音の音源が表示された画像となる。
なお、オクターブバンドとして、１オクターブバンドを用いてもよい。
図４（ｂ）は、図３に示した音源推定用画像Ｇから作成した、中心周波数がｆ_p＝５００Ｈｚのバンド画像Ｇ₇で、図４（ｃ）は、中心周波数がｆ_p＝２ｋＨｚのバンド画像Ｇ₁₃である。
図３と、図４（ｂ）及び図４（ｃ）とを比較してわかるように、図３の音源推定用画像Ｇでは、同図の四角い枠で囲った領域Ｄでは、音源方向を示す図形が重なっていて音源の特定が難しいが、図４（ｂ）及び図４（ｃ）のバンド画像Ｇ₇，Ｇ₁₃では、各図の矢印で示すように、領域Ｄの異なる箇所Ａ，Ｂにそれぞれ周波数の異なる音源が存在していることが分かる。したがって、本例のように、音源推定用画像Ｇからバンド画像Ｇ_pを作成して表示すれば、周波数毎の差異が見やすくなるので、近い場所に異なる周波数の音源が複数存在していても、音源を確実に推定することができる。
表示手段４０は、液晶ディスプレイ等の表示画面４０Ｍを備え、バンド画像作成手段３４で作成されたバンド画像Ｇ_pを表示画面４０Ｍに表示する。

次に、音源推定用画像作成装置１によるバンド画像Ｇ_pの作成方法について、図５のフローチャートを参照して説明する。
まず、音・映像採取ユニット１０とデータ処理部２０と記憶・演算部３０と表示手段４０とを接続した後、音・映像採取ユニット１０を計測点にセットする（ステップＳ１０）。
そして、カメラ１２の撮影方向を測定予定場所に向け、表示画面４０Ｍを見てカメラ１２が測定予定場所を撮影していることを確認した後、マイクロフォンＭ１〜Ｍ５にて音を採取すると同時に、カメラ１２にて測定予定場所の映像を採取する（ステップＳ１１）。
計測点から測定予定場所を見たときに視野が映像視野よりも大きい場合には、回転台１６を、例えば、３°/sec.程度のゆっくりした速度で、測定予定場所の中央部を中心に往復回転させながら、音と映像とを採取するようにすればよい。回転範囲としては±６０°程度が適当である。なお、音・映像採取ユニット１０を固定して測定し、測定終了後に回転台１６を適宜回転させて撮影方向を音源があると推定される方向に変更した後、再度、測定してもよい。

次に、マイクロフォンＭ１〜Ｍ５の出力信号である音圧信号を増幅してＡ／Ｄ変換して得られた音圧波形データをデータ記憶手段３１に保存するとともに、カメラ１２の映像信号をＡ／Ｄ変換し、このＡ／Ｄ変換した画像データをデータ記憶手段３１に保存する（ステップＳ１２）。
次に、データ記憶手段３１に保存された音圧波形データを抽出し、この音圧波形データを用いて音源データである音源方向と音圧レベルとを算出する（ステップＳ１３）。
音源方向は、音圧波形データをＦＦＴにて周波数解析し、周波数毎にマイクロフォンＭ１〜Ｍ５間のそれぞれの位相差を求め、この求められた位相差から周波数毎に音源の方向を推定する。なお、本例では、位相差に代えて、位相差に比例する物理量である到達時間差Ｄ_ijを用いて音源方向である水平角θ及び仰角φを求めている。
具体的には、各マイクロフォン対（Ｍｉ, Ｍｊ）の位相差（到達時間差Ｄ_ij）から、当該計測点から見た音源方向を推定する。
水平角θと仰角φとは以下の式（１）及び式（２）で表わせる。

ここで、到達時間差Ｄ_ijは、マイクロフォンＭ_iに到達する音圧信号と、このマイクロフォンＭ_iに対して対となるマイクロフォンＭ_jに到達する音圧信号との時間差であり、この対となる２つのマイクロフォンＭ_i及びマイクロフォンＭ_jに入力される信号のクロススペクトルＰ_ij（ｆ）を求め、更に、対象とする前記周波数ｆの位相角情報Ψ（ｒＡ／Ｄ）を用いて、以下の式（３）により算出される。

なお、音源方向と音圧レベルとは周波数毎に計測する。
また、マイクロフォンＭ５に入力される信号の大きさを音圧信号の大きさとする。

次に、横軸が水平角θで縦軸を仰角φであるマップ上に、図３に示したような、音源方向（θ，φ）と音圧信号の周波数及び大きさとを表示した円が表示された音源推定用画像Ｇを作成し、データ記憶手段３１に記憶する（ステップＳ１４）。円の径が音圧レベルを表し、円の模様もしくは色が音圧信号の周波数を表す。
そして、図４に示したように、音源推定用画像Ｇから、オクターブバンド毎の画像である複数のバンド画像Ｇ_pを作成する（ステップＳ１５）。
最後に、表示手段４０の表示画面４０Ｍにバンド画像Ｇ_pを表示する（ステップＳ１６）。表示画面４０Ｍに表示するバンド画像Ｇ_pは一枚ずつであってもよいし、複数枚のバンド画像Ｇ_pを同一画面に並べて表示してもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は前記実施の形態に記載の範囲には限定されない。前記実施の形態に、多様な変更または改良を加えることが可能であることが当業者にも明らかである。そのような変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲から明らかである。

例えば、前記実施の形態では、バンド画像Ｇ_pを用いて音源を確実に推定したが、重合バンド画像作成手段を設けて、バンド画像作成手段３４で作成されたバンド画像Ｇ_pのうちの周波数帯域が隣り合った２つ以上のバンド画像を重ね合わせた画像である重合バンド画像Ｇ_p,q（ｐ，ｑ＝１〜１７、但し、ｐ＜ｑ）を作成して表示すれば、少ない画像数で音源を推定することができる。
重合バンド画像Ｇ_p,qとしては、例えば、中心周波数が１６０Ｈｚ〜２ｋＨｚのバンド画像Ｇ₂, Ｇ₃, ……, Ｇ₁₃を重ね合わせて作成した低域重合バンド画像Ｇ_2,13や、中心周波数が１ｋＨｚ〜５ｋＨｚのバンド画像Ｇ₁₀, Ｇ₁₁, ……, Ｇ₁₇を重ね合わせて作成した高域重合バンド画像Ｇ_10,17などを用いることができる。
重合バンド画像Ｇ_p,qは、周波数領域がバンド画像Ｇ_pよりも広いので、少ない画像数で音源を推定することができる。また、注目する周波数範囲が複数のオクターブバンドに跨っている場合に、重合バンド画像Ｇ_p,qを用いて音源を推定した方が、音源を効果的に特定することができる。

１音源推定用画像作成装置、
１０音・映像採取ユニット、１１音採取手段、１２ＣＣＤカメラ（カメラ）、
１３マイクロフォン固定部、１４カメラ支持台、１５支柱、１６回転台、
１６ｒ回転部材、１７基台、
２０データ処理部、２１音データ入出力手段、２１ａ増幅器、
２１ｂＡ／Ｄ変換器、２２映像入出力手段、
３０記憶・演算部、３１データ記憶手段、３２音源方向推定手段、
３３音源推定用画像作成手段、３４バンド画像作成手段、
４０表示手段、４０Ｍ表示画面、Ｍ１〜Ｍ５マイクロフォン。

Claims

複数のマイクロフォンを備えた音源から伝搬される音の音圧信号を採取する音採取手段と、前記各マイクロフォンに入力する音圧信号の到達時間差から周波数毎に音源方向を推定する音源方向推定手段と、音源方向の映像を撮影する撮影手段と、前記音源方向推定手段で推定された音源方向のデータと前記撮影手段で撮影された音源方向の映像信号である画像データとを合成して、前記推定された音源方向を示す図形が描画された画像である音源推定用画像を作成する音源推定用画像作成手段と、前記音源推定用画像を表示画面に表示する表示手段とを備えた音源推定用画像の作成装置において、
前記音源推定用画像作成手段で作成された音源推定用画像から、オクターブバンド毎の音源方向を示す図形が描画された画像であるバンド画像を作成するバンド画像作成手段を設けるとともに、
前記表示手段は、複数枚のバンド画像を同一画面に並べて表示することを特徴とする音源推定用画像の作成装置。
前記バンド画像作成手段で作成された周波数帯域が隣り合った２つ以上のバンド画像を重ね合わせた画像である重合バンド画像を作成する重合バンド画像作成手段を更に設けたことを特徴とする請求項１に記載の音源推定用画像の作成装置。
前記音採取手段は、互いに交わる２つの直線上にそれぞれ所定の間隔で配置された第１及び第２のマイクロフォン対と、前記２組のマイクロフォン対の作る平面上にない第５のマイクロフォンとを備え、
前記音源方向推定手段は、前記２組のマイクロフォン対を構成するマイクロフォン間の位相差と、前記第５のマイクロフォンと前記２組のマイクロフォン対を構成する４個のマイクロフォンのそれぞれとで構成される４組のマイクロフォン対を構成するマイクロフォン間の位相差とを用いて音源方向を推定することを特徴とする請求項１または請求項２に記載の音源推定用画像の作成装置。