JP5294925B2 - Sound source estimation method and apparatus - Google Patents
Sound source estimation method and apparatus Download PDFInfo
- Publication number
- JP5294925B2 JP5294925B2 JP2009048554A JP2009048554A JP5294925B2 JP 5294925 B2 JP5294925 B2 JP 5294925B2 JP 2009048554 A JP2009048554 A JP 2009048554A JP 2009048554 A JP2009048554 A JP 2009048554A JP 5294925 B2 JP5294925 B2 JP 5294925B2
- Authority
- JP
- Japan
- Prior art keywords
- sound
- sound source
- time
- sound pressure
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
- Studio Devices (AREA)
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
- Circuit For Audible Band Transducer (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
Description
本発明は、複数のマイクロフォンで採取した音の情報と、撮影手段で撮影した映像の情報とを用いて、音源を推定する方法とその装置に関するものである。 The present invention relates to a method and apparatus for estimating a sound source using sound information collected by a plurality of microphones and video information photographed by a photographing means.
従来、音の到来方向を推定する方法としては、多数のマイクロフォンを等間隔に配置したマイクロフォンアレーを構築し、基準となるマイクロフォンに対する各マイクロフォンの位相差から音波の到来方向である音源方向を推定する、いわゆる音響学的手法が考案されている(例えば、非特許文献1参照)。
一方、計測点に配置された複数のマイクロフォンの出力信号の位相差からではなく、複数のマイクロフォンから互いに交わる直線状に配置された複数のマイクロフォン対を構成し、対となる2つのマイクロフォン間の位相差に相当する到達時間差と、他の対となる2つのマイクロフォン間の到達時間差との比から音源方向を推定する方法が提案されている(例えば、特許文献1〜3参照)。
Conventionally, as a method of estimating the direction of sound arrival, a microphone array in which a large number of microphones are arranged at equal intervals is constructed, and the sound source direction that is the direction of sound wave arrival is estimated from the phase difference of each microphone relative to the reference microphone. So-called acoustic techniques have been devised (for example, see Non-Patent Document 1).
On the other hand, not a phase difference between output signals of a plurality of microphones arranged at a measurement point, but a plurality of microphone pairs arranged in a straight line intersecting each other from the plurality of microphones, and the position between the two microphones constituting the pair There has been proposed a method of estimating a sound source direction from a ratio between an arrival time difference corresponding to a phase difference and an arrival time difference between two paired two microphones (see, for example,
具体的には、図5に示すように、4個のマイクロフォンM1〜M4を、互いに直交する2直線上にそれぞれ所定の間隔で配置された2組のマイクロフォン対(M1,M3)及びマイクロフォン対(M2,M4)を構成するように配置し、前記マイクロフォン対(M1,M3)を構成するマイクロフォンM1,M3に入力する音圧信号の到達時間差と、前記マイクロフォン対(M2,M4)を構成するマイクロフォンM2,M4に入力する音圧信号の到達時間差との比から、計測点と音源位置との成す水平角θを推定するとともに、第5のマイクロフォンM5を前記マイクロフォンM1〜M4の作る平面上にない位置に配置して、更に4組のマイクロフォン対(M5, M1),(M5, M2),(M5, M3),(M5, M4)を構成し、前記各マイクロフォン対を構成するマイクロフォン間の到達時間差から、計測点と音源位置との成す仰角φを推定する。 Specifically, as shown in FIG. 5, two microphone pairs (M1, M3) and microphone pairs (four microphones M1 to M4) are arranged at predetermined intervals on two straight lines orthogonal to each other. M2, M4) are arranged so as to constitute the microphone pair (M1, M3) and the microphones constituting the microphone pair (M2, M4) and the arrival time difference of the sound pressure signals input to the microphones M1, M3. The horizontal angle θ formed by the measurement point and the sound source position is estimated from the ratio with the arrival time difference between the sound pressure signals input to M2 and M4, and the fifth microphone M5 is not on the plane formed by the microphones M1 to M4. Further, four microphone pairs (M5, M1), (M5, M2), (M5, M3), (M5, M4) are configured and arranged in the positions. The elevation angle φ formed by the measurement point and the sound source position is estimated from the arrival time difference between the microphones constituting the pair of microphones.
これにより、マイクロフォンアレーを用いて音源方向を推定する場合に比較して、少ないマイクロフォン数で音源方向を正確に推定することができる。
また、このとき、CCDカメラ等の映像採取手段を設けて前記推定された音源方向の映像を撮影した後、この映像のデータと音源方向のデータとを合成して、映像中に前記推定した音源方向と音圧レベルとを図形で表示するようにすれば、音源を視覚的に把握することができる。
また、音の採取と同時に映像採取手段にて映像を連続的に撮影し、音の情報とともに、映像の情報を動画としてコンピュータに保存しておき、その後音源方向の計算を行って映像中に推定した音源方向と音圧レベルとを図形を表示して音源を推定する方法も行われている。
Thereby, compared with the case where the sound source direction is estimated using the microphone array, the sound source direction can be accurately estimated with a small number of microphones.
Further, at this time, a video sampling means such as a CCD camera is provided to shoot a video of the estimated sound source direction, and then the video data and the data of the sound source direction are combined to generate the estimated sound source in the video. If the direction and the sound pressure level are displayed graphically, the sound source can be grasped visually.
At the same time as the sound is collected, the video is continuously captured by the video sampling means, and the video information is stored in the computer together with the sound information, and then the direction of the sound source is calculated and estimated in the video. There is also a method of estimating a sound source by displaying a figure of the sound source direction and sound pressure level.
ところで、前記従来の方法では、音の情報と映像の情報とをコンピュータに取り込んだ後に、取り込んだ情報をすべて用いて音源方向の計算を行っていた。そのため、音源位置の解析に時間がかかってしまい、現場ですぐに音源位置の推定結果を知ることができなかった。また、測定の妥当性についても検証できないといった問題点があった。 By the way, in the conventional method, after the sound information and the video information are taken into the computer, the direction of the sound source is calculated using all the taken-in information. For this reason, it took time to analyze the sound source position, and it was impossible to immediately know the estimation result of the sound source position at the site. In addition, there was a problem that the validity of the measurement could not be verified.
本発明は、従来の問題点に鑑みてなされたもので、現場において、測定データの任意の部分を抽出して音源位置の推定を行う方法とその装置を提供することを目的とする。 The present invention has been made in view of the conventional problems, and an object of the present invention is to provide a method and apparatus for estimating a sound source position by extracting an arbitrary part of measurement data in the field.
本願の請求項1に記載の発明は、複数のマイクロフォンと撮影手段とを一体に組み込んだ音・映像採取ユニットを用いて音の情報と映像の情報とを同時に採取して、この採取した音の音圧信号のデータである音圧波形データと映像の画像データとを用いて音源を推定する音源の推定方法であって、前記採取した音と映像のデータをそれぞれ時系列に配列して記憶手段に保存するとともに、前記音圧波形データのみを記憶手段から抽出して音圧レベルの時系列波形のグラフを表示し、このグラフ上で音源方向の解析を行う時間位置を選択して指定した後、この指定された時間位置と前記時間位置の前後を含む、時間幅が所定の解析時間長の音圧波形データを用いて、前記複数のマイクロフォンで採取した音の音圧信号間の位相差を算出して音源方向を推定し、前記推定された音源方向と前記指定された時間位置で撮影された画像データとを合成して、画像中に前記推定された音源方向を示す図形が描画された音源位置推定画像を作成し、この音源位置推定画像を用いて前記音源を推定することを特徴とする。
The invention according to
請求項2に記載の発明は、請求項1に記載の音源の推定方法であって、複数のマイクロフォンと撮影手段とを一体に組み込んだ音・映像採取ユニットを用いて音の情報と映像の情報とを同時に採取する第1のステップと、前記採取した音の音圧信号をA/D変換して時系列に配列された音圧波形データとして記憶手段に保存し、前記映像の信号をA/D変換して時系列に配列された画像データとして記憶手段に保存する第2のステップと、前記音圧波形データを記憶手段から抽出して音圧レベルの時系列波形のグラフを作成して表示手段の表示画面に表示する第3のステップと、前記表示画面上においてグラフ上の特定の点を選択して指定することで、音源方向の解析を行う時間位置を指定する第4のステップと、前記記憶手段から、前記指定された時間位置と前記時間位置の前後を含む、時間幅が予め設定された解析時間長の音圧波形データを抽出する第5のステップと、前記抽出された音圧波形データを用いて、前記複数のマイクロフォンで採取した音の音圧信号間の位相差を算出し、音源方向を推定する第6のステップと、前記記憶手段から、前記指定された時間位置で撮影された画像データを抽出する第7のステップと、前記第6のステップで推定された音源方向のデータと、前記第7のステップで抽出された画像データとを合成して、画像中に前記推定された音源方向を示す図形が描画された音源位置推定画像を作成して表示する第8のステップと、前記音源位置推定画像を用いて、前記音源を推定する第9のステップとを備えたことを特徴とする。
The invention according to
請求項3に記載の発明は、請求項2に記載の音源の推定方法において、前記第3のステップで抽出して表示する音圧レベルの時系列波形を、採取音の大きさの時系列波形としたことを特徴とする。
また、請求項4に記載の発明は、請求項2に記載の音源の推定方法において、前記第3のステップに、推定する音圧信号の周波数帯域を指定するステップと、前記記憶手段から抽出した音圧レベルの時系列波形を周波数分析して、前記指定された周波数帯域における音圧レベルの時系列波形を求めるステップとを設け、前記求められた指定周波数帯域の音圧レベルの時系列波形のグラフを表示手段の表示画面に表示することを特徴とする。
According to a third aspect of the present invention, in the sound source estimation method according to the second aspect, the time-series waveform of the sound pressure level extracted and displayed in the third step is replaced with the time-series waveform of the magnitude of the collected sound. It is characterized by that.
According to a fourth aspect of the present invention, in the sound source estimation method according to the second aspect, the step of designating a frequency band of the sound pressure signal to be estimated is extracted from the storage means in the third step. Analyzing the frequency of the time-series waveform of the sound pressure level to obtain a time-series waveform of the sound pressure level in the designated frequency band, and providing a time-series waveform of the sound pressure level of the obtained designated frequency band. The graph is displayed on the display screen of the display means.
請求項5に記載の発明は、互いに交わる2つの直線上にそれぞれ所定の間隔で配置された2組のマイクロフォン対を有するマイクロフォン群と音源方向の映像を撮影する撮影手段と表示手段とを備え、前記マイクロフォン群で採取した音源から伝播する音の音圧信号と音源方向を撮影した映像信号とから、音源位置のデータが表示された画像を作成して表示手段に表示し音源を推定する音源の推定装置であって、前記各マイクロフォンで採取した音圧信号と撮影手段で撮影した映像信号とをそれぞれデジタル信号に変換するA/D変換器と、前記A/D変換された音圧信号を時系列的に並べた音圧波形データを音ファイルとして保存するとともに、前記A/D変換された映像信号を時系列的に並べた動画データを、動画ファイルとして保存する記憶手段と、前記音ファイルから予め設定した解析時間長の音圧波形データを抽出して、音圧レベルの時系列波形のグラフを作成する音圧波形作成手段と、前記時系列波形のグラフの特定の点を選択して指定することで、音源方向の解析を行う時間位置を指定する解析位置指定手段と、前記音ファイルから、指定された時間位置と前記時間位置の前後を含む、時間幅が予め設定された解析時間長の音圧波形データを抽出し、この抽出された音圧波形データを周波数解析して前記2組のマイクロフォン対を構成するマイクロフォン間のそれぞれの位相差を求め、この求められた2組のマイクロフォン対の位相差の比から音源方向を推定する音源方向推定手段と、前記動画ファイルから、前記指定された時間位置で撮影された画像データを抽出する画像データ抽出手段と、前記推定された音源方向のデータと前記抽出された画像データとを合成して、画像中に前記推定された音源方向を示す図形が描画された音源方向推定画像を作成する音源位置推定画像作成手段とを備え、前記複数のマイクロフォンと前記撮影手段とは一体に組み込まれて、音の情報と映像の情報とを同時に採取し、前記表示手段は、前記音圧波形作成手段で作成された音圧波形のグラフと、前記音源位置推定画像作成手段で作成された音源方向推定画像とを表示することを特徴とする。
The invention according to
請求項6に記載の発明は、請求項5に記載の音源の推定装置において、前記マイクロフォン群に、前記2組のマイクロフォン対の作る平面上にない第5のマイクロフォンを追加するとともに、前記音源方向推定手段では、前記2組のマイクロフォン対を構成するマイクロフォン間の位相差と、前記第5のマイクロフォンと前記2組のマイクロフォン対を構成する4個のマイクロフォンのそれぞれとで構成される4組のマイクロフォン対を構成するマイクロフォン間の位相差とを用いて音源方向を推定することを特徴とする。 According to a sixth aspect of the present invention, in the sound source estimating apparatus according to the fifth aspect, a fifth microphone not on a plane formed by the two pairs of microphones is added to the microphone group, and the sound source direction is added. In the estimation means, the four sets of microphones constituted by the phase difference between the microphones constituting the two sets of microphone pairs, and each of the fifth microphone and the four microphones constituting the two sets of microphone pairs. A sound source direction is estimated using a phase difference between microphones constituting a pair.
本発明によれば、複数のマイクロフォンと撮影手段とを一体に組み込んだ音・映像採取ユニットを用いて音の情報と映像の情報とを同時に採取して、この採取した音の音圧信号のデータである音圧波形データと映像の画像データとをそれぞれ時系列に配列して記憶手段に保存するとともに、前記音圧波形データのみを記憶手段から呼び出して表示した音圧レベルの時系列波形のグラフを用いて音源方向の解析を行う時間位置を選択して指定し、この指定された時間位置と前記時間位置の前後を含む、時間幅が所定の解析時間長分の音圧波形データを用いて音源方向を推定するようにしたので、現場において、測定データの任意の部分を抽出して音源位置の推定を行うことができる。したがって、音源位置の推定時間を大幅に短縮することができる。
また、音源を推定する際には、推定された音源方向と前記指定された時間位置で撮影された画像データとを合成して、画像中に推定された音源方向を示す図形が描画された音源位置推定画像を作成し、この音源位置推定画像を用いて、前記音源を推定するようにしたので、音源を確実に推定できる。
また、計測点の位置が適当でないなど、測定の妥当性についても、早期に判断できるので、音源位置の推定を効率良く行うことができる。しかも、任意の時間のデータを取り出すことができるので、音源位置の変化についても把握することができるとともに、伝播した音の履歴についても、現場にて検証できる。
According to the present invention, sound information and video information are simultaneously collected using a sound / video sampling unit in which a plurality of microphones and photographing means are integrated, and the sound pressure signal data of the collected sound is collected. The sound pressure waveform data and the video image data are arranged in time series and stored in the storage means, and the sound pressure level time series waveform graph is displayed by calling only the sound pressure waveform data from the storage means. specified by selecting the time position for analysis of the sound source direction by using, this includes a specified time positions before and after the time position, time width by using a sound pressure waveform data for a predetermined analysis time length Since the sound source direction is estimated, an arbitrary portion of the measurement data can be extracted and the sound source position can be estimated in the field. Therefore, the estimation time of the sound source position can be greatly shortened.
Further, when estimating the sound source, the estimated sound source direction and the image data photographed at the specified time position are synthesized, and the sound source in which a figure indicating the estimated sound source direction is drawn in the image Since the position estimation image is created and the sound source is estimated using the sound source position estimation image, the sound source can be reliably estimated.
In addition, since the validity of the measurement can be determined at an early stage such that the position of the measurement point is not appropriate, the sound source position can be estimated efficiently. In addition, since data at an arbitrary time can be taken out, it is possible to grasp the change in the sound source position, and the history of the propagated sound can be verified on site.
また、請求項2に記載のステップに従って音源を推定するようにすれば、現場において、測定データの任意の部分を確実に抽出して音源位置の推定を行うことができる。
また、表示する音圧レベルの時系列波形を採取音の大きさの時系列波形とすれば、伝播音の大きさに応じた音源位置の推定を行うことができる。
また、表示する音圧レベルの時系列波形を所定の周波数帯域の音圧レベルの時系列波形とすれば、例えば、電源ボックスのトランスからの音や空調機の振動音などの特定の機器からの伝播音を対象とした音源位置の推定を行うことができる。
In addition, if the sound source is estimated according to the steps described in
If the time series waveform of the sound pressure level to be displayed is the time series waveform of the magnitude of the collected sound, the sound source position can be estimated according to the magnitude of the propagation sound.
Moreover, if the time-series waveform of the sound pressure level to be displayed is a time-series waveform of the sound pressure level in a predetermined frequency band, for example, a sound from a specific device such as a sound from a power box transformer or a vibration sound of an air conditioner is used. It is possible to estimate the position of the sound source for the propagation sound.
また、請求項5に記載の音源の推定装置を用いることにより、測定データの任意の部分を確実に抽出することができるので、音源位置の推定を効率良く行うことができる。
このとき、互いに交わる2つの直線上にそれぞれ所定の間隔で配置された2組のマイクロフォン対を構成する第1〜第4のマイクロフォンと、2組のマイクロフォン対の作る平面上にない第5のマイクロフォンとから成る音採取手段を構成し、2組のマイクロフォン対を構成するマイクロフォン間の位相差の比と、前記第1〜第5のマイクロフォン間の位相差とを用いて音源方向を推定するようにすれば、少ないマイクロフォン数で、効率よくかつ正確に水平角θと仰角φとを推定することができる。
In addition, by using the sound source estimation apparatus according to the fifth aspect, it is possible to reliably extract an arbitrary portion of the measurement data, so that the sound source position can be estimated efficiently.
At this time, the first to fourth microphones constituting the two microphone pairs arranged on the two straight lines intersecting each other at a predetermined interval and the fifth microphone not on the plane formed by the two microphone pairs And the sound source direction is estimated using the phase difference ratio between the microphones constituting the two microphone pairs and the phase difference between the first to fifth microphones. Then, the horizontal angle θ and the elevation angle φ can be estimated efficiently and accurately with a small number of microphones.
なお、前記発明の概要は、本発明の必要な全ての特徴を列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となり得る。 The summary of the invention does not list all necessary features of the present invention, and a sub-combination of these feature groups can also be an invention.
以下、実施の形態を通じて本発明を詳説するが、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また、実施の形態の中で説明される特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。 Hereinafter, the present invention will be described in detail through embodiments, but the following embodiments do not limit the invention according to the claims, and all combinations of features described in the embodiments are included. It is not necessarily essential for the solution of the invention.
図1は音源推定システムの構成を示す機能ブロック図である。
音源推定システムは、音・映像採取ユニット10と音源位置推定装置20とを備える。
音・映像採取ユニット10は、音採取手段11と、映像採取手段としてのCCDカメラ(以下、カメラという)12と、マイクロフォン固定部13と、カメラ支持台14と、支柱15と、回転台16と、基台17とを備える。音採取手段11は複数のマイクロフォンM1〜M5を備える。
マイクロフォン固定部13にはマイクロフォンM1〜M5が設置され、カメラ支持台14にはカメラ12が設置され、マイクロフォン固定部13とカメラ支持台14とは、3本の支柱15によって連結されている。つまり、音採取手段11とカメラ12とは一体化されている。なお、マイクロフォンM1〜M5は、カメラ12の上部に配置される。
基台17は3脚から成る支持部材で、この基台17上に回転台16が設置されている。カメラ支持台14は回転台16の回転部材16rに搭載されている。
したがって、回転部材16rを回転させることにより、音採取手段11とカメラ12とを一体に回転させることができる。
マイクロフォンM1〜M5は、図示しない音源から伝播される音の音圧レベルをそれぞれ測定する。
FIG. 1 is a functional block diagram showing the configuration of the sound source estimation system.
The sound source estimation system includes a sound /
The sound /
The microphones M1 to M5 are installed on the
The
Therefore, the sound collecting means 11 and the camera 12 can be rotated together by rotating the rotating
Microphones M1 to M5 each measure the sound pressure level of sound propagated from a sound source (not shown).
マイクロフォンM1〜M5の配置は、前記図5に示したものと同様で、4個のマイクロフォンM1〜M4を、互いに直交する2直線上にそれぞれ所定の間隔で配置された2組のマイクロフォン対(M1,M3)及びマイクロフォン対(M2,M4)を構成するように配置するとともに、第5のマイクロフォンM5を前記マイクロフォンM1〜M4の作る平面上にない位置、詳細には、マイクロフォンM1〜M4の作る正方形を底面とする四角錐の頂点の位置に配置する。これにより、更に4組のマイクロフォン対(M5, M1)〜(M5, M4)が構成される。
本例では、カメラ12の撮影方向を、前記直交する2直線の交点を通り前記2直線とほぼ45°をなす方向に設定している。したがって、音・映像採取ユニット10の向きは、図1の白抜きの矢印Dの方向となる。カメラ12は、音・映像採取ユニット10の向きに応じた映像を採取する。
The arrangement of the microphones M1 to M5 is the same as that shown in FIG. 5, and two microphone pairs (M1) in which four microphones M1 to M4 are arranged at predetermined intervals on two straight lines orthogonal to each other. , M3) and the microphone pair (M2, M4), and the fifth microphone M5 is not on the plane formed by the microphones M1 to M4, more specifically, the square formed by the microphones M1 to M4. It is arranged at the position of the apex of the quadrangular pyramid with the bottom face. Thereby, four pairs of microphones (M5, M1) to (M5, M4) are further configured.
In this example, the shooting direction of the camera 12 is set to a direction that passes through the intersection of the two orthogonal lines and forms approximately 45 ° with the two lines. Therefore, the direction of the sound /
音源位置推定装置20は、増幅器21と、A/D変換器22と、映像入出力手段23と、記憶手段24と、表示手段25と、解析時間長設定手段26と、解析周波数指定手段27と、音圧波形作成手段28と、解析位置指定手段29と、音圧波形データ取出手段30と、音源方向推定手段31と、画像データ取出手段32と、データ合成手段33とを備える。
増幅器21はローパスフィルタを備え、マイクロフォンM1〜M5で採取した音の音圧信号から高周波ノイズ成分を除去するとともに、前記音圧信号を増幅してA/D変換器22に出力する。A/D変換器22は、前記音圧信号をA/D変換した音圧波形データを作成し、これを、記憶手段24に出力する。
映像入出力手段23は、カメラ12で連続的に撮影された映像信号を入力し、所定時間(例えば、1/30秒)毎に撮影方向の画像データを記憶手段24に出力する。
記憶手段24は、音圧波形データと画像データとを時系列に配列して保存する。
音圧波形データと画像データとを時系列に配列して記憶する方法としては、音圧波形データと画像データとを同期させて記憶するか、あるいは、音圧波形データと画像データとにそれぞれ時刻データを付けて記憶するなど、周知の方法を用いることができる。
以下、音圧波形データを保存したファイルを音ファイルと呼び、画像データを保存したファイルを動画ファイルと呼ぶ。
The sound source
The
The video input /
The
As a method of storing sound pressure waveform data and image data in time series, the sound pressure waveform data and the image data are stored in synchronization, or the sound pressure waveform data and the image data are respectively stored in time. A well-known method such as storing data can be used.
Hereinafter, a file storing sound pressure waveform data is called a sound file, and a file storing image data is called a moving image file.
表示手段25は、後述する音圧波形データのグラフを表示する音圧レベル表示部25aと音源位置を推定するための音源位置推定画像を表示する画像表示部25bとを備えた表示画面25Mを備える。音圧波形データのグラフは音圧波形作成手段28で作成され、音源位置推定画像はデータ合成手段33で作成される。
解析時間長設定手段26は、音源方向の推定に使用する音圧波形データの大きさである解析時間長を設定する。
解析周波数指定手段27は、音圧波形作成手段28で作成する音圧レベルの時系列波形の周波数帯域を指定する。
音圧波形作成手段28は、記憶手段24の音ファイルから音圧波形データを抽出し、音圧レベルの時系列波形のグラフを表示するためのデータを作成する。この音圧波形作成手段28は周波数分析手段28Fを備えており、解析周波数指定手段27にて周波数帯域が指定された場合には、記憶手段24の音ファイルから呼び出された音圧レベルの時系列波形を周波数分析して、所定の周波数帯域の音圧レベルの時系列波形のグラフを表示するためのデータを作成する。
解析位置指定手段29は、表示画面25Mの音圧レベル表示部25aに表示されたグラフの特定の点を指定することで、音源方向の解析を行う時間位置を指定する。
音圧波形データ取出手段30は、音源方向の解析を行う音圧波形データ、すなわち、前記指定された時間位置を中心とした時間幅が解析時間長の音圧波形データを記憶手段24の音ファイルから抽出して音源方向推定手段31に出力する。
音源方向推定手段31は、取出された音圧波形データから各マイクロフォンM1〜M5間の位相差を求め、この求められた位相差から音源方向を推定し、その推定結果をデータ合成手段33に出力する。なお、音源方向の推定の詳細については後述する。
The display means 25 includes a
The analysis time length setting means 26 sets an analysis time length that is the size of the sound pressure waveform data used for estimating the sound source direction.
The analysis frequency designation means 27 designates the frequency band of the time series waveform of the sound pressure level created by the sound pressure waveform creation means 28.
The sound pressure waveform creation means 28 extracts sound pressure waveform data from the sound file in the storage means 24 and creates data for displaying a time series waveform graph of the sound pressure level. This sound pressure waveform creation means 28 includes frequency analysis means 28F. When the frequency band is designated by the analysis frequency designation means 27, a time series of sound pressure levels called from the sound file in the storage means 24 is obtained. The waveform is subjected to frequency analysis, and data for displaying a time-series waveform graph of sound pressure levels in a predetermined frequency band is created.
The analysis
The sound pressure waveform data extracting means 30 stores the sound pressure waveform data for analyzing the sound source direction, that is, the sound pressure waveform data whose time width centered on the designated time position is the analysis time length. And output to the sound source direction estimating means 31.
The sound source direction estimating means 31 obtains the phase difference between the microphones M1 to M5 from the extracted sound pressure waveform data, estimates the sound source direction from the obtained phase difference, and outputs the estimation result to the data synthesizing means 33. To do. Details of the estimation of the sound source direction will be described later.
画像データ取出手段32は、記憶手段24から、前記解析時間の開始時刻と終了時刻との真中の時刻における画像データを抽出してこれをデータ合成手段33に出力する。
データ合成手段33は、音源方向推定手段31で推定された音源方向のデータと画像データ取出手段32から出力される画像データとを合成し、画像中に音源方向を示す図形が描画された画像である音源位置推定画像を作成して表示手段25に出力する。
The image data extraction means 32 extracts the image data at the middle time between the start time and the end time of the analysis time from the storage means 24 and outputs this to the data synthesis means 33.
The
次に、音源推定システムを用いて音源方向を推定する方法について、図2のフローチャートを参照して説明する。
まず、音・映像採取ユニット10と音源位置推定装置20とを接続した後、音・映像採取ユニット10を計測点にセットする。そして、カメラ12の撮影方向を測定予定場所に向け、マイクロフォンM1〜M5にて音を採取し、カメラ12にて測定予定場所の映像を採取する(ステップS11)。このとき、回転台16を、例えば、3°/sec.程度のゆっくりした速度で、測定予定場所を中心に往復させながら、音と映像とを採取する。回転範囲としては±60°程度が適当である。
次に、マイクロフォンM1〜M5の出力信号とカメラ12の映像信号とをそれぞれA/D変換し、音圧波形データを記憶手段24の音ファイルに保存し、画像データを動画ファイルに保存する(ステップS12)。
Next, a method for estimating the sound source direction using the sound source estimation system will be described with reference to the flowchart of FIG.
First, after connecting the sound /
Next, the output signals of the microphones M1 to M5 and the video signal of the camera 12 are A / D converted, respectively, the sound pressure waveform data is stored in the sound file of the storage means 24, and the image data is stored in the moving image file (step). S12).
次に、音ファイルから音圧波形データを呼び出して音圧レベルの時系列波形のグラフを作成し、このグラフを表示手段25の表示画面25Mに設けられた音圧レベル表示部25aに表示する(ステップS13)。
図3はその一例を示す図で、グラフの横軸は時間(秒)、縦軸は音圧レベル(dB)、実線で示すグラフP(t)が採取音の大きさ、すなわち、全周波数の音圧レベルの時間変化を示すグラフである。
なお、画像表示部25bには必ずしも画像を表示する必要はないが、図3では、現在撮影している画像を動画として表示している。
測定者は、音源方向の推定を最初から行うか、測定タイミングを指定して行うかを入力する(ステップS14)。但し、音と映像とを採取する時間が短い場合には、測定タイミングを指定して行うのは作業上難しいので、音と映像とを採取した後に、測定タイミングを指定して行う場合と同様の方法で、音源の推定を行うことが好ましい。
Next, the sound pressure waveform data is called from the sound file to create a time-series waveform graph of the sound pressure level, and this graph is displayed on the sound pressure
FIG. 3 is a diagram showing an example of this. The horizontal axis of the graph is time (seconds), the vertical axis is the sound pressure level (dB), and the solid line P (t) indicates the magnitude of the collected sound, that is, the total frequency. It is a graph which shows the time change of a sound pressure level.
Although it is not always necessary to display an image on the
The measurer inputs whether the sound source direction is estimated from the beginning or the measurement timing is designated (step S14). However, if the time to collect the sound and video is short, it is difficult to specify the measurement timing for the work, so it is the same as when specifying the measurement timing after sampling the sound and video. Preferably, the method estimates the sound source.
音源方向の推定を最初から行う場合には、音ファイルの先頭から、予め設定しておいた解析時間長Twの音圧波形データを抽出して、音源方向の推定を行う(ステップS15)。
音源方向の推定は、音圧波形データをFFTにて周波数解析し、各周波数毎にマイクロフォンM1〜M5間のそれぞれの位相差を求め、この求められた位相差から各周波数毎に音源方向を推定する。なお、本例では、位相差に代えて、位相差に比例する物理量である到達時間差を用いて水平角θ及び仰角φを求めている。
このステップS15の水平角θ及び仰角φの計算方法については後述する。
When performing sound source direction estimated from the first, from the beginning of the sound file, extract the sound pressure waveform data analysis time length T w that is set in advance, performs DOA estimation (Step S15).
The sound source direction is estimated by frequency-analyzing the sound pressure waveform data by FFT, obtaining the respective phase differences between the microphones M1 to M5 for each frequency, and estimating the sound source direction for each frequency from the obtained phase difference. To do. In this example, instead of the phase difference, the horizontal angle θ and the elevation angle φ are obtained using the arrival time difference which is a physical quantity proportional to the phase difference.
The calculation method of the horizontal angle θ and the elevation angle φ in step S15 will be described later.
次に、解析時間の中心時刻tm、すなわち、測定開始時刻t0から解析時間長Twの半分の長さだけ過ぎた時刻tm=t0+(Tw/2)に位置する画像データGmを動画ファイルから抽出する(ステップS16)。
そして、前記計算された周波数毎の音源方向のデータ(θf,φf)と前記画像データGmとを合成し(ステップS17)、この合成された画像である音源位置推定画像を表示手段25の表示画面25Mに設けられた画像表示部25bに表示するとともに、音圧レベル表示部25aに音源位置推定画像のデータである画像データGmの採取時間を表示する(ステップS18)。
図4はその一例を示す図で、画像表示部25bには、前記画像データGmの上に、音源方向を表す図形(網目模様の丸印)34が描画された音源位置推定画面35が表示される。音源位置推定画面35の横軸は水平角θfで、縦軸は仰角φfである。また、丸の大きさは音圧レベルを表す。
なお、推定された音源方向を、予め設定した周波数帯域毎に表示することも可能である。この場合には、周波数帯域毎に網目模様の丸印34の色を設定すればよい。
また、音圧レベルの時系列波形のグラフに代えて、音圧レベル表示部25aに、横軸を水平角θとしたときの音圧レベル(dB)を表示した音圧レベル表示画面36を表示することも可能である。
最後に、音源位置推定画面35から音源を推定する(ステップS19)。音源位置推定画面35において、音源方向を表す図形34が描画されている箇所に映っている映像が推定される音源の映像である。
Next, the image data located at the center time t m of the analysis time, that is, the time t m = t 0 + (T w / 2), which is half the analysis time length T w from the measurement start time t 0. G m is extracted from the moving image file (step S16).
Then, the calculated sound source direction data (θ f , φ f ) for each frequency and the image data G m are combined (step S 17), and the sound source position estimation image which is the combined image is displayed on the display means 25. and displays on the
Figure 4 is a diagram showing an example, in the
It is also possible to display the estimated sound source direction for each preset frequency band. In this case, the color of the mesh-shaped
Further, instead of the graph of the time-series waveform of the sound pressure level, the sound pressure
Finally, a sound source is estimated from the sound source position estimation screen 35 (step S19). On the sound source position estimation screen 35, the image of the sound source that is estimated at the location where the graphic 34 representing the sound source direction is drawn.
音源方向の推定を、測定タイミングを指定して行う場合には、ステップS21に進む。ステップS21では、前記音圧レベルの時系列波形のグラフ上の特定の点を指定することで、音源方向の解析を行う時間位置を指定する。
例えば、音源位置推定装置20の記憶手段24〜データ合成手段33までをコンピュータにより構成した場合、ディスプレイ(表示手段25)の画面上に表示された音圧レベルの時系列波形のグラフ上に、マウスのクリック位置をもっていって、グラフ上の時間位置を取得することで、音源方向の解析を行う時間位置を指定する。
指定された時間位置を時刻tzとすると、この時刻tzが解析時間の中心時刻となるので、音ファイルから、時刻tzよりも解析時間長Twの半分の長さだけ前の時刻から時刻tzよりも解析時間長Twの半分の長さだけ過ぎた時刻までの音圧波形データを抽出して、音源方向の推定を行う(ステップS22)。
音源方向の推定については、前記ステップS15と同様である。
When estimating the sound source direction by designating the measurement timing, the process proceeds to step S21. In step S21, a time point for analyzing the sound source direction is designated by designating a specific point on the time-series waveform graph of the sound pressure level.
For example, when the storage means 24 to the data synthesizing means 33 of the sound source
If the specified time position and time t z, because this time t z is the center time of the analysis time, from the sound file, only half the length of the analysis time length T w than the time t z from the previous time extracts sound pressure waveform data up to the time that has passed by half the length of the analysis time length T w than the time t z, it performs DOA estimation (step S22).
The estimation of the sound source direction is the same as in step S15.
音源方向の推定が完了した後には、解析時間の中心時刻である時刻tzにおいて撮影した画像データGzを動画ファイルから抽出し(ステップS23)、前記計算された周波数毎の音源方向のデータ(θf,φf)と前記画像データGzとを合成し(ステップS24)、前記合成された画像である音源位置推定画面35を表示画面25Mの画像表示部25bに表示するとともに、音圧レベル表示部25aに前記画像データGzの採取時間を表示する(ステップS25)。前記音源位置推定画面35は、図4に示したものと、同様の画面である。
最後に、音源位置推定画面35から音源を推定する(ステップS26)。
また、前記ステップS21からステップS26までの作業を繰り返すことで、複数の時刻での音源方向を効率良く推定することができるので、音源の推定を効率的にかつ確実に行うことができる。なお、ステップS26で得られた音源位置推定画面35に描画された音源方向のバラつきが大きい場合には、音・映像採取ユニット10の設置位置を変更して、再測定することが好ましい。
After the sound source direction estimation is completed, the image data G z taken at time t z is the center time of the analysis time is extracted from the moving image file (step S23), the sound source direction data for each of the calculated frequency ( θ f , φ f ) and the image data G z are synthesized (step S24), and the sound source position estimation screen 35, which is the synthesized image, is displayed on the
Finally, a sound source is estimated from the sound source position estimation screen 35 (step S26).
In addition, by repeating the operations from step S21 to step S26, the sound source direction at a plurality of times can be estimated efficiently, so that the sound source can be estimated efficiently and reliably. When the variation of the sound source direction drawn on the sound source position estimation screen 35 obtained in step S26 is large, it is preferable to change the installation position of the sound /
ステップS15における水平角θ及び仰角φの計算方法は以下の通りである。
各マイクロフォン対(Mi, Mj)のマイクロフォンMiとマイクロフォンMjとの間の到達時間差をDijとすると、音の入射方向である水平角θと仰角φとは以下の式(1),(2)で表わせるので、各マイクロフォンM1〜M5の出力信号をFFTを用いて周波数解析し、対象となる周波数fにおける各マイクロフォンMi,Mj間の到達時間差Dijを算出することにより、前記水平角θ及び仰角φを求めることができる。
When the arrival time difference between the microphone Mi and the microphone Mj of each microphone pair (Mi, Mj) is D ij , the horizontal angle θ and the elevation angle φ, which are the sound incident directions, are expressed by the following equations (1) and (2). Therefore, by analyzing the frequency of the output signals of the microphones M1 to M5 using FFT and calculating the arrival time difference D ij between the microphones M i and M j at the target frequency f, the horizontal angle is calculated. θ and elevation angle φ can be obtained.
なお、前記到達時間差Dijは、2つのマイクロフォン対(Mi,Mj)に入力される信号のクロススペクトルPij(f)を求め、更に、対象とする前記周波数fの位相角情報Ψ(rad)を用いて、以下の式(3)により算出される。
このように、本実施の形態では、複数のマイクロフォンM1〜M5とカメラ12とを一体化した音・映像採取ユニット10を用いて音と映像とを同時に採取した後A/D変換して、音圧波形データを記憶手段24の音ファイルに保存し、画像データを動画ファイルに保存するとともに、前記音圧波形データのみを記憶手段24から呼び出して表示手段25の表示画面25Mに音圧レベルの時系列波形のグラフを表示し、このグラフ上で音源方向の解析を行う時刻tzを指定した後、この指定された時刻tzを中心とした解析時間長Twの音圧波形データを用いて、前記複数のマイクロフォンM1〜M5で採取した音の音圧信号間の位相差を算出して音源方向を推定し、この推定された音源方向と前記時刻tzにおいて撮影された画像データGzとを合成して、前記推定された音源方向を示す図形が描画された音源位置推定画像を作成し、前記音源を推定するようにしたので、音源位置の推定時間を大幅に短縮することができる。
また、計測点の位置が適当でないなど、測定の妥当性に問題がある場合には、早期に判断できるので、音源位置の推定を効率良く行うことができる。
As described above, in this embodiment, sound and video are simultaneously collected using the sound /
Also, if there is a problem with the validity of the measurement, for example, the position of the measurement point is not appropriate, the determination can be made early, so that the sound source position can be estimated efficiently.
なお、前記実施の形態では、音と映像とを採取しながら、測定タイミングを指定して音源方向の推定を行ったが、音と映像を採取後に、測定タイミングを指定して音源方向の推定を行ってもよい。本発明の測定タイミングを指定して音源方向を推定する方法を用いれば、任意の時間のデータを取り出して音源位置推定画像を作成することができるので、従来に比較して音源位置推定画像の作成枚数が大幅に少なくて済む。したがって、音源位置の推定時間を大幅に短縮することができる。また、音源位置の変化についても把握することができるとともに、伝播した音の履歴についても、現場にて検証することができる。 In the above embodiment, the sound source direction is estimated by specifying the measurement timing while collecting the sound and the video. However, after the sound and video are collected, the measurement timing is specified and the sound source direction is estimated. You may go. By using the method for estimating the sound source direction by specifying the measurement timing of the present invention, it is possible to create a sound source position estimation image by extracting data at an arbitrary time. The number of sheets can be greatly reduced. Therefore, the estimation time of the sound source position can be greatly shortened. In addition, it is possible to grasp the change of the sound source position, and it is possible to verify the history of the propagated sound on site.
また、前記例では、音圧レベルの時系列波形のグラフP(t)を採取音の大きさとしたが、予め設定した周波数帯域毎の音圧レベルのグラフに切換えることも可能である。
具体的には、解析周波数指定手段27により、音圧波形作成手段28で作成する音圧波形の周波数帯域を指定し、音圧波形作成手段28に設けられた周波数分析手段28Fを用いて、記憶手段24の音ファイルから呼び出した音圧波形データを周波数解析して、前記指定された周波数帯域の音圧レベルの時系列波形のグラフを表示するためのデータを作成すればよい。
周波数fを中心とした所定の帯域幅を有する周波数帯域の音圧波形のグラフとしては、例えば、図3の破線で示すグラフpf(t)のように、全周波数の音圧波形のグラフよりも鋭いピークを有するものが多い。
このように、周波数帯域を制限した音圧波形のグラフを用いることにより、電源ボックスのトランスからの音や空調機の振動音などの特定の機器からの伝播音を対象とした音源位置の推定を精度良く行うことができる。
また、車室内で音源の推定を行う場合のように、低い周波数の音は車外の騒音で解析する必要がない場合には、周波数帯域を制限した音圧波形のグラフを用いて、中域音のみの音源推定を行うことが好ましい。
In the above example, the graph P (t) of the time-series waveform of the sound pressure level is the magnitude of the collected sound, but it is also possible to switch to a graph of the sound pressure level for each preset frequency band.
Specifically, the frequency band of the sound pressure waveform created by the sound pressure waveform creation means 28 is designated by the analysis frequency designation means 27 and stored using the frequency analysis means 28F provided in the sound pressure waveform creation means 28. The sound pressure waveform data called from the sound file of the
As a graph of a sound pressure waveform in a frequency band having a predetermined bandwidth centered on the frequency f, for example, from a graph of a sound pressure waveform at all frequencies, such as a graph p f (t) indicated by a broken line in FIG. Many of them also have sharp peaks.
In this way, by using the sound pressure waveform graph with a limited frequency band, it is possible to estimate the position of the sound source for the sound transmitted from a specific device, such as the sound from the transformer of the power supply box and the vibration sound of the air conditioner. It can be performed with high accuracy.
In addition, when it is not necessary to analyze low-frequency sound as noise outside the vehicle, as in the case of sound source estimation in the passenger compartment, a mid-range sound can be obtained using a sound pressure waveform graph with a limited frequency band. It is preferable to perform only sound source estimation.
また、前記例では、音・映像採取ユニット10を回転させながら音と映像とを採取したが、音が間欠的に発生したり、時間的に変化する音源の存在が予想される場合には、音・映像採取ユニット10を固定して測定する方が好ましい。
また、前記例では、5本のマイクロフォンM1〜M5を用いて、計測点と音源位置とのなす水平角θと仰角φとを推定したが、音源位置が水平角θだけで十分な場合には、マイクロフォンM5を省略して、互いに交わる2つの直線上にそれぞれ所定の間隔で配置された2組のマイクロフォン対(M1,M3),(M2,M4)のみを用いればよい。
In the above example, sound and video are sampled while the sound /
In the above example, the horizontal angle θ and the elevation angle φ formed by the measurement point and the sound source position are estimated using the five microphones M1 to M5. However, when the sound source position is sufficient, the horizontal angle θ is sufficient. The microphone M5 may be omitted, and only two pairs of microphones (M1, M3) and (M2, M4) arranged at predetermined intervals on two straight lines that intersect with each other may be used.
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は前記実施の形態に記載の範囲には限定されない。前記実施の形態に、多様な変更または改良を加えることが可能であることが当業者にも明らかである。そのような変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲から明らかである。 As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the embodiment. It is apparent from the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.
以上説明したように、本発明によれば、現場において、測定データの任意の部分を抽出して音源位置の推定を行うことができるので、音源位置の推定時間を大幅に短縮することができ、音源の推定を効率よく行うことができる。
また、計測点の位置が適当でないなど、測定の妥当性についても、早期に判断できるので、音源位置の推定を効率良く行うことができる。
As described above, according to the present invention, since it is possible to estimate the sound source position by extracting any part of the measurement data in the field, the estimation time of the sound source position can be greatly reduced, Sound source estimation can be performed efficiently.
In addition, since the validity of the measurement can be determined at an early stage such that the position of the measurement point is not appropriate, the sound source position can be estimated efficiently.
10 音・映像採取ユニット、11 音採取手段、M1〜M5 マイクロフォン、
12 CCDカメラ、13 マイクロフォン固定部、14 カメラ支持台、
15 支柱、16 回転台、16r 回転部材、17 基台、
20 音源位置推定装置、21 増幅器、22 A/D変換器、23 映像入出力手段、24 記憶手段、25 表示手段、25M 表示画面、25a 音圧レベル表示部、
25b 画像表示部、26 解析時間長設定手段、27 解析周波数指定手段、
28 音圧波形作成手段、29 解析位置指定手段、30 音圧波形データ取出手段、
31 音源方向推定手段、32 画像データ取出手段、33 データ合成手段、
34 音源方向を表す図形、35 音源位置推定画面。
10 sound / video sampling unit, 11 sound sampling means, M1-M5 microphone,
12 CCD camera, 13 microphone fixing part, 14 camera support,
15 struts, 16 turntables, 16r rotation members, 17 bases,
20 sound source position estimation device, 21 amplifier, 22 A / D converter, 23 video input / output means, 24 storage means, 25 display means, 25M display screen, 25a sound pressure level display section,
25b image display unit, 26 analysis time length setting means, 27 analysis frequency designation means,
28 sound pressure waveform creation means, 29 analysis position designation means, 30 sound pressure waveform data extraction means,
31 sound source direction estimation means, 32 image data extraction means, 33 data synthesis means,
34 Graphic representing sound source direction, 35 Sound source position estimation screen.
Claims (6)
前記音圧波形データのみを記憶手段から抽出して音圧レベルの時系列波形のグラフを表示し、前記表示されたグラフ上で音源方向の解析を行う時間位置を選択して指定した後、
この指定された時間位置と前記時間位置の前後を含む、時間幅が所定の解析時間長の音圧波形データを用いて、前記複数のマイクロフォンで採取した音の音圧信号間の位相差を算出して音源方向を推定し、
前記推定された音源方向と前記指定された時間位置で撮影された画像データとを合成して、画像中に前記推定された音源方向を示す図形が描画された音源位置推定画像を作成し、
この音源位置推定画像を用いて前記音源を推定することを特徴とする音源の推定方法。 Sound pressure waveform data, which is the sound pressure signal data of the collected sound, is collected at the same time using a sound / video sampling unit in which a plurality of microphones and photographing means are integrated. And video image data are arranged in time series and stored in the storage means,
After extracting only the sound pressure waveform data from the storage means and displaying a graph of the time-series waveform of the sound pressure level, after selecting and specifying the time position for analyzing the sound source direction on the displayed graph,
The phase difference between the sound pressure signals of the sound collected by the plurality of microphones is calculated using the sound pressure waveform data having a time width of a predetermined analysis time length including the designated time position and before and after the time position. To estimate the direction of the sound source,
The estimated by combining the photographed image data by the sound source direction and the designated time position, to create a sound source position estimation image graphic is drawn showing the estimated sound source direction in the image,
A sound source estimation method, wherein the sound source is estimated using the sound source position estimation image.
前記採取した音の音圧信号をA/D変換して時系列に配列された音圧波形データとして記憶手段に保存し、前記映像の信号をA/D変換して時系列に配列された画像データとして前記記憶手段に保存する第2のステップと、
前記音圧波形データを記憶手段から抽出して音圧レベルの時系列波形のグラフを作成して表示手段の表示画面に表示する第3のステップと、
前記表示画面上においてグラフ上の特定の点を選択して指定することで、音源方向の解析を行う時間位置を指定する第4のステップと、
前記記憶手段から、前記指定された時間位置と前記時間位置の前後を含む、時間幅が予め設定された解析時間長の音圧波形データを抽出する第5のステップと、
前記抽出された音圧波形データを用いて、前記複数のマイクロフォンで採取した音の音圧信号間の位相差を算出し、音源方向を推定する第6のステップと、
前記記憶手段から、前記指定された時間位置で撮影された画像データを抽出する第7のステップと、
前記第6のステップで推定された音源方向のデータと、前記第7のステップで抽出された画像データとを合成して、画像中に前記推定された音源方向を示す図形が描画された音源位置推定画像を作成して表示する第8のステップと、
前記音源位置推定画像を用いて、前記音源を推定する第9のステップとを備えたことを特徴とする請求項1に記載の音源の推定方法。 A first step of simultaneously collecting sound information and video information using a sound / video sampling unit in which a plurality of microphones and photographing means are integrated;
The sound pressure signal of the collected sound is A / D converted and stored in a storage means as sound pressure waveform data arranged in time series, and the video signal is A / D converted and image arranged in time series a second step of storing the data in the storage unit,
A third step of extracting the sound pressure waveform data from the storage means, creating a graph of a time series waveform of the sound pressure level, and displaying the graph on the display screen of the display means;
A fourth step of designating a time position for analyzing the sound source direction by selecting and designating a specific point on the graph on the display screen;
A fifth step of extracting, from the storage means, sound pressure waveform data having an analysis time length in which a time width is set in advance, including the designated time position and before and after the time position ;
A sixth step of calculating a phase difference between sound pressure signals of sounds collected by the plurality of microphones using the extracted sound pressure waveform data, and estimating a sound source direction;
A seventh step of extracting image data taken at the specified time position from the storage means;
A sound source position in which a graphic indicating the estimated sound source direction is drawn in an image by combining the data of the sound source direction estimated in the sixth step and the image data extracted in the seventh step An eighth step of creating and displaying an estimated image;
The sound source estimation method according to claim 1, further comprising: a ninth step of estimating the sound source using the sound source position estimation image.
前記各マイクロフォンで採取した音圧信号と撮影手段で撮影した映像信号とをそれぞれデジタル信号に変換するA/D変換器と、
前記A/D変換された音圧信号を時系列的に並べた音圧波形データを音ファイルとして保存するとともに、前記A/D変換された映像信号を時系列的に並べた動画データを、動画ファイルとして保存する記憶手段と、
前記音ファイルから予め設定した解析時間長の音圧波形データを抽出して、音圧レベルの時系列波形のグラフを作成する音圧波形作成手段と、
前記時系列波形のグラフの特定の点を選択して指定することで、音源方向の解析を行う時間位置を指定する解析位置指定手段と、
前記音ファイルから、指定された時間位置と前記時間位置の前後を含む、時間幅が予め設定された解析時間長の音圧波形データを抽出し、この抽出された音圧波形データを周波数解析して前記2組のマイクロフォン対を構成するマイクロフォン間のそれぞれの位相差を求め、この求められた2組のマイクロフォン対の位相差の比から音源方向を推定する音源方向推定手段と、
前記動画ファイルから、前記指定された時間位置で撮影された画像データを抽出する画像データ抽出手段と、
前記推定された音源方向のデータと前記抽出された画像データとを合成して、画像中に前記推定された音源方向を示す図形が描画された音源方向推定画像を作成する音源位置推定画像作成手段とを備え、
前記複数のマイクロフォンと前記撮影手段とは一体に組み込まれて、音の情報と映像の情報とを同時に採取し、
前記表示手段は、前記音圧波形作成手段で作成された音圧波形のグラフと、前記音源位置推定画像作成手段で作成された音源方向推定画像とを表示することを特徴とする音源の推定装置。 Providing a microphone group having two pairs of microphones arranged at predetermined intervals on two intersecting straight lines, a photographing means for photographing a sound source direction image and a display means, and propagating from the sound source collected by the microphone group A sound source estimation device that creates an image on which sound source position data is displayed from a sound pressure signal of a sound and a video signal obtained by photographing a sound source direction, displays the image on a display unit, and estimates a sound source,
An A / D converter that converts the sound pressure signal collected by each microphone and the video signal photographed by the photographing means into digital signals,
With saving the sound pressure waveform data arranged in time series the A / D-converted sound pressure signal as a sound file, the A / D-converted moving image data arranged in time series video signals are, videos Storage means for saving as a file;
Sound pressure waveform creating means for extracting sound pressure waveform data of a preset analysis time length from the sound file and creating a graph of a time-series waveform of sound pressure levels;
By selecting and specifying a specific point on the graph of the time series waveform, an analysis position specifying means for specifying a time position for analyzing the sound source direction;
From the sound file, including the front and rear of the with the specified time position time position, to extract the sound pressure waveform data of the analysis time length width preset time, the extracted sound pressure waveform data is frequency analysis Sound source direction estimating means for obtaining respective phase differences between the microphones constituting the two microphone pairs and estimating the sound source direction from the ratio of the phase differences of the two obtained microphone pairs;
Image data extraction means for extracting image data taken at the specified time position from the moving image file;
By synthesizing the image data to which the estimated sound source direction data is the extracted sound source position estimation image generating means for generating a sound source direction estimation image graphic is drawn showing the estimated sound source direction in the image And
The plurality of microphones and the photographing unit are integrally incorporated, and simultaneously collect sound information and video information,
The display means displays a graph of the sound pressure waveform created by the sound pressure waveform creation means and a sound source direction estimation image created by the sound source position estimation image creation means, .
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009048554A JP5294925B2 (en) | 2009-03-02 | 2009-03-02 | Sound source estimation method and apparatus |
US12/713,425 US8363512B2 (en) | 2009-02-27 | 2010-02-26 | Method and apparatus for estimating sound source |
CN201010123928.0A CN101820565B (en) | 2009-02-27 | 2010-02-26 | Method and apparatus for estimating sound source |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009048554A JP5294925B2 (en) | 2009-03-02 | 2009-03-02 | Sound source estimation method and apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010206419A JP2010206419A (en) | 2010-09-16 |
JP5294925B2 true JP5294925B2 (en) | 2013-09-18 |
Family
ID=42967474
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009048554A Active JP5294925B2 (en) | 2009-02-27 | 2009-03-02 | Sound source estimation method and apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5294925B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020255358A1 (en) * | 2019-06-20 | 2020-12-24 | 日本電気株式会社 | Optical fiber sensing system and sound source position identifying method |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5702160B2 (en) * | 2011-01-20 | 2015-04-15 | 中部電力株式会社 | Sound source estimation method and sound source estimation apparatus |
JP6507946B2 (en) * | 2015-08-31 | 2019-05-08 | 富士通株式会社 | VIDEO AND AUDIO REPRODUCING APPARATUS, VIDEO AND AUDIO REPRODUCING METHOD, AND PROGRAM |
JP6617613B2 (en) * | 2016-03-07 | 2019-12-11 | 株式会社大林組 | Noise source search system |
CN105611478B (en) * | 2016-03-14 | 2019-04-23 | 互联天下科技发展(深圳)有限公司 | A kind of real-time locating recordings device and method |
JP6679371B2 (en) * | 2016-03-28 | 2020-04-15 | セコム株式会社 | Object detection device |
JP6739041B2 (en) * | 2016-07-28 | 2020-08-12 | パナソニックIpマネジメント株式会社 | Voice monitoring system and voice monitoring method |
KR102434636B1 (en) * | 2019-02-27 | 2022-08-22 | 대구대학교 산학협력단 | A recommendation method of acoustic equipment based on user's music listening style |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08160077A (en) * | 1994-12-08 | 1996-06-21 | Yokogawa Electric Corp | Waveform analyzer |
JP2005348860A (en) * | 2004-06-09 | 2005-12-22 | Matsushita Electric Ind Co Ltd | Body movement analyzer |
JP4476870B2 (en) * | 2005-05-18 | 2010-06-09 | 中部電力株式会社 | Correction method of microphone output for sound source search, low frequency generator, sound source search system, and microphone frame |
JP5089198B2 (en) * | 2007-03-09 | 2012-12-05 | 中部電力株式会社 | Sound source position estimation system |
-
2009
- 2009-03-02 JP JP2009048554A patent/JP5294925B2/en active Active
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020255358A1 (en) * | 2019-06-20 | 2020-12-24 | 日本電気株式会社 | Optical fiber sensing system and sound source position identifying method |
JPWO2020255358A1 (en) * | 2019-06-20 | 2020-12-24 | ||
JP7318706B2 (en) | 2019-06-20 | 2023-08-01 | 日本電気株式会社 | Optical fiber sensing system and sound source localization method |
Also Published As
Publication number | Publication date |
---|---|
JP2010206419A (en) | 2010-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5294925B2 (en) | Sound source estimation method and apparatus | |
JP5089198B2 (en) | Sound source position estimation system | |
US8363512B2 (en) | Method and apparatus for estimating sound source | |
JP5693201B2 (en) | Method and apparatus for reproducing propagation sound from specified area | |
JP5702160B2 (en) | Sound source estimation method and sound source estimation apparatus | |
JP6061693B2 (en) | Abnormality diagnosis apparatus and abnormality diagnosis method using the same | |
JP5456563B2 (en) | Method and apparatus for displaying sound source estimation image | |
EP3073766A1 (en) | Sound field re-creation device, method, and program | |
JP2002181913A (en) | Sound source probing system | |
JP2016146547A5 (en) | ||
CN110068388A (en) | A kind of method for detecting vibration of view-based access control model and blind source separating | |
JP2017040585A (en) | Structure deterioration determination method | |
JP5242452B2 (en) | Sound source estimation method and apparatus | |
JP5826582B2 (en) | Sound source direction estimation method, sound source direction estimation device, and sound source estimation image creation device | |
JP5462667B2 (en) | Surveillance camera device with sound source direction estimation function | |
JP2010243251A (en) | Method and system for evaluating rod-shaped object | |
JP5864799B1 (en) | Sound source exploration device and sound source exploration method | |
JP5534870B2 (en) | Sound source estimation image creation device | |
JP2009211021A (en) | Reverberation time estimating device and reverberation time estimating method | |
Torres et al. | Room acoustics analysis using circular arrays: An experimental study based on sound field plane-wave decomposition | |
KR102052123B1 (en) | Ultrasound diagnostic apparatus and method for reducing interference and restoring missed signals | |
JP2015161659A (en) | Sound source direction estimation device and display device of image for sound source estimation | |
JP5151575B2 (en) | Hand shake vibration waveform generation method, hand shake image photographing method using the same, and hand shake vibration waveform generation apparatus | |
JP5749060B2 (en) | Isogo deterioration diagnosis device | |
JP2010203785A (en) | Sound source estimation method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111004 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121024 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121106 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130611 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130611 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5294925 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |