JP6413741B2 - 振動発生源推定装置、方法およびプログラム - Google Patents

振動発生源推定装置、方法およびプログラム Download PDF

Info

Publication number
JP6413741B2
JP6413741B2 JP2014254263A JP2014254263A JP6413741B2 JP 6413741 B2 JP6413741 B2 JP 6413741B2 JP 2014254263 A JP2014254263 A JP 2014254263A JP 2014254263 A JP2014254263 A JP 2014254263A JP 6413741 B2 JP6413741 B2 JP 6413741B2
Authority
JP
Japan
Prior art keywords
cross
correlation function
vibration source
weight
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014254263A
Other languages
English (en)
Other versions
JP2016114512A (ja
Inventor
友督 荒井
友督 荒井
裕三 仙田
裕三 仙田
宝珠山 治
治 宝珠山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2014254263A priority Critical patent/JP6413741B2/ja
Priority to US14/967,724 priority patent/US9961460B2/en
Publication of JP2016114512A publication Critical patent/JP2016114512A/ja
Application granted granted Critical
Publication of JP6413741B2 publication Critical patent/JP6413741B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00Monitoring arrangements; Testing arrangements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/18Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
    • G01S5/22Position of source determined by co-ordinating a plurality of position lines defined by path-difference measurements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H04R2430/23Direction finding using a sum-delay beam-former

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Multimedia (AREA)

Description

本発明は、振動発生源の位置を推定する振動発生源推定装置、振動発生源推定方法および振動発生源推定プログラムに関する。
センサを用いて音源に代表される振動発生源を推定する方法が知られている。非特許文献1には、音源の位置を推定する代表的な方法の一つとして、2つのマイクロフォン間の受音信号の到来時間差から音源の位置を推定する相互相関法が記載されている。具体的には、非特許文献1に記載された相互相関法では、2つのマイクロフォン間の受音信号から相互相関関数が算出され、相互相関関数の最大値を与える時間差を音波の到来時間差として算出することで、音波の到来方向θが推定される。
また、特許文献1には、雑音や反射音の影響を考慮して音源位置を推定する方法が記載されている。特許文献1に記載された音源方向推定方法では、反射音が大きい場合、反射音がマイクロフォンに到達する前の直接音のみを対象として、短い時間範囲で抽出される音響信号に基づいて方向が推定される。また、特許文献1に記載された音源方向推定方法では、雑音が大きい場合、より多くの標本を得るために、直接音と反射音の両方が発生している長い時間の範囲で抽出された音響信号に基づいて方向が推定される。
また、特許文献2には、反射音が多数存在する音場において音源方向を推定する音源方向推定方法が記載されている。特許文献2に記載された音源方向推定方法では、複数のマイクロフォンの出力に対してそれぞれピークホールド処理を行うことで複数の信号を生成し、処理された複数の信号に基づいて相互相関関数を計算する。
特開2004−12151号公報 特開平5−87903号公報
鈴木、金田、「サブバンドピークホールド処理を用いた音源方向推定法」、一般社団法人日本音響学会、日本音響学会誌、第65巻、第10号、pp.513−522、2009年10月1日
非特許文献1に記載された方法および特許文献2に記載された方法のいずれも、ピークホールド処理により、後続の反射音をマスクする。しかし、非特許文献1や特許文献2に記載された方法では、ピークホールド処理された信号に基づいて相互相関関数を計算しているため、元の音響信号の情報を使いきれていない。
また、特許文献1に記載された音源方向推定方法では、反射音と雑音の両方が大きい場合に、推定精度が低下してしまうという問題がある。
そこで、本発明は、反射により振動が伝わる環境や振動発生源以外から振動が発生する環境であっても、目的の振動発生源の位置を精度よく推定できる振動発生源推定装置、振動発生源推定方法および振動発生源推定プログラムを提供することを目的とする。
本発明による振動発生源推定装置は、複数のセンサより取得された複数の振動信号から振動発生源の位置を推定する振動発生源推定装置であって、振動信号からフレームごとの相互相関関数を算出する相互相関関数算出部と、相互相関関数から算出される信号対雑音比に基づいてフレームごとの重みを算出する重み算出部と、フレームごとの相互相関関数に算出された対応する重みを乗じ、重み付けされた各フレームの相互相関関数の総和を重み付き相互相関関数として算出する重み付き相互相関関数算出部と、重み付き相互相関関数に基づいて、振動発生源の位置を推定する位置推定部とを備えたことを特徴とする。
本発明による振動発生源推定方法は、複数のセンサより取得された複数の振動信号から振動発生源の位置を推定する振動発生源推定方法であって、振動信号からフレームごとの相互相関関数を算出し、相互相関関数から算出される信号対雑音比に基づいてフレームごとの重みを算出し、フレームごとの相互相関関数に算出された対応する重みを乗じ、重み付けされた各フレームの相互相関関数の総和を重み付き相互相関関数として算出し、重み付き相互相関関数に基づいて、振動発生源の位置を推定することを特徴とする。
本発明による振動発生源推定プログラムは、複数のセンサより取得された複数の振動信号から振動発生源の位置を推定するコンピュータに適用される振動発生源推定プログラムであって、コンピュータに、振動信号からフレームごとの相互相関関数を算出する相互相関関数算出処理、相互相関関数から算出される信号対雑音比に基づいてフレームごとの重みを算出する重み算出処理、フレームごとの相互相関関数に算出された対応する重みを乗じ、重み付けされた各フレームの相互相関関数の総和を重み付き相互相関関数として算出する重み付き相互相関関数算出処理、および、重み付き相互相関関数に基づいて、振動発生源の位置を推定する位置推定処理を実行させることを特徴とする。
本発明によれば、反射により振動が伝わる環境や振動発生源以外から振動が発生する環境であっても、目的の振動発生源の位置を精度よく推定できる。
本発明による振動発生源推定装置の第1の実施形態の構成例を示すブロック図である。 2つのマイクと音源の位置関係の例を示す説明図である。 第1の実施形態の振動発生源推定装置の動作例を示すフローチャートである。 本発明による振動発生源推定装置の第2の実施形態の構成例を示すブロック図である。 本発明による振動発生源推定装置の第3の実施形態の構成例を示すブロック図である。 配管に設置した2つの振動センサと音源の位置関係の例を示す説明図である。 第3の実施形態の振動発生源推定装置の動作例を示すフローチャートである。 相互相関関数の比較例を示す説明図である。 本発明による振動発生源推定装置の概要を示すブロック図である。
以下、本発明の実施形態を図面を参照して説明する。
実施形態1.
第1の実施形態では、音源の方向を推定する方法を説明する。図1は、本発明による振動発生源推定装置の第1の実施形態の構成例を示すブロック図である。本実施形態の振動発生源推定装置は、信号入力部10と、相互相関関数算出部11と、背景雑音モデル算出部12と、雑音減算部13と、重み算出部14と、重み付き相互相関関数算出部15と、位置推定部16とを備えている。
信号入力部10は、複数のセンサを用いて測定される振動信号を入力する。以下の説明では、振動信号の例として、マイクロフォンにより測定される信号を例示する。また、本実施形態の信号入力部10は、室内に設置された2つのマイクロフォンを備えたマイクロフォンアレイを用いて常時測定される信号x1(t)、信号x2(t)を入力する。ただし、tはサンプル番号である。以下の説明では、マイクロフォンを単にマイクと記す。
相互相関関数算出部11は、信号入力部10で入力されたマイクの信号x1(t)およびx2(t)から、一定のサンプル数(以下、フレームと記す。)ごとに、逐次相互相関関数を算出する。ここで、サンプル数をTとする。
現フレーム番号をkとすると、相互相関関数算出部11は、例えば、以下に例示する式1を用いて、k番目のフレームの相互相関関数をラグサンプル数τの関数として算出する。なお、式1において、ここで、tは、k番目のフレームの始端サンプル番号を表わす。
Figure 0006413741
相互相関関数算出部11は、事前に窓関数を掛けたり、FFT(高速フーリエ変換)を用いて周波数領域で等価的になるように処理したりすることにより相互相関関数を算出してもよい。
また、相互相関関数算出部11は、上記に示す式1を用いて算出される相互相関関数の代わりに、式1におけるc(k,τ)を複素数に変換したもの(以下に例示する式2参照)を採用してもよい。また、相互相関関数算出部11は、以下に例示する式2の複素数の絶対値を取ったもの(以下に例示する式3参照)を採用してもよい。
Figure 0006413741
式2および式3において、jは虚数単位を表わし、H(c(k,τ))は、c(k,τ)をヒルベルト変換したものを表わす。なお、音源方向の推定では、ラグサンプル数τは、音源の方向に対応する。
図2は、2つのマイクと音源の位置関係の例を示す説明図である。マイクM1とマイクM2との音波の伝達時間差τは、図2に例示する距離αを進む時間である。そのため、伝達時間差τは、マイク間距離d、音速vおよび音源方向θの関数として、以下に例示する式4で表わすことができる。
Figure 0006413741
伝達時間差τとラグサンプル数τの関係は、サンプリング周波数fを用いて、以下に例示する式5で表される。
Figure 0006413741
θの範囲は、0度から180度までである。そのため、上記に示す式4および式5から、τの範囲は、以下に例示する式6で示される範囲になる。
Figure 0006413741
また、相互相関関数算出部11が、式2の右辺に示す数式や式3の右辺に示す数式を算出することで、振動伝搬系の微小な変動に影響されにくい、より安定した相関検出を行うことができる。
以下の説明では、現フレームkから過去lフレーム分が評価対象区間[k−l+1,k]として利用される。フレーム数lは、目的の音源による直接音が測定されてから一番初めにセンサ(マイク)に反射音が到達するまでの時間よりも長く設定され、最大でも、残響が収束するまでの時間に設定されることが好ましい。フレーム数は、例えば、部屋の残響時間やアプリケーションに基づいて設定される。
背景雑音モデル算出部12は、相互相関関数算出部11で算出されたmフレーム分の相互相関関数を用いて、定常的な雑音をモデル化した背景雑音モデルを生成する。具体的には、背景雑音モデル算出部12は、評価対象区間のフレームよりも過去mフレーム分を、背景雑音モデル生成区間[k−l−m+1,k−l]として利用する。すなわち、この背景雑音モデル生成区間は、定常的な雑音(背景雑音)をモデル化する際に用いられる区間である。
フレーム数mは、背景雑音モデルにおける突発雑音の影響を抑えるため、突発雑音の発生時間より十分長くなるように設定される。なお、上記説明では、評価対象区間と背景雑音モデル生成区間を分離させているが、必ずしも分離させる必要はない。mが十分大きければ、lフレーム分を重複させてもかまわない。
背景雑音モデル算出部12は、例えば、以下に例示する式7および式8を用いて、相互相関関数の平均値C(τ)および標準偏差σ(τ)を算出して、背景雑音モデルを生成してもよい。
Figure 0006413741
なお、式7で例示するC(τ)および式8に例示するσ(τ)は、いずれもkの関数であるが、説明を簡単にするため記載が省略されている。
また、背景雑音モデル算出部12は、相互相関関数の平均値およびその標準偏差の代わりに、指数加重移動平均値およびその標準偏差を算出してもよい。
雑音減算部13は、背景雑音モデル算出部12で算出された背景雑音モデルを用いて、相互相関関数算出部11で算出されたlフレーム分の相互相関関数から背景雑音成分を減算する。相互相関関数から背景雑音成分が減算された関数を、以下、雑音減算相互相関関数と記す。雑音減算部13は、例えば、以下に例示する式9を用いて、フレーム番号iの雑音減算後の相互相関関数c(i,τ)を算出してもよい。ただし、k−l+1≦i≦kである。
Figure 0006413741
式9において、sは0以上の実数である。sを大きくするほど、背景雑音から大きく外れた相互相関関数の成分のみ残すことを意味する。相互相関関数を用いて小さい目的音の方向を推定したい場合、sは小さく設定される。
重み算出部14は、雑音減算相互相関関数から算出される信号対雑音比(SN比(Signal to Noise ratio ))に基づいてフレームごとの重みを算出する。具体的には、重み算出部14は、雑音減算相互相関関数の信号対雑音比が高いフレームほど大きくなるような重みw(i)を算出する。ただし、k−l+1≦i≦kである。
本実施形態の説明における信号とは、直接音を示す。また、本実施形態の説明における雑音には、反射音や背景雑音モデルで表せない突発的な雑音が含まれる。
重み算出部14は、例えば、SN比があらかじめ定めた閾値より大きい場合にw(i)=1、閾値以下の場合にw(i)=0、とする単純な方法を用いて重みを算出してもよい。また、重み算出部14は、例えば、以下に例示する式10を用いて、SN比に比例する重みを算出してもよい。
Figure 0006413741
式10において、hは、0以上の実数である。重み算出部14は、例えば、以下に例示する式11を満たすようにhを決定してもよい。
Figure 0006413741
また、式10において、SN(i)は、SN比を示す。重み算出部14は、例えば、以下に例示する式12を用いてSN(i)を算出してもよい。
Figure 0006413741
また、重み算出部14は、以下に例示する式13のように、上記に示す式10の右辺の累乗として重みを算出してもよい。
Figure 0006413741
重み付き相互相関関数算出部15は、雑音減算部13で算出した相互相関関数(すなわち、雑音減算相互相関関数)に対して、重み算出部14で算出された重みを掛けることにより、重み付き相互相関関数を算出する。具体的には、重み付き相互相関関数算出部15は、フレームごとの相互相関関数に対応する重みを乗じる。そして、重み付き相互相関関数算出部15は、重み付けされた各フレームの相互相関関数の総和を重み付き相互相関関数として算出する。重み付き相互相関関数算出部15は、例えば、以下に例示する式14を用いて重み付き相互相関関数を算出してもよい。
Figure 0006413741
位置推定部16は、算出された重み付き相互相関関数に基づいて、振動発生源である音源の位置を推定する。例えば、上記の式14に例示する重み付き相互相関関数が算出された場合、位置推定部16は、重み付き相互相関関数c(k,τ)が最大値または閾値以上の値をとるラグサンプル数τ=Γを用いて、以下に例示する式15により、音源方向θを推定してもよい。
Figure 0006413741
信号入力部10と、相互相関関数算出部11と、背景雑音モデル算出部12と、雑音減算部13と、重み算出部14と、重み付き相互相関関数算出部15と、位置推定部16とは、プログラム(振動発生源推定プログラム)に従って動作するコンピュータのCPUによって実現される。
例えば、プログラムは、振動発生源推定装置の記憶部(図示せず)に記憶され、CPUは、そのプログラムを読み込み、プログラムに従って、信号入力部10、相互相関関数算出部11、背景雑音モデル算出部12、雑音減算部13、重み算出部14、重み付き相互相関関数算出部15および位置推定部16として動作してもよい。
また、信号入力部10と、相互相関関数算出部11と、背景雑音モデル算出部12と、雑音減算部13と、重み算出部14と、重み付き相互相関関数算出部15と、位置推定部16とは、それぞれが専用のハードウェアで実現されていてもよい。
次に、本実施形態の振動発生源推定装置の動作を説明する。図3は、本実施形態の振動発生源推定装置の動作例を示すフローチャートである。
相互相関関数算出部11は、入力された信号からフレームごとの相互相関関数を算出する(ステップS11)。背景雑音モデル算出部12は、相互相関関数算出部11で算出された相互相関関数を用いて、背景雑音モデルを生成する(ステップS12)。雑音減算部13は、背景雑音モデル算出部12で算出された背景雑音モデルを用いて、相互相関関数算出部11で算出された相互相関関数から背景雑音成分を減算し、雑音減算相互相関関数を生成する(ステップS13)。
重み算出部14は、雑音減算相互相関関数から算出される信号対雑音比に基づいてフレームごとの重みを算出する(ステップS14)。重み付き相互相関関数算出部15は、雑音減算相互相関関数に対して算出された重みを掛けることにより、重み付き相互相関関数を算出する(ステップS15)。そして、位置推定部16は、算出された重み付き相互相関関数に基づいて音源の位置を推定する(ステップS16)。
以上のように、本実施形態では、相互相関関数算出部11が、振動信号からフレームごとの相互相関関数を算出する。また、背景雑音モデル算出部12が、相互相関関数から背景雑音モデルを算出し、雑音減算部13が、背景雑音モデルにより特定される背景雑音を相互相関関数から減算した雑音減算相互相関関数を算出する。また、重み算出部14が、雑音減算相互相関関数から算出される信号対雑音比に基づいてフレームごとの重みを算出する。そして、重み付き相互相関関数算出部15が、フレームごとの雑音減算相互相関関数に算出された対応する重みを乗じ、重み付けされた各フレームの雑音減算相互相関関数の総和を重み付き相互相関関数として算出する。そして、位置推定部16が、重み付き相互相関関数に基づいて、振動発生源の位置を推定する。
そのような構成により、反射音と雑音の両方が大きい環境においても、精度よく目的音の音源位置を推定することができる。すなわち、反射により振動が伝わる環境や振動発生源以外から振動が発生する環境であっても、目的の振動発生源の位置を精度よく推定できる。本実施形態で示すように、時間方向の重み付けを行うことにより、反射音の少ない時間帯に高い重みが付けられるため、反射音の誤検出を抑え、直接音の方向を正しく推定することができる。
具体的には、本実施形態の振動発生源推定装置では、重み付き相互相関関数算出部15が、2つのマイク信号間の相互相関関数の算出において、反射音に対して直接音が大きなフレーム(すなわち、SN比が大きいフレーム)ほど大きな重みをかけた重み付き相互相関関数を算出する。そのため、比較的長時間のデータを利用しても、反射音による誤推定の影響を抑えることができる。よって、雑音と反射音の両方が大きい環境においても、精度よく音源の位置を推定することができる。
なお、本実施形態の説明では、センサとしてマイクを利用し、信号として音を適用する場合について説明した。ただし、センサおよび信号の内容は、マイクおよび音に限定されない。例えば、センサに振動センサやアンテナが用いられてもよい。また、信号の帯域も、可聴域に限定されず、可聴域を超える帯域であってもよい。なお、以下の実施形態の説明においても同様である。
実施形態2.
次に、本発明による振動発生源推定装置の第2の実施形態を説明する。第2の実施形態でも、音源の方向を推定する方法を説明する。図4は、本発明による振動発生源推定装置の第2の実施形態の構成例を示すブロック図である。なお、第1の実施形態と同様の構成については、図1と同一の符号を付し、説明を省略する。
本実施形態の振動発生源推定装置は、信号入力部10と、相互相関関数算出部11と、背景雑音モデル算出部12と、雑音減算部13と、重み算出部14と、重み付き相互相関関数算出部15と、位置推定部16と、認識部20と、結果表示部21とを備えている。
すなわち、本実施形態の振動発生源推定装置は、第1の実施形態の振動発生源推定装置と比較し、認識部20と、結果表示部21とをさらに備えている点において、第1の実施形態と異なる。それ以外の構成は、第1の実施形態と同様である。
認識部20は、信号入力部10が入力した信号を用いて、音声に基づいて特定可能なイベント(以下、音響イベントと記す。)の種類を認識する。音響イベントとして、例えば、悲鳴や銃声、ガラス粉砕音、破壊音などが挙げられる。認識部20は、複数のサンプル音声から学習された音響イベントモデルと、信号入力部10が入力した音響信号との類似度に基づいて、認識結果を算出してもよい。なお、音響信号に基づいて特定のイベントを検出する方法は広く知られているため、ここでは詳細な説明は省略する。
結果表示部21は、認識部20による認識結果、および、位置推定部16で推定され音源方向θを表示する。認識結果および音源方向θの表示方法は任意である。結果表示部21は、例えば、音源方向θにより特定される音源の位置と、特定された音響イベントの内容とを表示してもよい。
なお、認識部20は、プログラム(振動発生源推定プログラム)に従って動作するコンピュータのCPUによって実現される。また、結果表示部21は、例えば、ディスプレイ装置などの表示装置によって実現される。なお、結果表示部21が、プログラム(振動発生源推定プログラム)に従って動作するコンピュータのCPUによって実現され、他の表示装置に対して表示を指示する構成であってもよい。
また、振動発生源推定装置自身が、表示装置を備えていなくてもよい。この場合、結果表示部21は、認識部20による認識結果、および、位置推定部16で推定され音源方向θを表示する指示を表示装置(図示せず)に行ってもよい。このように、振動発生源推定装置と表示装置とを含むシステムは、音響監視システムということができる。
以上のように、本実施形態では、結果表示部21が、認識部20による音響イベントの認識結果と音源方向とを併せて表示する。そのため、第1の実施形態の効果に加え、音源の状況を即座に把握できる。したがって、例えば、表示された結果をもとに、監視員が現場に赴いて状況を確認するなどの対応を即座に行うことができる。
実施形態3.
次に、本発明による振動発生源推定装置の第3の実施形態を説明する。第3の実施形態では、音源の距離を推定する方法を説明する。図5は、本発明による振動発生源推定装置の第3の実施形態の構成例を示すブロック図である。なお、第1の実施形態と同様の構成については、図1と同一の符号を付し、説明を省略する。
本実施形態の振動発生源推定装置は、信号入力部10と、相互相関関数算出部11と、重み算出部30と、重み付き相互相関関数算出部31と、位置推定部32と備えている。すなわち、本実施形態の振動発生源推定装置は、第1の実施形態の振動発生源推定装置と比較し、背景雑音モデル算出部12、雑音減算部13、重み算出部14、重み付き相互相関関数算出部15および位置推定部16の代わりに、重み算出部30、重み付き相互相関関数算出部31および位置推定部32を備えている。本実施形態の信号入力部10および相互相関関数算出部11の内容は、第1の実施形態と同様である。
重み算出部30は、第1の実施形態の重み算出部14と同様、相互相関関数から算出される信号対雑音比に基づいてフレームごとの重みを算出する。具体的には、重み算出部30は、相互相関関数算出部11で算出されたlフレーム分の相互相関関数c(i,τ)に対して、信号対雑音比(SN比)が高いフレームほど大きくなるような重みw(i)を算出する。ただし、k−l+1≦i≦kである。
本実施形態の説明における信号とは、継続的でパワーや周波数特性の時間変化が小さい信号を示す。本実施形態で説明する信号として、例えば、配管からの漏洩音などが挙げられる。また、本実施形態の説明における雑音とは、漏洩音以外の突発的な雑音を表す。
漏洩音のような信号による相互相関関数は、フレームによらず一定になる。そのため、重み算出部30は、例えば、上記に示す式12の右辺の分子を1とした式(以下に例示する式16参照。)を用いてSN比を算出してもよい。
Figure 0006413741
重み算出部30は、例えば、上記の式10〜13を用いて、フレームごとの重みをSN比に基づいて算出してもよい。
重み付き相互相関関数算出部31は、相互相関関数算出部11で算出された相互相関関数に対して、重み算出部30で算出した重みを掛けることにより、重み付き相互相関関数を算出する。重み付き相互相関関数算出部31は、例えば、以下に例示する式17を用いて、重み付き相互相関関数を算出してもよい。
Figure 0006413741
位置推定部32は、算出された重み付き相互相関関数に基づいて、振動発生源の位置を推定する。例えば、上記の式17に例示する重み付き相互相関関数が算出された場合、位置推定部32は、重み付き相互相関関数c(k,τ)が最大値をとるラグサンプル数τ=Γを用いて、音源までの距離を推定する。なお、音源距離の推定では、ラグサンプル数τは、音源の距離に対応する。
図6は、配管に設置した2つの振動センサと音源の位置関係の例を示す説明図である。センサS1およびセンサS2に対する漏洩音のラグサンプル数Γを用いると、漏洩地点PからセンサS1までの距離Lは、以下に例示する式18で表される。同様に、漏洩地点PからセンサS2までの距離Lは、以下に例示する式19で表される。
なお、式18および式19において、Lは、センサS1とセンサS2との距離を表わし、vは、配管を伝わる漏洩音の速度を示す。
Figure 0006413741
信号入力部10と、相互相関関数算出部11と、重み算出部30と、重み付き相互相関関数算出部31と、位置推定部32とは、プログラム(振動発生源推定プログラム)に従って動作するコンピュータのCPUによって実現される。また、信号入力部10と、相互相関関数算出部11と、重み算出部30と、重み付き相互相関関数算出部31と、位置推定部32とは、それぞれが専用のハードウェアで実現されていてもよい。
次に、本実施形態の振動発生源推定装置の動作を説明する。図7は、本実施形態の振動発生源推定装置の動作例を示すフローチャートである。
相互相関関数算出部11は、入力された信号からフレームごとの相互相関関数を算出する(ステップS21)。重み算出部30は、相互相関関数から算出される信号対雑音比に基づいてフレームごとの重みを算出する(ステップS22)。重み付き相互相関関数算出部31は、相互相関関数算出部11で算出された相互相関関数に算出された重みを掛けることにより、重み付き相互相関関数を算出する(ステップS23)。そして、位置推定部32は、算出された重み付き相互相関関数に基づいて音源の位置を推定する(ステップS24)。
以上のように、本実施形態では、相互相関関数算出部11が、振動信号からフレームごとの相互相関関数を算出し、重み算出部30が、相互相関関数から算出される信号対雑音比に基づいてフレームごとの重みを算出する。重み付き相互相関関数算出部31が、フレームごとの相互相関関数に対応する重みを乗じ、重み付けされた各フレームの相互相関関数の総和を重み付き相互相関関数として算出し、位置推定部32が、重み付き相互相関関数に基づいて、振動発生源の位置を推定する。
このような構成によっても、目的の振動発生源の位置を精度よく推定できる。例えば、本実施形態の振動発生源推定装置を用いることで、配管等からの漏洩音のような継続的で時間変化の小さい信号の位置を精度よく推定できる。
以下、具体的な実施例により本発明を説明するが、本発明の範囲は以下に説明する内容に限定されない。ここでは、第1の実施形態の振動発生源推定装置の実施例を説明する。前提として、直方体の室内(6×6×3m)で、雑音と目的音をそれぞれ異なる方向から発生させたときに、2つのマイクで観測される信号を、鏡像法を利用したシミュレーションにより算出した。雑音と目的音は、それぞれ無相関の白色雑音とし、0.3秒間発生させた。
上記に示す式13を用いて重みを算出し、上記に示す式11を満たすようにhを設定した。第1のマイクと目的音の音源との距離を3.4m、第1のマイクと雑音源との距離を3.0m、マイク間の距離を10cm、残響時間を0.3s、サンプリング周波数を48kHzとした。
図8は、相互相関関数の比較例を示す説明図である。図8(a)は、2つの信号の相互相関関数を示し、図8(b)は、2つの信号の重み付き相互相関関数を示す。図8(a)および図8(b)において、横軸は、上記に示す式4を用いて方向θに変換された伝達時間差τを表わす。
図8(a)に例示する4つのピークは、それぞれ、雑音、雑音による反射音、目的音および目的音による反射音の成分を表している。図8(a)に例示する相互相関関数のピークから音源方向を推定する場合、目的音以外のピークも同時に検出されているため、誤った方向を推定してしまう可能性が高い。
一方、算出された重みを用いて重み付けを行うと、図8(b)に例示するように、雑音および雑音による反射音のピークは消え、目的音による反射音も小さくなっているため、相対的に目的音のピークが大きくなる。そのため、図8(b)に例示する重み付き相互相関関数のピークから音源方向を推定することにより、正しい方向を推定できる。
次に、本発明の概要を説明する。図9は、本発明による振動発生源推定装置の概要を示すブロック図である。本発明による振動発生源推定装置は、複数のセンサ(例えば、マイク)より取得された複数の振動信号(例えば、音声)から振動発生源(例えば、音源)の位置を推定する振動発生源推定装置であって、振動信号からフレームごとの相互相関関数を算出する相互相関関数算出部81(例えば、相互相関関数算出部11)と、相互相関関数から算出される信号対雑音比に基づいてフレームごとの重みを算出する重み算出部82(例えば、重み算出部30)と、フレームごとの相互相関関数に算出された対応する重みを乗じ、重み付けされた各フレームの相互相関関数の総和を重み付き相互相関関数として算出する重み付き相互相関関数算出部83(例えば、重み付き相互相関関数算出部31)と、重み付き相互相関関数に基づいて、振動発生源の位置を推定する位置推定部84(例えば、位置推定部32)とを備えている。
そのような構成により、反射により振動が伝わる環境や振動発生源以外から振動が発生する環境であっても、目的の振動発生源の位置を精度よく推定できる。
また、振動発生源推定装置は、背景雑音をモデル化した背景雑音モデルを相互相関関数から算出する背景雑音モデル算出部(例えば、背景雑音モデル算出部12)と、背景雑音モデルにより特定される背景雑音を相互相関関数から減算した雑音減算相互相関関数を算出する雑音減算部(例えば、雑音減算部13)とを備えていてもよい。そして、重み付き相互相関関数算出部83(例えば、重み付き相互相関関数算出部15)は、相互相関関数の代わりに雑音減算相互相関関数を用いて重み付き相互相関関数を算出してもよい。すなわち、重み付き相互相関関数算出部83は、フレームごとの雑音減算相互相関関数に算出された対応する重みを乗じ、重み付けされた各フレームの雑音減算相互相関関数の総和を重み付き相互相関関数として算出してもよい。
具体的には、重み算出部82は、相互相関関数の最大値の自乗を信号パワーとし、相互相関関数の二乗和を信号雑音パワーとしたときに、前記信号パワーを前記信号雑音パワーで除して算出される信号対雑音比(例えば、上記に示す式12を用いて算出される信号対雑音比)に基づいて、フレームごとの重みを算出してもよい。
他にも、重み算出部82は、相互相関関数の二乗和を信号雑音パワーとしたときに、その信号雑音パワーの逆数により算出される信号対雑音比(例えば、上記に示す式16を用いて算出される信号対雑音比)に基づいて、フレームごとの重みを算出してもよい。
また、位置推定部84は、重み付き相互相関関数が最大になるラグ時間、センサ間の距離および振動伝搬速度に基づいて、センサからの方向または距離(例えば、上記に示す式15または式18および式19)を推定することにより振動発生源の位置を推定してもよい。
また、相互相関関数算出部81は、相互相関関数の実部から相互相関関数の虚部を算出し、実部と虚部とを加算して複素数で表したもの(例えば、上記に示す式2または式3)を相互相関関数としてもよい。
また、重み算出部82は、相互相関関数の信号対雑音比が高いフレームほど重みを大きく算出してもよい。
また、振動発生源推定装置は、音声に基づいて特定可能なイベントである音響イベントの種類を認識する認識部(例えば、認識部20)と、認識された音響イベントの種類と、推定された音源の方向を表示する指示を行う結果表示部(例えば、結果表示部21)とを備えていてもよい。そのような構成によれば、音源の状況を即座に把握できる。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)複数のセンサより取得された複数の振動信号から振動発生源の位置を推定する振動発生源推定方法であって、前記振動信号からフレームごとの相互相関関数を算出し、前記相互相関関数から算出される信号対雑音比に基づいてフレームごとの重みを算出し、前記フレームごとの相互相関関数に算出された対応する前記重みを乗じ、重み付けされた各フレームの相互相関関数の総和を重み付き相互相関関数として算出し、前記重み付き相互相関関数に基づいて、前記振動発生源の位置を推定することを特徴とする振動発生源推定方法。
(付記2)背景雑音をモデル化した背景雑音モデルを相互相関関数から生成し、前記背景雑音モデルにより特定される背景雑音を相互相関関数から減算した雑音減算相互相関関数を算出し、前記雑音減算相互相関関数から算出される信号対雑音比に基づいてフレームごとの重みを算出し、相互相関関数の代わりに前記雑音減算相互相関関数を用いて重み付き相互相関関数を算出する付記1記載の振動発生源推定方法。すなわち、フレームごとの雑音減算相互相関関数に算出された対応する前記重みを乗じ、重み付けされた各フレームの雑音減算相互相関関数の総和を重み付き相互相関関数として算出する。
(付記3)複数のセンサより取得された複数の振動信号から振動発生源の位置を推定するコンピュータに適用される振動発生源推定プログラムであって、前記コンピュータに、前記振動信号からフレームごとの相互相関関数を算出する相互相関関数算出処理、前記相互相関関数から算出される信号対雑音比に基づいてフレームごとの重みを算出する重み算出処理、前記フレームごとの相互相関関数に算出された対応する前記重みを乗じ、重み付けされた各フレームの相互相関関数の総和を重み付き相互相関関数として算出する重み付き相互相関関数算出処理、および、前記重み付き相互相関関数に基づいて、前記振動発生源の位置を推定する位置推定処理を実行させるための振動発生源推定プログラム。
(付記4)コンピュータに、背景雑音をモデル化した背景雑音モデルを相互相関関数から生成する背景雑音モデル生成処理、および、前記背景雑音モデルにより特定される背景雑音を相互相関関数から減算した雑音減算相互相関関数を算出する雑音減算処理を実行させ、重み算出処理で、前記雑音減算相互相関関数から算出される信号対雑音比に基づいてフレームごとの重みを算出させ、重み付き相互相関関数算出処理で、相互相関関数の代わりに前記雑音減算相互相関関数を用いて重み付き相互相関関数を算出させる付記3記載の振動発生源推定プログラム。すなわち、コンピュータに、重み付き相互相関関数算出処理で、フレームごとの雑音減算相互相関関数に算出された対応する前記重みを乗じさせ、重み付けされた各フレームの雑音減算相互相関関数の総和を重み付き相互相関関数として算出させる。
本発明は、振動発生源の位置を推定する振動発生源推定装置に好適に適用される。本発明は、例えば、室内で音源の方向を推定する際、雑音や反射音が発生する環境においても精度よく音源の位置を推定する振動発生源推定装置に好適に適用される。
10 信号入力部
11 相互相関関数算出部
12 背景雑音モデル算出部
13 雑音減算部
14,30 重み算出部
15,31 重み付き相互相関関数算出部
16,32 位置推定部
M1,M2 マイク
S1,S2 センサ

Claims (10)

  1. 複数のセンサより取得された複数の振動信号から振動発生源の位置を推定する振動発生源推定装置であって、
    前記振動信号からフレームごとの相互相関関数を算出する相互相関関数算出部と、
    前記相互相関関数から算出される信号対雑音比に基づいてフレームごとの重みを算出する重み算出部と、
    前記フレームごとの相互相関関数に算出された対応する前記重みを乗じ、重み付けされた各フレームの相互相関関数の総和を重み付き相互相関関数として算出する重み付き相互相関関数算出部と、
    前記重み付き相互相関関数に基づいて、前記振動発生源の位置を推定する位置推定部とを備えた
    ことを特徴とする振動発生源推定装置。
  2. 背景雑音をモデル化した背景雑音モデルを相互相関関数から算出する背景雑音モデル算出部と、
    前記背景雑音モデルにより特定される背景雑音を相互相関関数から減算した雑音減算相互相関関数を算出する雑音減算部とを備え、
    重み算出部は、前記雑音減算相互相関関数から算出される信号対雑音比に基づいてフレームごとの重みを算出し、
    重み付き相互相関関数算出部は、相互相関関数の代わりに前記雑音減算相互相関関数を用いて重み付き相互相関関数を算出する
    請求項1記載の振動発生源推定装置。
  3. 重み算出部は、相互相関関数の最大値の自乗を信号パワーとし、相互相関関数の二乗和を信号雑音パワーとしたときに、前記信号パワーを前記信号雑音パワーで除して算出される信号対雑音比に基づいて、フレームごとの重みを算出する
    請求項1または請求項2記載の振動発生源推定装置。
  4. 重み算出部は、相互相関関数の二乗和を信号雑音パワーとしたときに、当該信号雑音パワーの逆数により算出される信号対雑音比に基づいて、フレームごとの重みを算出する
    請求項1または請求項2記載の振動発生源推定装置。
  5. 位置推定部は、重み付き相互相関関数が最大になるラグ時間、センサ間の距離および振動伝搬速度に基づいて、センサからの方向または距離を推定することにより振動発生源の位置を推定する
    請求項1から請求項4のうちのいずれか1項に記載の振動発生源推定装置。
  6. 相互相関関数算出部は、相互相関関数の実部から相互相関関数の虚部を算出し、前記実部と前記虚部とを加算して複素数で表したものを相互相関関数とする
    請求項1から請求項5のうちのいずれか1項に記載の振動発生源推定装置。
  7. 重み算出部は、相互相関関数の信号対雑音比が高いフレームほど重みを大きく算出する
    請求項1から請求項6のうちのいずれか1項に記載の振動発生源推定装置。
  8. 音声に基づいて特定可能なイベントである音響イベントの種類を認識する認識部と、
    認識された音響イベントの種類と、推定された音源の方向を表示する指示を行う結果表示部とを備えた
    請求項1から請求項7のうちのいずれか1項に記載の振動発生源推定装置。
  9. 複数のセンサより取得された複数の振動信号から振動発生源の位置を推定する振動発生源推定方法であって、
    前記振動信号からフレームごとの相互相関関数を算出し、
    前記相互相関関数から算出される信号対雑音比に基づいてフレームごとの重みを算出し、
    前記フレームごとの相互相関関数に算出された対応する前記重みを乗じ、重み付けされた各フレームの相互相関関数の総和を重み付き相互相関関数として算出し、
    前記重み付き相互相関関数に基づいて、前記振動発生源の位置を推定する
    ことを特徴とする振動発生源推定方法。
  10. 複数のセンサより取得された複数の振動信号から振動発生源の位置を推定するコンピュータに適用される振動発生源推定プログラムであって、
    前記コンピュータに、
    前記振動信号からフレームごとの相互相関関数を算出する相互相関関数算出処理、
    前記相互相関関数から算出される信号対雑音比に基づいてフレームごとの重みを算出する重み算出処理、
    前記フレームごとの相互相関関数に算出された対応する前記重みを乗じ、重み付けされた各フレームの相互相関関数の総和を重み付き相互相関関数として算出する重み付き相互相関関数算出処理、および、
    前記重み付き相互相関関数に基づいて、前記振動発生源の位置を推定する位置推定処理
    を実行させるための振動発生源推定プログラム。
JP2014254263A 2014-12-16 2014-12-16 振動発生源推定装置、方法およびプログラム Active JP6413741B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014254263A JP6413741B2 (ja) 2014-12-16 2014-12-16 振動発生源推定装置、方法およびプログラム
US14/967,724 US9961460B2 (en) 2014-12-16 2015-12-14 Vibration source estimation device, vibration source estimation method, and vibration source estimation program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014254263A JP6413741B2 (ja) 2014-12-16 2014-12-16 振動発生源推定装置、方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2016114512A JP2016114512A (ja) 2016-06-23
JP6413741B2 true JP6413741B2 (ja) 2018-10-31

Family

ID=56111771

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014254263A Active JP6413741B2 (ja) 2014-12-16 2014-12-16 振動発生源推定装置、方法およびプログラム

Country Status (2)

Country Link
US (1) US9961460B2 (ja)
JP (1) JP6413741B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6507946B2 (ja) * 2015-08-31 2019-05-08 富士通株式会社 映像音声再生装置、映像音声再生方法、及びプログラム
US10281556B2 (en) 2016-02-29 2019-05-07 Nextnav, Llc Interference detection and rejection for wide area positioning systems
WO2017216999A1 (ja) * 2016-06-15 2017-12-21 日本電気株式会社 波源方向推定装置、波源方向推定システム、波源方向推定方法および波源方向推定プログラム
US10535364B1 (en) * 2016-09-08 2020-01-14 Amazon Technologies, Inc. Voice activity detection using air conduction and bone conduction microphones
WO2019227353A1 (en) * 2018-05-30 2019-12-05 Goertek Inc. Method and device for estimating a direction of arrival
WO2019240231A1 (ja) * 2018-06-15 2019-12-19 日本電気株式会社 漏えい調査装置、漏えい調査方法、および記録媒体
WO2020003343A1 (ja) * 2018-06-25 2020-01-02 日本電気株式会社 波源方向推定装置、波源方向推定方法、およびプログラム記録媒体
JP2022051974A (ja) * 2019-02-12 2022-04-04 ソニーグループ株式会社 情報処理装置および方法、並びにプログラム
JP6932898B1 (ja) * 2020-05-26 2021-09-08 株式会社アートクリフ 信号判定装置及びプログラム
CN112799018B (zh) * 2020-12-23 2023-07-18 北京有竹居网络技术有限公司 声源定位方法、装置和电子设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2985982B2 (ja) * 1991-09-27 1999-12-06 日本電信電話株式会社 音源方向推定方法
AU6792194A (en) * 1993-05-03 1994-11-21 University Of British Columbia, The Tracking platform system
JP3598932B2 (ja) * 2000-02-23 2004-12-08 日本電気株式会社 話者方向検出回路及びそれに用いる話者方向検出方法
JP4815661B2 (ja) * 2000-08-24 2011-11-16 ソニー株式会社 信号処理装置及び信号処理方法
JP2003271189A (ja) * 2002-03-14 2003-09-25 Nef:Kk 話者方向検出回路及びその検出方法
JP2004012151A (ja) 2002-06-03 2004-01-15 Matsushita Electric Ind Co Ltd 音源方向推定装置
JP2004109712A (ja) * 2002-09-20 2004-04-08 Nec Engineering Ltd 話者方向検出装置
US20060245601A1 (en) * 2005-04-27 2006-11-02 Francois Michaud Robust localization and tracking of simultaneously moving sound sources using beamforming and particle filtering
JP5048006B2 (ja) * 2009-03-10 2012-10-17 シャープ株式会社 分離リモコン装置

Also Published As

Publication number Publication date
US9961460B2 (en) 2018-05-01
US20160171965A1 (en) 2016-06-16
JP2016114512A (ja) 2016-06-23

Similar Documents

Publication Publication Date Title
JP6413741B2 (ja) 振動発生源推定装置、方法およびプログラム
EP3703052B1 (en) Echo cancellation method and apparatus based on time delay estimation
RU2511672C2 (ru) Оценка местоположения источника звука с использованием фильтрования частиц
US20200213728A1 (en) Audio-based detection and tracking of emergency vehicles
TWI647961B (zh) 聲場的高階保真立體音響表示法中不相關聲源方向之決定方法及裝置
JP6279181B2 (ja) 音響信号強調装置
CN110875060A (zh) 语音信号处理方法、装置、系统、设备和存储介质
JP6788272B2 (ja) 音源の検出方法及びその検出装置
JP2006194700A (ja) 音源方向推定システム、音源方向推定方法及び音源方向推定プログラム
JP2013148576A (ja) 変調された背景音を利用して位置特定を行う携帯装置、コンピュータプログラム、および方法
US20180188104A1 (en) Signal detection device, signal detection method, and recording medium
JP2008236077A (ja) 目的音抽出装置,目的音抽出プログラム
US20190250240A1 (en) Correlation function generation device, correlation function generation method, correlation function generation program, and wave source direction estimation device
KR101483513B1 (ko) 음원위치추적장치 및 음원위치추적방법
WO2020250797A1 (ja) 情報処理装置、情報処理方法、及びプログラム
Padois et al. On the use of geometric and harmonic means with the generalized cross-correlation in the time domain to improve noise source maps
JP6545950B2 (ja) 推定装置、推定方法、およびプログラム
JP2012149906A (ja) 音源位置推定装置、音源位置推定方法および音源位置推定プログラム
JP2005077205A (ja) 音源方向推定装置、信号の時間遅延推定装置及びコンピュータプログラム
JP2011139409A (ja) 音響信号処理装置、音響信号処理方法、及びコンピュータプログラム
JP2019060976A (ja) 音声処理プログラム、音声処理方法および音声処理装置
KR101294405B1 (ko) 위상 변환된 잡음 신호를 이용한 음성 영역 검출 방법 및 그 장치
US20230298556A1 (en) Wearable audio device with active external audio mitigation
JP2014032081A (ja) パッシブソーナー装置、トランジェント信号処理方法及びその信号処理プログラム
JP5134477B2 (ja) 目的信号区間推定装置、目的信号区間推定方法、目的信号区間推定プログラム及び記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171107

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180820

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180904

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180917

R150 Certificate of patent or registration of utility model

Ref document number: 6413741

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150