JP6974279B2 - 音響処理装置、音響処理方法およびプログラム - Google Patents
音響処理装置、音響処理方法およびプログラム Download PDFInfo
- Publication number
- JP6974279B2 JP6974279B2 JP2018168968A JP2018168968A JP6974279B2 JP 6974279 B2 JP6974279 B2 JP 6974279B2 JP 2018168968 A JP2018168968 A JP 2018168968A JP 2018168968 A JP2018168968 A JP 2018168968A JP 6974279 B2 JP6974279 B2 JP 6974279B2
- Authority
- JP
- Japan
- Prior art keywords
- sound
- time
- sound source
- arrival time
- sound collecting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
- Circuit For Audible Band Transducer (AREA)
Description
しかしながら、(a)では、収音、記録の際に音源方向を与える必要がある。また、記録や解析のために多くの時間を要する。(b)では、非特許文献1に記載の柔構造ロボットのように複雑な形状を有し、その配置が可変な環境では、予め定めた位置にマイクロホンを設置すること自体が困難である。(c)では、音源が移動するとは限らないため、常に伝達関数を取得することができない。
以下、図面を参照しながら本発明の第1の実施形態について説明する。
図1は、本実施形態に係る音響処理システム1の構成例を示す概略ブロック図である。
音響処理システム1は、音響処理装置10、音源部20および収音部30を含んで構成される。音源部20は、N個の基準音源20−1〜20−N(Nは、3以上の整数)を備える。収音部30は、M個の収音素子30−1〜30−M(Mは、2以上の整数)を備える。
音響処理装置10には、収音素子30−1〜30−MからMチャネルの音響信号が入力される。音響処理装置10は、出力した基準音信号と入力された音響信号に基づいて基準音源20−1〜20−Nのそれぞれから放射された時刻から収音素子30−1〜30−Mのそれぞれまで到達する基準音の到達時間を第1時間として算出する。他方、音響処理装置10は、各基準音源について候補位置までの基準音の到達時間を第2時間として算出する。候補位置は、収音素子の位置の候補である。音響処理装置10は、第1時間と第2時間との時間差が小さいほど高い確率を与える確率関数を用いて、候補位置が収音素子の位置である可能性を示す尤度を算出する。そして、音響処理装置10は、尤度を最大化する候補位置を、収音素子の位置として定める。
なお、本実施形態では、「Aを最大化するB」とは、ある条件のもとで、できるだけ大きいAを与えるBを意味し、Aが絶対的に最大になることを意味するとは限らない。例えば、Bを求める過程において、より小さいAを与えるBが求まることや、異なる条件のもとでAを最大化するBとして異なるBが求まることもありうる。
入出力部11には、Mチャネルの収音信号が収音素子30−1〜30−Mから入力される。入出力部11は、入力されたMチャネルの収音信号を収音位置推定部12と音源推定部13にそれぞれ出力する。入出力部11は、例えば、入出力インタフェースである。
基準音源制御部121は、基準音を再生させる基準音源(以下、再生音源と呼ぶ)を選択し、その再生タイミングを制御する。基準音として出力する音響信号は、特性が既知の音響信号であればよい。かかる音響信号として、例えば、スイープ正弦波のパルス(pulse of swept sinusoid)、ガウシアンパルス、M系列などのいずれが用いられてもよい。基準音源制御部121は、例えば、所定の再生周期ごとに再生音源を巡回的に切り替える。基準音源制御部121は、切り替えにより選択される再生音源に対応する第n(nは、1からNまでのいずれかの整数)チャネルの基準音信号として所定の波形を示す音響信号を割り当て、その他の基準音源に対するチャネルには音響信号を割り当てない。基準音源制御部121は、Nチャネルの基準音信号を、入出力部11を経由して基準音源20−1〜20−Nに出力するとともに到達時間算出部122に出力する。よって、再生音源である基準音源20−nは再生音源として基準音を放射し、再生音源以外の基準音源は基準音を放射しない。
より具体的には、到達時間算出部122は、式(1)に示す関係を用いて到達時間τmn[j]を定める。
なお、以下の説明では、基準音源20−nから収音素子30−mに基準音が到着する時点までの到達時間を第1時間と呼ぶ。到達時間算出部122は、算出した第1時間を示す第1時間情報を収音位置算出部124に出力する。
そこで、到達時間算出部122は、収音信号xm(t)と基準音信号en(t)の相互相関を複数の離散化された時刻間で補間し、補間により得られる相互相関関数が極大となる時刻tを到達時間τmn[j]として定める。
収音位置算出部124は、収音素子30−mそれぞれの収音位置ξMmを示す収音位置情報を音源推定部13と音源方向推定部14に出力する。
到達時間差ベクトル生成部131は、収音素子30−1〜30−Mから入出力部11を経由して入力されるMチャネルの収音信号を用いて、所定期間ごとに到達時間差ベクトルを生成する。
到達時間差ベクトル生成部131は、例えば、式(5)に示すようにGCC−PHATに基づいて第mチャネルにおける第fフレームのTDOA τm(f)を算出することができる。
そして、到達時間差ベクトル生成部131は、第1チャネルを除く、第2〜第Mチャネルのそれぞれについて算出したTDOA τm(f)を要素とするベクトル[τ2(f),…,τM(f)]Tを到達時間差ベクトルとして定める。よって、各1個の到達時間差ベクトルは、M−1次元のベクトルとなる。到達時間差ベクトル生成部131は、生成した到達時間差ベクトルを音源特定部132に出力する。
また、音源から到達する音のレベルが低い場合には、収音信号xm(t,f)に含まれるノイズが相対的に顕著になる。そこで、到達時間差ベクトル生成部131は、収音部30で収音される収音信号全体の強度の尺度として収音レベルE(f)を算出し、収音レベルE(f)が所定の収音レベルの閾値TE以上であるフレームfにおいて到達時間差ベクトルを生成すると判定し、収音レベルE(f)か閾値TE未満となるフレームfにおいて到達時間差ベクトルを生成しないと判定してもよい。
到達時間差ベクトル生成部131は、例えば、式(6)に示すように、各チャネルの収音信号xm(t,f)から収音レベルE(f)を算出することができる。
AP法は、各クラスタを代表するexamplar(代表ベクトル)を再帰的に求める手法である。AP法は、図2に示すように次のステップを有するクラスタリング手法である。
(ステップS102)音源特定部132は、クラスタリング対象とする多数の到達時間差ベクトルのうち、各2つの到達時間ベクトルからなるデータペアごとに、2つの到達時間差ベクトルvi,vj間の類似度s(vi,vj)を算出する。類似度s(vi,vj)として、到達時間差ベクトルvi,vj間の負のユークリッド距離が適用可能である。負のユークリッド距離とは、通常のユークリッド距離に対して正負を反転して算出される。
なお、図2に示す例では、1つのデータペアを構成する2つの到達時間差ベクトルvi,vjが共通(つまり、i=j)となることがある。その場合、類似度s(vi,vj)は、最大値0となる。その後、ステップS104の処理に進む。
responsibility r(vi,vj)は、到達時間差ベクトルvjが到達時間差ベクトルviのexamplarとして適切な度合いを示す数値である。
availability a(vi,vj)は、到達時間差ベクトルviが到達時間差ベクトルvjのexamplarとして選択することの適切な度合いを示す数値である。その後、ステップS106の処理に進む。
ρ(vi,vj)、α(vi,vj)は、それぞれresponsibility r(vi,vj)、availability a(vi,vj)の伝搬値を示す。
より具体的には、音源特定部132は、生成したC個のクラスタをクラスタサイズN[i](1≦i≦C)の昇順にソートし、クラスタサイズN[i]がその閾値TN(例えば、80〜200)以上となるC’個のクラスタiを採用し、閾値TN未満となるクラスタiを棄却する。そして、音源特定部132は、より順位が低い隣接クラスタi−1のクラスタサイズN[i−1]に対する注目クラスタiのクラスタサイズN[i]との比を隣接クラスタサイズ比N’[i]として算出する。そして、音源特定部132は、隣接クラスタサイズ比N’[i]が所定の隣接クラスタサイズ比の閾値TR(TRは、1よりも有意に大きい実数、例えば、1.3〜1.7)よりも高くなるクラスタi’を特定する。そして、音源特定部132は、第i’クラスタ〜第Cクラスタを採用し、第1クラスタ〜第i’−1クラスタを棄却する。音源特定部132は、採用されたクラスタの個数を音源数NSS(Number of Sound Source)をC’−i’+1個として推定することができる。これにより、ノイズ源、残響、同時発話などにより形成される小規模なクラスタが除去される。
そして、音源特定部132は、その時点までのFp個のフレームの期間内のMUSIC空間スペクトルP[i,w](f)のヒストグラムを、各音源iについて生成する。音源特定部132は、フレームごとのMUSIC空間スペクトルPが、所定数(例えば、10〜20)の階級のうちいずれの階級の値であるかを判定し、MUSIC空間スペクトルPがそれぞれの階級内の値をとるフレームの数を度数として示すデータをヒストグラムとして定める。所定数の階級は、MUSIC空間スペクトルPとして取りうる値域を細分化した値の区間である。音源特定部132は、MUSIC空間スペクトルPが0となるフレームを計数対象のフレームから除外してもよい。
そして、音源特定部132は、音源iと音源i’のそれぞれについて、各フレームがSSAPであるか否かを示すSSAPパターンを形成する。
音源特定部132は、採用した音源iごとのステアリングベクトルA[i](ω)を音源方向推定部14に出力する。
より具体的には、音源方向推定部14は、音源iに係るステアリングベクトルA[i](ω)の共役転置AH [i](ω)にステアリングベクトルA[i](ω)を乗算して相関行列R[i](ω)を算出する。音源方向推定部14は、相関行列R[i](ω)に対して固有値展開を行って、M個の固有値と、それぞれに対応する固有ベクトルを算出する。音源方向推定部14は、固有ベクトルv[i]m(ω)の順序mは、対応する固有値λmの絶対値の降順に定める。
そして、音源方向推定部14は、ステアリングベクトルAξ(ω,θ)と第2固有ベクトルv[i]2(ω)から第M固有ベクトルv[i]M(ω)を用いて、式(15)に示す関係を用いて音源iの音源方向θ[i]を定めることができる。
そして、音源方向推定部14は、ステアリングベクトルAξ(ω,ξG)と第2固有ベクトルv[i]2(ω)から第M固有ベクトルv[i]M(ω)を用いて、式(16)に示す関係を用いて音源iの音源位置ξ[i]を定めることができる。
この手法により、候補位置ξGに仮想的に設置された音源からの音波の拡散による到来方向や音量の収音素子30−1〜30−m間の差異を考慮してステアリングベクトルAξ(ω,ξG)が算出される。そのため、音源が収音素子30−1〜30−mに比較的近接している環境下であっても、その音源位置を正確に特定することができる。
次に、本実施形態に係る収音位置推定処理について説明する。図3は、本実施形態に係る収音位置推定処理の例を示すフローチャートである。
(ステップS112)到達時間算出部122は、到達時間算出部122は、第mチャネルの収音信号xm(t)と第nチャネルの基準音信号en(t)との相互相関関数を算出する。その後、ステップS114の処理に進む。
(ステップS114)到達時間算出部122は、式(1)〜(3)のいずれかに示す関係に従って、相互相関関数もしくはその時間領域の位相成分が極大となる時刻tを算出する。到達時間算出部122は、基準音源20−nから基準音が放射される時刻から算出した時刻までの期間を到達時間τmn[j](第1時間)として定める。その後、ステップS116の処理に進む。
(ステップS118)収音位置算出部124は、算出した尤度を最大化する候補位置ξGを収音位置ξMmとして定める。その後、図3に示す処理を終了する。
次に、本実施形態に係る音源方向推定処理について説明する。図4は、本実施形態に係る音源方向推定処理の例を示すフローチャートである。
(ステップS122)収音位置算出部124は、図3に示す処理を実行して収音位置ξMmを推定する。その後、ステップS124の処理に進む。
(ステップS124)到達時間差ベクトル生成部131は、Mチャネルの収音信号x1〜xMを用いて、所定の期間ごとに第mチャネルと第1チャネルとのTDOAを要素とする到達時間差ベクトルを生成する。その後、ステップS126の処理に進む。
(ステップS128)音源特定部132は、定めたクラスタの全部または一部のそれぞれを音源に対応するクラスタとして定める。音源特定部132は、定めたクラスタの代表ベクトルの要素に基づいて応答係数を算出し、算出した応答係数を要素として有するステアリングベクトルを式(11)に従って音源に対応するステアリングベクトルとして生成する。その後、ステップS130の処理に進む。
(ステップS132)音源方向推定部14は、算出した空間スペクトルを最大化する音源方向を、ステップS128で生成されたステアリングベクトルに対応する音源の音源方向として特定する。その後、図4に示す処理を終了する。
次に、本実施形態に係る音響処理システム1の外観構成例について説明する。図5は、本実施形態に係る音響処理システム1の外観構成例を示す平面図である。
図5は、柔構造ロボットに設置されている音響処理システム1を例示する。
音響処理装置10は、円盤状の筐体内に格納されている。基準音源の個数、収音素子の個数は、それぞれ3、5である。基準音源20−1〜20−3は、それぞれ筐体表面の外周部に設置されている。収音素子30−1〜30−5は、それぞれ柔構造ロボットの管部(ホース)の長手方向にほぼ等間隔に設置されている。管部の長さ、筐体の直径が、それぞれアレイ長、配置距離に相当する。柔構造ロボットの一端は、音響処理装置10を格納する筐体に接続されている。柔構造ロボットは、管部の形状を変えながら平面上を爬行可能としている。そのため、収音素子30−1〜30−5全体の位置も、収音素子30−1〜30−5の相互間の相対的な位置関係も可変である。
上記の実施形態で実行される音響処理方法の有効性を検証するため、出願人は、次に説明する評価実験を行った。評価実験を行った実験室の内面は、グラスウォールで覆われ、残響時間の尺度であるRT20が0.4〜0.5[s]である。縦、横の寸法は、それぞれ4[m]、7.5[m]である。その環境における、平均S/N比は、10−15[dB]である。
評価実験は、図5に示す外観構成を有する音響処理システム1を用い、図6に示す基準音源20−1〜20−3と収音素子30−1〜30−5の配置のもとで行われた。基準音源20−1〜20−3は、原点Oを中心とする半径dEの円周上に等角度(120°)間隔で配置された。半径dEは、0.04[m]である。収音素子30−1、30−2、30−3は、原点からの距離を特性長dMとし、それぞれ2次元直交座標系のξx方向(横方向)とは逆方向に、原点からξy方向(縦方向)に、原点からξy方向とは逆方向に離れた位置に配置された。収音素子30−4、30−5は、それぞれ座標[dM,dM/2]、座標[dM,−dM/2]の位置に配置された。但し、収音部30の特性長dMを、0.04[m]、0.08[m]、0.12[m]の3通りとした。
ここで、基準音の周波数帯域を、20−40[kHz]、30−50[kHz]、40−60[kHz]の3通りとし、基準音信号としてスイープ正弦波のパルスを用いた。基準音信号の信号長tEを、64[サンプル]、128[サンプル]、256[サンプル]、512[サンプル]、1024[サンプル]、2048[サンプル]の6通りとした。また、最大到達時間trを、4096[サンプル]とした。
収音位置の算出に用いる到達時間τmn[j]を定める際、式(1)〜(3)の3通りの手法を用い、それぞれについて30回試行した。但し、到達時間τmn[j]を定めるための基準音の再生周期jは、各1周期のみとした。そして、推定された収音位置ξMmのx座標ξMm,x、y座標ξMm,yの少なくともいずれか一方が−0.3[m]未満もしくは0.3[m]より大きい試行を無効な試行として判定し、ξMm,x、ξMm,yがそれぞれ−0.3[m]以上0.3[m]以下となる試行を有効な試行として判定する。そして、無効な試行の回数の全試行回数に対する割合を、失敗率(FR:Failure Rate)として定めた。
各行は基準音の信号長tEを示し、各列は基準音の周波数帯域を示す。各条件での推定結果は、誤差の平均値、標準偏差、失敗率を含む。誤差として、推定された収音位置ξMmと現実の収音素子30−mの位置との間のユークリッド距離を用いた。平均値、標準偏差、失敗率は、それぞれ±記号の左隣、±記号の右隣、カッコ内に示されている。平均値、標準偏差、失敗率は、それぞれ各条件での複数の試行ならびに収音素子間で算出される。
図7−図9に示す推定結果を信号長tE間で比較すると、信号長tE間が長いほど推定結果が良好になる傾向が認められる。図8の第3列に示す例では、64、128、256、512、1024、2048[サンプル]の信号長tEのそれぞれについて、平均値は、15.0、15.5、14.6、14.9、14.9、13.7[mm]となった。
図7に示す推定結果では、第6行第3列に示すように、信号長tEが1024[サンプル]、周波数帯域が30−50[kHz]となる基準音に係る推定結果が最良と判断される。図8に示す推定結果では、第7行第3列に示すように、信号長tEが2048[サンプル]、周波数帯域が30−50[kHz]となる基準音に係る推定結果が最良と判断される。図9に示す推定結果では、第7行第3列に示すように、信号長tEが2048[サンプル]、周波数帯域が30−50[kHz]となる基準音に係る推定結果が最良と判断される。
なお、図7−図9に示す推定結果のうち、失敗率が有意に0%よりも高くなるケースは、信号長tEが64[サンプル]、周波数帯域が40−60[kHz]である場合だけであって、その他のケースでは、いずれも失敗率は0%となった。
図10は、各行に到達時間τmn[j]の算出手法を示し、各列に特性長dMを示す。到達時間τmn[j]の算出手法間で推定結果を比較すると、式(3)に示す手法に基づく推定結果が、他の手法に基づく推定結果よりも良好である。例えば、特性長dMが0.12[m]である場合、式(1)、(2)、(3)のそれぞれについて平均値は、15.9[mm]、13.7[mm]、11.4[mm]となった。また、特性長dMが大きくなるほど、誤差も増加する傾向がある。例えば、式(3)に手法に基づく手法では、特性長dMが0.04[m]、0.08[m]、0.12[m]のそれぞれについて平均値は、7.2[mm]、10.4[mm]、11.4[mm]となった。
また、特性長dMが0.12[m]である場合には、音源数が正確に推定される。このことは、柔構造ロボットに設置され、配置が可変なマイクロホンアレイでも、その大きさを拡張すれば音源数をより正確に推定できることを示す。
この構成によれば、3個以上の基準音源20−1〜20−Nから収音素子30−mまでの基準音の到達時間τmn[j]と基準音源20−1〜20−Nから候補位置ξGまでの到達時間τGにより候補位置ξGが収音素子30−mの位置である確率を用いて尤度が算出される。そして、尤度が最大となる候補位置ξGが収音素子30−mの位置ξMmとして定まる。そのため、3個以上の基準音源20−1〜20−Nを用いて候補位置ξGが収音素子30−mの位置ξMmとなる可能性が総合的に評価されるので、到達時間τmn[j]に誤差が含まれていても、基準音源20−1〜20−Nが移動しているか否かに関わらず、より確実に収音素子30−mの位置ξMmを定めることができる。
この構成によれば、相互相関関数により基準音信号と収音信号xm(t)との相関性を定量的に評価して、基準音の再生から収音までの第1時間を定めることができる。
この構成によれば、離散時刻ごとに相互相関関数を定め、相互に隣接する2つの離散時刻間の時刻に対する相互相関関数を推定し、推定された相互相関関数が最大となる時刻が基準音の再生から収音までの第1時間として定められる。そのため、時間離散化による第1時間の推定誤差、ひいては収音位置ξMmの推定誤差を低減することができる。
この構成によれば、相互相関関数の周波数領域における変換係数の振幅成分が除去されるので、相互相関関数の振幅の周波数依存性が解消される。そして、相互相関関数の振幅成分を除去して得られる時間領域の逆変換関数値が相互に隣接する2つの離散時刻間で補間される。そのため、時間離散化に加え、基準音信号の振幅の周波数特性による第1時間、ひいては収音位置ξMmの推定誤差を低減することができる。
そのため、収音位置ξMmの推定に可聴帯域の音声よりも波長が短い超音波が用いられるので、第1時間の推定誤差、ひいては収音位置ξMmの推定誤差を低減することができる。また、基準音は人間に知覚されないため、人間に対する受聴環境が害されない。
音源推定部13は、所定の収音素子が収音した基準チャネルの収音信号と他の収音素子が収音した他チャネルの収音信号との到達時間差を要素とする到達時間差ベクトルを所定期間ごとに生成する。そして、音源推定部13は、到達時間差ベクトルをクラスタごとに分類し、基準音源とは別個の音源に対応するクラスタを代表する到達時間差ベクトルに基づいて第1ステアリングベクトルを定める。
音源方向推定部14は、第1ステアリングベクトルに基づく相関行列を固有値展開して固有ベクトルを算出し、音源方向に対応する応答係数を要素として有する第2ステアリングベクトルを生成し、第2ステアリングベクトルの各要素の二乗和を、2次以上の各次の前記固有ベクトルと前記第2ステアリングベクトルとの内積の総和で正規化した空間スペクトルを最大化する音源方向を定める。
この構成によれば、Mチャネルの収音信号xm(t)から個々の音源に対応する第1ステアリングベクトルが定まり、第1ステアリングベクトルに基づく相関行列に対するM個の固有ベクトルが算出される、そのうち、第1固有ベクトルは、基準音源とは別個の目的音源に対するステアリングベクトルが張られる信号部分空間の基底ベクトルとなり、第2固有ベクトルから第M固有ベクトルのいずれとも直交する。音源方向θに対応する第2ステアリングベクトルと第m固有ベクトルとの内積の値が最も小さくなるので、音源方向に対する値が最大となるように空間スペクトルが算出される。そのため、音源数が未知であっても、位置が可変な収音素子30−mで収音される収音信号xmを用いて、個々の音源の音源方向を正確に推定することができる。
また、収音素子30−1〜30−Mは、必ずしも柔構造ロボットに設置されていなくてもよい。収音素子30−1〜30−Mは、1個もしくは複数の他の物体、例えば、車両模型、内視鏡装置、ドローンなどの移動体、通信機器、計測器、その他、収音を主用途としない機器に設置されてもよい。
入出力部11と、基準音源20−1〜20−Nならびに収音素子30−1〜30−Mとの間の各種の信号の入出力は、有線でもよいし、無線でもよい。
音響処理装置10は、少なくとも収音位置推定部12を備えていればよい。音響処理装置10は、収音位置推定部12が推定した収音位置を用いて、収音素子30−1〜30−Mで取得される収音信号に対するその他のアレイ処理を実行するアレイ処理部を備えてもよい。その場合、音源推定部13と音源方向推定部14が省略されてもよい。アレイ処理部は、例えば、音源方向推定部14とは別個の方式(例えば、MUSIC法)を用いた音源方向推定、雑音抑圧、音源分離などのいずれかの処理、もしくはそれらの処理の任意の組み合わせを実行してもよい。
Claims (8)
- N(Nは、3以上の整数)個の基準音源のそれぞれから収音素子までの基準音の到達時間である第1時間を前記収音素子が収音した収音信号を用いて定め、
前記N個の基準音源のそれぞれから前記収音素子の位置の候補である候補位置までの前記基準音の到達時間である第2時間を取得し、
前記第1時間と前記第2時間との差が小さいほど高い確率を与える確率関数を用いて、前記候補位置が収音素子の位置である可能性を示す尤度を算出し、前記尤度を最大化する候補位置を、前記収音素子の位置として定める収音位置推定部
を備え、
前記収音位置推定部は、
前記基準音を示す基準音信号と前記収音素子が収音した収音信号との相互相関関数に基づいて前記第1時間を算出する
音響処理装置。 - 前記収音位置推定部は、
離散時刻ごとに算出した前記相互相関関数を所定の連続関数で補間して得られる関数値を最大化する時刻に基づいて前記第1時間を算出する
請求項1に記載の音響処理装置。 - 前記収音位置推定部は、
前記相互相関関数の周波数領域における変換係数の位相成分を算出し、前記位相成分を時間領域に逆変換して得られる離散時刻ごとの逆変換関数値を所定の連続関数で補間して得られる関数値を最大化する時刻までの期間を、
前記第1時間として算出する
請求項1に記載の音響処理装置。 - N(Nは、3以上の整数)個の基準音源のそれぞれから収音素子までの基準音の到達時間である第1時間を前記収音素子が収音した収音信号を用いて定め、
前記N個の基準音源のそれぞれから前記収音素子の位置の候補である候補位置までの前記基準音の到達時間である第2時間を取得し、
前記第1時間と前記第2時間との差が小さいほど高い確率を与える確率関数を用いて、前記候補位置が収音素子の位置である可能性を示す尤度を算出し、前記尤度を最大化する候補位置を、前記収音素子の位置として定める収音位置推定部と、
所定の収音素子が収音した基準チャネルの収音信号と他の収音素子が収音した他チャネルの収音信号との到達時間差を要素とする到達時間差ベクトルを所定期間ごとに生成し、
前記到達時間差ベクトルをクラスタごとに分類し、前記基準音源とは別個の音源に対応するクラスタを代表する到達時間差ベクトルに基づいて第1ステアリングベクトルを定める音源推定部と、
前記第1ステアリングベクトルに基づく相関行列を固有値展開して固有ベクトルを算出し、
音源方向に対応する応答係数を要素として有する第2ステアリングベクトルを生成し、
前記第2ステアリングベクトルの各要素の二乗和を、2次以上の各次の前記固有ベクトルと前記第2ステアリングベクトルとの内積の総和で正規化した空間スペクトルを最大化する音源方向を定める音源方向推定部と、
を備える音響処理装置。 - 音響処理装置における音響処理方法であって、
N(Nは、3以上の整数)個の基準音源のそれぞれから収音素子までの基準音の到達時間である第1時間を前記収音素子が収音した収音信号を用いて定め、
前記N個の基準音源のそれぞれから前記収音素子の位置の候補である候補位置までの前記基準音の到達時間である第2時間を取得し、
前記第1時間と前記第2時間との差が小さいほど高い確率を与える確率関数を用いて、前記候補位置が収音素子の位置である可能性を示す尤度を算出し、前記尤度を最大化する候補位置を、前記収音素子の位置として定める収音位置推定ステップ
を有し、
前記収音位置推定ステップは、
前記基準音を示す基準音信号と前記収音素子が収音した収音信号との相互相関関数に基づいて前記第1時間を算出する
音響処理方法。 - 音響処理装置における音響処理方法であって、
N(Nは、3以上の整数)個の基準音源のそれぞれから収音素子までの基準音の到達時間である第1時間を前記収音素子が収音した収音信号を用いて定め、
前記N個の基準音源のそれぞれから前記収音素子の位置の候補である候補位置までの前記基準音の到達時間である第2時間を取得し、
前記第1時間と前記第2時間との差が小さいほど高い確率を与える確率関数を用いて、前記候補位置が収音素子の位置である可能性を示す尤度を算出し、前記尤度を最大化する候補位置を、前記収音素子の位置として定める収音位置推定ステップと、
所定の収音素子が収音した基準チャネルの収音信号と他の収音素子が収音した他チャネルの収音信号との到達時間差を要素とする到達時間差ベクトルを所定期間ごとに生成し、
前記到達時間差ベクトルをクラスタごとに分類し、前記基準音源とは別個の音源に対応するクラスタを代表する到達時間差ベクトルに基づいて第1ステアリングベクトルを定める音源推定ステップと、
前記第1ステアリングベクトルに基づく相関行列を固有値展開して固有ベクトルを算出し、
音源方向に対応する応答係数を要素として有する第2ステアリングベクトルを生成し、
前記第2ステアリングベクトルの各要素の二乗和を、2次以上の各次の前記固有ベクトルと前記第2ステアリングベクトルとの内積の総和で正規化した空間スペクトルを最大化する音源方向を定める音源方向推定ステップと、
を有する音響処理方法。 - 音響処理装置のコンピュータに、
N(Nは、3以上の整数)個の基準音源のそれぞれから収音素子までの基準音の到達時間である第1時間を前記収音素子が収音した収音信号を用いて定め、
前記N個の基準音源のそれぞれから前記収音素子の位置の候補である候補位置までの前記基準音の到達時間である第2時間を取得し、
前記第1時間と前記第2時間との差が小さいほど高い確率を与える確率関数を用いて、前記候補位置が収音素子の位置である可能性を示す尤度を算出し、前記尤度を最大化する候補位置を、前記収音素子の位置として定める収音位置推定手順
を実行させるためのプログラムであって、
前記収音位置推定手順は、
前記基準音を示す基準音信号と前記収音素子が収音した収音信号との相互相関関数に基づいて前記第1時間を算出する
プログラム。 - 音響処理装置のコンピュータに、
N(Nは、3以上の整数)個の基準音源のそれぞれから収音素子までの基準音の到達時間である第1時間を前記収音素子が収音した収音信号を用いて定め、
前記N個の基準音源のそれぞれから前記収音素子の位置の候補である候補位置までの前記基準音の到達時間である第2時間を取得し、
前記第1時間と前記第2時間との差が小さいほど高い確率を与える確率関数を用いて、前記候補位置が収音素子の位置である可能性を示す尤度を算出し、前記尤度を最大化する候補位置を、前記収音素子の位置として定める収音位置推定手順と、
所定の収音素子が収音した基準チャネルの収音信号と他の収音素子が収音した他チャネルの収音信号との到達時間差を要素とする到達時間差ベクトルを所定期間ごとに生成し、
前記到達時間差ベクトルをクラスタごとに分類し、前記基準音源とは別個の音源に対応するクラスタを代表する到達時間差ベクトルに基づいて第1ステアリングベクトルを定める音源推定ステップと、
前記第1ステアリングベクトルに基づく相関行列を固有値展開して固有ベクトルを算出し、
音源方向に対応する応答係数を要素として有する第2ステアリングベクトルを生成し、
前記第2ステアリングベクトルの各要素の二乗和を、2次以上の各次の前記固有ベクトルと前記第2ステアリングベクトルとの内積の総和で正規化した空間スペクトルを最大化する音源方向を定める音源方向推定ステップと、
を実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018168968A JP6974279B2 (ja) | 2018-09-10 | 2018-09-10 | 音響処理装置、音響処理方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018168968A JP6974279B2 (ja) | 2018-09-10 | 2018-09-10 | 音響処理装置、音響処理方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020043456A JP2020043456A (ja) | 2020-03-19 |
JP6974279B2 true JP6974279B2 (ja) | 2021-12-01 |
Family
ID=69798834
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018168968A Active JP6974279B2 (ja) | 2018-09-10 | 2018-09-10 | 音響処理装置、音響処理方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6974279B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024039892A1 (en) * | 2022-08-19 | 2024-02-22 | Shure Acquisition Holdings, Inc. | System and method for camera motion stabilization using audio localization |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11205890A (ja) * | 1998-01-09 | 1999-07-30 | Victor Co Of Japan Ltd | エコーキャンセル装置 |
US7522736B2 (en) * | 2004-05-07 | 2009-04-21 | Fuji Xerox Co., Ltd. | Systems and methods for microphone localization |
JP4422662B2 (ja) * | 2005-09-09 | 2010-02-24 | 日本電信電話株式会社 | 音源位置・受音位置推定方法、その装置、そのプログラム、およびその記録媒体 |
JP2010212818A (ja) * | 2009-03-08 | 2010-09-24 | Univ Of Tokyo | 複数のマイクロフォンにより受信された多チャンネル信号の処理方法 |
JP6311197B2 (ja) * | 2014-02-13 | 2018-04-18 | 本田技研工業株式会社 | 音響処理装置、及び音響処理方法 |
-
2018
- 2018-09-10 JP JP2018168968A patent/JP6974279B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2020043456A (ja) | 2020-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Evers et al. | The LOCATA challenge: Acoustic source localization and tracking | |
US10901063B2 (en) | Localization algorithm for sound sources with known statistics | |
JP4248445B2 (ja) | マイクロホンアレイ方法及びシステム、並びにこれを用いた音声認識方法及び装置 | |
US9093078B2 (en) | Acoustic source separation | |
JP6311197B2 (ja) | 音響処理装置、及び音響処理方法 | |
JP3881367B2 (ja) | 位置情報推定装置、その方法、及びプログラム | |
JP6240995B2 (ja) | 移動体、音響源マップ作成システムおよび音響源マップ作成方法 | |
JP6225118B2 (ja) | 音源位置推定 | |
EP2800402A1 (en) | Sound field analysis system | |
Gunel et al. | Acoustic source separation of convolutive mixtures based on intensity vector statistics | |
JP6467736B2 (ja) | 音源位置推定装置、音源位置推定方法および音源位置推定プログラム | |
JP2014098568A (ja) | 音源位置推定装置、音源位置推定方法および音源位置推定プログラム | |
Traa et al. | Multichannel source separation and tracking with RANSAC and directional statistics | |
US8416642B2 (en) | Signal processing apparatus and method for removing reflected wave generated by robot platform | |
JP6974279B2 (ja) | 音響処理装置、音響処理方法およびプログラム | |
KR20090128221A (ko) | 음원 위치 추정 방법 및 그 방법에 따른 시스템 | |
Vera-Diaz et al. | Towards domain independence in CNN-based acoustic localization using deep cross correlations | |
JP2017067948A (ja) | 音声処理装置および音声処理方法 | |
Pillai et al. | Acoustic source localization using random forest regressor | |
Drude et al. | DOA-estimation based on a complex Watson kernel method | |
Firoozabadi et al. | Combination of nested microphone array and subband processing for multiple simultaneous speaker localization | |
Bai et al. | Acoustic source localization and deconvolution-based separation | |
Sledevič et al. | An evaluation of hardware-software design for sound source localization based on SoC | |
Nakamura et al. | Blind spatial sound source clustering and activity detection using uncalibrated microphone array | |
Olgun et al. | Localization of multiple sources in the spherical harmonic domain with hierarchical grid refinement and eb-music |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201130 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210922 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210928 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211013 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211026 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211104 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6974279 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |