JP6488492B2 - 音響処理装置及び音響処理方法 - Google Patents

Description

本発明は、音響処理装置及び音響処理方法に関する。

収録した音響信号から音源の方向や位置を推定することは、音源定位（ＳＳＬ：Ｓｏｕｎｄ Ｓｏｕｒｃｅ Ｌｏｃａｌｉｚａｔｉｏｎ）と呼ばれ、ロボット聴覚、音声認識、高品質通話、音源探索、など広範な応用が期待されている。音源定位では、チャネル間の微小な時間差やレベル差が手がかりとして用いられるので、多チャネルの音響信号を収録することが要求される。そのため、複数のマイクロホンからなるマイクロホンアレーが用いられてきた。他方、複数のマイクロホンを一体的に配置したマイクロホンアレーは、その規模が大きくなりがちであり、設置空間が確保されないことがあった。昨今では、分散配置された複数のマイクロホンをマイクロホンアレーとして用いることが試みられている。

例えば、非特許文献１には、複数のモバイル端末に備えられたマイクロホンのそれぞれで収集した音声信号を無線通信により共有し、共有された音声信号に基づいて音源定位を行うマイクロホンアレー処理について記載されている。非特許文献１に記載のマイクロホンアレー処理では、モバイル端末間の位置関係の情報を用いる。音源定位を行うためには、各モバイル端末を予め定めた位置に固定しておき、所定の音源から発された音響信号を用いて自己位置推定（キャリブレーション）等の前処理を要していた。

小野順貴、Ｋｉｅｎ ＬＥ ＴＲＵＮＧ、宮部滋樹、牧野昭二、アドホックマイクロホンアレー −複数のモバイル録音機器で行う音響信号処理−、Ｆｕｎｄａｍｅｎｔａｌｓ Ｒｅｖｉｅｗ、電子情報通信学会 基礎・境界ソサイエティ、２０１４年４月、Ｖｏｌ．７、Ｎｏ．４、ｐｐ．３３６−３４７

しかしながら、マイクロホンを備えた機器の配置は多様であり、随時変動することがある。例えば、モバイル端末は、各ユーザが持ち運びながら使用されることが通例である。他方、移動の都度、キャリブレーションを行うことや、ユーザに対してキャリブレーションを行うための操作を強いることは実用的ではない。

本発明は上記の点に鑑みてなされたものであり、事前にキャリブレーションを行わずに音源定位を可能にする音響処理装置を提供する。

（１）本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、音響信号を収録する収音部と、自装置の動作を検出する動作検出部と、前記音響信号と前記動作に基づいて自装置の位置を推定する自己定位部と、予め定めた基準音源から到来した基準信号の強度に基づいて前記音響信号を検出対象の対象音源の位置を検出する音源定位部において使用するか否かを判定する使用判定部と、を備える音響処理装置である。

（２）本発明のその他の態様は、上述の音響処理装置であって、前記音源定位部をさらに備え、前記音源定位部は、前記自己定位部が推定した前記自装置である主装置の位置を示す主装置位置情報、他の音響処理装置である従装置から前記従装置の位置を示す従装置位置情報、前記収音部が収録した音響信号である主装置音響信号および前記従装置から当該従装置において収録された音響信号である従装置音響信号を取得し、前記主装置音響信号ならびに前記従装置音響信号と、前記主装置位置情報ならびに前記従装置位置情報に基づいて前記対象音源の位置を検出する。

（３）本発明のその他の態様は、上述の音響処理装置であって、前記使用判定部は、前記主装置音響信号と前記主装置位置情報を音源定位に使用すると判定した時期に基づいて、自装置が主装置であることを示す主装置通知情報を他の音響処理装置に無線で送信し、前記他の音響処理装置から前記従装置音響信号と前記従装置位置情報を無線で受信する。

（４）本発明のその他の態様は、上述の音響処理装置であって、前記使用判定部が他の音響処理装置から自装置が主装置であることを示す主装置通知情報を受信した場合、前記従装置音響信号と前記従装置位置情報を前記他の音響処理装置に無線で送信する。

（５）本発明のその他の態様は、上述の音響処理装置であって、前記音源定位部は、前記対象音源の位置の予測値に基づいて推定された前記主装置音響信号の強度の予測値と前記主装置音響信号の強度の計測値との差の大きさを減少させるように前記対象音源の位置を更新する。

（６）本発明のその他の態様は、上述の音響処理装置であって、前記音源定位部は、前記対象音源の位置の予測値と前記従装置音響信号に基づく前記対象音源の位置の予測値との差の大きさを減少させるように前記対象音源の位置を更新する。

（７）本発明のその他の態様は、上述の音響処理装置であって、前記音源定位部は、前記対象音源の位置の更新において、前記差の総和と前記位置の予測値の分布を表す共分散行列を正規化した行列との積に、１以下の正の係数を乗じて更新量を算出し、前記更新量を用いて前記位置の予測値を更新する。

（８）本発明のその他の態様は、上述の音響処理装置であって、移動可能な移動体に備えられている。

（９）本発明のその他の態様は、上述の音響処理装置であって、前記移動体は、飛行体である。

（１０）本発明のその他の態様は、上述の音響処理装置であって、前記移動体は、ロボットである。

（１１）本発明のその他の態様は、音響処理装置における音響処理方法であって、収音部が収録した音響信号と動作検出部が検出した前記音響処理装置の動作に基づいて自装置の位置を推定する自己定位過程と、予め定めた基準音源から到来した基準信号の強度に基づいて前記音響信号を検出対象の対象音源の位置を検出する音源定位部において使用するか否かを判定する使用判定過程と、を有する音響処理方法である。

本発明の態様（１）及び（１１）によれば、収録した音響信号に含まれる基準信号と検出した動作に基づいて自装置の位置が推定され、基準信号の強度に基づいて音響信号が音源定位に使用するか否かが判定される。そのため、収録した音響信号から自装置の位置情報を取得し、収録した音響信号が音源定位に用いられるか否かが判定されるので、事前にキャリブレーションを行わなくても音源定位が可能になる。

本発明の態様（２）によれば、基準信号の強度に基づいて使用すると判定された他の音響処理装置から取得した音響信号と位置情報に基づいて、音響処理装置間の位置による受音特性の差異を用いた音源定位が可能になる。

本発明の態様（３）によれば、自装置が音源定位の基準となる主装置であることを判定し、他の音響処理装置に対して通知するとともに、他の音響処理装置からそれぞれの位置を示す位置情報と音響信号を無線で取得することができる。そのため、自装置に音源定位を行うための情報を集約することができる。また、音源定位を行うための情報の集約において物理的な配線のための部材を要しないため配置の自由度が向上する。

本発明の態様（４）によれば、主装置である他の音響処理装置を認知することができ、主装置に対して音源定位に要する自装置の位置を示す位置情報と収録した音響信号を無線で提供することができる。また、音源定位を行うための情報の提供において物理的な配線のための部材を要しないため配置の自由度が向上する。

本発明の態様（５）によれば、個々の音響処理装置で取得された音響信号に基づいて音源定位を行うことができる。個々の音響処理装置が音源定位部をそれぞれ備えることで、音響処理装置間で音響信号を送受信する必要がなくなるので、音響処理装置間における伝送容量を有効に活用することができる。また、複数の音響処理装置間で音響信号を連立して処理する必要がなくなるので、処理量を減少させることができる。

本発明の態様（６）によれば、音響処理装置毎の音響環境、処理特性の差異によって異なる誤差を含んだ対象音源の位置の予測値が相互に収束し、これらの誤差が相殺されるため、音源定位の精度を向上させることができる。

本発明の態様（７）によれば、対象音源の位置に係る予測値の更新量を、個々の音響処理装置で予測された対象音源の位置の予測値の差の総和を、予測値の分布に応じて正規化した値よりも小さくすることで、予測値の発散を防止することができる。

本発明の態様（８）によれば、収録した音響信号とともに、移動する自装置の位置情報が自律的に取得されるので、音源定位を逐次に行うことが可能になる。
本発明の態様（９）によれば、収録した音響信号とともに、飛行する自装置の位置情報が自律的に取得されるので、音源定位を逐次に行うことが可能になる。また、本発明の態様（９）は、必ずしも地面に支持されなくともよいため、配置の自由度が向上する。
本発明の態様（１０）によれば、収録した音響信号とともに、ロボットに設置された自装置の位置情報が自律的に取得されるので、ロボットの位置を基準とした音源定位を行うことが可能になる。

本発明の実施形態に係る音響処理システムの構成を示す概念図である。 本発明の実施形態に係る音響処理装置の構成を示す概略ブロック図である。 本発明の実施形態に係る使用判定部による使用不使用判定を説明するための図である。 本発明の実施形態に係る音響処理を示すフローチャートである。 個別の音響処理装置に対する雑音の重畳の影響を示す図である。 検出時間に対する音響処理装置の数の影響を示す図である。 音源定位に係る各手法の特徴を示す概念図である。 音源定位処理の例を示すフローチャートである。

以下、図面を参照しながら本発明の実施形態について説明する。
図１は、本実施形態に係る音響処理システム１の構成を示す概念図である。
音響処理システム１は、Ｎ個（Ｎは、２以上の整数、例えば４）の音響処理装置１０−１〜１０−Ｎ、情報処理装置２０、及びＭ個（Ｍは、１以上の整数、例えば２）の基準音源４１−１〜４１−Ｍを含んで構成される。以下の説明では、音響処理装置１０−１〜１０−Ｎ、基準音源４１−１〜４１−Ｍを区別しない場合には、それぞれ単に音響処理装置１０、基準音源４１と呼ぶことがある。

音響処理装置１０は、移動体と１個の収音部（後述）を含んで構成される。移動体は、例えば、クアドロコプタ（Ｑｕａｄｒｏｃｏｐｔｅｒ）である。クアドロコプタは、４個の回転翼を備えた飛行体（ｄｒｏｎｅ）である。移動体には、収音部、その他の部材が装着されることにより、音響処理装置１０が移動可能に形成される。
音響処理装置１０は、基準音源４１−１〜４１−Ｍから到来した音波に基づいて自己定位（Ｓｅｌｆ−Ｌｏｃａｌｉｚａｔｉｏｎ）を行う。自己定位とは、自装置の位置を同定することを指す。音響処理装置１０は、基準音源４１−１〜４１−Ｍから到来した音響信号の強度に基づいて自装置で取得した各種のデータを、基準音源４１−１〜４１−Ｍとは別個の未知音源（例えば、対象音源５１）に対する音源定位に用いるか否かを判定する。自装置で取得したデータには、自装置で収録した音響信号及び自装置の位置を示す位置情報が該当する。
以下の説明では、そのデータが音源定位に使用されることを単に「使用」と呼び、使用に係る音響処理装置１０を「使用装置」と呼ぶことがある。また、「使用装置」以外の音響処理装置１０を「不使用装置」と呼ぶことがある。

使用装置の台数が所定の台数（例えば２）以上である場合、それぞれの使用装置が備える収音部によりマイクロホンアレーが形成される。使用装置のいずれか１台は、他の使用装置から、それぞれが同定した位置を示す位置情報と、それぞれが収録した音響信号を受信する。
以下の説明では、その１台の使用装置を「主装置」、他の使用装置を「従装置」と呼ぶことがある。主装置は、各使用装置が同定した位置と各使用装置で収録した音響信号とに基づいて音源定位を行うことにより、未知の音源の空間情報（方向又は位置）を定める。主装置は、定めた音源毎の音源空間情報を情報処理装置２０に送信する。

情報処理装置２０は、音響処理装置１０のうち主装置から音源空間情報を受信し、受信した音源空間情報をその時点の時刻を示す時刻情報と対応付けて記憶する。情報処理装置２０は、例えば、移動機構を有していないパーソナルコンピュータ（ＰＣ：Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、サーバ装置、その他の地上局装置（ｇｒｏｕｎｄ ｓｔａｔｉｏｎ）である。

なお、情報処理装置２０は、音響処理装置１０−１〜１０−Ｍのいずれからも音源空間情報を受信する可能性がある。音響処理装置１０−１〜１０−Ｍは、いずれも主装置になりうるためである。そこで、情報処理装置２０は、受信した音源空間情報が示す音源の位置について所定の確率分布（例えば、多次元ガウシアン）を仮定して、その期待値をＭ個の音響処理装置１０間で共通の共通音源位置として算出してもよい。より具体的には、情報処理装置２０は、受信した音源空間情報が示す音源の位置についてアンセンテッド・カルマンフィルタ（ＵＫＦ：Ｕｎｓｃｅｎｔｅｄ Ｋａｌｍａｎ Ｆｉｌｔｅｒ）を用いて音源毎の共通音源位置を算出する。ＵＫＦは、状態（この例では、各音源の音源位置）の誤差分布の統計量として２次のモーメントを算出し、逐次に条件付き期待値を算出する手法である。これにより、複数の音源位置をサンプル点として集合平均的に統計量が近似されるので、異なる音響処理装置１０間で算出される音源位置が平滑化される。

基準音源４１−１〜４１−Ｍは、それぞれ所定の特性を有する基準信号を音波として放射する音源である。基準音源４１−１〜４１−Ｍが放射する基準信号は、例えば、予め定めた周波数の正弦波であり、基準音源４１−１〜４１−Ｍ間で周波数が互いに異なる。それぞれの周波数は、いずれも各音響処理装置１０が備える収音部１０１で検出可能な帯域、例えば、可聴帯域（例えば、２０Ｈｚ−２０ｋＨｚ）内に含まれる。従って、収録された音響信号に含まれる基準信号の周波数成分を抽出し、抽出した周波数成分に基づいて基準信号を放射した基準音源を特定することが可能である。

（音響処理装置の構成）
次に、本実施形態に係る音響処理装置１０の構成について説明する。
図２は、本実施形態に係る音響処理装置１０の構成を示す概略ブロック図である。
音響処理装置１０は、収音部１０１、動作検出部１０２、使用判定部１１１、自己定位部１１２、音源定位部１１３、及び通信部１２１を含んで構成される。

収音部１０１は、音波として到来した音響信号を電気信号に変換する無指向性のマイクロホンである。収音部１０１は、１チャネルの音響信号を収録することができればよい。収音部１０１は、電気信号に変換された音響信号を使用判定部１１１、自己定位部１１２、及び音源定位部１１３に出力する。

動作検出部１０２は、自装置の動作を検出し、検出した動作を示す動作情報を生成するセンサである。動作検出部１０２は、例えば、３軸の磁気センサ、３軸の加速度センサ、３軸のジャイロスコープを含んだ、９軸のセンサである。動作情報として、加速度と方向が生成される。動作検出部１０２は、生成した動作情報を自己定位部１１２に出力する。

使用判定部１１１は、収音部１０１から入力された音響信号の強度に基づいて、自装置で取得したデータ（音響信号、位置情報）を音源定位に使用するか否かを判定する（使用不使用判定）。ここで、使用判定部１１１は、入力された音響信号をフィルタリングして基準音源４１−１〜４１−Ｍの各々に対応した基準信号の周波数成分を抽出し、基準信号の強度が、予め定めた強度の閾値Ｌ_ｔｈよりも高いか否かを判定する。

使用判定部１１１は、基準音源４１−１〜４１−Ｍのいずれについても閾値Ｌ_ｔｈよりも高いと判定した場合、自装置で取得したデータを音源定位に用いると判定する。即ち、自装置が使用装置であると判定される。また、使用判定部１１１は、基準音源４１−１〜４１−Ｍのいずれかについて閾値Ｌ_ｔｈほど高くないと判定した場合、自装置で取得したデータを音源定位に用いないと判定する。即ち、自装置が不使用装置であると判定される。
なお、使用判定部１１１は、自装置が直前まで主装置（後述）であった場合でも、自装置が不使用装置であると新たに判定した場合には、自装置は主装置ではないと判定する。

使用判定部１１１は、自装置が使用装置であるか又は不使用装置であるかを示す使用情報を、他の音響処理装置１０に通信部１２１を介して送信する。使用判定部１１１は、使用情報を他の音響処理装置１０から通信部１２１を介して受信する。これにより、使用判定部１１１は、使用装置の数、新たに使用装置になった音響処理装置１０ならびに新たに不使用装置になった音響処理装置１０を逐次に把握することができる。使用判定部１１１は、使用装置の数（使用装置数）が予め定めた数（例えば、２）以上である場合、音源定位を行うと判定する。

使用判定部１１１は、自装置が音源定位を行うと判定した音響処理装置１０のうち最も早く使用装置になったと判定した場合、自装置が主装置であると判定する。なお、他の音響処理装置１０が主装置であるときに使用装置でないと新たに判定された場合には、自装置の使用判定部１１１は、自装置が残りの使用装置（自装置も含む）のうち最も早く使用装置になった場合、自装置が主装置であると判定する。
使用判定部１１１は、主装置であると判定した場合、自装置が主装置であることを示す主装置通知情報を他の音響処理装置１０に通信部１２１を介して送信する。
使用判定部１１１は、他の音響処理装置１０から通信部１２１を介して主装置通知情報を受信した場合には、自装置が従装置であると判定する。
使用判定部１１１は、自装置が主装置であるか又は従装置であるかを示す主従情報を音源定位部１１３に出力する。

自己定位部１１２は、動作検出部１０２から入力された動作情報と収音部１０１から入力された音響信号に基づいて自己定位を行って、自装置の位置を示す位置情報を生成する。自己定位部１１２は、例えば、拡張カルマンフィルタ（ＥＫＦ：Ｅｘｔｅｎｄｅｄ Ｋａｒｍａｎ Ｆｉｌｔｅｒ）を用いて自装置の位置を推定する。ＥＫＦは、ある状態（本実施形態では、位置と速度の組からなる）の誤差の分布がガウス分布に従うものと仮定して、逐次に条件付き期待値を算出する手法である。この処理において、自己定位部１１２は、音響信号のうち基準音源４１−１〜４１−Ｍの各々から到来した基準信号の距離減衰を拘束条件として、動作情報が示す加速度に基づいて自装置の位置と速度からなる状態ベクトルを逐次に更新する。ここで、自己定位部１１２は、空間情報が示す加速度の方向を、空間情報が示す方向を用いて、所定の方向（例えば、鉛直方向）を基準とした方向に補正し、補正した加速度を状態ベクトルの更新に用いる。自己定位の詳細については後述する。自己定位部１１２は、生成した位置情報を音源定位部１１３に出力する。

音源定位部１１３は、使用判定部１１１から入力された主従情報が主装置を示す場合、音源定位を行う。音源定位部１１３は、他の使用装置から通信部１２１を介して音響信号と位置情報を受信し、収音部１０１から音響信号が入力され、自己定位部１１２から位置情報が入力される。音源定位部１１３は、各使用装置で取得された音響信号に対してフィルタリングして基準音源４１−１〜４１−Ｍの各々から到来した基準信号の周波数成分を除去する。音源定位部１１３は、各使用装置についてフィルタリングした音響信号と、その使用装置で取得された位置情報とに基づいて音源定位を行う。音源定位部１１３は、例えば、重み付き遅延和ビームフォーミング法（ＷＤＳ−ＢＦ：Ｗｅｉｇｈｔｅｄ Ｄｅｌａｙ ａｎｄ Ｓｕｍ Ｂｅａｍｆｏｒｍｉｎｇ）を用いて各音源の位置を推定する。

重み付き遅延和ビームフォーミング法は、各チャネル（使用装置）の音響信号に対する重みづけ遅延和信号を算出し、遅延和信号のパワーが極大となるような、チャネル毎の重み係数と遅延の組に対応する音源空間情報（音源方向又は音源位置）を探索する方法である。音源空間情報と重み係数ならびに遅延の組との対応関係は、例えば、その音源と各使用装置の収音部１０１との間の距離によって一意に与えられる。なお、音源定位部１１３は、必ずしも単一の音源の音源空間情報に限らず、複数の音源のそれぞれについて推定することがある。音源定位部１１３は、音源毎の音源空間情報を情報処理装置２０に通信部１２１を介して送信する。

通信部１２１は、他の機器（図２に示す例では、他の音響処理装置１０、情報処理装置２０）との間でデータを無線で送受信する。通信部１２１は、例えば、代表的な無線通信規格であるＩＥＥＥ８０２．１１を用いてデータを送受信する無線通信インタフェースである。

（使用不使用判定）
次に、使用不使用判定について説明する。
図３は、本実施形態に係る使用判定部１１１による使用不使用判定を説明するための図である。
図３の上段は、基準音源４１と音響処理装置１０との位置関係を示す。左方から右方に向いている破線の矢印は、音響処理装置１０の移動軌跡を示す。これに対し、基準音源４１は、静止している。矢印で示される移動軌跡の中間において音響処理装置１０は基準音源４１に最も接近し、その地点から離れるほど音響処理装置１０は基準音源４１から遠ざかる。

図３の下段は、収音部１０１で収録される音響信号のうち基準音源４１から到来した基準信号の強度の時間変化を示す。縦軸、横軸は、それぞれ時刻、強度を示す。強度は、当初増加し、時刻ｔ_３において極大値に達した後、減少する。強度が予め定めた強度の閾値Ｌ_ｔｈを超える時点、Ｌ_ｔｈを下回る時点は、それぞれｔ_１、ｔ_２である。図３に示す例では、音響処理装置１０は、時刻ｔ_１から時刻ｔ_２までの間、使用端末であると判定され、時刻ｔ_１よりも前、又は時刻ｔ_２よりも後において、不使用端末であると判定される。
このような強度の時間変化は、音響処理装置１０が、当初において基準音源４１に接近し、最接近後において基準音源４１から離れることによる。そのため、基準音源４１から到来した基準信号の強度が十分な場合に自己定位が行われ、取得した音響信号や位置情報が音源定位に用いられることで、自己定位ひいては音源定位の精度を確保することができる。

（自己定位）
次に、自己定位について説明する。ＥＫＦに基づく自己定位は、予測と修正の過程を含み、これらの過程が繰り返される。自己定位部１１２は、動作検出部１０２から入力された動作情報が示す方向に基づいて動作情報が示す加速度の方向を補正する。自己定位部１１２は、補正した加速度と、現時刻ｋの（又は修正（後述）された）位置ならびに速度に基づいて、次時刻ｋ＋１の位置ならびに速度を予測する。予測において、自己定位部１１２は、例えば、式（１）、（２）を用いる。
Ｘ_{ｋ＋１｜ｋ}＝ＦＸ_ｋ｜ｋ＋ＧＵ_ｋ … （１）
Ｐ_{ｋ＋１｜ｋ}＝ＦＰ_ｋ｜ｋＦ^Ｔ＋Ｖ … （２）

式（１）において、Ｘは、状態ベクトルを示す。Ｘ＝［ｘ，ｙ，ｚ，ｖ_ｘ，ｖ_ｙ，ｖ_ｚ］^Ｔである。ここで、ｘ，ｙ，ｚは、音響処理装置１０の位置を示す。ｖ_ｘ，ｖ_ｙ，ｖ_ｚは、音響処理装置１０の速度を示す。Ｔは、ベクトル又は行列の転置を示す。ｋは、離散時刻を示すインデックスである。つまり、Ｘ_ｋ｜ｋは、現時刻ｋの状態ベクトルを示し、Ｘ_{ｋ＋１｜ｋ}］は、現時刻ｋの状態ベクトルから予測された次時刻ｋ＋１の状態ベクトルを示す。Ｆ］は、時刻ｋの関数であるＸ_ｋ｜ｋの時間発展を与える線形作用素を示す。Ｆは、例えば、［Ｅ，Δｔ・Ｅ］^Ｔである。Ｅは、３行３列の単位行列である。Δｔは、現時刻ｋと次時刻ｋ＋１との間の時間間隔を示す実数（スカラー）である。Ｇは、時刻ｋの関数であるＵ_ｋによるＸ_ｋ｜ｋの時間発展を与える線形作用素である。例えば、Δｔ［０，Ｅ］^Ｔである。［…］内の０は、３行３列の零行列を示す。Ｕ_ｋは、制御信号（ベクトル）を示す。Ｕ_ｋは、例えば、［ａ_ｘ，ａ_ｙ，ａ_ｚ］^Ｔであり、ａ_ｘ，ａ_ｙ，ａ_ｚは、音響処理装置１０の加速度、つまり自己定位部１１２により補正された加速度を示す。
式（２）において、Ｐは、誤差共分散（ｅｒｒｏｒ ｃｏｖａｒｉａｎｃｅ）行列を示す。Ｖは、処理ノイズ（ｐｒｏｃｅｓｓ ｎｏｉｓｅ ｃｏｖａｒｉａｎｃｅ）共分散行列を示す。

次に、自己定位部１１２は、所定の誤差範囲内に誤差が収束するように予測した次時刻ｋ＋１の位置ならびに速度を修正する。この修正において、自己定位部１１２は、各基準音源４１から到来した基準信号の強度を、その基準音源４１から音響処理装置１０までの距離に応じた強度に近づけることで、基準音源４１からの距離減衰が拘束条件として課される。具体的には、自己定位部１１２は、式（３）、（４）を用いる。
Ｘ_{ｋ＋１｜ｋ＋１}＝Ｘ_{ｋ＋１｜ｋ}＋ＲＢ … （３）
Ｐ_{ｋ＋１｜ｋ＋１}＝Ｐ_{ｋ＋１｜ｋ}−ＲＨ_ｋ＋１Ｐ_{ｋ＋１｜ｋ} … （４）

式（３）、（４）において、Ｒは、カルマンゲイン（行列）を示し、Ｒ＝Ｐ_{ｋ＋１｜ｋ}Ｈ^Ｔ _ｋ＋１Ｓ^−１と算出される。Ｈは、距離減衰関数ｈ_ｉを要素とする距離減衰ベクトルの状態ベクトルＸに対するヤコビアンを示す。ここで、ｉは、基準音源４１−ｉを示す１からＭまでの間の整数である。距離減衰関数ｈ_ｉは、ｈ_ｉ（Ｘ）＝Ｉ_ｉ／（（ｘ_ｉ−ｘ）^２＋（ｙ_ｉ−ｙ）^２＋（ｚ_ｉ−ｚ）^２）と算出される。Ｉ_ｉは、基準音源４１−ｉから所定の距離（例えば、１ｍ）離れた位置における、基準音源４１−ｉから到来した基準信号の強度を示す。ｘ_ｉ，ｙ_ｉ，ｚ_ｉは、基準音源４１−ｉの位置を示す。基準音源４１−ｉの位置は、自己定位部１１２において予め設定されている。行列Ｓは、Ｓ＝Ｈ^Ｔ _ｋ＋１Ｐ_{ｋ＋１｜ｋ}Ｈ^Ｔ _ｋ＋１＋Ｗと算出される。Ｗは、測定ノイズ共分散（ｍｅａｓｕｒｅｍｅｎｔ ｎｏｉｓｅ ｃｏｖａｒｉａｎｃｅ）行列を示す。測定ノイズは、カルマンゲインＲを算出する際に零除算を防止するために付加するノイズである。ベクトルＢは、Ｂ＝Ｙ_ｋ＋１−ｈ（Ｘ_{ｋ＋１｜ｋ}）と算出される。Ｙは、システム出力ベクトルである。システム出力ベクトルＹは、収音部１０１から入力された音響信号から抽出された基準音源４１−ｉから到来した基準信号の強度を要素とするベクトルである。

（音響処理）
次に、本実施形態に係る音響処理について説明する。
図４は、本実施形態に係る音響処理を示すフローチャートである。
（ステップＳ１０１）使用判定部１１１は、収音部１０１から入力された音響信号に対してフィルタリングして基準音源４１−１〜４１−Ｍの各々の基準信号の周波数成分を抽出し、フィルタリングした基準信号の強度を計測する。その後、ステップＳ１０２に進む。
（ステップＳ１０２）自己定位部１１２は、動作検出部１０２から入力された動作情報と収音部１０１から入力された音響信号に基づいて自己定位を行って、自装置の位置を推定する。その後、ステップＳ１０３に進む。

（ステップＳ１０３）使用判定部１１１は、計測した基準強度が、基準音源４１−１〜４１−Ｍについても予め定めた強度の閾値Ｌ_ｔｈよりも高いかを判定する。高いと判定された場合（ステップＳ１０３ ＹＥＳ）、ステップＳ１０５に進む。高くないと判定された場合（ステップＳ１０３ ＮＯ）、ステップＳ１０４に進む。
（ステップＳ１０４）使用判定部１１１は、自装置で取得したデータを音源定位に用いないと判定し（不使用判定）、自装置が不使用装置であることを示す使用情報を他の音響処理装置１０に送信する。その後、ステップＳ１０１に戻る。
（ステップＳ１０５）使用判定部１１１は、自装置で取得したデータを音源定位に用いると判定し、自装置が使用装置であることを示す使用情報を他の音響処理装置１０に送信する。また、使用判定部１１１は、他の音響処理装置１０のそれぞれから使用情報を受信する。その後、ステップＳ１０６に進む。

（ステップＳ１０６）使用判定部１１１は、他の音響処理装置１０から受信した使用情報に基づいて、使用装置の数が所定数以上であるか否かを判定する。所定数以上であると判定された場合には（ステップＳ１０６ ＹＥＳ）、ステップＳ１０７に進む。所定数未満であると判定された場合には（ステップＳ１０６ ＮＯ）、ステップＳ１０１に戻る。
（ステップＳ１０７）使用判定部１１１は、自装置が主装置であるか否かを判定する。使用判定部１１１は、自装置が使用装置の中で初めて使用装置になった音響処理装置１０である場合、自装置が主装置であると判定し、それ以外の場合、自装置が従装置であると判定する。自装置が主装置であると判定された場合（ステップＳ１０７ ＹＥＳ）、ステップＳ１０８に進む。自装置が従装置であると判定された場合（ステップＳ１０７ ＮＯ）、ステップＳ１１１に進む。

（ステップＳ１０８）使用判定部１１１は、自装置が主装置であることを示す主装置通知情報を他の使用装置に送信する。その後、ステップＳ１０９に進む。
（ステップＳ１０９）音源定位部１１３は、音源定位を行うための初期化を行う。ここで、音源定位部１１３は、他の使用装置から音響信号と位置情報を受信し、収音部１０１から音響信号が入力され、自己定位部１１２から位置情報が入力される。その後、ステップＳ１１０に進む。
（ステップＳ１１０）音源定位部１１３は、各使用装置についてフィルタリングした音響信号と、その使用装置で取得された位置情報とに基づいて音源定位を行って、各音源の音源空間情報を取得する。このフィルタリングでは、基準音源４１−１〜４１−Ｍの各々から到来した基準信号の周波数成分が除去される。音源定位部１１３は、取得した音源空間情報を情報処理装置２０に送信する。その後、ステップＳ１０１に戻る。

（ステップＳ１１１）使用判定部１１１は、主装置から自装置が主装置であることを示す主装置通知情報を受信し、自装置が従装置であると判定する。その後、ステップＳ１１２に進む。
（ステップＳ１１２）音源定位部１１３は、主装置での初期化のため、収音部１０１から入力された音響信号と自己定位部１１２から入力された位置情報を主装置に送信する。その後、ステップＳ１０１に進む。

（評価実験）
次に、本実施形態に係る音響処理装置１０の評価実験について説明する。実験では、特に断らない限り、複数の音響処理装置１０を２．６ｍ四方の領域内で、一定の高度に保ちながら飛行させた。その領域の周辺部に５個の基準音源４１を設置し、各基準音源４１から音波を全方向に放射させた。その領域において、検出の対象となる未知の対象音源５１を設置し、音波を全方向に放射させた。試行毎に対象音源５１の位置をランダムに定め、音響処理装置１０を動作させた。また、動作検出部１０２で検出される空間情報を示すセンサ値にガウシアンノイズを信号対雑音比（ＳＮＲ：Ｓｉｇｎａｌ−ｔｏ−ｎｏｉｓｅ Ｒａｔｉｏ）が３０ｄＢとなるように付加した。また、音響処理装置１０に備えられた移動体から生じた自己雑音（ｅｇｏ ｎｏｉｓｅ）の計測された音の強度に対するＳＮＲは、０ｄＢから−１０ｄＢの間である。このＳＮＲは、音響信号よりも雑音の方が、レベルが高いことを示す。

予備的検証においては、上述した自己定位による推定精度について従来法と比較した。本実施形態による自己定位の手法は、各基準音源からの成分の強度を用いる点で、遅延を用いていた従来法とは異なる。また、評価の指標として、推定された音響処理装置１０の位置と現実の位置との間の距離を自己定位誤差として算出した。従来法では、自己定位誤差は４２９．９ｃｍであるのに対し、本実施形態では、自己定位誤差が平均２６．５ｃｍと明らかな改善が認められた。音響処理装置１０の位置が音源定位に用いられることを鑑みると、この結果は、音源定位により未知の対象音源の位置を、高精度で推定できることを示唆する。

次に、個別の音響処理装置１０に対して複数の音響処理装置１０の移動体による雑音の重畳の影響を評価した。ここで、音響処理装置１０を２０ｃｍ四方の平面内でランダムに飛行させ、試行毎に飛行させた音響処理装置１０の数を変更した。
図５は、個別の音響処理装置１０に対する雑音の重畳の影響を示す図である。図５は、音響処理装置１０の数が１、５、１０である場合のそれぞれについて平均自己定位誤差を示す。音響処理装置１０の１個当たりの自己雑音によるＳＮＲが−３ｄＢである場合には、音響処理装置１０の数が増加するほど自己定位誤差が増加する。例えば、音響処理装置１０が１個、１０個の場合、自己定位誤差は、それぞれ１９ｃｍ、３２ｃｍである。この結果は、ＳＮＲが−３ｄＢと自己雑音が著しい場合には、音響処理装置１０による雑音の重畳により自己定位の精度が劣化することを示す。しかしながら、ＳＮＲが−１ｄＢである場合には、音響処理装置１０の数に関わらず自己定位誤差は、１８ｃｍ〜２１ｃｍとほぼ一定である。つまり、自己雑音の強度が音響信号とほぼ同等以下であれば、雑音の重畳による影響は認められない。音響処理装置１０の位置が音源定位に用いられることを鑑みると、この結果は、自己雑音に対する音源定位の精度の劣化が生じないことを示唆する。

次に、基準音源の検出における音響処理装置１０の数の影響を評価した。ここで、各音響処理装置１０をランダムに飛行させ、そのうち２つの音響処理装置１０が音源を検出するまでの時間（検出時間）を観測した。試行毎に音響処理装置１０の数を変更した。
図６は、検出時間に対する音響処理装置１０の数の影響を示す図である。縦軸に検出時間を示し、横軸に音響処理装置１０の数を示す。検出時間の単位は、処理の反復回数（ｉｔｅｒａｔｉｏｎ）である。図６は、検出時間は音響処理装置１０の数に依存することを示す。検出時間は、音響処理装置１０の数が２個よりも多い場合、２個の場合よりも有意に短い。例えば、音響処理装置１０の数が４個である場合、検出時間は３７回と、音響処理装置１０の数が２個である場合の８１回の半分未満である。他方、音響処理装置１０の数が７個である場合、検出時間は４０回と、音響処理装置１０の数が４個である場合の３７回よりも３回増加する。音響処理装置１０の数が、３個以上あれば音響処理装置１０の数の検出時間に対する影響が限定的であることから、３個あれば十分であることを示す。

以上に説明したように、本実施形態に係る音響処理装置１０は、音響信号を収録する収音部１０１と、自装置の動作を検出する動作検出部１０２と、収録された音響信号と検出された動作に基づいて自装置の位置を推定する自己定位部１１２を備える。また、音響処理装置１０は、予め定めた基準音源４１から到来した基準信号の強度に基づいて収録された音響信号と推定された位置を示す位置情報を音源定位部１１３で使用するか否かを判定する使用判定部１１１と、を備える。音源定位部１１３は、各音響処理装置１０から取得した音響信号と位置情報に基づいて検出対象の対象音源の位置を検出する。
この構成によれば、収録した音響信号に含まれる基準信号と検出した動作に基づいて自装置の位置が推定され、基準信号の強度に基づいて音響信号と推定した位置を示す位置情報を音源定位部で使用するか否かが判定される。そのため、収録した音響信号とともに、自装置の位置情報が自律的に取得されるので、収音部１０１を各１個備えた複数の音響処理装置１０によりマイクロホンアレーが形成され、事前にキャリブレーションを行わなくても音源定位が可能になる。

また、音響処理装置１０において使用判定部１１１は、音響信号と位置情報を音源定位に使用すると判定した時期に基づいて、自装置が主装置であることを示す主装置通知情報を他の音響処理装置１０に無線で送信し、音響処理装置１０は、他の音響処理装置１０から音響信号と位置情報を無線で受信する。
この構成によれば、自装置が音源定位の基準となる主装置であることを一意に判定し、他の音響処理装置に対して通知するとともに、他の音響処理装置からそれぞれの位置を示す位置情報と音響信号を無線で取得することができる。そのため、自装置に音源定位を行うための情報を集約することができる。また、音源定位を行うための情報の集約において物理的な配線のための部材を要しないため配置の自由度が向上する。
また、音響処理装置１０は、音源定位部１１３を備える。
この構成によれば、自装置に集約された情報を用いて自装置内で音源定位を行うことができる。

また、音響処理装置１０において使用判定部１１１が他の音響処理装置１０から自装置が主装置であることを示す主装置通知情報を受信した場合、音響処理装置１０は、自装置の音響信号と位置情報を、主装置通知情報を送信した音響処理装置に無線で送信する。
この構成により、音響処理装置１０は、主装置である他の音響処理装置１０を認知することができ、主装置に対して音源定位に要する自装置の位置を示す位置情報と収録した音響信号を無線で提供することができる。また、音源定位を行うための情報の提供において物理的な配線のための部材を要しないため配置の自由度が向上する。

また、音響処理装置１０は、クアドロコプタに備えられていることを特徴とする。
この構成により、収録した音響信号とともに、自装置の飛行時の位置情報が自律的に取得されるので、音源定位を行うことが可能になる。また、音響処理装置１０は、必ずしも地面に支持されなくてもよいため、配置の自由度が向上する。

（変形例）
以上、図面を参照してこの発明の実施形態について説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

（音源定位の他の例）
例えば、上述では、音源定位部１１３が主に重み付き遅延和ビームフォーミング法を用いて音源の位置を推定する場合を例にしたが、これには限られない。音源定位部１１３は、その他の手法として、例えば、推定した位置に基づいて音響信号の強度を予測し、予測した強度の予測値と収音部１０１で取得した音響信号の強度（計測値）との差の大きさを減少させるように推定した位置を更新する手法も用いることもできる。この手法によれば、個々の音響処理装置１０の収音部１０１で取得した音響信号の強度に基づいて音源の位置を推定（分散処理）できるため、必ずしも音響処理装置１０間で音響信号を送受信する必要がなくなる。また、複数の音響処理装置１０間で音響信号を連立して処理する必要がなくなるので、処理量が格段に減少する。これは、音源定位の際に行われる行列演算の処理量が行列の次数の二乗に比例するためである。さらに、使用判定部１１１において、自装置が主装置であるか否かの判定を省略することができる。音源定位部１１３は、かかる手法として、各種のカルマンフィルタ、例えば、上述したＥＫＦ、ＵＫＦ、カルマンコンセンサスフィルタ（ＫＣＦ：Ｋａｌｍａｎ Ｃｏｎｓｅｎｓｕｓ Ｆｉｌｔｅｒ）、アンセンテッド・カルマンコンセンサスフィルタ（ＵＫＣＦ：Ｕｎｓｃｅｎｔｅｄ Ｋａｌｍａｎ Ｃｏｎｓｅｎｓｕｓ Ｆｉｌｔｅｒ）のいずれを用いてもよい。音源定位部１１３は、推定した音源の位置を示す音源空間情報を、通信部１２１を介して音源空間情報を情報処理装置２０に送信する。

図７は、音源定位に係る各手法の特徴を示す概念図である。図７（ａ）、（ｂ）、（ｃ）は、それぞれＵＫＦ、ＫＣＦ、ＵＫＣＦの特徴を示す。ＵＫＦは、次の過程（Ａ１）〜（Ａ４）を有する手法である。（Ａ１）位置を示す状態ベクトルの探索空間における複数のサンプル点（シグマ点（ｓｉｇｍａ ｐｏｉｎｔ））のそれぞれについて、次時刻の状態ベクトルの予測値を算出する。（Ａ２）シグマ点毎に算出した状態ベクトルの予測値の重み付き平均値を次時刻の状態ベクトルの予測値として算出する。（Ａ３）算出した予測値を、計測値（強度）との差分が小さくなるように修正し、（Ａ４）修正により得られた修正値を基準とし、状態ベクトルの分布を示す共分散行列が示す分布の大きさで分布したシグマ点を設定する。これらの過程を繰り返すことにより、各予測値が目標の状態ベクトルの目標値ｘ_ｔａｒｇに収束する。図７（ａ）において、○印は各時刻における状態ベクトルの予測値ｘ_１、ｘ_２、等を示し、◎印は状態ベクトルの目標値ｘ_ｔａｒｇを示す。矢印は各時刻における予測の過程を示し、破線はシグマ点間の状態ベクトルの予測値の分布を示す。状態ベクトルの予測値は、通常のカルマンフィルタのように行列の線形結合に頼らずに更新モデルを用いて直接的に取得されるため、ＵＫＦは非線形の予測にも適用することができる。

ＫＣＦは、自装置における予測値の修正において他の接続可能な音響処理装置１０（上述の使用装置に相当）からの予測値を用いて、相互に整合する状態ベクトルの修正値を算出（コンセンサスを形成）する手法である。ＫＣＦを用いる際、全ての使用装置間で予測値を共有する。図７（ｂ）において、○印、△印、□印は、それぞれの音響処理装置１０について算出された予測値を示す。音響処理装置１０間で状態ベクトルを相互に参照することで、それぞれの予測値を状態ベクトルの目標値ｘ_ｔａｒｇに収束することができる。但し、従来のＫＣＦは、通常のカルマンフィルタと同様に行列の線形結合を行う処理を含むため、非線形の予測には必ずしも適さない。

ＵＣＫＦは、ＵＫＦとＫＣＦの特徴として、次の特徴（Ｂ１）、（Ｂ２）を有する方式である。ＵＣＫＦは、ＫＣＦと同様に（Ｂ１）複数の音響処理装置１０間で相互に整合する状態ベクトルの修正値を算出する。ＵＣＫＦは、ＵＫＦと同様に、（Ｂ２）個々の音響処理装置１０は、各時刻においてシグマ点間における状態ベクトルの予測値について重み付き平均を行って、代表となる状態ベクトルの予測値を算出する。そのため、ＵＣＫＦは、個々の音響処理装置１０における非線形の状態ベクトルの予測にも適用することができる。

次に、音源定位部１１３が行う音源定位の具体例について説明する。以下では、説明を簡単にするため、主に式（５）に示すように音源が移動しない場合を例にする。

式（５）において、［ｘ_ｋ］は、音響処理装置１０の位置を基準とする音源位置を示す時刻ｋにおける状態を示すベクトルである。［…］は、…がベクトル又は行列であることを示す。［ｘ_ｋ］は、ｘ_ｓ、ｙ_ｓ、ｚ_ｓを要素とする３次元のベクトル［ｘ_ｓ，ｙ_ｓ，ｚ_ｓ］^Ｔである。以下、ベクトル［ｘ_ｋ］を状態［ｘ_ｋ］と呼ぶことがある。Ｔは、ベクトル又は行列の転置を示す。また、式（５）において、ｆ（…）は、…の時間発展を示す関数である。式（５）に示す例では、ｆ（…）は、恒等関数（ｉｄｅｎｔｉｔｙ ｆｕｎｃｔｉｏｎ）である。このことは、状態更新モデルを通じ時間発展なしに予測ステップが実行されることを意味する。［ｗ_ｋ−１］は、時刻ｋ−１における処理ノイズ（ｐｒｏｃｅｓｓ ｎｏｉｓｅ）の信号値を要素とするベクトルを示す。処理ノイズの信号値は、例えば、時間平均が０であるガウシアンノイズである。以下、ベクトル［ｗ_ｋ−１］を、処理ノイズ［ｗ_ｋ−１］と呼ぶことがある。なお、音源位置の移動を仮定し、状態［ｘ_ｋ］が位置と速度を示す場合には、ｆ（…）に示す演算として、上述した線形作用素Ｆの乗算が実行されてもよい。

状態［ｘ_ｋ］と音源からの音響信号の強度を示す計測行列（ｍｅａｓｕｅｍｅｎｔ ｍａｔｒｉｘ）［ｚ_ｋ］との関係を示すモデルとして、式（６）に示す非線形計測モデル（ｎｏｎ−ｌｉｎｅａｒ ｍｅａｓｕｒｅｍｅｎｔ ｍｏｄｅｌ）を仮定する。

式（６）において、計測行列［ｚ_ｋ］は、時刻ｋにおける音響信号の強度の推定値を要素として含む行列である。以下の説明では、計測行列［ｚ_ｋ］の要素数が１行１列であるスカラー値である場合を例にすることがある。ｈ（［ｘ_ｋ］）は、時刻ｋにおいて音響処理装置１０において計測されうる強度ｉ_ｓ，ｋを示す。強度ｉ_ｓ，ｋは、式（７）に示すように、音源から音響処理装置１０までの距離の二乗に反比例する。［ｖ_ｋ］は、時刻ｋにおける計測ノイズ（ｍｅａｓｕｒｅｍｅｎｔ ｎｏｉｓｅ）の信号値を要素として含む行列を示す。計測ノイズの信号値は、例えば、時間平均が０であるガウシアンノイズである。以下の説明では、行列［ｖ_ｋ］を、計測ノイズ［ｖ_ｋ］と呼ぶことがある。また、状態［ｘ_ｋ］の予測値、計測行列［ｚ_ｋ］の予測値を、それぞれ予測値［ｘ^ｆ _ｋ］、予測値［ｚ^ｆ _ｋ］として区別することがある。さらに、複数の音響処理装置１０のうち、特定の音響処理装置１０−ｌ（ｌは、１からＬまでの整数、Ｌは使用装置の数、即ち接続中の音響処理装置１０−ｌの数）に係る予測値［ｘ^ｆ _ｋ］、予測値［ｚ^ｆ _ｋ］を、予測値［ｘ^ｆ，ｌ _ｋ］、予測値［ｚ^ｆ，ｌ _ｋ］と呼ぶことがある。また、特定の音響処理装置１０−ｌに係る状態［ｘ_ｋ］の修正値、計測行列［ｚ_ｋ］の修正値を、それぞれ修正値［ｘ^ａ，ｌ _ｋ］、修正値［ｚ^ａ，ｌ _ｋ］等と呼ぶことがある。

式（７）において、Ｉ_ｓは、音源から所定の距離（例えば、１ｍ）で計測されうる強度を示す。

音源定位処理においてＵＣＫＦを用いる場合には、初期化（ステップＳ１０９、図４）において、音源定位部１１３は、次の値を設定する。初期状態（状態［ｘ_ｋ］の初期値）［ｘ^ａ _０］、初期の誤差共分散行列（誤差共分散行列［Ｐ_ｋ］の初期値）［Ｐ_０］、処理ノイズ共分散行列［Ｑ_ｋ］、計測ノイズ共分散行列［Ｒ_ｋ］、コンセンサス係数ε、重み係数Ｗ^０、状態次元数（ｓｔａｔｅ ｄｉｍｅｎｓｉｏｎ）ｎである。初期状態［ｘ^ａ _０］は、例えば、［１０ ３０ ２０］^Ｔである。初期誤差共分散行列［Ｐ_０］は、例えば、ｄｉａｇ［４００ ４００ ４００］、である。ｄｉａｇ［…］は、…を対角要素として有する対角行列を示す。処理ノイズ共分散行列［Ｑ_ｋ］は、ｄｉａｇ［０．０００５ ０．００００５ ０．０００５］である。計測ノイズ共分散行列［Ｒ_ｋ］は、例えば、２０００００００００００．０である。なお、以下の説明では、コンセンサス係数εは、１以下の正の実数、例えば、０．０１である。コンセンサス係数εは、個々の音響処理装置１０で算出された予測値が、音響処理装置１０間で収束する速度を制御するための係数である。重み係数Ｗ^０は、シグマ点のうち、全シグマ点間の期待値に係るシグマ点（０次のシグマ点）に対する重み係数を示す。重み係数Ｗ^０は、−１よりも大きく、１よりも小さい実数、例えば、０．０００９である。その他のシグマ点（ｊ次のシグマ点、ｊは１から２ｎまでの整数）に対する重み係数Ｗ^ｊは、（１−Ｗ^０）／ｎと与えられる。状態次元数ｎは、シグマ点の数（２ｎ＋１個）を規定する係数である。状態次元数ｎは、例えば、３である。これらの値は、実行に係るシステム規模、演算精度、音響環境、等の諸条件に応じて変更してよい。

図８は、音源定位処理の例を示すフローチャートである。図８に示す例では、ＵＣＫＦを用いる場合を例にする。図８に示すステップＳ２０１〜Ｓ２１２のうち、ステップＳ２０２〜Ｓ２０６の処理が予測に係る処理である。ステップＳ２０７〜Ｓ２１２の処理が更新（修正）に係る処理である。ステップＳ２０９〜Ｓ２１２の処理は、ＫＣＦを用いる場合においても実行される処理である。ステップＳ２０２〜Ｓ２０８の処理は、ＵＫＦを用いる場合においても実行される処理である。

（ステップＳ２０１）音源定位部１１３は、収音部１０１から入力された音響信号の強度を算出し、その時点（時刻ｋ）において算出した強度を示す計測行列［ｚ_ｋ］を構成する。以下の説明では、収音部１０１からの音響信号から算出された強度を「強度の計測値」と呼んで、予測された強度である「強度の予測値」と区別する。その後、ステップＳ２０２に進む。
（ステップＳ２０２）音源定位部１１３は、時刻ｋ−１における状態の修正値［ｘ^ａ _ｋ−１］と誤差共分散行列の修正値［Ｐ_ｋ−１］に基づいてシグマ点を設定する。音源定位部１１３は、式（８）に示すように、時刻ｋ−１における修正値［ｘ^ａ _ｋ−１］を、第０次のシグマ点［ｘ^０ _ｋ−１］として定める。

音源定位部１１３は、式（９）に示すように、第１〜ｎ次のシグマ点［ｘ^ｊ _ｋ−１］を設定し、式（１０）に示すように第ｎ＋１〜２ｎ次のシグマ点［ｘ^ｊ＋ｎ _ｋ−１］を設定する。

式（９）、（１０）において、（…）_ｊは、行列…の第ｊ列の要素となるベクトルを示す。
その後、ステップＳ２０３に進む。

（ステップＳ２０３）音源定位部１１３は、式（１１）に示すように時刻ｋ−１における各シグマ点［ｘ^ｊ _ｋ―１］を時間発展させて時刻ｋにおけるシグマ点の予測値［ｘ^ｊ _ｋ］を算出する。但し、上述したように音源の静止を仮定している場合には、式（１０）に示す時刻ｋ−１における各シグマ点［ｘ^ｊ _ｋ―１］を、時刻ｋにおけるシグマ点の予測値［ｘ^ｊ _ｋ］と定める。その後、ステップＳ２０４に進む。

（ステップＳ２０４）音源定位部１１３は、式（１２）に示すように時刻ｋにおけるシグマ点の予測値［ｘ^ｆ，ｊ _ｋ］の重み付き平均で与えられるシグマ点間の期待値を状態の予測値［ｘ^ｆ _ｋ］として算出する。その後、ステップＳ２０５に進む。

（ステップＳ２０５）音源定位部１１３は、式（１３）に示すように時刻ｋにおけるシグマ点の予測値［ｘ^ｊ _ｋ］と、それらの重み付き平均である予測値［ｘ^ｆ _ｋ］との差分と、時刻ｋにおける処理ノイズ共分散行列［Ｑ_ｋ］とに基づいて、時刻ｋにおける誤差共分散行列の予測値［Ｐ^ｆ _ｋ］を算出する。

式（１３）の右辺第１項は、各シグマ点の予測値［ｘ^ｊ _ｋ］とそれらの期待値［ｘ^ｆ _ｋ］との差分を要素とするベクトルと、当該ベクトルの転置ベクトルとの積である行列に、重み係数Ｗ_ｊを乗じて得られた積の総和をとることを示す。即ち、式（１３）は、右辺第１項の総和により得られる行列に、時刻ｋ−１における処理ノイズ共分散行列［Ｑ_ｋ−１］を加算して時刻ｋにおける誤差共分散行列の予測値［Ｐ^ｆ _ｋ］を算出することを示す。即ち、誤差共分散行列の予測値［Ｐ^ｆ _ｋ］は、各シグマ点における状態の予測値［ｘ^ｊ _ｋ］とそれらの期待値［ｘ^ｆ _ｋ］との差の分布を表す行列である。その後、ステップＳ２０６に進む。

（ステップＳ２０６）音源定位部１１３は、式（１４）、（１５）を用いて、時刻ｋにおける各シグマ点［ｘ^ｊ _ｋ］に対する強度の重み付き平均値を示す計測行列の予測値［ｚ^ｆ _ｋ］を算出する。

式（１４）は、式（６）に示す非線形計測モデルを用いて、シグマ点［ｘ^ｊ _ｋ］について計測行列［ｚ^ｊ _ｋ］を算出することを示す。

式（１５）は、各シグマ点の計測行列［ｚ^ｊ _ｋ］に重み係数Ｗ^ｊを乗じて得られた積の総和をとることにより、シグマ点間の期待値として計測行列の予測値［ｚ^ｆ _ｋ］を算出することを示す。
音源定位部１１３は、式（１６）を用いて、時刻ｋにおける各シグマ点の計測行列［ｚ^ｊ _ｋ］から計測行列の予測値［ｚ^ｆ _ｋ］の差分と、時刻ｋにおける計測ノイズの共分散行列［Ｒ_ｋ］とに基づいて共分散行列Ｃｏｖ（［ｚ^ｆ _ｋ］）を算出する。共分散行列Ｃｏｖ（［ｚ^ｆ _ｋ］）は、時刻ｋにおける強度の共分散を示す共分散行列である。

式（１６）の右辺第１項は、各シグマ点について算出された計測行列［ｚ^ｊ _ｋ］から、それらの平均値である計測行列の予測値［ｚ^ｆ _ｋ］の差分を要素とする行列と、当該行列の転置行列との積である行列に、重み係数Ｗ^ｊを乗じて得られた積の総和をとることを示す。即ち、式（１６）は、右辺第１項に示す総和による行列に、さらに計測ノイズの共分散行列［Ｒ_ｋ］を加算して強度の共分散行列Ｃｏｖ（［ｚ^ｆ _ｋ］）を算出することを示す。その後、ステップＳ２０７に進む。

（ステップＳ２０７）音源定位部１１３は、式（１７）を用いて、時刻ｋにおける各シグマ点の予測値［ｘ^ｊ _ｋ］と、各シグマ点の計測行列［ｚ^ｊ _ｋ］との相互共分散（ｃｒｏｓｓ ｃｏｖａｒｉａｎｃｅ）行列Ｃｏｖ（［ｘ^ｆ _ｋ］，［ｚ^ｆ _ｋ］）を算出する。

式（１７）は、時刻ｋにおける各シグマ点の予測値［ｘ^ｊ _ｋ］からそれらの平均値である予測値［ｘ^ｆ _ｋ］の差分と、各シグマ点の計測行列［ｚ^ｊ _ｋ］からそれらの平均値である予測値［ｚ^ｆ _ｋ］の差分の転置行列との積について、シグマ点間で重み係数Ｗ^ｊを乗じて得られる行列の総和を相互共分散行列Ｃｏｖ（［ｘ^ｆ _ｋ］，［ｚ^ｆ _ｋ］）として算出することを示す。その後、ステップＳ２０８に進む。

（ステップＳ２０８）音源定位部１１３は、式（１８）に示すように、共分散行列Ｃｏｖ（［ｚ^ｆ _ｋ］）の逆行列Ｃｏｖ^−１（［ｚ^ｆ _ｋ］）に相互共分散行列Ｃｏｖ（［ｘ^ｆ _ｋ］，［ｚ^ｆ _ｋ］）を乗算してカルマンゲインＫ_ｋを算出する。その後、ステップＳ２０９に進む。

（ステップＳ２０９）音源定位部１１３は、式（１９）に示すように、コンセンサスゲイン［Ｃ_ｋ］を、共分散の予測値［Ｐ^ｆ _ｋ］を正規化した値に、コンセンサス係数εを乗算して算出する。正規化において、予測値［Ｐ^ｆ _ｋ］に、その大きさの指標であるフロベニウスノルム｜［Ｐ^ｆ _ｋ］｜_Ｆに１を加算した値を除算する。１を加算するのは、零除算を防止するためである。加算される値は、予測値［Ｐ^ｆ _ｋ］の大きさよりも十分に小さい正値であれば、必ずしも１でなくともよい。その後、ステップＳ２１０に進む。

（ステップＳ２１０）音源定位部１１３が算出した時刻ｋにおける状態の予測値［ｘ^ｆ，ｌ _ｋ］は、自装置の位置を基準とするローカル座標系で表されている。そこで、音源定位部１１３は、当該状態の予測値［ｘ^ｆ，ｌ _ｋ］を、音響処理システム１全体のグローバル座標系で表された状態の予測値に座標変換する。音源定位部１１３は、座標変換した状態の予測値を示す状態データを他の音響処理装置１０−ｍ（ｍは、１からＬまでの整数であって、自装置を示すｌ以外の数、以下、他装置）のそれぞれに、通信部１２１を介して送信する。
また、音源定位部１１３は、他装置のそれぞれから時刻ｋにおける状態の予測値を示す状態データを、通信部１２１を介して受信する。音源定位部１１３は、当該状態の予測値を、それぞれ自装置のローカル座標系で表された状態の予測値［ｘ^ｆ，ｍ _ｋ］に座標変換する。
なお、送受信される状態データは、各音響処理装置１０において予測された音源の位置を示す。ローカル座標系からグローバル座標系への座標変換において、音源定位部１１３は、ローカル座標系で表された状態の予測値［ｘ^ｆ，ｌ _ｋ］が示す音源の座標に、自己定位部１１２が算出した自装置の位置の座標を加算する。グローバル座標系からローカル座標系への座標変換において、音源定位部１１３は、グローバル座標系で表された状態の予測値が示す音源の座標に、自己定位部１１２が算出した自装置の位置の座標を減算する。その後、ステップＳ２１１に進む。

（ステップＳ２１１）音源定位部１１３は、式（２０）を用いて、自装置における状態の予測値［ｘ^ｆ，ｌ _ｋ］を、他装置における状態の予測値［ｘ^ｆ，ｍ _ｋ］と自装置における状態の予測値［ｘ^ｆ，ｌ _ｋ］との差分に基づいて修正する。

式（２０）の右辺第２項は、時刻ｋにおけるカルマンゲイン［Ｋ_ｋ］に自装置における強度の計測値を示す計測行列［ｚ_ｋ］と計測行列の予測値［ｚ^ｆ _ｋ］の差分を乗じて、強度の予測誤差に基づく修正量を算出することを示す。式（２０）の右辺第３項は、コンセンサスゲイン［Ｃ_ｋ］に、他装置における状態の予測値［ｘ^ｆ，ｍ _ｋ］と自装置における状態の予測値［ｘ^ｆ，ｌ _ｋ］の差分の総和を乗じて、装置間における位置の予測値の差に基づく修正量を算出することを示す。つまり、式（２０）は、自装置における状態の予測値［ｘ^ｆ，ｌ _ｋ］に強度の予測誤差に基づく修正量と、装置間における位置の予測値の差に基づく修正量とを加算して、時刻ｋにおける状態の修正値［ｘ^ａ，ｌ _ｋ］を算出することを示す。その後、ステップＳ２１２に進む。

（ステップＳ２１２）音源定位部１１３は、式（２１）に示すように、時刻ｋにおける状態の共分散行列の予測値［Ｐ^ｆ _ｋ］を、カルマンゲイン［Ｋ_ｋ］と強度の共分散行列Ｃｏｖ（［ｚ^ｆ _ｋ］）に基づいて修正する。

式（２１）は、状態の共分散行列の予測値［Ｐ^ｆ _ｋ］を、カルマンゲイン［Ｋ_ｋ］の転置行列［Ｋ_ｋ］^Ｔに強度の共分散行列Ｃｏｖ（［ｚ^ｆ _ｋ］）とカルマンゲイン［Ｋ_ｋ］を乗じて得られる行列を減算して、状態の共分散行列の修正値［Ｐ_ｋ］を算出することを示す。
その後、時刻ｋを時刻ｋ＋１に更新し、ステップＳ２０１に戻る。

なお、自己定位部１１２は、自己定位において自装置を基準とする基準音源４１−１〜４１−Ｍの位置を推定する際に用いる手法として、ＥＫＦに代えて上述したＵＫＦ、ＫＣＦ、ＵＣＫＦのいずれを用いてもよい。

以上に説明したように、音源定位部１１３は、例えば、種々のカルマンフィルタを用いることで、対象音源の位置の予測値に基づいて音響信号の強度の予測値を算出する。音源定位部１１３は、算出した強度の予測値と収音部１０１が収録した音響信号の強度の計測値との差の大きさを減少させるように検出対象の対象音源の位置を更新する。
この処理により、個々の音響処理装置１０で取得された音響信号に基づいて音源定位を行うことができる。個々の音響処理装置１０が音源定位部１１３をそれぞれ備えることで（自己位置推定）、音響処理装置１０間で音響信号を送受信する必要がなくなるので、音響処理装置１０間における伝送容量を有効に活用することができる。また、マイクロホンアレー処理のように、複数の音響処理装置１０間で音響信号を連立して処理する必要がなくなるので、処理量を減少させることができる。

また、音源定位部１１３は、式（２０）に示すように、さらに対象音源の位置の予測値と他の音響処理装置１０において収録された音響信号に基づく対象音源の位置の予測値との差の大きさを減少させるように、対象音源の位置の予測値を更新する。
この処理により、音響処理装置毎の音響環境（例えば、騒音レベル、対象音源からの距離、等）、処理特性（収音部１０１、通信部１２１の個体差、等）の差異によって異なる誤差を含んだ音源の位置の予測値が相互に収束し、これらの誤差が相殺される。そのため、音源定位の精度が向上させることができる。なお、音源定位部１１３が音源定位においてＵＫＦ又はＵＣＫＦを用いる場合には、予測値の分布がシグマ点によりサンプリングされ、個々のシグマ点毎に強度の予測値の算出、対象音源の予測値の算出を行う。そのため、音源定位部１１３は、式（１４）、（１５）に示すように対象音源の位置の予測値に基づいて当該音源による音響信号の強度の予測値を推定するという非線形の事象にも適用することができる。また、音源定位部１１３は、予測値の更新において、これらの予測値の分布を示す共分散行列を算出するので、高次元の行列演算を要しない。そのため、従来のカルマンフィルタよりも演算量を低減することができる。

また、音源定位部１１３は、式（２０）に示すように、対象音源の位置の更新において、他の音響処理装置１０において収録された音響信号に基づく対象音源の位置の予測値から、自装置において収録された音響信号に基づく対象音源の位置の予測値の差の総和を算出する。音源定位部１１３は、式（１９）と式（２０）の右辺第３項に示すように算出した差と対象音源の位置の予測値の分布を表す誤差共分散行列を正規化した行列との積に、１以下の正のコンセンサス係数εを乗じて更新量を算出する。そして、音源定位部１１３は、式（２０）に示すように算出した更新量を用いて対象音源の位置の予測値を更新する。
この処理により、対象音源の位置に係る予測値の更新量を、個々の音響処理装置で予測された対象音源の位置の予測値の差の総和を、予測値の分布に応じて正規化した値よりも小さくすることができる。そのため、音源定位において対象音源の予測値の発散を防止することができる。

なお、上述した音響処理装置１０において、移動体がクアドロコプタである場合を例にしたが、これには限られない。移動体は、飛行体に限らず、地面に沿って移動する物体、例えば、ロボット、車両、等であってもよい。ロボットは、例えば、２本の脚部を備え、脚部を動かしながら移動可能な二足歩行ロボットである。また、ロボットは、車輪と車軸を備え、車軸の周りで車輪を回転させながら移動可能なロボットであってもよい。
また、移動体は、クアドロコプタ以外の飛行体、例えば、ヘリコプタ、グライダ、気球、飛行船等、いかなる形態の飛行体であってもよい。

また、上述した実施形態では、音響処理装置１０が音源定位部１１３を備える場合を例にしたが、これには限られない。音響処理装置１０において音源定位部１１３が省略されていてもよい。音源定位部１１３が省略されている場合には、その音響処理装置１０は、主装置になることはないため、使用判定部１１１は、自装置が主装置であるか否かを判定する処理を省略してもよい。
また、音響処理装置１０が音源定位部１１３を備える代わりに、情報処理装置２０が音源定位部１１３を備えてもよい。その場合には、各音響処理装置１０が、自装置の位置情報と音響信号を情報処理装置２０に送信してもよいし、１台の音響処理装置１０が主装置として各音響処理装置１０の位置情報と音響信号を集約し、集約した位置情報と音響信号を情報処理装置２０に送信してもよい。

また、情報処理装置２０が音源定位部１１３を備える場合であっても、音源定位部１１３は、ＥＫＦ、ＵＫＦ、ＵＫＣＦ等のように、推定した位置に基づいて音響信号の強度を予測し、予測した強度と計測した強度との差の大きさを減少させる手法も用いてもよい。その場合には、音源定位部１１３は、各音響処理装置１０から受信した音響信号に基づいてそれぞれの音響処理装置１０を基準とした音源位置を算出する。音源定位部１１３は、それぞれの音響処理装置１０から受信した位置情報を用いて、ローカル座標系からグローバル座標系への座標変換、又はグローバル座標系からローカル座標系への座標変換を行う。

なお、上述した音響処理装置１０の一部、例えば、使用判定部１１１、自己定位部１１２、及び音源定位部１１３をコンピュータで実現するようにしてもよい。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、音響処理装置１０に内蔵されたコンピュータシステムであって、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の制御機器の他、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
また、上述した実施形態における使用判定部１１１、自己定位部１１２、及び音源定位部１１３の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現してもよい。使用判定部１１１、自己定位部１１２、及び音源定位部１１３の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。

１…音響処理システム、１０（１０−１〜１０−Ｎ）…音響処理装置、１０１…収音部、１０２…動作検出部、１１１…使用判定部、１１２…自己定位部、１１３…音源定位部、１２１…通信部、２０…情報処理装置、４１（４１−１〜４１−Ｍ）…基準音源

Claims (11)

1. 音響信号を収録する収音部と、
   自装置の動作を検出する動作検出部と、
   前記音響信号と前記動作に基づいて自装置の位置を推定する自己定位部と、
   予め定めた基準音源から到来した基準信号の強度に基づいて前記音響信号を検出対象の対象音源の位置を検出する音源定位部において使用するか否かを判定する使用判定部と、
   を備える音響処理装置。
2. 前記音源定位部をさらに備え、
   前記音源定位部は、前記自己定位部が推定した前記自装置である主装置の位置を示す主装置位置情報、他の音響処理装置である従装置から前記従装置の位置を示す従装置位置情報、前記収音部が収録した音響信号である主装置音響信号および前記従装置から当該従装置において収録された音響信号である従装置音響信号を取得し、
   前記主装置音響信号ならびに前記従装置音響信号と、前記主装置位置情報ならびに前記従装置位置情報に基づいて前記対象音源の位置を検出する請求項１に記載の音響処理装置。
3. 前記使用判定部は、前記主装置音響信号と前記主装置位置情報を音源定位に使用すると判定した時期に基づいて、自装置が主装置であることを示す主装置通知情報を他の音響処理装置に無線で送信し、前記他の音響処理装置から前記従装置音響信号と前記従装置位置情報を無線で受信する請求項２に記載の音響処理装置。
4. 前記使用判定部が他の音響処理装置から自装置が主装置であることを示す主装置通知情報を受信した場合、前記従装置音響信号と前記従装置位置情報を前記他の音響処理装置に無線で送信する請求項２に記載の音響処理装置。
5. 前記音源定位部は、前記対象音源の位置の予測値に基づいて推定された前記主装置音響信号の強度の予測値と前記主装置音響信号の強度の計測値との差の大きさを減少させるように前記対象音源の位置を更新する請求項２または請求項３に記載の音響処理装置。
6. 前記音源定位部は、前記対象音源の位置の予測値と前記従装置音響信号に基づく前記対象音源の位置の予測値との差の大きさを減少させるように前記対象音源の位置を更新する請求項５に記載の音響処理装置。
7. 前記音源定位部は、前記対象音源の位置の更新において、前記差の総和と前記位置の予測値の分布を表す共分散行列を正規化した行列との積に、１以下の正の係数を乗じて更新量を算出し、前記更新量を用いて前記位置の予測値を更新する請求項６に記載の音響処理装置。
8. 移動可能な移動体に備えられた請求項１から請求項７のいずれかに記載の音響処理装置。
9. 前記移動体は、飛行体である請求項８に記載の音響処理装置。
10. 前記移動体は、ロボットである請求項８に記載の音響処理装置。
11. 音響処理装置における音響処理方法であって、
    収音部が収録した音響信号と動作検出部が検出した前記音響処理装置の動作に基づいて自装置の位置を推定する自己定位過程と、
    予め定めた基準音源から到来した基準信号の強度に基づいて前記音響信号を検出対象の対象音源の位置を検出する音源定位部において使用するか否かを判定する使用判定過程と、を有する音響処理方法。

Images