JP6289936B2

JP6289936B2 - 音源方向推定装置、音源方向推定方法およびプログラム

Info

Publication number: JP6289936B2
Application number: JP2014036032A
Authority: JP
Inventors: 寧丁; 祐介木田
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2014-02-26
Filing date: 2014-02-26
Publication date: 2018-03-07
Anticipated expiration: 2034-02-26
Also published as: US20150245152A1; JP2015161551A; CN104865550A; US9473849B2

Description

本発明の実施の形態は、音源方向推定装置、音源方向推定方法およびプログラムに関する。

音源とマイクとの距離に依存せずに音源の方向を精度よく推定する技術として、複数チャンネルの音響信号から生成される位相差分布を用いる技術がある。位相差分布は、複数チャンネルの音響信号の周波数ごとの位相差を表す分布であり、複数チャンネルの音響信号を収音するマイク間の距離に応じて、音源の方向に依存した特定のパターンを持つ。このパターンは、複数チャンネルの音響信号の音圧レベル差が小さくても変わらないため、音源がマイクから離れた位置にあり、複数チャンネルの音響信号の音圧レベル差が小さい場合であっても、位相差分布を用いることで音源の方向を精度よく推定できる。

しかし、位相差分布を用いて音源の方向を推定する従来の技術では、位相差分布から方向を求める処理に要する計算量が多く、計算能力の低い機器では音源の方向をリアルタイムに推定できない。このため、位相差分布を用いた音源方向の推定を少ない計算量で行うことが求められている。

特開２００３−３３７１６４号公報特開２００６−２６７４４４号公報特開２００８−０７９２５５号公報

本発明が解決しようとする課題は、位相差分布を用いた音源方向の推定を少ない計算量で行うことができる音源方向推定装置、音源方向推定方法およびプログラムを提供することである。

実施形態の音源方向推定装置は、取得部と、生成部と、スコア計算部と、推定部と、を備える。取得部は、複数のマイクから複数チャンネルの音響信号を取得する。生成部は、前記複数チャンネルの音響信号の位相差を予め定めた周波数ビンごとに計算して、前記音響信号に対応する位相差分布を生成する。スコア計算部は、量子化された前記音響信号に対応する位相差分布を、所定の角度分解能に応じて定められた複数の方向ごとに予め生成された複数のテンプレートであって、各テンプレートが該テンプレートに対応する方向の位相差分布を前記量子化部と同じ方法で量子化することで生成された前記複数のテンプレートの各々と比較して、量子化された前記音響信号に対応する位相差分布と前記テンプレートとの相似性に応じたスコアを、前記複数の方向ごとに計算する。推定部は、前記複数の方向のうち前記スコアが大きい方向を、前記音響信号の音源の方向として推定する。

第１実施形態の音源方向推定装置の機能的な構成例を示すブロック図。位相差分布の一例を示す図。量子化された位相差分布の一例を示す図。テンプレートに用いる方向ごとの位相差分布の一例を示す図。方向ごとの位相差分布を量子化することで生成されたテンプレートの一例を示す図。方向ごとに算出されたスコアの一例を示す図。第１実施形態の音源方向推定装置による処理手順の一例を示すフローチャート。第２実施形態の音源方向推定装置の機能的な構成例を示すブロック図。第２実施形態の音源方向推定装置による処理手順の一例を示すフローチャート。第３実施形態の音源方向推定装置の機能的な構成例を示すブロック図。第３実施形態の音源方向推定装置による処理手順の一例を示すフローチャート。第４実施形態の音源方向推定装置の機能的な構成例を示すブロック図。スコア波形の一例を示す図。第４実施形態の音源方向推定装置による処理手順の一例を示すフローチャート。第５実施形態の音源方向推定装置の機能的な構成例を示すブロック図。スコア波形の一例を示す図。第５実施形態の音源方向推定装置による処理手順の一例を示すフローチャート。音源の方向を区別できない例を説明する図。変形例におけるマイクの配置の一例を示す図。スコアから変換された全方位スコアの一例を示す図。スコアから変換された全方位スコアの一例を示す図。スコアから変換された全方位スコアの一例を示す図。全方位スコアを統合した統合スコアの一例を示す図。

［第１実施形態］
図１は、第１実施形態の音源方向推定装置の機能的な構成例を示すブロック図である。本実施形態の音源方向推定装置は、図１に示すように、取得部１１と、生成部１２と、比較部１３と、記憶部１４と、推定部１５と、出力部１６と、を備える。

取得部１１は、マイクアレイを構成する複数のマイクから複数チャンネルの音響信号を取得する。本実施形態では、図１に示すように、２つのマイクＭ１，Ｍ２から２つのチャンネルの音響信号を取得するものとする。マイクアレイを構成する２つのマイクＭ１，Ｍ２は相対的な位置関係が固定であり、マイク間距離が変動することはない。音響信号は、例えば音源が人間（話者）である場合、話者の発話などの音声信号である。

生成部１２は、取得部１１により取得された複数チャンネルの音響信号の位相差を予め定めた周波数ビンごとに計算して位相差分布を生成する。

具体的には、生成部１２は、取得部１１により取得された２つのチャンネルの音響信号のそれぞれを、例えば高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）により時間領域の信号から周波数領域の信号に変換する。そして、生成部１２は、２つのチャンネルの信号周波数ごとの位相差φ（ω）を下記式（１）により計算して、位相差分布を生成する。

なお、ωは周波数であり、Ｘ_１（ω）は２つのチャンネルのうち一方の周波数帯域の信号、Ｘ_２（ω）は２つのチャンネルのうち他方の周波数帯域の信号である。計算した位相差の周期は２πであり、本実施形態では位相差の範囲を−πからπの間の範囲としている。なお、位相差の範囲としては、例えば０から２πの間の範囲などの他の範囲を設定してもよい。

位相差分布の一例を図２示す。本実施形態では、１ｋＨｚから８ｋＨｚまでの１ｋＨｚごとに周波数ビンが定められているものとする。生成部１２は、これら予め定められた周波数ビンごとに２つのチャンネルの音響信号の位相差を計算して、例えば図２に示すような位相差分布を生成する。

比較部１３は、生成部１２が生成した位相差分布を、予め方向ごとに生成されたテンプレートと比較して、両者の相似性に応じたスコアを方向ごとに計算する。相似性の計算は、例えば両者の距離を利用すればよい。本実施形態では、比較部１３は、量子化された位相差分布を画像として扱い、テンプレートとの重なり度合いに応じたスコアを計算する。このため、比較部１３は、量子化部１３１とスコア計算部１３２とを含む構成とされる。

量子化部１３１は、生成部１２が生成した位相差分布を量子化する。量子化された位相差分布ｑ（ω，ｎ）は、下記式（２）で表される。

なお、αは量子化係数であり、ｎは量子化された周波数ビンごとの位相差の値を示すインデックスである。量子化係数αは、必要な解像度に応じて設定すればよく、本実施形態では量子化係数αをπ／５に設定した。この場合、インデックスｎは、π/５単位に量子化された位相差の値を示す。

量子化された位相差分布の一例を図３に示す。量子化部１３１は、生成部１２が生成した位相差分布を量子化して、例えば図３に示すような量子化された位相差分布を生成する。

スコア計算部１３２は、量子化された位相差分布を、予め方向ごとに生成されたテンプレートと比較し、両者が重なる周波数ビンの数、つまり、位相差分布とテンプレートとで量子化された位相差が一致する周波数ビンの数を、そのテンプレートに対応する方向に対するスコアとして計算する。

ここで、方向ごとのスコア計算に用いるテンプレートについて説明する。テンプレートは、既知のマイク間距離を用いて予め計算された方向ごとの位相差分布を、量子化部１３１と同じ方法（例えば量子化係数が共通）で予め量子化することにより生成される。テンプレートに用いる方向ごとの位相差分布Φ（ω，θ）は、下記式（３）の計算式によって求められる。

なお、ｄはマイクアレイを構成する２つのマイクＭ１，Ｍ２のマイク間距離、ｃは音速、θは２つのマイクＭ１，Ｍ２の位置を結ぶ直線に対して、位相差分布を計算する方向がなす角度（deg.）である。以下、この角度を方向角度という。テンプレートを予め生成しておく方向角度は、方向推定の対象となる角度範囲内で、必要な角度分解能に応じて定めればよい。

テンプレートに用いる方向ごとの位相差分布の一例を図４に示す。本実施形態では、方向角度が−９０度から９０度の角度範囲内で１度ごとにテンプレートを予め生成しておくものとする。図４に示す例は、マイク間距離ｄが０．２ｍの場合に、−９０度から９０度の角度範囲内で１度ごとに計算された位相差分布を示すものであるが、便宜上、方向角度θが−６０度、３０度、９０度のみの位相差分布、すなわち、これらの方向角度θにおける周波数ビンごとの位相差の値（−πからπの間の値）を示している。

以上のように計算された方向ごとの位相差分布は、量子化部１３１と同じ方法で量子化され、方向ごとのテンプレートとして、音源方向推定装置の内部または外部に設けられた記憶部１４に格納される。方向ごとの位相差分布を量子化することで生成されるテンプレートＱ（ω，θ，ｎ）は、下記式（４）で表される。

なお、量子化係数αは、量子化部１３１で設定される量子化係数αと同じ値が設定され、本実施形態ではπ／５に設定される。

図４に示した方向ごとの位相差分布を量子化することで生成されたテンプレートの一例を図５に示す。図５（ａ）は、方向角度θが−６０度の方向に対応するテンプレートの一例を示し、図５（ｂ）は、方向角度θが３０度の方向に対応するテンプレートの一例を示し、図５（ｃ）は、方向角度θが９０度の方向に対応するテンプレートの一例を示している。

なお、本実施形態では、図５に例示するように、方向ごとの位相差分布を量子化したものをテンプレートとして記憶部１４に格納しているが、これに限らない。例えば、図４に例示したように、方向ごとの位相差分布をテンプレートとして記憶部１４に格納しておき、生成部１２が生成した位相差分布を量子化部１３１により量子化することと併せて、記憶部１４にテンプレートとして格納した方向ごとの位相差分布を、それぞれ量子化部１３１により量子化する構成としてもよい。

スコア計算部１３２は、記憶部１４が記憶する方向ごとのテンプレートを１つずつ順次読み出して、量子化部１３１により量子化された位相差分布を、記憶部１４から読み出したテンプレートと比較する処理を繰り返すことにより、方向ごとのスコアを計算する。具体的には、スコア計算部１３２は、量子化部１３１により量子化された位相差分布と比較対象となるテンプレートとで位相差が一致する周波数ビンの数を、そのテンプレートに対応する方向（方向角度θ）のスコアとして計算する。方向ごとのスコアν（θ）は、下記式（５）の計算式によって求められる。

本実施形態では、方向ごとのスコアν（θ）は、量子化された位相差分布がテンプレートと一致する周波数ビンに平等の部分スコアを与え、この部分スコアを積み立てることで求められる。図３に示した量子化された位相差分布を図５に示したテンプレートと比較することで求められる方向ごとのスコアの一例を図６に示す。図６では、方向ごとのスコアを方向角度順に並べて補間した波形（以下、スコア波形という。）として表しており、方向角度が−６０度の方向のスコアは１（ν（−６０）＝１）であり、方向角度が３０度の方向のスコアは５（ν（３０）＝５）であり、方向角度が３０度の方向のスコアは１（ν（９０）＝１）である。

推定部１５は、生成部１２が生成した位相差分布とテンプレートとの相似性が高い方向、つまりスコア計算部１３２によって計算されたスコアが高い方向を、音源の方向として推定する。推定部１５が推定する音源の方向は、下記式（６）で表される。

出力部１６は、推定部１５が推定した音源の方向を外部に出力する。

図７は、第１実施形態の音源方向推定装置による処理手順の一例を示すフローチャートである。以下、この図７のフローチャートに沿って、第１実施形態の音源方向推定装置の動作概要を説明する。

図７に示す処理が開始されると、取得部１１が、２つのマイクＭ１，Ｍ２から２つのチャンネルの音響信号を取得する（ステップＳ１０１）。

次に、生成部１２が、ステップＳ１０１で取得された２つのチャンネルの音響信号の位相差を周波数ビンごとに計算して、位相差分布を生成する（ステップＳ１０２）。

次に、量子化部１３１が、ステップＳ１０２で生成された位相差分布を量子化し、量子化された位相差分布を生成する（ステップＳ１０３）。

次に、スコア計算部１３２が、比較対象とするテンプレートを記憶部１４から１つ読み出す（ステップＳ１０４）。そして、スコア計算部１３２は、ステップＳ１０３で生成された量子化された位相差分布を、ステップＳ１０４で記憶部１４から読み出したテンプレートと比較して、量子化された位相差が一致する周波数ビンの数を、当該テンプレートに対応する方向に対するスコアとして計算する（ステップＳ１０５）。

その後、スコア計算部１３２は、記憶部１４に記憶されたすべてのテンプレートを比較対象としてステップＳ１０５の処理を行ったか否かを判定し（ステップＳ１０６）、比較対象とされていないテンプレートがあれば（ステップＳ１０６：Ｎｏ）、ステップＳ１０４に戻って処理を繰り返す。

一方、記憶部１４に記憶されたすべてのテンプレートを比較対象としてステップＳ１０５の処理を行っていれば（ステップＳ１０６：Ｙｅｓ）、推定部１５が、ステップＳ１０５で計算されたスコアのうち、最も高いスコアが得られた方向を音源の方向として推定する（ステップＳ１０７）。そして、出力部１６が、ステップＳ１０７で推定された音源の方向を、音源方向推定装置の外部に出力し（ステップＳ１０８）、一連の処理を終了する。

以上、具体的な例を挙げながら説明したように、本実施形態の音源方向推定装置は、複数のマイクＭ１，Ｍ２から取得された複数チャンネルの音響信号の位相差分布を、予め方向ごとに生成されたテンプレートと比較し、両者の相似性に応じたスコアを方向ごとに計算して、スコアに基づいて音源の方向を推定する。したがって、本実施形態の音源方向推定装置によれば、位相差分布を用いた音源方向の推定を少ない計算量で行うことができ、計算に用いるハードウェア資源が低スペックであっても、精度のよい音源方向の推定をリアルタイムに行うことができる。

特に、本実施形態の音源方向推定装置は、複数チャンネルの音響信号の位相差分布を量子化して方向ごとのテンプレートと比較し、量子化された位相差が一致する周波数ビンの数を、比較対象のテンプレートに対応する方向のスコアとして計算する。このため、スコア計算に要する計算量はきわめて少ない。

［第２実施形態］
次に、第２実施形態について説明する。上述した第１実施形態では、量子化された位相差分布がテンプレートと一致する周波数ビンに平等の部分スコアを与えて、この部分スコアを積み立てることで、方向ごとのスコアを計算している。しかし、マイクＭ１，Ｍ２の性能や雑音、残響などの影響で、位相差分布に外れ値が発生することがあり、この外れ値が、音源方向の推定に悪影響を与える虞がある。そこで、本実施形態では、周波数ビンごとに加算スコアを設定し、量子化された位相差分布がテンプレートと一致する周波数ビンの各々に設定された加算スコアの和を、比較対象のテンプレートに対応する方向のスコアとして計算する構成とし、外れ値の影響を抑制する。

以下、第１実施形態と共通の構成要素については図中同一の符号を付して重複した説明を適宜省略しながら、本実施形態に特徴的な部分を説明する。

図８は、第２実施形態の音源方向推定装置の機能的な構成例を示すブロック図である。本実施形態の音源方向推定装置は、図８に示すように、第１実施形態の比較部１３に代えて、比較部２１を備える。その他の構成は第１実施形態と同様である。比較部２１は、第１実施形態と同様の量子化部１３１と、設定部２１１と、スコア計算部２１２とを含む。

設定部２１１は、取得部１１が取得した２つのチャンネルの音響信号に基づいて、生成部１２が位相差を計算した周波数ビンごとに、加算スコアを設定する。加算スコアは、その周波数ビンの位相差が外れ値である可能性が低いほど高い値となるように設定する。

具体的には、例えば、各周波数ビンにおける音響信号の対数パワーの大きさに応じた値、例えば対数パワーの値そのもの、あるいは対数パワーの値に比例した値を、各周波数ビンの加算スコアとして設定することができる。また、各周波数ビンにおける音響信号の信号雑音比（Ｓ／Ｎ比）の大きさに応じた値、例えばＳ/Ｎ比の値そのもの、あるいはＳ/Ｎ比に比例した値を、各周波数ビンの加算スコアとして設定するようにしてもよい。

スコア計算部２１２は、第１実施形態のスコア計算部１３２と同様に、記憶部１４が記憶する方向ごとのテンプレートを１つずつ順次読み出して、量子化部１３１により量子化された位相差分布を、記憶部１４から読み出したテンプレートと比較する処理を繰り返すことにより、方向ごとのスコアを計算する。ただし、本実施形態のスコア計算部２１２は、量子化部１３１により量子化された位相差分布と比較対象となるテンプレートとで位相差が一致する周波数ビンの各々に対して設定部２１１により設定された加算スコアの和を、そのテンプレートに対応する方向のスコアとして計算する。

図９は、第２実施形態の音源方向推定装置による処理手順の一例を示すフローチャートである。以下、この図９のフローチャートに沿って、第２実施形態の音源方向推定装置の動作概要を説明する。

図９のステップＳ２０１からステップＳ２０３までの処理は、図７に示したステップＳ１０１からステップＳ１０３までの処理と同様であるため説明を省略する。

本実施形態では、ステップＳ２０３で量子化された位相差分布が生成されると、次に、設定部２１１が、ステップＳ２０１で取得された音響信号に基づいて、周波数ビンごとの加算スコアを設定する（ステップＳ２０４）。なお、このステップＳ２０４の処理は、ステップＳ２０２やステップＳ２０３の処理よりも前に行ってもよいし、これらの処理と並列で行ってもよい。

次に、スコア計算部２１２が、比較対象とするテンプレートを記憶部１４から１つ読み出す（ステップＳ２０５）。そして、スコア計算部２１２は、ステップＳ２０３で生成された量子化された位相差分布を、ステップＳ２０５で記憶部１４から読み出したテンプレートと比較して、量子化された位相差が一致する周波数ビンの各々に対してステップＳ２０４で設定された加算スコアの和を、当該テンプレートに対応する方向に対するスコアとして計算する（ステップＳ２０６）。

図９のステップＳ２０７からステップＳ２０９までの処理は、図７に示したステップＳ１０６からステップＳ１０８までの処理と同様であるため説明を省略する。

以上説明したように、本実施形態の音源方向推定装置は、マイクＭ１，Ｍ２から取得した音響信号に基づいて周波数ビンごとに加算スコアを設定し、量子化された位相差分布がテンプレートと一致する周波数ビンの各々に設定された加算スコアの和を、比較対象のテンプレートに対応する方向のスコアとして計算する。したがって、本実施形態の音源方向推定装置によれば、位相差分布の外れ値の影響を有効に抑制して、音源方向の推定を第１実施形態よりもさらに精度よく行うことができる。

［第３実施形態］
次に、第３実施形態について説明する。上述した第１実施形態では、記憶部１４に記憶された方向ごとのテンプレートのすべてを、量子化された位相差分布の比較対象として順次読み出して処理を行う。しかし、予めテンプレートを作成した方向の角度分解能に対し、ユーザが要求する角度分解能が低い場合は、すべてのテンプレートを比較対象として処理を行う必要はない。そこで、本実施形態では、ユーザによる角度分解能の指定を受け付けて、指定された角度分解能に応じた数のテンプレートを選択して処理を行う構成とし、計算量のさらなる低減を図る。

以下、第１実施形態と共通の構成要素については図中同一の符号を付して重複した説明を適宜省略しながら、本実施形態に特徴的な部分を説明する。なお、以下では第１実施形態と同様の方法でスコア計算を行う例を説明するが、第２実施形態と同様の方法でスコア計算を行うようにしてもよい。

図１０は、第３実施形態の音源方向推定装置の機能的な構成例を示すブロック図である。本実施形態の音源方向推定装置は、図１０に示すように、第１実施形態の構成に加えて、分解能指定受付部３１を備える。さらに、本実施形態の音源方向推定装置は、第１実施形態の比較部１３に代えて、比較部３２を備える。その他の構成は第１実施形態と同様である。比較部３２は、第１実施形態と同様の量子化部１３１と、スコア計算部３２１とを含む。

分解能指定受付部３１は、ユーザによる角度分解能の指定を受け付ける。この角度分解能は、音源の方向をどの程度のきめ細かさで推定するかを表し、数値により指定されるものであってもよいし、例えば５度，１０度，１５度，・・・といったように、予め定めた角度分解能の中から選択されてもよい。

スコア計算部３２１は、記憶部１４が記憶する方向ごとのテンプレートのうち、ユーザにより指定された角度分解能に応じた数のテンプレートを、量子化部１３１により量子化された位相差分布の比較対象として選択する。例えば、方向角度が１度ごとのテンプレートが記憶部１４に記憶されている場合に、ユーザにより指定された角度分解能が１０度であれば、スコア計算部３２１は、記憶部１４が記憶するテンプレートの中から方向角度が１０度ごとのテンプレート、つまり１／１０の数のテンプレートを比較対象として選択する。

そして、スコア計算部３２１は、比較対象として選択したテンプレートを１つずつ記憶部１４から順次読み出して、量子化部１３１により量子化された位相差分布を、記憶部１４から読み出したテンプレートと比較する処理を繰り返すことにより、ユーザにより指定された角度分解能に対応する方向ごとのスコアを計算する。なお、スコア計算の方法は、第１実施形態のスコア計算部１３２と同様である。

図１１は、第３実施形態の音源方向推定装置による処理手順の一例を示すフローチャートである。以下、この図１１のフローチャートに沿って、第３実施形態の音源方向推定装置の動作概要を説明する。

図１１のステップＳ３０１からステップＳ３０３までの処理は、図７に示したステップＳ１０１からステップＳ１０３までの処理と同様であるため説明を省略する。

本実施形態では、ステップＳ３０３で量子化された位相差分布が生成されると、次に、分解能指定受付部３１が、ユーザによる角度分解能の指定を受け付ける（ステップＳ３０４）。なお、このステップＳ３０４の処理は、ステップＳ３０１からステップＳ３０３のいずれかの処理よりも前に行ってもよいし、これらの処理と並列で行ってもよい。

次に、スコア計算部３２１が、記憶部１４が記憶する方向ごとのテンプレートのうち、ステップＳ３０４で指定された角度分解能に応じて、比較対象とするテンプレートを選択する（ステップＳ３０５）。そして、スコア計算部３２１は、ステップＳ３０５で選択したテンプレートを記憶部１４から１つ読み出し（ステップＳ３０６）、ステップＳ３０３で生成された量子化された位相差分布を、ステップＳ３０６で記憶部１４から読み出したテンプレートと比較して、量子化された位相差が一致する周波数ビンの数を、当該テンプレートに対応する方向に対するスコアとして計算する（ステップＳ３０７）。

その後、スコア計算部３２１は、ステップＳ３０５で選択したすべてのテンプレートを比較対象としてステップＳ３０７の処理を行ったか否かを判定し（ステップＳ３０８）、比較対象とされていないテンプレートがあれば（ステップＳ３０８：Ｎｏ）、ステップＳ３０６に戻って処理を繰り返す。

一方、ステップＳ３０５で選択したすべてのテンプレートを比較対象としてステップＳ３０７の処理を行っていれば（ステップＳ３０８：Ｙｅｓ）、推定部１５が、ステップＳ３０７で計算されたスコアのうち、最も高いスコアが得られた方向を音源の方向として推定する（ステップＳ３０９）。そして、出力部１６が、ステップＳ３０９で推定された音源の方向を、音源方向推定装置の外部に出力し（ステップＳ３１０）、一連の処理を終了する。

以上説明したように、本実施形態の音源方向推定装置は、ユーザにより指定された角度分解能に応じて比較対象とするテンプレートを選択し、量子化された位相差分布を選択したテンプレートの各々と比較して、指定された角度分解能に対応する方向ごとのスコアを計算する。したがって、本実施形態の音源方向推定装置によれば、音源方向の推定に要する計算量を第１実施形態よりもさらに低減させることができる。

［第４実施形態］
次に、第４実施形態について説明する。上述した第１実施形態では、推定部１５が音源の方向を推定する際に、音源の数が１つであると仮定して、比較部１３での処理により最も高いスコアが得られた方向を音源の方向と推定している。しかし、実際には複数の音源から同時に音が発せられる場合もある。そこで、第４実施形態では、ユーザによる音源数の指定を受け付けて、指定された数の音源の方向を推定する構成とする。

以下、第１実施形態と共通の構成要素については図中同一の符号を付して重複した説明を適宜省略しながら、本実施形態に特徴的な部分を説明する。なお、以下では第１実施形態と同様の方法でスコア計算を行う例を説明するが、第２実施形態や第３実施形態と同様の方法でスコア計算を行うようにしてもよい。

図１２は、第４実施形態の音源方向推定装置の機能的な構成例を示すブロック図である。本実施形態の音源方向推定装置は、図１２に示すように、第１実施形態の構成に加えて、音源数指定受付部４１を備える。さらに、本実施形態の音源方向推定装置は、第１実施形態の推定部１５に代えて、推定部４２を備える。その他の構成は第１実施形態と同様である。

音源数指定受付部４１は、ユーザによる音源数の指定を受け付ける。この音源数指定受付部４１が受け付けた、ユーザが指定する音源数は、推定部４２に渡される。

推定部４２は、比較部１３のスコア計算部１３２によって計算された方向ごとのスコアを方向角度順に並べて補間したスコア波形を生成して、このスコア波形の極大値を検出する。そして、推定部４２は、スコア波形から検出した極大値のうち、ユーザによって指定された音源数と同じ数の極大値をスコアが大きい順に選択し、選択した極大値に対応する方向をそれぞれ音源の方向として推定する。

図１３は、推定部４２が生成したスコア波形の一例を示す図である。図１３に例示するスコア波形では、方向角度が−６０度、−３０度、６０度の位置にそれぞれ極大値が存在する。ここで、ユーザによって指定された音源数が２である場合、推定部４２は、これら３つの極大値のうち、スコアが大きい順に２つの極大値、つまり方向角度が６０度の位置の極大値と方向角度が−３０度の位置の極大値とを選択する。そして、推定部４２は、これら選択した２つの極大値に対応する方向、つまり方向角度が６０度の方向と方向角度が−３０度の方向とを、音源の方向として推定する。

図１４は、第４実施形態の音源方向推定装置による処理手順の一例を示すフローチャートである。以下、この図１４のフローチャートに沿って、第４実施形態の音源方向推定装置の動作概要を説明する。

図１４のステップＳ４０１からステップＳ４０３までの処理は、図７に示したステップＳ１０１からステップＳ１０３までの処理と同様であるため説明を省略する。

本実施形態では、ステップＳ４０３で量子化された位相差分布が生成されると、次に、音源数指定受付部４１が、ユーザによる音源数の指定を受け付ける（ステップＳ４０４）。なお、このステップＳ４０４の処理は、ステップＳ４０１からステップＳ４０３のいずれかの処理よりも前に行ってもよいし、これらの処理と並列で行ってもよい。また、このステップＳ４０４の処理は、後述のステップＳ４０９の処理の前であれば、後述のステップＳ４０５からステップＳ４０８のいずれかの処理の後に行ってもよいし、これらの処理と並列で行ってもよい。

図１４のステップＳ４０５からステップＳ４０７までの処理は、図７に示したステップＳ１０４からステップＳ１０６までの処理と同様であるため説明を省略する。

本実施形態では、ステップＳ４０７の判定で記憶部１４に記憶されたすべてのテンプレートを比較対象としてステップＳ４０６の処理を行ったと判断されると（ステップＳ４０７：Ｙｅｓ）、推定部４２が、ステップＳ４０６で計算されたスコアを方向角度順に並べて補間したスコア波形を生成し、スコア波形の極大値を検出する（ステップＳ４０８）。そして、推定部４２は、検出した極大値のうち、ステップＳ４０４で指定された音源数と同じ数の極大値をスコアが大きい順に選択し、選択した極大値に対応する方向をそれぞれ音源の方向として推定する（ステップＳ４０９）。そして、出力部１６が、ステップＳ４０９で推定された音源の方向を、音源方向推定装置の外部に出力し（ステップＳ４１０）、一連の処理を終了する。

以上説明したように、本実施形態の音源方向推定装置は、方向ごとのスコアからスコア波形を生成して極大値を検出し、検出した極大値のうち、ユーザにより指定された音源数と同じ数の極大値をスコアの大きい順に選択して、選択した極大値に対応する方向を音源の方向として推定する。したがって、本実施形態の音源方向推定装置によれば、複数の音源から同時に音が発せられる場合であっても、これら複数の音源の方向を少ない計算量で精度よく推定することができる。

［第５実施形態］
次に、第５実施形態について説明する。第５実施形態は、上述した第４実施形態と同様に複数の音源方向を推定するものであるが、ユーザから音源数の指定を受け付けることなく複数の音源方向を推定するものである。

図１５は、第５実施形態の音源方向推定装置の機能的な構成例を示すブロック図である。本実施形態の音源方向推定装置は、図１５に示すように、第１実施形態の推定部１５に代えて、推定部５１を備える。その他の構成は第１実施形態と同様である。

推定部５１は、第４実施形態の推定部４２と同様に、比較部１３のスコア計算部１３２によって計算された方向ごとのスコアを方向角度順に並べて補間したスコア波形を生成して、このスコア波形の極大値を検出する。ただし、本実施形態の推定部５１は、スコア波形から検出した極大値のうち、スコアが予め定めた閾値以上の極大値を選択して、選択した極大値に対応する方向をそれぞれ音源の方向として推定する。

図１６は、推定部５１が生成したスコア波形の一例を示す図である。図１６に例示するスコア波形では、方向角度が−６０度、−３０度、６０度の位置にそれぞれ極大値が存在する。ここで、スコアに対する閾値として３が設定されている場合、推定部５１は、これら３つの極大値のうち、スコアが３以上の極大値、つまり方向角度が６０度の位置の極大値と方向角度が−３０度の位置の極大値とを選択する。そして、推定部５１は、これら選択した２つの極大値に対応する方向、つまり方向角度が６０度の方向と方向角度が−３０度の方向とを、音源の方向として推定する。

図１７は、第５実施形態の音源方向推定装置による処理手順の一例を示すフローチャートである。以下、この図１７のフローチャートに沿って、第５実施形態の音源方向推定装置の動作概要を説明する。

図１７のステップＳ５０１からステップＳ５０６までの処理は、図７に示したステップＳ１０１からステップＳ１０６までの処理と同様であるため説明を省略する。

本実施形態では、ステップＳ５０６の判定で記憶部１４に記憶されたすべてのテンプレートを比較対象としてステップＳ５０５の処理を行ったと判断されると（ステップＳ５０６：Ｙｅｓ）、推定部５１が、ステップＳ５０５で計算されたスコアを方向角度順に並べて補間したスコア波形を生成し、スコア波形の極大値を検出する（ステップＳ５０７）。そして、推定部４２は、検出した極大値のうち、スコアが予め定めた閾値以上の極大値を選択し、選択した極大値に対応する方向をそれぞれ音源の方向として推定する（ステップＳ５０８）。そして、出力部１６が、ステップＳ５０８で推定された音源の方向を、音源方向推定装置の外部に出力し（ステップＳ５０９）、一連の処理を終了する。

以上説明したように、本実施形態の音源方向推定装置は、方向ごとのスコアからスコア波形を生成して極大値を検出し、検出した極大値のうち、スコアが閾値以上の極大値を選択して、選択した極大値に対応する方向を音源の方向として推定する。したがって、本実施形態の音源方向推定装置によれば、複数の音源から同時に音が発せられる場合であっても、これら複数の音源の方向を少ない計算量で精度よく推定することができる。

［変形例］
次に、上述した実施形態の変形例について説明する。上述した実施形態では、２つのマイクＭ１，Ｍ２から２つのチャンネルの音響信号を取得して位相差分布を生成する。この例では、２つのマイクＭ１，Ｍ２の位置を結ぶ直線に対して線対称の位置に別々の音源がある場合、それぞれの音源の音響信号から生成される位相差分布が同じになるため、音源の方向を区別できない。例えば図１８に示す例では、方向角度が６０度の位置にある音源ＳＳ１の音響信号から生成される位相差分布と、方向角度が１２０度の位置にある音源ＳＳ２の音響信号から生成される位相差分布とが同じになるため、音源の方向が６０度なのか１２０度なのかを一意に特定できない。このため、上述した各実施形態では、音源の方向推定の対象となる角度範囲を−９０度から９０度の範囲に限定している。

しかし、音響信号を取得するマイクの数を増やすことで、音源の方向推定の対象となる角度範囲を広げることができる。以下では、３つのマイクを用いて３つのチャンネルの音響信号を取得し、これら３つのチャンネルのうちの２つのチャンネルの音響信号から得られるスコアを積み立てることで、３６０度の角度範囲（同一平面上の全方位）で音源方向の推定を行う変形例を説明する。

本変形例におけるマイクの配置の一例を図１９に示す。本変形例では、３つのマイクＭ１，Ｍ２，Ｍ３が図１９に示す位置関係で配置されているものとする。また、音源ＳＳは、方向角度が６０度の方向に位置していることを想定する。

まず、２つのマイクＭ１，Ｍ２から取得される２つのチャンネルの音響信号に対して第１実施形態と同様の処理を行うことにより、−９０度から９０度の角度範囲での方向ごとのスコア（図６と同様のスコア波形）が得られる。本変形例では、このようにして得られたスコアを、マイクＭ１とマイクＭ２の配置を考慮して、−１８０度から１８０度の角度範囲のスコア（全方位スコア）に変換する。このとき、マイクＭ１とマイクＭ２とを結ぶ直線に対して線対称の位置に２つの方向候補があるため、全方位スコアは、図２０（ａ）に示す第１候補スコアと、図２０（ｂ）に示す第２候補スコアとが得られる。

同様に、２つのマイクＭ２，Ｍ３から取得される２つのチャンネルの音響信号に対して第１実施形態と同様の処理を行うことで得られたスコアを、マイクＭ２とマイクＭ３の配置を考慮して全方位スコアに変換し、図２１（ａ）に示す第１候補スコアと、図２１（ｂ）に示す第２候補スコアとを得る。同様に、２つのマイクＭ３，Ｍ１から取得される２つのチャンネルの音響信号に対して第１実施形態と同様の処理を行うことで得られたスコアを、マイクＭ３とマイクＭ１の配置を考慮して全方位スコアに変換し、図２２（ａ）に示す第１候補スコアと、図２２（ｂ）に示す第２候補スコアとを得る。

最後に、任意の２つのチャンネルの音響信号から得られた全方位スコアを積み立てることにより、図２３に示すような統合スコアを生成する。任意の２つのチャンネルの音響信号から得られた全方位スコアには、上述したように第１候補スコアと第２候補スコアの２つの候補があるが、実際に音源ＳＳが存在する方向のスコアは２つのチャンネルの組み合わせのすべてにおいて同じになる。このため、任意の２つのチャンネルの音響信号から得られた全方位スコアを積み立てると、図２３に示すように、音源ＳＳが存在する方向のスコアが高い統合スコアが得られる。図２３に示す例では、方向角度が６０度の方向のスコアが最も高いため、音源ＳＳの方向は６０度であると推定できる。

なお、以上の説明では、３つのマイクＭ１，Ｍ２，Ｍ３から取得した３つのチャンネルの音響信号を用いて同一平面上の全方位で音源方向の推定を行うようにしているが、４つ以上のマイクから取得した４つ以上のチャンネルの音響信号を用いれば、同様の原理で同一平面上のみならず、空間的な方向の推定も可能となる。また、音響信号を取得するマイクの数を増やして位相差分布を生成する音響信号の組み合わせを多くし、スコアの積み立てを行うようにすれば、外れ値の影響を低減させて音源方向の推定精度を向上させることもできる。

上述した実施形態の音源方向推定装置は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いて実現することが可能である。すなわち、実施形態の音源方向推定装置は、汎用のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、音源方向推定装置は、上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。また、上記のプログラムをサーバーコンピュータ装置上で実行させ、ネットワークを介してその結果をクライアントコンピュータ装置で受け取ることにより実現してもよい。

また、上述した実施形態の音源方向推定装置で使用する各種情報は、上記のコンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスクもしくはＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒなどの記録媒体を適宜利用して格納しておくことができる。例えば、上述した実施形態の音源方向推定装置が使用するテンプレートは、これら記録媒体を適宜利用して格納しておくことができる。

本実施形態の音源方向推定装置で実行されるプログラムは、音源方向推定装置を構成する各処理部（取得部１１、生成部１２、比較部１３（比較部２１，３２）、推定部１５（推定部４２，５１）および出力部１６）を含むモジュール構成となっており、実際のハードウェアとしては、例えば、プロセッサが上記記憶媒体からプログラムを読み出して実行することにより、上記各処理部が主記憶上にロードされ、主記憶上に生成されるようになっている。なお、本実施形態の音源方向推定装置は、上述した各処理部の一部または全部を、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field-Programmable Gate Array）などの専用のハードウェアを用いて実現することも可能である。

以上、本発明の実施形態を説明したが、ここで説明した実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。ここで説明した新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。ここで説明した実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１１取得部
１２生成部
１３比較部
１４記憶部
１５推定部
１６出力部
２１比較部
３１分解能指定受付部
３２比較部
４１音源数指定受付部
４２推定部
５１推定部
１３１量子化部
１３２スコア計算部
２１１設定部
２１２スコア計算部
３２１スコア計算部
Ｍ１，Ｍ２，Ｍ３マイク

Claims

複数のマイクから複数チャンネルの音響信号を取得する取得部と、
前記複数チャンネルの音響信号の位相差を予め定めた周波数ビンごとに計算して、前記音響信号に対応する位相差分布を生成する生成部と、
前記音響信号に対応する位相差分布を量子化する量子化部と、
量子化された前記音響信号に対応する位相差分布を、所定の角度分解能に応じて定められた複数の方向ごとに予め生成された複数のテンプレートであって、各テンプレートが該テンプレートに対応する方向の位相差分布を前記量子化部と同じ方法で量子化することで生成された前記複数のテンプレートの各々と比較して、量子化された前記音響信号に対応する位相差分布と前記テンプレートとの相似性に応じたスコアを、前記複数の方向ごとに計算するスコア計算部と、
前記複数の方向のうち前記スコアが大きい方向を、前記音響信号の音源の方向として推定する推定部と、を備える音源方向推定装置。
前記スコア計算部は、前記音響信号に対応する位相差分布と前記テンプレートとで量子化された位相差が一致する周波数ビンの数を前記スコアとして計算する、請求項１に記載の音源方向推定装置。
前記音響信号に基づいて周波数ビンごとに加算スコアを設定する設定部をさらに備え、
前記スコア計算部は、前記音響信号に対応する位相差分布と前記テンプレートとで量子化された位相差が一致する周波数ビンの各々に設定された前記加算スコアの和を前記スコアとして計算する、請求項１に記載の音源方向推定装置。
前記設定部は、各周波数ビンにおける前記音響信号の対数パワーの大きさに応じて前記加算スコアを設定する、請求項３に記載の音源方向推定装置。
前記設定部は、各周波数ビンにおける前記音響信号の信号雑音比の大きさに応じて前記加算スコアを設定する、請求項３に記載の音源方向推定装置。
前記推定部は、前記スコアを方向角度順に並べたスコア波形を生成して該スコア波形の極大値を検出し、検出された極大値のうち前記スコアが大きい順に指定された数の極大値を選択して、選択した極大値に対応する方向を、前記音響信号の音源の方向として推定する、請求項１〜５のいずれか一項に記載の音源方向推定装置。
前記推定部は、前記スコアを方向角度順に並べたスコア波形を生成して該スコア波形の極大値を検出し、検出された極大値のうち前記スコアが予め定めた閾値以上の極大値を選択して、選択した極大値に対応する方向を、前記音響信号の音源の方向として推定する、請求項１〜５のいずれか一項に記載の音源方向推定装置。
前記スコア計算部は、予め生成された前記複数のテンプレートのうち、ユーザにより指定された角度分解能に応じた数の前記テンプレートを選択し、量子化された前記音響信号に対応する位相差分布を、選択した前記テンプレートの各々と比較して、ユーザにより指定された角度分解能に対応する方向ごとに前記スコアを計算する、請求項１〜７のいずれか一項に記載の音源方向推定装置。
前記複数のマイクは、第１マイクと第２マイクと第３マイクとを含み、
前記生成部は、前記音響信号のうち、前記第１マイクと前記第２マイクとから取得される２つのチャンネルの第１音響信号に対応する位相差分布と、前記第２マイクと前記第３マイクとから取得される２つのチャンネルの第２音響信号に対応する位相差分布と、前記第３マイクと前記第１マイクとから取得される２つのチャンネルの第３音響信号に対応する位相差分布とを生成し、
前記量子化部は、前記第１音響信号に対応する位相差分布と、前記第２音響信号に対応する位相差分布と、前記第３音響信号に対応する位相差分布とをそれぞれ量子化し、
前記スコア計算部は、量子化された前記第１音響信号に対応する位相差分布と、量子化された前記第２音響信号に対応する位相差分布と、量子化された前記第３音響信号に対応する位相差分布とを、それぞれ前記複数のテンプレートの各々と比較して、量子化された前記第１音響信号に対応する位相差分布と前記テンプレートとの相似性に応じた前記複数の方向ごとのスコアと、量子化された前記第２音響信号に対応する位相差分布と前記テンプレートとの相似性に応じた前記複数の方向ごとのスコアと、量子化された前記第３音響信号に対応する位相差分布と前記テンプレートとの相似性に応じた前記複数の方向ごとのスコアとを計算し、
前記推定部は、前記第１音響信号に対応して計算されたスコアと、前記第２音響信号に対応して計算されたスコアと、前記第２音響信号に対応して計算されたスコアとを前記複数の方向ごとに加算して、前記複数の方向のうち前記スコアが大きい方向を、前記音響信号の音源の方向として推定する、請求項１〜８のいずれか一項に記載の音源方向推定装置。
音源方向推定装置において実行される音源方向推定方法であって、
複数のマイクから複数チャンネルの音響信号を取得する工程と、
前記複数チャンネルの音響信号の位相差を予め定めた周波数ビンごとに計算して、前記音響信号に対応する位相差分布を生成する工程と、
前記音響信号に対応する位相差分布を量子化する工程と、
量子化された前記音響信号に対応する位相差分布を、所定の角度分解能に応じて定められた複数の方向ごとに予め生成された複数のテンプレートであって、各テンプレートが該テンプレートに対応する方向の位相差分布を前記音響信号に対応する位相差分布に対する量子化と同じ方法で量子化することで生成された前記複数のテンプレートの各々と比較して、量子化された前記音響信号に対応する位相差分布と前記テンプレートとの相似性に応じたスコアを、前記複数の方向ごとに計算する工程と、
前記複数の方向のうち前記スコアが大きい方向を、前記音響信号の音源の方向として推定する工程と、を含む音源方向推定方法。
コンピュータに、
複数のマイクから複数チャンネルの音響信号を取得する機能と、
前記複数チャンネルの音響信号の位相差を予め定めた周波数ビンごとに計算して、前記音響信号に対応する位相差分布を生成する機能と、
前記音響信号に対応する位相差分布を量子化する機能と、
量子化された前記音響信号に対応する位相差分布を、所定の角度分解能に応じて定められた複数の方向ごとに予め生成された複数のテンプレートであって、各テンプレートが該テンプレートに対応する方向の位相差分布を前記音響信号に対応する位相差分布に対する量子化と同じ方法で量子化することで生成された前記複数のテンプレートの各々と比較して、量子化された前記音響信号に対応する位相差分布と前記テンプレートとの相似性に応じたスコアを、前記複数の方向ごとに計算する機能と、
前記複数の方向のうち前記スコアが大きい方向を、前記音響信号の音源の方向として推定する機能と、を実現させるためのプログラム。