JPWO2007013525A1 - 音源特性推定装置 - Google Patents

Abstract

本発明は、音源の種類が未知の環境で適用可能な音源特性推定装置（１０）を提供する。この装置は、空間内の任意の位置の音源より発せられた音源信号が複数のマイクロフォン（１４−１〜１４−N）に入力されるとき、マイクロフォン間に生じる音源信号の差異を補正する関数を用いて、各マイクロフォンで検出された音響信号を重み付けして合計した信号を出力するビームフォーマー（２１−１〜２１−M）を複数備える。ビームフォーマーの各々（２１−１〜２１−M）は、空間内の任意の１方向に対応する単位指向特性をもつ関数を含んでおり、空間の任意の位置、及び単位指向特性に対応する方向毎に用意されている。音源特性推定装置（１０）は、さらに、マイクロフォン（１４）が音源信号を検出するとき、最大値を出力するビームフォーマーに対応する空間内の位置及び方向を、音源の位置及び方向として推定する手段（２３）を有する。

Description

本発明は、音源のある位置や音源の向いている方向など、音源の特性を推定する装置に関する。

マイクロフォンアレイを用いたビーム・フォーミングによって音源方向や位置を推定する手法が、長年に渡って研究されている。近年では、音源のある方向や位置の推定に加えて、音源の指向特性や開口部の大きさを推定する技術が提案されている（例えば、P. C. Meuse and H. F. Silverman, Characterization of talker radiation pattern using a microphone array, ICASSP-94, Vol. 11, pp. 257-260を参照）。

しかしながら、Meuseらの手法では、音源から発せられる音響信号は、ある大きさを持った口（開口部）から放射されることを前提にしている。また、音響信号の放射パターンは、人間の音声と同じような放射パターンであることを前提としている。すなわち、音源の種類が人間の音声に限定されている。したがって、Meuseらの手法は、音源の種類が未知である実環境において適用が難しい。

本発明の目的は、任意の音源の特性を精度良く推定できる手法を提供することである。

本発明の提供する音源特性推定装置は、空間内の任意の位置の音源より発せられた音源信号が複数のマイクロフォンに入力されるとき、マイクロフォン間に生じる音源信号の差異を補正する関数を用いて、マイクロフォンのそれぞれで検出された音響信号を重み付けして、複数のマイクロフォンについて合計した信号を出力するビームフォーマーを複数備える。ビームフォーマーのそれぞれは、空間内の任意の１方向に対応する単位指向特性の関数を含んでおり、空間の任意の位置、および単位指向特性に対応する方向ごとに用意されている。音源特性推定装置は、マイクロフォンが音源信号を検出するとき、複数のビームフォーマーのうち最大値を出力するビームフォーマーに対応する空間内の位置および方向を、音源の位置および方向として推定する手段を有する。

この発明により、人など指向性をもつ音源の位置を精度良く推定できる。また、単位指向特性を利用して音源の方向を推定するので、任意の音源の音響信号を精度良く推定できる。

本発明の一実施形態によると、音源特性推定装置は、推定された音源の位置に対応し単位指向特性の異なる複数のビームフォーマーの出力を求め、この出力の組を音源の指向特性として推定する手段をさらに有する。これにより、任意の音源の指向特性を知ることができる。

本発明の一実施形態によると、音源特性推定装置は、推定された指向特性を音源の種類に応じた複数の指向特性のデータを含むデータベースと参照することにより、最も近い指向特性を示すデータの種類を音源の種類として推定する手段をさらに有する。これにより、音源の種類を区別することができる。

本発明の一実施形態によると、音源特性推定装置は、推定された音源の位置および方向、ならびに推定された音源の種類を、１ステップ前の時間ステップにおいて推定された音源の位置、向き、および種類と比較して、位置および向きの偏差が所定の範囲内であり、かつ種類が同一であるときに、同一の音源としてグループ化する、音源追跡手段をさらに有する。これにより、音源の種類の同一性も考慮するので、空間内に複数の音源がある場合でも音源の追跡が可能となる。

本発明の一実施形態によると、音源特性推定装置は、推定された音源の位置に対応し単位指向特性の異なる複数のビームフォーマーの出力を求め、この出力の合計値を音源信号として抽出する手段をさらに有する。これにより、任意の音源、特に指向性をもつ音源の音響信号を、精度良く抽出できる。

本発明の提供する音源特性推定装置は、空間内の任意の位置の音源より発せられた音源信号が複数のマイクロフォンに入力されるとき、マイクロフォン間に生じる音源信号の差異を補正する関数を用いて、マイクロフォンのそれぞれで検出された音響信号を重み付けして、複数のマイクロフォンについて合計した信号を出力するビームフォーマーを複数備える。ビームフォーマーのそれぞれは、空間内の任意の１方向に対応する単位指向特性の関数を含んでおり、空間の任意の位置、および単位指向特性に対応する方向ごとに用意されている。音源特性推定装置は、マイクロフォンが音源信号を検出するとき、複数のビームフォーマーの出力を求め、空間の任意の位置に対応し単位指向特性の異なる複数のビームフォーマーの出力の合計値を求め、最大の合計値をとる位置を選択し、この選択された位置において最大値を出力するビームフォーマーに対応する方向を選択し、この選択された位置および方向を音源の位置および方向として推定する手段を有する。

本発明の一実施形態によると、音源特性推定装置は、空間内の任意の位置にある複数の音源より発せられた音源信号が前記複数のマイクロフォンに入力されるとき、複数の音源信号を抽出する手段をさらに有する。抽出手段は、マイクロフォンが音源信号を検出するとき、複数のビームフォーマーの出力を求め、空間内の各位置ごとに単位指向特性の異なる複数のビームフォーマーに対応する方向について該出力を合計し、合計した出力のうち最大値を有する位置を選択し、該選択した位置において最大値を出力するビームフォーマーに対応する方向を選択し、該選択した位置および方向を第1の音源の位置および方向として推定する。推定された第1の音源の位置に対応する単位指向特性の異なる複数のビームフォーマーの出力を求め、該出力の組を音源信号として抽出する。抽出された前記第１の音源の位置より発せられた音源信号が複数のマイクロフォンに入力されるとき、抽出された音源信号から、マイクロフォン間に生じる音源信号の差異を表す関数を用いて複数のマイクロフォンに与える音響信号を単位指向性の異なる複数のビームフォーマーに対応する方向ごとに計算し、その複数の音響信号を前記複数のマイクロフォンのそれぞれで検出された音響信号より減算する。減算された音響信号に対して複数のビームフォーマーの出力を求め、空間内の各位置ごとに単位指向特性の異なる複数のビームフォーマーに対応する方向について、該出力を合計し、合計した出力のうち最大値を有する位置を選択し、該選択した位置において最大値を出力するビームフォーマーに対応する方向を選択し、該選択した位置および方向を第2の音源の位置および方向として推定する。推定された第2の音源の位置に対応する単位指向特性の異なる複数のビームフォーマーの出力を求め、該出力の組を第２の音源信号として抽出する。

音源特性推定装置を含むシステムを示す概略図である。 音源特性推定装置のブロック図である。 マルチビームフォーマーの構成図である。 θs＝０のときの指向特性DP(θr)の一例を示す図である。 実験環境を示す図である。 音源種類推定実験で推定された指向特性DP(θr)を示す図である。

符号の説明

１０ 音源特性推定装置
１２ 音源
１４ マイクロフォンアレイ
２１ マルチビームフォーマー
２３ 音源位置推定部
２５ 音源信号抽出部
２７ 音源指向特性推定部
２９ 音源種類推定部
３３ 音源追跡部

次に図面を参照して、この発明の実施の形態を説明する。図１は、本発明の一実施形態による音源特性推定装置１０を含むシステムを示す概略図である。

このシステムの基本的な構成要素は、作業空間１６内の任意の位置Ｐ（ｘ、ｙ）にあり、任意の方向θに音響信号を発する音源１２と、作業空間１６内の任意の場所に設けられ音響信号を検出する複数のマイクロフォン１４−１〜１４−Nからなるマイクロフォンアレイ１４と、マイクロフォンアレイ１４の検出結果に基づいて音源１２の位置や方向を推定する音源特性推定装置１０である。

音源１２は、人間またはロボットに設けられたスピーカーなどのように、コミュニケーション手段として音声を発するものである。音源１２から発せられる音響信号（以下「音源信号」という）は、信号の発信方向θにおいて音波の強さが最大であり、方向によって音波の強さが異なるという性質、すなわち指向性をもつ。

マイクロフォンアレイ１４は、ｎ個のマイクロフォン１４−１〜１４−Nで構成される。これらのマイクロフォン１４−１〜１４−Nは、それぞれ作業空間１６内の任意の場所に設置されている（但し、設置場所の位置座標は既知）。マイクロフォン１４−１〜１４−Nの設置場所は、例えば作業空間１６が室内だとすると、部屋の壁面、室内の物体、天井、または床面などを適宜選択できる。なお、指向特性を推定する観点に立つと、マイクロフォン１４−１〜１４−Nは、音源１２から任意の一方向だけに集中せず、音源１２を取り囲むように配置されることが望ましい。

音源特性推定装置１０は、マイクロフォンアレイ１４の各マイクロフォン１４−１〜１４−Nと有線または無線で接続されている（図１では結線を省略）。音源特性推定装置１０は、マイクロフォンアレイ１４により検出される音響信号に基づいて、音源１２の位置Ｐおよび方向θなど音源１２の各種特性を推定する。

図１に示すように、本実施形態では、作業空間１６に任意の2次元座標系１８が設定されている。この2次元座標系１８に基づいて、音源１２の位置は位置ベクトルＰ＝（ｘ、ｙ）で表される。また、音源１２から音源信号が発せられる方向は、ｘ軸方向を基準とする角度θで表される。そして、音源１２の位置Ｐおよび方向θを含む位置ベクトルは、Ｐ’＝（ｘ、ｙ、θ）と表される。作業空間１６内の任意の位置ベクトルＰ’における音源１２から発せられた音源信号のスペクトルは、Ｘ_Ｐ’（ω）と表される。

なお、音源１２の位置を三次元で推定する場合には、作業空間１６内に任意の三次元座標を設定し、音源１２の位置ベクトルをＰ’＝（ｘ、ｙ、ｚ、θ、φ）と表しても良い。ここで、φはｘｙ平面を基準として表される、音源１２から発せられる音源信号の仰角を表す。

続いて、図２を参照して、音源特性推定装置１０の詳細について説明する。

音源特性推定装置１０は、例として本発明の特徴を含むソフトウェアを入出力装置、ＣＰＵ、メモリ、外部記憶装置等を備えたコンピュータやワークステーション等で実行することにより実現されるが、一部をハードウェアにより実現することもできる。図２は、これを踏まえて構成を機能ブロックで表現している。

図２は、本実施形態による音源特性推定装置１０のブロック図である。以下、音源特性推定装置１０の各ブロックについて個別に説明する。

マルチビームフォーマー
マルチビームフォーマー２１は、マイクロフォンアレイ１４の各マイクロフォン１４−１〜１４−Nで検出された信号Ｘ_n,Ｐ’（ω）（ｎ＝１, ・・・, N）にフィルタ関数を乗算して合成して、複数のビームフォーマー出力信号Ｙ_P’ｍ（ω）（ｍ＝１, ・・・, Ｍ）を出力する。マルチビームフォーマー２１は、図３に示すようにＭ個のビームフォーマー２１−１〜２１−Mから構成される。

ここで、ｍは位置インデックスであり、作業空間１６内をx₁ ,・・・,x_p ,・・・, x_P、y₁ ,・・・,y_q ,・・・, y_Q、θ₁ ,・・・，θ_r ,・・・, θ_RとＰ，Ｑ，Ｒ個に離散化して、m=(p+qP)R+rで表される。位置インデックスｍの総数ＭはＰ×Ｑ×Ｒ個となる。

各ビームフォーマー２１−１〜２１−Mには、それぞれ、マイクロフォンアレイ１４の各マイクロフォン１４−１〜１４−Nで検出された音響信号Ｘ_１,Ｐ’(ω)〜Ｘ_Ｎ,Ｐ’(ω)が入力される。

ｍ番目（ｍ＝１、・・・、Ｍ）のビームフォーマーにおいて、音響信号Ｘ_1,Ｐ’(ω)〜Ｘ_Ｎ,Ｐ’(ω)は、ビームフォーマー毎に個別に設定されたフィルタ関数Ｇ_{１、P’ｍ}〜Ｇ_{Ｎ,Ｐ’ｍ}を乗算され、これらを合計したものがビームフォーマーの出力信号Ｙ_Ｐ’ｍ（ω）として算出される。

フィルタ関数Ｇ_{１,Ｐ’ｍ}〜Ｇ_{Ｎ,Ｐ’ｍ}は、音源１２が作業空間１６内の一意の位置ベクトルＰ’m＝（xｐ, yｑ, θｒ）にあると仮定するときに、マイクロフォンアレイ１４で検出された音響信号Ｘ_１、Ｐ’(ω)〜Ｘ_Ｎ、Ｐ’(ω)から音源信号Ｘ_Ｐ’(ω)が抽出されるように、設定されている。

次に、マルチビームフォーマー２１の各ビームフォーマー２１−１〜２１−Mのフィルタ関数Ｇの導出について説明する。以下、ｍ番目（ｍ＝１、・・・、Ｍ）のビームフォーマーのフィルタ関数Ｇ_{１、Ｐ’ｍ}〜Ｇ_{Ｎ、Ｐ’ｍ}の導出を例示する。

位置ベクトルＰ’mに対応するビームフォーマーの出力Y_Ｐ’ｍ(ω)は、フィルタ関数Ｇ_{ｎ、Ｐ’ｍ}（ｎ＝１, ・・・, N）を用いて（１）式で表される。

（１）式のX_ｎ、Ｐ’(ω)は、音源１２が位置ベクトルＰ’で音源信号X_Ｐ’(ω)を発したときに、マイクロフォン１４−１〜１４−Nで検出される音響信号であり、（２）式で表される。

（２）式のH_Ｐ’、ｎ(ω)は、位置Ｐ’からｎ番目のマイクロフォンへの伝達特性を表す伝達関数である。本実施形態において、伝達関数H_Ｐ’、ｎ(ω) は、位置Ｐ’にある音源１２から各マイクロフォン１４−１〜１４−Nへの音の伝わり方のモデルに指向性を加え、（３）式のように定義される。

ここでvは音速を表す。ｒは位置Ｐ’とｎ番目のマイクロフォン座標との距離を表し、ｒ＝((xn−x)^2＋(yn−y)^2)^0.5と表される。xn、ynは、n番目のマイクロフォンのx, y座標とする。

（３）式は、音源１２が自由空間における点音源と仮定して、音源１２からマイクロフォンへの音の伝わり方をモデル化し、このモデルに単位指向特性A(θ)を加えている。音の伝わり方は、位相差や音圧差など、マイクロフォンの位置の違いによってマイクロフォン間に生じる音源信号の差異を含む。単位指向特性A(θ)は、ビームフォーマーに指向性を持たせるために、予め設定された関数である。単位指向特性A(θ)の詳細については（８）式を参照して後述する。

指向ゲインDを（４）式で定義する。

ここで、Ｐ’sは、音源の位置を示す。

（４）式は、（５）式の行列演算として定義できる。

ここで、D、H、Gはそれぞれ、指向ゲイン行列、伝達関数行列、フィルタ関数行列を示す。

（５）式のフィルタ関数行列Gは、（６）式より求める。

ここでｇｍハット（（６）式ではｇｍの上部に^の記号）はフィルタ関数行列Gの位置mに対応する成分(列ベクトル)の近似、ｈ_m ^H、[h_m]⁺はそれぞれ、hmのエルミート転置行列と擬似逆行列を示す。

（６）式の指向ゲイン行列Dは、音源Sの指向特性を推定するために（７）式で定義する。θaは指向ゲイン行列Ｄが示す指向特性のピーク方向を示す。

伝達関数行列Hは、単位指向特性A(θr)を（８）式で定義し求める。ここででΔθは向き推定の分解能を表す(180/R度)。例えば8方向の分解能(R=8)で音源の向きを推定する場合は、22.5度となる。

単位指向特性A(θr)は、（８）式の矩形波の他、特定の方向を中心にパワーが分布している関数(例えば三角パルスなど)であれば良い。

フィルタ関数行列Gは、伝達関数行列Hと指向ゲイン行列Dより導かれるため、音源の向きを推定するための単位指向特性や空間の伝達特性を含む。よってフィルタ関数Gは、マイクロフォン毎に異なる音源との位置関係によって生じる位相差や音圧差、伝達特性などの差異と、音源の向きを関数としてモデル化できる。

フィルタ関数行列Ｇは、マイクロフォンアレイ１４の設置場所が変わったとき、または、作業空間内の物体の配置が変わったときなど、音響信号の計測条件が変化したときに再計算される。

なお、本実施形態では伝達関数Ｈは（３）式に示すモデルを用いたが、代替的に、作業空間内の全ての位置ベクトルＰ’に対するインパルス応答を計測し、これらのインパルス応答に応じて伝達関数が導出される形式でも良い。この場合でも、空間内の任意の位置（ｘ、ｙ）において方向θ毎にインパルス応答を計測するので、インパルスを出力したスピーカの指向特性が単位指向特性となる。

マルチビームフォーマー２１は、各ビームフォーマー２１−１〜２１−Mの出力Y_Ｐ’ｍ(ω)を、音源位置推定部２３、音源信号抽出部２５、および音源指向特性推定部２７へ送信する。

音源位置推定部
音源位置推定部２３は、マルチビームフォーマー２１の出力Y_Ｐ’ｍ(ω)（ｍ＝１、・・・、Ｍ）に基づいて、音源１２の位置ベクトルP’s＝（xs, ys,θs）を推定する。音源位置推定部２３は、マルチビームフォーマー２１内の各ビームフォーマー２１−１〜２１−Mで算出された出力Y_Ｐ’ｍ(ω)のうち最大値をとるビームフォーマーを選択する。そして、選択したビームフォーマーが対応する音源１２の位置ベクトルＰ’mを、音源１２の位置ベクトルＰ’s＝(xs, ys,θs)として推定する。

代替的に、音源位置推定部２３は、雑音の影響を減らすために下記のステップ１〜８により音源位置を推定してもよい。

１．各マイクロフォンで検出された背景雑音のパワースペクトルN(ω)を求め、各マイクロフォンで検出された信号X_ｎ、ｐ’(ω)のうち、 所定のしきい値（例えば20[dB]）より大きいサブバンドを選択し、ω1, ・・・, ωl, ・・・, ωLとする。

２．各サブバンドの信頼度SCR(ωl)を（９）式および（１０）式で定義する。

３．Ｐｍ’におけるビームフォーマーの出力Y_Ｐ’ｍ(ωl)を（１）式より求める。ここでは、すべてのＰ’ｍ（ｍ＝１,・・・,Ｍ）に対してY_Ｐ’ｍ(ωl)が計算される。

４．方向別スペクトル強度I(Ｐ’m)を（１１）式で求める。

５．位置Ｐ(xp, yq)における方向成分加算スペクトル強度I(xp, yq)を（１２）式で求める。

６．音源の位置ベクトルＰs=(xs, ys)は、（１３）式より求められる。

７．音源Sの指向特性DP(θr)を、（１４）式より求める。

８．音源の向きθsは（１５）式より求められる。

音源位置推定部２３は、導出した音源１２の位置および方向を、音源信号抽出部２５、音源指向特性推定部２７、および音源追跡部３３へ送信する。

音源信号抽出部
音源信号抽出部２５は、位置ベクトルＰ’sにある音源から発せられた音源信号Y_P’ｓ(ω)を抽出する。

音源信号抽出部２５は、音源位置推定部２３で導出された音源１２の位置ベクトルＰs’に基づいて、マルチビームフォーマー２１のうちＰ’sに対応するビームフォーマーの出力を求め、この出力を音源信号Y_Ｐ’ｓ(ω)として抽出する。

また、音源位置推定部２３で推定された音源１２の位置ベクトルＰ＝(xs, ys)を固定し、位置ベクトル（xs, ys,θ₁）〜（xs, ys,θ_Ｒ）に対応するビームフォーマーの出力を求め、これらを合計して音源信号Y_Ｐ’ｓ(ω)として抽出しても良い。

音源指向特性推定部
音源指向特性推定部２７は、音源信号の指向特性DP(θ_r)（ｒ＝１,・・・, Ｒ）を推定する。音源指向特性推定部２７は、音源位置推定部２３で導出された音源１２の位置ベクトルＰ’s=(xs, ys,θs) のうち位置座標(xs, ys)を固定して、方向θをθ_１からθ_Ｒまで変化させたときのビームフォーマー出力Y_Ｐ’ｍ(ω)を求める。音源指向特性推定部２７は、位置ベクトル (xs, ys, θ_１)〜 (xs, ys, θ_Ｒ)に対応するビームフォーマーの出力を求め、これらの出力の組を音源信号の指向特性DP(θ_r)とする。ここで、Ｒは方向θの分解能を決めるパラメータである。

図４は、θs＝０のときの指向特性DP(θr)の一例を示す図である。図４に示すように、一般に、指向特性は、音源の方向θsにおいて最大の値をとり、θsから離れるにつれて小さい値をとるようになり、θsの反対方向（図４では±180度）において最小となる。

なお、音源位置推定部２３において、代替的に（９）〜（１５）式を用いて音源位置を推定した場合には、（１４）式の計算結果を利用して指向特性DP(θr)を求めても良い。

音源指向特性推定部２７は、音源信号の指向特性DP(θr)を音源種類推定部２９に送信する。

音源種類推定部
音源種類推定部２９は、音源指向特性推定部２７で得られた指向特性DP(θr)に基づいて、音源１２の種類を推定する。指向特性DP(θr)は、一般に図４に示すような形状をとるが、人間の発声や機械の音声などの音源の種類に依存してピーク値などの特徴が異なるので、音源の種類に応じてグラフの形状に相違が生じる。さまざまな音源の種類に対応した指向特性のデータが指向特性データベース３１に記録されている。音源種類推定部２９は、指向特性データベース３１を参照して、音源１２の指向特性DP(θr)に最も近いデータを選択して、選択されたデータの種類を、音源１２の種類として推定する。

音源種類推定部２９は、推定した音源１２の種類を音源追跡部３３に送信する。

音源追跡部
音源追跡部３３は、音源１２が作業空間内を移動している場合に、音源１２を追跡する。音源追跡部３３は、音源位置推定部２３で推定された音源１２の位置ベクトルＰs’を、１ステップ前に推定された音源１２の位置ベクトルと比較する。両ベクトルの差が所定範囲内にあり、かつ音源種類推定部２９で推定された音源１２の種類が同一であるとき、これらの位置ベクトルをグループ化して記憶することにより、音源１２の軌道が得られ、音源１２の追跡が可能となる。

以上、図２を参照して、音源特性推定装置１０の各機能ブロックについて説明した。

本実施形態では、単一の音源１２について、音源１２の特性を推定する手法について説明した。これに対し、複数の音源のある場合には、音源位置推定部２３で推定された音源を第1の音源として、その信号を元の信号から除いた残差信号を求め、再度、音源位置推定を行う処理を行い、複数音源の位置を推定することも可能である。

この処理は、所定の回数、あるいは音源の数だけ繰り返す。

具体的には、まずマイクロフォンアレイ１４の各マイクロフォン14-1〜14-Nで検出される第1の音源に由来した音響信号Xsn(ω)を（１６）式で推定する。

ここで、Ｈ_{（ｘｓ、ｙｓ、θｒ）、ｎ}は、位置(xs,ys,θ1)、・・・、(xs,ys,θR)からn番目のマイクロフォン１４−ｎへの伝達特性を表す伝達関数である。Ｙ_{（ｘｓ、ｙｓ、θｒ）}(ω) は、第１音源の位置(xs,ys)に対応したビームフォーマー出力Ｙ_{（ｘｓ、ｙｓ、θ１）}(ω)、・・・、Ｙ_{（ｘｓ、ｙｓ、θＲ）}(ω)である。

次に、マイクロフォンアレイの各マイクロフォン14-1〜14-Nで検出された音響信号Xn,p’(ω)から減算して、残差信号X’n(ω）が（１７）式より求められる。この残差信号X’n(ω）を(1)式のXn,p’(ω)の代わりに代入して、残差信号に対するビームフォーマーの出力Y’_P’m(ω)が（１８）式より求められる。

求められたY’_P’m(ω)のうち、最大値をとるビームフォーマーの位置ベクトルP’mを、第2の音源の位置として推定する。

（１６）式のωを音源位置推定部２３のステップ1で求められたωlとして（１６）式を計算して音響信号Xsn(ωl)を求め、算出したXsn(ωl)を用いて（１７）式を計算して残差信号X’n(ωl）を求め、算出したX’n(ωl）を用いて（１８）式を計算してビームフォーマーの出力Y’_P’m(ωl) とし、音源位置推定部２３のステップ3のY’_P’m(ωl)の代わりに代入して音源位置推定を行っても良い。

本実施例では音響信号からスペクトルを求め処理を行ったが、そのスペクトルの時間フレームに対応する時間波形信号を使っても良い。

本発明を利用すると、例えば、室内を案内するサービスロボットが、テレビや他のロボットと人を識別し、人の音源位置や向きを推定し、人に正対するよう正面から移動することができる。

また、人の位置と向きが分かっているので、人視点で案内することもできる。

次に、本発明による音源特性推定装置１０を用いた音源位置推定実験、音源種類推定実験、および音源追跡実験について説明する。

これらの実験は、図５に示す環境で行われた。作業空間はｘ方向７メートル、ｙ方向４メートルの広さである。作業空間内にはテーブルおよび流し台があり、壁面およびテーブル上に６４チャンネルのマイクロフォンアレイが設置されている。位置ベクトルの分解能は０.２５メートルである。作業空間内の座標Ｐ１(2.59, 2.00)、Ｐ２(2.05, 3.10)、Ｐ３(5.92, 2.25)に音源が配置される。

音源位置推定実験は、作業空間内の座標Ｐ１およびＰ２にて、スピーカの録音音声および人間の音声を音源として、音源位置推定を行った。本実験では、伝達関数Ｈに（３）式を用い、１５０回の試行の平均を求めた。音源位置（xs, ys）の推定誤差は、スピーカの録音音声の場合、Ｐ１において0.15（ｍ）、Ｐ２において0.40（ｍ）であり、人間の音声の場合、Ｐ１において0.04（ｍ）、Ｐ２において0.36（ｍ）であった。

音源種類推定実験は、作業空間内の座標Ｐ１にて、スピーカの録音音声および人間の音声を音源として、音源の指向特性DP(θr)の推定を行った。本実験では、伝達関数Hとして、インパルス応答によって導出された関数が用いられ、音源の方向θsは１８０度と設定された。指向特性DP(θr)は（１４）式を用いて導出された。

図６は、推定された指向特性DP(θr)を示す図である。図６（ａ）、（ｂ）共に、グラフの横軸は方向θrを表し、グラフの縦軸はスペクトル強度I(xs, ys,θr)／I(xs, ys)を表す。また、グラフの細線は、指向特性データベースに記憶されている録音音声の指向特性を示し、グラフの点線は、指向特性データベースに記憶されている人間の音声の指向特性を示す。図６（ａ）の太線は、音源がスピーカの録音音声の場合に推定された音源の指向特性を示し、図６（ｂ）の太線は、音源が人間の音声の場合に推定された音源の指向特性を示す。

図６に示すように、本発明による音源特性推定装置１０は、音源の種類に応じて、異なる指向特性を推定できている。

音源追跡実験は、音源をＰ１→Ｐ２→Ｐ３と移動させたときに、音源位置の追跡を行った。本実験では、音源はスピーカから出力されるホワイトノイズであり、伝達関数Ｈに（３）式を用い、20ミリ秒ごとに音源の位置ベクトルＰ’を推定した。推定された音源の位置ベクトルＰ’は、超音波３次元タグシステムによって計測された音源の位置および方向と比較され、各時刻の推定誤差を求め平均した。

超音波タグシステムは、タグの超音波出力時刻とレシーバへの入力時刻との差分を検出し、差分情報を三角測量と同様の手法で三次元情報に変換することにより、室内のGPS機能を実現するものであり、数センチの誤差で定位をすることが可能である。

実験の結果、追跡誤差は、音源の位置（xs,ys）については0.24（ｍ）であり、音源の向きθについては9.8度であった。

以上にこの発明を特定の実施例によって説明したが、この発明はこのような実施例に限定されるものではない。

本発明の提供する音源特性推定装置は、空間内の任意の位置の音源より発せられた音源信号が複数のマイクロフォンに入力されるとき、フィルタ関数を用いて、マイクロフォンのそれぞれで検出された音響信号を重み付けして、複数のマイクロフォンについて合計した信号を出力するビームフォーマーを複数備える。ビームフォーマーのそれぞれは、空間内の任意の１方向に対応する単位指向特性の関数を含んでおり、空間の任意の位置、および単位指向特性に対応する方向ごとに用意されている。音源特性推定装置は、マイクロフォンが音を検出するとき、複数のビームフォーマーの出力を求め、空間の位置（座標インデックス）ごとに異なる単位指向特性の複数のビームフォーマーの出力の合計値を求め、最大の合計値をとる位置を音源の位置として選択する。この選択された位置において最大値を出力するビームフォーマーの単位指向特性に対応する方向を音源の方向として選択する。

本発明の一実施形態によると、音源特性推定装置は、空間内の任意の位置にある複数の音源より発せられた音が前記複数のマイクロフォンに入力されるとき、複数の音源信号を抽出する手段をさらに有する。抽出手段は、マイクロフォンが音を検出するとき、複数のビームフォーマーの出力を求め、出力が最大となる位置を音源の位置および音源の方向として選択する。該選択した位置および方向を第1の音源の位置および方向として推定する。推定された第1の音源の位置において異なる単位指向特性の複数のビームフォーマーの出力の組を第１の音源の音源信号として抽出する。前記複数のマイクロフォンのそれぞれで検出された音響信号より第１の音源からの音源信号を減算する。減算された残差信号に対して複数のビームフォーマーの出力を求め、空間内の各位置ごとに複数のビームフォーマーの出力を求め、出力のうち最大値を有する位置および方向を選択し、該選択した位置および方向を第2の音源の位置および方向として推定する。推定された第2の音源の位置に対応する単位指向特性の異なる複数のビームフォーマーの出力を求め、該出力の組を第２の音源信号として抽出する。

Claims (7)

1. 空間内の任意の位置の音源より発せられた音源信号が複数のマイクロフォンに入力されるとき、前記マイクロフォン間に生じる前記音源信号の差異を補正する関数を用いて、前記マイクロフォンのそれぞれで検出された音響信号を重み付けして、前記複数のマイクロフォンについて合計した信号を出力するビームフォーマーを複数備え、
   前記ビームフォーマーのそれぞれは、前記空間内の任意の１方向に対応する単位指向特性をもつ前記関数を含んでおり、前記空間の任意の位置、および前記単位指向特性に対応する方向ごとに用意されており、
   前記マイクロフォンが前記音源信号を検出するとき、前記複数のビームフォーマーのうち最大値を出力するビームフォーマーに対応する前記空間内の位置および方向を、前記音源の位置および方向として推定する手段を有する、
   音源特性推定装置。
2. 空間内の任意の位置の音源より発せられた音源信号が複数のマイクロフォンに入力されるとき、前記マイクロフォン間に生じる前記音源信号の差異を補正する関数を用いて、前記マイクロフォンのそれぞれで検出された音響信号を重み付けして、前記複数のマイクロフォンについて合計した信号を出力するビームフォーマーを複数備え、
   前記ビームフォーマーのそれぞれは、前記空間内の任意の１方向に対応する単位指向特性をもつ前記関数を含んでおり、前記空間の任意の位置、および前記単位指向特性に対応する方向ごとに用意されており、
   前記マイクロフォンが前記音源信号を検出するとき、前記複数のビームフォーマーの出力を求め、前記空間の任意の位置に対応し前記単位指向特性の異なる複数のビームフォーマーの出力の合計値を求め、最大の合計値をとる位置を選択し、該選択された位置において最大値を出力するビームフォーマーに対応する方向を選択し、該選択された位置および方向を前記音源の位置および方向として推定する手段を有する、
   音源特性推定装置。
3. 前記推定された前記音源の位置に対応し前記単位指向特性の異なる複数のビームフォーマーの出力を求め、該出力の組を前記音源の指向特性として推定する手段をさらに有する、
   請求項１または請求項２に記載の音源特性推定装置。
4. 前記推定された指向特性を音源の種類に応じた複数の指向特性のデータを含むデータベースと参照することにより、最も近い指向特性を示すデータの種類を前記音源の種類として推定する手段をさらに有する、
   請求項３に記載の音源特性推定装置。
5. 前記推定された前記音源の位置および方向、ならびに前記推定された前記音源の種類を、１ステップ前の時間ステップにおいて推定された前記音源の位置、向き、および種類と比較して、前記位置および前記方向の偏差が所定の範囲内であり、かつ前記種類が同一であるときに、同一の音源としてグループ化する、音源追跡手段をさらに有する、請求項４に記載の音源特性推定装置。
6. 前記推定された前記音源の位置に対応し前記単位指向特性の異なる複数のビームフォーマーの出力を求め、該出力の合計値を前記音源信号として抽出する手段をさらに有する、請求項１または請求項２に記載の音源特性推定装置。
7. 前記空間内の任意の位置にある複数の音源より発せられた音響信号が前記複数のマイクロフォンに入力されるとき、
   前記マイクロフォンが前記音源信号を検出するとき、前記複数のビームフォーマーの出力を求め、前記空間内の各位置ごとに前記単位指向特性の異なる複数のビームフォーマーに対応する方向について該出力を合計し、合計した出力のうち最大値を有する位置を選択し、該選択した位置において最大値を出力するビームフォーマーに対応する方向を選択し、該選択した位置および方向を第1の音源の位置および方向として推定し、
   前記推定された前記第1の音源の位置に対応する前記単位指向特性の異なる複数のビームフォーマーの出力を求め、該出力の組を前記音源信号として抽出し、
   前記抽出された前記第１の音源の位置より発せられた音源信号が複数のマイクロフォンに入力されるとき、前記抽出された音源信号から、前記マイクロフォン間に生じる音源信号の差異を表す関数を用いて前記複数のマイクロフォンに与える音響信号を単位指向性の異なる複数のビームフォーマーに対応する方向ごとに計算し、その複数の音響信号を前記複数のマイクロフォンのそれぞれで検出された音響信号より減算し、
   前記減算された音響信号に対して前記複数のビームフォーマーの出力を求め、前記空間内の各位置ごとに前記単位指向特性の異なる複数のビームフォーマーに対応する方向について、該出力を合計し、合計した出力のうち最大値を有する位置を選択し、該選択した位置において最大値を出力するビームフォーマーに対応する方向を選択し、該選択した位置および方向を第2の音源の位置および方向として推定し、
   前記推定された前記第2の音源の位置に対応する前記単位指向特性の異なる複数のビームフォーマーの出力を求め、該出力の組を前記第２の音源信号として抽出する手段を更に有する、
   請求項1または請求項2に記載の音源特性推定装置。
   
   

Images