JP4841863B2 - バイノーラル信号に基づいた音源定位 - Google Patents

Description

本発明は、バイノーラル（binaural、両耳の、双聴覚用の）信号の音源位置を算出するための（すなわち、例えば方位平面において相互に変位されている２つの受音器を使用する）技術に関する。目的は、２つのタイプの信号、ＩＴＤ（Interaural Time Differences、両耳間時差）およびＩＬＤ（Interaural Level Differences、両耳間レベル差）／ＩＩＤ（Interaural Intensity Differences、両耳間強度差）の適切な抽出、表示および結合である。

我々が音を分離する主要な方法の１つは、音を空間に置くことである。２つの検出器（例えば、両耳または２つのマイクロフォン）に入ってくる固定音源からの音は、送信時間の差異によって、２つの測定信号を相互に時間的に変位させる。第１の近似において、これは、音源から検出器への直線経路における差異として考えることができる。この時間変位はＩＴＤと称され、音源の方位位置に関する情報を抽出するために使用することができる。

さらに、入射音波は記録装置（例えばロボットヘッド）の構成（３Ｄ形状、素材）によって通常回折および減衰される。これは、両耳の信号レベルの重大な差異をもたらす。このいわゆるＩＬＤは、例えば、両耳の音圧差はほとんどない低周波数において極めて周波数依存的である。しかしながら、音の波長がヘッド径に対して短くなる高周波数においては、例えば頭部遮蔽によってかなりの差異が考えられる。これらの差異は音源の位置によって体系的に変化し、その位置についての情報を得るために使用することができる。

ＩＴＤおよびＩＬＤ信号は相補的に動作する。両者の正確さは周波数範囲および方位音源位置に従って別個に変化する。前処理されていない信号については、複数の可能なシフトサイクルがあるため、高周波数においてＩＴＤの曖昧さが生じる。ＩＬＤ信号を組み込むことは、これらの高周波数に対してのみ確実なレベル差を提供する曖昧さを解決し、これを均一化する。音源定位（localization）に対するＩＴＤキューの効果は、（入射角からの経路差の非線形依存性ゆえに）正面向きに入ってくる信号についてより大きく、側面に移動する音源については小さい。これに反して、ＩＬＤキューは、（この場合は一方の記録装置が、最小限に減衰されている他方の装置を最大限にするために）側面領域においてより正確であり、減衰差の縮小ゆえに正面領域においてはそれ程正確ではない。

一般的な音源定位方法は、遅延ライン（Jeffreysモデル）を介して、または異なる周波数チャネルを相互に体系的にシフトしてこれらを比較する（stereausisモデル）ことによって各周波数チャネルで別個に動作するＩＴＤ算出を含んでいる。ＩＬＤおよびモノラルキューは、ＨＲＴＦのヘッド関連変換関数（外部の耳／マイクロフォン型／素材ゆえの音の位置依存性スペクトラムフィルタリング）によって明確にモデリングされる。

一般的な方法において、方位音源位置に関する３つの問題がある。第１に、特定の方向に正しい代表ベクトルを選択可能にするために、いずれの遅延応答時間シフトがどの方位に対応するかを事前に知ることは通常重要なことである。第２に、適応的理由によってＩＴＤ／ＩＬＤ生成の明確なモデルを回避することが望ましいが、これらは簡単な方法で「学習可能」であるべきである。極めて周波数依存的なＩＴＤおよびＩＬＤ情報の結合方法が１つの問題である。ＩＴＤおよびＩＬＤはしばしば、２つの測定値を比較するのに重要な概念的に異なる手順を使用して算出される。

当技術の既知の解決策の上記欠如に鑑みて、本発明の目的は、バイノーラル信号に基づいた音源定位の技術改良を提供することである。

例えば事前処理フィルタバンクから得られるようなバイノーラル時間周波数スペクトラムを使用して相補的な相関ベースの方法で測定されるＩＴＤ（両耳間時間差）およびＩＬＤ（両耳間レベル差）表示の合同学習および評価方法が提案されている。時間ステップごとに、（同一のクラス、すなわち同一の方位位置に属する信号からの測定値の結合によって生成された）これらの測定値および学習代表値から、周波数およびクラスについての確率分布を算出する。異なる周波数とＩＴＤおよびＩＬＤ測定値に対して抽出されたこれらの確率分布は、一時的な音の位置に対する冗長情報とみなすことができる。時間ステップごとに、これらは情報理論アプローチを使用してキューおよび周波数で結合されて、確実な位置分類と、さらには一時的な分類結果の品質の確実な測定とを得ることができる（例えば、事後推定の最大確率が、確率分布から直接抽出された良好な確実な測定値として作用する）。確率分布はさらに経時的に伝搬し、次の測定値の予測を生成することができ、これによって分類結果が改善され、システムは移動音源を追跡することが可能となる。

バイノーラル検出器構成用の方位音源定位のための方法は以下のステップを含むことができる。

−フィルタバンクを使用してバイノーラル検出器によって生成された２つの信号を事前処理して、（２Ｄ）時間周波数スペクトラムを得るステップ。

−時間周波数スペクトラムの２Ｄパッチで動作する共通の整合手順を使用してＩＴＤおよびＩＬＤ測定値を合同算出するステップ。これは、共に音源を特徴付ける２つの周波数対変位マトリクス（一方はＩＴＤ測定値用、他方はＩＬＤ測定値用である）を生じさせる。これらのマトリクスは以下のステップにおいて全体的に（全変位および全周波数）使用される。

−音源位置ごとに平均周波数対変位マトリクスを学習するステップ。これはＩＴＤおよびＩＬＤ測定値について別個に実行される。

−測定周波数対変位マトリクスを学習マトリクスと比較し、周波数チャネルごとに音源位置の確率分布を得るステップ。これはＩＴＤおよびＩＬＤ測定値の双方に再度実行される。

−ＩＴＤおよびＩＬＤ確率分布マトリクスを結合して、特定の時間ステップでの音源定位の単一の結合確率分布を得るステップ。

−情報理論手順を適用して、該ステップでの音源位置の最良推定を抽出するステップ。

情報理論手順を使用して、さらなる測定値と結合して経時的に音源定位を改善し、かつシステムの移動音源の追跡を可能にすることができる予測を生成することができる。

ＩＴＤおよびＩＬＤ測定結果（すなわち確率分布）の結合は周波数依存的に実行可能である。

あるいはまた、ＩＴＤおよびＩＬＤ測定結果（確率分布）の結合は音源位置パラメータに応じて実行可能である。

音源定位の抽出確率分布はまた、複数の音源についての情報を得るために使用可能である。

仰角（elevation）に特有なバイノーラル特徴を学習することによって、縦方向の抽出キューにおける音源位置に関する情報もまた得ることが可能である。

本発明の別の態様によると、バイノーラル検出器と、方位音源定位のための上記方法のステップによって検出器の出力を処理するように設計されている算出ユニットとを備えているシステムが提案されている。

最後に、本発明は、算出装置で稼動する場合に方位音源定位のための上記方法を実現するコンピュータソフトウェアプログラム製品を目的としている。

本発明のさらなる目的および特徴は、引用図面の図に従ってなされた以下の説明より明らかである。

以下に、本発明の方位音源定位の一般的概念を図１および図２を参照して説明する。

該方法は、バイノーラル検出器３０、すなわち少なくとも２つの別個の音響センサ３１、３２を有する検出器によって検出された２つの音信号成分３、４に基づいてバイノーラル信号１の源Ｓの定位を目的としている。従って入力されたバイノーラル信号１は、方位平面においてシフトされた２つのセンサ（受信器）３１、３２によって検出される（図２のステップ２）。

ａ）周波数対変位マトリクスの学習：
第１に、２つの信号３、４は、２つの２Ｄ時間周波数スペクトラム６（各信号３、４につき１つ）を得るために事前処理される（ステップ５）。次いで、２Ｄ時間周波数スペクトラムの時間ステップごとのＩＴＤおよびＩＬＤ測定値を相関アルゴリズムを使用して算出し（ステップ７）、方位位置に依存するＩＴＤおよびＩＬＤの２Ｄ周波数対変位マトリクスを別個に抽出する。相関は、信号３の時間周波数スペクトラムからの点別ウィンドウ領域と、信号４の時間周波数スペクトラムからの対応するウィンドウ領域とを比較することによって算出される。ＩＴＤについて、点別比較は、例えばＳＳＤ（差の２乗和）または標準相関係数によって算出可能である。ＩＬＤについては、スペクトラムの対数事前処理の後に絶対値のノルムの差を算出することによって実行される。相関を（２Ｄ時間周波数スペクトラムが相互にシフトされることを意味する）全必要変位について算出し、すべての可能な時間シフトを検出する。最大変位パラメータは経験的に判断され、周波数帯域、ヘッドの形状および２つの検出器間の距離に左右される。

前記合同算出の結果を使用して、それぞれＩＴＤおよびＩＬＤ測定値に関する２Ｄ時間周波数スペクトラムの時間ステップごとに２つの異なる周波数対変位マトリクス１０、１１を生成する（ステップ９）。各時間ステップにおいて、２つの周波数対変位マトリクス１０、１１は共に音源を特徴付ける。

次のステップは、異なる音源位置３３の周波数対変位マトリクス１４、１５を学習するステップ１２、１３である。学習は管理下で実行され、これは、音の位置３３は学習プロセス時に既知であることを意味している。この学習ステップはＩＴＤおよびＩＬＤ測定値について別個に実行され、全可能周波数の特定位置３３の代表値であるＩＴＤおよびＩＬＤ基準周波数対変位マトリクスを生じる。図１は、学習が実際に実行可能である様子を示している。音源Ｓは、特定の距離ｄにおいて特定の方位位置ａに配置されている。次いで、異なる信号、例えばシステムが配置可能な周波数スペクトラムをカバーする、別々の人々によって話される音声信号が音源Ｓから流され、周波数対変位マトリクスが算出される。同一位置についての全マトリクスを平均化して、一般的なＩＴＤおよびＩＬＤ周波数対変位マトリクスを得る。この手順を全選択位置３３について実行する。２Ｄ基準パターンは方位角について平滑に変化するので、例えば方位平面に等しく分布している学習用の少数の離散位置のみが学習ステップ時に処理されればよい。

ｂ）学習周波数対変位マトリクスを使用することによる未知の音源位置の推定：
次いで、未知の位置の音源の測定ＩＴＤおよびＩＬＤ周波数対変位マトリクス１０、１１は、周波数チャネルごとに音源位置の確率分布１８、１９を得るために、学習周波数対変位マトリクス１４、１５と比較される（ステップ１６、１７）。比較はＩＴＤおよびＩＬＤについて別個に実行される。従って、ＩＴＤ比較１６は、ＩＴＤの測定周波数対変位マトリクス１０と、学習周波数対変位マトリクス（２Ｄ基準パターン）１４とを比較し、ＩＴＤ確率分布マトリクス１８を出力することである。

ＩＴＤおよびＩＬＤ確率分布マトリクス１８、１９をさらに結合し（ステップ２０）、音源定位の単一結合確率分布２１を得る。ＩＴＤおよびＩＬＤ確率分布１８、１９のこの結合２０は音源位置パラメータに応じて実行可能である。ＩＴＤおよびＩＬＤ測定結果の結合は周波数依存的に実行可能である。ＩＴＤおよびＩＬＤ１８、１９の抽出確率分布をさらに使用して、複数の音源についての情報を得ることができる。これを達成するために、マトリクスの各確率分布は、周波数、キュー（ＩＴＤ、ＩＬＤ）および位置によって調整される測定値の条件的確率として解釈される。周波数およびキューの周辺化（marginalization）は位置によってのみ調整される確率をもたらす。

情報理論手順を該確率分布２１に適用して、音源位置の最良推定２３を抽出する（ステップ２２）。例えばベイズ的アプローチを使用して位置の推定を得ることができる。このために、事前推定（prior）および、今度は尤度（likelihood）として作用する確率分布２１を使用して事後推定（posterior）が算出されなければならない。次いで、方位音源位置の推定は、例えばＭＡＰ（最大事後確率）やＭＭＳＥ（最小平均二乗誤差）などの一般的方法を使用して事後推定から算出することができる。

システムの拡張は、最終時間ステップの確率分布２１を適切に伝搬し、新たな測定確率分布と結合されてそれを経時的に改善することができる次の時間ステップの確率分布の予測を得るステップを備えている。この拡張によって、該システムを使用して、連続的にその位置が変化する音源を追跡することができる。

さらなる実施形態は、仰角に特有なバイノーラル特徴を学習することによって縦方向の抽出キューにおける音源位置についての情報も得ることができる提案された方法を拡張する。

本発明に従った学習ステップを実現するためのセットアップを概略的に示す図である。 本発明に従った音源定位処理のフローチャートである。

符号の説明

１ バイノーラル信号
３、４ 音信号成分
３０ バイノーラル検出器
３１、３２ 音響センサ
３３ 音源位置
ａ 方位位置
ｄ 特定の距離
Ｓ 音源

Claims (7)

1. ａ）バイノーラル信号を構成し、かつ既知の位置で既知の音源から発信される２つの信号成分を処理して、２つの信号の各々の２Ｄ時間周波数スペクトラムを得るステップと、
   ｂ）前記時間周波数スペクトラムのＩＴＤおよびＩＬＤ測定値を合同算出して、一方が前記ＩＴＤ測定値用の、他方が前記ＩＬＤ測定値用の、前記音源を共に特徴付ける２つの周波数対変位マトリクスを生成するステップと、
   ｃ）前記音源の異なる位置のそれぞれにおいてステップａ）およびｂ）を反復し、前記ＩＴＤおよび前記ＩＬＤ測定値について別個に前記音源のそれぞれの位置における平均をとり周波数対変位マトリクスを学習するステップと、
   ｄ）前記ＩＴＤおよび前記ＩＬＤ測定値について別個に、未知の音源の測定周波数対変位マトリクスとステップｃ）で学習されたマトリクスとを比較して、周波数チャネルごとに音源位置の確率分布を得るステップと、
   ｅ）前記ＩＴＤおよびＩＬＤ確率分布マトリクスを結合して、音源定位について単一の結合確率分布を得るステップと、
   ｆ）前記結合ＩＴＤおよびＩＬＤ確率分布マトリクスに基づいて前記音源位置を推定するステップと、
   を有する音源定位のための方法。
2. 前記ＩＴＤおよびＩＬＤ測定結果の結合が、周波数依存的に実行されることを特徴とする、請求項１に記載の方法。
3. 前記ＩＴＤおよびＩＬＤ確率分布の結合が、音源位置パラメータに応じて実行されることを特徴とする、請求項１に記載の方法。
4. 抽出された音源定位の確率分布が、複数の音源についての情報を得るために用いられることを特徴とする、請求項１から３のいずれかに記載の方法。
5. 最終時間ステップの確率分布が適切に伝搬／推定されて、次の確率分布の予測を獲得し、該予測は次いで新たな測定確率分布と結合されて、それを経時的に改善し、移動音源を追跡することを特徴とする、請求項１乃至請求項４のいずれかに記載の方法。
6. バイノーラル検出器と、請求項１乃至請求項５のいずれかに記載の方法によって前記バイノーラル検出器の出力を処理するように設計されている計算ユニットと、を有するシステム。
7. 計算装置で稼動する場合に、請求項１乃至請求項５のいずれかに記載の方法を実現するためのコンピュータソフトウェアプログラム。

Images