JP5642339B2

JP5642339B2 - 信号分離装置及び信号分離方法

Info

Publication number: JP5642339B2
Application number: JP2008061727A
Authority: JP
Inventors: 智哉高谷; ジャニエバン
Original assignee: Nara Institute of Science and Technology NUC; Toyota Motor Corp
Current assignee: Nara Institute of Science and Technology NUC; Toyota Motor Corp
Priority date: 2008-03-11
Filing date: 2008-03-11
Publication date: 2014-12-17
Anticipated expiration: 2028-03-11
Also published as: US8452592B2; US20110029309A1; JP2009217063A; WO2009113192A1

Description

本発明は、複数の信号が空間内で混合された状態において、特定の信号を抽出する信号分離装置及び信号分離方法に関し、特に、パーミュテーション解決技術に関する。

現在、マイクロフォンアレイを用いて、ハンズフリーでユーザ音声のみ抽出する技術の開発が進んでいる。このような音声抽出技術を適用したシステムにおいては、抽出しようとするユーザ音声以外の発話音声（干渉音）や環境騒音と呼ばれる拡散性のノイズ（雑音）が、通常、当該ユーザ音声に混入しているため、正確に音声認識するためには、かかるノイズを抑圧することが必要である。

ノイズを抑圧するための処理手法としては、音源の独立性を仮定して周波数領域でフィルタを学習、分離する周波数領域独立成分分析が有効である。この手法は、各周波数帯域においてフィルタを設計するため、最終的にフィルタが、抽出すべきユーザ音声か、ノイズのいずれの音源に対して設計されたものであるかをクラスタリングする必要がある。このようなクラスタリングは、「パーミュテーション（入れ替わり）問題の解決」と呼ばれる。かかる解決に失敗した場合には、仮に独立成分分析で各周波数帯域において抽出すべきユーザ音声とノイズの分離が正しく行われていても、最終的にはユーザ音声とノイズが混合された音が出力されてしまう。

例えば、特許文献１にパーミュテーション問題の解決に関する技術が提案されている。この文献に開示されたシステムでは、観測信号を短時間フーリエ変換し、独立成分分析により各周波数での分離行列を求め、各周波数での分離行列の各行により取り出される信号の到来方向を推定し、その推定値が十分に信頼できるかどうかを判定している。さらに、周波数間で分離信号の類似度を計算し、各周波数で分離行列を求めた後にパーミュテーションを解決している。

図６にパーミュテーション解決部の構成例を示す。パーミュテーション解決部２４は、音源方位推定部２４３と、クラスタリング決定部２４２を備えている。音源方位推定部２４３は、各周波数での分離行列の各行により取り出される信号の到来方向を推定する。クラスタリング決定部２４２は、音源方位推定部２４３によって実行された、信号の到来方向の推定が十分に信頼できると判定された周波数ではそれらの方向を揃えることにより、パーミュテーションを決定し、その他の周波数では近傍の周波数との分離信号の類似度を高めるようにパーミュテーションを決定している。

特開２００４−１４５１７２号公報

特許文献１に開示されたパーミュテーション問題の解決技術では、ノイズが１点から放射される点音源であると仮定されており、各周波数帯域で推定された音源角度に基づいてクラスタリングしている。しかしながら、拡散性ノイズの場合には、ノイズの方位を特定することができないため、クラスタリング時の推定誤りが大きくなり、後段の類似度計算を行っても所望の動作を行うことができない。

本発明は、かかる課題を解決するためになされたものであり、パーミュテーション問題を正しく解決し、抽出すべきユーザ音声を分離可能な信号分離装置及び信号分離方法を提供することを目的とする。

本発明にかかる信号分離装置は、入力された音信号から特定の音声信号とノイズ信号を分離する信号分離装置であって、前記音信号において少なくとも第１の信号と第２の信号を分離する信号分離手段と、前記信号分離手段によって分離された第１の信号と第２の信号のそれぞれの結合確率密度分布を算出する結合確率密度分布算出手段と、前記結合確率密度分布算出手段によって算出された結合確率密度分布の形状に基づいて、前記第１の信号と前記第２の信号のいずれが前記特定の音声信号かノイズ信号かを決定するクラスタリング決定手段とを備えたものである。

ここで、前記クラスタリング決定手段は、当該結合確率密度分布の形状が非ガウス形状である信号を特定の音声信号と判定し、ガウス形状である信号をノイズ信号と判定することが望ましい。

また、前記クラスタリング決定手段は、当該結合確率密度分布の形状における分布幅に基づいて特定の音声信号とノイズ信号を判別するが望ましい。

さらに、前記クラスタリング決定手段は、前記結合確率密度分布の形状において最大となる頻度値に基づいて決定された頻度値における分布幅に基づいて、特定の音声信号とノイズ信号を判別することが好ましい。

また、前記信号分離手段は、入力した音信号に含まれる複数の周波数のそれぞれについて第１の信号と第２の信号を分離することが好ましい。

本発明にかかるロボットは、上述の信号分離装置と、前記信号分離装置に対して音信号を供給する複数のマイクロフォンからなるマイクロフォンアレイとを備えている。

本発明にかかる信号分離方法は、入力された音信号から特定の音声信号とノイズ信号を分離する信号分離方法であって、前記音信号において少なくとも第１の信号と第２の信号を分離するステップと、前記第１の信号と第２の信号のそれぞれの結合確率密度分布を算出するステップと、算出された結合確率密度分布の形状に基づいて、前記第１の信号と前記第２の信号のいずれが前記特定の音声信号かノイズ信号かを決定するステップとを備えたものである。

ここで、当該結合確率密度分布の形状が非ガウス形状である信号を特定の音声信号と判定し、ガウス形状である信号をノイズ信号と判定することが望ましい。

また、前記結合確率密度分布の形状における分布幅に基づいて特定の音声信号とノイズ信号を判別することが望ましい。

さらに、前記結合確率密度分布の形状において最大となる頻度値に基づいて決定された頻度値における分布幅に基づいて、特定の音声信号とノイズ信号を判別することが好ましい。

また、入力した音信号に含まれる複数の周波数のそれぞれについて第１の信号と第２の信号を分離することが望ましい。

本発明によれば、パーミュテーション問題を正しく解決し、抽出すべきユーザ音声を分離可能な信号分離装置及び信号分離方法を提供することができる。

まず、図１のブロック図を用いて、発明の実施の形態にかかる信号分離装置の全体構成及びその処理について説明する。

図に示されるように、信号分離装置１０は、アナログ／デジタル（Ａ／Ｄ）変換部１と、雑音抑圧処理部２と、音声認識部３を備えている。信号分離装置１０には、複数のマイクロフォンからなるマイクロフォンアレイＭ１〜Ｍｋが接続され、各マイクロフォンによって検出された音信号が入力される。信号分離装置１０は、例えば、ショールームやイベント会場に配置された案内ロボットやその他のロボットに搭載される。

Ａ／Ｄ変換部１は、マイクロフォンアレイＭ１〜Ｍｋから入力されたそれぞれの音信号を、デジタル信号、即ち音データに変換して雑音抑圧処理部２に出力する。

雑音抑圧処理部２は、入力された音データに含まれるノイズを抑圧する処理を実行する。当該雑音抑圧処理部２は、図に示されるように、離散フーリエ変換部２１、独立成分分析部２２、利得補正部２３、パーミュテーション解決部２４、逆離散フーリエ変換部２５を備えている。

離散フーリエ変換部２１は、各マイクロフォンに対応した音データのそれぞれについて、離散フーリエ変換を実行し、周波数スペクトルの時系列を特定する。

独立成分分析部２２は、離散フーリエ変換部２１より入力された周波数スペクトルに基づいて独立成分分析（ＩＣＡ：Independent Component Analysis）を行い、各周波数での分離行列を算出する。独立成分分析の具体的な処理については、例えば、特許文献１に詳細に開示されている。

利得補正部２３は、独立成分分析部２２によって算出された各周波数での分離行列に対して利得補正処理を実行する。

パーミュテーション解決部２４は、パーミュテーション問題を解決するための処理を実行する。具体的な処理については後に詳述する。

逆離散フーリエ変換部２５は、逆離散フーリエ変換を実行し、周波数領域のデータを時間領域のデータに変換する。

音声認識部３は、雑音抑圧処理部２によってノイズが抑圧された音データに基づいて音声認識処理を実行する。

続いて、パーミュテーション解決部２４の構成及び処理について、図２のブロック図を用いて説明する。図２に示されるように、パーミュテーション解決部２４は、結合確率密度分布推定部２４１と、クラスタリング決定部２４２を備えている。

結合確率密度分布推定部２４１は、各周波数での分離信号について結合確率密度分布を計算し、その結合確率密度分布を計算する。

クラスタリング決定部２４２は、結合確率密度分布推定部２４１において推定された結合確率密度分布形状よりクラスタリングを決定する。具体的には、かかるクラスタリング決定部２４２は、結合確率密度分布形状がユーザ音声に特有の非ガウス信号か、広範な範囲にわたるガウス信号であるノイズかを判定する。

図４に結合確率密度分布形状の例を示す。図において、Ｖがユーザ音声であり、Ｎがノイズである。ユーザ音声Ｖは、通常、非ガウス信号であり、特定の振幅をピークとする急峻な形状を有している。これに対してノイズは、ユーザ音声Ｖと比較して広範囲にわたって分布している。従って、ユーザ音声ＶとノイズＮを比較すると、最大値や平均値等に基づいて決定される頻度における振幅の分布幅がユーザ音声Ｖの方がノイズＮよりも狭い。

このとき、実際の処理において、当該クラスタリング決定部２４２は、結合確率密度分布において、最大値から一定割合分、頻度の値を下げたときの分布幅の値をそれぞれの分離信号について算出する。そして、それらの分布幅を比較し、分布幅が小さいと判定された分離信号をユーザ音声と判定し、分布幅が大きい方をノイズと判定する。

続いて、図３のフローチャートを用いて、パーミュテーション問題の解決処理について具体的に説明する。

まず、独立成分分析部２２等によって、複数の分離信号からなる分離信号群Ｙ_ｌ（ｆ，ｍ）を作成する（Ｓ１０１）。ここで、ｌは群番号、ｆは周波数ビン、ｍはフレーム番号である。次に、パーミュテーション解決部２４の結合確率密度分布推定部２４１は、未決定の周波数ビンがあるかどうかを判定する（Ｓ１０２）。結合確率密度分布推定部２４１は、判定の結果、未決定の周波数ビンがあると判定した場合には、未決定の周波数ビンからｆ_０を選択する（Ｓ１０３）。

そして、結合確率密度分布推定部２４１は、周波数ｆ_０の分離信号群Ｙ_ｌ（ｆ_０，ｍ）の結合確率密度分布を計算する（Ｓ１０４）。次に、クラスタリング決定部２４２は、計算された周波数ｆ_０の分離信号群Ｙ_ｌ（ｆ_０，ｍ）の結合確率密度分布の形状より特徴量（非ガウス性）を抽出する（Ｓ１０５）。

クラスタリング決定部２４２は、抽出された特徴量に基づいて、非ガウス性が最も高い信号を音声Ｙ_１（ｆ_０，ｍ）とし、それ以外の信号をノイズＹ_２（ｆ_０，ｍ）と決定する（Ｓ１０６）。その後、ステップＳ１０２の処理に戻る。

ステップＳ１０２において、未決定の周波数ビンがないと判定された場合には、各周波数において、ユーザ音声かノイズかをクラスタリングされた結果を示す、音声Ｙ_１（ｆ，ｍ）、ノイズＹ_２（ｆ，ｍ）を出力する。

図５を用いて、本実施の形態にかかる信号分離方法について検証した結果につき説明する。図において白抜き部分が信号が存在することを示す。図５（ａ）は、分離信号Ｙ_１（ｆ_０，ｍ）と、分離信号Ｙ_２（ｆ_０，ｍ）のそれぞれに音声とノイズが混入している場合、即ち、音声とノイズが独立でない場合を示している。この場合には、Ｙ_１軸、Ｙ_２軸ともに同様の信号波形が得られた。

図５（ｂ）は、分離信号Ｙ_１（ｆ_０，ｍ）が音声、分離信号Ｙ_２（ｆ_０，ｍ）がノイズである場合を示している。この場合には、Ｙ_１軸上では非ガウス分布が観察され、Ｙ_２軸上ではガウス分布が観察された。

図５（ｃ）は、分離信号Ｙ１がノイズ、分離信号Ｙ２が音声である場合を示している。この場合には、Ｙ_１軸上ではガウス分布が観察され、Ｙ_２軸上では非ガウス分布が観察された。図５（ｂ）（ｃ）で示されるように音声がＹ_１、Ｙ_２で入れ替わっていることが図のような分析結果をみればわかる。

以上、説明したように、本実施の形態にかかる信号分離装置では、分離信号の結合確率密度分布の形状に基づいて、クラスタリング決定したため、どのクラスタがユーザ音声かを正確に判別することができる。

本発明にかかる信号分離装置の全体構成を示すブロック図である。本発明にかかるパーミュテーション解決部の構成を示すブロック図である。本発明にかかる信号分離処理の流れを示すフローチャートである。分離信号の結合確率密度分布の例を示すグラフである。本発明にかかる信号分離方法について検証した結果を説明するための図である。従来のパーミュテーション解決部の構成を示すブロック図である。

符号の説明

１Ａ／Ｄ変換部
２雑音抑圧処理部２
３音声認識部
２１離散フーリエ変換部
２２独立成分分析部
２３利得補正部
２４パーミュテーション解決部
２５逆離散フーリエ変換部
２４１結合確率密度分布推定部
２４２クラスタリング決定部
２４３音源方位推定部

Claims

入力された音信号から特定の音声信号とノイズ信号を分離する信号分離装置であって、
フーリエ変換により前記音信号を周波数スペクトルの信号に変換するフーリエ変換手段と、
前記フーリエ変換手段によりフーリエ変換された前記音信号において少なくとも第１の信号と第２の信号を独立成分分析を用いて分離する信号分離手段と、
前記信号分離手段によって分離された第１の信号と第２の信号のそれぞれの結合確率密度分布を算出する結合確率密度分布算出手段と、
前記第１の信号と前記第２の信号について、前記結合確率密度分布算出手段が算出した前記結合確率密度分布の形状において最大となる頻度値に基づいて決定された頻度値における分布幅を比較することにより、当該第１の信号と当該第２の信号のうち、当該分布幅が小さいと判定された信号を前記特定の音声信号と決定し、当該分布幅が大きいと判定された信号を前記ノイズ信号と決定するクラスタリング決定手段とを備えた信号分離装置。
前記信号分離手段は、入力した音信号に含まれる複数の周波数のそれぞれについて第１の信号と第２の信号を分離することを特徴とする請求項１に記載の信号分離装置。
請求項１又は２のいずれかに記載の信号分離装置と、前記信号分離装置に対して音信号を供給する複数のマイクロフォンからなるマイクロフォンアレイとを備えたロボット。
入力された音信号から特定の音声信号とノイズ信号を分離する信号分離方法であって、
フーリエ変換により前記音信号を周波数スペクトルの信号に変換するステップと、
フーリエ変換された前記音信号において少なくとも第１の信号と第２の信号を独立成分分析を用いて分離するステップと、
前記第１の信号と第２の信号のそれぞれの結合確率密度分布を算出するステップと、
前記第１の信号と前記第２の信号について、算出した前記結合確率密度分布の形状において最大となる頻度値に基づいて決定された頻度値における分布幅を比較することにより、当該第１の信号と当該第２の信号のうち、当該分布幅が小さいと判定された信号を前記特定の音声信号と決定し、当該分布幅が大きいと判定された信号を前記ノイズ信号と決定するステップとを備えた信号分離方法。
入力した音信号に含まれる複数の周波数のそれぞれについて第１の信号と第２の信号を分離することを特徴とする請求項４に記載の信号分離方法。