JPWO2010079526A1 - 雑音除去装置及び雑音除去プログラム - Google Patents

Abstract

指向性制御部１０が、複数のマイクロホン２，３の出力信号から、信号処理により目的音方向に指向性を向けた主ビーム信号と目的音方向に死角を向けた副ビーム信号とを算出し、周波数分析部２０がスペクトルに変換する。音源判別部３０は、主ビーム信号と副ビーム信号のスペクトルから音源が音声か、定常騒音か、非定常騒音かを判別して音源判別結果として出力すると共に、主ビーム信号に対する騒音の統計量である平均スペクトルを算出する。妨害音除去部５０は、主ビーム信号のスペクトルから平均スペクトルを減算して妨害音を除去する。

Description

この発明は、複数のマイクロホンを用いて雑音を除去する雑音除去装置及び雑音除去プログラムに関するものである。

従来、音声認識及びハンズフリー通話では、音声に雑音が重畳することにより、認識性能及び明瞭性が低下するという問題があった。このような問題を解決する技術として様々な雑音除去手法が提案されているが、ひとつの手法として複数のマイクロホンを用いた雑音除去手段がある。一般的に、複数のマイクロホンを用いることで１つのマイクロホンを用いた場合よりも雑音抑圧効果を高めることができる。

複数のマイクロホンを用いた雑音除去手法として、複数マイクロホンの入力のパワー差及び時間差を比較し、目的音以外の成分を除去する手法が知られている（例えば、特許文献１参照）。この手法では、複数のマイクロホンの出力信号を周波数分析し帯域別に各チャネルのパワー差または時間差を比較することで、各チャネルから目的音源の成分を選択し不要成分を抑圧していた。

特許第３４３５３５７号

特許文献１に記載された手法は、マイクロホンの出力信号同士を直接比較するため、設置したマイクロホンの特性、設置方向、及び設置間隔によっては、目的音と妨害音のパワー差または時間差が小さくなり雑音除去能力が低下するという課題があった。

この発明は上記した課題を解決するためになされたものであり、複数のマイクロホンの出力信号に対して信号処理により指向性を制御するようにして、強調された目的音と目的音が抑圧された妨害音を比較することにより、パワー差を明確にして雑音除去能力を向上させることを目的とする。また、信号処理により指向性を制御するようにして、目的音方向が変わるような場合でもマイクロホン設置位置を変えることなく雑音除去を行うことができるようにする。また、騒音の統計量を用いて妨害音を除去するようにして、目的音と選択された帯域に騒音が重畳している場合でも騒音を除去できるようにする。

この発明の雑音除去装置は、複数のマイクロホンの出力信号から、信号処理により目的音方向に指向性を向けた主ビーム信号と目的音方向に死角を向けた副ビーム信号とを算出する指向性制御部と、指向性制御部で算出した主ビーム信号と副ビーム信号それぞれに対して周波数分析を行い、主ビーム信号及び副ビーム信号のスペクトルを算出する周波数分析部と、周波数分析部で算出した主ビーム信号と副ビーム信号のスペクトルから音源の種類を判別して音源判別結果として出力すると共に、主ビーム信号に対する騒音の統計量を算出する音源判別部と、周波数分析部で算出した副ビーム信号のスペクトル、ならびに音源判別部から入力した音源判別結果及び騒音の統計量を用いて、当該主ビーム信号のスペクトルから妨害音を除去する妨害音除去部とを備えるようにしたものである。

この発明によれば、雑音除去装置において、信号処理により指向性を制御して主ビーム信号及び副ビーム信号を算出することにより、強調された目的音と目的音が抑圧された妨害音を比較することができ、この結果、パワー差を明確にして雑音除去能力を向上させることができる。また、目的音方向が変わるような場合でもマイクロホン設置位置を変えることなく雑音除去を行うことができる。また、騒音の統計量を用いて妨害音を除去することにより、目的音と選択された帯域に騒音が重畳している場合でも騒音を除去できる。

この発明の雑音除去プログラムは、コンピュータを、複数のマイクロホンの出力信号から、信号処理により目的音方向に指向性を向けた主ビーム信号と目的音方向に死角を向けた副ビーム信号とを算出する指向性制御手段と、指向性制御手段で算出した主ビーム信号と副ビーム信号それぞれに対して周波数分析を行い、主ビーム信号及び副ビーム信号のスペクトルを算出する周波数分析手段と、周波数分析手段で算出した主ビーム信号と副ビーム信号のスペクトルから音源の種類を判別して音源判別結果として出力すると共に、主ビーム信号に対する騒音の統計量を算出する音源判別手段と、周波数分析手段で算出した副ビーム信号のスペクトル、ならびに音源判別手段で出力した音源判別結果及び騒音の統計量を用いて、当該主ビーム信号のスペクトルから妨害音を除去する妨害音除去手段として機能させるようにしたものである。

この発明によれば、雑音除去プログラムは、信号処理により指向性を制御して主ビーム信号及び副ビーム信号を算出することにより、強調された目的音と目的音が抑圧された妨害音を比較することができ、この結果、パワー差を明確にして雑音除去能力を向上させることができる。また、目的音方向が変わるような場合でもマイクロホン設置位置を変えることなく雑音除去を行うことができる。また、騒音の統計量を用いて妨害音を除去することにより、目的音と選択された帯域に騒音が重畳している場合でも騒音を除去できる。

この発明の実施の形態１に係る雑音除去装置１の構成を示すブロック図である。 この発明の実施の形態１に係る雑音除去装置１における音源判別部３０の内部構成を示すブロック図である。 この発明の実施の形態１に係る雑音除去装置１における妨害音除去部５０の内部構成を示すブロック図である。 この発明の実施の形態１に係る雑音除去装置１の指向性制御部１０及び周波数分析部２０の動作を示すフローチャートである。 この発明の実施の形態１に係る雑音除去装置１の音源判別部３０の動作を示すフローチャートである。 この発明の実施の形態１に係る雑音除去装置１の音源判別部３０の動作を示すフローチャートの続きである。 この発明の実施の形態１に係る雑音除去装置１の妨害音除去部５０の動作を示すフローチャートである。 この発明の実施の形態２に係る雑音除去装置１の構成を示すブロック図である。 この発明の実施の形態２に係る雑音除去装置１の目的音方向通知部６０、指向性制御部１０及び周波数分析部２０の動作を示すフローチャートである。 この発明の実施の形態３に係る雑音除去装置１の構成を示すブロック図である。 この発明の実施の形態３に係る雑音除去装置１の言語通知部８０及び妨害音除去部５０の動作を示すフローチャートである。 この発明の実施の形態４に係る雑音除去装置１の妨害音除去部５０の内部構成を示すブロック図である。 この発明の実施の形態４に係る雑音除去装置１の妨害音除去部５０の動作を示すフローチャートである。 この発明の実施の形態４に係る雑音除去装置１の妨害音除去部５０の動作を示すフローチャートの続きである。

以下、この発明をより詳細に説明するために、この発明を実施するための最良の形態について、添付の図面に従って説明する。
実施の形態１．
図１は、この発明の実施の形態１に係る雑音除去装置１の構成を示すブロック図である。図において、雑音除去装置１は、複数のマイクロホン２，３の出力信号から雑音を除去した信号を算出する装置であって、指向性制御部１０、周波数分析部２０、音源判別部３０、騒音スペクトルメモリ４０、妨害音除去部５０を備えている。なお、実施の形態１では複数のマイクロホンの一例としてマイクロホン２，３を用いるが、任意の個数を用いてもかまわない。

指向性制御部１０は、複数のマイクロホン２，３の出力信号に対して信号処理により指向性を制御する部位であり、目的音方向に指向性を向けた主ビーム信号と目的音方向に死角を向けた副ビーム信号を出力する。

周波数分析部２０は、指向性制御部１０が出力する主ビーム信号と副ビーム信号に対してＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）等の周波数分析を行う部位であり、主ビーム信号のスペクトルと副ビーム信号のスペクトルをそれぞれ音源判別部３０及び妨害音除去部５０へ出力する。

音源判別部３０は、主ビーム信号と副ビーム信号のスペクトルから音源が音声か非定常騒音か定常騒音かの判別を行う部位であり、音源判別結果を妨害音除去部５０へ出力すると共に、主ビーム信号のスペクトルを騒音スペクトルメモリ４０へ出力する。

騒音スペクトルメモリ４０は、音源判別部３０から出力された主ビーム信号に対する騒音の統計量を記憶すると共に、騒音の統計量である平均スペクトルを妨害音除去部５０へ出力する。

妨害音除去部５０は、音源判別部３０から出力された音源判別結果と周波数分析部２０から出力された副ビーム信号のスペクトルと騒音スペクトルメモリ４０から出力された騒音の平均スペクトルを用いて、周波数分析部２０から出力された主ビーム信号のスペクトルから妨害音（雑音）を除去する部位であり、雑音を除去した主ビーム信号のスペクトルを生成する。

また、図２は実施の形態１に係る雑音除去装置１における音源判別部３０の内部構成を示すブロック図である。図において、音源判別部３０は、帯域制限部３１、差分パワー算出部３２、騒音統計量算出部３３、ＳＮＲ（信号対雑音比）推定部３４、判別部３５を備えている。

帯域制限部３１は、主ビーム信号と副ビーム信号のスペクトルに対して帯域制限を行う部位であり、帯域制限を行った主ビーム信号と副ビーム信号の帯域制限パワーを差分パワー算出部３２へ出力する。

差分パワー算出部３２は、主ビーム信号と副ビーム信号の帯域制限パワーから主ビーム信号と副ビーム信号の差分パワーを算出する部位であり、算出した差分パワーを判別部３５へ出力する。

騒音統計量算出部３３は、帯域制限部３１から出力された主ビーム信号のスペクトルから騒音の統計量を算出する部位であり、算出した騒音の統計量と主ビーム信号のスペクトルをＳＮＲ推定部３４へ出力すると共に、騒音の統計量を騒音スペクトルメモリ４０へ出力する。

ＳＮＲ推定部３４は、騒音統計量算出部３３から出力された主ビーム信号のスペクトルと騒音の統計量から現在のＳＮＲを推定する部位であり、推定したＳＮＲを判別部３５へ出力する。

判別部３５は、差分パワー算出部３２から出力された差分パワーとＳＮＲ推定部３４から出力された推定ＳＮＲから、マイクロホン２，３からの現在の入力が音声か定常騒音か非定常騒音かを判別する部位であり、判定の結果を音源判別結果として妨害音除去部５０へ出力する。

また、図３は実施の形態１に係る雑音除去装置１における妨害音除去部５０の内部構成を示すブロック図である。図において、妨害音除去部５０は、帯域別パワー抑圧部５１、定常騒音除去部５２を備えている。

帯域別パワー抑圧部５１は、周波数分析部２０から出力された主ビーム信号と副ビーム信号のスペクトルに対して帯域毎のパワーを比較して、抑圧条件を満たす場合に主ビーム信号のスペクトルの該当する帯域のパワーを抑圧する部位であり、抑圧後の主ビーム信号のスペクトル（抑圧スペクトル）を定常騒音除去部５２へ出力する。

定常騒音除去部５２は、帯域別パワー抑圧部５１が出力する抑圧後の主ビーム信号スペクトルから、騒音スペクトルメモリ４０に記憶されている騒音の統計量である平均スペクトルを減算する部位であり、平均スペクトル減算後の主ビーム信号のスペクトル（抑圧減算スペクトル）を出力する。

なおここでは、雑音除去装置１の構成要素のうち、指向性制御部１０、周波数分析部２０、音源判別部３０、騒音スペクトルメモリ４０、妨害音除去部５０、帯域制限部３１、差分パワー算出部３２、騒音統計量算出部３３、ＳＮＲ推定部３４、判別部３５、帯域別パワー抑圧部５１、定常騒音除去部５２はそれぞれ専用の回路によりハードウェアとして構成するものとして説明するが、雑音除去装置１がコンピュータで構成される場合には、指向性制御部１０、周波数分析部２０、音源判別部３０、騒音スペクトルメモリ４０、妨害音除去部５０、帯域制限部３１、差分パワー算出部３２、騒音統計量算出部３３、ＳＮＲ推定部３４、判別部３５、帯域別パワー抑圧部５１、定常騒音除去部５２の処理内容を記述しているプログラムをコンピュータのメモリに格納し、コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。

次に、雑音除去装置１の動作を説明する。図４は雑音除去装置１の指向性制御部１０及び周波数分析部２０の動作を示すフローチャートである。まず複数のマイクロホンの出力信号ｘ_m（ｎ）（ｍ＝１，２，‥，Ｍ）が入力されると、指向性制御部１０は主ビーム信号ｙ₁（ｎ）を以下の式（１）に基づき算出する（ステップＳＴ１０１）。式（１）においてｈ_1m（ｎ）はマイクロホンｍ（図１ではマイクロホン２，３）の出力信号に対する主ビームのフィルタ係数、＊は畳み込み演算を表す。指向性制御部１０は、フィルタ係数ｈ_1m（ｎ）を目的音方向に対する感度を保ちつつ、目的音方向の感度を抑圧するように事前に学習しておく。学習には適応フィルタの学習方法として公知であるＮＬＭＳ法等を用いることができる。

また、指向性制御部１０は副ビーム信号ｙ₂（ｎ）を以下の式（２）に基づき算出する（ステップＳＴ１０２）。式（２）においてｈ_2m（ｎ）はマイクロホンｍの出力信号に対する副ビームのフィルタ係数である。指向性制御部１０は、フィルタ係数ｈ_2m（ｎ）を目的音方向に対する感度を抑圧しつつ、その他の方向の感度を保つように事前に学習しておく。なお、上記の説明ではステップＳＴ１０１の後にステップＳＴ１０２を行う手順で説明しているが、ステップＳＴ１０１とステップＳＴ１０２を並列に処理しても良い。

次に、周波数分析部２０は主ビーム信号ｙ₁（ｎ）のフレームｔにおけるＬサンプルの入力（Ｌ（ｔ−１）≦ｎ≦Ｌｔ）に対してハミング窓等の窓関数を適用後、ＦＦＴ等の周波数分析を行って、主ビーム信号のフレームｔのスペクトルＰ_1t（ｆ）を算出する（ステップＳＴ１０３）。ｆは周波数の帯域番号である。

また、周波数分析部２０は副ビーム信号ｙ₂（ｎ）のフレームｔにおけるＬサンプルの入力（Ｌ（ｔ−１）≦ｎ≦Ｌｔ）に対してハミング窓等の窓関数を適用後、ＦＦＴ等の周波数分析を行って、副ビーム信号のフレームｔのスペクトルＰ_2t（ｆ）を算出する（ＳＴ１０４）。なお、上記の説明ではステップＳＴ１０３の後にステップＳＴ１０４を行う手順で説明しているが、ステップＳＴ１０３とステップＳＴ１０４を並列に処理しても良い。
以上が雑音除去装置１の指向性制御部１０及び周波数分析部２０の動作例である。

次に、音源判別部３０の動作を説明する。図５Ａおよび図５Ｂは雑音除去装置１の音源判別部３０の動作を示すフローチャートである。まず、帯域制限部３１が主ビーム信号のフレームｔのスペクトルＰ_1t（ｆ）からフレームｔの主ビーム信号の帯域制限パワーＰＯＷ_1tを以下の式（３）に基づき算出する（ステップＳＴ１０５）。式（３）においてＦ_minは帯域制限する下限周波数、Ｆ_maxは上限周波数である。

また、帯域制限部３１は副ビーム信号のフレームｔのパワースペクトルＰ_2t（ｆ）からフレームｔの副ビーム信号の帯域制限パワーＰＯＷ_2tを以下の式（４）に基づき算出する（ステップＳＴ１０６）。

差分パワー算出部３２はフレームｔの帯域制限パワーの差分パワーＤ_tを以下の式（５）に基づき算出する（ステップＳＴ１０７）。
なお、後述するように差分パワーＤ_tは音源が目的音方向であるかどうかを判別するパラメータとして利用されるため、上限周波数Ｆ_maxは空間的なエイリアジングが起きない上限帯域、つまり時間差から方向が一意に決まる上限帯域に設定することが望ましい。よって、空間エイリアジングＦ_maxはマイクロホン２，３の設置間隔Ｄ_micから以下の式（６）に基づき算出できる。なお、式（６）においてＣは音速（３３１．５ｍ／ｓ）、ＳＦはサンプリング周波数（Ｈｚ）、Ｎ_ＦＦＴはＦＦＴのポイント数である。

騒音統計量算出部３３は以下の手順で騒音の統計量、即ち周波数番号ｆの騒音スペクトル（後述の条件に該当する主ビーム信号のスペクトル）の平均値μ_fと標準偏差σ_fを更新する。騒音統計量算出部３３はまず、周波数番号ｆを０に設定する（ステップＳＴ１０８）。騒音統計量算出部３３は、周波数番号ｆがＦＦＴポイント数Ｎ_ＦＦＴよりも小さい場合（ステップＳＴ１０９“Ｙｅｓ”）にはステップＳＴ１１０へ進み、そうでない場合（ＳＴ１０９“Ｎｏ”）はステップＳＴ１１３に進む。

騒音統計量算出部３３は、フレーム番号ｔが初期化フレーム数ＩＮＩＴ_ＦＲＡＭＥより小さいか、Ｐ_1t（ｆ）−μ（ｆ）＜ｋσ（ｆ）の条件を満たす場合（ステップＳＴ１１０“Ｙｅｓ”）にはステップＳＴ１１１へ進み、そうでない場合（ステップＳＴ１１０“Ｎｏ”）はステップＳＴ１１２に進む。ｋは更新パラメータであり、値が大きいと騒音変動に対する追従性が高くなり、値が小さいと騒音変動に対する追従性が低くなる。

続いて騒音統計量算出部３３は、以下の式（７）〜（１３）に基づき平均値μ_f及び標準偏差σ_fを更新する（ステップＳＴ１１１）。式（７）〜（１３）において、ＳＵＭ１（ｆ）、ＳＵＭ２（ｆ）は周波数番号ｆに対する加算用バッファ、ＢＵＦＳＩＺＥは統計量を算出するフレーム数、ｃｎｔ（ｆ）は周波数番号ｆのカウンタ、ｏｌｄｅｓｔは加算用バッファ内で加算されている最も古いフレーム番号を表す。

騒音統計量算出部３３は、周波数番号ｆをインクリメントして（ステップＳＴ１１２）、ステップＳＴ１０９へ戻る。

周波数番号ｆがＦＦＴポイント数Ｎ_ＦＦＴ以上の場合（ＳＴ１０９“Ｎｏ”）、騒音統計量算出部３３はステップＳＴ１１３に進む。ステップＳＴ１１３において、ＳＮＲ推定部３４は主ビーム信号のフレームｔのＳＮＲ_tを以下の式（１４）に基づき推定する。

判別部３５は以下の手順で音源の判別を行う。判別部３５はまず、ＳＮＲ_tが閾値ＴＨ１よりも大きい場合（ステップＳＴ１１４“Ｙｅｓ”）にステップＳＴ１１５に進み、そうでない場合（ステップＳＴ１１４“Ｎｏ”）はステップＳＴ１１６に進む。

判別部３５は、ＳＮＲ_tが閾値ＴＨ１よりも大きく、差分パワーＤ_tが閾値ＴＨ２よりも小さい場合（ステップＳＴ１１５“Ｙｅｓ”）に音源判別結果Ｒｅｓ_tに「音声」を代入し（ステップＳＴ１１７）、ＳＮＲ_tが閾値ＴＨ１よりも大きく、差分パワーＤ_tが閾値ＴＨ２以上の場合（ステップＳＴ１１５“Ｎｏ”）は音源判別結果Ｒｅｓ_tに「非定常騒音」を代入する（ステップＳＴ１１８）。
他方、判別部３５は、ＳＮＲ_tが閾値ＴＨ１以下で、差分パワーＤ_tが閾値ＴＨ３よりも小さい場合（ステップＳＴ１１６“Ｙｅｓ”）に音源判別結果Ｒｅｓ_tに「非定常騒音」を代入し（ステップＳＴ１１８）、ＳＮＲ_tが閾値ＴＨ１以下で、差分パワーＤ_tが閾値ＴＨ３以上の場合（ステップＳＴ１１６“Ｎｏ”）に音源判別結果Ｒｅｓ_tに「定常騒音」を代入する（ステップＳＴ１１９）。
以上が雑音除去装置１の音源判別部３０の動作例である。

次に、妨害音除去部５０の動作を説明する。図６は雑音除去装置１の妨害音除去部５０の動作を示すフローチャートである。帯域別パワー抑圧部５１はまず、周波数番号ｆを０に設定する（ステップＳＴ１２０）。

帯域別パワー抑圧部５１は、周波数番号ｆが上限周波数Ｆ_maxよりも小さいか周波数番号ｆがＮ_ＦＦＴ−Ｆ_maxよりも大きい場合（ステップＳＴ１２１“Ｙｅｓ”）にステップＳＴ１２２へ進み、そうでない場合（ステップＳＴ１２１“Ｎｏ”）は妨害音除去処理を終了する。

帯域別パワー抑圧部５１は、音源判別部３０から出力される音源判別結果Ｒｅｓ_tが「非定常騒音」の場合（ステップＳＴ１２２“Ｙｅｓ”）にステップＳＴ１２３へ進んで主ビーム信号の該当帯域のパワーを抑圧する処理を行い、そうでない場合（ＳＴ１２２“Ｎｏ”）にはＳＴ１２５へ進む。

さらに帯域別パワー抑圧部５１は、周波数分析部２０から出力される主ビーム信号のスペクトルＰ_1t（ｆ）と副ビーム信号のスペクトルＰ_2t（ｆ）とを比較する（抑圧条件、ステップＳＴ１２３）。副ビーム信号のスペクトルＰ_2t（ｆ）の方が大きい場合（ステップＳＴ１２３“Ｙｅｓ”）はステップＳＴ１２４に進み、そうでない場合（ステップＳＴ１２３“Ｎｏ”）はステップＳＴ１２５へ進む。

帯域別パワー抑圧部５１は、Ｐ_1t（ｆ）＜Ｐ_2t（ｆ）である場合（ステップＳＴ１２３“Ｙｅｓ”）に周波数番号ｆは妨害音成分が優位であると判断して、以下の式（１５）に基づき、主ビーム信号のスペクトルＰ_1t（ｆ）の抑圧を行う（ステップＳＴ１２４）。式（１５）においてγ₁は抑圧係数である。
Ｐ_1f（ｆ）＝γ₁Ｐ_1f（ｆ） （１５）

続いて、定常騒音除去部５２が以下の式（１６）に基づき、騒音スペクトルメモリ４０から出力された騒音スペクトルの平均値μ_fを用いて、抑圧した主ビーム信号のスペクトルＰ_1t（ｆ）から定常騒音を除去する（ステップＳＴ１２５）。式（１６）においてγ₂はフロアリング係数である。
Ｐ_1f（ｆ）＝ｍａｘ（Ｐ_1f（ｆ）−μ_f，γ₂Ｐ_1f（ｆ）） （１６）

最後に、定常騒音除去部５２は周波数番号ｆをインクリメントして（ステップＳＴ１２６）、ステップＳＴ１２１へ戻る。
以上が雑音除去装置１の妨害音除去部５０の動作例である。

以上のように、実施の形態１によれば、指向性制御部１０において複数のマイクロホンの出力信号に対して信号処理により指向性を制御することとしたので、音源判別部３０において強調された目的音である主ビーム信号と目的音が抑圧された妨害音である副ビーム信号とを比較することになり、従来方法と比較するとパワー差を明確にすることができる。この結果、妨害音除去部５０における雑音除去能力を向上させることができる。
また、指向性制御部１０において信号処理により指向性を制御しているため、目的音方向が変わるような場合でもマイクロホン２，３の設置位置を変えることなく雑音除去を行うことができる。
また、音源判別部３０において帯域別の抑圧処理を非定常騒音と判別されたフレームのみで行うこととしたので、目的音声の周波数特性が歪むのを防止することができる。
さらに、騒音スペクトルメモリ４０に記憶している騒音の統計量を用いて、妨害音除去部５０が妨害音を除去しているため、目的音と選択された帯域に騒音が重畳している場合でも騒音を除去できる。

実施の形態２．
上記実施の形態１の雑音除去装置１は目的音方向が一方向に固定している状況を想定していた。そのため、目的音方向が変わった場合、例えば発話者の位置に変化があった場合等には雑音を正確に除去することができない。本実施の形態２はこのような問題を解決することを目的としている。

図７は、この発明の実施の形態２に係る雑音除去装置１の構成を示すブロック図である。図７において、図１と比して新規な要素は目的音方向通知部６０とフィルタ係数メモリ７０を設けた点にあり、図１と同一または相当の部分については同一の符号を付し説明を省略する。

目的音方向通知部６０は、センサ等の外部入力（不図示）から目的音方向を判別し通知する部位であり、目的音方向を指向性制御部１０へ出力する。フィルタ係数メモリ７０は、各目的音方向に対応する主ビームと副ビームを形成するためのフィルタ係数を記憶する部位であり、目的音方向に対応するフィルタ係数を指向性制御部１０へ出力する。なお、フィルタ係数メモリ７０に記憶するフィルタ係数は、事前に、想定される目的音方向に応じて学習しておく。

次に雑音除去装置１の動作を説明する。図８は雑音除去装置１の目的音方向通知部６０、指向性制御部１０及び周波数分析部２０の動作を示すフローチャートである。実施の形態１の雑音除去装置と同一の処理については図４〜図６のフローチャートと同一の符号を付して説明を省略する。

まず目的音方向通知部６０はセンサ等の外部入力から目的音方向を判別する。例えば車内で雑音除去装置１が動作する場合、カーナビゲーションシステムから車のハンドル設置方向を取得し、その方向を目的音方向とする（ステップＳＴ２０１）。そして、目的音方向通知部６０は指向性制御部１０へ目的音方向を通知する。

次に、指向性制御部１０は、目的音方向通知部６０から通知された目的音方向に対応したフィルタ係数をフィルタ係数メモリ７０から取得し、マイクロホンｍの出力信号に対する主ビーム及び副ビームのフィルタ係数ｈ_1m（ｎ），ｈ_2m（ｎ）に設定する（ＳＴ２０２）。指向性制御部１０は、これらのフィルタ係数を用いてこれ以降の処理を行うが、以下の動作は上記実施の形態１と同様なため説明を省略する。

以上のように、実施の形態２によれば、指向性制御部１０が各目的音方向に対応したフィルタ係数を用いて指向性を制御することとしたので、目的音方向が一方向でなく固定でない場合でも正確に雑音除去を行うことができる。

実施の形態３．
上記実施の形態１及び２の雑音除去装置１は雑音除去後の用途は考慮していない。しかし、雑音除去装置１を例えば音声認識の前処理として用いる場合、言語によっては妨害音除去により周波数特性が非線形処理されることで音響モデルとのミスマッチが生じ認識性能に悪影響を与える場合がある。本実施の形態３はこのような問題を解決することを目的としている。

図９は、この発明の実施の形態３に係る雑音除去装置１の構成を示すブロック図である。図９において、図１と比して新規な要素は言語通知部８０を設けた点にあり、図１と同一または相当の部分については同一の符号を付し説明を省略する。

言語通知部８０は、雑音除去装置１の後段に接続されている装置から使用言語を取得し通知する部位であり、マイクロホン２，３から入力される音声の言語種別を妨害音除去部５０へ出力する。

次に雑音除去装置１の動作を説明する。図１０は雑音除去装置１の言語通知部８０及び妨害音除去部５０の動作を示すフローチャートである。上記実施の形態１の雑音除去装置１と同一の処理については図４〜図６のフローチャートと同一の符号を付して説明を省略する。

妨害音除去部５０の動作（ステップＳＴ１２０〜ＳＴ１２６）に先立ち、言語通知部８０は後段に接続されている装置から使用言語を取得する。例えば車内で雑音除去装置１が動作する場合、後段にはカーナビゲーションシステム内の音声認識装置が接続される。そこで、言語通知部８０はカーナビゲーションシステムまたは音声認識装置から使用言語を取得する（ステップＳＴ３０１）。

妨害音除去部５０では、まず、通知された言語種別が妨害音除去の悪影響がない言語（または妨害音除去処理効果が少ない言語）かどうかを判定する。妨害音除去部５０は、使用言語と妨害音除去処理の影響の対応関係を保持し、悪影響がない言語の場合（ステップＳＴ３０２“Ｙｅｓ”）にステップＳＴ１２０へ進み、悪影響がある場合（ステップＳＴ３０２“Ｎｏ”）に妨害音除去処理をスキップして終了する。ステップＳＴ１２０以降の処理は上記実施の形態１と同一であるので説明を省略する。

以上のように、実施の形態３によれば、妨害音除去部５０において、妨害音除去により周波数特性が非線形処理されることで音響モデルとのミスマッチが生じ認識性能に悪影響を与える言語の場合は妨害音除去処理をスキップすることとしたので、悪影響を未然に防止し、妨害音除去の効果がある言語が入力された場合に正確に雑音除去を行うことができるのである。

実施の形態４．
上記実施の形態１〜３の雑音除去装置１は非定常騒音と判別したフレームに対して、帯域別に主ビームと副ビームのパワーを比較し、副ビームのパワーが大きい帯域に対して騒音抑圧を行う構成とした。しかし、音源判別部３０において抑圧を行う帯域を上限周波数Ｆ_maxで制限しているため、マイクロホン２，３の設置間隔によっては使用帯域に対して一部の帯域しか抑圧が行えずに十分な騒音抑圧性能が得られない。本実施の形態４はこのような問題を解決することを目的としている。

図１１は、この発明の実施の形態４に係る雑音除去装置１の妨害音除去部５０の内部構成を示すブロック図である。図１１において、図３と比して新規な要素は置換可否判別部５３、スペクトル保存メモリ５４、スペクトル出力部５５を設けた点にある。なお、本実施の形態の雑音除去装置１は、図１に示す上記実施の形態１の雑音除去装置１と図面上では同様の構成であるため、以下では図１を援用して説明する。

置換可否判別部５３は、音源判別部３０の音源判別結果に応じてスペクトル置換の要否を判別する部位であり、置換可否判別結果を帯域別パワー抑圧部５１及びスペクトル出力部５５に出力する。スペクトル保存メモリ５４は、定常騒音除去部５２が出力する主ビーム信号のスペクトルを一定時間記憶する部位であり、記憶しているスペクトルを必要に応じてスペクトル出力部５５へ出力する。スペクトル出力部５５は、定常騒音除去部５２の最終的な処理結果である主ビーム信号の妨害音抑圧後のスペクトルを出力する部位であり、置換可否判別部５３が一定時間前のスペクトルの置き換えが可能と判別した場合は騒音スペクトルメモリ４０に記憶されている騒音の平均スペクトルを減衰させたスペクトルを出力し、置き換えが不可と判別した場合はスペクトル保存メモリ５４に記憶されている一定時間前の主ビーム信号のスペクトルを出力する。

次に雑音除去装置１の動作を説明する。図１２Ａ及び図１２Ｂは雑音除去装置１の妨害音除去部５０の動作を示すフローチャートである。上記実施の形態１の雑音除去装置１と同一の処理については図４〜図６のフローチャートと同一の符号を付して説明を省略する。

まず、置換可否判別部５３が、以下の手順でｓフレーム前のスペクトルの置換可否判別処理を行う。置換可否判別部５３はまず、ｓフレーム前のスペクトルに対して置換が可能かどうかを示すフラグｆｌｇ＿ｒｅｐにＦＡＬＳＥを代入する（ステップＳＴ４０１）。

置換可否判別部５３は続いて、フレームｔよりｓフレーム前、即ちｔ−ｓフレームの音源判別結果Ｒｅｓ_t-sが「非定常騒音」の場合（ステップＳＴ４０２“Ｙｅｓ”）にステップＳＴ４０３へ進み、そうでない場合（ステップＳＴ４０２“Ｎｏ”）にステップＳＴ１２０へ進む。

音源判別結果Ｒｅｓ_t-sが「非定常騒音」の場合（ステップＳＴ４０２“Ｙｅｓ”）、置換可否判別部５３はフラグｆｌｇ＿ｒｅｐにＴＲＵＥを代入し（ステップＳＴ４０３）、カウンタｉにｔ−ｓ＋１を代入する（ステップＳＴ４０４）。

次いで置換可否判別部５３は、カウンタｉがフレームｔ以下の場合（ステップＳＴ４０５“Ｙｅｓ”）にステップＳＴ４０６に進み、そうでない場合（ステップＳＴ４０５“Ｎｏ”）にステップＳＴ１２０へ進む。

置換可否判別部５３は、カウンタｉの音源判別結果Ｒｅｓ_iが音声の場合（ステップＳＴ４０６“Ｙｅｓ”）にステップＳＴ４０８に進み、そうでない場合（ステップＳＴ４０６“Ｎｏ”）はカウンタｉをインクリメントして（ステップＳＴ４０７）、ステップＳＴ４０５へ戻る。

カウンタｉの音源判別結果Ｒｅｓ_iが音声の場合（ステップＳＴ４０６“Ｙｅｓ”）、置換可否判別部５３はフラグｆｌｇ＿ｒｅｐにＦＡＬＳＥを代入して（ステップＳＴ４０８）、ステップＳＴ１２０へ進む。
以上が置換可否判別部５３の動作例である。

ステップＳＴ１２０〜ＳＴ１２６の処理は上記実施の形態１と同じであるため説明を省略する。ただし、ステップＳＴ１２１の帯域別パワー抑圧部５１の処理において、ｆ＜Ｆ_maxまたはｆ＞Ｎ＿ＦＦＴ−Ｆ_maxを満たさない場合にはステップＳＴ４０９へ進む点が異なる。ステップＳＴ４０９にて、スペクトル保存メモリ５４は定常騒音除去部５２から出力される主ビーム信号のスペクトルＰ_1t（ｆ）を保存する。

続いて、スペクトル出力部５５が、以下の手順でスペクトルの出力を行う。スペクトル出力部５５はまず、置換可否判別部５３の置換可否判別結果であるフラグｆｌｇ＿ｒｅｐがＴＲＵＥである場合（ステップＳＴ４１０“Ｙｅｓ”）にステップＳＴ４１１に進む。そうでない場合（ステップＳＴ４１０“Ｎｏ”）はステップＳＴ４１２に進む。

次にスペクトル出力部５５は、騒音スペクトルメモリ４０に記憶されている騒音の平均スペクトルを以下の式（１７）に基づき減衰させたスペクトル（騒音の統計量に基づくスペクトル）を算出し（ステップＳＴ４１１）する。そしてスペクトル出力部５５は、スペクトル保存メモリ５４に記憶されている主ビーム信号のスペクトルに換えて、式（１７）に基づいたスペクトルＰ_1t-s（ｆ）を出力する（ステップＳＴ４１２）。
Ｐ_1t-s（ｆ）＝γ₂μ_f （１７）

なお、ステップＳＴ４１０“Ｎｏ”（即ち音源判別結果が「非定常騒音」であり置換不可と判別された場合）でステップＳＴ４１１をスキップしてステップＳＴ４１２へ進んだ場合、スペクトル出力部５５は、置き換えを行わずにスペクトル保存メモリ５４に記憶されているｓフレーム前の主ビーム信号のスペクトルＰ_1t-s（ｆ）をそのまま出力する。
以上が実施の形態４における妨害音除去部５０の動作例である。

この実施の形態４では入力に対して出力がｓフレーム遅延するためｓは可能な限り小さい方が望ましいが、ｓの値が０に近くなると音声の先頭が欠ける等の悪影響が生じることを考慮する必要がある。

以上のように、実施の形態４によれば、置換可否判別部５３において非定常騒音と判定された主ビーム信号スペクトルのフレームを、スペクトル出力部５５において騒音の平均スペクトルで置き換えるようにしたので、マイクロホン２，３の設置間隔が広く帯域別の抑圧対象となる帯域が狭い場合でも全帯域に対して雑音除去を行うことができるのである。また、過去ｓフレームに音声が含まれないことを置換条件としているので、発話の先頭が欠けることを防止することができるのである。

なお、上述した説明では、上記実施の形態１で示した構成に対して上記実施の形態２から上記実施の形態４までをそれぞれ適用する場合を示したが、これに限らず、上記実施の形態２から上記実施の形態４までの構成を適宜組み合わせたものであってもかまわない。

以上のように、この発明に係る雑音除去装置は、特定の用途に限定されるものではないが、例えばカーナビゲーションシステム、携帯電話、情報端末等での騒音環境下の音声認識性能、または通話品質向上を実現する上で特に有用であり、話者適応化装置等に用いるのに適している。

Claims (7)

1. 複数のマイクロホンの出力信号から、信号処理により目的音方向に指向性を向けた主ビーム信号と目的音方向に死角を向けた副ビーム信号とを算出する指向性制御部と、
   前記指向性制御部で算出した前記主ビーム信号と前記副ビーム信号それぞれに対して周波数分析を行い、前記主ビーム信号及び前記副ビーム信号のスペクトルを算出する周波数分析部と、
   前記周波数分析部で算出した前記主ビーム信号と前記副ビーム信号のスペクトルから音源の種類を判別して音源判別結果として出力すると共に、主ビーム信号に対する騒音の統計量を算出する音源判別部と、
   前記周波数分析部で算出した前記副ビーム信号のスペクトル、ならびに前記音源判別部から入力した前記音源判別結果及び前記騒音の統計量を用いて、当該主ビーム信号のスペクトルから妨害音を除去する妨害音除去部とを備えた雑音除去装置。
2. 主ビーム信号及び副ビーム信号の指向性を制御するためのフィルタ係数を、目的音方向に対応付けて記憶しているフィルタ係数メモリと、
   目的音方向の情報を取得して、指向性制御部へ通知する目的音方向通知部とを備え、
   前記指向性制御部は、前記目的音方向通知部から通知された前記目的音方向に対応するフィルタ係数を前記フィルタ係数メモリから選択して、当該フィルタ係数を用いて、複数のマイクロホンの出力信号から主ビーム信号と副ビーム信号とを算出することを特徴とする請求項１記載の雑音除去装置。
3. 複数のマイクロホンの出力信号に含まれる、処理対象となっている音声の言語種別の情報を取得して、妨害音除去部へ通知する言語通知部を備え、
   前記妨害音除去部は、前記言語通知部から通知された前記言語種別に応じて妨害音除去処理の要否を判断することを特徴とする請求項１記載の雑音除去装置。
4. 音源判別部は、
   主ビーム信号と副ビーム信号のスペクトルに対して帯域制限を行なう帯域制限部と、
   前記帯域制限部で帯域制限された前記主ビーム信号と前記副ビーム信号のスペクトルから差分パワーを算出する差分パワー算出部と、
   前記主ビーム信号のスペクトルから騒音の統計量を算出する騒音統計量算出部と、
   前記主ビーム信号のスペクトルと前記騒音の統計量から、現在の信号対雑音比を推定するＳＮＲ推定部と、
   前記差分パワー算出部で算出した前記差分パワーと前記ＳＮＲ推定部で推定した前記信号対雑音比から、マイクロホンの現在の出力信号が音声か、定常騒音か、非定常騒音かを判別して、音源判別結果として出力する判別部とを備えることを特徴とする請求項１記載の雑音除去装置。
5. 妨害音除去部は、
   主ビーム信号と副ビーム信号のスペクトルに対して、帯域毎のパワーを比較して所定の抑圧条件を満たす場合に当該主ビーム信号の該当する帯域のパワーを抑圧する帯域別パワー抑圧部と、
   前記帯域別パワー抑圧部で抑圧した前記主ビーム信号の抑圧スペクトルから、騒音の統計量を減算する定常騒音除去部とを備えることを特徴とする請求項１記載の雑音除去装置。
6. 妨害音除去部は、
   定常騒音除去部で減算した主ビーム信号の抑圧減算スペクトルを一定時間記憶しておくスペクトル保存メモリと、
   音源判別部から入力した音源判別結果に応じて、前記スペクトル保存メモリに記憶された一定時間前の抑圧減算スペクトルを、騒音の統計量に基づくスペクトルに置換するか否か判別する置換可否判別部と、
   前記置換可否判別部で置換可と判別した場合に、前記騒音の統計量に基づくスペクトルを出力し、前記置換可否判別部で置換不可と判別した場合に、前記スペクトル保存メモリに記憶された一定時間前の前記抑圧減算スペクトルを出力するスペクトル出力部とを備えることを特徴とする請求項５記載の雑音除去装置。
7. コンピュータを、複数のマイクロホンの出力信号から、信号処理により目的音方向に指向性を向けた主ビーム信号と目的音方向に死角を向けた副ビーム信号とを算出する指向性制御手段と、
   前記指向性制御手段で算出した前記主ビーム信号と前記副ビーム信号それぞれに対して周波数分析を行い、前記主ビーム信号及び前記副ビーム信号のスペクトルを算出する周波数分析手段と、
   前記周波数分析手段で算出した前記主ビーム信号と前記副ビーム信号のスペクトルから音源の種類を判別して音源判別結果として出力すると共に、主ビーム信号に対する騒音の統計量を算出する音源判別手段と、
   前記周波数分析手段で算出した前記副ビーム信号のスペクトル、ならびに前記音源判別手段で出力した前記音源判別結果及び前記騒音の統計量を用いて、当該主ビーム信号のスペクトルから妨害音を除去する妨害音除去手段として機能させるための雑音除去プログラム。

Images