JP5817366B2 - 音声信号処理装置、方法及びプログラム - Google Patents

Description

本発明は音声信号処理装置、方法及びプログラムに関し、例えば、電話やテレビ会議などの音声信号を扱う通信機又は通信ソフトウェアに適用し得るものである。

雑音抑制技術の一つにボイススイッチと呼ばれる技術がある。これは、目的音声区間検出機能を用いて入力信号から話者が話している区間（目的音声区間）を検出し、目的音声区間の場合は無処理で出力し、非目的音声区間の場合は振幅を減衰する、という技術である。例えば、図１１に示すように、入力信号ｉｎｐｕｔを受信すると、目的音声区間か否かを判定し（ステップＳ１００）、目的音声区間であればゲインＶＳ＿ＧＡＩＮに１．０を設定し（ステップＳ１０１）、非目的音声区間であればゲインＶＳ＿ＧＡＩＮに１．０未満の任意の正の数値αを設定し（ステップＳ１０２）、その後、ゲインＶＳ＿ＧＡＩＮを入力信号ｉｎｐｕｔに乗算して出力信号ｏｕｔｐｕｔを得る（ステップＳ１０３）。

また、他の雑音抑制技術にはウィーナーフィルタという技術がある（特許文献１参照）。これは、図１２に示すように、入力信号ｉｎｐｕｔから雑音区間を検出し（ステップＳ１５０）、周波数ごとに背景雑音の特性を推定し、背景雑音の特性に応じたウィーナーフィルタ係数を算出し（ステップＳ１５１）、入力信号ｉｎｐｕｔにウィーナーフィルタ係数ＷＦ＿ＣＯＥＦ（ｆ）を乗算することで（ステップＳ１５３）、入力信号ｉｎｐｕｔに含まれていた背景雑音成分を抑制する技術である。なお、雑音特性の推定方法については特許文献１の『数１』の式を、フィルタ係数の算出方法については特許文献１の『数３』の式を適用することができる。

ボイススイッチやウィーナーフィルタの技術を、テレビ会議装置や携帯電話機のような音声信号処理装置に適用することで雑音を抑制し、通話音質を高めることができる。

ところで、ボイススイッチ及びウィーナーフィルタを適用するためには、非目的音声区間（話者以外の人間の声である『妨害音声』及び、オフィスノイズや道路ノイズのような『背景雑音』の区間）を検出しなければならず、その検出方法の一つとして、コヒーレンスという特徴量に基づいた方法がある。コヒーレンスは、簡単に述べれば入力信号の到来方向を意味する特徴量である。携帯電話機などの利用を想定して目的音声と非目的音声の到来方向を比較すると、話者の声（目的音声）は正面から到来するのに対し、非目的音声のうち、妨害音声は正面以外から到来する傾向が強く、背景雑音は明確な到来方向をもたない、という差異がある。従って、到来方向に着目することで目的音声と非目的音声の区別が可能である。

図１３は、目的音声検出機能にコヒーレンスを用いる場合のボイススイッチ及びウィーナーフィルタを併用した従来の音声信号処理装置のブロック図である。

一対のマイクｍ＿１、ｍ＿２のそれぞれから、図示しないＡＤ変換器を介して入力信号ｓ１（ｔ）、ｓ２（ｔ）を取得し、ＦＦＴ（高速フーリエ変換）部１０で周波数領域信号Ｘ１（ｆ）、Ｘ２（ｆ）に変換する。第１の指向性形成部１１では、（１）式のような演算を行い、右方向に強い指向性を持つ信号Ｂ１（ｆ）を求め、第２の指向性形成部１２では（２）式のような演算を行い、左方向に強い指向性を持つ信号Ｂ２（ｆ）を求める。信号Ｂ１（ｆ）及びＢ２（ｆ）は複素数で表されている。

これらの式の意味を、（１）式を例に、図１４及び図１５を用いて説明する。図１４（Ａ）に示した方向θから音波が到来し、距離ｌだけ隔てて設置されている一対のマイクｍ＿１及びｍ＿２で捕捉されたとする。このとき、音波が一対のマイクｍ＿１及びｍ＿２に到達するまでには時間差が生じる。この到達時間差τは、音の経路差をｄとすると、ｄ＝ｌ×ｓｉｎθなので、音速をｃとすると（３）式で与えられる。

τ＝ｌ×ｓｉｎθ／ｃ …（３）
ところで、入力信号ｓ１（ｎ）にτだけ遅延を与えた信号ｓ１（ｔ−τ）は、入力信号ｓ２（ｔ）と同一の信号である。従って、両者の差をとった信号ｙ（ｔ）＝ｓ２（ｔ）−ｓ１（ｔ−τ）は、θ方向から到来した音が除去された信号となる。結果として、マイクロフォンアレーｍ＿１及びｍ＿２は図１４（Ｂ）のような指向特性を持つようになる。

なお、以上では、時間領域での演算を記したが、周波数領域で行っても同様なことがいえる。この場合の式が、上述した（１）式１及び（２）式である。今、一例として、到来方向θが±９０度であることを想定している。すなわち、第１の指向性形成部１１からの指向性信号Ｂ１（ｆ）は、図１５（Ａ）に示すように右方向に強い指向性を有し、第２の指向性形成部１２からの指向性信号Ｂ２（ｆ）は、図１５（Ｂ）に示すように左方向に強い指向性を有する。

以上のようにして得られた指向性信号Ｂ１（ｆ）、Ｂ２（ｆ）に対し、コヒーレンス計算部１３で、（４）式、（５）式のような演算を施すことでコヒーレンスＣＯＨが得られる。（４）式におけるＢ２（ｆ）^＊はＢ２（ｆ）の共役複素数である。

目的音声区間検出部１４では、コヒーレンスＣＯＨを目的音声区間判定閾値Θと比較し、閾値Θより大きければ目的音声区間と判定し、そうでなければ非目的音声区間と判定する。

ここで、コヒーレンスの大小で目的音声区間を検出する背景を簡単に述べておく。コヒーレンスの概念は、右から到来する信号と左から到来する信号の相関と言い換えられる（上述した（４）式はある周波数成分についての相関を算出する式であり、（５）式は全ての周波数成分の相関値の平均を計算している）。従って、コヒーレンスＣＯＨが小さい場合とは、２つの指向性信号Ｂ１及びＢ２の相関が小さい場合であり、反対にコヒーレンスＣＯＨが大きい場合とは相関が大きい場合と言い換えることができる。そして、相関が小さい場合の入力信号は、入力到来方向が右又は左のどちらかに大きく偏った場合か、偏りがなくても雑音のような明確な規則性の少ない信号の場合である。そのため、コヒーレンスＣＯＨが小さい区間は妨害音声区間あるいは背景雑音区間（非目的音声区間）であるといえる。一方、コヒーレンスＣＯＨの値が大きい場合は、到来方向の偏りがないため、入力信号が正面から到来する場合であるといえる。今、目的音声は正面から到来すると仮定しているので、コヒーレンスＣＯＨが大きい場合は目的音声区間といえる。

ゲイン制御部１５では、目的音声区間ならばゲインＶＳ＿ＧＡＩＮとして１．０を、非目的音声区間（妨害音声、背景雑音）ならばゲインＶＳ＿ＧＡＩＮとして１．０未満の任意の正の数値αを設定する。

また、ＷＦ適応部１６では、目的音声区間検出部１４の判定結果を参照し、非目的音声区間ならばウィーナーフィルタ係数を適応させ、そうでなければウィーナーフィルタ係数の適応を停止するという制御を行うことで、ウィーナーフィルタ係数であるＷＦ＿ＣＯＥＦ（ｆ）を得る。ウィーナーフィルタ係数ＷＦ＿ＣＯＥＦ（ｆ）はＷＦ係数乗算部１７に送られ、（６）式に示すように、入力信号ｓ１（ｔ）のＦＦＴ変換信号Ｘ１（ｆ）と乗算される。これにより、入力信号から背景雑音特性が抑制された信号Ｐ（ｆ）が得られる。

Ｐ（ｆ）＝ＷＦ＿ＣＯＥＦ（ｆ）× Ｘ１（ｆ） …（６）
背景雑音抑制信号Ｐ（ｆ）はＩＦＦＴ（逆高速フーリエ変換）部１８で時間領域信号ｑ（ｔ）に変換された後、ＶＳゲイン乗算部１９で、（７）式に示すように、ゲイン制御部１５で設定されたゲインＶＳ＿ＧＡＩＮと乗算され、出力信号ｙ（ｔ）が得られる。

ｙ（ｔ）＝ＶＳ＿ＧＡＩＮ×ｑ（ｔ） …（７）
以上のように、ボイススイッチ及びウィーナーフィルタを併用することで、ボイススイッチによる非目的音声区間の抑制効果と、ウィーナーフィルタによる目的音声区間に重畳された雑音成分の抑制効果を両立でき、おのおのを単独で用いるよりも高い雑音抑制効果が得られる。

ここで目的音声区間と非目的音声区間の識別のための特徴量としてコヒーレンスを用いる背景を補足する。通常の目的音声区間検出では、検出の特徴量として入力信号レベルの変動を用いるが、この方式は妨害音声と目的音声との区別ができないため、妨害音声をボイススイッチで抑制できず、抑制効果が不十分だった。一方、コヒーレンスによる検出は入力信号の到来方向によって識別するので、到来方向が異なる目的音声と妨害音声を区別することができ、ボイススイッチによる抑制効果が得られる。

特表２０１０−５３２８９７号公報

しかしながら、ボイススイッチとウィーナーフィルタとは、同じ「雑音抑制技術」でありながら、最適動作のために検出するべき雑音区間が異なっている。ボイススイッチは、妨害音声と背景雑音の片方あるいは双方が重畳された区間を検出できれば良いに対し、ウィーナーフィルタは、非目的音声区間の中から、背景雑音だけの区間を検出しなければならない。なぜならば、仮に妨害音声区間で係数が適応した場合、妨害音声という『音声』の特徴も、雑音としてウィーナーフィルタ係数に反映されてしまい、音声に特徴的な成分までもが目的音声から抑制されてしまい、音質が劣化してしまうためである。

以上のように、ボイススイッチ及びウィーナーフィルタの併用では、おのおの最適な区間を検出しなければならないのにも関わらず、従来技術では、一律の基準で適用しているために、妨害音声の特性が反映されたウィーナーフィルタ係数を付与することで目的音声が劣化する、という課題がある。

この課題を解消するためには、ボイススイッチとウィーナーフィルタのそれぞれに適した区間を検出できるように複数の目的音声区間検出技術を併用することも可能だが、この場合、演算量が増大するうえに、異なる挙動をする複数のパラメータの調整が必要となり、装置利用者の負担が増す、という課題がある。

そのため、背景雑音検出にコヒーレンスを適用して利用者に負担をかけずに、ウィーナーフィルタ係数の適応更新の精度を高めて音質を向上できる音声信号処理装置、方法及びプログラムが望まれている。

第１の本発明は、第１の入力音声信号から雑音成分を抑制する音声信号処理装置において、（１）前記第１の入力音声信号と、前記第１の入力音声信号を得た第１のマイクとは異なる第２のマイクが捕捉した第２の入力音声信号とを用いた遅延減算処理により、第１の所定方位に死角を有する指向性特性を付与した第１の指向性信号を形成する第１の指向性形成部と、（２）前記第１の入力音声信号と前記第２の入力音声信号とを用いた遅延減算処理により、前記第１の所定方位とは異なる第２の所定方位に死角を有する指向性特性を付与した第２の指向性信号を形成する第２の指向性形成部と、（３）前記第１及び第２の指向性信号を用いてコヒーレンスを得るコヒーレンス計算部と、（４）前記コヒーレンスに基づいて、前記第１の入力音声信号が、目的方位から到来している目的音声の区間か、それ以外の非目的音声区間かを判別する目的音声区間検出部と、（５）前記コヒーレンスの、平均的な値からの相違情報を得るコヒーレンス挙動情報計算部と、（６）前記相違情報を背景雑音検出用閾値と比較し、前記目的音声検出部で判別された非目的音声区間を、背景雑音検出用閾値より小さいときの背景雑音区間とそれ以外の非背景雑音区間に分け、背景雑音区間か非背景雑音区間かに応じてウィーナーフィルタ係数の適応処理を切り換えるＷＦ適応部と、（７）前記ＷＦ適応部からのウィーナーフィルタ係数を前記第１の入力音声信号に乗算するＷＦ係数乗算部とを有することを特徴とする。

第２の本発明は、第１の入力音声信号から雑音成分を抑制する音声信号処理方法において、（１）第１の指向性形成部は、前記第１の入力音声信号と、前記第１の入力音声信号を得た第１のマイクとは異なる第２のマイクが捕捉した第２の入力音声信号とを用いた遅延減算処理により、第１の所定方位に死角を有する指向性特性を付与した第１の指向性信号を形成し、（２）第２の指向性形成部は、前記第１の入力音声信号と前記第２の入力音声信号とを用いた遅延減算処理により、前記第１の所定方位とは異なる第２の所定方位に死角を有する指向性特性を付与した第２の指向性信号を形成し、（３）コヒーレンス計算部は、前記第１及び第２の指向性信号を用いてコヒーレンスを計算し、（４）目的音声区間検出部は、前記コヒーレンスに基づいて、前記第１の入力音声信号が、目的方位から到来している目的音声の区間か、それ以外の非目的音声区間かを判別し、（５）コヒーレンス挙動情報計算部は、前記コヒーレンスの、平均的な値からの相違情報を得、（６）ＷＦ適応部は、前記相違情報を背景雑音検出用閾値と比較し、前記目的音声検出部で判別された非目的音声区間を、背景雑音検出用閾値より小さいときの背景雑音区間とそれ以外の非背景雑音区間に分け、背景雑音区間か非背景雑音区間かに応じてウィーナーフィルタ係数の適応処理を切り換え、（７）ＷＦ係数乗算部は、前記ＷＦ適応部からのウィーナーフィルタ係数を前記第１の入力音声信号に乗算することを特徴とする。

第３の本発明の音声信号処理プログラムは、コンピュータを、（１）第１の入力音声信号と、前記第１の入力音声信号を得た第１のマイクとは異なる第２のマイクが捕捉した第２の入力音声信号とを用いた遅延減算処理により、第１の所定方位に死角を有する指向性特性を付与した第１の指向性信号を形成する第１の指向性形成部と、（２）前記第１の入力音声信号と前記第２の入力音声信号とを用いた遅延減算処理により、前記第１の所定方位とは異なる第２の所定方位に死角を有する指向性特性を付与した第２の指向性信号を形成する第２の指向性形成部と、（３）前記第１及び第２の指向性信号を用いてコヒーレンスを得るコヒーレンス計算部と、（４）前記コヒーレンスに基づいて、前記第１の入力音声信号が、目的方位から到来している目的音声の区間か、それ以外の非目的音声区間かを判別する目的音声区間検出部と、（５）前記コヒーレンスの、平均的な値からの相違情報を得るコヒーレンス挙動情報計算部と、（６）前記相違情報を背景雑音検出用閾値と比較し、前記目的音声検出部で判別された非目的音声区間を、背景雑音検出用閾値より小さいときの背景雑音区間とそれ以外の非背景雑音区間に分け、背景雑音区間か非背景雑音区間かに応じてウィーナーフィルタ係数の適応処理を切り換えるＷＦ適応部と、（７）前記ＷＦ適応部からのウィーナーフィルタ係数を前記第１の入力音声信号に乗算するＷＦ係数乗算部として機能させることを特徴とする。

本発明によれば、背景雑音検出にコヒーレンスを適用して利用者に負担をかけないながら、ウィーナーフィルタ係数の適応更新の精度を高めて音質を向上できる音声信号処理装置、方法及びプログラムを提供できる。

第１の実施形態に係る音声信号処理装置の構成を示すブロック図である。 第１の実施形態におけるコヒーレンス差分計算部の詳細構成を示すブロック図である。 第１の実施形態におけるＷＦ適応部の詳細構成を示すブロック図である。 第１の実施形態におけるコヒーレンス差分計算部の動作を示すフローチャートである。 第１の実施形態におけるＷＦ適応部の動作を示すフローチャートである。 第２の実施形態におけるＷＦ適応部の詳細構成を示すブロック図である。 第２の実施形態におけるＷＦ適応部内の係数適応制御部の動作を示すフローチャートである。 第３の実施形態に係る音声信号処理装置の構成を示すブロック図である。 第４の実施形態に係る音声信号処理装置の構成を示すブロック図である。 第４の実施形態における第３の指向性形成部からの指向性信号の性質を示す説明図である。 ボイススイッチの処理フローチャートである。 ウィーナーフィルタの処理フローチャートである。 目的音声検出機能にコヒーレンスを用いる場合のボイススイッチ及びウィーナーフィルタを併用した従来の音声信号処理装置のブロック図である。 図１３の指向性形成部からの指向性信号の性質を示す説明図である。 図１３の２つの指向性形成部による指向性の特性を示す説明図である。

（Ａ）第１の実施形態
以下、本発明による音声信号処理装置、方法及びプログラムの第１の実施形態を、図面を参照しながら説明する。第１の実施形態は、複数種の音声区間検出を稼働させることなく、また、装置利用者の負担を増大させることなく、コヒーレンスに特有の挙動のみに基づきボイススイッチとウィーナーフィルタに最適な区間を検出しようとしたものである。

（Ａ−１）第１の実施形態の構成
図１は、第１の実施形態に係る音声信号処理装置の構成を示すブロック図であり、上述した図１３との同一、対応部分には同一符号を付して示している。ここで、一対のマイクｍ＿１及びｍ＿２を除いた部分は、ＣＰＵが実行するソフトウェア（音声信号処理プログラム）として実現することも可能であるが、機能的には、図１で表すことができる。

図１において、第１の実施形態に係る音声信号処理装置１は、従来と同様なマイクｍ＿１、ｍ＿２、ＦＦＴ部１０、第１指向性形成部１１、第２の指向性形成部１２、コヒーレンス計算部１３、目的音声区間検出部１４、ゲイン制御部１５、ＷＦ適応部３０、ＷＦ係数乗算部１７、ＩＦＦＴ部１８及びＶＳゲイン乗算部１９に加え、コヒーレンス差分計算部２０を有する。ＷＦ適応部３０は、従来におけるＷＦ適応部１６と処理が多少異なっている。

コヒーレンスは、目的音声区間では、全般的に値が大きく、目的音声の大振幅成分での値と小振幅成分での値は大きく変動する。一方、非目的音声区間では、全般的に値が小さいうえに変動も小さい、という独特の挙動を持つ。さらに、コヒーレンスが全体的に小さい非目的音声区間においてもコヒーレンスが取る値には幅があり、妨害音声のような波形の規則性（音声のピッチ性など）が明確な区間では相関が出やすくコヒーレンスは比較的大きいのに対して、規則性が希薄な区間では特に小さい値となる。この規則性が希薄な区間が背景雑音のみの区間であると言うことができる。そこで、非目的音声区間の中でも特にコヒーレンスが小さい区間でのみ、ウィーナーフィルタ係数を適応させるように制御することで、従来技術の課題である妨害音声特性がウィーナーフィルタ係数に反映されることによる目的音声の劣化を防止することができる。

第１の実施形態の場合、このような現状認識、着想に基づいて、コヒーレンス差分計算部２０を追加し、その出力が入力されるＷＦ適応部３０も、その機能を従来のものから変更している。

コヒーレンス差分計算部２０は、非目的音声区間におけるコヒーレンスの瞬時値ＣＯＨ（ｔ）と、コヒーレンスの長期平均値ＡＶＥ_ＣＯＨとの差分δを計算するものである。第１の実施形態のＷＦ適応部３０は、コヒーレンス瞬時値ＣＯＨと差分δを用いて、背景雑音のみの区間を検出して適応動作を行い、得られたＷＦ＿ＣＯＥＦ（ｆ）をＷＦ係数乗算部１７に与えるものである。

図２は、コヒーレンス差分計算部２０の詳細構成を示すブロック図である。図２において、コヒーレンス差分計算部２０は、コヒーレンス受信部２１、コヒーレンス長期平均計算部２２、コヒーレンス減算部２３及びコヒーレンス差送信部２４を有する。

コヒーレンス受信部２１は、コヒーレンス計算部１３が計算したコヒーレンスＣＯＨ（ｔ）を取り込むと共に、目的音声区間検出部１４から、現在の処理対象（例えば、処理対象はフレーム単位に切り替わる）のコヒーレンスＣＯＨ（ｔ）が非目的音声区間か否かを取り込むものである。

コヒーレンス長期平均計算部２２は、現在の処理対象が非目的音声区間に属するならば、コヒーレンス長期平均ＡＶＥ＿ＣＯＨ（ｔ）を（８）式に従って更新するものである。なお、コヒーレンス長期平均ＡＶＥ＿ＣＯＨ（ｔ）の計算式は（８）式に限定されるものではなく、所定数のサンプル値を単純平均するなどの他の算出式を適用するようにしても良い。

ＡＶＥ＿ＣＯＨ（ｔ）＝β×ＣＯＨ（ｔ）＋（１−β）×ＡＶＥ＿ＣＯＨ（ｔ−１）
但し、０．０＜β＜１．０ …（８）
コヒーレンス減算部２３は、（９）式に示すように、コヒーレンス長期平均ＡＶＥ＿ＣＯＨ（ｔ）とコヒーレンスＣＯＨ（ｔ）との差分δを計算するものである。

δ＝ＡＶＥ＿ＣＯＨ（ｔ）−ＣＯＨ（ｔ） …（９）
コヒーレンス差送信部２４が、得られた差分δをＷＦ適応部３０に与えるものである。

図３は、第１の実施形態におけるＷＦ適応部３０の詳細構成を示すブロック図である。図３において、ＷＦ適応部３０は、コヒーレンス差分受信部３１、背景雑音区間判定部３２、ＷＦ係数適応部３３及びＷＦ係数送信部３４を有する。

コヒーレンス差分受信部３１は、コヒーレンスＣＯＨ（ｔ）とコヒーレンス差分δとを取り込むものである。

背景雑音区間判定部３２は、背景雑音区間か否かを判定するものである。背景雑音区間判定部３２による判定条件は、『コヒーレンスＣＯＨ（ｔ）が目的音声判定閾値Θより小さく、かつ、コヒーレンス差分δが差分判定閾値Φ（Φ＜０．０）より小さい』であり、この判定条件を満たせば背景雑音区間と判定する。

ＷＦ係数適応部３３は、背景雑音区間判定部３２の判定結果が背景雑音区間であればウィーナーフィルタ係数の適応動作を実行し、そうでなければ適応しないものである。

ＷＦ係数送信部３４は、ＷＦ係数適応部３３によって得られたウィーナーフィルタ係数をＷＦ係数乗算部１７に与えるものである。

（Ａ−２）第１の実施形態の動作
次に、第１の実施形態の音声信号処理装置１の動作を、図面を参照しながら、全体動作、コヒーレンス差分計算部２０における詳細動作、ＷＦ適応部３０における詳細動作の順に説明する。

一対のマイクｍ＿１及びｍ＿２から入力された信号は、ＦＦＴ部１０によって時間領域から周波数領域の信号Ｘ１（ｆ）、Ｘ２（ｆ）に変換された後、第１及び第２の指向性形成部１１及び１２のそれぞれによって、所定の方位に死角を有する指向性信号Ｂ１(ｆ)、Ｂ２（ｆ）が生成される。そして、コヒーレンス計算部１３において、指向性信号Ｂ１（ｆ）及びＢ２（ｆ）を適用して、（４）式及び（５）式の演算が実行され、コヒーレンスＣＯＨが算出される。

そして、目的音声区間検出部１４において、目的音声区間か否かが判定し、判定結果をうけてゲイン制御部１５によってゲインＶＳ＿ＧＡＩＮが設定される。

コヒーレンス差分計算部２０においては、非目的音声区間におけるコヒーレンスの瞬時値ＣＯＨ（ｔ）と、コヒーレンスの長期平均値ＡＶＥ_ＣＯＨとの差分δが計算される。そして、ＷＦ適応部３０において、コヒーレンスＣＯＨと差分δとが利用されて背景雑音のみの区間が検出され、ウィーナーフィルタ係数の適応動作が実行され、ＷＦ係数乗算部１７において、周波数領域の入力信号Ｘ１（ｆ）に得られたウィーナーフィルタ係数ＷＦ＿ＣＯＥＦ（ｆ）が乗算され、その乗算後の信号Ｐ（ｆ）、言い換えると、ウィーナーフィルタ技術によって背景雑音が抑制された信号Ｐ（ｆ）がＩＦＦＴ部１８において時間領域信号ｑ（ｔ）に変換される。ＶＳゲイン乗算部１９において、この信号ｑ（ｔ）にゲイン制御部１５が設定したゲインＶＳ＿ＧＡＩＮが乗算され、出力信号ｙ（ｔ）が得られる。

次に、コヒーレンス差分計算部２０の動作を説明する。図４は、コヒーレンス差分計算部２０の動作を示すフローチャートである。

コヒーレンス受信部２１において、コヒーレンスＣＯＨ（ｔ）を取り込むと共に、処理対象が非目的音声区間か否かを目的音声区間検出部１４に照合する（ステップＳ２００）。非目的音声区間であれば、コヒーレンス長期平均計算部２２において、（８）式に従って、コヒーレンス長期平均ＡＶＥ＿ＣＯＨ（ｔ）が更新される（ステップＳ２０１）。さらに、コヒーレンス減算部２３において、(９)式に示すようにして、コヒーレンス長期平均ＡＶＥ＿ＣＯＨ（ｔ）とコヒーレンスＣＯＨ（ｔ）の差分δが計算される（ステップＳ２０２）。得られたコヒーレンス差分δは、コヒーレンス差送信部２４からＷＦ適応部３０に与えられる。このような処理を、処理対象を順に更新しながら実行する（ステップＳ２０３）。

次に、ＷＦ適応部３０の動作を説明する。図５は、ＷＦ適応部３０の動作を示すフローチャートである。

コヒーレンス差分受信部３１において、コヒーレンスＣＯＨとコヒーレンス差分δとを取り込むと（ステップＳ２５０）、背景雑音区間判定部３２において、『ＣＯＨが目的音声判定閾値Θより小さく、かつ、コヒーレンス差分δが差分判定閾値Φ（＜０．０）より小さい』か否か、すなわち、背景雑音区間か否かが判定される（ステップＳ２５１）。ＷＦ係数適応部３３においては、背景雑音区間であればウィーナーフィルタ係数の適応動作が実行され（ステップＳ２５２）、そうでなければ適応動作が実行されない（ステップＳ２５３）。そして、このようにして得られたウィーナーフィルタ係数ＷＦ＿ＣＯＥＦがＷＦ係数送信部３４からＷＦ係数乗算部１７に与えられる（Ｓ２５４）。

（Ａ−３）第１の実施形態の効果
以上のように、第１の実施形態によれば、『背景雑音のみの区間ではコヒーレンスが特に小さくなる』という挙動に基づき、妨害音声と背景雑音が混在する非目的音声区間から背景雑音のみの区間を検出し、ウィーナーフィルタ係数の算出に利用している。これによって、ボイススイッチとウィーナーフィルタのそれぞれに適した信号区間を単一のパラメータ（コヒーレンス）のみで検出して、ボイススイッチとウィーナーフィルタを適用できるようになる。その結果、従来の課題であった、妨害音声の特性がウィーナーフィルタ係数に反映されることによる目的音声の歪みの発生を防止でき、かつ、複数の音声区間検出技術を導入することなく最適区間を検出できるので演算量の増大を防止できると共に、異なる特性の複数パラメータを調整する必要がなくなるので、装置利用者の負担の増大を防止できる。

これにより、第１の実施形態の音声信号処理装置、方法若しくは音声信号処理プログラムを適用した、テレビ会議装置や携帯電話機などの通信装置における通話音質の向上が期待できる。

（Ｂ）第２の実施形態
次に、本発明による音声信号処理装置、方法及びプログラムの第２の実施形態を、図面を参照しながら説明する。

上記第１の実施形態では、非目的音声区間の中から背景雑音のみの区間を検出してウィーナーフィルタ係数を推定しているため、正確な係数推定が可能な反面、係数推定処理の頻度が減り、十分な雑音抑圧性能が得られるまでの時間が長くなって、装置利用者は不適切な音質にさらされる恐れがある。

第２の実施形態は、適応開始直後はフィルタ係数推定速度を早め、その後は推定速度を遅くするように構成された『係数適応速度制御部』をＷＦ適応部内に設けることで、第１の実施形態で生じる可能性がある恐れを解消しようとしたものである。

第２の実施形態に係る音声信号処理装置は、第１の実施形態に係る音声信号処理装置１と比較すると、ＷＦ適応部の詳細構成、動作が異なっており、その他は、第１の実施形態と同様である。そこで、以下では、第２の実施形態におけるＷＦ適応部３０Ａについてのみ説明する。

図６は、第２の実施形態におけるＷＦ適応部３０Ａの詳細構成を示すブロック図である。図６において、ＷＦ適応部３０Ａは、コヒーレンス差分受信部３１、背景雑音区間判定部３２、ＷＦ係数適応部３３Ａ、ＷＦ係数送信部３４及び係数適応速度制御部３５を有する。コヒーレンス差分受信部３１、背景雑音区間判定部３２及びＷＦ係数送信部３４は、第１の実施形態のものと同様であるので、その説明は省略する。

係数適応速度制御部３５は、背景雑音と判定された回数をカウントし、回数が所定の閾値より小さいか否かに応じてウィーナーフィルタ係数の適応速度を制御するパラメータλの値を設定するものである。

ＷＦ係数適応部３３Ａは、背景雑音区間判定部３２の判定結果が背景雑音以外の区間の場合には、第１の実施形態と同様にウィーナーフィルタ係数の適応動作を実行せず、背景雑音区間判定部３２の判定結果が背景雑音区間の場合には、係数適応速度制御部３５から受信したパラメータλを係数推定演算に利用して係数推定を行う。

ここで、パラメータλの役割を簡単に述べておく。ウィーナーフィルタ係数は、特許文献１の数３のような演算で得られる。これに先立ち、周波数ごとに背景雑音特性を計算しなければならない。背景雑音の推定は、特許文献１の数１で行われ、ここにパラメータλが関与する。パラメータλは０．０〜１．０の値をとり、背景雑音特性に対して瞬時入力値をどの程度反映するかをコントロールする役割を持ち、λが大きいほど瞬時入力の影響が強くなり、小さければ瞬時入力の影響は薄れる。従って、パラメータλが大きければウィーナーフィルタ係数にはその瞬間の入力が強く反映されて高速な係数適応が実現できる一方で、瞬時入力の影響が強くなるため係数値の変動が大きくなり、音質の自然さを低下させる可能性がある。一方、パラメータλが小さい場合には適応速度は遅いものの、得られる係数は瞬時特性の影響を強く受けておらず過去の雑音特性が平均的に反映されたものになるので、音質の自然さが失われにくい。

パラメータλは、以上のような特性を持つので、適応開始直後はパラメータλを大きくすることで高速な消去性能を実現できる。また、ある程度の時間が経過した以降はパラメータλを小さくして自然の音質を実現できる。

以上が第２の実施形態におけるＷＦ適応部３０Ａの動作概要である。

次に、係数適応制御部３５の動作を説明する。図７が、係数適応制御部３５の動作を示すフローチャートである。

まず、係数適応制御部３５は、背景雑音区間判定部３２の判定結果に基づいて背景雑音区間か否かを知る（ステップＳ３００）。そして、背景雑音区間であれば、適応開始直後か否かを知るための変数ｃｏｕｎｔｅｒを１インクリメントし（ステップＳ３０１）、そうでない場合には変数ｃｏｕｎｔｅｒにはいかなる処理も加えない。その後、適応開始直後か否かを判定するために初期適応時間判定閾値Ｔ（Ｔ＞０の整数）と変数ｃｏｕｎｔｅｒとを比較し、変数ｃｏｕｎｔｅｒが閾値Ｔより小さければ適応開始直後とみなし、閾値Ｔ以上であれば適応開始直後でないと判定する（ステップＳ３０２）。そして、適応開始直後であれば係数推定を高速にするためにパラメータλに大きな値を設定し（ステップＳ３０３）、適応開始直後でない場合は係数推定速度を遅くするためにパラメータλには小さい値を設定する（ステップＳ３０４）。

第２の実施形態によれば、適応開始直後ではウィーナーフィルタ係数の適応速度を速めることができるので、第１の実施形態よりも高速な雑音抑圧性能が実現できる。また、ある程度の時間が経過した以後は、係数適応速度を遅くするように制御されるので、瞬時的な雑音への過剰適応を防ぎ、自然な音質を実現できる。

これにより、第２の実施形態の音声信号処理装置、方法若しくは音声信号処理プログラムを適用した、テレビ会議装置や携帯電話機などの通信装置における通話音質の向上が期待できる。

（Ｃ）第３の実施形態
次に、本発明による音声信号処理装置、方法及びプログラムの第３の実施形態を、図面を参照しながら説明する。第３の実施形態に係る音声信号処理装置１Ｂは、第１の実施形態の構成に、公知のコヒーレンスフィルタ構成を導入したものである。

コヒーレンスフィルタとは、得られたコヒーレンスｃｏｅｆ（ｆ）を入力信号Ｘ１（ｆ）に乗算する処理であり、到来方向に左右の偏りがある成分を抑制する働きを持っている。

図８は、第３の実施形態に係る音声信号処理装置１Ｂの構成を示すブロック図であり、第１の実施形態に係る図１との同一、対応部分には同一、対応符号を付して示している。

図８において、第３の実施形態に係る音声信号処理装置１Ｂは、第１の実施形態の構成に加えて、コヒーレンスフィルタ係数乗算部４０を備えており、ＷＦ係数乗算部１７Ｂの処理も多少変更されている。

コヒーレンスフィルタ係数乗算部４０には、コヒーレンス計算部１３からコヒーレンスｃｏｅｆ（ｆ）が与えられると共に、ＦＦＴ部１０から、周波数領域に変換された一方の入力信号Ｘ１（ｆ）が与えられるようになされており、コヒーレンスフィルタ係数乗算部４０は、（１０）式に示すように、これらを乗算してはコヒーレンスフィルタ処理信号Ｒ０（ｆ）を得る。

Ｒ０（ｆ）＝Ｘ１（ｆ）×ｃｏｅｆ（ｆ） …（１０）
第３の実施形態のＷＦ係数乗算部１７Ｂは、（１１）式に示すように、コヒーレンスフィルタ処理信号Ｒ０（ｆ）に、ＷＦ適応部３０からのウィーナーフィルタ係数ＷＦ＿ＣＯＥＦ（ｆ）を乗算し、ウィーナーフィルタ処理後信号Ｐ（ｆ）を得る。

Ｐ（ｆ）＝Ｒ０（ｆ）×ＷＦ＿ＣＯＥＦ（ｆ） …（１１）
これ以降のＩＦＦＴ部１８及びＶＳゲイン乗算部１９の処理は、第１の実施形態と同様である。

第３の実施形態によれば、コヒーレンスフィルタ機能を追加したことにより、第１の実施形態を単体で動作させるよりも高い雑音抑制効果を得ることができる。

（Ｄ）第４の実施形態
次に、本発明による音声信号処理装置、方法及びプログラムの第４の実施形態を、図面を参照しながら説明する。第４の実施形態に係る音声信号処理装置１Ｃは、第１の実施形態の構成に、公知の周波数減算技術の構成を導入したものである。

周波数減算技術とは、入力信号から雑音信号を減算することで雑音低減効果を得る信号処理手法である。

図９は、第４の実施形態に係る音声信号処理装置１Ｃの構成を示すブロック図であり、第１の実施形態に係る図１との同一、対応部分には同一、対応符号を付して示している。

図９において、第４の実施形態に係る音声信号処理装置１Ｃは、第１の実施形態の構成に加えて、周波数減算部５０を備えており、ＷＦ係数乗算部１７Ｃの処理も多少変更されている。周波数減算部５０は、第３の指向性形成部５１と減算部５２とを有する。

第３の指向性形成部５１には、ＦＦＴ部１０から周波数領域に変換された２つの入力信号Ｘ１（ｆ）及びＸ２（ｆ）が与えられる。第３の指向性形成部５１は、図１０に示すような正面に死角を有する指向性特性に従った第３の指向性信号Ｂ３（ｆ）を形成し、この指向性信号Ｂ３（ｆ）を雑音信号として減算部５２に減算入力として与える。減算部５２には、周波数領域に変換された一方の入力信号Ｘ１（ｆ）が被減算入力として与えられており、減算部５２は、（１２）式に示すように、入力信号Ｘ１（ｆ）から第３の指向性信号Ｂ３（ｆ）を減算しては周波数減算処理信号Ｒ１（ｆ）を得る。

Ｒ１（ｆ）＝Ｘ１（ｆ）−Ｂ３（ｆ） …（１２）
第４の実施形態のＷＦ係数乗算部１７Ｃは、（１３）式に示すように、周波数減算処理信号Ｒ１（ｆ）に、ＷＦ適応部３０からのウィーナーフィルタ係数ＷＦ＿ＣＯＥＦ（ｆ）を乗算し、ウィーナーフィルタ処理後信号Ｐ（ｆ）を得る。

Ｐ（ｆ）＝Ｒ１（ｆ）×ＷＦ＿ＣＯＥＦ（ｆ） …（１３）
これ以降のＩＦＦＴ部１８及びＶＳゲイン乗算部１９の処理は、第１の実施形態と同様である。

第４の実施形態によれば、周波数減算機能を追加したことにより、第１の実施形態を単体で動作させるよりも高い雑音抑制効果を得ることができる。

（Ｅ）他の実施形態
本発明は、上記実施形態のものに限定されず、以下に例示するような変形実施形態を挙げることができる。

（Ｅ−１）上記各実施形態の説明から明らかなように、上記各実施形態では、ボイススイッチとウィーナーフィルタという二つの雑音抑制技術を用いているが、コヒーレンスの挙動に基づいて背景雑音のみの区間を抜き出す構成、処理に特徴を有している。この特徴は、特に、ウィーナーフィルタの性能向上に寄与する機能である。そこで、雑音抑制技術としてウィーナーフィルタだけを有する音声信号処理装置やプログラムに対しても、本発明を適用することができる。雑音抑制技術としてウィーナーフィルタだけを有する音声信号処理装置の構成としては、例えば、図１の構成から、ゲイン制御部１５及びＶＳゲイン乗算部１９を除外したものを挙げることができる。

（Ｅ−２）上記各実施形態においては、判定された非目的音声区間における背景雑音のみの区間を、コヒーレンスの瞬時値ＣＯＨ（ｔ）の、コヒーレンスの長期平均値ＡＶＥ_ＣＯＨからの差分δに基づいて検出するものを示したが、コヒーレンスの分散（若しくは標準偏差）の大小によって背景雑音のみの区間を検出するようにしても良い。コヒーレンスの分散は、最新所定個数のコヒーレンスの瞬時値ＣＯＨ（ｔ）の、その平均値からのバラツキ度合を表しているので、コヒーレンス差分と同様なコヒーレンスの挙動を表すパラメータとなっている。

（Ｅ−３）第３の実施形態では、第１の実施形態に公知のコヒーレンスフィルタ構成を追加したものを示し、第４の実施形態では、第１の実施形態に公知の周波数減算構成を追加したものを示したが、第１の実施形態に、コヒーレンスフィルタ構成と周波数減算構成とを共に追加するようにしても良い。

また、第２の実施形態の構成をベースとして、コヒーレンスフィルタ構成と周波数減算構成との少なくとも一方を追加するようにしても良い。

（Ｅ−４）第２の実施形態では、パラメータλの値に応じて、適応速度を２段階で切り替えるものを示したが、閾値を複数設定することにより、パラメータλの値に応じて、適応速度を３段階以上で切り替えるようにしても良い。

（Ｅ−５）上記各実施形態では、目的音声区間検出部があるが、ＷＦ適応部がコヒーレンスに基づいて目的音声区間か否かをも再度判定しているものを示したが、ＷＦ適応部が目的音声区間検出部の検出結果を利用し、ＷＦ適応部が目的音声区間か否かの判定を実行しないようにしても良い。特許請求の範囲における「目的音声区間検出部」は、ＷＦ適応部がコヒーレンスに基づいて目的音声区間か否かをも判定している場合には、ＷＦ適応部が対応し、ＷＦ適応部が外部の目的音声区間検出部の検出結果を利用する場合には、外部の目的音声区間検出部が対応するものである。

（Ｅ−６）上記各実施形態においては、ウィーナーフィルタ処理を施した後に、ボイススイッチ処理を施すものを示したが、この処理順序は逆であっても良い。

（Ｅ−７）上記各実施形態において、周波数領域の信号で処理していた処理を、可能ならば時間領域の信号で処理するようにしても良く、逆に、時間領域の信号で処理していた処理を、可能ならば周波数領域の信号で処理するようにしても良い。

（Ｅ−８）上記各実施形態では、一対のマイクが捕捉した信号を直ちに処理する音声信号処理装置やプログラムを示したが、本発明の処理対象の音声信号はこれに限定されるものではない。例えば、記録媒体から読み出した一対の音声信号を処理する場合にも、本発明を適用することができ、また、対向装置から送信されてきた一対の音声信号を処理する場合にも、本発明を適用することができる。

１…音声信号処理装置、ｍ＿１、ｍ＿２…マイク、１１…第１指向性形成部、１２…第２の指向性形成部、１３…コヒーレンス計算部、１４…目的音声区間検出部、１５…ゲイン制御部、１６、３０…ＷＦ適応部、１７…ＷＦ係数乗算部、１９…ＶＳゲイン乗算部、２０…コヒーレンス差分計算部、２２…コヒーレンス長期平均計算部、２３…コヒーレンス減算部、３２…背景雑音区間判定部、３３…ＷＦ係数適応部、４０…コヒーレンスフィルタ係数乗算部、５０…周波数減算部、５１…第３の指向性形成部、５２…減算部。

Claims (10)

1. 第１の入力音声信号から雑音成分を抑制する音声信号処理装置において、
   前記第１の入力音声信号と、前記第１の入力音声信号を得た第１のマイクとは異なる第２のマイクが捕捉した第２の入力音声信号とを用いた遅延減算処理により、第１の所定方位に死角を有する指向性特性を付与した第１の指向性信号を形成する第１の指向性形成部と、
   前記第１の入力音声信号と前記第２の入力音声信号とを用いた遅延減算処理により、前記第１の所定方位とは異なる第２の所定方位に死角を有する指向性特性を付与した第２の指向性信号を形成する第２の指向性形成部と、
   前記第１及び第２の指向性信号を用いてコヒーレンスを得るコヒーレンス計算部と、
   前記コヒーレンスに基づいて、前記第１の入力音声信号が、目的方位から到来している目的音声の区間か、それ以外の非目的音声区間かを判別する目的音声区間検出部と、
   前記コヒーレンスの、平均的な値からの相違情報を得るコヒーレンス挙動情報計算部と、
   前記相違情報を背景雑音検出用閾値と比較し、前記目的音声検出部で判別された非目的音声区間を、背景雑音検出用閾値より小さいときの背景雑音区間とそれ以外の非背景雑音区間に分け、背景雑音区間か非背景雑音区間かに応じてウィーナーフィルタ係数の適応処理を切り換えるＷＦ適応部と、
   前記ＷＦ適応部からのウィーナーフィルタ係数を前記第１の入力音声信号に乗算するＷＦ係数乗算部と
   を有することを特徴とする音声信号処理装置。
2. 前記コヒーレンス挙動情報計算部は、コヒーレンスの長期平均値と、最新のコヒーレンスの瞬時値との差分を、前記相違情報として算出することを特徴とする請求項１に記載の音声信号処理装置。
3. 前記コヒーレンス挙動情報計算部は、最新所定個数のコヒーレンスの瞬時値から求めた分散値を、前記相違情報として算出することを特徴とする請求項１に記載の音声信号処理装置。
4. 前記ＷＦ適応部は、背景雑音区間でウィーナーフィルタ係数の適応処理を実行し、非背景雑音区間でウィーナーフィルタ係数の適応処理を停止することを特徴とする請求項１〜３のいずれかに記載の音声信号処理装置。
5. 前記ＷＦ適応部は、ウィーナーフィルタ係数の適応開始直後か否かを判別し、開始直後では、ウィーナーフィルタ係数の適応処理における適応速度を高めることを特徴とする請求項１〜４のいずれかに記載の音声信号処理装置。
6. 目的音声区間か非目的音声区間かに応じ、いずれかの処理段階にある音声信号に対して、異なるゲインを乗算して雑音抑制を行うボイススイッチ処理部をさらに有することを特徴とする請求項１〜５のいずれかに記載の音声信号処理装置。
7. 前記コヒーレンス計算部で得られたコヒーレンスを、フィルタ特性として、いずれかの処理段階にある音声信号に対して乗算し、到来方向に偏りを有する成分を抑制するコヒーレンスフィルタ処理部をさらに有することを特徴とする請求項１〜６のいずれかに記載の音声信号処理装置。
8. 前記第１及び第２の指向性形成部とは異なる第３の所定方向に死角を有する指向性特性を付与した第３の指向性信号を形成する第３の指向性形成部と、前記第３の指向性信号をいずれかの処理段階にある音声信号から減算する減算部とを有する周波数減算部をさらに有することを特徴とする請求項１〜７のいずれかに記載の音声信号処理装置。
9. 第１の入力音声信号から雑音成分を抑制する音声信号処理方法において、
   第１の指向性形成部は、前記第１の入力音声信号と、前記第１の入力音声信号を得た第１のマイクとは異なる第２のマイクが捕捉した第２の入力音声信号とを用いた遅延減算処理により、第１の所定方位に死角を有する指向性特性を付与した第１の指向性信号を形成し、
   第２の指向性形成部は、前記第１の入力音声信号と前記第２の入力音声信号とを用いた遅延減算処理により、前記第１の所定方位とは異なる第２の所定方位に死角を有する指向性特性を付与した第２の指向性信号を形成し、
   コヒーレンス計算部は、前記第１及び第２の指向性信号を用いてコヒーレンスを計算し、
   目的音声区間検出部は、前記コヒーレンスに基づいて、前記第１の入力音声信号が、目的方位から到来している目的音声の区間か、それ以外の非目的音声区間かを判別し、
   コヒーレンス挙動情報計算部は、前記コヒーレンスの、平均的な値からの相違情報を得、
   ＷＦ適応部は、前記相違情報を背景雑音検出用閾値と比較し、前記目的音声検出部で判別された非目的音声区間を、背景雑音検出用閾値より小さいときの背景雑音区間とそれ以外の非背景雑音区間に分け、背景雑音区間か非背景雑音区間かに応じてウィーナーフィルタ係数の適応処理を切り換え、
   ＷＦ係数乗算部は、前記ＷＦ適応部からのウィーナーフィルタ係数を前記第１の入力音声信号に乗算する
   ことを特徴とする音声信号処理方法。
10. コンピュータを、
    第１の入力音声信号と、前記第１の入力音声信号を得た第１のマイクとは異なる第２のマイクが捕捉した第２の入力音声信号とを用いた遅延減算処理により、第１の所定方位に死角を有する指向性特性を付与した第１の指向性信号を形成する第１の指向性形成部と、
    前記第１の入力音声信号と前記第２の入力音声信号とを用いた遅延減算処理により、前記第１の所定方位とは異なる第２の所定方位に死角を有する指向性特性を付与した第２の指向性信号を形成する第２の指向性形成部と、
    前記第１及び第２の指向性信号を用いてコヒーレンスを得るコヒーレンス計算部と、
    前記コヒーレンスに基づいて、前記第１の入力音声信号が、目的方位から到来している目的音声の区間か、それ以外の非目的音声区間かを判別する目的音声区間検出部と、
    前記コヒーレンスの、平均的な値からの相違情報を得るコヒーレンス挙動情報計算部と、
    前記相違情報を背景雑音検出用閾値と比較し、前記目的音声検出部で判別された非目的音声区間を、背景雑音検出用閾値より小さいときの背景雑音区間とそれ以外の非背景雑音区間に分け、背景雑音区間か非背景雑音区間かに応じてウィーナーフィルタ係数の適応処理を切り換えるＷＦ適応部と、
    前記ＷＦ適応部からのウィーナーフィルタ係数を前記第１の入力音声信号に乗算するＷＦ係数乗算部と
    して機能させることを特徴とする音声信号処理プログラム。

Images