JPWO2009104252A1 - 音処理装置、音処理方法及び音処理プログラム - Google Patents

Abstract

音出力部に出力させる音の基となる参照音信号、及び複数の受音部が入力した音に基づいて出力した夫々の音信号に基づく観測音信号を、周波数軸上の成分に変換する変換部と、変換後の参照音信号に基づく音に起因するエコーを推定し、推定したエコーを変換後の観測音信号から周波数成分毎に抑制するエコー抑制部と、複数の受音部に入力した夫々の音の時間差から求まる音の到来方向に基づいて雑音を推定し、推定した雑音を変換後の観測音信号から周波数成分毎に抑制する雑音抑制部と、エコー抑制後の観測音信号及び前記雑音抑制後の観測音信号に基づいて、変換後の観測音信号から周波数成分毎にエコー及び雑音を抑制する統合処理部とを備える音処理装置、音処理方法及び音処理プログラム。

Description

本発明は、音信号に基づいて音を出力する音出力部、及び入力した音に基づいて音信号を出力する複数の受音部と連携し、該受音部が出力した音に基づく音信号を処理する音処理装置、該音処理装置に実行させる音処理方法、及び前記音処理装置を実現するための音処理プログラムに関する。

テレビ会議システム、携帯電話、音声出力及び音声認識機能を有するカーナビゲーションシステム等のスピーカ及びマイクロホンを備える装置では、スピーカから出力された音に基づくエコーを、マイクロホンにて受音した音から除去するエコー抑制処理が実現されている。

図１は、従来のエコー抑制装置の構成を示すブロック図である。図１中１００００は、エコー抑制処理を実行するエコー抑制装置である。エコー抑制装置１００００は、参照音信号ｙ（ｔ）に基づいて音を出力するスピーカ１０００１及び入力した音を観測音信号ｘ（ｔ）に変換するマイクロホン１０００２を備えている。またエコー抑制装置１００００は、観測音信号ｘ（ｔ）からのエコーの除去に用いる適応フィルタ１０００３を備えている。

マイクロホン１０００２は、話者が発声した音声だけでなく、スピーカ１０００１から出力された音、その他の雑音等の様々な音を受音する。即ちスピーカ１０００１から参照音信号ｙ（ｔ）に基づいて出力された音は、外部環境の音場を通ってマイクロホン１０００２に入力される。このスピーカ１０００１及びマイクロホン１０００２間のインパルス応答をｈ（ｔ）とすると、エコー抑制装置１００００は、インパルス応答ｈ（ｔ）の推定値ａ（ｔ）を適応フィルタ１０００３にて求め、参照音信号ｙ（ｔ）を適応フィルタ１０００３に通したｙ’（ｔ）を導出する。推定値ａ（ｔ）を推定する方法としては、最急降下法、ＬＭＳ（Ｌｅａｓｔ Ｍｅａｎ Ｓｑｕａｒｅ）法、学習同定法等の方法が用いられる。そして観測音信号ｘ（ｔ）からｙ’（ｔ）を減算することによりスピーカ１０００１の出力に基づくエコーを除去して差分信号ｅ（ｔ）を導出する。なお観測音信号ｘ（ｔ）に含まれている信号がスピーカ１０００１の出力に基づく残留エコーのみである場合に、差分信号ｅ（ｔ）の電力が最小となる様に適応フィルタ１０００３を動作させて推定する（例えば非特許文献１、ｐ８４−８５参照。）。そして差分信号ｅ（ｔ）に基づいて音声認識等の各種処理を実行する。

また複数のマイクロホンを用いて音の到来方向を推定し、話者の方向等の目的方向以外から到来する音を環境雑音として抑制する雑音抑制処理が実現されている。

図２は、従来の雑音抑制装置の構成を示すブロック図である。図２中２００００は、到来する方向に基づいて環境雑音を抑制する雑音抑制装置である。雑音抑制装置２００００は、適当な間隔ｄをおいて配設された第１マイクロホン２０００１及び第２マイクロホン２０００２を備えており、第１マイクロホン２０００１及び第２マイクロホン２０００２は、入力した音に基づいて夫々第１音信号ｘ１（ｔ）及び第２音信号ｘ２（ｔ）を出力する。また雑音抑制装置２００００は、設定されている第１フィルタ係数Ｈ１（ω）に基づいて第１音信号ｘ１（ｔ）をフィルタリングする第１ＦＩＲ(Finite Impulse Response )フィルタ２０００３及び第２フィルタ係数Ｈ２（ω）に基づいて第２音信号ｘ２（ｔ）をフィルタリングする第２ＦＩＲフィルタ２０００４を備えている。また雑音抑制装置２００００は、第１音信号ｘ１（ｔ）及び第２音信号ｘ２（ｔ）に基づいて第１ＦＩＲフィルタ２０００３の第１フィルタ係数Ｈ１（ω）及び第２ＦＩＲフィルタ２０００４の第２フィルタ係数Ｈ２（ω）を夫々導出し、導出した第１フィルタ係数Ｈ１（ω）及び第２フィルタ係数Ｈ２（ω）を第１ＦＩＲフィルタ２０００３及び第２ＦＩＲフィルタ２０００４へ出力するフィルタ係数導出部２０００５を備えている。さらに雑音抑制装置２００００は、第１ＦＩＲフィルタ２０００３及び第２ＦＩＲフィルタ２０００４にてフィルタリングされた第１音信号ｘ１’（ｔ）及び第２音信号ｘ２’（ｔ）を加算した音信号ｒ（ｔ）を出力する加算器２０００６を備えている。

図２において、環境雑音原が第１マイクロホン２０００１及び第２マイクロホン２０００２から十分離れており、抑制すべき環境雑音が方向θから平面波として到来しているものとすると、雑音は第１マイクロホン２０００１に受音された後、遅延時間τ（＝ｄｓｉｎθ／ｃ，ｃ：音速）の遅れをもって第２マイクロホン２０００２に受音される。従って第１ＦＩＲフィルタ２０００３に遅延時間τ及び逆相を示す伝達係数を持つ第１フィルタ係数Ｈ１（ω）を設定し、第２ＦＩＲフィルタ２０００４に１の伝達係数を持つ第２フィルタ係数Ｈ２（ω）を設定すれば、音信号ｒ（ｔ）は、方向θから到来する環境雑音が抑制された信号となる。この技術を応用することにより、周波数毎に音の到来方向を推定し、話者の方向等の目的方向以外から到来する音を環境雑音として抑制することができる（例えば非特許文献１，ｐ８５−８６参照。）。そして音信号ｒ（ｔ）に基づく音声認識等の各種処理が実行される。

図１に示したエコー抑制装置は、参照音信号に基づいてエコーを抑制することができるが、エコー以外の環境雑音を抑制することができないという問題がある。図２に示した雑音抑制装置は、話者の方向等の特定の目的方向から到来する音以外の環境雑音を抑制することができるが、スピーカが話者の近傍にある場合に、スピーカから出力される音の抑制が不十分となる。そこでエコーを抑制するエコー抑制装置と到来方向に応じて環境雑音を抑制する雑音抑制装置とを組み合わせて両方の技術の問題点を相互に補完する音処理装置が検討され始めている。

図３は、従来の音処理装置の構成を示すブロック図である。図３中３００００は、エコーを抑制するエコー抑制装置と到来方向に基づいて環境雑音を抑制する雑音抑制装置とを組み合わせた音処理装置である。音処理装置３００００は、参照音信号ｙ（ｔ）に基づいて音を出力するスピーカ３０００１と、入力した音を第１観測音信号ｘ１（ｔ）及び第２観測音信号ｘ２（ｔ）に夫々変換する第１マイクロホン３０００２及び第２マイクロホン３０００３とを備えている。

音処理装置３００００は、第１観測音信号ｘ１（ｔ）及び第２観測音信号ｘ２（ｔ）から到来する方向に基づいて雑音を抑制する雑音抑制部３０００４を備えており、雑音抑制部３０００４は、環境雑音を抑制した観測音信号ｘ＿ｒ（ｔ）を出力する。さらに音処理装置３００００は、環境雑音を抑制した観測音信号ｘ＿ｒ（ｔ）から参照音信号ｙ（ｔ）に基づくエコーを抑制するエコー抑制部３０００５を備えており、エコー抑制部３０００５は、環境雑音及びエコーを抑制した信号ｅ＿ｒ（ｔ）を出力する。そして信号ｅ＿ｒ（ｔ）に基づく音声認識等の各種処理が実行される。

図３に示した音処理装置は、到来方向に基づき環境雑音を抑制後、エコーを抑制する構成である。

図４は、従来の音処理装置の構成を示すブロック図である。図４中４００００は、エコーを抑制するエコー抑制装置と到来方向に応じて環境雑音を抑制する雑音抑制装置とを組み合わせた音処理装置である。音処理装置４００００は、参照音信号ｙ（ｔ）に基づいて音を出力するスピーカ４０００１と、入力した音を観測音信号ｘ１（ｔ）及びｘ２（ｔ）に夫々変換する第１マイクロホン４０００２及び第２マイクロホン４０００３とを備えている。

音処理装置４００００は、第１観測音信号ｘ１（ｔ）から参照音信号ｙ（ｔ）に基づくエコーを抑制する第１エコー抑制部４０００４を備えており、第１エコー抑制部４０００４は、エコーを抑制した第１観測音信号ｅ１（ｔ）を出力する。また音処理装置４００００は、第２観測音信号ｘ２（ｔ）から参照音信号ｙ（ｔ）に基づくエコーを抑制する第２エコー抑制部４０００５を備えており、第２エコー抑制部４０００５は、エコーを抑制した第２観測音信号ｅ２（ｔ）を出力する。さらに音処理装置４００００は、エコーを抑制した第１観測音信号ｅ１（ｔ）及び第２観測音信号ｅ２（ｔ）から到来する方向に基づいて環境雑音を抑制する雑音抑制部４０００６を備えており、雑音抑制部４０００６は、環境雑音及びエコーを抑制した信号ｅ＿ｒ（ｔ）を出力する。そして信号ｅ＿ｒ（ｔ）に基づく音声認識等の各種処理が実行される。

図４に示した音処理装置は、エコーを抑制後、到来方向に基づき環境雑音を抑制する構成である。
古井貞煕著、音響・音声工学、初版、株式会社近代科学社、１９９２年９月、ｐ８４−８６

しかしながら図３に示した様に到来方向に基づき環境雑音を抑制後、エコーを抑制する装置では、到来方向に基づく雑音抑制後の信号に歪みが生じる。従ってエコー抑制処理において、環境雑音を抑制した観測音信号と参照音信号との音響的距離が大きくなるため、エコー抑制処理のエコー抑制精度が低下するという問題がある。また歪んだ雑音抑制後の信号に基づいてエコー抑制処理を行うため、音質が低下するという問題がある。

また図４に示した様にエコーを抑制後、到来方向に基づき環境雑音を抑制する装置では、エコー抑制後の夫々の参照音信号間に差異が生じ、最終的にエコー抑制処理のエコー抑制精度が低下するという問題がある。また歪んだエコー抑制後の信号に基づいて環境雑音の抑制を行うため、音質が低下するという問題がある。

本発明は斯かる事情に鑑みてなされたものであり、到来方向に基づき環境雑音を抑制する処理及びエコー抑制処理の夫々に対しては歪みのない観測音信号を入力し、夫々の処理を実行後に統合処理を行うことにより、音質を維持しながらも環境雑音及びエコーを高精度に抑制する音処理装置、該音処理装置に実行させる音処理方法、及び前記音処理装置を実現するための音処理プログラムを開示する。

第１の音処理装置は、音信号に基づいて音を出力する音出力部、及び入力した音に基づいて音信号を出力する複数の受音部と連携可能であり、前記受音部が出力した音信号を処理する音処理装置において、前記音出力部に出力させる音の基となる参照音信号、及び前記複数の受音部が出力した夫々の音信号に基づく観測音信号を、周波数軸上の成分に変換する変換部と、前記変換後の参照音信号に基づく音に起因するエコーを推定し、推定したエコーを前記変換後の観測音信号から周波数成分毎に抑制するエコー抑制部と、前記複数の受音部に入力した夫々の音の時間差から求まる音の到来方向に基づいて雑音を推定し、推定した雑音を前記変換後の観測音信号から周波数成分毎に抑制する雑音抑制部と、前記エコー抑制後の観測音信号及び前記雑音抑制後の観測音信号に基づいて、前記変換後の観測音信号から周波数成分毎にエコー及び雑音を抑制する統合処理部とを備えることを要件とする。

第２の音処理装置は、第１の音処理装置において、前記統合処理部は、前記エコー抑制前後の観測音信号の周波数成分毎の比及び前記雑音抑制後の観測音信号の積、又は、前記雑音抑制前後の観測音信号の周波数成分毎の比及び前記エコー抑制後の観測音信号の積に基づいてエコー及び雑音を抑制した観測音信号を求める様にしてあることを要件とする。

第３の音処理装置は、第１又は第２の音処理装置において、前記雑音抑制部は、更に、前記変換後の観測音信号に基づいて背景雑音を導出する背景雑音導出部を有し、前記エコー抑制前後の観測音信号の周波数成分毎の比と、前記背景雑音導出部にて導出した背景雑音との積を加味して雑音を抑制する様にしてあることを要件とする。

第４の音処理装置は、第１又は第２の音処理装置において、前記雑音抑制部は、更に、前記音出力部の方向から到来したと推定した音の周波数成分を、前記変換後の観測音信号から抑制する出力音抑制部を有し、
前記エコー抑制部は、更に、前記変換後の観測音信号のうち、前記出力音抑制部による抑制前後の比が所定値以下である周波数成分に基づいて背景雑音を導出する背景雑音導出部を有し、前記エコー抑制部は、前記背景雑音導出部が導出した背景雑音を加味して推定したエコーを抑制する様にしてあることを要件とする。

第５の音処理装置は、第４の音処理装置において、前記雑音抑制部は、更に、前記変換後の観測音信号のうち、前記エコー抑制前後の比が所定値を超える周波数成分に基づいて背景雑音を導出する背景雑音導出部を有し、前記雑音抑制部は、前記背景雑音導出部が導出した背景雑音を加味して雑音を抑制する様にしてあることを要件とする。

第６の音処理装置は、第３乃至第５のいずれかの音処理装置において、前記背景雑音導出部は、前記変換後の観測音信号の時間変化を周波数成分毎に平滑化して背景雑音を導出するようにしてあることを要件とする。

第７の音処理装置は、第１又は第２の音処理装置において、前記雑音制御部は、更に、前記変換後の観測音信号に対し、所定の目的方向から到来したと推定した音信号の周波数成分の強調処理及び／又は目的方向以外の方向から到来したと推定した音信号の周波数成分の抑制処理により、目的方向から到来する目的音を強調する目的音強調部を有し、前記エコー抑制部は、更に、前記変換後の参照音信号に基づいて、周波数毎に算出及び更新されたフィルタ係数にてフィルタリングすることにより、前記変換後の観測音信号から抑制すべきエコー成分を導出するフィルタ部と、前記目的音強調部にて目的音を強調した観測音信号に基づいて、前記フィルタ部のフィルタ係数の更新の要否を判定する更新要否判定部とを有することを要件とする。

第８の音処理装置は、第１又は第２の音処理装置において、前記雑音制御部は、所定の要抑制方向から到来したと推定した音信号の周波数成分を、前記変換後の観測音信号から抑制することで、要抑制方向から到来する音を抑制する要抑制音抑制部を有し、前記エコー抑制部は、前記変換後の参照音信号を、周波数毎に算出及び更新されたフィルタ係数にてフィルタリングすることにより、抑制すべきエコー成分を導出するフィルタ部を有し、該フィルタ部は、前記変換後の参照音信号及び前記要抑制音を抑制した観測音信号に基づいて、フィルタ係数を算出及び更新する様にしてあることを要件とする。

第９の音処理方法は、音信号に基づいて音を出力する音出力部、及び入力した音に基づいて音信号を出力する複数の受音部と連携可能な音処理装置に実行させる音処理方法において、前記音処理装置が、前記音出力部に出力させる音の基となる参照音信号、及び前記複数の受音部が出力した夫々の音信号に基づく観測音信号を、周波数軸上の成分に変換するステップと、前記変換後の参照音信号に基づく音に起因するエコーを推定し、推定したエコーを前記変換後の観測音信号から周波数成分毎に抑制するステップと、前記複数の受音部に入力した夫々の音の時間差から求まる音の到来方向に基づいて雑音を推定し、推定した雑音を前記変換後の観測音信号から周波数成分毎に抑制するステップと、前記エコー抑制後の観測音信号及び前記雑音抑制後の観測音信号に基づいて、前記変換後の観測音信号から周波数成分毎にエコー及び雑音を抑制するステップとを実行することを要件とする。

第１０の音処理プログラムは、音信号に基づいて音を出力する音出力部、及び入力した音に基づいて音信号を出力する複数の受音部と連携可能なコンピュータを音処理装置として機能させる音処理プログラムにおいて、コンピュータに、前記音出力部に出力させる音の基となる参照音信号、及び前記複数の受音部が出力した夫々の音信号に基づく観測音信号を、周波数軸上の成分に変換する手順と、前記変換後の参照音信号に基づく音に起因するエコーを推定し、推定したエコーを前記変換後の観測音信号から周波数成分毎に抑制する手順と、前記複数の受音部に入力した夫々の音の時間差から求まる音の到来方向に基づいて雑音を推定し、推定した雑音を前記変換後の観測音信号から周波数成分毎に抑制する手順と、前記エコー抑制後の観測音信号及び前記雑音抑制後の観測音信号に基づいて、前記変換後の観測音信号から周波数成分毎にエコー及び雑音を抑制する手順とを実行させることを要件とする。

第１及び第２の音処理装置、第９の音処理方法並びに第１０の音処理プログラムでは、音質を維持しながらも到来方向に基づく環境雑音及びエコーを抑制することが可能であり、しかも雑音抑制部及びエコー抑制部の処理の精度の低下を防止することが可能である。

第３の音処理装置は、背景雑音の導出に、エコー抑制前後の比を用いることにより、エコー成分を除外して背景雑音の推定精度を向上させることが可能である。

第４の音処理装置は、音出力部の方向から到来した音を抑制した観測音信号に基づいて導出した背景雑音を加味してエコーを抑制することにより、背景雑音の推定がエコー以外の音に影響されることを防止することが可能である。

第５の音処理装置は、エコーを抑制した観測音信号に基づいて導出した背景雑音を加味して雑音を抑制することにより、エコー成分を除外して背景雑音の推定精度を向上させることが可能である。

第６の音処理装置は、恒常的に発生する背景雑音を導出することが可能である。

第７の音処理装置は、話者が発声した音声等の目的音を強調した観測音信号に基づき高精度にダブルトーク又はシングルトークの状態であることを判断することができるので、その状態に応じたフィルタ係数の更新の要否を高精度に判定することが可能である。

第８の音処理装置は、話者が発声した音声等の要抑制音を抑制した観測音信号に基づいてエコー成分を導出することにより、ダブルトーク、シングルトークの状態の判定が不要である。

本願は、参照音信号及び観測音信号から推定した参照音信号に基づく音に起因するエコーを、観測音信号から抑制するエコー抑制部と、複数の観測音信号間の位相差から求まる音の到来方向に基づき推定した雑音を抑制する雑音抑制部とを備え、更にエコー抑制部によりエコーを抑制した観測音信号及び雑音抑制部により雑音を抑制した観測音信号に基づいて、観測音信号からエコー及び雑音を抑制する統合処理部を備える音処理装置等を開示する。

この構成により、本願は、雑音抑制処理を行っていない信号に基づいてエコー抑制処理を行い、かつエコー抑制処理を行っていない信号に基づいて雑音抑制処理を行う。従って本願は、音質を維持しながらも到来方向に基づき環境雑音及びエコーを抑制することが可能であり、しかも雑音抑制部及びエコー抑制部の処理の精度の低下を防止することが可能である等、優れた効果を奏する。

本願は、雑音抑制部が、例えば観測音信号の時間変化を平滑化することにより背景雑音を導出し、導出した背景雑音と、エコー抑制前後の観測音信号の比との積を加味して雑音を抑制する音処理装置等を開示する。

この構成により、本願は、エコーの成分を排除して高精度に背景雑音を導出することが可能である等、優れた効果を奏する。従って雑音抑制部が、背景雑音を加味して雑音の抑制を行う際、例えば目的方向から到来する音のレベルを背景雑音まで抑制することでミュージカルノイズ等の不自然な雑音の発生を防止して雑音の抑制を行う際に有効である。特に特定の周波数のパワーが大きいオーディオ音を連続して音出力部から出力している場合に、オーディオ音が背景雑音の導出に与える影響を排除することが可能である。

本願は、雑音抑制部が、音出力部の方向から到来したと推定した音の周波数成分を観測信号の周波数成分から抑制する出力音抑制部を有し、エコー抑制部が、出力音抑制部による抑制前後の比が所定値以下である周波数成分の音信号に基づいて背景雑音を導出し、導出した背景雑音を加味して推定したエコーを抑制する音処理装置等を開示する。

この構成により、本願は、音出力部の方向から到来した音を抑制した観測音信号を加味して推定した背景雑音に基づいてエコーを抑制するので、背景雑音の推定がエコー以外の音に影響されることを防止し、エコー抑制部によるエコーの推定精度を向上させることが可能である等、優れた効果を奏する。

本願は、雑音抑制部が、エコー抑制前後の比が所定値を超える周波数成分に基づいて背景雑音を導出し、導出した背景雑音を加味して雑音を抑制する音処理装置等を開示する。

この構成により、本願は、エコー成分を除外して背景雑音の推定精度を向上させることが可能である等、優れた効果を奏する。

本願は、雑音抑制部が、観測音信号に対し、話者の方向等の目的方向から到来したと推定した目的音を強調し、エコー抑制部が、周波数毎に算出及び更新されたフィルタ係数にて参照音信号をフィルタリングすることにより、抑制すべきエコー成分を導出するフィルタ部に対し、目的音を強調した観測音信号に基づいて、フィルタ係数の更新の要否を判定する音処理装置等を開示する。

この構成により、本願は、ダブルトークの判定に要する目的音が強調されていることから、高精度にダブルトーク又はシングルトークの状態であることを判断することができるので、その状態に応じたフィルタ係数の更新の要否を高精度に判定することが可能である等、優れた効果を奏する。

本願は、雑音抑制部が、話者の方向等の要抑制方向から到来したと推定した要抑制音を観測音信号から抑制し、エコー抑制部が、周波数毎に算出及び更新されたフィルタ係数にて参照音信号をフィルタリングすることにより、抑制すべきエコー成分を導出するフィルタ部を有し、フィルタ部は、参照音信号及び要抑制音を抑制した観測音信号に基づいて、フィルタ係数を算出及び更新する音処理装置等を開示する。

この構成により、本願は、要抑制音が抑制された観測音信号にはダブルトークの状態が存在しないと見なすことができるので、ダブルトーク、シングルトークの状態を判定することなくエコーを抑制することが可能である等、優れた効果を奏する。

従来のエコー抑制装置の構成を示すブロック図である。 従来の雑音抑制装置の構成を示すブロック図である。 従来の音処理装置の構成を示すブロック図である。 従来の音処理装置の構成を示すブロック図である。 本発明の実施の形態１に係る音処理装置の構成例を示すブロック図である。 本発明の実施の形態１に係る音処理装置が備える抑制機構等の機構の機能構成例を示す機能ブロック図である。 本発明の実施の形態１に係る音処理装置が備えるエコー抑制部等の機能構成例を示す機能ブロック図である。 本発明の実施の形態１に係る音処理装置が備える雑音抑制部等の機能構成例を示す機能ブロック図である。 本発明の実施の形態１に係る音処理装置の処理の一例を示すフローチャートである。 本発明の実施の形態１に係る音処理装置が備えるエコー抑制部等の機能構成例を示す機能ブロック図である。 本発明の実施の形態１に係る音処理装置が備える雑音抑制部等の機能構成例を示す機能ブロック図である。 本発明の実施の形態２に係る音処理装置が備える抑制機構等の機構の機能構成例を示す機能ブロック図である。 本発明の実施の形態２に係る音処理装置が備える雑音抑制部等の機能構成例を示す機能ブロック図である。 本発明の実施の形態２に係る音処理装置の処理の一例を示すフローチャートである。 本発明の実施の形態３に係る音処理装置が備える抑制機構等の機構の機能構成例を示す機能ブロック図である。 本発明の実施の形態３に係る音処理装置が備えるエコー抑制部等の機能構成例を示す機能ブロック図である。 本発明の実施の形態３に係る音処理装置が備える雑音抑制部等の機能構成例を示す機能ブロック図である。 本発明の実施の形態３に係る音処理装置の処理の一例を示すフローチャートである。 本発明の実施の形態４に係る音処理装置が備える抑制機構等の機構の機能構成例を示す機能ブロック図である。 本発明の実施の形態４に係る音処理装置が備えるエコー抑制部等の機能構成例を示す機能ブロック図である。 本発明の実施の形態４に係る音処理装置が備える雑音抑制部等の機能構成例を示す機能ブロック図である。 本発明の実施の形態４に係る音処理装置の処理の一例を示すフローチャートである。 本発明の実施の形態５に係る音処理装置が備える抑制機構等の機構の機能構成例を示す機能ブロック図である。 本発明の実施の形態５に係る音処理装置が備えるエコー抑制部等の機能構成例を示す機能ブロック図である。 本発明の実施の形態５に係る音処理装置が備える雑音抑制部等の機能構成例を示す機能ブロック図である。 本発明の実施の形態５に係る音処理装置の処理の一例を示すフローチャートである。

符号の説明

１ 音処理装置
１０ 音出力機構
１１１ 第１受音機構
１１２ 第２受音機構
１２ 抑制機構
１２０１ 第１ＦＦＴ処理部
１２０２ 第２ＦＦＴ処理部
１２１ エコー抑制部
１２１０ 適応フィルタ部
１２１１ 除去部
１２１１１ 第１除去部
１２１１２ 第２除去部
１２１２ ゲイン算出部
１２１３ 背景雑音推定部
１２１４ 補正部
１２１５ 発声判定部
１２１６ 学習スイッチ部
１２２ 雑音抑制部
１２２０１ 第１ＦＩＲフィルタ部
１２２０２ 第２ＦＩＲフィルタ部
１２２０３ 第３ＦＩＲフィルタ部
１２２０４ 第４ＦＩＲフィルタ部
１２２０５ 第５ＦＩＲフィルタ部
１２２０６ 第６ＦＩＲフィルタ部
１２２０７ 第７ＦＩＲフィルタ部
１２２０８ 第８ＦＩＲフィルタ部
１２２１ フィルタ係数導出部
１２２１１ 第１フィルタ係数導出部
１２２１２ 第２フィルタ係数導出部
１２２１３ 第３フィルタ係数導出部
１２２１４ 第４フィルタ係数導出部
１２２２ 抑制部
１２２２１ 第１抑制部
１２２２２ 第２抑制部
１２２２３ 第３抑制部
１２２２４ 第４抑制部
１２２３ 背景雑音推定部
１２２４ 補正部
１２２５ ゲイン算出部
１２３ 統合処理部
１２４ 背景雑音推定部
１２５ 補正部
１３ 制御機構
１４ 記録機構
１５ 通信機構
１６ 操作機構
１７ 処理機構
１００ 音処理プログラム
１００００ エコー抑制装置
１０００１ スピーカ
１０００２ マイクロホン
１０００３ 適応フィルタ
２００００ 雑音抑制装置
２０００１ 第１マイクロホン
２０００２ 第２マイクロホン
２０００３ 第１ＦＩＲフィルタ
２０００４ 第２ＦＩＲフィルタ
２０００５ フィルタ係数導出部
２０００６ 加算器
３００００ 音処理装置
３０００１ スピーカ
３０００２ 第１マイクロホン
３０００３ 第２マイクロホン
３０００４ 雑音抑制部
３０００５ エコー抑制部
４００００ 音処理装置
４０００１ スピーカ
４０００２ 第１マイクロホン
４０００３ 第２マイクロホン
４０００４ 第１エコー抑制部
４０００５ 第２エコー抑制部
４０００６ 雑音抑制部

以下、本発明をその実施の形態を示す図面に基づいて詳述する。

実施の形態１．
図５は、本発明の実施の形態１に係る音処理装置の構成例を示すブロック図である。図５中１は、テレビ会議システム、携帯電話、音声出力及び音声認識機能を有するカーナビゲーションシステム等のシステム又は装置として用いられる音処理装置である。音処理装置１は、音信号に基づいて音を出力するスピーカ等の音出力機構１０と、入力した音に基づいて生成した音信号を出力するコンデンサマイク等の複数のマイクロホンを用いた第１受音機構１１１及び第２受音機構１１２と、本発明の音処理プログラム１００及びデータ等のファームウェアが組み込まれたＤＳＰ(Digital Signal Processor)等の抑制機構１２とを備えている。テレビ会議システム、携帯電話、カーナビゲーションシステム等のコンピュータは、抑制機構１２に組み込まれている本発明の音処理プログラム１００を実行することにより、本発明の音処理装置１として機能する。

さらに音処理装置１は、テレビ会議システム、携帯電話、カーナビゲーションシステム等のシステム又は装置としての各種処理を実行すべく、装置全体を制御するＣＰＵ等の制御機構１３と、各種プログラム及びデータを記録するＲＯＭ、ＲＡＭ、ハードディスク等の記録機構１４と、アンテナ、通信ポート及びそれらの制御回路等の通信機構１５と、操作者からの操作を受け付ける操作機構１６と、ハードウェア及び／又はソフトウェアにて構成され音信号に対する様々な処理を実行する処理機構１７と等の各種機構を備えている。

音処理装置１は、例えば記録機構１４に記録されているデータに基づく音信号、通信機構１５から受信したデータに基づく音信号等の音信号に基づく音を出力させる場合、音信号を音出力機構１０へ出力する。また音出力機構１０へ出力する音信号は、抑制機構１２へも出力される。なお抑制機構１２は、デジタル信号である音信号に対して各種処理を実行し、音出力機構１０は、アナログ信号である音信号に基づいて音を出力する。このため音信号を伝送する信号路上には、図示しないＡ／Ｄ変換回路等の変換回路が配設されている。なお記録機構１４は、デジタル信号である音信号を抑制機構１２へ出力し、アナログ信号である音信号を音出力機構１０へ出力する様に構成する等、適宜設計することが可能である。

また音処理装置１は、第１受音機構１１１及び第２受音機構１１２により、夫々受音した音に基づいてアナログ信号である音信号を生成する。そして音処理装置１は、生成した音信号を図示しないゲインアンプ等の増幅回路により増幅し、増幅した音信号を図示しないＡ／Ｄ変換回路により８０００Ｈｚ等のサンプリング周波数でサンプリングしてデジタル信号に変換し、デジタル信号に変換した音信号を抑制機構１２へ出力する。

抑制機構１２は、音処理プログラム１００等のファームウェアを実行することにより、音信号に対するエコー成分の抑制、到来方向に基づく環境雑音の抑制等の処理を実行する。

図６は、本発明の実施の形態１に係る音処理装置１が備える抑制機構１２等の機構の機能構成例を示す機能ブロック図である。抑制機構１２は、音処理プログラム１００を実行することにより、音信号に対してＦＦＴ（高速フーリエ変換:Fast Fourier Transformation）処理を行う第１ＦＦＴ処理部１２０１及び第２ＦＦＴ処理部１２０２と、エコー成分を抑制するエコー抑制部１２１と、到来方向に基づき環境雑音を抑制する雑音抑制部１２２と、エコー抑制部１２１及び雑音抑制部１２２の抑制処理を統合する統合処理部１２３と、背景雑音を推定する背景雑音推定部１２４と、背景雑音推定部１２４が推定した背景雑音に基づいて音信号を補正する補正部１２５と等の各種プログラムモジュールを生成する。なお本願の音処理装置１は、図６に例示した構成に限らず、背景雑音推定部１２４及び補正部１２５の機能を、雑音抑制部１２２内に組み込む等、適宜設計変更することが可能である。

第１ＦＦＴ処理部１２０１は、第１受音機構１１１及び第２受音機構１１２が受音した音をデジタル信号に変換した各音信号を、夫々第１観測音信号及び第２観測音信号として受け付ける。第１ＦＦＴ処理部１２０１は、例えば５１２サンプル分の第１（第２）観測音信号を１フレームとしたフレーム単位の第１（第２）観測音信号を夫々生成する。なお各フレームは、１２８〜２５６サンプル分程度ずつオーバーラップしており、各フレームに対しては、ハミング窓、ハニング窓等の窓関数、高域強調フィルタによるフィルタリング等の音声認識の分野で一般的なフレーム処理が施される。第１ＦＦＴ処理部１２０１は、フレーム単位の第１観測音信号及び第２観測音信号に対してＦＦＴ処理を行うことで周波数軸上の成分のスペクトルである音信号に変換する。そして第１ＦＦＴ処理部１２０１は、ＦＦＴ処理にてスペクトルに変換した第１観測音信号を、エコー抑制部１２１及び雑音抑制部１２２並びに背景雑音推定部１２４に渡す。また第１ＦＦＴ処理部１２０１は、ＦＦＴ処理にてスペクトルに変換した第２観測音信号を雑音抑制部１２２に渡す。

なお図６及び以降の説明では、第１ＦＦＴ処理部１２０１が受け付ける第１観測音信号及び第２観測音信号を、ｘ１（ｔ）及びｘ２（ｔ）として示す。変数ｔは、アナログ信号である音信号を８０００Ｈｚ、１２０００Ｈｚ等のサンプリング周波数でサンプリングしてデジタル信号に変換した際の各サンプルを特定するサンプル番号である。なお時間を示す変数として、変数ｔを用いる様にしてもよい。またＦＦＴ処理後の第１観測音信号のスペクトルを、周波数ωを変数として用いたＸ１（ω）として示し、ＦＦＴ処理部の第２観測音信号のスペクトルをＸ２（ω）として示す。そして便宜上、以降の説明では、第１観測音信号のスペクトルＸ１（ω）を第１観測音信号Ｘ１（ω）と呼び、第２観測音信号のスペクトルＸ２（ω）を第２観測音信号Ｘ２（ω）と呼ぶことにする。なおスペクトルＸ１（ω）及びＸ２（ω）は、複素数である。

第２ＦＦＴ処理部１２０２は、音出力機構１０から音を出力させる音信号を参照音信号として受け付け、フレーム単位に参照音信号を分割し、フレーム単位の参照音信号に対してＦＦＴ処理を行い、ＦＦＴ処理にて変換した参照音信号のスペクトルをエコー抑制部１２１に渡す。なお図６及び以降の説明では、第２ＦＦＴ処理部１２０２が受け付ける参照音信号ｙ（ｔ）として示す。またＦＦＴ処理後の参照音信号のスペクトルをＹ（ω）として示す。そして便宜上、以降の説明では、参照音信号のスペクトルＹ（ω）を参照音信号Ｙ（ω）と呼ぶことにする。なおスペクトルＹ（ω）は複素数である。

なお第１ＦＦＴ処理部１２０１及び第２ＦＦＴ処理部１２０２は異なる構成として記載しているが、一のプログラムモジュールに纏める様にしても良く、また第１受音機構１１１及び第２受音機構１１２の夫々の音信号に対して専用のＦＦＴ処理部を設ける様にしても良い。

エコー抑制部１２１は、参照音信号Ｙ（ω）に基づく音に起因するエコーを第１観測音信号Ｘ１（ω）から除去するエコー抑制処理を実行し、第１観測音信号Ｘ１（ω）と、第１観測音信号Ｘ１（ω）からエコーを除去した第３観測音信号のスペクトルＸ３（ω）（以降、第３観測音信号Ｘ３（ω）と呼ぶ）を統合処理部１２３に渡す。

雑音抑制部１２２は、第１観測音信号Ｘ１（ω）及び第２観測音信号Ｘ２（ω）の受音の時間差に起因する位相差に基づいて周波数ω毎に音の到来方向を推定し、話者の方向等の目的方向以外から到来する音を環境雑音として抑制する雑音抑制処理を実行し、環境雑音を抑制した第４観測音信号のスペクトルＸ４（ω）（以降、第４観測音信号Ｘ４（ω）と呼ぶ）を統合処理部１２３に渡す。

統合処理部１２３は、エコー抑制部１２１から第１観測音信号Ｘ１（ω）及び第３観測音信号Ｘ３（ω）を受け付け、雑音抑制部１２２から第４観測音信号Ｘ４（ω）を受け付ける。統合処理部１２３は、第１観測音信号Ｘ１（ω）と第３観測音信号Ｘ３（ω）とのスペクトル比を算出する下記の式（１）により、第１観測音信号Ｘ１（ω）に対する第３観測音信号Ｘ３（ω）の周波数成分毎の絶対値の比の値であるエコー抑制ゲインｇ１（ω）を算出する。なお式（１）において｜Ｘ１（ω）｜＝０となる周波数ｆにおいては、ｇ１（ｆ）＝０とする。

ｇ１（ω）＝｜Ｘ３（ω）｜／｜Ｘ１（ω）｜ …式（１）
但し、ｇ１（ω）：エコー抑制ゲイン
Ｘ３（ω）：第３観測音信号のスペクトル
Ｘ１（ω）：第１観測音信号のスペクトル

さらに統合処理部１２３は、式（１）にて算出したエコー抑制ゲインｇ１（ω）を第４観測音信号Ｘ４（ω）に乗じる下記の式（２）により、第１観測音信号Ｘ１（ω）に対してエコー抑制処理及び雑音抑制処理を施した第５観測音信号のスペクトルＸ５（ω）（以降、第５観測音信号Ｘ５（ω）と呼ぶ）を生成し、第５観測音信号Ｘ５（ω）を補正部１２５に渡す。

Ｘ５（ω）＝ｇ１（ω）・Ｘ４（ω） …式（２）
但し、ｇ１（ω）：エコー抑制ゲイン
Ｘ５（ω）：第５観測音信号のスペクトル
Ｘ４（ω）：第４観測音信号のスペクトル

背景雑音推定部１２４は、下記の式（３）に示す様に第１観測音信号Ｘ１（ω）の絶対値を二乗したスペクトルのパワーＰ（ω）の時間変化を周波数成分毎に平滑化して実数である背景雑音のパワーＮ（ｎ，ω）を導出し、背景雑音のパワーＮ（ｎ，ω）を補正部１２５に渡す。なお式（３）では、時間を示す変数として、フレーム番号ｎを用いている。即ちｎフレーム目、周波数ωにおける背景雑音のスペクトルのパワーがＮ（ｎ，ω）である。また第１観測音信号Ｘ１（ω）の絶対値の二乗の常用対数を用いて背景雑音のスペクトルのパワーＮ（ｎ，ω）を導出する様にしても良い。

Ｎ（ｎ，ω）＝α・Ｎ（ｎ−１，ω）＋（１−α）・Ｐ（ω） …式（３）
但し、ｎ：フレーム番号
Ｎ（ｎ，ω）
：ｎフレーム目、周波数ωにおける背景雑音のスペクトルのパワー
α：０＜α≦１の定数
Ｐ（ω）：周波数ωにおける第１観測音信号のスペクトルのパワー

補正部１２５は、統合処理部１２３から受け付けた第５観測音信号Ｘ５（ω）を、背景雑音のパワーＮ（ｎ，ω）に基づいて補正することで出力音信号のスペクトルＸop（ω）（以降、出力音信号Ｘop（ω）と呼ぶ）を生成し、生成した出力音信号Ｘop（ω）を処理機構１７へ出力する。補正部１２５による補正は、第５観測音信号Ｘ５（ω）の絶対値を二乗したパワーＰ５（ω）が背景雑音のパワーＮ（ｎ，ω）より小さくなる周波数ωにおいて、第５観測音信号Ｘ５（ω）の値を、背景雑音のパワー（ｎ，ω）の平方根が第５観測音信号Ｘ５（ω）の絶対値となる様に、第５観測音信号Ｘ５（ω）の位相を保ちながら変換することにより行われる。補正部１２５の補正により、過度の抑制によるミュージカルノイズ等の不自然な音の発生を防止することができる。

処理機構１７は、出力音信号Ｘop（ω）に基づく音声認識等の音響処理を実行する。ただし処理機構１７による音響処理としては、音声認識に限るものではない。例えば処理機構１７は、出力音信号Ｘop（ω）をＩＦＦＴ（逆フーリエ変換）処理にて時間軸上の音信号に変換し、通信機構１５からの送信、更にアナログ信号に変換して音出力機構１０からの音としての出力等の音響処理を実行する。なお抑制機構１２及び処理機構１７は、夫々独立した機構として構成するのではなく、処理機構１７の音響処理に係る機能の一部又は全部を抑制機構１２にて実現する様にしても良い。

抑制機構１２にて機能するエコー抑制部１２１について更に詳述する。図７は、本発明の実施の形態１に係る音処理装置１が備えるエコー抑制部１２１等の機能構成例を示す機能ブロック図である。エコー抑制部１２１は、除去すべきエコー成分を推定する適応フィルタ部１２１０と、推定したエコー成分を第１観測音信号Ｘ１（ω）から除去する減算器である除去部１２１１と等の各種プログラムモジュールを含んでいる。

エコー抑制部１２１は、第１ＦＦＴ処理部１２０１から第１観測音信号Ｘ１（ω）を受け付け、第２ＦＦＴ処理部１２０２から参照音信号Ｙ（ω）を受け付ける。

適応フィルタ部１２１０は、参照音信号Ｙ（ω）と、第１観測音信号Ｘ１（ω）からエコーを除去した第３観測音信号Ｘ３（ω）とを受け付ける。適応フィルタ部１２１０は、参照音信号Ｙ（ω）及び第３観測音信号Ｘ３（ω）から、周波数ω毎のフィルタ係数を適応的に算出及び更新し、更新したフィルタ係数に基づいて参照音信号Ｙ（ω）をフィルタリングすることにより、除去すべきエコー成分を導出（推定）する。そして適応フィルタ部１２１０は、エコー成分を除去部１２１１に渡す。

除去部１２１１は、第１観測音信号Ｘ１（ω）からエコー成分を減算することにより、第３観測音信号Ｘ３（ω）を生成する。第３観測音信号Ｘ３（ω）は、エコー成分が除去されたスペクトルである。

そしてエコー抑制部１２１は、第１ＦＦＴ処理部１２０１から受け付けた第１観測音信号Ｘ１（ω）及び除去部１２１１が生成した第３観測音信号Ｘ３（ω）を統合処理部１２３に渡す。エコー抑制部１２１によるエコーの抑制は、非特許文献１等に開示されている既存の技術を適用することが可能である。

抑制機構１２にて機能する雑音抑制部１２２について更に詳述する。図８は、本発明の実施の形態１に係る音処理装置１が備える雑音抑制部１２２等の機能構成例を示す機能ブロック図である。雑音抑制部１２２は、第１観測音信号Ｘ１（ω）及び第２観測音信号Ｘ２（ω）を夫々フィルタリングする第１ＦＩＲ(Finite Impulse Response )フィルタ部１２２０１及び第２ＦＩＲフィルタ部１２２０２と、フィルタ係数を導出するフィルタ係数導出部１２２１と、環境雑音を抑制する加算器である抑制部１２２２と等の各種プログラムモジュールを含んでいる。

雑音抑制部１２２は、第１ＦＦＴ処理部１２０１から第１観測音信号Ｘ１（ω）及び第２観測音信号Ｘ２（ω）を受け付ける。

第１ＦＩＲフィルタ部１２２０１は、設定されている第１フィルタ係数Ｈ１（ω）に基づいて第１観測音信号Ｘ１（ω）をフィルタリングし、フィルタリング後の第１観測音信号Ｘ１＿ｆ（ω）を抑制部１２２２に渡す。

第２ＦＩＲフィルタ部１２２０２は、設定されている第２フィルタ係数Ｈ２（ω）に基づいて第２観測音信号Ｘ２（ω）をフィルタリングし、フィルタリング後の第２観測音信号Ｘ２＿ｆ（ω）を抑制部１２２２に渡す。

フィルタ係数導出部１２２１は、第１観測音信号Ｘ１（ω）及び第２観測音信号Ｘ２（ω）に基づいて第１フィルタ係数Ｈ１（ω）及び第２フィルタ係数Ｈ２（ω）を夫々導出し、導出した第１フィルタ係数Ｈ１（ω）を第１ＦＩＲフィルタ部１２２０１へ渡し、第２フィルタ係数Ｈ２（ω）を第２ＦＩＲフィルタ部１２２０２へ渡す。第１ＦＩＲフィルタ部１２２０１及び第２ＦＩＲフィルタ部１２２０２は、受け付けた第１フィルタ係数Ｈ１（ω）及び第２フィルタ係数Ｈ２（ω）を夫々設定する。

抑制部１２２２は、フィルタリング後の第１観測音信号Ｘ１＿ｆ（ω）及び第２観測音信号Ｘ２＿ｆ（ω）を加算することにより、話者の方向等の目的方向以外から到来する音を環境雑音として抑制した第４観測音信号Ｘ４（ω）を生成する。

そして雑音抑制部１２２は、抑制部１２２２が生成した第４観測音信号Ｘ４（ω）を統合処理部１２３に渡す。この様に雑音抑制部１２２は、フィルタ係数導出部１２２１により、第１観測音信号Ｘ１（ω）及び第２観測音信号Ｘ２（ω）の位相差に基づいて、周波数成分毎に音の到来方向を推定し、第１ＦＩＲフィルタ部１２２０１、第２ＦＩＲフィルタ部１２２０２、フィルタ係数導出部１２２１及び抑制部１２２２が協働することにより、環境雑音を抑制する処理を実行する。この処理は、非特許文献１等に開示されている既存の技術を適用することが可能である。なお環境雑音を抑制する方法として、目的方向以外の方向から到来したと推定した周波数成分の音を抑制する方法を例示したが、目的方向から到来したと推定した周波数成分の音を強調する様にしても良い。

次に本発明の実施の形態１に係る音処理装置１の処理について説明する。図９は、本発明の実施の形態１に係る音処理装置１の処理の一例を示すフローチャートである。音処理装置１は、音出力機構１０から出力させる音の基となる音信号を抑制機構１２へ出力し、さらに音信号を音出力機構１０へ出力する。また音処理装置１は、第１受音機構１１１及び第２受音機構１１２が夫々入力した音に基づき生成した夫々の音信号を抑制機構１２へ出力する。

音処理装置１の抑制機構１２は、第１ＦＦＴ処理部１２０１及び第２ＦＦＴ処理部１２０２の処理により、受け付けた音信号をフレーム化し、フレーム化した音信号を夫々周波数軸上の成分であるスペクトルに変換する（Ｓ１０１）。ステップＳ１０１において、第１ＦＦＴ処理部１２０１は、第１受音機構１１１が入力した音に基づく第１観測音信号ｘ１（ｔ）及び第２受音機構１１２が入力した音に基づく第２観測音信号ｘ２（ｔ）を周波数軸上の成分に変換する。ステップＳ１０１において、第２ＦＦＴ処理部１２０２は、音出力機構１０から出力する音の基となる参照音信号ｙ（ｔ）を周波数軸上の成分に変換する。ステップＳ１０１における周波数軸上の成分に変換する方法としては、必ずしもＦＦＴを用いる必要はなく、ＤＣＴ（離散コサイン変換：Discrete Cosine Transform ）等の他の変換方法を用いてもよい。

音処理装置１の抑制機構１２は、エコー抑制部１２１の処理により、周波数軸上の成分に変換された第１観測音信号Ｘ１（ω）及び参照音信号Ｙ（ω）を受け付け、参照音信号Ｙ（ω）に基づく音に起因するエコー成分を推定し、推定したエコー成分を第１観測音信号Ｘ１（ω）から除去するエコー抑制処理を実行し（Ｓ１０２）、第１観測音信号Ｘ１（ω）と、第１観測音信号Ｘ１（ω）からエコーを除去した第３観測音信号Ｘ３（ω）とを統合処理部１２３に渡す。

音処理装置１の抑制機構１２は、雑音抑制部１２２の処理により、第１観測音信号Ｘ１（ω）及び第２観測音信号Ｘ２（ω）の位相差に基づいて周波数ω毎に音の到来方向を推定し、目的方向以外から到来する環境雑音を抑制する雑音抑制処理を実行し（Ｓ１０３）、環境雑音を抑制した第４観測音信号Ｘ４（ω）を統合処理部１２３に渡す。なお便宜上、各ステップは逐次的に行われる様に説明しているが、ステップＳ１０２及びＳ１０３の処理は、実質的に並行して実行される。

音処理装置１の抑制機構１２は、統合処理部１２３の処理により、前述した式（１）により、第１観測音信号Ｘ１（ω）に対する第３観測音信号Ｘ３（ω）の周波数成分毎の絶対値の比の値であるエコー抑制ゲインｇ１（ω）を算出する（Ｓ１０４）。

さらに音処理装置１の抑制機構１２は、統合処理部１２３の処理により、前述した式（２）により、第４観測音信号Ｘ４（ω）にエコー抑制ゲインｇ１（ω）を乗じて第５観測音信号Ｘ５（ω）を生成する統合抑制処理を実行し（Ｓ１０５）、生成した第５観測音信号Ｘ５（ω）を補正部１２５に渡す。ステップＳ１０５にて生成する第５観測音信号Ｘ５（ω）は、第１観測音信号Ｘ１（ω）に対してエコー抑制処理及び雑音抑制処理を施したスペクトルであり、第４観測音信号Ｘ４（ω）と同じ位相となる。

また音処理装置１の抑制機構１２は、背景雑音推定部１２４の処理により、前述した式（３）により、第１観測音信号Ｘ１（ω）の絶対値を二乗したパワーＰ（ω）の時間変化を周波数成分毎に平滑化して背景雑音のパワーＮ（ｎ，ω）を導出し（Ｓ１０６）、背景雑音のパワーＮ（ｎ，ω）を補正部１２５へ渡す。なお便宜上、各ステップは逐次的に行われる様に説明しているが、ステップＳ１０６の処理は、実質的にステップＳ１０２及びＳ１０３の処理と並行して実行される。

音処理装置１の抑制機構１２は、補正部１２５の処理により、第５観測音信号Ｘ５（ω）を、背景雑音のパワーＮ（ｎ，ω）に基づいて補正することで出力音信号Ｘop（ω）を生成する補正処理を実行し（Ｓ１０７）、生成した出力音信号Ｘop（ω）を処理機構１７へ出力する。

そして音処理装置１の処理機構１７は、出力音信号Ｘop（ω）に基づく音声認識等の音響処理、時間軸上の音信号に変換するＩＦＦＴ処理、音としての出力処理、送信処理等の各種信号処理を実行する（Ｓ１０８）。

この様に、本発明の実施の形態１に係る音処理装置１は、エコー抑制処理及び雑音抑制処理を夫々独立して実行し、エコー抑制処理及び雑音抑制処理の結果を用いた統合抑制処理を行うことにより、エコー抑制処理及び雑音抑制処理の何れに対しても歪みのない信号を用いることになるので、音質を維持しながらもエコー及び環境雑音を高精度に抑制することが可能である。

また前記実施の形態１では、背景雑音推定部にて推定した背景雑音のパワーに基づいて補正する形態を示したが、本発明はこれに限らず、背景雑音のパワーに基づく補正を行わない様に処理を簡略化する等、様々な形態に展開することが可能である。

前記実施の形態１では、エコー抑制部から統合処理部に第１観測音信号及び第３観測音信号を渡し、統合処理部にてエコー抑制ゲインを算出する形態を示したが、本発明はこれに限らず、エコー抑制部にてエコー抑制ゲインを算出する形態に展開することも可能である。

図１０は、本発明の実施の形態１に係る音処理装置１が備えるエコー抑制部１２１等の機能構成例を示す機能ブロック図である。図１０は、エコー抑制部１２１にてエコー抑制ゲインｇ１（ω）を算出する場合のエコー抑制部１２１を示している。図１０に示すエコー抑制部１２１は、適応フィルタ部１２１０と、除去部１２１１と、更に第１観測音信号Ｘ１（ω）及び第３観測音信号Ｘ３（ω）のスペクトル比であるエコー抑制ゲインｇ１（ω）を算出するゲイン算出部１２１２と等の各種プログラムモジュールを含んでいる。

ゲイン算出部１２１２は、第１ＦＦＴ処理部１２０１から第１観測音信号Ｘ１（ω）を受け付け、除去部１２１１から第３観測音信号Ｘ３（ω）を受け付ける。そしてゲイン算出部１２１２は、前述した式（１）により、第１観測音信号Ｘ１（ω）に対する第３観測音信号Ｘ３（ω）の周波数成分毎の絶対値の比の値であるエコー抑制ゲインｇ１（ω）を算出する。

そしてエコー抑制部１２１は、ゲイン算出部１２１２が算出したエコー抑制ゲインｇ１（ω）を統合処理部１２３に渡す。

この様に本発明の実施の形態１に係る音処理装置１は、エコー抑制部１２１にてエコー抑制ゲインｇ１（ω）を算出することで、統合処理部１２３によるエコー抑制ゲインｇ１（ω）の算出処理を代替することも可能である。この場合、図９に示したフローチャートのステップＳ１０４の処理は、統合処理部１２３ではなく、エコー抑制部１２１にて実行されることになる。

また前記実施の形態１では、エコー抑制前後の観測音信号の周波数成分毎の比と、環境雑音抑制後の観測音信号との積を算出することにより、エコー及び環境雑音を抑制する形態を示したが、本発明はこれに限らず、雑音抑制前後の観測音信号の周波数成分毎の比と、エコー抑制後の観測音信号との積を算出することにより、エコー及び環境雑音を抑制する形態に展開することも可能である。

図１１は、本発明の実施の形態１に係る音処理装置１が備える雑音抑制部１２２等の機能構成例を示す機能ブロック図である。図１１に示す雑音抑制部１２２は、第１ＦＦＴ処理部１２０１から第１観測音信号Ｘ１（ω）及び第２観測音信号Ｘ２（ω）を受け付け、環境雑音を抑制した第４観測音信号Ｘ４（ω）を生成する雑音抑制処理を実行する。

そして雑音抑制部１２２は、第１ＦＦＴ処理部１２０１から受け付けた第１観測音信号Ｘ１（ω）及び生成した第４観測音信号Ｘ４（ω）を統合処理部１２３に渡す。なおエコー抑制部１２１は、第３観測音信号Ｘ３（ω）のみを統合処理部１２３に渡す。

図１１に示す雑音抑制部１２２を用いた場合の統合処理部１２３について説明する。統合処理部１２３は、エコー抑制部１２１から第３観測音信号Ｘ３（ω）を受け付け、雑音抑制部１２２から第１観測音信号Ｘ１（ω）及び第４観測音信号Ｘ４（ω）を受け付ける。統合処理部１２３は、第１観測音信号Ｘ１（ω）と第４観測音信号Ｘ４（ω）とのスペクトル比を算出する下記の式（４）により、第１観測音信号Ｘ１（ω）に対する第４観測音信号Ｘ４（ω）の周波数成分毎の絶対値の比の値である雑音抑制ゲインｇ２（ω）を算出する。なお式（４）において｜Ｘ１（ω）｜＝０となる周波数ｆにおいては、ｇ２（ｆ）＝０とする。

ｇ２（ω）＝｜Ｘ４（ω）｜／｜Ｘ１（ω）｜ …式（４）
但し、ｇ２（ω）：雑音抑制ゲイン
Ｘ４（ω）：第４観測音信号のスペクトル
Ｘ１（ω）：第１観測音信号のスペクトル

さらに統合処理部１２３は、式（４）にて算出した雑音抑制ゲインｇ２（ω）を第３観測音信号Ｘ３（ω）に乗じる下記の式（５）により、第１観測音信号Ｘ１（ω）に対してエコー抑制処理及び雑音抑制処理を施した第５観測音信号Ｘ５（ω）を生成する。生成した第５観測音信号Ｘ５（ω）を補正部１２５に渡される。

Ｘ５（ω）＝ｇ２（ω）・Ｘ３（ω） …式（５）
但し、ｇ２（ω）：雑音抑制ゲイン
Ｘ５（ω）：第５観測音信号のスペクトル
Ｘ３（ω）：第３観測音信号のスペクトル

この様に雑音抑制ゲインｇ２（ω）を用いる場合、図９に示したフローチャートのステップＳ１０４の処理は、雑音抑制ゲインｇ２（ω）の算出となる。またこの場合、第５観測音信号Ｘ５（ω）は、第１観測音信号Ｘ１（ω）に対してエコー抑制処理及び雑音抑制処理を施した音信号であり、第３観測音信号Ｘ３（ω）と同じ位相となる。なお雑音抑制部１２２が雑音抑制ゲインｇ２（ω）を算出し、雑音抑制ゲインｇ２（ω）を統合処理部１２３に渡す様に構成することも可能である。

なお雑音抑制ゲインｇ２（ω）を、式（４）ではなく、下記の式（４’）にて算出することも可能である。

ｇ２（ω）＝｜Ｘ４（ω）｜／｜Ｘ２（ω）｜ …式（４’）
但し、ｇ２（ω）：雑音抑制ゲイン
Ｘ４（ω）：第４観測音信号のスペクトル
Ｘ２（ω）：第２観測音信号のスペクトル

さらに前記実施の形態１において、エコー抑制ゲイン及び雑音抑制ゲインを用いてエコー及び環境雑音を抑制する形態に展開することも可能である。

統合処理部１２３又はエコー抑制部１２１は、前述した式（１）によりエコー抑制ゲインｇ１（ω）を算出する。更に統合処理部１２３又は雑音抑制部１２２は、前述した式（４）により雑音抑制ゲインｇ２（ω）を算出する。

そして統合処理部１２３は、エコー抑制ゲインｇ１（ω）及び雑音抑制ゲインｇ２（ω）を第１観測音信号Ｘ１（ω）に乗じる下記の式（６）により、第１観測音信号Ｘ１（ω）に対してエコー抑制処理及び雑音抑制処理を施した第５観測音信号Ｘ５（ω）を生成する。生成した第５観測音信号Ｘ５（ω）は補正部１２５に渡される。

Ｘ５（ω）＝ｇ１（ω）・ｇ２（ω）・Ｘ１（ω） …式（６）
但し、ｇ１（ω）：エコー抑制ゲイン
ｇ２（ω）：雑音抑制ゲイン
Ｘ５（ω）：第５観測音信号のスペクトル
Ｘ１（ω）：第１観測音信号のスペクトル

この様にエコー抑制ゲインｇ１（ω）及び雑音抑制ゲインｇ２（ω）を用いる場合、図９に示したフローチャートのステップＳ１０４の処理は、エコー抑制ゲインｇ１（ω）及び雑音抑制ゲインｇ２（ω）の算出となる。またこの場合、第５観測音信号Ｘ５（ω）は、第１観測音信号Ｘ１（ω）に対してエコー抑制処理及び雑音抑制処理を施した音信号であり、第１観測音信号Ｘ１（ω）と同じ位相となる。

実施の形態２．
実施の形態２は、実施の形態１において、エコー抑制部にて算出したエコー抑制ゲインを雑音抑制部でも用いる形態である。以降の説明において、実施の形態１と同様の構成要素については、実施の形態１と同様の符号を付すものとし、その詳細な説明を省略する。実施の形態２における音処理装置１の構成例は、図５を用いて示した実施の形態１と同様であるので、実施の形態１を参照するものとし、その説明を省略する。

図１２は、本発明の実施の形態２に係る音処理装置１が備える抑制機構１２等の機構の機能構成例を示す機能ブロック図である。抑制機構１２は、音処理プログラム１００を実行することにより、第１ＦＦＴ処理部１２０１及び第２ＦＦＴ処理部１２０２と、エコー抑制部１２１と、雑音抑制部１２２と、統合処理部１２３と等の各種プログラムモジュールを生成する。なお実施の形態２において、背景雑音を推定する背景雑音推定部の機能及び推定した背景雑音に基づいて音信号を補正する補正部の機能は、雑音抑制部１２２に組み込まれている。

実施の形態２に係るエコー抑制部１２１は、実施の形態１の図１０に示したエコー抑制部１２１に相当する。即ち実施の形態２に係るエコー抑制部１２１は、第１観測音信号Ｘ１（ω）及び参照音信号Ｙ（ω）を受け付け、エコー抑制前後の観測音信号の周波数成分毎の比であるエコー抑制ゲインｇ１（ω）を算出する。なお実施の形態２に係るエコー抑制部１２１は、算出したエコー抑制ゲインｇ１（ω）を統合処理部１２３に渡すとともに、エコー抑制ゲインｇ１（ω）を雑音抑制部１２２にも渡す。

雑音抑制部１２２は、第１観測音信号Ｘ１（ω）及び第２観測音信号Ｘ２（ω）に基づいて雑音抑制処理を実行し、環境雑音を抑制した第４観測音信号Ｘ４（ω）を生成する。さらに雑音抑制部１２２は、エコー抑制部１２１から受け付けたエコー抑制ゲインｇ１（ω）を加味して背景雑音を推定し、推定した背景雑音に基づいて第４観測音信号Ｘ４（ω）を補正し、補正後の第４観測音信号Ｘ４＿ｒ（ω）を統合処理部１２３に渡す。

抑制機構１２にて機能する雑音抑制部１２２について更に詳述する。図１３は、本発明の実施の形態２に係る音処理装置１が備える雑音抑制部１２２等の機能構成例を示す機能ブロック図である。雑音抑制部１２２は、第１ＦＩＲフィルタ部１２２０１及び第２ＦＩＲフィルタ部１２２０２と、フィルタ係数導出部１２２１と、抑制部１２２２と、更に背景雑音推定部１２２３と、補正部１２２４と等の各種プログラムモジュールを含んでいる。

雑音抑制部１２２は、第１ＦＦＴ処理部１２０１から第１観測音信号Ｘ１（ω）及び第２観測音信号Ｘ２（ω）を受け付け、エコー抑制部１２１からエコー抑制ゲインｇ１（ω）を受け付ける。

抑制部１２２２は、環境雑音を抑制した第４観測音信号Ｘ４（ω）を補正部１２２４に渡す。

背景雑音推定部１２２３は、第１ＦＦＴ処理部１２０１から第１観測音信号Ｘ１（ω）を受け付け、エコー抑制部１２１からエコー抑制ゲインｇ１（ω）を受け付ける。そして背景雑音推定部１２２３は、実施の形態１にて示した式（３）を用いて、第１観測音信号Ｘ１（ω）の絶対値を二乗したスペクトルのパワーＰ（ω）の時間変化を周波数成分毎に平滑化して背景雑音のパワーＮ（ｎ，ω）を導出する。更に背景雑音推定部１２２３は、下記の式（７）に示す様に、背景雑音のパワーＮ（ｎ，ω）に、エコー抑制ゲインｇ１（ω）を乗じることにより、エコーを抑制した背景雑音のパワーＮ＿ｒ（ｎ，ω）を算出する。そして背景雑音推定部１２２３は、エコーを抑制した背景雑音のパワーＮ＿ｒ（ｎ，ω）を補正部１２２４に渡す。

Ｎ＿ｒ（ｎ，ω）＝ｇ１（ω）・Ｎ（ｎ，ω） …式（７）
但し、Ｎ＿ｒ（ｎ，ω）
：ｎフレーム目、周波数ωにおけるエコーを抑制した背景雑音のスペクトルのパワー
ｇ１（ω）：エコー抑制ゲイン
Ｎ（ｎ，ω）
：ｎフレーム目、周波数ωにおける背景雑音のスペクトルのパワー

補正部１２２４は、抑制部１２２２から受け付けた第４観測音信号Ｘ４（ω）を、エコーを抑制した背景雑音のパワーＮ＿ｒ（ｎ，ω）に基づいて補正することにより、補正後の第４観測音信号Ｘ４＿ｒ（ω）を生成する。補正部１２２４による補正は、第４観測音信号Ｘ４（ω）の絶対値を二乗したパワーＰ４（ω）が背景雑音のパワーＮ＿ｒ（ｎ，ω）より小さくなる周波数ωにおいて、第４観測音信号Ｘ４（ω）の値を、背景雑音のパワーＮ＿ｒ（ｎ，ω）の平方根が第４観測音信号Ｘ４（ω）の絶対値となる様に、第４観測音信号Ｘ４（ω）の位相を保ちながら変換することにより行われる。

そして雑音抑制部１２２は、補正部１２２４が生成した補正後の第４観測音信号Ｘ４＿ｒ（ω）を統合処理部１２３に渡す。

統合処理部１２３は、エコー抑制部１２１からエコー抑制ゲインｇ１（ω）を受け付け、雑音抑制部１２２から補正後の第４観測音信号Ｘ４＿ｒ（ω）を受け付ける。統合処理部１２３は、下記の式（８）として示す様に、エコー抑制ゲインｇ１（ω）を、補正後の第４観測音信号Ｘ４＿ｒ（ω）に乗じて第５観測音信号Ｘ５（ω）を生成する。第５観測音信号Ｘ５（ω）は、出力音信号Ｘop（ω）として処理機構１７へ出力される。

Ｘ５（ω）＝ｇ１（ω）・Ｘ４＿ｒ（ω） …式（８）
但し、ｇ１（ω）：エコー抑制ゲイン
Ｘ５（ω）：第５観測音信号のスペクトル
Ｘ４＿ｒ（ω）：補正後の第４観測音信号のスペクトル

次に本発明の実施の形態２に係る音処理装置１の処理について説明する。図１４は、本発明の実施の形態２に係る音処理装置１の処理の一例を示すフローチャートである。音処理装置１の抑制機構１２は、第１ＦＦＴ処理部１２０１及び第２ＦＦＴ処理部１２０２の処理により、受け付けた音信号をフレーム化し、フレーム化した音信号を夫々周波数軸上の成分であるスペクトルに変換する（Ｓ２０１）。

音処理装置１の抑制機構１２は、エコー抑制部１２１の処理により、エコー抑制処理を実行し（Ｓ２０２）、エコー抑制処理の結果に基づいてエコー抑制ゲインｇ１（ω）を算出し（Ｓ２０３）、算出したエコー抑制ゲインｇ１（ω）を雑音抑制部１２２及び統合処理部１２３に渡す。

音処理装置１の抑制機構１２は、雑音抑制部１２２の処理により、第１観測音信号Ｘ１（ω）及び第２観測音信号Ｘ２（ω）に基づいて雑音抑制処理を実行し（Ｓ２０４）、環境雑音を抑制した第４観測音信号Ｘ４（ω）を生成する。

また音処理装置１の抑制機構１２は、雑音抑制部１２２の処理により、第１観測音信号Ｘ１（ω）に基づいて背景雑音のパワーＮ（ｎ，ω）を導出し（Ｓ２０５）、更にエコー抑制ゲインｇ１（ω）と背景雑音のパワーＮ（ｎ，ω）との積であるエコーを抑制した背景雑音のパワーＮ＿ｒ（ｎ，ω）を算出する（Ｓ２０６）。

そして音処理装置１の抑制機構１２は、雑音抑制部１２２の処理により、第４観測音信号Ｘ４（ω）を、エコーを抑制した背景雑音のパワーＮ＿ｒ（ｎ，ω）に基づいて補正することで補正後の第４観測音信号Ｘ４＿ｒ（ω）を生成する補正処理を実行し（Ｓ２０７）、補正後の第４観測音信号Ｘ４＿ｒ（ω）を統合処理部１２３に渡す。

音処理装置１の抑制機構１２は、統合処理部１２３の処理により、エコー抑制ゲインｇ１（ω）を、補正後の第４観測音信号Ｘ４＿ｒ（ω）に乗じて第５観測音信号Ｘ５（ω）を生成する統合抑制処理を実行し（Ｓ２０８）、生成した第５観測音信号Ｘ５（ω）を出力音信号Ｘop（ω）として処理機構１７へ出力する。ステップＳ２０８にて生成する第５観測音信号Ｘ５（ω）は、第１観測音信号Ｘ１（ω）に対してエコー抑制処理及び雑音抑制処理を施した音信号である。

そして音処理装置１の処理機構１７は、出力音信号Ｘop（ω）に基づく音声認識等の音響処理、時間軸上の音信号に変換するＩＦＦＴ処理、音としての出力処理、送信処理等の各種信号処理を実行する（Ｓ２０９）。

なお便宜上、各ステップは逐次的に行われる様に説明しているが、エコー抑制部１２１及び雑音抑制部１２２の処理は、実質的に並行して行われる。

この様に実施の形態２では、背景雑音のパワーＮ（ｎ，ω）に、エコー抑制ゲインｇ１（ω）を乗じることにより、エコーの影響を排除した効果的な背景雑音の抑制を行うことができる。この様な処理は、特定の周波数でオーディオ音による大きなパワーが連続し、背景雑音が大きくなる場合に特に有効である。

前記実施の形態２では、雑音抑制部に背景雑音部及び補正部を組み込む構成を示したが、本発明はこれに限らず、雑音抑制部外に背景雑音部及び補正部を設ける等、様々な形態に展開することが可能である。

実施の形態３．
実施の形態３は、実施の形態１において、エコー抑制部にて算出したエコー抑制ゲインを雑音抑制部でも用い、また雑音抑制部にて音出力機構の方向から到来する音を抑制した出力音抑制ゲインを算出し、算出した出力音抑制ゲインをエコー抑制部にて用いる形態である。以降の説明において、実施の形態１又は実施の形態２と同様の構成要素については、実施の形態１又は実施の形態２と同様の符号を付すものとし、その詳細な説明を省略する。実施の形態３における音処理装置１の構成例は、図５を用いて説明した実施の形態１と同様であるので、実施の形態１を参照するものとし、その説明を省略する。

図１５は、本発明の実施の形態３に係る音処理装置１が備える抑制機構１２等の機構の機能構成例を示す機能ブロック図である。抑制機構１２は、音処理プログラム１００を実行することにより、第１ＦＦＴ処理部１２０１及び第２ＦＦＴ処理部１２０２と、エコー抑制部１２１と、雑音抑制部１２２と、統合処理部１２３と等の各種プログラムモジュールを生成する。なお実施の形態３において、背景雑音を推定する背景雑音推定部の機能及び推定した背景雑音に基づいて音信号を補正する補正部の機能は、エコー抑制部１２１及び雑音抑制部１２２の双方に組み込まれている。

エコー抑制部１２１は、第１観測音信号Ｘ１（ω）及び参照音信号Ｙ（ω）と後述する出力音抑制ゲインｇ３（ω）とを受け付け、エコー抑制前後の観測音信号の周波数成分毎の比であるエコー抑制ゲインｇ１（ω）を算出する。そしてエコー抑制部１２１は、算出したエコー抑制ゲインｇ１（ω）を雑音抑制部１２２及び統合処理部１２３に渡す。

雑音抑制部１２２は、第１観測音信号Ｘ１（ω）及び第２観測音信号Ｘ２（ω）に基づいて雑音抑制処理を実行し、環境雑音を抑制した第４観測音信号Ｘ４（ω）を生成する。また雑音抑制部１２２は、エコー抑制部１２１から受け付けたエコー抑制ゲインｇ１（ω）を加味して背景雑音を推定し、推定した背景雑音に基づいて第４観測音信号Ｘ４（ω）を補正し、補正後の第４観測音信号Ｘ４＿ｒ（ω）を統合処理部１２３に渡す。さらに雑音抑制部１２２は、音出力機構１０の方向から到来する音を抑制し、抑制前後の観測音信号の周波数成分毎の比である出力音抑制ゲインｇ３（ω）を算出する。そして雑音抑制部１２２は、算出した出力音抑制ゲインｇ３（ω）をエコー抑制部１２１に渡す。

抑制機構１２にて機能するエコー抑制部１２１について更に詳述する。図１６は、本発明の実施の形態３に係る音処理装置１が備えるエコー抑制部１２１等の機能構成例を示す機能ブロック図である。エコー抑制部１２１は、適応フィルタ部１２１０と、除去部１２１１と、ゲイン算出部１２１２と、更に背景雑音推定部１２１３と、補正部１２１４と等の各種プログラムモジュールを含んでいる。

エコー抑制部１２１は、第１ＦＦＴ処理部１２０１から第１観測音信号Ｘ１（ω）を受け付け、第２ＦＦＴ処理部１２０２から参照音信号Ｙ（ω）を受け付ける。またエコー抑制部１２１は、雑音抑制部１２２から出力音抑制ゲインｇ３（ω）を受け付ける。

背景雑音推定部１２１３は、第１ＦＦＴ処理部１２０１から第１観測音信号Ｘ１（ω）を受け付け、雑音抑制部１２２から出力音抑制ゲインｇ３（ω）を受け付ける。そして背景雑音推定部１２１３は、実施の形態１にて示した式（３）を用いて、第１観測音信号Ｘ１（ω）の絶対値を二乗したスペクトルのパワーＰ（ω）の時間変化を周波数成分毎に平滑化して背景雑音のパワーＮ（ｎ，ω）を導出する。また背景雑音推定部１２１３は、出力音抑制ゲインｇ３（ω）の周波数毎の値と予め設定されている第１閾値との大小関係を比較する。背景雑音推定部１２１３は、出力音抑制ゲインｇ３（ω）が第１閾値以下となる周波数ｆ１に対しては、新たに算出した背景雑音のパワーＮ（ｎ，ｆ１）を採用し、出力音抑制ゲインｇ３（ω）が第１閾値より大きい周波数ｆ２に対しては、前回算出した背景雑音のパワーＮ（ｎ−１，ｆ２）を今回の背景雑音のパワーＮ（ｎ，ｆ２）に採用する。この様にして背景雑音推定部１２１３は、背景雑音のパワーＮ（ｎ，ω）を導出し、導出した背景雑音のパワーＮ（ｎ，ω）を出力音抑制ゲインｇ３（ω）に基づいて修正する。この様にすることで、出力音抑制ゲインｇ３（ω）が第１閾値より大きい周波数においては、音出力機構１０の方向から到来するエコーの基となる音以外の雑音の影響が大きいと推定し、背景雑音のパワーＮ（ｎ，ω）の更新を停止することができる。そして背景雑音推定部１２１３は、出力音抑制ゲインｇ３（ω）に基づいて修正した背景雑音のパワーＮ（ｎ，ω）を補正部１２１４に渡す。

補正部１２１４は、除去部１２１１から第３観測音信号Ｘ３（ω）を受け付け、背景雑音推定部１２１３から背景雑音のパワーＮ（ｎ，ω）を受け付ける。そして補正部１２１４は、第３観測音信号Ｘ３（ω）を背景雑音のパワーＮ（ｎ，ω）に基づいて補正することで、補正後の第３観測音信号Ｘ３＿ｒ（ω）を生成し、生成した補正後の第３観測音信号Ｘ３＿ｒ（ω）をゲイン算出部１２１２に渡す。補正部１２１４による補正は、第３観測音信号Ｘ３（ω）の絶対値を二乗したスペクトルのパワーＰ３（ω）が背景雑音のパワーＮ（ｎ，ω）より小さくなる周波数ωにおいて、第３観測音信号Ｘ３（ω）の値を、背景雑音のパワーＮ（ｎ，ω）の平方根が第３観測音信号Ｘ３（ω）の絶対値となる様に、第３観測音信号Ｘ３（ω）の位相を保ちながら変換することにより行われる。補正部１２１４の補正により、背景雑音の過度の抑制を防止し、話者が発声していないシングルトークの状態での第３観測音信号Ｘ３（ω）のレベルを背景雑音のレベルまで下げることができる。

ゲイン算出部１２１２は、第１ＦＦＴ処理部１２０１から第１観測音信号Ｘ１（ω）を受け付け、補正部１２１４から補正後の第３観測音信号Ｘ３＿ｒ（ω）を受け付ける。そしてゲイン算出部１２１２は、実施の形態１にて示した式（１）により、第１観測音信号Ｘ１（ω）に対する補正後の第３観測音信号Ｘ３＿ｒ（ω）の周波数成分毎の絶対値の比の値であるエコー抑制ゲインｇ１（ω）を算出する。なお実施の形態３に係るゲイン算出部１２１２では、式（１）による計算に際し、第３観測音信号Ｘ３（ω）に替えて補正後の第３観測音信号Ｘ３＿ｒ（ω）を用いる。

そしてエコー抑制部１２１は、ゲイン算出部１２１２が算出したエコー抑制ゲインｇ１（ω）を雑音抑制部１２２及び統合処理部１２３に渡す。

抑制機構１２にて機能する雑音抑制部１２２について更に詳述する。図１７は、本発明の実施の形態３に係る音処理装置１が備える雑音抑制部１２２等の機能構成例を示す機能ブロック図である。雑音抑制部１２２は、第１ＦＩＲフィルタ部１２２０１及び第２ＦＩＲフィルタ部１２２０２と、第１フィルタ係数導出部１２２１１と、第１抑制部１２２２１と、背景雑音推定部１２２３と、補正部１２２４と、更に第３ＦＩＲフィルタ部１２２０３及び第４ＦＩＲフィルタ部１２２０４と、第２フィルタ係数導出部１２２１２と、第２抑制部１２２２２と、ゲイン算出部１２２５と等の各種プログラムモジュールを含んでいる。なお第１フィルタ係数導出部１２２１１及び第１抑制部１２２２１は、実施の形態１にて説明したフィルタ係数導出部１２２１及び抑制部１２２２と同様の処理を実行する。また図１７では、第１ＦＩＲフィルタ部１２２０１によるフィルタリング後の第１観測音信号Ｘ１＿ｆ１（ω）として示し、第２ＦＩＲフィルタ部１２２０２によるフィルタリング後の第２観測音信号Ｘ２＿ｆ２（ω）として示している。

雑音抑制部１２２は、第１ＦＦＴ処理部１２０１から第１観測音信号Ｘ１（ω）及び第２観測音信号Ｘ２（ω）を受け付け、エコー抑制部１２１からエコー抑制ゲインｇ１（ω）を受け付ける。

背景雑音推定部１２２３は、実施の形態１にて示した式（３）を用いて、第１観測音信号Ｘ１（ω）の絶対値を二乗したスペクトルのパワーＰ（ω）の時間変化を周波数成分毎に平滑化して背景雑音のパワーＮ（ｎ，ω）を導出する。また背景雑音推定部１２２３は、エコー抑制ゲインｇ１（ω）の周波数毎の値と予め設定されている第２閾値との大小関係を比較する。背景雑音推定部１２２３は、エコー抑制ゲインｇ１（ω）が第２閾値以上となる周波数ｆ３に対しては、新たに算出した背景雑音のパワーＮ（ｎ，ｆ３）を採用し、エコー抑制ゲインｇ１（ω）が第２閾値より小さい周波数ｆ４に対しては、前回算出した背景雑音のパワーＮ（ｎ−１，ｆ４）を今回の背景雑音のパワーＮ（ｎ，ｆ４）に採用する。この様にして背景雑音推定部１２２３は、背景雑音のパワーＮ（ｎ，ω）を導出し、導出した背景雑音のパワーＮ（ｎ，ω）をエコー抑制ゲインｇ１（ω）に基づいて修正する。この様にすることで、エコーの影響を抑制した背景雑音を推定することができる。そして背景雑音推定部１２２３は、エコー抑制ゲインｇ１（ω）に基づいて修正した背景雑音のパワーＮ（ｎ，ω）を補正部１２２４に渡す。

補正部１２２４は、第１抑制部１２２２１から受け付けた第４観測音信号Ｘ４（ω）を、背景雑音のパワーＮ（ｎ，ω）に基づいて補正することにより、補正後の第４観測音信号Ｘ４＿ｒ（ω）を生成する。

第３ＦＩＲフィルタ部１２２０３は、設定されている第３フィルタ係数Ｈ３（ω）に基づいて第１観測音信号Ｘ１（ω）をフィルタリングし、フィルタリング後の第１観測音信号Ｘ１＿ｆ３（ω）を第２抑制部１２２２２に渡す。

第４ＦＩＲフィルタ部１２２０４は、設定されている第４フィルタ係数Ｈ４（ω）に基づいて第２観測音信号Ｘ２（ω）をフィルタリングし、フィルタリング後の第２観測音信号Ｘ２＿ｆ４（ω）を第２抑制部１２２２２に渡す。

第２フィルタ係数導出部１２２１２は、第１観測音信号Ｘ１（ω）及び第２観測音信号Ｘ２（ω）に基づいて第３フィルタ係数Ｈ３（ω）及び第４フィルタ係数Ｈ４（ω）を夫々導出し、導出した第３フィルタ係数Ｈ３（ω）を第３ＦＩＲフィルタ部１２２０３へ渡し、第４フィルタ係数Ｈ４（ω）を第４ＦＩＲフィルタ部１２２０４へ渡す。第３ＦＩＲフィルタ部１２２０３及び第４ＦＩＲフィルタ部１２２０４は、受け付けた第３フィルタ係数Ｈ３（ω）及び第４フィルタ係数Ｈ４（ω）を夫々設定する。

第２抑制部１２２２２は、フィルタリング後の第１観測音信号Ｘ１＿ｆ３（ω）及び第２観測音信号Ｘ２＿ｆ４（ω）を加算することにより、音出力機構１０の方向以外から到来する音を抑制した第６観測音信号のスペクトルＸ６（ω）（以降、第６観測音信号Ｘ６（ω）と呼ぶ）を生成する。そして第２抑制部１２２２２は、生成した第６観測音信号Ｘ６（ω）をゲイン算出部１２２５へ渡す。

ゲイン算出部１２２５は、第１ＦＦＴ処理部１２０１から第１観測音信号Ｘ１（ω）を受け付け、第２抑制部１２２２２から第６観測音信号Ｘ６（ω）を受け付ける。そしてゲイン算出部１２２５は、第１観測音信号Ｘ１（ω）と第６観測音信号Ｘ６（ω）とのスペクトル比を算出する下記の式（９）により、第１観測音信号Ｘ１（ω）に対する第６観測音信号Ｘ６（ω）の周波数成分毎の絶対値の比である出力音抑制ゲインｇ３（ω）を算出する。

ｇ３（ω）＝｜Ｘ６（ω）｜／｜Ｘ１（ω）｜ …式（９）
但し、ｇ３（ω）：出力音抑制ゲイン
Ｘ６（ω）：第６観測音信号のスペクトル
Ｘ１（ω）：第１観測音信号のスペクトル

そして雑音抑制部１２２は、ゲイン算出部１２２５が算出した出力音抑制ゲインｇ３（ω）をエコー抑制部１２１に渡し、補正部１２２４が算出した補正後の第４観測音信号Ｘ４＿ｒ（ω）を統合処理部１２３に渡す。

次に本発明の実施の形態３に係る音処理装置１の処理について説明する。図１８は、本発明の実施の形態３に係る音処理装置１の処理の一例を示すフローチャートである。音処理装置１の抑制機構１２は、第１ＦＦＴ処理部１２０１及び第２ＦＦＴ処理部１２０２の処理により、受け付けた音信号をフレーム化し、フレーム化した音信号を夫々周波数軸上の成分に変換する（Ｓ３０１）。

音処理装置１の抑制機構１２は、雑音抑制部１２２の処理により、第１観測音信号Ｘ１（ω）及び第２観測音信号Ｘ２（ω）に基づいて、音出力機構１０の方向以外から到来する音を抑制する出力音抑制処理を実行して（Ｓ３０２）、第６観測音信号Ｘ６（ω）を生成し、第１観測音信号Ｘ１（ω）及び第６観測音信号Ｘ６（ω）に基づいて抑制前後の比である出力音抑制ゲインｇ３（ω）を算出し（Ｓ３０３）、算出した出力音抑制ゲインｇ３（ω）をエコー抑制部１２１に渡す。

音処理装置１の抑制機構１２は、エコー抑制部１２１の処理により、第１観測音信号Ｘ１（ω）及び参照音信号Ｙ（ω）、並びに出力音抑制ゲインｇ３（ω）を受け付け、第１観測音信号Ｘ１（ω）及び参照音信号Ｙ（ω）に基づいてエコー抑制処理を実行し（Ｓ３０４）、第１観測音信号Ｘ１（ω）からエコーを除去した第３観測音信号Ｘ３（ω）を生成する。

また音処理装置１の抑制機構１２は、エコー抑制部１２１の処理により、第１観測音信号Ｘ１（ω）及び出力音抑制ゲインｇ３（ω）に基づいて背景雑音のパワーＮ（ｎ，ω）を導出する（Ｓ３０５）。ステップＳ３０５では、音出力機構１０から出力された音の抑制前後の比を示す出力音抑制ゲインｇ３（ω）が、第１閾値以下である周波数成分について更新した背景雑音のパワーＮ（ｎ，ω）を導出する。

音処理装置１の抑制機構１２は、エコー抑制部１２１の処理により、第３観測音信号Ｘ３（ω）を背景雑音のパワーＮ（ｎ，ω）に基づいて補正する補正処理を実行し（Ｓ３０６）、補正後の第３観測音信号Ｘ３＿ｒ（ω）を生成する。ステップＳ３０６の補正処理により生成される補正後の第３観測音信号Ｘ３＿ｒ（ω）は、背景雑音を加味して推定したエコーを抑制した信号である。

そして音処理装置１の抑制機構１２は、エコー抑制部１２１の処理により、第１観測音信号Ｘ１（ω）及び補正後の第３観測音信号Ｘ３＿ｒ（ω）に基づいてエコー抑制ゲインｇ１（ω）を算出し（Ｓ３０７）、算出したエコー抑制ゲインｇ１（ω）を雑音抑制部１２２及び統合処理部１２３に渡す。

音処理装置１の抑制機構１２は、雑音抑制部１２２の処理により、第１観測音信号Ｘ１（ω）及び第２観測音信号Ｘ２（ω）に基づいて雑音抑制処理を実行し（Ｓ３０８）、環境雑音を抑制した第４観測音信号Ｘ４（ω）を生成する。

また音処理装置１の抑制機構１２は、雑音抑制部１２２の処理により、第１観測音信号Ｘ１（ω）及びエコー抑制ゲインｇ１（ω）に基づいて背景雑音のパワーＮ（ｎ，ω）を導出する（Ｓ３０９）。ステップＳ３０９では、エコー抑制前後の比を示すエコー抑制ゲインｇ１（ω）が、第２閾値以上である周波数成分について更新した背景雑音のパワーＮ（ｎ，ω）を導出する。

音処理装置１の抑制機構１２は、雑音抑制部１２２の処理により、第４観測音信号Ｘ４（ω）を、背景雑音のパワーＮ（ｎ，ω）に基づいて補正することで補正後の第４観測音信号Ｘ４＿ｒ（ω）を生成する補正処理を実行し（Ｓ３１０）、補正後の第４観測音信号Ｘ４＿ｒ（ω）を統合処理部１２３に渡す。

音処理装置１の抑制機構１２は、統合処理部１２３の処理により、補正後の第４観測音信号Ｘ４＿ｒ（ω）にエコー抑制ゲインｇ１（ω）を乗じて第５観測音信号Ｘ５（ω）を生成する統合抑制処理を実行し（Ｓ３１１）、生成した第５観測音信号Ｘ５（ω）を出力音信号Ｘop（ω）として処理機構１７へ出力する。ステップＳ３１１にて生成する第５観測音信号Ｘ５（ω）は、第１観測音信号Ｘ１（ω）に対してエコー抑制処理及び雑音抑制処理を施した音信号である。

そして音処理装置１の処理機構１７は、出力音信号Ｘop（ω）に基づく音声認識等の音響処理、時間軸上の音信号に変換するＩＦＦＴ処理、音としての出力処理、送信処理等の各種信号処理を実行する（Ｓ３１２）。

なお便宜上、各ステップは逐次的に行われる様に説明しているが、エコー抑制部１２１及び雑音抑制部１２２の処理は、実質的に並行して行われる。またエコー抑制部１２１は、雑音抑制部１２２が直前のフレームに基づいて算出した出力音抑制ゲインｇ３（ω）に基づいて今回のフレームに対する処理を実行し、雑音抑制部１２２は、エコー抑制部１２１が直前のフレームに基づいて算出したエコー抑制ゲインｇ１（ω）に基づいて今回のフレームに対する処理を実行する。但し、これらのタイミングは適宜設定することが可能である。

前記実施の形態３では、エコー抑制部及び雑音抑制部の処理の結果を相互に用いる形態を示したが、一方の結果を他方にて用いるのみの構成にする等、様々な形態に展開することが可能である。

実施の形態４．
実施の形態４は、実施の形態１において、雑音抑制部にて、話者の音声を強調した音信号を生成してエコー抑制部に渡し、エコー抑制部にて、話者の音声を強調した音信号に基づいてシングルトークの状態にあるかダブルトークの状態にあるかを判定し、その結果に基づいてエコーを抑制する形態である。以降の説明において、実施の形態１乃至実施の形態３のいずれかと同様の構成要素については、実施の形態１乃至実施の形態３と同様の符号を付すものとし、その詳細な説明を省略する。実施の形態４における音処理装置１の構成例は、図５を用いて説明した実施の形態１と同様であるので、実施の形態１を参照するものとし、その説明を省略する。

図１９は、本発明の実施の形態４に係る音処理装置１が備える抑制機構１２等の機構の機能構成例を示す機能ブロック図である。抑制機構１２は、音処理プログラム１００を実行することにより、第１ＦＦＴ処理部１２０１及び第２ＦＦＴ処理部１２０２と、エコー抑制部１２１と、雑音抑制部１２２と、統合処理部１２３と、背景雑音推定部１２４と、補正部１２５と等の各種プログラムモジュールを生成する。

エコー抑制部１２１は、第１観測音信号Ｘ１（ω）及び参照音信号Ｙ（ω）と後述する第７観測音信号のスペクトルＸ７（ω）（以降、第７観測音信号Ｘ７（ω）と呼ぶ）とを受け付け、エコー抑制前後の観測音信号の周波数成分毎の比であるエコー抑制ゲインｇ１（ω）を算出する。そしてエコー抑制部１２１は、算出したエコー抑制ゲインｇ１（ω）を統合処理部１２３に渡す。

雑音抑制部１２２は、第１観測音信号Ｘ１（ω）及び第２観測音信号Ｘ２（ω）に基づいて雑音抑制処理を実行し、環境雑音を抑制した第４観測音信号Ｘ４（ω）を生成する。そして雑音抑制部１２２は、生成した第４観測音信号Ｘ４（ω）を統合処理部１２３に渡す。また雑音抑制部１２２は、第１観測音信号Ｘ１（ω）及び第２観測音信号Ｘ２（ω）に基づいて、話者の方向から到来する音声を強調する音声強調処理を実行して第７観測音信号Ｘ７（ω）を生成する。そして雑音抑制部１２２は、生成した第７観測音信号Ｘ７（ω）をエコー抑制部１２１に渡す。

抑制機構１２にて機能するエコー抑制部１２１について更に詳述する。図２０は、本発明の実施の形態４に係る音処理装置１が備えるエコー抑制部１２１等の機能構成例を示す機能ブロック図である。エコー抑制部１２１は、適応フィルタ部１２１０と、除去部１２１１と、ゲイン算出部１２１２と、更に発声判定部１２１５と、学習スイッチ部１２１６と等の各種プログラムモジュールを含んでいる。

エコー抑制部１２１は、第１ＦＦＴ処理部１２０１から第１観測音信号Ｘ１（ω）を受け付け、第２ＦＦＴ処理部１２０２から参照音信号Ｙ（ω）を受け付ける。またエコー抑制部１２１は、雑音抑制部１２２から第７観測音信号Ｘ７（ω）を受け付ける。

発声判定部１２１５は、雑音抑制部１２２から受け付けた第７観測音信号Ｘ７（ω）に基づいて、話者が発声していないシングルトークの状態であるか、話者が発声しているダブルトークの状態であるかを判定する。第７観測音信号Ｘ７（ω）は、話者の方向から到来する音を、話者が発声した音声と見なして強調した音信号であるので、シングルトークかダブルトークかの判定を高精度に実行することができる。そして発声判定部１２１５は、判定した結果を示す判定結果信号を学習スイッチ部１２１６へ渡す。例えばシングルトークと判定した場合、判定結果信号として適応フィルタ部１２１０の学習を実行させる「オン」を示す信号を渡し、ダブルトークと判定した場合、判定結果信号として適応フィルタ部１２１０の学習を停止させる「オフ」を示す信号を渡す。

学習スイッチ部１２１６は、除去部１２１１から第３観測音信号Ｘ３（ω）を受け付け、発声判定部１２１５から判定結果信号を受け付ける。判定結果信号がシングルトークを示す「オン」である場合、学習スイッチ部１２１６は、適応フィルタ部１２１０に、第３観測音信号Ｘ３（ω）と、第３観測音信号Ｘ３（ω）に基づく学習により、フィルタ係数の算出及び更新を実行させる学習実行信号とを渡す。判定結果信号がダブルトークを示す「オフ」である場合、学習スイッチ部１２１６は、適応フィルタ部１２１０にフィルタ係数の更新を停止させる学習停止信号を渡す。

実施の形態４のエコー抑制部１２１は、シングルトーク及びダブルトークの高精度な判定結果に基づいて、第１観測音信号Ｘ１（ω）からエコー成分を抑制して第３観測音信号Ｘ３（ω）を生成する処理を実行する。そしてエコー抑制部１２１は、第１観測音信号Ｘ１（ω）に対する第３観測音信号Ｘ３（ω）の周波数成分毎の絶対値の比の値であるエコー抑制ゲインｇ１（ω）を算出し、算出したエコー抑制ゲインｇ１（ω）を統合処理部１２３に渡す。

抑制機構１２にて機能する雑音抑制部１２２について更に詳述する。図２１は、本発明の実施の形態４に係る音処理装置１が備える雑音抑制部１２２等の機能構成例を示す機能ブロック図である。雑音抑制部１２２は、第１ＦＩＲフィルタ部１２２０１及び第２ＦＩＲフィルタ部１２２０２と、第１フィルタ係数導出部１２２１１と、第１抑制部１２２２１と、更に第５ＦＩＲフィルタ部１２２０５及び第６ＦＩＲフィルタ部１２２０６と、第３フィルタ係数導出部１２２１３と、第３抑制部１２２２３と等の各種プログラムモジュールを含んでいる。

雑音抑制部１２２は、第１ＦＦＴ処理部１２０１から第１観測音信号Ｘ１（ω）及び第２観測音信号Ｘ２（ω）を受け付ける。

第５ＦＩＲフィルタ部１２２０５は、設定されている第５フィルタ係数Ｈ５（ω）に基づいて第１観測音信号Ｘ１（ω）をフィルタリングし、フィルタリング後の第１観測音信号Ｘ１＿ｆ５（ω）を第３抑制部１２２２３に渡す。

第６ＦＩＲフィルタ部１２２０６は、設定されている第６フィルタ係数Ｈ６（ω）に基づいて第２観測音信号Ｘ２（ω）をフィルタリングし、フィルタリング後の第２観測音信号Ｘ２＿ｆ６（ω）を第３抑制部１２２２３に渡す。

第３フィルタ係数導出部１２２１３は、第１観測音信号Ｘ１（ω）及び第２観測音信号Ｘ２（ω）に基づいて第５フィルタ係数Ｈ５（ω）及び第６フィルタ係数Ｈ６（ω）を夫々導出し、導出した第５フィルタ係数Ｈ５（ω）を第５ＦＩＲフィルタ部１２２０５へ渡し、第６フィルタ係数Ｈ６（ω）を第６ＦＩＲフィルタ部１２２０６へ渡す。第５ＦＩＲフィルタ部１２２０５及び第６ＦＩＲフィルタ部１２２０６は、受け付けた第５フィルタ係数Ｈ５（ω）及び第６フィルタ係数Ｈ６（ω）を夫々設定する。

第３抑制部１２２２３は、フィルタリング後の第１観測音信号Ｘ１＿ｆ５（ω）及び第２観測音信号Ｘ２＿ｆ６（ω）を加算することにより、話者の方向から到来する音を強調した第７観測音信号Ｘ７（ω）を生成する。実施の形態４において、第５ＦＩＲフィルタ部１２２０５、第６ＦＩＲフィルタ部１２２０６、第３フィルタ係数導出部１２２１３及び第３抑制部１２２２３は、話者の方向から到来する音声、即ち目的方向から到来する目的音を強調する目的音強調部として機能する。

そして雑音抑制部１２２は、環境雑音を抑制した第４観測音信号Ｘ４（ω）を統合処理部１２３に渡し、話者が発声した音声を強調した第７観測音信号Ｘ７（ω）をエコー抑制部１２１に渡す。なお環境雑音を抑制し、話者が発声した音声を強調するフィルタ係数を設定して第４観測音信号Ｘ４（ω）を生成することにより、第４観測音信号Ｘ４（ω）を第７観測音信号Ｘ７（ω）としても用いることが可能となり、また雑音抑制部１２２の構成を簡略化することが可能となる。

次に本発明の実施の形態４に係る音処理装置１の処理について説明する。図２２は、本発明の実施の形態４に係る音処理装置１の処理の一例を示すフローチャートである。音処理装置１の抑制機構１２は、第１ＦＦＴ処理部１２０１及び第２ＦＦＴ処理部１２０２の処理により、受け付けた音信号をフレーム化し、フレーム化した音信号を夫々周波数軸上の成分であるスペクトルに変換する（Ｓ４０１）。

音処理装置１の抑制機構１２は、雑音抑制部１２２の処理により、第１観測音信号Ｘ１（ω）及び第２観測音信号Ｘ２（ω）に基づいて、話者の方向から到来する音を、音声と見なして強調する音声強調処理を実行して（Ｓ４０２）、第７観測音信号Ｘ７（ω）を生成し、生成した第７観測音信号Ｘ７（ω）をエコー抑制部１２１に渡す。

音処理装置１の抑制機構１２は、エコー抑制部１２１の処理により、第１観測音信号Ｘ１（ω）及び参照音信号Ｙ（ω）、並びに第７観測音信号Ｘ７（ω）を受け付ける。そして音処理装置１の抑制機構１２は、エコー抑制部１２１の処理により、第７観測音信号Ｘ７（ω）に基づいてシングルトークの状態であるかダブルトークの状態であるかを判定する発声判定処理を実行し（Ｓ４０３）、判定結果に基づき、適応フィルタ部１２１０のフィルタ係数について、第３観測音信号Ｘ３（ω）に基づく学習によるフィルタ係数の更新の要否を決定する（Ｓ４０４）。ステップＳ４０３及びＳ４０４では、発声判定部１２１５及び学習スイッチ部１２１６の処理により、適応フィルタ部１２１０のフィルタ係数の更新の要否の判定及び決定を行う。

音処理装置１の抑制機構１２は、エコー抑制部１２１の処理により、第１観測音信号Ｘ１（ω）及び参照音信号Ｙ（ω）、並びにフィルタ係数の更新の要否の決定結果に基づいてエコー抑制処理を実行し（Ｓ４０５）、第１観測音信号Ｘ１（ω）からエコーを除去した第３観測音信号Ｘ３（ω）を生成する。

そして音処理装置１の抑制機構１２は、エコー抑制部１２１の処理により、第１観測音信号Ｘ１（ω）及び第３観測音信号Ｘ３（ω）に基づいてエコー抑制ゲインｇ１（ω）を算出し（Ｓ４０６）、算出したエコー抑制ゲインｇ１（ω）を統合処理部１２３に渡す。

音処理装置１の抑制機構１２は、雑音抑制部１２２の処理により、第１観測音信号Ｘ１（ω）及び第２観測音信号Ｘ２（ω）に基づいて雑音抑制処理を実行し（Ｓ４０７）、環境雑音を抑制した第４観測音信号Ｘ４（ω）を統合処理部１２３に渡す。

そして音処理装置１は、実施の形態１のフローチャートに示したステップＳ１０５以降の処理を実行する。なお便宜上、各ステップは逐次的に行われる様に説明しているが、エコー抑制部１２１及び雑音抑制部１２２の処理は、実質的に並行して行われる。この様に実施の形態４では、話者の発声した音声を強調した音信号に基づいてシングルトークの状態かダブルトークの状態かを高精度に判定することが可能となる。

実施の形態５．
実施の形態５は、実施の形態１において、雑音抑制部にて、話者の音声を抑制した音信号を生成してエコー抑制部に渡し、エコー抑制部にて、話者の音声を抑制した音信号を加味してエコーを抑制する形態である。以降の説明において、実施の形態１乃至実施の形態４のいずれかと同様の構成要素については、実施の形態１乃至実施の形態４と同様の符号を付すものとし、その詳細な説明を省略する。実施の形態５における音処理装置１の構成例は、図５を用いて説明した実施の形態１と同様であるので、実施の形態１を参照するものとし、その説明を省略する。

図２３は、本発明の実施の形態５に係る音処理装置１が備える抑制機構１２等の機構の機能構成例を示す機能ブロック図である。抑制機構１２は、音処理プログラム１００を実行することにより、第１ＦＦＴ処理部１２０１及び第２ＦＦＴ処理部１２０２と、エコー抑制部１２１と、雑音抑制部１２２と、統合処理部１２３と、背景雑音推定部１２４と、補正部１２５と等の各種プログラムモジュールを生成する。

エコー抑制部１２１は、第１観測音信号Ｘ１（ω）及び参照音信号Ｙ（ω）と後述する第８観測音信号のスペクトルＸ８（ω）（以降、第８観測音信号Ｘ８（ω）と呼ぶ）とを受け付け、エコー抑制前後の観測音信号の周波数成分毎の比であるエコー抑制ゲインｇ１（ω）を算出する。そしてエコー抑制部１２１は、算出したエコー抑制ゲインｇ１（ω）を統合処理部１２３に渡す。

雑音抑制部１２２は、第１観測音信号Ｘ１（ω）及び第２観測音信号Ｘ２（ω）に基づいて雑音抑制処理を実行し、環境雑音を抑制した第４観測音信号Ｘ４（ω）を生成する。そして雑音抑制部１２２は、生成した第４観測音信号Ｘ４（ω）を統合処理部１２３に渡す。また雑音抑制部１２２は、第１観測音信号Ｘ１（ω）及び第２観測音信号Ｘ２（ω）に基づいて、話者の方向から到来する音声を抑制する音声抑制処理を実行して第８観測音信号Ｘ８（ω）を生成する。そして雑音抑制部１２２は、生成した第８観測音信号Ｘ８（ω）をエコー抑制部１２１に渡す。

抑制機構１２にて機能するエコー抑制部１２１について更に詳述する。図２４は、本発明の実施の形態５に係る音処理装置１が備えるエコー抑制部１２１等の機能構成例を示す機能ブロック図である。エコー抑制部１２１は、適応フィルタ部１２１０と、第１除去部１２１１１と、ゲイン算出部１２１２と、更に第２除去部１２１１２と等の各種プログラムモジュールを含んでいる。なお第１除去部１２１１１は、実施の形態１にて説明した除去部１２１１と同様の処理を実行する。

エコー抑制部１２１は、第１ＦＦＴ処理部１２０１から第１観測音信号Ｘ１（ω）を受け付け、第２ＦＦＴ処理部１２０２から参照音信号Ｙ（ω）を受け付ける。またエコー抑制部１２１は、雑音抑制部１２２から第８観測音信号Ｘ８（ω）を受け付ける。

第２除去部１２１１２は、第８観測音信号Ｘ８（ω）からエコー成分を減算し、適応フィルタ部１２１０に渡す。

第１観測音信号Ｘ１（ω）から音声が抑制された第８観測音信号Ｘ８（ω）には、話者の発声を含むダブルトークの状態が存在しないと見なすことができるので、実施の形態５の適応フィルタ部１２１０は、シングルトークだけの音信号に基づいて、高精度にエコーを抑制することができる。そしてエコー抑制部１２１は、第１観測音信号Ｘ１（ω）に対する第３観測音信号Ｘ３（ω）の周波数成分毎の絶対値の比の値であるエコー抑制ゲインｇ１（ω）を算出し、算出したエコー抑制ゲインｇ１（ω）を統合処理部１２３に渡す。

抑制機構１２にて機能する雑音抑制部１２２について更に詳述する。図２５は、本発明の実施の形態５に係る音処理装置１が備える雑音抑制部１２２等の機能構成例を示す機能ブロック図である。雑音抑制部１２２は、第１ＦＩＲフィルタ部１２２０１及び第２ＦＩＲフィルタ部１２２０２と、第１フィルタ係数導出部１２２１１と、第１抑制部１２２２１と、更に第７ＦＩＲフィルタ部１２２０７及び第８ＦＩＲフィルタ部１２２０８と、第４フィルタ係数導出部１２２１４と、第４抑制部１２２２４と等の各種プログラムモジュールを含んでいる。

雑音抑制部１２２は、第１ＦＦＴ処理部１２０１から第１観測音信号Ｘ１（ω）及び第２観測音信号Ｘ２（ω）を受け付ける。

第７ＦＩＲフィルタ部１２２０７は、設定されている第７フィルタ係数Ｈ７（ω）に基づいて第１観測音信号Ｘ１（ω）をフィルタリングし、フィルタリング後の第１観測音信号Ｘ１＿ｆ７（ω）を第４抑制部１２２２４に渡す。

第８ＦＩＲフィルタ部１２２０８は、設定されている第８フィルタ係数Ｈ８（ω）に基づいて第２観測音信号Ｘ２（ω）をフィルタリングし、フィルタリング後の第２観測音信号Ｘ２＿ｆ８（ω）を第４抑制部１２２２４に渡す。

第４フィルタ係数導出部１２２１４は、第１観測音信号Ｘ１（ω）及び第２観測音信号Ｘ２（ω）に基づいて第７フィルタ係数Ｈ７（ω）及び第８フィルタ係数Ｈ８（ω）を夫々導出し、導出した第７フィルタ係数Ｈ７（ω）を第７ＦＩＲフィルタ部１２２０７へ渡し、第８フィルタ係数Ｈ８（ω）を第８ＦＩＲフィルタ部１２２０８へ渡す。第７ＦＩＲフィルタ部１２２０７及び第８ＦＩＲフィルタ部１２２０８は、受け付けた第７フィルタ係数Ｈ７（ω）及び第８フィルタ係数Ｈ８（ω）を夫々設定する。

第４抑制部１２２２４は、フィルタリング後の第１観測音信号Ｘ１＿ｆ７（ω）及び第２観測音信号Ｘ２＿ｆ８（ω）を加算することにより、話者の方向から到来する音を抑制した第８観測音信号Ｘ８（ω）を生成する。実施の形態５において、第７ＦＩＲフィルタ部１２２０７、第８ＦＩＲフィルタ部１２２０８、第４フィルタ係数導出部１２２１４及び第４抑制部１２２２４は、話者の方向から到来する音声、即ち要抑制方向から到来する要抑制音を抑制する要抑制音抑制部として機能する。

そして雑音抑制部１２２は、環境雑音を抑制した第４観測音信号Ｘ４（ω）を統合処理部１２３に渡し、話者が発声した音声を抑制した第８観測音信号Ｘ８（ω）をエコー抑制部１２１に渡す。

次に本発明の実施の形態５に係る音処理装置１の処理について説明する。図２６は、本発明の実施の形態５に係る音処理装置１の処理の一例を示すフローチャートである。音処理装置１の抑制機構１２は、第１ＦＦＴ処理部１２０１及び第２ＦＦＴ処理部１２０２の処理により、受け付けた音信号をフレーム化し、フレーム化した音信号を夫々周波数軸上の成分であるスペクトルに変換する（Ｓ５０１）。

音処理装置１の抑制機構１２は、雑音抑制部１２２の処理により、第１観測音信号Ｘ１（ω）及び第２観測音信号Ｘ２（ω）に基づいて、話者の方向から到来する音を、音声と見なして抑制する音声抑制処理を実行して（Ｓ５０２）、第８観測音信号Ｘ８（ω）を生成し、生成した第８観測音信号Ｘ８（ω）をエコー抑制部１２１に渡す。

音処理装置１の抑制機構１２は、エコー抑制部１２１の処理により、第１観測音信号Ｘ１（ω）及び参照音信号Ｙ（ω）、並びに第８観測音信号Ｘ８（ω）を受け付ける。そして音処理装置１の抑制機構１２は、エコー抑制部１２１の処理により、第８観測音信号Ｘ８（ω）からエコー成分を減算することでエコーを除去するエコー減算処理を実行し（Ｓ５０３）、エコー減算処理の結果及び参照音信号Ｙ（ω）に基づいて、参照音信号Ｙ（ω）に基づく音に起因するエコー成分を推定し、推定したエコー成分を第１観測音信号Ｘ１（ω）から除去するエコー抑制処理を実行し（Ｓ５０４）、第３観測音信号Ｘ３（ω）を生成する。

そして音処理装置１の抑制機構１２は、エコー抑制部１２１の処理により、第１観測音信号Ｘ１（ω）及び第３観測音信号Ｘ３（ω）に基づいてエコー抑制ゲインｇ１（ω）を算出し（Ｓ５０５）、算出したエコー抑制ゲインｇ１（ω）を統合処理部１２３に渡す。

音処理装置１の抑制機構１２は、雑音抑制部１２２の処理により、第１観測音信号Ｘ１（ω）及び第２観測音信号Ｘ２（ω）に基づいて雑音抑制処理を実行し（Ｓ５０６）、環境雑音を抑制した第４観測音信号Ｘ４（ω）を統合処理部１２３に渡す。

そして音処理装置１は、実施の形態１のフローチャートに示したステップＳ１０５以降の処理を実行する。なお便宜上、各ステップは逐次的に行われる様に説明しているが、エコー抑制部１２１及び雑音抑制部１２２の処理は、実質的に並行して行われる。この様に実施の形態５では、話者の発声した音声を抑制した音信号に基づいてエコーを高精度に推定することが可能となる。

前記実施の形態１乃至５は、本発明の無限にある実施の形態の一部を例示したに過ぎず、各種ハードウェア及びソフトフェア等の構成は、適宜設定することが可能であり、また例示した基本的な処理以外にも様々な処理を組み合わせることが可能である。例えば本発明の音処理装置を、例示した装置以外の音声、音響に係る様々なシステムに適用することが可能である。また前記実施の形態１乃至５で説明した音処理装置を、音信号を出力する音出力装置と、受音機構を備える受音装置と、エコー抑制及び雑音抑制を行う音処理装置との三の装置という様に複数の装置として構成する様にしても良く、また受音機構についても三以上備えていても良い。そして例えばエコー抑制に際し、エコーの推定にどの受音機構に係る観測音信号を用いるか等、様々な形態に展開することが可能である。さらに前記実施の形態１乃至５は夫々独立して実現されるのではなく、適宜組み合わせることも可能である。

Claims (10)

1. 音信号に基づいて音を出力する音出力部、及び入力した音に基づいて音信号を出力する複数の受音部と連携可能であり、前記受音部が出力した音信号を処理する音処理装置において、
   前記音出力部に出力させる音の基となる参照音信号、及び前記複数の受音部が出力した夫々の音信号に基づく観測音信号を、周波数軸上の成分に変換する変換部と、
   前記変換後の参照音信号に基づく音に起因するエコーを推定し、推定したエコーを前記変換後の観測音信号から周波数成分毎に抑制するエコー抑制部と、
   前記複数の受音部に入力した夫々の音の時間差から求まる音の到来方向に基づいて雑音を推定し、推定した雑音を前記変換後の観測音信号から周波数成分毎に抑制する雑音抑制部と、
   前記エコー抑制後の観測音信号及び前記雑音抑制後の観測音信号に基づいて、前記変換後の観測音信号から周波数成分毎にエコー及び雑音を抑制する統合処理部と
   を備えることを特徴とする音処理装置。
2. 前記統合処理部は、
   前記エコー抑制前後の観測音信号の周波数成分毎の比及び前記雑音抑制後の観測音信号の積、
   又は、
   前記雑音抑制前後の観測音信号の周波数成分毎の比及び前記エコー抑制後の観測音信号の積
   に基づいてエコー及び雑音を抑制した観測音信号を求める様にしてある
   ことを特徴とする請求項１に記載の音処理装置。
   
3. 前記雑音抑制部は、更に、
   前記変換後の観測音信号に基づいて背景雑音を導出する背景雑音導出部を有し、
   前記エコー抑制前後の観測音信号の周波数成分毎の比と、前記背景雑音導出部にて導出した背景雑音との積を加味して雑音を抑制する様にしてある
   ことを特徴とする請求項１又は請求項２に記載の音処理装置。
4. 前記雑音抑制部は、更に、
   前記音出力部の方向から到来したと推定した音の周波数成分を、前記変換後の観測音信号から抑制する出力音抑制部を有し、
   前記エコー抑制部は、更に、
   前記変換後の観測音信号のうち、前記出力音抑制部による抑制前後の比が所定値以下である周波数成分に基づいて背景雑音を導出する背景雑音導出部を有し、
   前記エコー抑制部は、前記背景雑音導出部が導出した背景雑音を加味して推定したエコーを抑制する様にしてある
   ことを特徴とする請求項１又は請求項２に記載の音処理装置。
5. 前記雑音抑制部は、更に、
   前記変換後の観測音信号のうち、前記エコー抑制前後の比が所定値を超える周波数成分に基づいて背景雑音を導出する背景雑音導出部を有し、
   前記雑音抑制部は、前記背景雑音導出部が導出した背景雑音を加味して雑音を抑制する様にしてある
   ことを特徴とする請求項４に記載の音処理装置。
6. 前記背景雑音導出部は、前記変換後の観測音信号の時間変化を周波数成分毎に平滑化して背景雑音を導出するようにしてあることを特徴とする請求項３乃至請求項５のいずれかに記載の音処理装置。
7. 前記雑音制御部は、更に、
   前記変換後の観測音信号に対し、所定の目的方向から到来したと推定した音信号の周波数成分の強調処理及び／又は目的方向以外の方向から到来したと推定した音信号の周波数成分の抑制処理により、目的方向から到来する目的音を強調する目的音強調部を有し、
   前記エコー抑制部は、更に、
   前記変換後の参照音信号に基づいて、周波数毎に算出及び更新されたフィルタ係数にてフィルタリングすることにより、前記変換後の観測音信号から抑制すべきエコー成分を導出するフィルタ部と、
   前記目的音強調部にて目的音を強調した観測音信号に基づいて、前記フィルタ部のフィルタ係数の更新の要否を判定する更新要否判定部と
   を有する
   ことを特徴とする請求項１又は請求項２に記載の音処理装置。
8. 前記雑音制御部は、
   所定の要抑制方向から到来したと推定した音信号の周波数成分を、前記変換後の観測音信号から抑制することで、要抑制方向から到来する音を抑制する要抑制音抑制部を有し、
   前記エコー抑制部は、
   前記変換後の参照音信号を、周波数毎に算出及び更新されたフィルタ係数にてフィルタリングすることにより、抑制すべきエコー成分を導出するフィルタ部を有し、
   該フィルタ部は、前記変換後の参照音信号及び前記要抑制音を抑制した観測音信号に基づいて、フィルタ係数を算出及び更新する様にしてある
   ことを特徴とする請求項１又は請求項２に記載の音処理装置。
9. 音信号に基づいて音を出力する音出力部、及び入力した音に基づいて音信号を出力する複数の受音部と連携可能な音処理装置に実行させる音処理方法において、
   前記音処理装置が、
   前記音出力部に出力させる音の基となる参照音信号、及び前記複数の受音部が出力した夫々の音信号に基づく観測音信号を、周波数軸上の成分に変換するステップと、
   前記変換後の参照音信号に基づく音に起因するエコーを推定し、推定したエコーを前記変換後の観測音信号から周波数成分毎に抑制するステップと、
   前記複数の受音部に入力した夫々の音の時間差から求まる音の到来方向に基づいて雑音を推定し、推定した雑音を前記変換後の観測音信号から周波数成分毎に抑制するステップと、
   前記エコー抑制後の観測音信号及び前記雑音抑制後の観測音信号に基づいて、前記変換後の観測音信号から周波数成分毎にエコー及び雑音を抑制するステップと
   を実行することを特徴とする音処理方法。
10. 音信号に基づいて音を出力する音出力部、及び入力した音に基づいて音信号を出力する複数の受音部と連携可能なコンピュータを音処理装置として機能させる音処理プログラムにおいて、
    コンピュータに、
    前記音出力部に出力させる音の基となる参照音信号、及び前記複数の受音部が出力した夫々の音信号に基づく観測音信号を、周波数軸上の成分に変換する手順と、
    前記変換後の参照音信号に基づく音に起因するエコーを推定し、推定したエコーを前記変換後の観測音信号から周波数成分毎に抑制する手順と、
    前記複数の受音部に入力した夫々の音の時間差から求まる音の到来方向に基づいて雑音を推定し、推定した雑音を前記変換後の観測音信号から周波数成分毎に抑制する手順と、
    前記エコー抑制後の観測音信号及び前記雑音抑制後の観測音信号に基づいて、前記変換後の観測音信号から周波数成分毎にエコー及び雑音を抑制する手順と
    を実行させることを特徴とする音処理プログラム。

Images