JP6943120B2 - 収音装置、プログラム及び方法 - Google Patents

Description

この発明は、収音装置、プログラム及び方法に関し、例えば、雑音環境下で用いられる音声通信システムや音声認識システム等に適用する、複数の音源が存在する環境下で特定のエリアの音を強調し、それ以外のエリアの音を抑制するシステムに適用し得る。

雑音環境下で音声通信システムや音声認識応用システムを利用する場合、必要な目的音声と同時に混入する周囲の雑音は、良好なコミュニケーションを阻害し、音声認識率の低下をもたらす厄介な存在である。従来、このような複数の音源が存在する環境下において、特定の方向の音のみ分離・収音することで不要音の混入を避け必要な目的音を得る技術として、マイクロホンアレイを用いたビームフォーマ（Ｂｅａｍ Ｆｏｒｍｅｒ；以下「ＢＦ」とも呼ぶ；特許文献２、３参照）がある。ＢＦとは各マイクロホンに到達する信号の時間差を利用して指向性を形成する技術である。しかしＢＦだけでは収音を目的とするエリア（以下、「目的エリア」と呼ぶ）の周囲に他の音源が存在する場合、目的エリア内に存在する音（以下、「目的エリア音」と呼ぶ）だけを収音することが難しい。そのため、従来、特許文献１等により、複数のマイクロホンアレイを用いて目的エリアを収音するエリア収音方式が提案されている。

図６は、２つのマイクロホンアレイＭＡ１、ＭＡ２を用いて、目的エリアの音源からの目的エリア音を収音する処理について示した説明図である。図６（ａ）は、各マイクロホンアレイの構成例について示した説明図である。図６（ｂ）、図６（ｃ）は、それぞれ図６（ａ）に示すマイクロホンアレイＭＡ１、ＭＡ２のＢＦ出力について周波数領域で示したグラフ(イメージ図)である。図６（ｂ）、図６（ｃ）は、それぞれマイクロホンアレイＭＡ１、ＭＡ２のＢＦ出力について周波数領域で示したグラフ（イメージ図）である。

従来のエリア収音では、図６（ａ）に示すように、マイクロホンアレイＭＡ１、ＭＡ２の指向性を別々の方向から収音したいエリア（目的エリア）で交差させて収音する。図６（ａ）の状態では、各マイクロホンアレイＭＡ１、ＭＡ２の指向性に目的エリア内に存在する音（目的エリア音）だけでなく、目的エリア方向の雑音（非目的エリア音）も含まれている。しかし、図６（ｂ）、図６（ｃ）に示すように、マイクロホンアレイＭＡ１、ＭＡ２の指向性を周波数領域で比較すると、目的エリア音成分はどちらの出力にも含まれるが、非目的エリア音成分は各マイクロホンアレイで異なることになる。従来のエリア収音技術では、このような特性を利用し、２つのマイクロホンアレイＭＡ１、ＭＡ２のＢＦ出力に、共通に含まれる成分以外を抑圧することで目的エリア音のみ抽出することができる。

従来のエリア収音技術は、エリア外で発生する雑音の抑圧に非常に有効な手法だが、周囲に存在する非目的エリア音や背景雑音のレベルが大きい場合、ミュージカルノイズなどの耳障りな異音が発生する場合がある。エリア収音においてミュージカルノイズを改善する技術としては、特許文献３の記載技術がある。特許文献３では、エリア収音の音質を改善する手法として、エリア収音の出力に、入力信号及び推定雑音を混合し、ミュージカルノイズ等の異音をマスキングする方式（信号混合エリア収音方式）を提案している。以下では、特許文献３の記載技術のように、エリア収音の出力に所定の音（例えば、入力信号や推定雑音等）を混合して、ミュージカルノイズ等の異音をマスキングする手法を「ミキシングエリア収音」と呼ぶものとする。

特開２０１４−７２７０８号公報 特開２００５−１９５９５５号公報 特許６１８７６２６号公報

浅野太著，"音響テクノロジーシリーズ１６ 音のアレイ信号処理−音源の定位・追跡と分離−"，日本音響学会編，コロナ社，２０１１年２月２５日発行

上述のように、従来のミキシングエリア収音は、エリア収音の音質を大幅に改善する手法であるが、入力信号や推定雑音を混合する方式であるため、雑音抑圧の観点からは、その効果がやや弱まる。そのため、音声通信と音声認識双方の機能を備えるシステムにエリア収音を適用する場合、音声通信には好ましい雑音抑圧レベルが音声認識の前処理としては雑音抑圧効果が十分でなく、認識率が低下するという問題があった。

以上のような問題に鑑みて、出力先に対してより高品質のエリア収音が可能となる収音装置、プログラム及び方法が望まれている。

第１の本発明は、マイクロホンアレイを用いて収音した収音信号を複数の出力先に出力する収音装置において、（１）マイクロホンアレイから入力された入力信号に含まれる背景雑音を推定して推定雑音として取得し、取得した前記推定雑音を用いて、前記入力信号の雑音成分を抑圧して雑音抑圧後信号を取得する雑音抑圧手段と、（２）前記雑音抑圧後信号について、目的エリア方向以外の方向に指向性を形成した第１の非目的エリア音と、目的エリア方向に指向性を形成した目的エリア方向音とを取得する指向性形成手段と、（３）前記目的エリア方向音を用いて目的エリア方向からの第２の非目的エリア音を抽出し、さらに、前記第２の非目的エリア音と前記目的エリア方向音とを用いて、目的エリアを音源とする目的エリア音を取得する目的エリア音抽出部と、（４）それぞれの前記出力先に、少なくとも前記目的エリア音の成分を含む音響信号を前記収音信号として出力するものであって、前記出力先の特性に応じて、前記目的エリア音に、少なくとも前記入力信号の成分及び又は前記推定雑音の成分を含む混合音を混合した混合後目的エリア音を生成して前記収音信号として出力することが可能である出力手段とを有し、（５）前記出力手段は、通話系システムの前記出力先には前記混合音として、前記入力信号の成分及び前記推定雑音の成分を含む音を設定し、音声認識システムの前記出力先には前記混合音を含まない音響信号を前記収音信号として出力することを特徴とする。

第２の本発明の収音プログラムは、マイクロホンアレイを用いて収音した収音信号を複数の出力先に出力する収音装置に搭載されたコンピュータを、（１）マイクロホンアレイから入力された入力信号に含まれる背景雑音を推定して推定雑音として取得し、取得した前記推定雑音を用いて、前記入力信号の雑音成分を抑圧して雑音抑圧後信号を取得する雑音抑圧手段と、（２）前記雑音抑圧後信号について、目的エリア方向以外の方向に指向性を形成した第１の非目的エリア音と、目的エリア方向に指向性を形成した目的エリア方向音とを取得する指向性形成手段と、（３）前記目的エリア方向音を用いて目的エリア方向からの第２の非目的エリア音を抽出し、さらに、前記第２の非目的エリア音と前記目的エリア方向音とを用いて、目的エリアを音源とする目的エリア音を取得する目的エリア音抽出部と、（４）それぞれの前記出力先に、少なくとも前記目的エリア音の成分を含む音響信号を前記収音信号として出力するものであって、前記出力先の特性に応じて、前記目的エリア音に、少なくとも前記入力信号の成分及び又は前記推定雑音の成分を含む混合音を混合した混合後目的エリア音を生成して前記収音信号として出力することが可能である出力手段とを有し、（５）前記出力手段は、通話系システムの前記出力先には前記混合音として、前記入力信号の成分及び前記推定雑音の成分を含む音を設定し、音声認識システムの前記出力先には前記混合音を含まない音響信号を前記収音信号として出力することを特徴とする。

第３の本発明は、マイクロホンアレイを用いて収音した収音信号を複数の出力先に出力する収音装置が行う収音方法において、（１）前記収音装置は、雑音抑圧手段、指向性形成手段、目的エリア音抽出部、及び出力手段を有し、（２）前記雑音抑圧手段は、マイクロホンアレイから入力された入力信号に含まれる背景雑音を推定して推定雑音として取得し、取得した前記推定雑音を用いて、前記入力信号の雑音成分を抑圧して雑音抑圧後信号を取得し、（３）前記指向性形成手段は、前記雑音抑圧後信号について、目的エリア方向以外の方向に指向性を形成した第１の非目的エリア音と、目的エリア方向に指向性を形成した目的エリア方向音とを取得し、（４）前記目的エリア音抽出部は、前記目的エリア方向音を用いて目的エリア方向からの第２の非目的エリア音を抽出し、さらに、前記第２の非目的エリア音と前記目的エリア方向音とを用いて、目的エリアを音源とする目的エリア音を取得し、（５）前記出力手段は、それぞれの前記出力先に、少なくとも前記目的エリア音の成分を含む音響信号を前記収音信号として出力するものであって、前記出力先の特性に応じて、前記目的エリア音に、少なくとも前記入力信号の成分及び又は前記推定雑音の成分を含む混合音を混合した混合後目的エリア音を生成して前記収音信号として出力することが可能であり、（６）前記出力手段は、通話系システムの前記出力先には前記混合音として、前記入力信号の成分及び前記推定雑音の成分を含む音を設定し、音声認識システムの前記出力先には前記混合音を含まない音響信号を前記収音信号として出力することを特徴とする。

本発明によれば、出力先に対してより高音質のエリア収音が可能となる収音装置を提供することができる。

第１の実施形態に係る収音装置の機能的構成について示したブロック図である。 第１の実施形態に係る減算型ＢＦ（マイクロホンの数が２個の場合）の構成を示すブロック図である。 第１の実施形態に係る減算型ＢＦ（マイクロホンの数が２個の場合）により形成される指向性フィルタの例について示した説明図である。 第２の実施形態に係る収音装置の機能的構成について示したブロック図である。 第３の実施形態に係る収音装置の機能的構成について示したブロック図である。 ２つのマイクロホンアレイを用いて、目的エリアの音源からの目的エリア音を収音する処理について示した説明図である。

（Ａ）第１の実施形態
以下、本発明による収音装置、プログラム及び方法の第１の実施形態を、図面を参照しながら詳述する。

（Ａ−１）第１の実施形態の構成
図１は、この実施形態の収音装置１００の機能的構成について示したブロック図である。

収音装置１００は、２個のマイクロホンアレイＭＡ（ＭＡ１、ＭＡ２）から供給される音響信号を用いて、目的エリアの音源からの目的エリア音を収音する目的エリア音収音処理を行う。

マイクロホンアレイＭＡ１、ＭＡ２は、目的エリアが存在する空間の任意の場所に配置される。目的エリアに対するマイクロホンアレイＭＡ１、ＭＡ２の位置は、例えば、図６（ａ）に示すように、指向性が目的エリアでのみ重なればどこでも良く、例えば目的エリアを挟んで対向に配置しても良い。この実施形態において、各マイクロホンアレイＭＡは２つ以上のマイクロホンＭから構成され、各マイクロホンＭにより音響信号が収音される。図１に示すように、この実施形態では、各マイクロホンアレイＭＡに、２つのマイクロホンＭ１、Ｍ２が配置されるものとして説明する。すなわち、各マイクロホンアレイＭＡは、２ｃｈマイクロホンアレイを構成している。なお、マイクロホンアレイＭＡの数は２つに限定するものではなく、目的エリアが複数存在する場合、全てのエリアをカバーできる数のマイクロホンアレイＭＡを配置する必要がある。

以上のように、各マイクロホンアレイＭＡは、目的エリアが存在する空間の、目的エリアを指向できる場所に配置される。各マイクロホンアレイＭＡは、２つのマイクロホンＭ（Ｍ１、Ｍ２）により構成されている。各マイクロホンアレイＭＡでは、２つのマイクロホンＭ１、Ｍ２によって捕捉された音響に基づく音響信号が収音装置１００に供給される。

そして、収音装置１００は、エリア収音した音響信号を、音声認識部１０及びスピーカ１１に供給する。音声認識部１０およびスピーカ１１は、収音装置１００と直接接続する（ローカルに配置する）ようにしてもよいし、ネットワークを介して間接的に接続して収音した音響信号を供給するようにしてもよい。

スピーカ１１は、例えば、遠隔地でエリア収音した音響信号をオペレータ（ユーザ）に表音出力する装置である。以下では、スピーカ１１等、収音した音響信号を人間に聴かせるためのシステム全般を「通話系システム」とも呼ぶものとする。

音声認識部１０は、例えば、遠隔地でエリア収音した音響信号に含まれる音声をテキスト化する等の音声認識処理を伴う装置である。以下では、音響信号に含まれる音声を認識してその認識結果に基づく処理（例えば、Ｓｐｅｅｃｈ ｔｏ Ｔｅｘｔの処理や、声紋認識処理等）を行うシステム全般を「音声認識系システム」と呼ぶものとする。

したがって、収音装置１００は、通話系システム（スピーカ１１）と音声認識系システム（音声認識部１０）という、特性（用途の特性）の異なる複数の出力先のそれぞれに、同時にエリア収音した音響信号を供給することになる。言い換えると、収音装置１００は、出力先の特性に応じた音響信号（目的音強調信号）を収音し、それぞれの音響信号を対応する特性の出力先に出力する。

以上のように、この実施形態では、収音装置１００は、通話系システム向けの音響信号と、音声認識システム向けの音響信号を収音（生成）し、通話系システム向けに収音した音響信号をスピーカ１１に供給し、音声認識システム向けに収音した音響信号を音声認識部１０に供給する。この実施形態では、図１に示すように、通話系システムの出力先はスピーカ１１だけであり、音声認識システムの出力先は音声認識部１０だけであるが、それぞれの特性に応じた出力先は複数としてもよい。また、この実施形態では、収音装置１００は、通話系システムと音声認識システムの２つの特性に応じた音響信号を収音するが、３種類以上の特性に応じた音響信号を生成し、それぞれ対応する出力先に出力するようにしてもよい。

次に、収音装置１００の内部構成について図１を用いて説明する。

収音装置１００は、信号入力部３、雑音抑圧部４、指向性形成部５、目的エリア音抽出部６、混合レベル算出部７、混合レベル調節部８、及び信号混合部９を有している。

収音装置１００は、例えば、プロセッサやメモリ等を備えるコンピュータにプログラム（実施形態に係る収音プログラムを含む）を実行させるようにしてもよいが、その場合であっても、機能的には、図１のように示すことができる。

（Ａ−２）第１の実施形態の動作
次に、以上のような構成を有する第１の実施形態の収音装置１００の動作（実施形態に係る収音方法）を説明する。

信号入力部３は、各マイクロホンアレイＭＡ１、ＭＡ２で収音した音響信号をアナログ信号からデジタル信号に変換し入力する。その後、信号入力部３は、そのデジタル信号を、例えば高速フーリエ変換を用いて時間領域から周波数領域へ変換する。

雑音抑圧部４は、信号入力部３で取得した信号に含まれる背景雑音の成分を推定し、抑圧する。雑音抑圧部４では、例えばスペクトル減算法(Ｓｐｅｃｔｒａｌ Ｓｕｂｔｒａｃｔｉｏｎ;以下、単に「ＳＳ」と呼ぶ)やウィーナーフィルタリング法（Ｗｉｅｎｅｒ ｆｉｌｔｅｒｉｎｇ）などを用いて雑音抑圧を行うことができる。

指向性形成部５は、マイクロホンアレイＭＡ毎に雑音抑圧部４により背景雑音を抑圧した音響信号に対し、ＢＦにより目的音の方向への指向性を形成する。

ここで、各マイクロホンアレイＭＡ（ＭＡ１、ＭＡ２）のＢＦによる指向性形成について図２、図３を用いて説明する。ＢＦとは、各マイクロホンに到達する信号の時間差を利用して指向性を形成する技術である（非特許文献１参照）。ＢＦは加算型と減算型の大きく２つの種類に分けられが、ここでは少ないマイクロホン数で指向性を形成できる減算型ＢＦについて説明する。

図２は、マイクロホンＭの数が２個の場合の減算型ＢＦ２００に係る構成を示すブロック図である。

図３は、２個のマイクロホンＭを用いた減算型ＢＦ２００により形成される指向性フィルタの例について示した説明図である。

図２に示す減算型ＢＦ２００では、まず遅延器２１０により、目的とする方向に存在する音（目的音）が各マイクロホンＭ（Ｍ１、Ｍ２）に到来する信号の時間差を算出し、遅延を加えることにより目的音の位相を合わせる。上述の時間差は以下の（１）式により算出することができる。

ここで、ｄはマイクロホンＭ１、Ｍ２間の距離、ｃは音速、τ_ｉは遅延量である。またθ_Ｌは、各マイクロホンＭ（Ｍ１、Ｍ２）を結んだ直線に対する垂直方向から目的方向への角度である。

また、ここで、死角がマイクロホンＭ１とＭ２の中心に対し、マイクロホンＭ１の方向に存在する場合、遅延器２１０は、マイクロホンＭ１の入力信号ｘ_１（ｔ）に対し遅延処理を行う。その後、減算型ＢＦ２００では、以下の（２）式に従い減算器２２０が処理（減算処理）を行う。

減算型ＢＦ２００の処理は周波数領域でも同様に行うことができ、その場合（２）式は以下の（３）のように変更される。

ここでθ_Ｌ＝±π／２の場合、減算型ＢＦ２００により形成される指向性は図３(ａ)に示すように、カージオイド型の単一指向性となる。また、「θ_Ｌ＝０，π」の場合、減算型ＢＦ２００により形成される指向性は、図３(ｂ)のような８の字型の双指向性となる。さらに、ＳＳを用いることで、減算型ＢＦ２００では、双指向性の死角に強い指向性を形成することもできる。ＳＳによる指向性は、（４）式に従い全周波数、もしくは指定した周波数帯域で形成される。（４）式では、マイクロホンＭ１の入力信号Ｘ_１を用いているが、マイクロホンＭ２の入力信号Ｘ_２でも同様の効果を得ることができる。ここでβはＳＳの強度を調節するための係数である。減算型ＢＦ２００では、減算時に値がマイナスなった場合は、０または元の値を小さくした値に置き換えるフロアリング処理を行う。

上述のような減算型ＢＦ２００の処理方式では、双指向性の特性によって目的方向以外に存在する音（非目的音）を抽出し、抽出した非目的音の振幅スペクトルを入力信号の振幅スペクトルから減算することで、目的音を強調することができる。

指向性形成部５では、上述のような減算型ＢＦ２００の処理を用いて、各マイクロホンアレイＭＡ（ＭＡ１、ＭＡ２）のＢＦの出力を取得することができる。

ところで、ある特定のエリア内に存在する音（目的エリア音）だけを収音したい場合、減算型ＢＦを用いるだけでは、そのエリアと同一方向の線上に存在する音源（非目的エリア音）も収音してしまう。そこで、収音装置１００では、特許文献１で提案されているように、複数のマイクロホンアレイＭＡを用い、それぞれ別々の方向から目的エリアへ指向性を向け、指向性を目的エリアで交差させることで目的エリア音を収音する処理（エリア収音処理）を実施する。

指向性形成部５は、マイクロホンアレイＭＡ１とマイクロホンアレイＭＡ２の２つのマイクロホンアレイに対し、それぞれＢＦ（減算型ＢＦ２００）によって指向性を形成し、図６（ａ）と同様に、各マイクロホンアレイＭＡ１、ＭＡ２の指向性を別々の方向から収音したいエリア（目的エリア）で交差させる。

目的エリア音抽出部６は、指向性形成部５で形成したマイクロホンアレイＭＡ１、およびマイクロホンアレイＭＡ２の各ＢＦ出力データＹ_１（ｎ）、Ｙ_２（ｎ）を以下の（５）式、もしくは（６）式に従いＳＳし、目的エリア方向に存在する非目的エリア音Ｎ_１（ｎ）、Ｎ_２（ｎ）を抽出する。ここでα_１、α_２は、目的エリアと各マイクロホンアレイＭＡの距離の違いによって生じる信号レベルの差を補正する補正係数であり、所定の処理によって逐一計算されるべきものである。しかし、ここでは簡単のため、目的エリアと各マイクロホンアレイＭＡまでの距離は同一（α_１（ｎ）＝α_２（ｎ）＝１）とし（５）式、（６）式を（７）式、（８）式に代えて適用するものとして説明する。

その後、目的エリア音抽出部６は、以下の（９）式、（１０）式に従い、マイクロホンアレイＭＡ１、ＭＡ２のＢＦ出力から非目的エリア音をＳＳして目的エリア音を抽出する。ここでγ_１（ｎ）、γ_２（ｎ）は、ＳＳ時の強度を変更するための係数である。

混合レベル算出部７は、雑音抑圧部４で推定した推定雑音と、指向性形成部５で抽出した目的エリア方向以外の非目的エリア音と、目的エリア音抽出部６で抽出した目的エリア音方向の非目的エリア音のパワーを算出し、それらの合計値の大きさから、目的エリア音に混合する入力信号と背景雑音の総音量レベルを決定する。

ここでは、混合レベル算出部７は、（９）式に従いマイクロホンアレイＭＡ１を主としてエリア収音を行うものとする。この場合、混合レベル算出部７は、マイクロホンアレイＭＡ１の入力信号から推定した推定雑音Ｂ_１（ｎ）と、（３）式に従い抽出した目的エリア方向以外の非目的エリア音Ｍ_１（ｎ）と、（７）式に従い抽出した目的エリア方向の非目的エリア音Ｎ_１（ｎ）との合計がＡ_１（ｎ）であるとき、混合レベルをδ_１Ａ_１（ｎ）とする。ここでδ_１は、目的エリア音Ｚ_１（ｎ）とＡ_１（ｎ）のＳＮ比に比例する変数であり、例えばＳＮ比０ｄＢでＡ_１（ｎ）−２０ｄＢにする値とする。

混合レベル調節部８は、混合レベル算出部７により求めた混合レベルと、推定雑音と非目的エリア音のパワーの比から目的エリア音に混合する入力信号と推定雑音の音量レベル（混合比率）を調節する。ここでは、混合レベル調節部８は、（９）式に従いマイクロホンアレイＭＡ１を主としてエリア収音を行うものとする。このとき、混合する入力信号と推定雑音の比率を決める変数λ_１は、推定雑音Ｂ_１（ｎ）と非目的エリア音（Ｍ_１（ｎ）＋Ｎ_１（ｎ））のパワーの比（Ｍ_１（ｎ）＋Ｎ_１（ｎ））／Ｂ_１（ｎ）に反比例する。例えば、（Ｍ_１（ｎ）＋Ｎ_１（ｎ））／Ｂ_１（ｎ）＝０のとき、λ_１＝１とする。また、ここでは、λ_１の取る範囲は０から１までとする。さらに、ここでは、混合レベルδ_１Ａ_１（ｎ）を満たすための変数μ_１は、以下の（１１）式により算出される。ここでＸ_１１（ｎ）はマイクロホンアレイＭＡ１を形成するマイクロホンＭ１から取得した入力信号である。

信号混合部９は、目的エリア音抽出部６で抽出した目的エリア音に、信号入力部３で取得した入力信号と、雑音抑圧部４で推定した雑音とを混合レベル調節部８で算出した比率に基づき混合する。例えば、（９）式に従いマイクロホンアレイＭＡ１を主としてエリア収音を行う場合、最終的な出力Ｗ_１（ｎ）は以下の（１２）式に従い混合される。目的エリア音にミキシングするデータは、上記のように入力音と推定雑音を所定の割合で混合してもよいし、入力音のみ、もしくは推定雑音のみを混合してもよい。

収音装置１００では、信号混合部９から出力される音響信号（ミキシングによって聴感上の音質を改善された目的エリア強調音）が、人間が聴く音声（音声系システム向けの音響信号）としてスピーカ１１に供給される。一方、収音装置１００では、信号混合部９から出力される音響信号（妨害音や背景雑音が十分に抑圧された目的エリア音；音声認識システム向けの音響信号）が、音声認識部１０に供給される。

（Ａ−３）第１の実施形態の効果
第１の実施形態によれば、以下のような効果を奏することができる。

第１の実施形態の収音装置１００では、人が聴くことを前提とした通話系システム（この実施形態ではスピーカ１１）に対しては、エリア収音出力に入力信号と推定雑音を混合することによって、ミュージカルノイズがマスキングされた音響信号が出力されることになる。第１の実施形態の収音装置１００で生成される通話系システム向けの音響信号では、目的エリア音の歪が補正されて、強調感は維持されつつも聴き易さが改善された音声となる。言い換えると、第１の実施形態の収音装置１００で生成される通話系システム向けの音響信号は、背景雑音のレベルが大きい場合にエリア収音処理によって生じる異音や歪みをミキシングエリア収音機能によって軽減した高音質の目的音となる。

また、第１の実施形態の収音装置１００では、音声認識システム（この実施形態では、機械である音声認識部１０）に対しては、音声認識の妨げとなる妨害音や雑音が十分に抑圧された音響信号（目的エリアの音声が強調され、騒音下においても高い認識率が確保される音響信号）が出力されることになる。言い換えると、第１の実施形態の収音装置１００で生成される音声認識システム向けの音響信号は、音声認識性能を阻害する目的エリア外の雑音、妨害音を十分に抑圧した目的音強調信号となる。

したがって、第１の実施形態の収音装置１００では、通話系システムに対してはより音質改善が図られた音響信号を提供しつつ、音声認識システムに対してはより高い音声認識精度を実現可能な音響信号を提供することが同時に実現される。例えば、第１の実施形態の収音装置１００を、遠隔地の顧客の音声を収音して、センター（コールセンター）側のオペレータ及び顧客の音声を自動でテキスト化するシステムに出力する場合を想定する。この場合、第１の実施形態の収音装置１００は、遠隔地の顧客の音声をマイクロホンアレイＭＡ１、ＭＡ２で捕捉し、通話系システム向けの音響信号をセンターのオペレータに出力（スピーカ１１を用いて出力）しつつ、音声認識システム向けの音響信号を顧客の音声を自動でテキスト化するシステムに出力（音声認識部１０に出力）することになる。なお、音声認識部１０に対して、センター側のオペレータの音声を図示しないマイクで捕捉して入力するようにしてもよい。また、遠隔地の顧客に対しては、センター側のオペレータの音声を図示しないマイクで捕捉して、遠隔地の図示しないスピーカから出力するようにしてもよい。これにより、音声認識システム向けの音響信号の供給を受けた音声認識部１０では、より高い認識精度で、オペレータと顧客のやり取りを自動でテキスト化して保存するばかりでなく、認識結果に基いて迅速に顧客情報の引き出し、商品情報の自動検索などでサービスの向上が図れる。その間、オペレータは改善された音質で顧客との会話が可能であり、業務の負担が軽減される。

（Ｂ）第２の実施形態
以下、本発明による収音装置、プログラム及び方法の第２の実施形態を、図面を参照しながら詳述する。

（Ｂ−１）第２の実施形態の構成
図４は、第２の実施形態の収音装置１００Ａの全体構成について示したブロック図であり、上述の図１と同一部分又は対応部分には同一符号又は対応符号を付している。

以下では、第２の実施形態について第１の実施形態との差異を説明する。

一般に雑音抑圧処理において、雑音の抑圧量、音質はトレードオフの関係にある。すなわち、抑圧量を増やせば歪みは増えることになる。エリア収音は、目的エリアで発生する音だけを強調可能な優れた方式であるが、一般の雑音抑圧同様、強調効果を高めれば、それだけ歪みは増す。そこで、第１の実施形態では、音声認識システムに対しては抑圧効果の高いエリア収音処理結果を出力し、通話系のスピーカもしくは通信システムに対しては、高音質のミキシングエリア収音処理結果を出力する構成を示した。

ところで、近年の音声認識エンジンは、周囲雑音への耐性が高まり、ある程度の騒音環境でも認識性能を維持できるものが出現している。そのようなエンジンに対しては、抑圧量だけを最優先にすることは必ずしも得策とは言えない。

そこで、第２の実施形態の収音装置１００Ａにおいては、通話系システムと音声認識システムに対し、異なるミキシング量（混合レベル）を設定し、それぞれのシステムに対して最適なミキシングエリア収音出力を提供できる構成とする。

次に、第２の実施形態の収音装置１００Ａの内部構成について、第１の実施形態との差異を説明する。

第２の実施形態の収音装置１００Ａでは、混合レベル算出部７、混合レベル調節部８、及び信号混合部９が、それぞれ、混合レベル算出部７Ａ、混合レベル調節部８Ａ、及び信号混合部９Ａに置き換わっている点で第１の実施形態と異なっている。混合レベル算出部７Ａ、混合レベル調節部８Ａ、及び信号混合部９Ａの処理内容の詳細については後述する。

（Ｂ−２）第２の実施形態の動作
次に、以上のような構成を有する第２の実施形態における収音装置１００Ａの動作（実施形態に係る収音方法）について第１の実施形態との差異を説明する。

上述の通り、第２の実施形態の収音装置１００Ａにおいて、第１の実施形態と異なるのは、混合レベル算出部７Ａ、混合レベル調節部８Ａ、及び信号混合部９Ａであるため、以下では、これらの要素の処理を中心に説明する。

混合レベル算出部７Ａは、第１の実施形態と同様であるが、通話系システム向け（スピーカ１１向け）の混合レベル（以下、「Ｌ１」と表す）と、音声認識システム向け（音声認識部１０向け）の混合レベル（以下、「Ｌ２」と表す）の２種類の混合レベルを算出する点で第１の実施形態と異なっている。

混合レベル算出部７Ａは、スピーカ１１に対しては、第１の実施形態と同様に、推定雑音Ｂ_１（ｎ）と、目的エリア方向以外の非目的エリア音Ｍ_１（ｎ）と、目的エリア方向の非目的エリア音Ｎ_１（ｎ）との合計がＡ_１（ｎ）であるとき、混合レベルをδ_１Ａ_１（ｎ）とする。ここでδ_１は、目的エリア音Ｚ_１（ｎ）とＡ_１（ｎ）のＳＮ比に比例する変数であり、例えばＳＮ比０ｄＢでＡ_１（ｎ）−２０ｄＢにする値とする。

また、混合レベル算出部７Ａは、音声認識部１０に対しては、スピーカ１１に比べて抑圧量を重視しつつ歪も抑えた音響信号を供給する。例えば、混合レベル算出部７Ａは、音声認識部１０に対しては、δ_２として、ＳＮ比０ｄＢでＡ_１（ｎ）を−２５ｄＢにする値を設定するようにしてもよい。

混合レベル調節部８Ａは、通話系システムに供給する音響信号に対しては混合レベルＬ１を用いて、目的エリア音に混合する入力信号と推定雑音の音量レベル（混合比率；以下、「Ｒ１」と呼ぶ）を決定する。また、混合レベル調節部８Ａは、音声認識システムに供給する音響信号に対しては混合レベルＬ２を用いて、目的エリア音に混合する入力信号と推定雑音の音量レベル（混合比率；以下、「Ｒ２」と呼ぶ）を決定する。

信号混合部９Ａは、混合レベル調節部８Ａで算出した通話系システム向けの混合比率Ｒ１に基づいて混合した混合音と、音声認識システム向けの混合比率Ｒ２に基づいて混合した混合音を生成し、それぞれの混合音を対応するシステムに供給する点で第１の実施形態と異なっている。具体的には、信号混合部９Ａは、目的エリア音抽出部６Ａで抽出した目的エリア音に、信号入力部３で取得した入力信号と、雑音抑圧部４で推定した雑音とを、音声系システム向けの混合比率Ｒ１に基づいて混合した混合音をスピーカ１１に供給する。また、信号混合部９Ａは、目的エリア音抽出部６Ａで抽出した目的エリア音に、信号入力部３で取得した入力信号と、雑音抑圧部４で推定した雑音とを、音声認識システム向けの混合比率Ｒ２に基づいて混合した混合音を音声認識部１０に供給する。

（Ｂ−３）第２の実施形態の効果
第２の実施形態によれば、第１の実施形態の効果に加えて、以下のような効果を奏することができる。

第２の実施形態の収音装置１００Ａでは、通話系システム向けと音声認識システム向けに異なるミキシング量（混合比率）を設定できるため、それぞれのシステムに適したミキシング量の音響信号（収音結果）を生成して供給することが出来る。言い換えると、第２の実施形態の収音装置１００Ａでは、耐雑音性が向上した最近の音声認識システムに対しても、雑音抑圧量と音質をシステムに適合した最もよい入力状態で与えることが出来る。

（Ｃ）第３の実施形態
以下、本発明による収音装置、プログラム及び方法の第３の実施形態を、図面を参照しながら詳述する。

（Ｃ−１）第３の実施形態の構成
図５は、第３の実施形態の収音装置１００Ｂの全体構成について示したブロック図であり、上述の図４と同一部分又は対応部分には同一符号又は対応符号を付している。

以下では、第３の実施形態について第２の実施形態との差異を説明する。

雑音抑圧などの処理過程で発生するミュージカルノイズは、人工的な雑音であり、人間にとっては耳障りな音であるが、音声認識に対しての影響はさほど大きくないという特性がある。推定雑音をエリア収音出力に混合することはミュージカルノイズの軽減に効果があるが、音声認識システムにおける音声認識精度の向上には必ずしも有効とは限らない。

そこで、第３の実施形態の収音装置１００Ｂでは、スピーカ１１等の通話系システムに対しては、音質改善のため目的エリア音に入力信号と推定雑音の双方を混合し、音声認識部１０等の音声認識システムに対しては、目的音声の歪低減に有効な入力信号のみを混合する構成とする。

次に、第３の実施形態の収音装置１００Ａの内部構成について、第２の実施形態との差異を説明する。

収音装置１００Ｂでは、混合レベル算出部７Ａ、混合レベル調節部８Ａ、及び信号混合部９Ａが除外され、代わりに２つの信号混合部９１、９２が配置されている。第１の信号混合部９１は、音声系システム向けの混合音を生成する機能を担っており、第２の信号混合部９２は音声認識システム向けの混合音を生成する機能を担っている。

（Ｃ−２）第３の実施形態の動作
次に、以上のような構成を有する第１の実施形態の収音装置１００Ｂの動作を説明する。以下では、第３の実施形態の収音装置１００Ｂについて、第２の実施形態との差異を中心に説明する。

マイクロホンアレイＭＡ１ＭＡ２から、目的エリア音抽出部６までの処理は、第１の実施形態や、第２の実施形態と同様である。

また、第の実施形態では、信号混合部９１と信号混合部９２の２つの信号混合部を備えており、それぞれの信号混合部での混合レベル（混合比率）は、第１の実施形態や第２の実施形態同様の手順によって好適に算出されるものとする。すなわち、図５では、図示を簡単とするために、それぞれの信号混合部で、混合レベル（混合比率）の算出処理等が行われるものとして説明する。

第３の実施形態の収音装置１００Ｂでは、図５に示す通り、目的エリア音抽出部６に後続して、通話系システム向けの信号混合部９１と、音声認識システム用の信号混合部９２を備える。

目的エリア音抽出部６で抽出された目的エリア音は、信号混合部９１において信号入力部３からの入力信号と、雑音抑圧部４で算出される推定雑音が好適な混合レベルで混合され、通話系システム（スピーカ１１）へと送出される。例えば、信号混合部９１では、第１の実施形態もしくは第２の実施形態における、音声系システム向けの混合音の生成処理と同様の処理（混合レベル算出部、混合レベル調節部、及び信号混合部と同様の処理）が行われる。そして、信号混合部９１で生成された音声系システム向けの混合音は、スピーカ１１に供給される。

また、目的エリア音抽出部６で抽出された目的エリア音は、もう一方の信号混合部９２において、信号入力部３からの入力信号と好適な混合レベルで混合され、音声認識システムへと送出される。このとき、上述の通り、信号混合部９２で生成される混合音には、雑音抑圧部４で算出される推定雑音の成分は混合されない。すなわち、信号混合部９２は、目的エリア音抽出部６で抽出された目的エリア音と、信号入力部３からの入力信号とを混合した混合音を音声認識システム向けに生成し、音声認識部１０に供給する。

信号混合部９２において、目的エリア音と入力信号とを混合する際の混合レベルについては、例えば、第２の実施形態における音声認識システム向けの混合レベルと同様の処理により算出するようにしてもよい。また、信号混合部９２は、上記の（１１）式、（１２）式において、λ_１＝１とすることで、目的エリア音に混合する推定雑音の比率を０とし、入力信号の成分のみが混合されるように混合比率を調整するようにしてもよい。

（Ｃ−３）第３の実施形態の効果
第３の実施形態によれば、第１の実施形態の効果に加えて以下のような効果を奏することができる。

第３の実施形態の収音装置１００Ｂでは、人が聴くことを前提とした通話系システムに対しては、エリア収音出力に入力信号と推定雑音を混合することによって、ミュージカルノイズがマスキングされた音響信号（混合音）が出力される。これにより、第３の実施形態の収音装置１００Ｂでは、通話系システム向けの音響信号として、目的エリア音の歪が補正されて、強調感は維持されつつも聴き易さが改善された音声が提供される。また、第３の実施形態の収音装置１００Ｂでは、音声認識システムに対しては、音声歪の低減に有効な入力信号だけが混合された音響信号が生成されるため、出力先の音声認識システムにおける音声認識の精度向上に寄与することができる。

（Ｄ）他の実施形態
本発明は、上記の各実施形態に限定されるものではなく、以下に例示するような変形実施形態も挙げることができる。

（Ｄ−１）上記の各実施形態の収音装置では、収音に用いる各マイクロホンアレイＭＡのマイクロホンの数は２つであったが、３つ以上のマイクを用いて収音した音響信号に基づいて目的エリア方向の音を収音するようにしてもよい。上記の各実施形態において、適用するマイクロホンアレイＭＡ毎のマイクロホンの数や目的音方向の音を収音する方式については、既存の種々の方式を適用することができる。

１００…収音装置、３…信号入力部、４…雑音抑圧部、５…指向性形成部、６…目的エリア音抽出部、７…混合レベル算出部、８…混合レベル調節部、９…信号混合部、
２００…減算型ＢＦ、２１０…遅延器、２２０…減算器。

Claims (4)

1. マイクロホンアレイを用いて収音した収音信号を複数の出力先に出力する収音装置において、
   マイクロホンアレイから入力された入力信号に含まれる背景雑音を推定して推定雑音として取得し、取得した前記推定雑音を用いて、前記入力信号の雑音成分を抑圧して雑音抑圧後信号を取得する雑音抑圧手段と、
   前記雑音抑圧後信号について、目的エリア方向以外の方向に指向性を形成した第１の非目的エリア音と、目的エリア方向に指向性を形成した目的エリア方向音とを取得する指向性形成手段と、
   前記目的エリア方向音を用いて目的エリア方向からの第２の非目的エリア音を抽出し、さらに、前記第２の非目的エリア音と前記目的エリア方向音とを用いて、目的エリアを音源とする目的エリア音を取得する目的エリア音抽出部と、
   それぞれの前記出力先に、少なくとも前記目的エリア音の成分を含む音響信号を前記収音信号として出力するものであって、前記出力先の特性に応じて、前記目的エリア音に、少なくとも前記入力信号の成分及び又は前記推定雑音の成分を含む混合音を混合した混合後目的エリア音を生成して前記収音信号として出力することが可能である出力手段とを有し、
   前記出力手段は、通話系システムの前記出力先には前記混合音として、前記入力信号の成分及び前記推定雑音の成分を含む音を設定し、音声認識システムの前記出力先には前記混合音を含まない音響信号を前記収音信号として出力する
   ことを特徴とする収音装置。
2. 前記出力手段は、前記出力先の特性に応じて、前記混合音の音量レベルを調整することを特徴とする請求項１に記載の収音装置。
3. マイクロホンアレイを用いて収音した収音信号を複数の出力先に出力する収音装置に搭載されたコンピュータを、
   マイクロホンアレイから入力された入力信号に含まれる背景雑音を推定して推定雑音として取得し、取得した前記推定雑音を用いて、前記入力信号の雑音成分を抑圧して雑音抑圧後信号を取得する雑音抑圧手段と、
   前記雑音抑圧後信号について、目的エリア方向以外の方向に指向性を形成した第１の非目的エリア音と、目的エリア方向に指向性を形成した目的エリア方向音とを取得する指向性形成手段と、
   前記目的エリア方向音を用いて目的エリア方向からの第２の非目的エリア音を抽出し、さらに、前記第２の非目的エリア音と前記目的エリア方向音とを用いて、目的エリアを音源とする目的エリア音を取得する目的エリア音抽出部と、
   それぞれの前記出力先に、少なくとも前記目的エリア音の成分を含む音響信号を前記収音信号として出力するものであって、前記出力先の特性に応じて、前記目的エリア音に、少なくとも前記入力信号の成分及び又は前記推定雑音の成分を含む混合音を混合した混合後目的エリア音を生成して前記収音信号として出力することが可能である出力手段として機能させ、
   前記出力手段は、通話系システムの前記出力先には前記混合音として、前記入力信号の成分及び前記推定雑音の成分を含む音を設定し、音声認識システムの前記出力先には前記混合音を含まない音響信号を前記収音信号として出力する
   ことを特徴とする収音プログラム。
4. マイクロホンアレイを用いて収音した収音信号を複数の出力先に出力する収音装置が行う収音方法において、
   前記収音装置は、雑音抑圧手段、指向性形成手段、目的エリア音抽出部、及び出力手段を有し、
   前記雑音抑圧手段は、マイクロホンアレイから入力された入力信号に含まれる背景雑音を推定して推定雑音として取得し、取得した前記推定雑音を用いて、前記入力信号の雑音成分を抑圧して雑音抑圧後信号を取得し、
   前記指向性形成手段は、前記雑音抑圧後信号について、目的エリア方向以外の方向に指向性を形成した第１の非目的エリア音と、目的エリア方向に指向性を形成した目的エリア方向音とを取得し、
   前記目的エリア音抽出部は、前記目的エリア方向音を用いて目的エリア方向からの第２の非目的エリア音を抽出し、さらに、前記第２の非目的エリア音と前記目的エリア方向音とを用いて、目的エリアを音源とする目的エリア音を取得し、
   前記出力手段は、それぞれの前記出力先に、少なくとも前記目的エリア音の成分を含む音響信号を前記収音信号として出力するものであって、前記出力先の特性に応じて、前記目的エリア音に、少なくとも前記入力信号の成分及び又は前記推定雑音の成分を含む混合音を混合した混合後目的エリア音を生成して前記収音信号として出力することが可能であり、
   前記出力手段は、通話系システムの前記出力先には前記混合音として、前記入力信号の成分及び前記推定雑音の成分を含む音を設定し、音声認識システムの前記出力先には前記混合音を含まない音響信号を前記収音信号として出力する
   ことを特徴とする収音方法。
   

Images