JP6635394B1 - 音声処理装置および音声処理方法 - Google Patents

Abstract

【課題】マイクにより収音された話者本人の発する音声の音質の劣化を抑制する。【解決手段】音声処理装置は、ｎ人の人物のそれぞれに対応して配置され、それぞれの対応する人物の発する音声信号を主に収音するｎ個のマイクと、ｎ個のマイクのそれぞれにより収音された音声信号を用いて、少なくとも１人の話者に対応するマイクにより収音された話者音声信号に含まれるクロストーク成分を抑圧するフィルタと、少なくとも１人の話者が発話する時を含む所定の条件を満たす場合に、クロストーク成分を抑圧するためのフィルタのパラメータを更新し、その更新結果をメモリに保持するパラメータ更新部と、話者音声信号から、更新結果に基づいてフィルタにより抑圧されたクロストーク成分を減算した音声信号をスピーカから出力する音声出力制御部と、を備える。【選択図】図２

Description

本開示は、音声処理装置および音声処理方法に関する。

例えばミニバン、ワゴン車、ワンボックスカー等、車体の前後方向に複数（例えば２列以上）の座席（シート）が配置された比較的大きな車両において、運転席に座る運転者と後部座席に座る乗員（例えば運転者の家族あるいは友人）との間で会話をしたり、後部座席までカーオーディオの音楽を流したりして、それぞれの席に設置されたマイクとスピーカを用いて音声を乗員または車載機器の間で伝達したり入出力したりする音声技術を搭載することが検討されている。

また、車両も通信インターフェースを有するものが近年多く登場するようになった。通信インターフェースは、無線通信の機能を有し、例えば携帯電話網（セルラー網）、無線ＬＡＮ（Local Area Network）等により構築され、車両内においてもネットワーク環境が整備されるようになった。運転者等はこのような通信インターフェースを介してインターネット回線上の例えばクラウドコンピューティングシステム（以下、単に「クラウド」とも称する）にアクセスして運転中に種々のサービスを受けることが可能になった。

ここで、家庭用機器等においてクラウドを用いる音声技術の１つとして自動音声認識システムの開発が加速している。この自動音声認識システムは、クラウド上のサービスを受けるためのヒューマン・マシン・インターフェースとして普及しつつある。自動音声認識システムは、人間が発声した音声をテキストデータに変換等してコンピュータ等の制御装置にその音声の内容を認識されるものである。自動音声認識システムは、人間の手指を用いるキーボード入力に代わるインターフェースであり、より人間に近い操作でコンピュータ等に指示可能である。特に、車両では運転者の手指は従来のドライバー主体の運転走行中または例えば自動運転レベル３の自動運転中のハンドル操作に取られるため、車両に対する自動音声認識の音声技術導入には必然的な動機がある。

なお、自動運転のレベルは、ＮＨＴＳＡ（National Highway Traffic Safety Administration）によれば運転自動化なし（レベル０）、運転者支援(レベル１)、部分的運転自動化（レベル２）、条件付運転自動化（レベル３）、高度運転自動化（レベル４）、および完全自動運転化（レベル５）に分類されている。レベル３では、自動運転システムが運転を主導しつつ、必要に応じて人間による運転が要請される。自動運転システムのレベル３は近年、実用化されつつある。

自動音声認識の音声技術に関する従来技術として、発声されたオーディオデータ（音声信号）がホットワードに対応するかどうかを判定し、ホットワードに対応すると判定されたオーディオデータのホットワードオーディオフィンガープリントを生成し、このホットワードオーディオフィンガープリントが以前に記憶されたホットワードオーディオフィンガープリントと一致した時に、発声されたコンピュータデバイスへのアクセスを無効化する技術が知られる（例えば、特許文献１参照）。

特開２０１７−７６１１７号公報

しかし、特許文献１の構成では、車体内のそれぞれの座席に対応して異なるマイクが配置される場合、それぞれの話者の口元から一定距離ほど離れた位置に配置されたその話者用のマイクには周囲の他の乗員が発する声も音声として収音されてしまう可能性があった。この他の乗員が発する声はいわゆるクロストーク成分であり、その話者用のマイクが本来収音する音声の音質を劣化させる可能性が高い余分な音声信号である。従って、クロストーク成分によってそれぞれの話者用マイクが収音する音声の音質が劣化し、話者の発する音声の認識性能が悪化することが懸念される。

本開示は、上述した従来の状況に鑑みて案出され、それぞれの人物に対応して異なるマイクが配置された環境下で、周囲の他の人物の発する音声に基づくクロストーク成分の影響を緩和し、対応するマイクにより収音された話者本人の発する音声の音質の劣化を抑制する音声処理装置および音声処理方法を提供することを目的とする。

本開示は、一つの閉空間においてｎ（ｎ：２以上の整数）人の人物のそれぞれに対応して配置されるｎ個のマイクにより収音された各話者音声信号に含まれる、他の話者の発話によるクロストーク成分をそれぞれ抑圧するフィルタと、前記クロストーク成分を抑圧するための前記フィルタのパラメータを更新し、その更新結果をメモリに保持するパラメータ更新部と、を少なくとも有する音声出力制御部と、ｎ個の前記マイクのそれぞれにより収音された各前記話者音声信号を用いて、ｎ個の前記マイクが対応するそれぞれの前記人物の、前記閉空間における発話状況を検出する話者状況検出部と、を備え、前記パラメータ更新部は、前記話者状況検出部により、少なくとも１人の話者が発話する時を含む所定の条件を満たすと判定された場合に、前記クロストーク成分を抑圧するための前記フィルタのパラメータを更新し、その更新結果をメモリに保持し、前記音声出力制御部は、ｎ個の前記マイクにより収音された各前記話者音声信号が入力され、入力された前記話者音声信号のそれぞれについて、前記話者音声信号の前記クロストーク成分を前記フィルタにより抑圧した音声信号か、入力された前記話者音声信号そのもののいずれかを、前記話者状況検出部により検出された前記閉空間における発話状況に基づいてそれぞれ出力する、音声処理装置を提供する。

また、本開示は、一つの閉空間においてｎ（ｎ：２以上の整数）人の人物のそれぞれに対応して配置されるｎ個のマイクにより収音された各話者音声信号に含まれる、他の話者の発話によるクロストーク成分をそれぞれ抑圧するステップと、ｎ個の前記マイクのそれぞれにより収音された各前記話者音声信号を用いて、ｎ個の前記マイクが対応するそれぞれの前記人物の、前記閉空間における発話状況を検出するステップと、少なくとも１人の話者が発話する時を含む所定の条件を満たすと判定された場合に、前記クロストーク成分を抑圧するためのフィルタのパラメータを更新し、その更新結果をメモリに保持するステップと、入力された前記話者音声信号のそれぞれについて、前記話者音声信号の前記クロストーク成分を前記フィルタにより抑圧した音声信号か、入力された前記話者音声信号そのもののいずれかを、検出された前記閉空間における発話状況に基づいてそれぞれ出力するステップと、を有する、音声処理方法を提供する。

本開示によれば、それぞれの人物に対応して異なるマイクが配置された環境下で、周囲の他の人物の発する音声に基づくクロストーク成分の影響を緩和でき、対応するマイクにより収音された話者本人の発する音声の音質の劣化を抑制できる。

実施の形態１に係る音声処理システムが搭載された車両の内部を示す平面図 音声処理システムの内部構成例を示すブロック図 音声処理部の内部構成例を示す図 発話状況に対応する適応フィルタの学習タイミング例を説明する図 音声処理装置の動作概要例を示す図 シングルトーク区間の検出動作の概要例を示す図 音声処理装置による音声抑圧処理の動作手順例を示すフローチャート 実施の形態１に係る設定テーブルの登録内容の一例を示す図 クロストーク抑圧量に対する音声の認識率および誤報率の一例を示すグラフ 実施の形態１の変形例に係る設定テーブルの登録内容の一例を示す図 実施の形態２に係る発話状況に対応する適応フィルタの学習タイミング例を説明する図 実施の形態２に係る設定テーブルの登録内容の一例を示す図

（実施の形態の内容に至る経緯）
車室内での会話を効果的に支援するために、例えば高級車では、それぞれの乗員が座る各シートにマイクが配置されている。高級車に搭載された音声処理装置は、各マイクで収音される音声を用いて音声の指向性を形成することで、マイクと向き合う乗員である話者（本来話したい話者）が発話した音声を強調する。これにより、車室内における音声のマイクへの伝達特性が理想的な環境である場合には、聞き手（つまり聴取者）は、話者が発話した音声を聞き取り易くなる。しかし、車室内は狭空間であるので、マイクは、反射した音の影響を受け易い。また、移動する車両の車室内の僅かな環境変化により、音声の伝達特性が現実的には理想的な環境から多少なりとも変化する。このため、マイクで収音される発話の音声信号に含まれる、上述した本来話したい話者でない他の話者が発話した音声によるクロストーク成分を十分に抑圧することができず、上述した本来話したい話者の発話した音声の音質が劣化することがあった。また、音声の指向性を形成するために用いられるマイクは、高価であった。

そこで、以下の実施の形態では、安価なマイクを使用して本来話したい話者でない他の話者の発話に基づくクロストーク成分を十分に抑圧できる音声処理装置および音声処理方法の例を説明する。

以下、適宜図面を参照しながら、本開示に係る音声処理装置および音声処理方法の構成および作用を具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

（実施の形態１）
図１は、実施の形態１に係る音声処理システム５が搭載された車両１００の内部を示す平面図である。音声処理システム５は、運転席に座る運転者、中央座席、後部座席のそれぞれに座る乗員同士が円滑に会話できるように、車載のマイクで音声を収音して車載のスピーカから音声を出力する。以下の説明において、乗員には、運転者（ドライバー）も含まれてよい。

一例として、車両１００は、ミニバンである。車両１００の車室内には、前後方向（言い換えると、車両１００の直進方向）に３列の座席１０１，１０２，１０３が配置される。ここでは、各座席１０１，１０２，１０３に２人の乗員、計６人の運転者を含む乗員が乗車している。車室内のインストルメントパネル１０４の前面には、運転者である乗員ｈ１が発話する音声を主に収音するマイクｍｃ１と、助手席に座る乗員ｈ２が発話する音声を主に収音するマイクｍｃ２とが配置される。また、座席１０１の背もたれ部（ヘッドレストを含む）には、乗員ｈ３，ｈ４が発話する音声をそれぞれ主に収音するマイクｍｃ３，ｍｃ４が配置される。また、座席１０２の背もたれ部（ヘッドレストを含む）には、乗員ｈ５，ｈ６が発話する音声をそれぞれ主に収音するマイクｍｃ５，ｍｃ６が配置される。また、車両１００の車室内のマイクｍｃ１，ｍｃ２，ｍｃ３，ｍｃ４，ｍｃ５，ｍｃ６のそれぞれの近傍に、それぞれのマイクとペアを構成するようにスピーカｓｐ１，ｓｐ２，ｓｐ３，ｓｐ４，ｓｐ５，ｓｐ６がそれぞれ配置されている。インストルメントパネル１０４の内部には、ｎ（ｎ：２以上の整数）人の人物（乗員）のそれぞれに対応して音声処理装置１０が配置される。なお、音声処理装置１０の配置箇所は、図１に示す位置（つまりインストルメントパネル１０４の内部）に限定されない。

以下の実施の形態では、狭い車室内等の狭空間で話者（例えば運転者あるいは運転者以外の乗員）が発話する音声をその話者の前に配置された各乗員専用のマイクで収音し、この音声に対して音声認識を行う例を想定する。各乗員専用のマイクには、話者の口元から遠い位置にいる他の乗員が発する声や周囲の騒音等の音も収音される。この音は、話者が発話する音声に対してその音声の音質を劣化させるクロストーク成分となる。クロストーク成分がある場合、マイクで収音される音声の品質（音質）が劣化し、音声認識の性能が低下する。音声処理システム５は、話者に対応するマイクで収音される音声信号に含まれるクロストーク成分を抑圧することで、話者が発話した音声の品質を向上させ、音声認識性能を向上させる。

次に、実施の形態１に係る音声処理システム５の内部構成について、図２を参照して説明する。なお、以下の説明を分かり易くするため、車両１００内に２人の人物（例えば運転者、助手席の乗員）が乗車しているユースケースを例示し、車両１００内に配置されるマイクの数は２つとして説明するが、図１に示すように、配置されるマイクの数は２つに限定されず、３つ以上であってよい。図２は、音声処理システム５の内部構成例を示すブロック図である。音声処理システム５は、２つのマイクｍｃ１，ｍｃ２と、音声処理装置１０と、メモリＭ１と、音声認識エンジン３０とを含む構成である。なお、メモリＭ１は、音声処理装置１０内に設けられてもよい。

マイクｍｃ１は、運転席の前のインストルメントパネル１０４に配置され、運転者である乗員ｈ１が発話する音声を主に収音する運転者の専用のマイクである。マイクｍｃ１により収音された運転者である乗員ｈ１の発話に基づく音声信号は、話者音声信号と言うことができる。

マイクｍｃ２は、助手席の前のインストルメントパネル１０４に配置され、助手席の乗員ｈ２が発話する音声を主に収音する助手席の乗員の専用のマイクである。マイクｍｃ２により収音された乗員ｈ２の発話に基づく音声信号は、話者音声信号と言うことができる。

マイクｍｃ１，ｍｃ２は、指向性マイク、無指向性マイクのいずれでもよい。なお、ここでは、図２に示す２つのマイクの一例として、運転者のマイクｍｃ１と助手席の乗員のマイクｍｃ２を示すが、中央座席の乗員の専用のマイクｍｃ３，ｍｃ４、あるいは後部座席の乗員の専用のマイクｍｃ５，ｍｃ６が用いられてもよい。

音声処理装置１０は、マイクｍｃ１，ｍｃ２で収音された音声に含まれるクロストーク成分を抑圧して音声を出力する。音声処理装置１０は、例えばＤＳＰ（Digital Signal Processor）等のプロセッサおよびメモリを含む構成である。音声処理装置１０は、プロセッサの実行により実現される機能として、帯域分割部１１、音声処理部１２、話者状況検出部１３、および帯域合成部１４を有する。

帯域分割部１１は、既定の所定の帯域ごとに音声信号を分割する。本実施の形態では、例えば０〜５００Ｈｚ，５００Ｈｚ〜１ｋＨｚ，１ｋＨｚ〜１．５ｋＨｚ…と、５００Ｈｚごとの帯域に音声信号を分割する。車室内のような狭空間の場合、車室内の天井面あるいは側面からの音の反射によって、マイクで収音される音声にクロストークが生じ易く、音声処理装置１０が音声処理を行う際、その影響を受け易くなる。例えば、話者が発した音声のうち、特定の帯域が強調された音が、２つのマイクのうち、話者とは別のマイクに収音されることがある。この場合、帯域分割しないで、２つのマイクの音圧を比較しても、音圧差が生じず、別のマイクの音を抑制する処理を施すことができない。しかし、帯域分割部１１が帯域分割を行うことで、特定の帯域が強調された音以外の部分では、音圧差が生じる。これにより、音声処理部１２は、別のマイクの音を抑制する処理を施すことができる。

音声処理部１２は、話者の専用のマイクに話者以外の音（例えば他の話者が発した音声）がクロストーク成分として入力される場合、クロストーク成分の低減処理を行って話者以外の音声を抑圧するための適応フィルタ２０（図３参照）を有する。音声処理部１２は、例えば実質的に１人の話者による発話（以下、「シングルトーク」と称する）を検出した場合、クロストーク成分となる音声を低減するように適応フィルタ２０を学習し、その学習結果として適応フィルタ２０のフィルタ係数を更新する。適応フィルタ２０は、上述した特許文献１あるいは特開２００７−１９５９５号公報等に記載されるように、ＦＩＲ（Finite Impulse Response）フィルタのタップ数あるいはタップ係数を制御することで、フィルタ特性を可変できる。

シングルトーク検出部の一例としての話者状況検出部１３は、車室内の運転者あるいは乗員が発話している話者状況（例えば上述したシングルトークの区間）を検出する。話者状況検出部１３は、話者状況（例えばシングルトーク区間）の検出結果を音声処理部１２に通知する。なお、話者状況は、シングルトーク区間に限定されず、誰も発話していない無発話区間も含まれてよい。また、話者状況検出部１３は、２人の話者が同時に発話している区間（ダブルトーク区間）を検出してもよい。

帯域合成部１４は、音声処理部１２によってクロストーク成分が抑圧された分割された各音域の音声信号を合成することで、クロストーク成分抑圧後の音声信号を合成する。帯域合成部１４は、合成した音声信号を音声認識エンジン３０に出力する。

メモリＭ１は、例えばＲＡＭ（Random Access Memory）とＲＯＭ（Read Only Memory）とを含み、音声処理装置１０の動作の実行に必要なプログラム、動作中に音声処理装置１０のプロセッサにより生成されたデータあるいは情報を一時的に格納する。ＲＡＭは、例えば音声処理装置１０のプロセッサの動作時に使用されるワークメモリである。ＲＯＭは、例えば音声処理装置１０のプロセッサを制御するためのプログラムおよびデータを予め記憶する。また、メモリＭ１は、車両１００に配置されたそれぞれのマイク（言い換えると、そのマイクと対応付けて音声信号が主に収音される人物）に対応付けられた適応フィルタ２０のフィルタ係数を保存する。マイクと対応付けて音声信号が主に収音される人物は、例えばそのマイクと対面するシートに座る乗員である。

音声認識エンジン３０は、マイクｍｃ１，ｍｃ２で収音され、音声処理部１２によってクロストーク成分の抑圧処理が施された音声を認識し、この音声認識結果を出力する。音声認識エンジン３０にスピーカｓｐ１，ｓｐ２，ｓｐ３，ｓｐ４，ｓｐ５，ｓｐ６が接続されている場合、スピーカｓｐ１，ｓｐ２，ｓｐ３，ｓｐ４，ｓｐ５，ｓｐ６のうちいずれかは、音声認識エンジン３０による音声認識結果として、音声認識された音声を出力する。例えば、マイクｍｃ１において主に収音されたドライバーの発話による音声に対応する音声認識結果は、音声認識エンジン３０を介してスピーカｓｐ１から出力される。なお、スピーカｓｐ１，ｓｐ２，ｓｐ３，ｓｐ４，ｓｐ５，ｓｐ６のそれぞれは、指向性スピーカ、無指向性スピーカのいずれでもよい。また、音声認識エンジン３０の出力は、車室を含めて行われるＴＶ会議システム、車内会話支援、車載ＴＶの字幕（テロップ）等に用いられてもよい。また、音声認識エンジン３０は、車載装置であってもよいし、音声処理装置１０から広域ネットワーク（図示略）を介して接続されたクラウドサーバ（図示略）であってもよい。

図３は、音声処理部１２の内部構成例を示す図である。音声処理部１２は、話者状況検出部１３によって検出された話者状況の検出結果として例えばシングルトーク区間が検出された場合、そのシングルトーク区間において、適応フィルタ２０のフィルタ係数を学習する。また、音声出力制御部の一例としての音声処理部１２は、例えばマイクｍｃ１で収音される音声信号に含まれるクロストーク成分を抑圧して出力する。

なお、図３では、音声処理部１２の内部構成例を分かり易く説明するために、マイクｍｃ１で収音される音声信号に含まれるクロストーク成分を抑圧する時の構成を例示している。つまり、加算器２６の一方の入力側には、マイクｍｃ１で収音された音声信号がそのまま入力され、加算器２６の他方の入力側には、マイクｍｃ２で収音された音声信号が可変増幅器２２および適応フィルタ２０によって処理された後の音声信号がクロストーク成分として入力されている。しかし、マイクｍｃ２で収音される音声信号に含まれるクロストーク成分を抑圧する時には、加算器２６には次の音声信号がそれぞれ入力される。具体的には、加算器２６の一方の入力側には、マイクｍｃ２で収音された音声信号がそのまま入力され、加算器２６の他方の入力側には、マイクｍｃ１で収音された音声信号が可変増幅器２２および適応フィルタ２０によって処理された後の音声信号がクロストーク成分として入力される。

音声処理部１２は、適応フィルタ２０と、可変増幅器２２と、ノルム算出部２３と、１／Ｘ部２４と、フィルタ係数更新処理部２５と、加算器２６とを含む。

ノルム算出部２３は、マイクｍｃ２からの音声信号の大きさを示すノルム値を算出する。

１／Ｘ部２４は、ノルム算出部２３により算出されたノルム値の逆数を掛けて正規化し、フィルタ係数更新処理部２５に正規化されたノルム値を出力する。

パラメータ更新部の一例としてのフィルタ係数更新処理部２５は、話者状況の検出結果と、正規化されたノルム値と、マイクｍｃ２の音声信号と、加算器２６の出力とを基に、適応フィルタ２０のフィルタ係数を更新し、更新したフィルタ係数（パラメータの一例）をメモリＭ１に上書きで記憶するとともに適応フィルタ２０に設定する。例えば、フィルタ係数更新処理部２５は、シングルトークが検出された区間において、正規化されたノルム値と、マイクｍｃ２の音声信号と、加算器２６の出力とを基に、適応フィルタ２０のフィルタ係数（パラメータの一例）を更新する。

可変増幅器２２は、ノルム算出部２３により算出されたノルム値に応じて、マイクｍｃ２の音声信号を増幅する。

フィルタの一例としての適応フィルタ２０は、タップを含むＦＩＲフィルタであり、更新後のパラメータの一例としてのフィルタ係数（タップ係数）に従って、可変増幅器２２により増幅されたマイクｍｃ２の音声信号を抑圧する。

加算器２６は、マイクｍｃ１の音声信号に、適応フィルタ２０で抑圧されたマイクｍｃ２の音声信号を加算して出力する。加算器２６での処理の詳細については、数式を参照して後述する。

図４は、発話状況に対応する適応フィルタ２０の学習タイミング例を説明する図である。話者状況検出部１３は、シングルトーク区間を正確に判定し、かつ乗員ｈ１と乗員ｈ２のどちらが発話しているかを検出する。

話者である乗員ｈ１の１人だけが発話しているシングルトーク区間の［状況１］では、音声処理部１２は、乗員ｈ２の専用のマイクｍｃ２に対する適応フィルタ２０のフィルタ係数を学習する。

また、話者である乗員ｈ２の１人だけが発話しているシングルトーク区間の［状況２］では、音声処理部１２は、乗員ｈ１の専用のマイクｍｃ１に対する適応フィルタ２０のフィルタ係数を学習する。

また、話者である乗員ｈ１，ｈ２の２人が同時に発話している［状況３］では、音声処理部１２は、話者である乗員ｈ１の専用のマイクｍｃ１に対する適応フィルタ２０のフィルタ係数、および話者である乗員ｈ２の専用のマイクｍｃ２に対する適応フィルタ２０のフィルタ係数をいずれも学習しない。

また、乗員ｈ１，ｈ２の２人がともに発話していない［状況４］においても、音声処理部１２は、乗員ｈ１の専用のマイクｍｃ１に対する適応フィルタ２０のフィルタ係数、および乗員ｈ２の専用のマイクｍｃ２に対する適応フィルタ２０のフィルタ係数のいずれも学習しない。

次に、実施の形態１に係る音声処理システム５の動作を示す。

図５は、音声処理装置１０の動作概要例を示す図である。マイクｍｃ１，ｍｃ２で収音される音声の音声信号は、音声処理装置１０に入力される。帯域分割部１１は、マイクｍｃ１，ｍｃ２で収音される音声に対して帯域分割を行う。この帯域分割では、音声信号は、例えば５００Ｈｚ帯域ごとに可聴周波数域（３０Ｈｚ〜２３ｋＨｚ）の音域内で分割される。具体的には、音声信号は、０〜５００Ｈｚの帯域の音声信号、５００Ｈｚ〜１ｋＨｚの音声信号、１ｋＨｚ〜１．５ｋＨｚの音声信号、…に分割される。話者状況検出部１３は、分割された帯域ごとにシングルトーク区間の有無を検出する。音声処理部１２は、この検出されたシングルトーク区間において、例えば話者以外の乗員に専用のマイクにより収音される音声信号に含まれるクロストーク成分を抑圧するための適応フィルタ２０のフィルタ係数を更新し、その更新結果をメモリＭ１に記憶する。音声処理部１２は、メモリＭ１に記憶された最新のフィルタ係数が設定された適応フィルタ２０を用いて、マイクｍｃ１，ｍｃ２で収音される音声信号に含まれる、クロストーク成分（言い換えると、他者成分）を抑圧し、抑圧後の音声信号を出力する。帯域合成部１４は、帯域ごとに抑圧された音声信号を合成し、音声処理装置１０から出力する。

図６は、シングルトーク区間の検出動作の概要例を示す図である。話者状況検出部１３は、シングルトーク区間を検出する際、例えば次のような動作を行う。図６では、説明を分かり易く説明するために、話者状況検出部１３が時間軸上の音声信号を用いて解析する場合を示すが、時間軸上の音声信号を周波数軸上の音声信号に変換した上でその音声信号を用いて解析してもよい。

話者状況検出部１３は、マイクｍｃ１，ｍｃ２で収音される音声信号の相関解析を行う。マイクｍｃ１，ｍｃ２間の距離が短い（マイクｍｃ１，ｍｃ２が近い）場合、２つの音声信号には相関が生じる。話者状況検出部１３は、この相関の有無を、シングルトークであるか否かの判定に用いる。

話者状況検出部１３は、２つの音声信号の帯域分割を行う。この帯域分割は、前述した方法で行われる。車室内のような狭空間である場合、マイクは、音の反射の影響を受け易く、音の反射によって特定の帯域の音が強調される。帯域分割を行うことで、反射した音の影響が受けにくくなる。

話者状況検出部１３は、分割された帯域ごとに、マイクｍｃ１，ｍｃ２で収音される音声信号の音圧レベルの絶対値を算出して平滑化する。話者状況検出部１３は、例えばメモリＭ１に記憶された過去分の音圧レベルの絶対値と、平滑化した音圧レベルの絶対値とを比較することでシングルトーク区間の有無を検出する。

なお、話者状況検出部１３は、マイクｍｃ１，ｍｃ２で収音される音声信号の音圧レベルの絶対値を算出し、一定区間で平滑化して複数の平滑化された音圧レベルを算出してもよい。話者状況検出部１３は、片方のマイクの近くで突発音が発生した際、一方の平滑化した信号だけが大きくなるので、話者による音声の有音区間と間違って判定してしまうことを回避できる。

また、話者状況検出部１３は、話者の位置を推定してシングルトーク区間を検出してもよい。例えば、話者状況検出部１３は、マイクｍｃ１，ｍｃ２で収音される現在の音声信号だけでなく、過去から現在まで（例えば、話始めから話終わりまで）の音声信号を用いて、これらの音声信号を比較することで、話者が存在する位置を推定してもよい。

また、話者状況検出部１３は、マイクｍｃ１，ｍｃ２で収音される音声信号に含まれるノイズを抑圧することで、シングルトークの検出精度を上げてもよい。騒音源の音圧が大きく音声信号のＳ／Ｎが劣る場合や、片方のマイクの近くに定常的な騒音源がある場合、話者状況検出部１３は、ノイズを抑圧することで、話者の位置を推定できる。

さらに、話者状況検出部１３は、音声を分析することなく、あるいは音声と併用して、車載カメラ（図示略）の映像を基に話者の口元の動きを解析し、シングルトークを検出してもよい。

図７は、音声処理装置１０による音声抑圧処理の動作手順例を示すフローチャートである。音声処理装置１０は、例えばイグニッションスイッチのオンにより起動し、音声抑圧処理を開始する。

図７において、音声処理装置１０は、マイクｍｃ１，ｍｃ２で収音される音声信号を取得する（Ｓ１）。音声処理部１２は、例えばメモリＭ１に保存されている長時間（例えば１００ｍｓｅｃ）の参照信号を取得する（Ｓ２）。参照信号は、マイクｍｃ１に向かって話者である乗員ｈ１が話している時にマイクｍｃ１，ｍｃ２で収音される、話者である乗員ｈ１が発話している音声信号である。長時間の参照信号として、例えば１サンプルを１ｍｓｅｃとした場合、１００サンプル分（１００ｍｓｅｃ）の音声信号が取得される。

話者状況検出部１３は、話者状況の情報を取得する（Ｓ３）。この話者状況では、話者状況検出部１３は、誰が話しているかを分析し、また、シングルトーク区間であるか否かを検出する。シングルトーク区間の検出では、図６を参照して前述したシングルトーク区間の検出方法が用いられる。また、車室内に車載カメラ（図示略）が設置されている場合、話者状況検出部１３は、この車載カメラで撮像された顔画像の画像データを取得し、この顔画像を基に話者を特定してもよい。

音声処理部１２は、話者状況検出部１３によってある時刻に誰が話していたかを把握するので、その時の話者に対応して使用するべき適応フィルタ２０のフィルタ係数を取得（選択）する（Ｓ４）。例えば、話者である乗員ｈ１が話している時、マイクｍｃ２で収音される音声信号から話者である乗員ｈ１の音声信号を抑圧するための適応フィルタ２０のパラメータ（上述参照）を選択して使用する。音声処理部１２は、メモリＭ１に記憶されている、学習された最新のフィルタ係数を読み込み、適応フィルタ２０に設定する。また、音声処理部１２は、メモリＭ１に記憶されているフィルタ係数を上書きで逐次更新することで、適応フィルタ２０の収束速度を改善する。

音声処理部１２は、話者状況に対応する設定テーブルＴｂ１（図８参照）を基に、マイクｍｃ１で収音される音声信号に含まれるクロストーク成分を推定し、クロストーク成分を抑圧する（Ｓ５）。例えばマイクｍｃ１で収音される音声信号に含まれるクロストーク成分を抑圧する場合、マイクｍｃ２で収音された音声信号を基にクロストーク成分が抑圧される（図８参照）。

音声処理部１２は、適応フィルタ２０のフィルタ学習区間であるか否かを判別する（Ｓ６）。フィルタ学習区間は、実施の形態１では、例えばシングルトーク区間である。これは、例えばシングルトーク区間の場合、車両１００に乗車している乗員のうち実質的に１人が話者となり、その話者以外の人物に対応した専用のマイクで収音される音声信号から見れば、その話者の発話に基づく音声信号はクロストーク成分となり得るので、その話者以外の人物に対応した専用のマイクで収音される音声信号を用いれば、クロストーク成分を抑圧可能なフィルタ係数の算出が可能となるためである。フィルタ学習区間である場合（Ｓ６、ＹＥＳ）、音声処理部１２は、適応フィルタ２０のフィルタ係数を更新し、その更新結果をメモリＭ１に記憶する（Ｓ７）。この後、音声処理部１２は、本処理を終了する。一方、ステップＳ６でフィルタ学習区間でない場合（Ｓ６、ＮＯ）、音声処理部１２は、適応フィルタ２０のフィルタ係数を更新せずにそのまま本処理を終了する。

図８は、実施の形態１に係る設定テーブルＴｂ１の登録内容の一例を示す図である。設定テーブルＴｂ１には、話者状況検出部１３による話者状況の検出結果ごとに、フィルタ係数の更新の有無、クロストーク抑圧処理の有無、および音声処理装置１０から出力される音声信号の大きさを示すパラメータ（例えば音圧）を求めるための数式が対応付けて登録されている。

例えば話者状況検出部１３による話者状況の検出結果として話者がいないことが検出された場合、フィルタ係数更新処理部２５により適応フィルタ２０のフィルタ係数の更新は行われない。この場合には、フィルタ係数更新処理部２５は、メモリＭ１に保存されている、最新のマイクｍｃ１，ｍｃ２（言い換えると、話者）に対応するフィルタ係数をそれぞれ選択して適応フィルタ２０に設定する。従って、音声処理部１２（の加算器２６）は、マイクｍｃ１，ｍｃ２で収音される音声信号のいずれに対して、数式（１），（２）に従い、クロストーク抑圧処理を行う。つまり、加算器２６は、マイクｍｃ１，ｍｃ２のそれぞれで収音される音声信号から、それぞれ選択されたフィルタ係数を用いて抑圧されたクロストーク成分を減算する処理を行う。

数式（１），（２）において、ｍ１はマイクｍｃ１により収音される音声信号の大きさを示す音圧、ｍ２はマイクｍｃ２により収音される音声信号の大きさを示す音圧、ｙ１はマイクｍｃ１により収音されるクロストーク成分の抑圧後の音声信号の大きさを示す音圧、ｙ２はマイクｍｃ２により収音されるクロストーク成分の抑圧後の音声信号の大きさを示す音圧である。また、係数ｗ１２はマイクｍｃ１を用いて、マイクｍｃ２の音声信号から話者である乗員ｈ１の発話に基づくクロストーク成分を抑圧するためのフィルタ係数、係数ｗ２１はマイクｍｃ２を用いて、マイクｍｃ１の音声信号から話者である乗員ｈ２の発話に基づくクロストーク成分を抑圧するためのフィルタ係数である。また、記号＊は、畳み込み演算を示す演算子を示す。

次に、例えば話者状況検出部１３による話者状況の検出結果として話者が乗員ｈ１であることが検出された場合（シングルトーク区間）、フィルタ係数更新処理部２５により適応フィルタ２０のマイクｍｃ２に対するフィルタ係数の更新が行われる。この場合、フィルタ係数更新処理部２５は、メモリＭ１に保存されている、マイクｍｃ１（言い換えると、話者）に対応する最新のフィルタ係数、ならびに、前サンプル（時間軸上）あるいは前フレーム（周波数軸上）の音声信号に対して更新されたマイクｍｃ２（言い換えると、話者以外の話者）に対応するフィルタ係数をそれぞれ選択して適応フィルタ２０に設定する。従って、音声処理部１２（の加算器２６）は、マイクｍｃ１，ｍｃ２で収音される音声信号のいずれに対して、数式（１），（２）に従い、クロストーク抑圧処理を行う。つまり、加算器２６は、マイクｍｃ１，ｍｃ２のそれぞれで収音される音声信号から、それぞれ選択されたフィルタ係数を用いて抑圧されたクロストーク成分を減算する処理を行う。特に、乗員ｈ１が話者であるため、乗員ｈ１の発話に基づく音声信号がマイクｍ２にはクロストーク成分として収音されており、話者が誰もいない時に比べてクロストーク成分を抑圧可能に係数ｗ１２が学習されて更新されているので、数式（２）により、ｙ２はクロストーク成分が十分に抑圧された音声信号が出力されていることになる。

次に、例えば話者状況検出部１３による話者状況の検出結果として話者が乗員ｈ２であることが検出された場合（シングルトーク区間）、フィルタ係数更新処理部２５により適応フィルタ２０のマイクｍｃ１に対するフィルタ係数の更新が行われる。この場合、フィルタ係数更新処理部２５は、メモリＭ１に保存されている、マイクｍｃ２（言い換えると、話者）に対応する最新のフィルタ係数、ならびに、前サンプル（時間軸上）あるいは前フレーム（周波数軸上）の音声信号に対して更新されたマイクｍｃ１（言い換えると、話者以外の話者）に対応するフィルタ係数をそれぞれ選択して適応フィルタ２０に設定する。従って、音声処理部１２（の加算器２６）は、マイクｍｃ１，ｍｃ２で収音される音声信号のいずれに対しても、数式（１），（２）に従い、クロストーク抑圧処理を行う。つまり、加算器２６は、マイクｍｃ１，ｍｃ２のそれぞれで収音される音声信号から、それぞれ選択されたフィルタ係数を用いて抑圧されたクロストーク成分を減算する処理を行う。特に、乗員ｈ２が話者であるため、乗員ｈ２の発話に基づく音声信号がマイクｍ１にはクロストーク成分として収音されており、話者が誰もいない時に比べてクロストーク成分を抑圧可能に係数ｗ２１が学習されて更新されているので、数式（１）により、ｙ１はクロストーク成分が十分に抑圧された音声信号が出力されていることになる。

次に、例えば話者状況検出部１３による話者状況の検出結果として話者が乗員ｈ１，ｈ２の２人であることが検出された場合、フィルタ係数更新処理部２５により適応フィルタ２０のフィルタ係数の更新が行われない。この場合には、フィルタ係数更新処理部２５は、メモリＭ１に保存されている、最新のマイクｍｃ１，ｍｃ２（言い換えると、話者）に対応するフィルタ係数をそれぞれ選択して適応フィルタ２０に設定する。従って、音声処理部１２（の加算器２６）は、マイクｍｃ１，ｍｃ２で収音される音声信号のいずれに対して、式（１），（２）に従い、クロストーク抑圧処理を行う。つまり、加算器２６は、マイクｍｃ１，ｍｃ２のそれぞれで収音される音声信号から、それぞれ選択されたフィルタ係数を用いて抑圧されたクロストーク成分を減算する処理を行う。

実施の形態１に係る音声処理システム５のユースケースとして、例えば、運転者が発する音声を認識し、助手席に座る乗員が発する音声をクロストーク成分として認識させたくない場合を想定する。通常、クロストークが無い場合、音声の認識率は１００％であり、誤報率は０％である。また、クロストークが存在する場合、音声の認識率は２０％程度に下がり、誤報率は９０％程度に達する。

図９は、クロストーク抑圧量に対する音声の認識率および誤報率の一例を示すグラフである。グラフｇ１は、クロストーク抑圧量に対する音声の認識率を表す。グラフの縦軸は音声の認識率（％）を示し、横軸はクロストーク抑圧量（ｄＢ）を示す。認識率は、クロストーク抑圧量の増加とともに、徐々に高くなる。例えばクロストーク抑圧量が１８ｄＢになると、認識率は、１００％近くに達して安定する。

また、グラフｇ２は、クロストーク抑圧量に対する音声の誤報率を表す。グラフの縦軸は音声の誤報率（％）を示し、横軸はクロストーク抑圧量（ｄＢ）を示す。誤報率は、クロストーク抑圧量の増加とともに、徐々に減少する。例えばクロストーク抑圧量が２１ｄＢになると、誤報率は、０％に近くに下がり安定する。

なお、実施の形態１では、時間軸において音声処理を行う場合を示したが、周波数軸において音声処理を行ってもよい。周波数軸において音声処理を行う場合、音声処理装置１０は、１フレーム分（例えば２０〜３０サンプル分）の音声信号をフーリエ変換して周波数分析を行い、音声信号を取得する。また、周波数軸において音声処理を行う場合、音声信号に対し、帯域分割部１１による帯域分割を行う処理は不要となる。

実施の形態１の音声処理システム５では、発話している乗員の有無にかかわらず、各乗員の専用のマイクで収音される音声信号に対しクロストーク抑圧処理が行われる。したがって、乗員以外の音、例えばアイドリング音やノイズ等の定常音が発生している場合、そのようなクロストーク成分を抑圧できる。

以上により、実施の形態１に係る音声処理装置１０は、２人の乗員ｈ１，ｈ２とそれぞれ向き合うように配置され、各乗員専用の２個のマイクｍｃ１，ｍｃ２と、２個のマイクｍｃ１，ｍｃ２のそれぞれにより収音された音声信号を用いて、少なくとも１人の話者に対応する専用のマイクにより収音された話者音声信号に含まれるクロストーク成分を抑圧する適応フィルタ２０と、シングルトーク区間（少なくとも１人の話者が発話する時）を含む所定の条件を満たす場合に、クロストーク成分を抑圧するための適応フィルタ２０のフィルタ係数（パラメータの一例）を更新し、その更新結果をメモリＭ１に保持するフィルタ係数更新処理部２５と、話者音声信号から、更新結果に基づいて適応フィルタ２０により抑圧されたクロストーク成分を減算した音声信号をスピーカｓｐ１から出力する音声処理部１２と、を備える。

これにより、音声処理装置１０は、車両等の狭空間（閉空間）において各乗員に専用のマイクが配置された環境下で、周囲にいる他の乗員が発する音声によるクロストーク成分の影響を緩和できる。従って、音声処理装置１０は、それぞれの乗員に専用のマイクにより収音された話者本人の発する音声の音質の劣化を高精度に抑制できる。

また、音声処理装置１０は、２個のマイクｍｃ１，ｍｃ２のそれぞれにより収音された音声信号を用いて、帯域ごとに実質的に１人の話者が発話しているシングルトーク区間を検出する話者状況検出部１３を更に備える。音声処理部１２は、シングルトーク区間が話者状況検出部１３により検出された場合に、所定の条件を満たすとして話者音声信号に含まれる話者以外の人物の音声信号をクロストーク成分として、適応フィルタ２０のフィルタ係数を更新する。これにより、音声処理装置１０は、話者が実質的に１人だけの場合にその話者の発話に基づく話者音声信号をクロストーク成分として抑圧可能に、適応フィルタ２０のフィルタ係数を最適化できる。例えば、音声処理装置１０は、話者以外の乗員の専用のマイクで収音される音声から、話者の専用のマイクで収音される音声に含まれるクロストーク成分を高精度に低減できる。

また、音声処理部１２のフィルタ係数更新処理部２５は、シングルトーク区間以外の区間が話者状況検出部１３により検出された場合に、所定の条件を満たさないとして適応フィルタ２０のフィルタ係数を更新しない。音声処理装置１０は、話者音声信号から、例えばメモリＭ１に保持されている最新のフィルタ係数の更新結果に基づいて適応フィルタ２０により抑圧されたクロストーク成分を減算した音声信号を出力する。これにより、音声処理装置１０は、シングルトーク区間でない場合には適応フィルタ２０のフィルタ係数の更新を省くことでフィルタ係数が最適化しなくなることを回避できる。また、他の乗員は、話者の音声を明瞭に聴くことができる。

また、適応フィルタ２０は、誰も発話していない無発話区間が話者状況検出部１３により検出された場合、クロストーク成分を抑圧する。音声処理部１２は、２個のマイクｍｃ１，ｍｃ２のそれぞれにより収音された音声信号から、例えばメモリＭ１に保持されている最新のフィルタ係数の更新結果に基づいて適応フィルタ２０により抑圧されたクロストーク成分を減算した音声信号を出力する。これにより、音声処理装置１０は、アイドリング音、ノイズや反響音等を低減できる。

また、適応フィルタ２０は、シングルトーク区間が話者状況検出部１３により検出された場合、シングルトーク区間の話者に対応する専用のマイクにより収音される話者以外の音声信号に含まれるクロストーク成分を抑圧する。音声処理部１２は、話者音声信号から、例えばメモリＭ１に保持されている最新のフィルタ係数の更新結果に基づいて適応フィルタ２０により抑圧されたクロストーク成分を減算した音声信号を出力する。これにより、音声処理装置１０は、話者以外の音、アイドリング音、ノイズや反響音を低減できる。

（実施の形態１の変形例）
実施の形態１では、音声処理装置１０は、話者状況の種別に拘わらず、発話している乗員に対応する専用のマイクで収音される音声信号に対してクロストーク抑圧処理を常に行っていた（図８参照）。実施の形態１の変形例では、音声処理装置１０は、例えばシングルトーク区間が検出された場合、発話している乗員に対応する専用のマイクで収音される音声信号に対してクロストーク抑圧処理を行わない例を説明する。また、音声処理装置１０は、誰も発話していない無発話区間が検出された場合、クロストーク抑圧処理を行わない（図１０参照）。

なお、実施の形態１の変形例において、音声処理システム５の内部構成は実施の形態１に係る音声処理システム５の内部構成と同一であり、同一の構成には同一の符号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。

図１０は、実施の形態１の変形例に係る設定テーブルＴｂ２の登録内容の一例を示す図である。設定テーブルＴｂ２には、話者状況検出部１３による話者状況の検出結果ごとに、フィルタ係数の更新の有無、クロストーク抑圧処理の有無、および音声処理装置１０から出力される音声信号の大きさを示すパラメータ（例えば音圧）を求めるための数式が対応付けて登録されている。

例えば話者状況検出部１３による話者状況の検出結果として話者がいないことが検出された場合、フィルタ係数更新処理部２５により適応フィルタ２０のフィルタ係数の更新は行われない。また、音声処理部１２において、マイクｍｃ１，ｍｃ２で収音される音声信号のいずれに対しても、数式（３），（４）に示されるように、クロストーク抑圧処理が行われない。つまり、音声処理部１２は、マイクｍｃ１，ｍｃ２で収音される音声信号をいずれもそのまま出力する。

数式（３），（４）において、ｍ１はマイクｍｃ１により収音される音声信号の大きさを示す音圧、ｍ２はマイクｍｃ２により収音される音声信号の大きさを示す音圧、ｙ１はマイクｍｃ１により収音されるクロストーク成分の抑圧後の音声信号の大きさを示す音圧、ｙ２はマイクｍｃ２により収音されるクロストーク成分の抑圧後の音声信号の大きさを示す音圧である。

次に、例えば話者状況検出部１３による話者状況の検出結果として話者が乗員ｈ１であることが検出された場合（シングルトーク区間）、フィルタ係数更新処理部２５により適応フィルタ２０のマイクｍｃ２に対するフィルタ係数の更新が行われる。しかし、実施の形態１の変形例では、実質的に乗員ｈ１だけが発話している場合には、マイクｍｃ１で収音される音声信号（話者音声信号）に対しクロストーク抑圧処理が行われない（数式（５）参照）。これは、乗員ｈ２が発話していないため、乗員ｈ２の発話に基づくクロストーク成分が生じにくいことを加味して、マイクｍｃ１で収音される音声信号（話者音声信号）をそのまま出力してもその音質の劣化は生じにくいと考えられるからである。一方で、マイクｍｃ２で収音される音声信号（話者音声信号）に対しては、実施の形態１と同様に、クロストーク抑圧処理が行われる（数式（６）参照）。

数式（６）において、ｗ１２はマイクｍｃ１を用いて、マイクｍｃ２の音声信号から乗員ｈ１の発話に基づくクロストーク成分を抑圧するためのフィルタ係数である。

次に、例えば話者状況検出部１３による話者状況の検出結果として話者が乗員ｈ２であることが検出された場合（シングルトーク区間）、フィルタ係数更新処理部２５により適応フィルタ２０のマイクｍｃ２に対するフィルタ係数の更新が行われる。しかし、実施の形態１の変形例では、同様に実質的に乗員ｈ２だけが発話している場合には、マイクｍｃ１で収音される音声信号（話者音声信号）に対しては、実施の形態１と同様に、クロストーク抑圧処理が行われる（数式（７）参照）。一方で、マイクｍｃ２で収音される音声信号（話者音声信号）に対しクロストーク抑圧処理が行われない（数式（８）参照）。これは、乗員ｈ１が発話していないため、乗員ｈ１の発話に基づくクロストーク成分が生じにくいことを加味して、マイクｍｃ２で収音される音声信号（話者音声信号）をそのまま出力してもその音質の劣化は生じにくいと考えられるからである。

数式（７）において、ｗ２１はマイクｍｃ２を用いて、マイクｍｃ１の音声信号から乗員ｈ２の発話に基づくクロストーク成分を抑圧するためのフィルタ係数である。

次に、例えば話者状況検出部１３による話者状況の検出結果として話者が乗員ｈ１，ｈ２の２人であることが検出された場合、フィルタ係数更新処理部２５により適応フィルタ２０のフィルタ係数の更新が行われない。この場合には、フィルタ係数更新処理部２５は、メモリＭ１に保存されている、最新のマイクｍｃ１，ｍｃ２（言い換えると、話者）に対応するフィルタ係数をそれぞれ選択して適応フィルタ２０に設定する。従って、音声処理部１２（の加算器２６）は、マイクｍｃ１，ｍｃ２で収音される音声信号のいずれに対しても、実施の形態１と同様、数式（１），（２）に従い、クロストーク抑圧処理を行う。つまり、加算器２６は、マイクｍｃ１，ｍｃ２のそれぞれで収音される音声信号から、それぞれ選択されたフィルタ係数を用いて抑圧されたクロストーク成分を減算する処理を行う。

以上により、実施の形態１の変形例に係る音声処理システム５では、少なくとも１人が発話している時、発話していない乗員の専用のマイクで収音される音声信号に対しクロストーク抑圧処理が行われる（図１０参照）。従って、発話していない乗員に対応する専用のマイクでは、発話している乗員の音声信号が抑圧され、無音に近い状態になる。一方、発話している乗員に対応する専用のマイクでは、他の乗員が発話していないので、クロストーク抑圧処理は行われない。このように、音声処理システム５は、必要であると想定された場合だけ、クロストーク抑圧処理を行うことができる。

また、適応フィルタ２０は、誰も発話していない無発話区間が検出された場合に、クロストーク成分を抑圧しない。音声処理装置１０は、２個のマイクｍｃ１，ｍｃ２のそれぞれにより収音された音声信号をそのまま出力する。このように、音声処理装置１０は、無発話区間では、クロストーク成分を抑圧しないので、マイクにより収音される音声信号が明瞭になる。

また、適応フィルタ２０は、シングルトーク区間が検出された場合、話者の音声信号に含まれるクロストーク成分を抑圧しない。音声処理装置１０は、話者に対応する専用のマイクにより収音された音声信号をそのまま出力する。シングルトーク区間では、話者以外の発話による音声信号が無いので、クロストーク成分を抑圧しなくても、話者の音声信号は、明瞭になる。

（実施の形態２）
実施の形態１では、音声処理部１２は、シングルトーク区間が検出された場合に、その話者に対応する専用のマイクに対応付けられたフィルタ係数の更新を行った。実施の形態２では、音声処理部１２は、シングルトーク区間が検出された場合に限らず、例えば２人の話者が同時に発話している場合（ダブルトーク区間）も、フィルタ更新を行う例を説明する。

図１１は、実施の形態２に係る発話状況に対応する適応フィルタ２０の学習タイミング例を説明する図である。話者状況検出部１３は、シングルトーク区間を正確に判定し、かつ乗員ｈ１と乗員ｈ２が発話しているかを検出する。

１人の話者である乗員ｈ１だけが発話しているシングルトーク区間の［状況１］では、音声処理部１２は、乗員ｈ２の専用のマイクｍｃ２に対する適応フィルタ２０フィルタ係数を学習する。

また、話者である乗員ｈ２の１人だけが発話しているシングルトーク区間の［状況２］では、音声処理部１２は、乗員ｈ１の専用のマイクｍｃ１に対する適応フィルタ２０のフィルタ係数を学習する。

また、話者である乗員ｈ１，ｈ２の２人が同時に発話しているダブルトーク区間の［状況３］では、音声処理部１２は、話者である乗員ｈ１の専用のマイクｍｃ１に対する適応フィルタ２０のフィルタ係数、および話者である乗員ｈ２の専用のマイクｍｃ２に対する適応フィルタ２０のフィルタ係数のいずれも学習する。

また、乗員ｈ１と乗員ｈ２の２人がともに発話していない［状況４］では、音声処理部１２は、乗員ｈ１の専用のマイクｍｃ１に対する適応フィルタ２０のフィルタ係数、および乗員ｈ２の専用のマイクｍｃ２に対する適応フィルタ２０のフィルタ係数のいずれも学習しない。

また、話者状況検出部１３は、シングルトークを検出する他、２人の話者が同時に発話している（ダブルトーク）状況を検出した場合、その検出結果を音声処理部１２に通知する。音声処理部１２は、シングルトーク区間およびダブルトーク区間のそれぞれにおいて、話者に対応するマイクに対応付けられた適応フィルタ２０のフィルタ係数を学習する。

なお、実施の形態２において、音声処理システム５の内部構成は実施の形態１に係る音声処理システム５の内部構成と同一であり、同一の構成には同一の符号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。

図１２は、実施の形態２に係る設定テーブルＴｂ３の登録内容の一例を示す図である。設定テーブルＴｂ３には、話者状況検出部１３による話者状況の検出結果ごとに、フィルタ係数の更新の有無、クロストーク抑圧処理の有無、および音声処理装置１０から出力される音声信号の大きさを示すパラメータ（例えば音圧）を求めるための数式が対応付けて登録されている。

例えば話者状況検出部１３による話者状況の検出結果として話者がいないことが検出された場合、フィルタ係数更新処理部２５により適応フィルタ２０のフィルタ係数の更新は行われない。この場合には、フィルタ係数更新処理部２５は、メモリＭ１に保存されている、最新のマイクｍｃ１，ｍｃ２（言い換えると、話者）に対応するフィルタ係数をそれぞれ選択して適応フィルタ２０に設定する。従って、音声処理部１２において、マイクｍｃ１，ｍｃ２で収音される音声信号のいずれに対して、実施の形態１の変形例と同様、数式（３），（４）に従い、クロストーク抑圧処理が行われない。つまり、音声処理部１２は、マイクｍｃ１，ｍｃ２で収音される音声信号をいずれもそのまま出力する。

次に、例えば話者状況検出部１３による話者状況の検出結果として話者が乗員ｈ１であること（図１２の説明において「状況Ａ」と称する）が検出された場合（シングルトーク区間）、フィルタ係数更新処理部２５により適応フィルタ２０のマイクｍｃ２に対するフィルタ係数の更新が行われる。この場合、フィルタ係数更新処理部２５は、メモリＭ１に保存されている、マイクｍｃ１（言い換えると、話者）に対応する最新のフィルタ係数、ならびに、前サンプル（時間軸上）あるいは前フレーム（周波数軸上）の音声信号に対して更新されたマイクｍｃ２（言い換えると、話者以外の話者）に対応するフィルタ係数をそれぞれ選択して適応フィルタ２０に設定する。従って、音声処理部１２（の加算器２６）は、マイクｍｃ１，ｍｃ２で収音される音声信号のいずれに対して、数式（９），（１０）に従い、クロストーク抑圧処理を行う。

数式（９），（１０）において、係数ｗ１２Ａは、状況Ａにおいて、マイクｍｃ１を用いて、マイクｍｃ２の音声信号から話者である乗員ｈ１の発話に基づくクロストーク成分を抑圧するためのフィルタ係数である。同様に、係数ｗ２１Ａは、状況Ａにおいて、マイクｍｃ２を用いて、マイクｍｃ１の音声信号から話者である乗員ｈ２の発話に基づくクロストーク成分を抑圧するためのフィルタ係数である。

つまり、加算器２６は、マイクｍｃ１，ｍｃ２のそれぞれで収音される音声信号から、話者状況検出部１３により検出された話者状況（つまり「状況Ａ」）に応じてそれぞれ選択されたフィルタ係数を用いて抑圧されたクロストーク成分を減算する処理を行う。特に、乗員ｈ１が話者であるため、乗員ｈ１の発話に基づく音声信号がマイクｍ２にはクロストーク成分として収音されており、話者が誰もいない時に比べてクロストーク成分を抑圧可能に係数ｗ１２Ａが学習されて更新されているので、数式（１０）により、ｙ２はクロストーク成分が十分に抑圧された音声信号が出力されていることになる。

次に、例えば話者状況検出部１３による話者状況の検出結果として話者が乗員ｈ２であること（図１２の説明において「状況Ｂ」と称する）が検出された場合（シングルトーク区間）、フィルタ係数更新処理部２５により適応フィルタ２０のマイクｍｃ１に対するフィルタ係数の更新が行われる。この場合、フィルタ係数更新処理部２５は、メモリＭ１に保存されている、マイクｍｃ２（言い換えると、話者）に対応する最新のフィルタ係数、ならびに、前サンプル（時間軸上）あるいは前フレーム（周波数軸上）の音声信号に対して更新されたマイクｍｃ１（言い換えると、話者以外の話者）に対応するフィルタ係数をそれぞれ選択して適応フィルタ２０に設定する。従って、音声処理部１２（の加算器２６）は、マイクｍｃ１，ｍｃ２で収音される音声信号のいずれに対して、数式（１１），（１２）に従い、クロストーク抑圧処理を行う。

数式（１１），（１２）において、係数ｗ１２Ｂは、状況Ｂにおいて、マイクｍｃ１を用いて、マイクｍｃ２の音声信号から話者である乗員ｈ１の発話に基づくクロストーク成分を抑圧するためのフィルタ係数である。同様に、係数ｗ２１Ｂは、状況Ｂにおいて、マイクｍｃ２を用いて、マイクｍｃ１の音声信号から話者である乗員ｈ２の発話に基づくクロストーク成分を抑圧するためのフィルタ係数である。

つまり、加算器２６は、マイクｍｃ１，ｍｃ２のそれぞれで収音される音声信号から、話者状況検出部１３により検出された話者状況（つまり「状況Ｂ」）に応じてそれぞれ選択されたフィルタ係数を用いて抑圧されたクロストーク成分を減算する処理を行う。特に、乗員ｈ２が話者であるため、乗員ｈ２の発話に基づく音声信号がマイクｍ１にはクロストーク成分として収音されており、話者が誰もいない時に比べてクロストーク成分を抑圧可能に係数ｗ１２Ｂが学習されて更新されているので、数式（１２）により、ｙ２はクロストーク成分が十分に抑圧された音声信号が出力されていることになる。

次に、例えば話者状況検出部１３による話者状況の検出結果として話者が乗員ｈ１，ｈ２の２人であること（図１２の説明において「状況Ｃ」と称する）が検出された場合（ダブルトーク区間）、フィルタ係数更新処理部２５により、マイクｍｃ１，ｍｃ２のそれぞれに対応付けられた適応フィルタ２０のフィルタ係数の更新が個別に行われる。この場合、フィルタ係数更新処理部２５は、メモリＭ１に保存されている、前サンプル（時間軸上）あるいは前フレーム（周波数軸上）の音声信号に対して更新されたマイクｍｃ１，ｍｃ２に対応するフィルタ係数をそれぞれ選択して適応フィルタ２０に設定する。従って、音声処理部１２（の加算器２６）は、マイクｍｃ１，ｍｃ２で収音される音声信号のいずれに対して、数式（１３），（１４）に従い、クロストーク抑圧処理を行う。

数式（１３），（１４）において、係数ｗ１２Ｃは、状況Ｃにおいて、マイクｍｃ１を用いて、マイクｍｃ２の音声信号から話者である乗員ｈ１の発話に基づくクロストーク成分を抑圧するためのフィルタ係数である。同様に、係数ｗ２１Ｃは、状況Ｃにおいて、マイクｍｃ２を用いて、マイクｍｃ１の音声信号から話者である乗員ｈ２の発話に基づくクロストーク成分を抑圧するためのフィルタ係数である。

つまり、加算器２６は、マイクｍｃ１，ｍｃ２のそれぞれで収音される音声信号から、話者状況検出部１３により検出された話者状況（つまり「状況Ｃ」）に応じてそれぞれ選択されたフィルタ係数を用いて抑圧されたクロストーク成分を減算する処理を行う。特に、乗員ｈ１，ｈ２がともに話者であるため、乗員ｈ１，ｈ２のそれぞれの発話に基づく音声信号がマイクｍ１，ｍ２にはクロストーク成分として収音されており、話者が誰もいない時に比べてクロストーク成分を抑圧可能に係数ｗ２１Ｃ，ｗ１２Ｃが学習されて更新されているので、数式（１３），（１４）により、ｙ１，ｙ２はクロストーク成分が十分に抑圧された音声信号が出力されていることになる。

このように、実施の形態２では、２人の話者が同時に発話している場合、一方のマイクに他の話者の音声が入力してクロストークが生じやすくなる上、スピーカから出力される音声によって、音響エコーが発生する。この場合、各話者に対応する専用のマイクに対応する適応フィルタ２０のフィルタ係数を学習しておくことで、音声処理装置１０は、クロストーク成分を抑圧できるだけでなく、音響エコーを低減できる。従って、音声処理装置１０は、音響エコー抑圧装置（ハウリングキャンセラ）としても機能する。

以上により、実施の形態２の音声処理装置１０は、乗員２人の発話の有無を示す話者状況を判別する話者状況検出部１３を更に備える。音声処理部１２は、少なくとも１人の話者が存在すると判別された場合に、その話者以外の乗員の専用のマイクにより収音された話者音声信号をクロストーク成分として、話者以外の専用のマイクに対応するフィルタ係数を更新し、その更新結果を話者専用のフィルタ係数として保持する。

これにより、音声処理装置１０は、各話者の専用のマイクに対応するフィルタ係数を学習しておくことで、他の乗員も発話している場合、話者の専用のマイクに収音される音声信号に含まれる、他の乗員によるクロストーク成分を抑圧できる。また、音声処理装置１０は、スピーカから出力される音声が話者の専用のマイクに収音されなくなり、音響エコーを低減できる。

以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。

例えば、シングルトーク区間は、一人の乗員だけが発話している区間に限定されなくてもよく、実質的に一人の乗員だけが発話しているとみなされる区間であれば複数人が発話している話者状況であってもシングルトーク区間としてもよい。これは、例えば低い周波数の音声を発話する男性と高い周波数の音声を発話する女性とがともに発話していても、話者状況検出部１３が周波数帯の重複（干渉）が生じない程度にそれぞれの音声信号を分離できてシングルトーク区間とみなすことができるためである。

例えば、上記実施の形態では、帯域分割は、可聴周波数域（３０Ｈｚ〜２３ｋＨｚ）の音域内で、０〜５００Ｈｚ，５００Ｈｚ〜１ｋＨｚ，……と、５００Ｈｚ帯域幅で行われたが、１００Ｈｚ帯域幅、２００Ｈｚ帯域幅、１ｋＨｚ帯域幅等、任意の帯域幅で行われてもよい。また、上記実施の形態では、帯域幅は、固定的に設定されたが、話者が存在する状況に応じて動的かつ可変的に設定されてもよい。例えば、高齢者だけが乗車あるいは集まっている場合、一般に、高齢者は、低い音域の音声しか聴きとれず、１０ｋＨｚ以下の音域で会話していることが多いと考えられる。この場合、帯域分割は、１０ｋＨｚ以下の音域を、例えば５０Ｈｚ帯域幅で狭く行われ、１０ｋＨｚを超える音域を例えば１ｋＨｚ帯域幅で広く行われてもよい。また、子供や女性は、高音域の音声を聴きとれるので、２０ｋＨｚ近い音もクロストーク成分になる。この場合、帯域分割は、１０ｋＨｚを超える音域を例えば１００Ｈｚ帯域幅で狭く行われてもよい。

また、上実施の形態では、車室内で会話することを想定したが、本開示は、建物内の会議室で複数の人物が会話する際にも同様に適用可能である。また、本開示は、テレビ会議システムで会話する場合や、ＴＶの字幕（テロップ）を流す場合にも適用可能である。

本開示は、それぞれの人物に対応して異なるマイクが配置された環境下で、周囲の他の人物の発する音声に基づくクロストーク成分の影響を緩和し、対応するマイクにより収音された話者本人の発する音声の音質の劣化を抑制する音声処理装置および音声処理方法として有用である。

５ 音声処理システム
１０ 音声処理装置
１１ 帯域分割部
１２ 音声処理部
１３ 話者状況検出部
１４ 帯域合成部
１５ メモリ
２０ 適応フィルタ
２２ 可変増幅器
２３ ノルム算出部
２４ １／Ｘ部
２５ フィルタ係数更新処理部
２６ 加算器
３０ 音声認識エンジン
ｍｃ１，ｍｃ２ マイク

Claims (12)

1. 一つの閉空間においてｎ（ｎ：２以上の整数）人の人物のそれぞれに対応して配置されるｎ個のマイクにより収音された各話者音声信号に含まれる、他の話者の発話によるクロストーク成分をそれぞれ抑圧するフィルタと、前記クロストーク成分を抑圧するための前記フィルタのパラメータを更新し、その更新結果をメモリに保持するパラメータ更新部と、を少なくとも有する音声出力制御部と、
   ｎ個の前記マイクのそれぞれにより収音された各前記話者音声信号を用いて、ｎ個の前記マイクが対応するそれぞれの前記人物の、前記閉空間における発話状況を検出する話者状況検出部と、を備え、
   前記パラメータ更新部は、前記話者状況検出部により、少なくとも１人の話者が発話する時を含む所定の条件を満たすと判定された場合に、前記クロストーク成分を抑圧するための前記フィルタのパラメータを更新し、その更新結果をメモリに保持し、
   前記音声出力制御部は、ｎ個の前記マイクにより収音された各前記話者音声信号が入力され、入力された前記話者音声信号のそれぞれについて、前記話者音声信号の前記クロストーク成分を前記フィルタにより抑圧した音声信号か、入力された前記話者音声信号そのもののいずれかを、前記話者状況検出部により検出された前記閉空間における発話状況に基づいてそれぞれ出力する、
   音声処理装置。
2. 前記フィルタは、前記話者状況検出部により前記ｎ人の人物がいずれも発話していると判定された場合に、前記ｎ人の人物のそれぞれに対応する前記ｎ個のマイクにより収音された各前記話者音声信号に対し、前記他の人物の発話によるクロストーク成分を抑圧する、
   請求項１に記載の音声処理装置。
3. 前記話者状況検出部は、ｎ個の前記マイクのそれぞれにより収音された各前記話者音声信号の相関解析を行うことにより、前記閉空間における発話状況を検出する、
   請求項１または２に記載の音声処理装置。
4. 前記話者状況検出部は、ｎ個の前記マイクのそれぞれにより収音された各前記話者音声信号の音圧レベルの絶対値を算出し平滑化した値を用いて、前記相関解析を行う、
   請求項３に記載の音声処理装置。
5. 前記話者状況検出部は、ｎ個の前記マイクのそれぞれにより収音された音声信号を用いて、前記閉空間において実質的に１人の話者が発話しているシングルトーク区間の検出を行い、
   前記パラメータ更新部は、前記シングルトーク区間が検出された場合に、前記所定の条件を満たすとして前記話者音声信号に含まれる前記話者以外の人物の音声信号を前記クロストーク成分として、前記フィルタのパラメータを更新し、
   前記音声出力制御部は、少なくとも、前記実質的に発話していると判定された１人の話者以外の人物のそれぞれに対応するマイクにより収音された音声信号から、前記パラメータ更新部によりパラメータが更新された前記フィルタにより、前記実質的に発話している１人の話者の音声を抑圧して出力する、
   請求項１〜４のうちいずれか一項に記載の音声処理装置。
6. 前記パラメータ更新部は、前記話者状況検出部により、前記閉空間において前記シングルトーク区間以外の区間が検出された場合に、前記所定の条件を満たさないとして前記フィルタのパラメータを更新せず、
   前記音声出力制御部は、前記ｎ人の人物のそれぞれに対応するマイクにより収音された各話者音声信号のうち少なくとも、実質的に発話していると判定された話者のそれぞれに対応するマイクにより収音された音声信号から、前記メモリに保持されている最新の前記パラメータの更新結果に基づいて前記フィルタにより、前記クロストーク成分を抑圧した音声信号を、それぞれ出力する、
   請求項５に記載の音声処理装置。
7. 前記フィルタは、前記話者状況検出部により、前記閉空間において誰も発話していない無発話区間が検出された場合に、前記クロストーク成分の抑圧を行わず、
   前記音声出力制御部は、ｎ個の前記マイクのそれぞれにより収音された各音声信号をそのまま出力する、
   請求項５に記載の音声処理装置。
8. 前記フィルタは、前記話者状況検出部により、前記閉空間において前記シングルトーク区間が検出された場合に、前記シングルトーク区間に発話していると判定された話者に対応する前記話者音声信号に含まれる前記クロストーク成分の抑圧を行わず、
   前記音声出力制御部は、前記シングルトーク区間に発話していると判定された話者に対応するマイクにより収音された音声信号をそのまま出力する、
   請求項５に記載の音声処理装置。
9. 前記パラメータ更新部は、前記話者状況検出部により、前記閉空間において前記少なくとも１人の話者が存在すると判別された場合に、その話者以外の人物に対応するマイクにより収音された前記話者音声信号を前記クロストーク成分として、前記フィルタのパラメータを更新し、その更新結果を前記話者に対応したパラメータとして保持する、
   請求項１〜４のうちいずれか一項に記載の音声処理装置。
10. 前記フィルタは、前記話者状況検出部により、前記閉空間において誰も発話していない無発話区間が検出された場合、前記クロストーク成分の抑圧を行い、
    前記音声出力制御部は、ｎ個の前記マイクのそれぞれにより収音された音声信号から、前記メモリに保持されている最新の前記パラメータの更新結果に基づいて前記フィルタにより前記クロストーク成分を抑圧した音声信号を出力する、
    請求項１〜４のうちいずれか一項に記載の音声処理装置。
11. 前記フィルタは、前記話者状況検出部により、前記閉空間において前記シングルトーク区間が検出された場合、前記シングルトーク区間の話者に対応するマイクにより収音される前記話者以外の音声信号に含まれる前記クロストーク成分の抑圧を行い、
    前記音声出力制御部は、前記話者音声信号から、前記メモリに保持されている最新の前記パラメータの更新結果に基づいて前記フィルタにより前記クロストーク成分を抑圧した音声信号を出力する、
    請求項５に記載の音声処理装置。
12. 一つの閉空間においてｎ（ｎ：２以上の整数）人の人物のそれぞれに対応して配置されるｎ個のマイクにより収音された各話者音声信号に含まれる、他の話者の発話によるクロストーク成分をそれぞれ抑圧するステップと、
    ｎ個の前記マイクのそれぞれにより収音された各前記話者音声信号を用いて、ｎ個の前記マイクが対応するそれぞれの前記人物の、前記閉空間における発話状況を検出するステップと、
    少なくとも１人の話者が発話する時を含む所定の条件を満たすと判定された場合に、前記クロストーク成分を抑圧するためのフィルタのパラメータを更新し、その更新結果をメモリに保持するステップと、
    入力された前記話者音声信号のそれぞれについて、前記話者音声信号の前記クロストーク成分を前記フィルタにより抑圧した音声信号か、入力された前記話者音声信号そのもののいずれかを、検出された前記閉空間における発話状況に基づいてそれぞれ出力するステップと、を有する、
    音声処理方法。

Images