JP6984559B2 - 集音拡声装置、その方法、およびプログラム - Google Patents

Description

本発明は、マイクロホンとスピーカを用いて車両内の会話を円滑に行う集音拡声技術に関する。

インカーコミュニケーションや会話アシストと呼ばれる機能が自動車に搭載されつつある(非特許文献１参照)。これは前席に乗車している人の声を集音して後席で再生することで会話を行いやすくするものである。さらに後席の音声を集音して前席で再生するものもある。インカーコミュニケーションにおいては、図１のように話者音声の拡声用のスピーカ９２Ｆ，９２Ｒを座席に座る聴取者の耳元に設置するのが、少ない音量で音声を提示できるため効果的である。

"「インテリジェントマイク for car」の技術について"、［online］、2018年、日本電信電話株式会社、[平成30年5月24日]、インターネット<URL:http://www.ntt.co.jp/news2018/1802/pdf/180219c.pdf>

しかしながら、図１の場合、後席の人にとっては、前席の声が自分の頭の後ろから聞こえることになり、位置関係に違和感が生じる。この違和感を解消するためには音像を後席の人よりも前に出す必要があり、そのためには、スピーカ９２Ｒを後席の人よりも前に設置する方法が考えられる（図２参照）。しかしながら、後席の人の耳からスピーカ９２Ｒが遠くなるのでその分スピーカ９２Ｒから大きな音を出さなくてはならず、後席近くのマイク９１Ｒに音が入ってハウリングの原因となってしまう。

本発明は、音像の違和感を低減しつつ、スピーカの追加によるハウリングへの影響を抑える集音拡声装置、その方法、およびプログラムを提供することを目的とする。

上記の課題を解決するために、本発明の一態様によれば、集音拡声装置は、車両に搭載される。集音拡声装置は、車両内の第一座席から発せられる目的音を集音し、車両内の第二座席に座る聴取者からみて第一座席とは異なる方向に配置された第二拡声装置から聴取者に対して集音した目的音を再生し、さらに、聴取者からみて第一座席と同じ方向に配置された第一拡声装置から聴取者に対して集音した目的音を再生するものとし、目的音に第一ゲインを乗じ、第一拡声装置に出力する第一ゲイン調整部と、第一拡声装置と、第二拡声装置と、聴取者との位置関係から得られる、第二拡声装置に対する第一拡声装置の遅延時間に先行音効果を得るための時間を加えた時間分、目的音を遅延させる遅延部と、遅延させた目的音に第二ゲインを乗じ、第二拡声装置に出力する第二ゲイン調整部とを含み、第一ゲイン調整部は第一ゲインを小さいに値に調整し、第二ゲイン調整部は第二ゲインを大きい値に調整する。

上記の課題を解決するために、本発明の他の態様によれば、集音拡声装置は、車両に搭載される。集音拡声装置は、車両内の第一座席から発せられる目的音を集音し、車両内の第二座席に座る聴取者からみて第一座席とは異なる方向に配置された第二拡声装置から聴取者に対して集音した目的音を再生し、さらに、聴取者からみて第一座席と同じ方向に配置された第一拡声装置から聴取者に対して集音した目的音を再生するものとし、目的音に第一ゲインを乗じ、第一拡声装置に出力する第一ゲイン調整部と、1以上のマイクロホンで集音された信号から目的音を強調する目的音強調部と、強調した目的音に第二ゲインを乗じ、第二拡声装置に出力する第二ゲイン調整部とを含み、強調した目的音は、強調していない目的音に対して遅延を伴い、第一ゲイン調整部は第一ゲインを小さいに値に調整し、第二ゲイン調整部は第二ゲインを大きい値に調整する。

上記の課題を解決するために、本発明の他の態様によれば、集音拡声装置は、車両に搭載される。集音拡声装置は、車両内には2つ以上の集音拡声位置が想定されるものとし、第一の集音拡声位置に位置する第一対象者から発せられた音を他の集音拡声位置に位置する対象者から発せられた音よりも集音しやすい位置に設置された第一マイクロホンと、第二の集音拡声位置に位置する第二対象者に他の集音拡声位置に位置する対象者よりも届きやすい、かつ、第二対象者を基準として第一対象者とは異なる方向である位置に設置された第二スピーカと、第二対象者を基準として第一対象者の方向に設置された第一スピーカと、を含み、第一スピーカと第二スピーカは、第一マイクロホンにより集音された第一対象者から発せられた音を、第二スピーカから放音された音よりも第一スピーカから放音された音が先に第二対象者の耳に到達するよう放音する。

上記の課題を解決するために、本発明の他の態様によれば、集音拡声装置は、車両に搭載される。集音拡声装置は、車両内の第一の座席に着席した第一のユーザにより発せられた音を主として集音するマイクロホンを用いて収音された音響信号を、車両内の第二の座席を基準として第一の座席の方向に設置された第一スピーカからハウリングを起こさないかつ第二の座席に着席した第二のユーザが聞きとることができる強さで放音するよう制御し、第二の座席を基準として第一の座席の方向とは異なる方向かつ第一スピーカよりも第二の座席に近い位置に設置された第二スピーカからハウリングを起こさないかつ第二のユーザが聞き取りやすい強さでかつ第一スピーカの放音開始よりも後の時間に音響信号の放音を開始するよう制御する。

本発明によれば、音像の違和感を低減しつつ、スピーカの追加によるハウリングへの影響を抑えることができるという効果を奏する。

インカーコミュニケーションにおけるマイクとスピーカの配置例を示す図。 インカーコミュニケーションにおけるマイクとスピーカの配置例を示す図。 第一実施形態におけるマイクとスピーカの配置例を示す図。 第一実施形態に係る集音拡声装置の機能ブロック図。 第一実施形態に係る集音拡声装置の処理フローの例を示す図。 第一実施形態に係る目的音強調部の機能ブロック図。 第一実施形態に係るエコーキャンセラ部の機能ブロック図。 第一実施形態に係る目的音強調部の機能ブロック図。 第一実施形態に係るエコーキャンセラ部の機能ブロック図。 スピーカと、後部座席に座る聴取者の位置関係を示す図。 第一実施形態の変形例１のスピーカと、後部座席に座る聴取者の位置関係を示す図。 第一実施形態の変形例２のスピーカと、後部座席に座る聴取者の位置関係を示す図。 第一実施形態の変形例３に係る集音拡声装置の機能ブロック図。 第二実施形態に係る集音拡声装置の機能ブロック図。 第二実施形態に係る集音拡声装置の処理フローの例を示す図。 第二実施形態に係る目的音強調部の機能ブロック図。 第二実施形態に係るエコーキャンセラ部の機能ブロック図。 第二実施形態と第一実施形態の変形例３とを組合せた場合の機能ブロック図。

以下、本発明の実施形態について、説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。以下の説明において、ベクトルや行列の各要素単位で行われる処理は、特に断りが無い限り、そのベクトルやその行列の全ての要素に対して適用されるものとする。

＜第一実施形態のポイント＞
本実施形態では、音像を前方に出すために先行音効果を利用する（参考文献１参照）。
（参考文献１）日本音響学会編、「空間音響学」、コロナ社、2010、p.26-29

先行音効果とは、同じ性質の音をほぼ同時に聞いた場合に、先に聞こえた音の方向のみに音像を知覚するという現象である。この効果を利用するための構成は図３のようになる。ただし、単純に先行音効果を狙ったスピーカ９２Ｒ−１を配置するだけでは、ハウリングが起きやすい状況に変わりはない。そのため、ハウリングが起きないようなゲイン調整の手段も提案する。

＜第一実施形態＞
図４は第一実施形態に係る集音拡声装置の機能ブロック図を、図５はその処理フローを示す。

集音拡声装置は、目的音強調部１１０−１，１１０−２と、遅延部１３０と、ゲイン調整部１２０，１４０とを含む。

本実施形態では、集音拡声装置が搭載される車両は、図３のような構造とし、３列シートを備える。さらに、本実施形態の車両は、主に１列目の話者の音声を集音するマイク９１Ｆと、主に３列目の話者の音声を集音するマイク９１Ｒとを備える。マイク９１Ｆ、９１Ｒは、それぞれM個のマイクロホンで構成される。なお、Ｆ，Ｒはそれぞれ車両の進行方向に対して前方、後方を示すインデックスである。さらに、本実施形態の車両は、１列目の座席の聴取者に対して音を再生するスピーカ９２Ｆと、３列目の座席の聴取者に対して音を再生するスピーカ９２Ｒ−１，９２Ｒ−２とを備える。スピーカ９２Ｒ−１は３列目の座席に座る聴取者からみて１列目の座席と同じ方向（前方）に配置されており、スピーカ９２Ｒ−２は３列目の座席に座る聴取者からみて１列目の座席とは異なる方向（後方）に配置されている。なお、同じ方向とは、厳密に同じ方向を意味するのではなく、音像の違和感を感じずらい方向を意味する。同様に、異なる方向とは、音像の違和感を生じやすい方向を意味する。各スピーカ９２Ｆ，９２Ｒ−１，９２Ｒ−２はそれぞれN個のスピーカで構成される。ただし、Nは1以上の整数の何れかであり、再生信号のチャネル数を表す。

集音拡声装置は、車両内に設置された2つのマイク９１Ｆ，９１Ｒで集音して得られる集音信号X_F=[X_F,1,…,X_F,M],X_R=[X_R,1,…,X_R,M]と、車載用音響装置（例えば、カーオーディオ等）のスピーカ９３で再生される再生信号(例えば、オーディオ信号)X_C=[X_C,1,…,X_C,S]とを入力とし、車両内に設置された3つのスピーカ９２Ｆ，９２Ｒ−１，９２Ｒ−２で再生される再生信号Y_F=[Y_F,1,…,Y_F,N],Y_R1=[Y_R1,1,…,Y_R1,N],Y_R2=[Y_R2,1,…,Y_R2,N]を生成し、出力する。なお、Sは、車載用音響装置のスピーカ９３で再生される再生信号のチャネル数を表す。

集音拡声装置は、例えば、中央演算処理装置（CPU: Central Processing Unit）、主記憶装置（RAM: Random Access Memory）などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。集音拡声装置は、例えば、中央演算処理装置の制御のもとで各処理を実行する。集音拡声装置に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて中央演算処理装置へ読み出されて他の処理に利用される。集音拡声装置の各処理部は、少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。集音拡声装置が備える各記憶部は、例えば、RAM（Random Access Memory）などの主記憶装置、またはリレーショナルデータベースやキーバリューストアなどのミドルウェアにより構成することができる。ただし、各記憶部は、必ずしも集音拡声装置がその内部に備える必要はなく、ハードディスクや光ディスクもしくはフラッシュメモリ（Flash Memory）のような半導体メモリ素子により構成される補助記憶装置により構成し、集音拡声装置の外部に備える構成としてもよい。

以下、各部について説明する。

＜目的音強調部１１０−１＞
目的音強調部１１０−１は、マイク９１Ｆで主に１列目の発話者の音声を集音した集音信号X_F=[X_F,1,…,X_F,M]と、目的音強調部１１０−２で生成された1列目の座席のスピーカ９２Ｆで再生される再生信号Y_F=[Y_F,1,…,Y_F,N]と、車載用音響装置のスピーカ９３で再生される再生信号X_C=[X_C,1,…,X_C,S]とを入力とし、集音信号X_Fから目的音（前方の座席から発せられる音）を強調した再生信号Y_R=[Y_R,1,…,Y_R,N]を求め、出力する。

図６は目的音強調部１１０−１の機能ブロック図を示す。

目的音強調部１１０−１は、指向性集音部１１０−１−１と、エコーキャンセラ部１１０−１−２と、ハウリング抑圧部１１０−１−３とを含む。以下、各部について説明する。

(指向性集音部１１０−１−１)
指向性集音部１１０−１−１は、集音信号X_F=[X_F,1,…,X_F,M]を入力とし、集音信号X_F=[X_F,1,…,X_F,M]から目的音（前方の座席から発せられる音）を強調した強調信号X'_Fを求め（Ｓ１１０−１−１）、出力する。

なお、どのような方法により強調信号を求めてもよい。例えば、特開2004-078021号公報の強調技術を用いることができる。

(エコーキャンセラ部１１０−１−２)
エコーキャンセラ部１１０−１−２は、強調信号X'_Fと、再生信号Y_Fと、再生信号X_Cとを入力とし、強調信号X'_Fに含まれるスピーカ９３で再生される音成分やスピーカ９２Ｆで再生される音成分を消去し、エコー成分を消去した強調信号X"_Fを求め（Ｓ１１０−１−２）、出力する。

図７は、エコーキャンセラ部１１０−１−２の機能ブロック図を示す。

エコーキャンセラ部１１０−１−２は、第一適応フィルタ部１１０−１−２−１と、第一減算部１１０−１−２−２と、第二適応フィルタ部１１０−１−２−３と、第二減算部１１０−１−２−４とを含む。

第一適応フィルタ部１１０−１−２−１は、再生信号X_Cを入力とし、第一適応フィルタを用いて再生信号X_Cをフィルタリングし、第一擬似エコーY₁を生成し、出力する。

第一減算部１１０−１−２−２は、強調信号X'_Fと第一擬似エコーY₁とを入力とし、強調信号X'_Fから第一擬似エコーY₁を減算し、強調信号X'_F,1を得、出力する。なお、全てのチャネルをそれぞれ減算してもよいし、全てのチャネルの総和を減算してもよい。例えば、Nチャネルの再生信号X_C,n(n=1,2,…,N)をそれぞれフィルタリングしたNチャネルの第一擬似エコーY_1,n(ただしY₁=[Y_1,1,…,Y_1,N])をそれぞれ強調信号X'_Fから減算してもよいし、Nチャネルの第一擬似エコーY_1,nの総和を強調信号X'_Fから減算してもよい。

第二適応フィルタ部１１０−１−２−３は、再生信号Y_Fを入力とし、第二適応フィルタを用いて再生信号Y_Fをフィルタリングし、第二擬似エコーY₂を生成し、出力する。

第二減算部１１０−１−２−４は、強調信号X'_F,1と第二擬似エコーY₂とを入力とし、強調信号X'_F,1から第二擬似エコーY₂を減算し、強調信号X"_Fを得、出力する。第一減算部１１０−１−２−２と同様に全てのチャネルをそれぞれ減算してもよいし、全てのチャネルの総和を減算してもよい。

さらに、第一適応フィルタ部１１０−１−２−１は、エコー成分を消去した強調信号X"_F(誤差信号に相当)を入力とし、再生信号X_Cと強調信号X"_Fを用いて第一適応フィルタを更新する。同様に、第二適応フィルタ部１１０−１−２−３は、強調信号X"_Fを入力とし、再生信号Y_Fと強調信号X"_Fを用いて第二適応フィルタを更新する。

適応フィルタの更新方法としては様々な方法がある。例えば、参考文献２記載のNLMSアルゴリズム等を用いてフィルタ更新を行うことができる。
（参考文献２）大賀寿郎、山崎芳男、金田豊、「音響システムとディジタル処理」、電子情報通信学会編、コロナ社、1995年、p140,141

なお、上述のエコー消去方法に限らず、どのような方法によりエコー成分を消去してもよい。例えば、特開2010-187086号公報のエコー消去技術を用いることができる。

(ハウリング抑圧部１１０−１−３)
ハウリング抑圧部１１０−１−３は、強調信号X"_Fを入力とし、ハウリング成分を抑圧し（Ｓ１１０−１−３）、ハウリング成分抑圧後の信号を再生信号Y_Rとして出力する。

なお、どのような方法によりハウリング成分を抑圧してもよい。例えば、特開2007-221219号公報のハウリング抑圧技術を用いることができる。

＜目的音強調部１１０−２＞
目的音強調部１１０−２は、マイク９１Ｒで主に３列目の発話者の音声を集音した集音信号X_R=[X_R,1,…,X_R,M]と、再生信号Y_R=[Y_R,1,…,Y_R,N]と、再生信号X_C=[X_C,1,…,X_C,S]とを入力とし、集音信号X_R=[X_F,1,…,X_F,M]から目的音（後方の座席から発せられる音）を強調した再生信号Y_F=[Y_F,1,…,Y_F,N]を求め、出力する。

図８は目的音強調部１１０−２の機能ブロック図を示す。

目的音強調部１１０−２は、指向性集音部１１０−２−１と、エコーキャンセラ部１１０−２−２と、ハウリング抑圧部１１０−２−３とを含む。以下、各部について説明する。

(指向性集音部１１０−２−１)
指向性集音部１１０−２−１は、集音信号X_R=[X_R,1,…,X_R,M]を入力とし、集音信号X_R=[X_R,1,…,X_R,M]から目的音（後方の座席から発せられる音）を強調した強調信号X'_Rを求め（Ｓ１１０−２−１）、出力する。指向性集音部１１０−１−１と同様の方法により強調信号を求めればよい。

(エコーキャンセラ部１１０−２−２)
エコーキャンセラ部１１０−２−２は、強調信号X'_Rと、再生信号Y_R=[Y_R,1,…,Y_R,N]と、再生信号X_Cとを入力とし、強調信号X'_Rに含まれるスピーカ９３で再生される音成分やスピーカ９２Ｒ−１，９２Ｒ−２で再生される音成分を消去し、エコー成分を消去した強調信号X"_Rを求め（Ｓ１１０−２−２）、出力する。

図９は、エコーキャンセラ部１１０−２−２の機能ブロック図を示す。

エコーキャンセラ部１１０−２−２は、第一適応フィルタ部１１０−２−２−１と、第一減算部１１０−２−２−２と、第二適応フィルタ部１１０−２−２−３と、第二減算部１１０−２−２−４とを含む。

第一適応フィルタ部１１０−２−２−１は、再生信号X_Cを入力とし、第一適応フィルタを用いて再生信号X_Cをフィルタリングし、第一擬似エコーY'₁を生成し、出力する。

第一減算部１１０−２−２−２は、強調信号X'_Rと第一擬似エコーY'₁とを入力とし、強調信号X'_Rから第一擬似エコーY'₁を減算し、強調信号X'_R,1を得、出力する。

第二適応フィルタ部１１０−２−２−３は、再生信号Y_Rを入力とし、第二適応フィルタを用いて再生信号Y_Rをフィルタリングし、第二擬似エコーY'₂を生成し、出力する。

第二減算部１１０−２−２−４は、強調信号X'_R,1と第二擬似エコーY'₂とを入力とし、強調信号X'_R,1から第二擬似エコーY'₂を減算し、強調信号X"_Rを得、出力する。

さらに、第一適応フィルタ部１１０−２−２−１は、エコー成分を消去した強調信号X"_R(誤差信号に相当)を入力とし、再生信号X_Cと強調信号X"_Rを用いて第一適応フィルタを更新する。同様に、第二適応フィルタ部１１０−２−２−３は強調信号X"_Rを入力とし、再生信号Y_Rと強調信号X"_Rを用いて第二適応フィルタを更新する。第一適応フィルタ部１１０−１−２−１等と同様の方法により適応フィルタの更新すればよい。

(ハウリング抑圧部１１０−２−３)
ハウリング抑圧部１１０−２−３は、強調信号X"_Rを入力とし、ハウリング成分を抑圧し（Ｓ１１０−２−３）、ハウリング成分抑圧後の信号を再生信号Y_Fとして出力する。ハウリング抑圧部１１０−１−３と同様の方法によりハウリング成分を抑圧すればよい。

＜遅延部１３０＞
遅延部１３０は、再生信号Y_R=[Y_R,1,…,Y_R,N]を入力とし、スピーカ９２Ｒ−１とスピーカ９２Ｒ−２と、後部座席に座る聴取者との位置関係から得られる、スピーカ９２Ｒ−２に対するスピーカ９２Ｒ−１の遅延時間に先行音効果を得るための時間を加えた時間分、再生信号Y_R=[Y_R,1,…,Y_R,N]を遅延させ（Ｓ１３０）、遅延させた再生信号Y'_Rを出力する。ある時刻tに入力された再生信号をY_R(t)とすると、次式により遅延させた再生信号Y'_R(t)を求める。
Y'_R(t)=Y_R(t-δ)
遅延の値δはスピーカ９２Ｒ−１とスピーカ９２Ｒ−２と、後部座席に座る聴取者の位置関係から計算される。仮に図１０のような位置関係の場合、
δ=(d1-d2)/v+δ₀
のように決定する。vは音速である。第一項は空気伝搬にかかる遅延を補償するためで、第二項は先行音効果のための遅延である。先行音効果においてはおおむね1ms後続音が遅れると先行音の方向に音像が感じられることが知られているため、δ₀は1ms〜2ms程度の値とする。

＜ゲイン調整部１２０，１４０＞
ゲイン調整部１２０は、再生信号Y_R=[Y_R,1,…,Y_R,N]を入力とし、ゲインα₁を乗じ（Ｓ１２０）、出力する。スピーカ９２Ｒ−１は、ゲインα₁を乗じた再生信号Y_R1(=α₁Y_R)を再生する。

ゲイン調整部１４０は、遅延させた再生信号Y'_R=[Y'_R,1,…,Y'_R,N]を入力とし、ゲインα₂を乗じ（Ｓ１４０）、出力する。スピーカ９２Ｒ−２は、ゲインα₂を乗じた再生信号Y_R2(=α₂Y'_R)を再生する。

なお、ゲイン調整部１２０はゲインα₁を小さな値に調整し、ゲイン調整部１４０はゲインα₂を大きな値に調整する。先行音効果を狙うスピーカ９２Ｒ−１の音量は、音の定位さえ引っ張れればよいので 音の中身がわかるほど大音量である必要はなく、受聴位置に近いスピーカ９２Ｒ−２で「聞き取りやすい」音量を実現する。もちろん先行音も大きいほうが聞き取りやすいが、スピーカ９２Ｒ−１は受聴位置から遠い（＝相対的には受聴位置寄りのスピーカ９２Ｒ−２よりマイク９１Ｒに近いことに相当）ので、その音量を抑えた方がハウリングを抑圧する効果が高い。以下、調整方法を説明する。

(1)まず、ゲイン調整部１４０は、ミュート(ゲインα₂=0）とし、ゲイン調整部１２０は、ゲインα₁を変化させ、調整用目的音にゲインα₁を乗じてスピーカ９２Ｒ−１で再生し、後席の人が拡声音声を聞き取れる最小のゲインをα_1L、ハウリングしない範囲の最大のゲインをα_1Hとしたときに
α₁=min(α_1L・β_1L,α_1H・β_1H)
のように定める。min()は最小値を返す関数であり、β_1L,β_1Hはそれぞれマージンの値であり、β_1Lはノイズが発生した際にも（走行音などが加わっても）聞き取れるように音量の余裕を見る量で、たとえば+6dB（β_1L=2.0）などであり、β_1Hはノイズが発生した際にも（環境変化などによる）ハウリングが発生しないように調整するためのハウリングマージンの余裕であり、たとえば-6dB(β_1H=0.5)などである。このような構成により(i)聞こえる最低限の音量で音を出す（先行音の効果のみを狙う）とともに、(ii)ハウリングを防ぐために所定の上限を超えたらそれ以上音量を上げないように設定する。

(2)次に、ゲイン調整部１２０は、ミュート(ゲインα₁=0）とし、ゲイン調整部１４０は、ゲインα₂を変化させ、調整用目的音にゲインα₂を乗じてスピーカ９２Ｒ−２で再生し、後席の人が拡声音声を聞き取れる最小のゲインをα_2L、ハウリングしない範囲の最大のゲインをα_2Hとしたときに
α₂=min(α_2L・β_2L,α_2H・β_2H)
のように定める。β_2L,β_2Hはそれぞれマージンの値であり、β_2Lはノイズが発生した際にも（走行音などが加わっても）聞き取れるように音量の余裕を見る量で、たとえば+6dB（β_2L=2.0）などであり、β_2Hはノイズが発生した際にも（環境変化などによる）ハウリングが発生しないように調整するためのハウリングマージンの余裕であり、たとえば-6dB(β_2H=0.5)などである。なお、β_2Lは上述の(1)のβ_1Lよりも(ハウリングしない程度に)大きい値とする。(1)と異なるのは、α₁はなるべくゲインを小さく、α₂はできるだけゲインが大きくするという点である。このような構成により、ハウリングしない範囲で音量を上げる。

(3)上述の(1)(2)で求めたα₁,α₂を両方ONにした系でハウリングしないかを確認する。言い換えると、α₁,α₂を用いてスピーカ９２Ｒ−１，９２Ｒ−２から調整用目的音を再生し、ハウリングしないかを確認する。ハウリングが発生する場合には、β_1H,β_2Hに0より大きく1より小さい所定の値γ（たとえば-3dB、γ=0.70）を乗じて、新たなマージンβ_1H←γβ_1H,β_2H←γβ_2Hを用いて、α₁,α₂を調整し、ハウリングが発生しなくなるまで調整を繰り返す。上述の(1)と(2)の両方を満たすようにα₁,α₂を定めた場合であって、足し算すると(二つの再生信号を同時に再生すると)ハウリングすることがある。(3)の構成により、二つの再生信号を同時に再生したときに生じるハウリングも防ぐことができる。

なお、ゲインα₁,α₂の調整は、集音拡声処理に先立ち予め行う。

＜効果＞
以上の構成により、先行音効果を利用して音像の違和感を低減しつつ、スピーカの追加によるハウリングへの影響を抑えることができる。

先行音効果は、後に聞こえた方の音が10dBほど大きくても生じる。そこで、まず、後席に対して前方に設置されたスピーカ９２Ｒ−１で小さな音(後席の人が拡声音声を聞き取れる音量)で目的音を再生し、先行音効果を生じうる遅延を付与して、後席に対して後方に設置されたスピーカ９２Ｒ−２で大きな音(ただしハウリングを生じない音量)で目的音を再生する。マイク９１Ｒに近いスピーカ９２Ｒ−１で小さな音で再生するため、ハウリングを発生を抑制しやすい。一方で、マイク９１Ｒから遠いスピーカ９２Ｒ−２で大きな音（聞き取りやすい音量）で目的音を再生するため、後席に座る聴取者は目的音を聞き取りやすく、かつ、先行音効果により前席に座る発話者と同じ方向に設置されたスピーカ９２Ｒ−１の方向から音を知覚するため、音像の違和感を低減することができる。

＜変形例１＞
本実施形態では、ヘッドレストの位置にスピーカがある例を示したが、図１１のように車の天井などにスピーカを設置してもよい。

＜変形例２＞
本実施形態では、１列目の右側座席（運転席）と左側座席（助手席）とを区別せずに前席としたが、区別してもよい。例えば、図１２に示すように、３列目の左側座席に座る聴取者から見て１列目の右側座席と同じ方向にスピーカ９２Ｒ１−Ｒを、１列目の左側座席と同じ方向にスピーカ９２Ｒ１−Ｌを配置する。

この場合、指向性集音部１１０−１−１は、集音信号X_F=[X_F,1,…,X_F,M]を入力とし、集音信号X_F=[X_F,1,…,X_F,M]から１列目の右側座席から発せられる目的音を強調した強調信号X'_FRと、１列目の左側座席から発せられる目的音を強調した強調信号X'_FLと求め（例えば、特開2013-179388号公報の技術を用いる）、出力する。スピーカ９２Ｒ１−Ｒはゲインα_１を乗じた、強調信号X'_FRに対応する再生信号Y_RR=[Y_RR,1,…,Y_RR,N]を再生し、スピーカ９２Ｒ１−Ｌはゲインα_１を乗じた、強調信号X'_FLに対応する再生信号Y_RL=[Y_RL,1,…,Y_RL,N]を再生する。さらに、スピーカ９２Ｒ−２は、遅延させた再生信号Y'_RR，Y'_RLにゲインα₂を乗じた信号を再生する。

このような構成とすることで、より一層音像の違和感を低減することができる。

＜変形例３＞
また、本実施形態の図３では、３列シート車を記載したが、２列シート車などでマイクを２か所に設置するスペースがない場合、マイクを１か所に設置しすべての座席の集音を行うことも考えられる。この場合、図１３のようにマイク９１Ｃという１か所のマイクロホンアレイを用いて同様に処理を行う。

＜その他の変形例＞
本実施形態では、目的音強調部１１０−１、１１０−２を備えるが、例えば、集音対象の座席に対して指向性を有する指向性マイクを用いて、座席から発せられる目的音を強調した強調信号を得られるのであれば、目的音強調部１１０−１、１１０−２を用いずに指向性マイクの出力値を遅延部１３０、ゲイン調整部１２０、スピーカ９２Ｆに出力してもよい。また、指向性集音部１１０−１−１，１１０−２−１を用いずに指向性マイクの出力値をエコーキャンセラ部１１０−１−２，１１０−２−２に出力してもよい。

本実施形態では、3列シートで、1列目と3列目にマイクロホンとスピーカを備えた構成としている。これは、1列目と2列目の座席、3列目と2列目の座席の場合、声が届きやすいため、多くの場合、車両内通話を必要としないためである。しかしながら、2列目にマイクロホンとスピーカを備える構成を排除するものではなく、必要に応じて備えてもよい。また、3列シートに限らず、2列シート、4列シート以上を備える車両において本実施形態を適用してもよい。要は、車両内の共通の音場の中で、走行音やカーオーディオの再生音、その他の車外の騒音等で一般的に会話する際の音量では、互いの声が聞こえずらい位置関係にある場合に適用すればよい。

本実施形態では、集音拡声装置は、スピーカとマイクロホンを含まない構成としているが、以下では、スピーカとマイクとを含む集音放音装置として本発明を説明する。集音放音装置は、車両に搭載される。車両内には、2つ以上の集音拡声位置(例えば、前席,後席)が想定される。マイク９１Ｆは、前席に対応し、前席に座る搭乗者から発せられた音を他の座席に座る搭乗者から発せられた音よりも集音しやすい位置に設置される。スピーカ９２Ｒ−２は、後席に対応し、後席に座る搭乗者に他の座席に座る搭乗者よりも届きやすい、かつ、後席に座る搭乗者を基準として前席に座る搭乗者とは異なる方向である位置に設置される。スピーカ９２Ｒ−１は、後席に座る搭乗者を基準として前席に座る搭乗者の方向に設置される。スピーカ９２Ｒ−１，９２Ｒ−２は、マイク９１Ｆにより集音された前席に座る搭乗者から発せられた音を、スピーカ９２Ｒ−２から放音された音よりもスピーカ９２Ｒ−１から放音された音が先に後席に座る搭乗者の耳に到達するよう放音する。

また、集音拡声装置は、以下のように、スピーカ９２Ｒ−１，９２Ｒ−２で再生される音を制御しているとも言える。集音拡声装置は、マイク９１Ｆを用いて収音された音響信号を、車両内の後席を基準として前席の方向に設置されたスピーカ９２Ｒ−１からハウリングを起こさないかつ後席に着席したユーザが聞きとることができる強さで放音するよう制御する。また、集音拡声装置は、後席を基準として前席の方向とは異なる方向かつスピーカ９２Ｒ−１よりも後席に近い位置に設置されたスピーカ９２Ｒ−２からハウリングを起こさないかつ後席に座るユーザが聞き取りやすい強さで、かつ、スピーカ９２Ｒ−１の放音開始よりも後の時間にマイク９１Ｆを用いて収音された音響信号の放音を開始するよう制御する。なお、「集音」とは「音を集めること」を意味し、「収音」とは「音をマイクで受けて電気信号として収めること」を意味する。

＜第二実施形態＞
第一実施形態と異なる部分を中心に説明する。

図１４は第一実施形態に係る集音拡声装置の機能ブロック図を、図１５はその処理フローを示す。

集音拡声装置は、目的音強調部１１０−１，１１０−２と、ゲイン調整部１２０，１４０とを含む。本実施形態の集音拡声装置は、遅延部１３０を含まなくともよい。

＜ゲイン調整部１２０＞
ゲイン調整部１２０は、再生信号Y_R=[Y_R,1,…,Y_R,N]ではなく集音信号X_F=[X_F,1,…,X_F,M]を入力とし、ゲインα₁を乗じ（Ｓ１２０）、出力する。スピーカ９２Ｒ−１は、ゲインα₁を乗じた集音信号X_F(=再生信号Y_R)を再生する。

目的音強調部１１０−１は信号処理により数msの遅延を必要とするため、この部分を通る信号と通らない信号でも遅延差をつけることができる。また第一実施形態のように追加の遅延を入れていないため、信号を集音してからスピーカ９２Ｒ−２から放射するまでの時間は第一実施形態よりも短くて済む。ただし、目的音強調をしていない分ハウリングしやすくなる。

＜目的音強調部１１０−２＞
目的音強調部１１０−２は、マイク９１Ｒで主に３列目の発話者の音声を集音した集音信号X_R=[X_R,1,…,X_R,M]と、マイク９１Ｒで主に１列目の発話者の音声を集音した集音信号X_F=[X_F,1,…,X_F,M]と、再生信号Y_R=[Y_R,1,…,Y_R,N]と、再生信号X_C=[X_C,1,…,X_C,S]とを入力とし、集音信号X_R=[X_F,1,…,X_F,M]から目的音（後方の座席から発せられる音）を強調した再生信号Y_F=[Y_F,1,…,Y_F,N]を求め、出力する。

図１６は目的音強調部１１０−２の機能ブロック図を示す。

目的音強調部１１０−２は、指向性集音部１１０−２−１と、エコーキャンセラ部１１０−２−２と、ハウリング抑圧部１１０−２−３とを含む。指向性集音部１１０−２−１と、ハウリング抑圧部１１０−２−３の処理は第一実施形態で説明した通りなので省略する。

(エコーキャンセラ部１１０−２−２)
エコーキャンセラ部１１０−２−２は、強調信号X'_Rと、集音信号X_Fと、再生信号Y_R=[Y_R,1,…,Y_R,N]と、再生信号X_Cとを入力とし、強調信号X'_Rに含まれるスピーカ９３で再生される音成分やスピーカ９２Ｒ−１，９２Ｒ−２で再生される音成分を消去し、エコー成分を消去した強調信号X"_Rを求め（Ｓ１１０−２−２）、出力する。

図１７は、エコーキャンセラ部１１０−２−２の機能ブロック図を示す。

エコーキャンセラ部１１０−２−２は、第一適応フィルタ部１１０−２−２−１と、第一減算部１１０−２−２−２と、第二適応フィルタ部１１０−２−２−３と、第二減算部１１０−２−２−４と、第三適応フィルタ部１１０−２−２−５と、第三減算部１１０−２−２−６とを含む。

第一適応フィルタ部１１０−２−２−１、第一減算部１１０−２−２−２、第二適応フィルタ部１１０−２−２−３、第二減算部１１０−２−２−４の処理内容は、第一実施形態と同様である。

第三適応フィルタ部１１０−２−２−５は、集音信号X_Fを入力とし、第三適応フィルタを用いて再生信号Y_R2をフィルタリングし、第三擬似エコーY'₃を生成し、出力する。

第三減算部１１０−２−２−６は、強調信号X'_R,2(第二減算部１１０−２−２−４の出力値)と第三擬似エコーY'₃とを入力とし、強調信号X'_R,2から第三擬似エコーY'₃を減算し、強調信号X"_Rを得、出力する。

さらに、第三適応フィルタ部１１０−２−２−５は強調信号X"_Rを入力とし、集音信号X_Fと強調信号X"_Rを用いて第三適応フィルタを更新する。なお、第一適応フィルタ部１１０−１−２−１等と同様の方法により適応フィルタの更新すればよい。

なお、本実施形態と第一実施形態の変形例とを組み合わせてもよい。例えば、図１８は本実施形態と第一実施形態の変形例３を組合せた場合の機能ブロック図を示す。

＜その他の変形例＞
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。

＜プログラム及び記録媒体＞
また、上記の実施形態及び変形例で説明した各装置における各種の処理機能をコンピュータによって実現してもよい。その場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶部に格納する。そして、処理の実行時、このコンピュータは、自己の記憶部に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実施形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよい。さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

また、コンピュータ上で所定のプログラムを実行させることにより、各装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (9)

1. 車両に搭載される集音拡声装置であって、
   前記車両内の第一座席から発せられる目的音を集音し、前記車両内の第二座席に座る聴取者からみて前記第一座席とは異なる方向に配置された第二拡声装置から前記聴取者に対して集音した前記目的音を再生し、さらに、前記聴取者からみて前記第一座席と同じ方向に配置された第一拡声装置から前記聴取者に対して集音した前記目的音を再生するものとし、
   前記目的音に第一ゲインを乗じ、前記第一拡声装置に出力する第一ゲイン調整部と、
   前記第一拡声装置と、前記第二拡声装置と、前記聴取者との位置関係から得られる、前記第二拡声装置に対する前記第一拡声装置の遅延時間に先行音効果を得るための時間を加えた時間分、前記目的音を遅延させる遅延部と、
   遅延させた前記目的音に第二ゲインを乗じ、前記第二拡声装置に出力する第二ゲイン調整部とを含み、
   前記第一ゲイン調整部は前記第一ゲインを小さいに値に調整し、前記第二ゲイン調整部は前記第二ゲインを大きい値に調整する、
   集音拡声装置。
2. 車両に搭載される集音拡声装置であって、
   前記車両内の第一座席から発せられる目的音を集音し、前記車両内の第二座席に座る聴取者からみて前記第一座席とは異なる方向に配置された第二拡声装置から前記聴取者に対して集音した前記目的音を再生し、さらに、前記聴取者からみて前記第一座席と同じ方向に配置された第一拡声装置から前記聴取者に対して集音した前記目的音を再生するものとし、
   前記目的音に第一ゲインを乗じ、前記第一拡声装置に出力する第一ゲイン調整部と、
   1以上のマイクロホンで集音された信号から前記目的音を強調する目的音強調部と、
   強調した前記目的音に第二ゲインを乗じ、前記第二拡声装置に出力する第二ゲイン調整部とを含み、
   強調した前記目的音は、強調していない前記目的音に対して遅延を伴い、
   前記第一ゲイン調整部は前記第一ゲインを小さいに値に調整し、前記第二ゲイン調整部は前記第二ゲインを大きい値に調整する、
   集音拡声装置。
3. 請求項１または請求項２の集音拡声装置であって、
   前記車両内の第一座席から発せられる調整用目的音を集音し、
   前記第一ゲイン調整部は、前記聴取者が再生された前記調整用目的音を聴きとれる最小のゲインと、ハウリングしない範囲の最大のゲインとの何れか小さい値を前記第一ゲインとし、
   前記第二ゲイン調整部は、前記聴取者が再生された前記調整用目的音を聴きとれる最小のゲインと、ハウリングしない範囲の最大のゲインとの何れか小さい値を前記第二ゲインとする、
   集音拡声装置。
4. 請求項３の集音拡声装置であって、
   前記第一ゲイン調整部は、前記聴取者が再生された前記調整用目的音を聴きとれる最小のゲインとノイズが発生した際にも前記調整用目的音が聴きとれるように調整するためのマージンβ_1Lとの積と、ハウリングしない範囲の最大のゲインとノイズが発生した際にもハウリングが発生しないように調整するためのマージンβ_1Hとの積との何れか小さい値を前記第一ゲインとし、
   β_2L>β_1Lとし、前記第二ゲイン調整部は、前記聴取者が再生された前記調整用目的音を聴きとれる最小のゲインとノイズが発生した際にも前記調整用目的音が聴きとれるように調整するためのマージンβ_2Lとの積と、ハウリングしない範囲の最大のゲインとノイズが発生した際にもハウリングが発生しないように調整するためのマージンβ_2Hとの積との何れか小さい値を前記第二ゲインとし、
   前記第一ゲイン調整部で調整した前記第一ゲインと前記第二ゲイン調整部で調整した前記第二ゲインとを用いて前記第一拡声装置と前記第二拡声装置から前記調整用目的音を再生し、ハウリングが発生する場合には、前記マージンβ_1H,β_2Hそれぞれに0より大きく1より小さい所定の値γを乗じた値を新たなマージンβ_1H,β_2Hとして、前記第一ゲイン調整部と前記第二ゲイン調整部においてそれぞれ前記第一ゲインと前記第二ゲインとを調整し、ハウリングが発生しなくなるまで調整を繰り返す、
   集音拡声装置。
5. 車両に搭載される集音拡声装置を用いた集音拡声方法であって、
   前記車両内の第一座席から発せられる目的音を集音し、前記車両内の第二座席に座る聴取者からみて前記第一座席とは異なる方向に配置された第二拡声装置から前記聴取者に対して集音した前記目的音を再生し、さらに、前記聴取者からみて前記第一座席と同じ方向に配置された第一拡声装置から前記聴取者に対して集音した前記目的音を再生するものとし、
   前記集音拡声装置が、前記目的音に第一ゲインを乗じ、前記第一拡声装置に出力する第一ゲイン調整ステップと、
   前記集音拡声装置が、前記第一拡声装置と、前記第二拡声装置と、前記聴取者との位置関係から得られる、前記第二拡声装置に対する前記第一拡声装置の遅延時間に先行音効果を得るための時間を加えた時間分、前記目的音を遅延させる遅延ステップと、
   前記集音拡声装置が、遅延させた前記目的音に第二ゲインを乗じ、前記第二拡声装置に出力する第二ゲイン調整ステップとを含み、
   前記第一ゲイン調整ステップは前記第一ゲインを小さいに値に調整し、前記第二ゲイン調整ステップは前記第二ゲインを大きい値に調整する、
   集音拡声方法。
6. 車両に搭載される集音拡声装置を用いた集音拡声方法であって、
   前記車両内の第一座席から発せられる目的音を集音し、前記車両内の第二座席に座る聴取者からみて前記第一座席とは異なる方向に配置された第二拡声装置から前記聴取者に対して集音した前記目的音を再生し、さらに、前記聴取者からみて前記第一座席と同じ方向に配置された第一拡声装置から前記聴取者に対して集音した前記目的音を再生するものとし、
   前記集音拡声装置が、前記目的音に第一ゲインを乗じ、前記第一拡声装置に出力する第一ゲイン調整ステップと、
   前記集音拡声装置が、1以上のマイクロホンで集音された信号から前記目的音を強調する目的音強調ステップと、
   前記集音拡声装置が、強調した前記目的音に第二ゲインを乗じ、前記第二拡声装置に出力する第二ゲイン調整ステップとを含み、
   強調した前記目的音は、強調していない前記目的音に対して遅延を伴い、
   前記第一ゲイン調整ステップは前記第一ゲインを小さいに値に調整し、前記第二ゲイン調整ステップは前記第二ゲインを大きい値に調整する、
   集音拡声方法。
7. 請求項１から請求項４の何れかの集音拡声装置としてコンピュータを機能させるためのプログラム。
8. 車両に搭載される集音拡声装置であって、
   車両内には2つ以上の集音拡声位置が想定されるものとし、
   前記第一の集音拡声位置に位置する第一対象者から発せられた音を他の集音拡声位置に位置する対象者から発せられた音よりも集音しやすい位置に設置された第一マイクロホンと、
   前記第二の集音拡声位置に位置する第二対象者に他の集音拡声位置に位置する対象者よりも届きやすい、かつ、前記第二対象者を基準として前記第一対象者とは異なる方向である位置に設置された第二スピーカと、
   前記第二対象者を基準として前記第一対象者の方向に設置された第一スピーカと、を含み、
   前記第一スピーカと前記第二スピーカは、前記第一マイクロホンにより集音された前記第一対象者から発せられた音を、前記第二スピーカから放音された音よりも前記第一スピーカから放音された音が先に前記第二対象者の耳に到達するよう放音する、
   集音拡声装置。
9. 車両に搭載される集音拡声装置であって、
   前記車両内の第一の座席に着席した第一のユーザにより発せられた音を主として集音するマイクロホンを用いて収音された音響信号を、
   前記車両内の第二の座席を基準として前記第一の座席の方向に設置された第一スピーカからハウリングを起こさないかつ前記第二の座席に着席した第二のユーザが聞きとることができる強さで放音するよう制御し、
   前記第二の座席を基準として前記第一の座席の方向とは異なる方向かつ前記第一スピーカよりも前記第二の座席に近い位置に設置された第二スピーカからハウリングを起こさないかつ前記第二のユーザが聞き取りやすい強さで、かつ、前記第一スピーカの放音開始よりも後の時間に前記音響信号の放音を開始するよう制御する、
   集音拡声装置。

Images