JP4146214B2

JP4146214B2 - 反響消去装置

Info

Publication number: JP4146214B2
Application number: JP2002329781A
Authority: JP
Inventors: 末廣島内; 陽一羽田; 澄宇阪内; 暁江村
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2002-11-13
Filing date: 2002-11-13
Publication date: 2008-09-10
Anticipated expiration: 2022-11-13
Also published as: JP2004165994A

Description

【０００１】
【産業上の利用分野】
この発明は、反響消去装置、反響消去方法および反響消去プログラムに関し、特に、音声通信会議が行われる会議室その他の音場において、スピーカから放射されてマイクロホンへ回り込み、ハウリングの原因となり、聴覚上の障害を引き起こす反響を消去する反響消去装置、反響消去方法および反響消去プログラムに関する。
【０００２】
【従来の技術】
図７を参照して従来例を説明するに、反響消去装置１００は、スピーカ２と、マイクロホン３と、スピーカ２からマイクロホン３へ回り込む反響を消去する反響消去部５を共通の筐体に収容して構成される。ここで、反響消去部５には、相手側端末から通信回線を介して伝送され再生されるべき音声信号が入力される再生音声信号入力部１が接続している。反響消去部５には、また、マイクロホン３により収音され反響消去された相手側端末に対して通信回線を介して伝送されるべき収音音声信号を出力する収音音声信号出力部４が接続している。音声通信会議は、この反響消去装置１００を端末に組み込むことにより、音声信号に与える反響による妨害を緩和して適正に実施することができる（特許文献１参照)。
【０００３】
この反響消去装置の従来例は、再生音声信号入力部１を介して相手側端末の音声信号を入力し、これを内蔵されるスピーカ２により再生する一方、内蔵されるマイクロホン３により得られたマイクロホン音声信号から、このマイクロホン３に内蔵スピーカ２から回り込み発生する反響信号を減算消去して得られた収音音声信号を収音音声信号出力部４を介して相手側端末に出力する。また、この反響消去装置１００内の反響消去部５は、再生音声信号入力部１に入力される内蔵スピーカ２により再生されるべき再生音声信号を反響消去部５で参照し、この参照信号と内蔵マイクロホン３により得られたマイクロホン音声信号とを使用してスピーカ２とマイクロホン３の間の伝達特性を推定し、反響の推定信号を得、この推定信号を反響信号から差し引くことにより、内蔵マイクロホン３への反響の消去を行っている（特許文献２参照)。
【０００４】
以上の従来の反響消去装置は、同一室内においてこの反響消去装置と同居するテレビ、オーディオ装置その他の音響装置のスピーカ、即ち、反響消去装置の内蔵スピーカから見て外部スピーカ、の発生する音声が、この反響消去装置の内蔵マイクロホンに回り込んだ場合、この音声に起因する雑音信号は消去することはできない。なお、これに関連する従来技術として、スピーカとマイクロホンの間の伝達特性を推定し、反響の推定信号を得、この推定信号を反響信号から差し引くことにより、内蔵マイクロホンへの反響の消去する反響消去装置において、音響装置において外部スピーカに供給される音声信号を、相手側端末から入力する音声信号の代わりに学習信号として常時、或は相手側端末が送話していない時に学習信号入力端子７に入力しておくこと自体は知られている。これを図８を参照して簡単に説明すると、テレビ、ラジオ、ＣＤプレイヤ、ＢＧＭその他の音楽或は環境音を放声する音響機器は、個別にスピーカを具備している。これらの音響機器は、通常、スピーカの出力端子をも併せて具備している。これらの音響機器の出力する音声信号を学習信号として常時、或は相手側話者が送話していない時に学習信号入力端子７に入力する。学習信号入力端子７に入力する学習信号と受話音声信号入力端子４に入力される音声信号とは加算器８において加算、出力される。受話音声信号がない時は学習信号のみが加算器８より出力されることになる。加算器８から出力される学習信号はスピーカ１において拡声放射される。スピーカ１から放射された音声は空間を介してマイク２に回り込み、反響としてこれを収音する。マイク２により収音された反響信号は、差分器６において、空間を含む伝達経路を模擬する適応フィルタ３を介して出力される模擬の反響音声信号との間の差分を取られる。適応フィルタ３は差分器６の差分が０となる様にフィルタ係数を学習し、その結果、送話音声信号出力端子５における反響音号は消去される（特許文献３参照）。
【０００５】
以上の反響消去装置の従来例は、また、相手端末と、通信回線を２回線利用して、ステレオ音声化して通話を行おうとした場合、１回線毎に反響消去装置を１台づつ接続することになるが、一方の反響消去装置の内蔵スピーカから、他方の反響消去装置の内蔵マイクロホンヘ回り込む反響であるクロス反響は消去することはできない。
ここで、図９を参照して適応フィルタ(adaptive filter)Ｗ（ｋ）の原理を極く簡単に説明しておく。適応フィルタＷ（ｋ）は、入力信号をｘ（ｋ）とし、出力信号ｙ（ｋ）を目標信号ｄ（ｋ）に近づけて行く機能をもったフィルタで、大変有用な要素技術である。従って、適応フィルタＷ（ｋ）は、騒音制御、反響消去装置、音場再生、適応形マイクロホンアレイその他の数多くの音響システムの中に利用されている。この適応フィルタＷ（ｋ）は、その出力信号ｙ（ｋ）が目標信号ｄ（ｋ）に近くなるように、言い換えると、図に示した誤差信号(error signa1）ｅ（ｋ)のパワーが最小になるように,自分自身の特性を調節する。この特性の調節方法は適応アルゴリズムと呼ばれ、入力信号ｘ（ｋ）と誤差信号ｅ（ｋ)とに基づいて行われる。このように、適応フィルタＷ（ｋ）は、入力信号ｘ（ｋ）および誤差信号ｅ（ｋ）を与えておくだけで、自動的に誤差信号ｅ（ｋ)のパワーを小さくするという大変有用な機能をもったフィルタである。
【０００６】
適応フィルタは、通常、ＦＩＲフィルタによって構成される。その出力信号ｙ（ｋ）は入力信号ｘ（ｋ）と時変のフィルタ係数(タップ係数とも呼ばれる)ｗ_i（ｋ）、ｉ＝１、２、・・・、Ｌ、の積和として合成される。この積和を求めるに、適応アルゴリズムが使用される。適応アルゴリズム(adaptive algorithm)とは、各時刻で観測される入力信号ｘ（ｋ）と誤差信号ｅ（ｋ)を用いて、フィルタ係数を少しずつ修正しながら最適係数ｗ。を求めて行く計算手順である。代表的な適応アルゴリズムとしては、学習同定法、ＬＭＳ法、射影法、ＲＬＳ法その他の方法が知られている（非特許文献１参照）。
【０００７】
ここで、図８および図９の両適応フィルタを比較対照してみるに、加算器８の出力が入力信号ｘ（ｋ）に対応し、適応フィルタ３の出力が出力信号ｙ（ｋ）に対応し、差分器６の出力が誤差信号ｅ（ｋ)に対応し、マイクロホン２の出力が目標信号ｄ（ｋ）に対応しているところから、この適応フィルタを使用して一般的に反響消去装置を容易に構成することができる。
【０００８】
【特許文献１】
特開平１１-２２５３９１号公報(第１図)
【特許文献２】
特開平６一１１３０２７号公報(第１図)
【特許文献３】
特開平８一１６３００９号公報
【非特許文献１】
大賀寿郎他２名著、「音響システムとディジタル処理」、社団法人電子情報通信学会、平成７年３月２５日発行、第１３６〜１４１頁
【０００９】
【発明が解決しようとする課題】
この発明は、内蔵スピーカに起因して発生する反響信号を消去すると共に、同一室内において反響消去装置と同居するテレビ、オーディオ装置その他の音響装置のスピーカ、即ち、外部スピーカの発生する音響が内蔵マイクロホンに回り込んで発生する外部スピーカ反響信号を消去し、更にクロス反響をも消去する反響消去装置を提供するものである。
【００１０】
【課題を解決するための手段】
再生音声信号入力部１と、再生音声信号を再生するスピーカ２と、マイクロホン３と、マイクロホン３により収音された音声信号を出力する収音音声信号出力部４と、スピーカ２からマイクロホン３へ回り込む反響信号を消去する反響消去部５とを有する反響消去装置１００において、補助音声信号入力部６と、外部スピーカ２０からマイクロホン３へ回り込む外部スピーカ反響信号を消去する補助反響消去部７とを具備する反響消去装置を構成した。
そして、マイクロホン３を反響消去部５に接続し、収音音声信号出力部４を補助反響消去部７に接続した反響消去装置を構成した。
また、マイクロホン３を補助反響消去部７に接続し、収音音声信号出力部４を反響消去部５に接続した反響消去装置を構成した。
更に、マイクロホン３および収音音声信号出力部４を反響消去部５に接続し、
補助反響消去部７を反響消去部５内部に組み込んでデータを共有した反響消去装置を構成した。
【００１１】
ここで、先の反響消去装置において、補助音声信号入力部６への信号の入力の有無を判定する補助音声入力判定部８と、補助音声入力判定部８の判定結果に基づいて反響消去部５と補助反響消去部７との間で演算処理用資源の割当てを決定する演算資源割当部９を有する反響消去装置を構成した。
そして、補助音声入力判定部８の判定結果が補助音声入力無しの場は、反響消去部５の演算資源の割当てを最大とすると共に補助反響消去部７には演算資源を割当てず、補助音声入力判定部８の判定結果が補助音声入力有りの場合は、反響消去部５の演算資源の割当てを減らすと共に補助反響消去部７への演算資源の割当てを増やす反響消去装置を構成した。
また、反響消去部５および補助反響消去部７に接続してこれらに動作パラメータを入出力する情報入出力部１０を具備した反響消去装置を構成した。
更に、反響消去部５および補助反響消去部７を実現する機能の内の当該反響消去装置１００内で実行させる機能を選択する実行機能選択部１１を情報入出力部１０に接続した反響消去装置を構成した。
【００１２】
ここで、再生音声信号を参照信号とし、この参照信号とマイクロホン音声信号とを使用してスピーカ２とマイクロホン３との間の伝達特性を推定し、反響の推定信号を得、この推定信号をマイクロホン音声信号から差し引くことにより反響を消去し、補助音声信号を参照信号とし、この参照信号と反響除去後のマイクロホン音声信号とを使用して外部スピーカ２０とマイクロホン３の間の伝達特性を推定し、外部スピーカ反響の推定信号を得、この推定信号を反響除去後のマイクロホン音声信号から差し引くことにより外部スピーカ反響を消去する反響消去方法を構成した。
そして、補助音声信号を参照信号とし、この参照信号とマイクロホン音声信号とを使用して外部スピーカとマイクロホンの間の伝達特性を推定し、外部スピーカ反響の推定信号を得、この推定信号をマイクロホン音声信号から差し引くことにより外部スピーカ反響を消去し、再生音声信号を参照信号とし、この参照信号と外部スピーカ反響除去後のマイクロホン音声信号とを使用してスピーカとマイクロホンの間の伝達特性を推定し、反響の推定信号を得、この推定信号を外部スピーカ反響除去後のマイクロホン音声信号から差し引くことにより反響を消去する反響消去方法を構成した。
【００１３】
また、再生音声信号と補助音声信号とを同時に参照信号とし、これら参照信号とマイクロホン音声信号とを使用して、スピーカとマイクロホンの間、および外部スピーカとマイクロホンの間の伝達特性を同時に推定し、これら推定伝達特性と参照信号を使用してスピーカおよび外部スピーカからマイクロホンへの反響の推定信号をそれぞれ得、これら推定信号をマイクロホン音声信号から差し引くことにより反響を消去する反響消去方法を構成した。
更に、再生音声信号とマイクロホン音声信号とを使用して伝達特性を推定し、反響の推定信号を得、この推定信号を反響信号から差し引き、補助音声信号と反響除去後音声信号とを使用して伝達特性を推定し、外部スピーカ反響の推定信号を得、この推定信号を反響除去後音声信号から差し引く指令をコンピュータに対して実行する反響消去プログラムを構成した。
【００１４】
【発明の実施の形態】
この発明の実施の形態を図の実施例を参照して説明する。
（実施例１）
図１の反響消去装置１００は、図７の従来例において反響消去部５の他に補助反響消去部７をも具備するものに相当する。図１の反響消去部５は、再生音声信号入力部１に入力される内蔵スピーカ２により再生されるべき再生音声信号を反響消去部５で参照し、内蔵マイクロホン３により得られたマイクロホン音声信号とこの参照信号とを使用してスピーカ２とマイクロホン３の間の伝達特性を推定し、反響の推定信号を得、この推定信号を反響信号から差し引くことにより反響を消去する。
補助反響消去部７は反響消去部５に接続し、内蔵マイクロホン３により収音され内蔵スピーカ２による反響を消去された反響除去後音声信号が入力される。
そして、この補助反響消去部７には、同一室内において反響消去装置と同居するテレビ、オーディオ装置その他の音響装置のスピーカ、即ち、外部スピーカ２０に供給される補助音声信号を参照信号として入力する補助入力部６が設けられている。ところで、この外部スピーカ２０の発生する音声も内蔵マイクロホン３に外部スピーカ反響として回り込み、電話による音声通信に悪影響を及ぼす。
【００１５】
この補助反響消去部７は、補助入力部６から供給される補助音声信号を参照信号とし、この参照信号と反響消去部５により得られた反響除去後音声信号とを使用し外部スピーカ２０とマイクロホン３の間の伝達特性を推定し、外部スピーカ反響の推定信号を得、この推定信号を反響除去後音声信号から差し引くことにより、内蔵マイクロホン３への外部スピーカ反響を消去し、相手側端末に対して通信回線を介して伝送されるべき収音音声信号を得る。この収音音声信は反響消去部５に接続する収音音声信号出力部４を介して出力される。
図１の実施例２は、図７の従来例の反響消去部５をそのまま流用できる点で実装にメリットがあるが、再生音声入力部１に入力される再生音声信号と補助音声入力部６に入力される補助音声信号との間の相関が高い場合、反響消去部５と補助反響消去部７との間で悪影響を及ぼし合うことがある。
以上の通りにして、内蔵スピーカ２による反響および外部スピーカ２０による外部スピーカ反響を消去することができる。
【００１６】
（実施例２）
図２を参照して実施例２を説明するに、これは図１の実施例１において補助反響消去部７の配置を変えたものであり、内蔵マイクロホン３を補助反響消去部７に接続している。この補助反響消去部７は、補助入力部６から供給される補助音声信号を参照信号とし、この参照信号とマイクロホン音声信号とを使用して外部スピーカ２０とマイクロホン３の間の伝達特性を推定し、外部スピーカ反響の推定信号を得、この推定信号をマイクロホン音声信号から差し引くことにより、内蔵マイクロホン３への外部スピーカ反響を消去し、外部スピーカ反響除去後信号を出力する。この外部スピーカ反響除去後信号を補助反響消去部７に供給する。次いで、反響消去部５は、再生音声信号入力部１に入力される内蔵スピーカ２により再生されるべき再生音声信号を参照信号とし、この参照信号と内蔵マイクロホン３により得られたマイクロホン音声信号とを使用して内蔵スピーカ２とマイクロホン３の間の伝達特性を推定し、反響の推定信号を得、この推定信号を外部スピーカ反響除去後信号から差し引くことにより、内蔵マイクロホン３への反響を消去する。
図２の実施例２も、図７の従来の反響消去部５をそのまま流用できる点で実装にメリットがあるが、再生音声入力部１に入力される再生音声信号と補助音声入力部６に入力される補助音声信号との間の相関が高い場合、反響消去部５と補助反響消去部７との間で悪影響を及ぼし合うことがある。
【００１７】
（実施例３）
図３を参照して実施例３を説明するに、これは図１の実施例１における補助反響消去部７の配置を変えたものであり、反響消去部５の内部機能として補助反響消去部７を埋め込み、反響消去誤差その他の情報を共有する構成としている。
ここで、実施例３の動作について説明する。再生音声信号と補助音声信号とを同時に参照信号とし、これら参照信号とマイクロホン音声信号とを使用して、スピーカとマイクロホンの間、および外部スピーカとマイクロホンの間の伝達特性を同時に推定し、これら推定伝達特性と参照信号を使用してスピーカおよび外部スピーカからマイクロホンへの反響の推定信号をそれぞれ得、これら推定信号をマイクロホン音声信号から差し引くことにより反響を消去する。
反響消去部５の内部に補助反響消去部７を埋め込む実装はやや複雑になるものの、反響消去誤差その他の情報を共有して反響消去部５と補助反響消去部７とを同時に動作させて効率的に反響を消去を実行する。そして、反響消去部５と補助反響消去部７との間で信号間の相関が高い場合でも動作安定性が高まる。
【００１８】
（実施例４）
図４を参照して実施例４を説明するに、この実施例４も図１の実施例１を基本として構成されており、実施例１の構成に補助音声入力判定部８および演算資源割当部９が付加接続されている。
補助音声入力判定部８は、補助音声信号入力部６に接続して補助音声入力の有無を判定し、判定結果を出力する。演算資源割当部９は、補助音声入力判定部８に接続してその判定結果を入力し、判定結果に基づいて反響消去部５と補助反響消去部７の演算資源の割合を制御する。この制御の一例を説明するに、補助音声入力が存在しない場合、補助反響部７を動作させないで、一般の反響消去装置として動作させることができる。また、補助音声入力が存在する場合は、補助反響部７の演算処理量が増えるが、反響消去部５の演算処理量を効果的に削減して、全体としての演算処理量の増加を抑制する制御を実行する。
【００１９】
（実施例５）
図５を参照して実施例５を説明するに、この実施例５も図１の実施例１を基本として構成されており、実施例１の構成に情報入出力部１０が付加接続されている。実施例５において、情報入出力部１０を具備することにより、反響消去部５と補助反響消去部７に対して動作パラメータの入出力をする。情報入出力部１０としては、他の装置、コンピュータとデータ交換するデジタルインタフェースが使用され、或いは、スイッチ、インジケータの如きマンマシンインタフェースを使用することができる。
ここで、通信回線を２回線使用して通信相手側とステレオ音声化した通話を行う場合を例にとって、この情報入出力部１０の利用の仕方を説明する。この場合、反響消去装置１００を２台使用し、各反響消去装置１００の再生音声信号入力部１に入力する再生音声信号を、他方の反響消去装置１００の補助音声信号入力部６にクロスさせて入力する。ここで、反響消去部５が再生音声信号に動的な損失を加えてスピーカ２から再生するハウリング防止機能を有するものである場合、補助音声信号入力部６に入力された信号と実際に他方の反響消去装置１００で内蔵スピーカ２から再生される信号との間に、動的な揺らぎが生じる。この揺らぎは、そのままでは、反響消去性能を劣化させる。そこで、情報入出力部１０により、動的な損失量を反響消去装置１００双方の間で入出力し、共有することによりこの問題を解決することができる。
【００２０】
（実施例６）
図６を参照して実施例６を説明するに、この実施例６は図５の実施例５における情報入出力部１０の別の利用の仕方をする例であり、反響消去部５および補助反響消去部７を実現する機能の内の当該反響消去装置１００内で実行させる機能を選択する実行機能選択部１１を具備している。
ここで、外部スピーカ２０がパ一ソナルコンピユータＰＣの付属スピーカであり、これから再生され、反響消去装置１００の内蔵マイクロホン３に回り込む外部スピーカ反響を消去する場合、パ一ソナルコンピユータＰＣのＣＰＵ資源も外部スピーカ反響消去に利用した方が効果的である場合がある。このとき、反響消去装置１００の反響消去部５および補助反響消去部７の機能の一部をパ一ソナルコンピユータＰＣに転嫁したり、場合によっては、当該反響消去装置１００とは同一ではない逆に優れた代替機能に置換したりすることができる。この場合、反響消去部５および補助反響消去部７を実現する機能の内の当該反響消去装置１００内で実行させる機能を選択する実行機能選択部１１を具備してこれを情報入出力部１０に接続する。情報入出力部１０から入力される指示に基づいて実行機能選択部１１により実行機能を選択し、選択されなかった機能をパ一ソナルコンピユータＰＣで実現することができる。情報入出力部１０に対する実行機能を選択する入力信号は、パ一ソナルコンピユータＰＣからデジタルインタフェースを介した入力により、或いは物理的なスイッチ選択／切り替えにより実行することｈができる。
そして、以上の反響消去装置をコンピュータを主要な構成部材として構成することができる。また、このコンピュータにＣＤその他の記憶媒体からダウンロードし或いは通信回線を介してダウンロードしたプログラムをインストールしてこの発明の反響消去装置を実施することができる。
【００２１】
【発明の効果】
上述した通りであって、この発明に依れば、この発明の反響消去装置と同一室内にあるテレビやオーディオなどの音声が、本発明装置の内蔵マイクロホンに回り込んだ場合でも、補助音声入力部に入力されるテレビ、オーディオその他の音響装置の音声に基づいてこの反響を消去することができる。また、通信相手と、通信回線を２回線利用して、ステレオ音声化して通話を行う場合も、この発明の反響消去装置を２台利用し、補助音声入力部に、他方の反響消去装置の再生音声入力部への入力と同じ信号を入力することにより、一方のスピーカから他方のマイクロホンヘ回り込むクロス反響をも消去することができる。
【図面の簡単な説明】
【図１】実施例１を説明する図。
【図２】実施例２を説明する図。
【図３】実施例３を説明する図。
【図４】実施例４を説明する図。
【図５】実施例５を説明する図。
【図６】実施例６を説明する図。
【図７】従来例を説明する図。
【図８】外部スピーカの音声信号を学習信号とする例を説明する図。
【図９】適応フィルタを説明する図。
【符号の説明】
１再生音声信号入力部２スピーカ
３マイクロホン４収音音声信号出力部
５反響消去部６補助音声信号入力部
７補助反響消去部２０外部スピーカ

Claims

再生音声信号入力部と、再生音声信号を再生するスピーカと、マイクロホンと、マイクロホンにより収音された音声信号を出力する収音音声信号出力部と、スピーカからマイクロホンへ回り込む反響信号を消去する反響消去部とを有する反響消去装置において、
補助音声信号入力部と、外部スピーカからマイクロホンへ回り込む外部スピーカ反響信号を消去する補助反響消去部と、
反響消去部および補助反響消去部に接続してこれらに動作パラメータを入出力する情報入出力部とを具備することを特徴とする反響消去装置。
請求項１に記載される反響消去装置において、
マイクロホンを反響消去部に接続し、
収音音声信号出力部を補助反響消去部に接続したことを特徴とする反響消去装置。
請求項１に記載される反響消去装置において、
マイクロホンを補助反響消去部に接続し、
収音音声信号出力部を反響消去部に接続したことを特徴とする反響消去装置。
請求項１に記載される反響消去装置において、
マイクロホンおよび収音音声信号出力部を反響消去部に接続し、
補助反響消去部を反響消去部内部に組み込んでデータを共有したことを特徴とする反響消去装置。
請求項１ないし請求項４の内の何れかに記載される反響消去装置において、
補助音声信号入力部への信号の入力の有無を判定する補助音声入力判定部と、補助音声入力判定部の判定結果に基づいて反響消去部と補助反響消去部との間で演算処理用資源の割当てを決定する演算資源割当部を有することを特徴とする反響消去装置。
請求項５に記載される反響消去装置において、
補助音声入力判定部の判定結果が補助音声入力無しの場合は、反響消去部の演算資源の割当てを最大とすると共に補助反響消去部には演算資源を割当てず、補助音声入力判定部の判定結果が補助音声入力有りの場合は、反響消去部の演算資源の割当てを減らすと共に補助反響消去部への演算資源の割当てを増やすことを特徴とする反響消去装置。
請求項１乃至６のいずれかに記載される反響消去装置において、
反響消去部および補助反響消去部７を実現する機能の内の当該反響消去装置内で実行させる機能を選択する実行機能選択部を情報入出力部に接続したことを特徴とする反響消去装置。