JP5034819B2

JP5034819B2 - 放収音装置

Info

Publication number: JP5034819B2
Application number: JP2007245187A
Authority: JP
Inventors: 訓史鵜飼; 智鈴木
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2007-09-21
Filing date: 2007-09-21
Publication date: 2012-09-26
Anticipated expiration: 2027-09-21
Also published as: CN101803402B; EP2192791A4; EP2192791A1; WO2009037985A1; US8559647B2; US20100208907A1; JP2009077220A; CN101803402A; EP2192791B1

Description

この発明は、音声信号に基づいて音声を放音するとともに、音声を収音して音声信号を出力する放収音装置に関する。

従来、スピーカからマイクに回り込むエコー成分を除去するものとして音響エコーキャンセラが用いられている（例えば非特許文献１参照）。音響エコーキャンセラは、スピーカからマイクに至る音響伝達系の伝達関数を推定することで、エコー成分を推定し、これを収音信号から除去するものである。
「音響システムとディジタル処理」、大賀寿郎山崎芳男金田豊、電子情報通信学会、1995,pp.210-211

しかし、非特許文献１のエコーキャンセラは、スピーカやマイクの位置が変化して音響伝達系の環境が変化すると、再度推定するまでに時間がかかり、誤差信号が出力されてしまうことがあった。

そこで、この発明は、スピーカとマイクの相対位置が変化する場合であっても安定したエコー除去を実現することができる放収音装置を提供することを目的とする。

この発明の放収音装置は、放音信号に基づいて音声を放音する放音手段と、音声を収音し、収音信号を生成する収音手段と、前記放音信号をフィルタ処理して疑似エコー信号を生成する適応型フィルタを有し、当該疑似エコー信号を前記収音信号から減算することでエコー成分を除去するエコーキャンセラと、前記収音手段が設置される可動部と、前記可動部の移動、および移動量を検出する検出手段と、前記可動部の移動量と前記適応型フィルタのフィルタ係数との関係を規定したテーブルを記憶する記憶手段と、前記検出手段が可動部の移動を検出したとき、前記検出手段から可動部の移動量を入力し、この可動部の移動量に応じたフィルタ係数を前記記憶手段から読み出し、読み出したフィルタ係数を前記適応型フィルタに設定する設定手段と、を備えたことを特徴とする。

この構成では、収音手段（マイク）が可動部に設置されている。可動部の移動量はセンサ等の検出手段で検出する。この移動量とフィルタ係数の関係を予めメモリに記憶しておき、可動部が移動したときには移動量に応じたフィルタ係数を設定する。これにより、スピーカとマイクの位置が相対的に変化した場合であっても、適切なフィルタ係数が即座に設定され、安定したエコー除去を実現することができる。

また、この発明は、さらに、前記設定手段は、前記適応型フィルタに前記フィルタ係数を設定してから所定時間経過後、前記適応型フィルタのフィルタ係数を読み出し、読み出したフィルタ係数を前記記憶手段に記憶させることで、前記テーブルに規定されている可動部の移動量に対するフィルタ係数を更新することを特徴とする。

この構成では、フィルタ係数を設定してから所定時間経過後にメモリの記憶内容を変更する。ある程度の時間が経過すると、適応型フィルタが最適なフィルタ係数を自動設定するため、この適応済のフィルタ係数でメモリの内容を更新し、次回可動部が移動したときには最適なフィルタ係数を設定することができる。

また、この発明は、さらに、前記エコーキャンセラは、前記収音信号からエコー成分を除去した後の残差信号と前記放音信号とに基づいて前記フィルタのフィルタ係数を更新する係数更新手段を備え、前記テーブルは、前記可動部の移動量と、前記係数更新手段における更新パラメータと、の関係をさらに規定し、前記設定手段は、可動部の移動量に応じた更新パラメータを前記記憶手段から読み出し、読み出した更新パラメータを前記係数更新手段に設定することを特徴とする。

この構成では、稼働部の移動量に応じてフィルタ係数を更新する係数更新手段の各種パラメータを変更する。例えば更新を促進するように各種パラメータを変更する。

また、この発明は、さらに、前記エコーキャンセラは、前記放音信号に遅延を付与してから適応型フィルタに入力する遅延回路を備え、前記テーブルは、前記可動部の移動量と、前記遅延回路の遅延量と、の関係をさらに規定し、前記設定手段は、可動部の移動量に応じた遅延量を前記記憶手段から読み出し、読み出した遅延量を前記遅延回路に設定することを特徴とする。

この構成では、適応型フィルタの前段に設けられた遅延回路の遅延量を変更する。スピーカからマイクに至る音響伝達系の遅延量に変化が有った場合であっても、安定したエコー除去を実現することができる。

この発明によれば、スピーカとマイクの相対位置が変化する場合であっても安定したエコー除去を実現することができる。

本発明の実施形態に係る放収音装置について説明する。図１は、放収音装置の外観図（上面図）であり、図２は、放収音装置の構成を示すブロック図である。図１において、紙面上側をＹ方向、紙面下側を−Ｙ方向、紙面右側をＸ方向、紙面左側を−Ｘ方向とする。

放収音装置１は、外観上、筐体１０、アーム１１Ｌ、アーム１１Ｒ、ヒンジ１２Ｌ、ヒンジ１２Ｒ、スピーカ１３Ｌ、スピーカ１３Ｒ、マイクアレイ１５Ａ、マイクアレイ１５Ｂ、およびマイクアレイ１５Ｃを備えている。

筐体１０は、上面から見た形状が三角形（高さの低い三角柱形状）であり、この三角形の中央付近にスピーカ１３Ｌ、スピーカ１３Ｒが設けられ、底辺（−Ｙ方向）にマイクアレイ１５Ｃが設けられている。また、筐体１０は、底辺の左右にヒンジ１２Ｌ、ヒンジ１２Ｒが設けられており、ヒンジ１２Ｌを介してアーム１１Ｌが回動可能に接続され、ヒンジ１２Ｒを介してアーム１１Ｒが回動可能に接続されている。

アーム１１Ｌ、アーム１１Ｒには、それぞれマイクアレイ１５Ｂ、マイクアレイ１５Ａが設けられている。アーム１１Ｌ、アーム１１Ｒは、それぞれ薄い棒形状からなり、片側の端部がそれぞれヒンジ１２Ｌ、ヒンジ１２Ｒに接続されている。図１（Ａ）に示す状態では、マイクアレイ１５Ｂは、アーム１１Ｌの長辺の片側のうち外側（−Ｘ、Ｙ方向）に設けられており、同様に、マイクアレイ１５Ａは、アーム１１Ｒの長辺の片側のうち外側（Ｘ、Ｙ方向）に設けられている。

マイクアレイ１５Ａは、直線配列されたマイクユニット１２１、マイクユニット１２２、マイクユニット１２３、およびマイクユニット１２４により構成される。同様に、マイクアレイ１５Ｂは、直線配列されたマイクユニット１３１、マイクユニット１３２、マイクユニット１３３、およびマイクユニット１３４により構成され、マイクアレイ１５Ｃは、直線配列されたマイクユニット１４１、マイクユニット１４２、マイクユニット１４３、およびマイクユニット１４４により構成される。

図１（Ａ）において、マイクユニット１２１、マイクユニット１２２、マイクユニット１２３、およびマイクユニット１２４の収音方向は、Ｘ，Ｙ方向（紙面右上）に向いている。マイクユニット１３１、マイクユニット１３２、マイクユニット１３３、およびマイクユニット１３４の収音方向は、−Ｘ，Ｙ方向（紙面左上）に向いている。また、マイクユニット１４１、マイクユニット１４２、マイクユニット１４３、およびマイクユニット１４４の収音方向は、−Ｙ方向（紙面下）に向いている。

各マイクユニットが収音した音声は、所定のディレイが付与された後に合成されるため、マイクアレイ全体として強い収音指向性を有する。例えば全てのマイクユニットのディレイを同一とすると、各マイクの正面方向の音声が合成により強調され、正面方向以外の音声は合成により弱められる。その結果、マイクアレイの正面側に強い指向性を有する。

なお、スピーカ１３Ｌおよびスピーカ１３Ｒの放音方向は、筐体１０の上面に向いているが、これらの音声はほぼ無指向で放音されるため、筐体１０の周囲全体に伝搬する。

この放収音装置１は、アーム１１Ｌ、アーム１１Ｒを回動すると、マイクアレイ１５Ｂ、マイクアレイ１５Ａの収音方向を変更することができる。例えば、図１（Ｂ）に示すように、アーム１１Ｌを９０度程度左回転させるとマイクアレイ１５Ｂの収音方向は−Ｘ，−Ｙ方向（紙面左下）に向く。また、アーム１１Ｒを９０度程度右回転させるとマイクアレイ１５Ａの収音方向はＸ，−Ｙ方向（紙面右下）に向く。

図２において、放収音装置１は、入出力インタフェース（Ｉ／Ｆ）５１、制御部５２、メモリ５３、センサ５４、収音信号処理部４０Ａ、収音処理部４０Ｂ、収音処理部４０Ｃ、エコーキャンセラ４１Ａ、エコーキャンセラ４１Ｂ、エコーキャンセラ４１Ｃ、および放音信号処理部６１を備えている。なお、同図において、特に記載無き場合、装置内を伝搬する信号は全てデジタル信号とする。

制御部５２には、入出力Ｉ／Ｆ５１、メモリ５３、センサ５４、エコーキャンセラ４１Ａ、およびエコーキャンセラ４１Ｂが接続されている。

入出力Ｉ／Ｆ５１は、ライン入出力端子やネットワーク端子等を有し、装置外部に音声信号を入出力する。入出力Ｉ／Ｆ５１は、外部から入力した音声信号（放音信号）を放音信号処理部６１に入力する。また、エコーキャンセラ４１Ａ、エコーキャンセラ４１Ｂ、エコーキャンセラ４１Ｃから入力された音声信号を外部に出力する。

放音信号処理部６１は、放音信号のゲイン、ディレイを調整し、スピーカ１３Ｌ，１３Ｒに出力する。なお、放音信号処理部６１は、スピーカ１３Ｌとスピーカ１３Ｒの両方、または一方にのみ放音信号を出力することができ、ステレオ出力、モノラル出力の両方に対応する。また、上記のように、スピーカ１３Ｌとスピーカ１３Ｒに出力するそれぞれの放音信号のゲイン、ディレイを制御することで、受聴者の両耳に到達する音声の時間差、音量差をつけることで仮想音源を設定することもできる。

マイクアレイ１５Ａの各マイクユニットで収音した音声信号（収音信号）は、収音信号処理部４０Ａに入力され、マイクアレイ１５Ｂの各マイクユニットで収音した収音信号は、収音信号処理部４０Ｂに入力され、マイクアレイ１５Ｃの各マイクユニットで収音した収音信号は、収音信号処理部４０Ｃに入力される。

収音信号処理部４０Ａは、各マイクユニットの収音信号のゲイン、ディレイを調整後に合成し、収音ビーム信号として後段に出力する。同様に、収音信号処理部４０Ｂおよび収音信号処理部４０Ｃも、各マイクユニットの収音信号のゲイン、ディレイを調整後に合成し、収音ビーム信号として後段に出力する。

収音信号処理部４０Ａの収音ビーム信号はエコーキャンセラ４１Ａに入力され、収音信号処理部４０Ｂの収音ビーム信号はエコーキャンセラ４１Ｂに入力され、収音信号処理部４０Ｃの収音ビーム信号はエコーキャンセラ４１Ｃに入力される。

図３は、エコーキャンセラ４１Ｃの詳細な構成を示すブロック図であり、図４は、エコーキャンセラ４１Ａの詳細な構成を示すブロック図である。なお、エコーキャンセラ４１Ａとエコーキャンセラ４１Ｂは、同一の構成を有するため、図４においては代表してエコーキャンセラ４１Ａの構成を示す。

まず、図３において、エコーキャンセラ４１Ｃは、ディレイ回路４１１Ｃ、適応型フィルタ４１２Ｃ、加算器４１３Ｃ、および係数推定部４１４Ｃを備えている。

ディレイ回路４１１Ｃは、放音信号処理部６１から放音信号を入力し、所定のディレイを付与する。このディレイは、スピーカ１３Ｌおよびスピーカ１３Ｒからマイクアレイ１５Ｃに至る音響伝達系のディレイに相当するものであり、予め設定しておく。

ディレイ回路４１１Ｃでディレイを付与された放音信号は適応型フィルタ４１２Ｃに入力される。適応型フィルタ４１２Ｃは、この放音信号にフィルタ処理を行い、スピーカ１３Ｌ，１３Ｒからマイクアレイ１５Ｃに回り込む信号（エコー成分）の推定成分（以下、疑似エコー信号と言う）を生成する。この生成した疑似エコー信号を加算器４１３Ｃで収音信号処理部４０Ｃの出力信号から差し引くことでエコー成分を除去する。すなわち、適応型フィルタ４１２Ｃは、スピーカからマイクに至る音響帰還経路の伝達関数を模擬するフィルタ（ＦＩＲフィルタ）である。エコー成分が除去された信号は、入出力Ｉ／Ｆ５１、および係数推定部４１４Ｃに入力される。

入出力Ｉ／Ｆ５１に入力された信号は外部に出力される。係数推定部４１４Ｃは、入力された音声信号とディレイ回路４１１Ｃの出力信号とに基づいて、エコー成分の除去誤差を検出し、疑似エコー信号をエコー成分に近似させるべく適応型フィルタ４１２Ｃのフィルタ係数を自動更新する。

適応型フィルタ４１２Ｃのフィルタ係数は忘却係数やステップサイズと呼ばれる種々のパラメータで更新される。忘却係数は更新の速度を表すものであり、例えば忘却係数を小さくするとそれまでのフィルタ係数を消去して更新を促進することになる。ステップサイズは修正の大きさを表す係数であり、ステップサイズを大きくすると修正したフィルタ係数をより多く利用することとなり、更新を促進することになる。これらのパラメータは、放収音装置が使用される環境を想定して工場出荷時等に予め設定しておく。

以上のようにして、適応型フィルタ４１２Ｃは放収音装置の設置環境に応じてフィルタ係数を更新し、エコー成分を除去することができる。

次に、図４に示すように、エコーキャンセラ４１Ａは、ディレイ回路４１１Ａ、適応型フィルタ４１２Ａ、加算器４１３Ａ、および係数推定部４１４Ａを備えている。

ディレイ回路４１１Ａ、適応型フィルタ４１２Ａ、加算器４１３Ａ、および係数推定部４１４Ａは、それぞれ上述したディレイ回路４１１Ｃ、適応型フィルタ４１２Ｃ、加算器４１３Ｃ、および係数推定部４１４Ｃと同様の機能を有する。そのため、各構成についての詳細な説明は省略する。

同図において、適応型フィルタ４１２Ａおよび係数推定部４１４Ａは、制御部５２に接続されている。制御部５２は、アーム１１Ｌまたはアーム１２Ｒの回転角度が変化したとき、センサ５４の出力信号に応じて、適応型フィルタ４１２Ａのフィルタ係数、および係数推定部４１４Ａのパラメータを設定する。

センサ５４は、例えばヒンジ１２Ｌおよびヒンジ１２Ｒに内蔵されたロータリエンコーダ等からなり、アーム１１Ｌおよびアーム１１Ｒの回転角度を検出し、これらの回転角度に応じた信号（回転角度情報）を制御部５２に出力する。

制御部５２は、センサ５４から入力される回転角度情報に応じて、対応するフィルタ係数、パラメータをメモリ５３から読み出す。メモリ５３には、回転角度情報に応じたフィルタ係数、パラメータが記憶されている。

図５は、メモリ５３に記憶されている回転角度とフィルタ係数、パラメータとの関係を規定したテーブルを示す図である。なお、同図においては、アーム１１Ｒの回転角度とフィルタ係数、パラメータとの関係を規定したテーブルを示すが、アーム１１Ｌについても同様の関係が規定されており、同様のテーブルがメモリ５３に記憶されている。

同図に示すように、このテーブルは、アーム１１Ｒの３０度毎の回転角度（０、３０、６０、９０、１２０、１５０、および１８０度）にそれぞれ対応するフィルタ係数、パラメータが記載されている。これらのフィルタ係数、パラメータは、予め実験等により測定したものである。なお、これらの値は、後述するように実際の使用環境に応じて適宜更新していくものである。

制御部５２は、センサ５４から入力されている回転角度情報が変化したとき、例えば変化後の回転角度情報が９０度を示すものであれば、同図のテーブルに示すフィルタ０４を読み出し、フィルタ０４を適応型フィルタ４１２Ａに設定する。すなわち、適応型フィルタ４１２Ａに現在設定されているフィルタ係数を消去し、フィルタ０４に変更する。また、パラメータ０４（忘却係数、ステップサイズ等）を読み出し、係数推定部４１４Ａに設定する。

以上のように、アーム１１Ｌまたはアーム１１Ｒの回転角度が変化した場合、予め規定しておいたフィルタ係数、パラメータを設定することで、音響伝達系の伝達関数が大きく変化した場合であっても安定したエコー除去を実現することができる。なお、予め規定しておいたフィルタ係数等は、最適な値とは限らないが、実験等で測定したものを基準とするため、アーム角度が変化する前に設定されているフィルタ係数よりも適切なものとなる。

また、制御部５２は、フィルタ係数を設定してから、例えば数秒経過後に適応型フィルタが適応した（実環境に応じて自動更新された）フィルタ係数をメモリ５３に記憶する。例えば、上記のように回転角度情報が９０度を示すものを入力してフィルタ係数を変更した場合、数秒経過後の適応型フィルタ４１２Ａのフィルタ係数を読み出して上記フィルタ０４を更新する。これにより、設置環境に応じた最適なフィルタ係数が保存され、次回アーム角度が変更されたときに、即座に最適なフィルタ係数を設定することができる。

なお、上記の例では、３０度毎の回転角度に対応するフィルタ係数等をメモリ５３に記憶しておく構成を示したが、メモリ容量に余裕があればさらに詳細（例えば１度毎）に回転角度を規定することが可能である。また、センサ５４から入力された回転角度と同じ回転角度が規定されていなければ、最も近い回転角度のフィルタ係数を読み出すようにすればよい。

また、以下のようにして、メモリ５３に記憶されていない回転角度のフィルタ係数を補間することも可能である。

図６は、フィルタ係数の補間手法を示す図である。同図に示すグラフは、適応型フィルタのインパルス応答を示すものであり、横軸は時間、縦軸はレベルを表す。図６においては、回転角度が１５度に変化した場合のフィルタ係数の補間手法を説明する。同図（Ａ）は、回転角度が０度の時のインパルス応答であり、同図（Ｂ）は、回転角度が３０度の時のインパルス応答である。

制御部５２は、回転角度が１５度に変化したとき、メモリ５３に記憶されている回転角度のフィルタ係数のうち、１５度の前後（０度、および３０度）のフィルタ係数を読み出す。これらのフィルタ係数によるインパルス応答が同図（Ａ）および同図（Ｂ）に示すものとなる。制御部５２は、これらのインパルス応答から１５度のフィルタ係数を補完する。すなわち、同図（Ａ）のインパルス応答のピーク（直接到達音のピーク）と同図（Ｂ）のインパルス応答のピークを検出し、これらのピークの時間軸上の平均値を算出する。この平均値を回転角度１５度のインパルス応答のピークとして推定する。さらに、同図（Ａ）および同図（Ｂ）に示すインパルス応答を上記平均値に時間軸移動させ、これらのレベルを平均化する。このようにして平均化したものを回転角度１５度のインパルス応答とする。これにより、回転角度１５度に対応するフィルタ係数を求め、適応型フィルタに設定する。メモリ５３の容量に余裕が有れば、以上のようにして補完したフィルタ係数をメモリ５３に記憶しておいてもよい。

なお、上記実施形態では、適応型フィルタのフィルタ係数、係数推定部の各種パラメータを設定する例を示したが、回転角度が変化したときに設定するものはフィルタ係数だけであってもよいし、係数推定部のパラメータだけであってもよい。また、これ以外にも、適応型フィルタのタップ数を変更したり、ディレイ回路のディレイ量を変更するようにしてもよい。

実際の残響時間よりもタップ数が多い場合、エコー成分の除去に寄与せずに逆位相の信号を加算することもあり、かえって別の信号が加わってしまうことにもなる。また、逆にタップ数が多いと演算量が増大し、適応型フィルタの処理に負担がかかることとなる。そこで、実際の音響伝達系に応じたタップ数を設定することで、安定したエコー除去を実現することができる。

また、マイクアレイの位置が変化すると、スピーカとマイクアレイとの距離が変化するため、音響伝達系の遅延量も変化する。ディレイ回路のディレイが音響伝達系の遅延量に比べて大きすぎる場合、実際のエコー成分の時間遅延よりも大きく遅れた信号が適応型フィルタに入力され、エコー成分の推定ができない状態となる。そこで、ディレイ回路のディレイ量を変更することで安定したエコー成分の除去を実現することができる。

放収音装置の外観図である。放収音装置の構成を示すブロック図である。エコーキャンセラ４１Ｃの詳細な構成を示すブロック図である。エコーキャンセラ４１Ａの詳細な構成を示すブロック図である。メモリ５３に記憶されている回転角度とフィルタ係数、パラメータとの関係を規定したテーブルを示す図である。フィルタ係数の補間手法を示す図である。

符号の説明

１−放収音装置
１０−筐体
１１Ｌ，１１Ｒ−アーム
１２Ｌ，１２Ｒ−ヒンジ
１３Ｌ，１３Ｒ−スピーカ
１５Ａ，１５Ｂ，１５Ｃ−マイクアレイ

Claims

放音信号に基づいて音声を放音する放音手段と、
音声を収音し、収音信号を生成する収音手段と、
前記放音信号をフィルタ処理して疑似エコー信号を生成する適応型フィルタを有し、当該疑似エコー信号を前記収音信号から減算することでエコー成分を除去するエコーキャンセラと、
前記収音手段が設置される可動部と、
前記可動部の移動、および移動量を検出する検出手段と、
前記可動部の移動量と前記適応型フィルタのフィルタ係数との関係を規定したテーブルを記憶する記憶手段と、
前記検出手段が可動部の移動を検出したとき、前記検出手段から可動部の移動量を入力し、この可動部の移動量に応じたフィルタ係数を前記記憶手段から読み出し、読み出したフィルタ係数を前記適応型フィルタに設定する設定手段と、
を備え、
前記エコーキャンセラは、前記収音信号からエコー成分を除去した後の残差信号と前記放音信号とに基づいて前記フィルタのフィルタ係数を更新する係数更新手段を備え、
前記テーブルは、前記可動部の移動量と、前記係数更新手段における更新パラメータと、の関係をさらに規定し、
前記設定手段は、可動部の移動量に応じた更新パラメータを前記記憶手段から読み出し、読み出した更新パラメータを前記係数更新手段に設定することを特徴とする放収音装置。
前記設定手段は、前記適応型フィルタに前記フィルタ係数を設定してから所定時間経過後、前記適応型フィルタのフィルタ係数を読み出し、読み出したフィルタ係数を前記記憶手段に記憶させることで、前記テーブルに規定されている可動部の移動量に対するフィルタ係数を更新する請求項１に記載の放収音装置。
前記エコーキャンセラは、前記放音信号に遅延を付与してから適応型フィルタに入力する遅延回路を備え、
前記テーブルは、前記可動部の移動量と、前記遅延回路の遅延量と、の関係をさらに規定し、
前記設定手段は、可動部の移動量に応じた遅延量を前記記憶手段から読み出し、読み出した遅延量を前記遅延回路に設定する請求項１または請求項２に記載の放収音装置。