JP4104626B2 - 収音方法及び収音装置 - Google Patents

Description

この発明は収音方法及び収音装置に関し、特に、複数の音源からの送話音声を収音し、それぞれの音量を調整して出力する収音方法及び収音装置に関する。

例えば互いに離れた複数地点間で行う遠隔会議（ｔｅｌｅｃｏｎｆｅｒｅｎｃｅ）においては、各地点で異なる位置の複数の参加者の音声を１つのマイクロホンで収音すると、参加者ごとにマイクロホンまでの距離、及び発声音量が異なるため、受音信号レベルが大きく異なってしまう。遠隔地点の受信側では、送信側の参加者によって再生音声の音量が大きく異なり、非常に聞き取りにくい場合がある。
図１７は例えば日本国特許出願公開８−２５０９４４に示されている従来の収音装置の原理的構成をブロック図で示す。この従来の収音装置は、マイクロホン４１と、パワー算出部４２と、増幅率設定部４３と、増幅器４４により構成される。パワー算出部４２は、マイクロホン４１で受音された信号の長時間平均パワーＰ_ａｖｅを求める。長時間平均パワーは、受音信号を二乗し、時間積分することで求めることができる。次に、増幅率設定部４３は、パワー算出部４２で算出された受音信号の長時間平均パワーＰ_ａｖｅと、あらかじめ設定した所望の送出レベルＰ_ｏｐｔに基づき、増幅率Ｇを設定する。増幅率Ｇは、例えば、次式（１）により求められる。

増幅器４４は、設定された増幅率Ｇで、マイクロホン受音信号を増幅し、出力する。
以上の処理により、出力信号パワーは、所望の送出レベルＰ_ｏｐｔとなり、音量が自動的に調整される。しかし、従来技術の収音方法では、長時間平均パワーを基に増幅率を決定しているので、適切な増幅率が設定されるまでに数秒から数十秒の遅延が生じる。これにより、話者が複数人存在し、それぞれの話者音声が異なるレベルでマイクロホンに収音される場合、発話者が切り替るたびに、増幅率設定の適応が遅れ、不適切な音量となるという問題が生じる。
この発明の目的は、話者が複数人存在し、それぞれの話者音声が異なるレベルでマイクロホンに収音される場合においても、各話者音声が適切な音量となるように音量を自動調整する収音装置、収音方法、及びそのプログラムを提供することである。

この発明による複数チャネルのマイクロホンにより音源から発せられた音を収音する収音方法は、
（ａ）上記複数チャネルのマイクロホンで受音された受音信号から、発話区間を判定する発話判定段階を含む状態判定段階と、
（ｂ）上記発話判定段階において発話区間と判定された場合に、上記受音信号から、各音源位置を検出する音源位置検出段階と、
（ｃ）上記受音信号を周波数領域の信号に変換する周波数領域変換段階と、
（ｄ）上記周波数領域の受音信号の共分散行列を算出する共分散行列算出段階と、
（ｅ）上記音源位置検出段階の検出結果に基づき、各音源に対し上記共分散行列を記憶する共分散行列記憶段階と、
（ｆ）記憶されている上記共分散行列と予め決めた出力レベルに基づき上記複数チャネルのフィルタ係数を算出するフィルタ係数算出段階と、
（ｇ）上記複数チャネルの受音信号をそれぞれ上記複数チャネルのフィルタ係数でフィルタリングするフィルタリング段階と、
（ｈ）上記複数チャネルのフィルタリング結果を加算して送話信号として出力する加算段階、
とを含む収音方法。
この発明によれば、音響空間に配置された複数チャネルのマイクロホンにより各音源から発せられた音を収音する収音装置は、
複数チャネルのマイクロホンの各々で受音された受音信号から、発話区間を判定する発話判定部を含む状態判定部と、
上記発話判定部において発話区間と判定された場合に、上記受音信号から、音源位置を検出する音源位置検出部と、
上記受音信号を周波数領域の信号に変換する周波数領域変換部と、
上記周波数領域の複数チャネルの受音信号の共分散行列を各音源ごとに算出する共分散行列算出部と、
上記音源位置検出手段の検出結果に基づき、上記共分散行列を音源ごとに記憶する共分散行列記憶部と、
記憶された上記共分散行列を用いて、各音源に対する送話信号レベルが各々所望のレベルとなるよう複数チャネルのフィルタ係数を算出するフィルタ係数算出部と、
上記マイクロホン受音信号を、上記複数チャネルのフィルタ係数で、各々フィルタリングする複数チャネルのフィルタと、
上記複数チャネルのフィルタの出力信号を加算し、送話信号として出力する加算器、
とを含むように構成される。
この発明の第２の観点によれば、受話信号がスピーカから再生される音響空間内で少なくとも１つのマイクロホンにより少なくとも１つの音源からの発音を収音する収音方法は、
（ａ）上記少なくとも１チャネルのマイクロホンで受音された受音信号と受話信号から発話区間及び受話区間を判定する状態判定段階と、
（ｂ）上記受音信号及び上記受話信号を周波数領域の信号に変換する周波数領域変換段階と、
（ｃ）上記周波数領域の受音信号及び受話信号から発話区間での共分散行列及び受話区間での共分散行列を算出する共分散行列算出段階と、
（ｄ）上記状態判定段階の判定結果に基づいて、上記共分散行列を上記発話区間及び上記受話区間ごとに記憶する共分散行列記憶段階と、
（ｅ）上記発話区間及び上記受話区間での記憶された共分散行列に基づいて受音信号に含まれる受話信号成分である音響エコーを抑圧するよう上記少なくとも１チャネルの受音信号用のフィルタ係数と上記受話信号用のフィルタ係数を算出するフィルタ係数算出段階と、
（ｆ）上記受話信号及び上記受音信号を、上記受話信号用のフィルタ係数と上記少なくとも１チャネルの受音信号用のフィルタ係数でフィルタリングするフィルタリング段階と、
（ｇ）上記フィルタリングされた信号を加算して送話信号として出力する加算段階、
とを含む。
この発明の第２の観点による収音装置は、
音源からの送話音を収音して受音信号を出力する少なくとも１チャネルのマイクロホンと、
受話信号を再生出力するスピーカと、
受音信号と受話信号から発話区間及び受話区間を判定する状態判定部と、
上記受話信号及び上記受音信号を周波数領域の信号に変換する周波数領域変換部と、
上記発話区間及び受話区間ごとに上記周波数領域の受音信号と受話信号の共分散行列を算出する共分散行列算出部と、
上記共分散行列を発話区間及び受話区間ごとに記憶する共分散行列記憶部と、
記憶された上記共分散行列に基づいて上記受話信号の音響エコーを抑圧するように上記少なくとも１チャネルの受音信号用のフィルタ係数と上記受話信号用のフィルタ係数を算出するフィルタ係数算出部と、
上記受音信号用のフィルタ係数と上記受話信号用のフィルタ係数が設定され、上記受音信号と上記受話信号をフィルタリングして出力する受音信号用フィルタと受話信号用フィルタと、
上記受音信号用フィルタの出力と上記受話信号用フィルタの出力を加算し、加算結果を送話信号として出力する加算器、
とを含むように構成される。
本発明は、話者が複数人存在し、それぞれの話者音声が異なるレベルでマイクロホンに収音される場合においても、複数のマイクロホンを用いて指向特性を適切に制御することにより、話者ごとに適切な音量となるように音量を自動調整する。

図１は本発明の第１の実施例である収音装置を示すブロック図。
図２は図１における状態判定部１４の構成例を示すブロック図。
図３は図１における音源位置検出部１５の構成例を示すブロック図。
図４は図１におけるフィルタ係数算出部２１の構成例を示すブロック図。
図５は図１の収音装置を使用した収音方法の第１の例を示すフロー図。
図６は図１の収音装置を使用した収音方法の第２の例を示すフロー図。
図７は図１の収音装置を使用した収音方法の第３の例を示すフロー図。
図８は本発明の第２の実施例である収音装置を示すブロック図。
図９は図８における状態判定部１４の構成例を示すブロック図。
図１０は本発明の第３の実施例である収音装置を示すブロック図。
図１１は図７における状態判定部１４の構成例を示すブロック図。
図１２は本発明の第４実施例の収音装置を示すブロック図。
図１３は本発明の第５実施例の収音装置を示すブロック図。
図１４は図４における重み係数設定部２１Ｈの構成例を示すブロック図。
図１５は図４における重み係数設定部２１Ｈの他の構成例を示すブロック図。
図１６は図４に設ける白色化部２１Ｊの構成例を示すブロック図。
図１７は各実施例において、共分散行列の平均化機能を設けた場合の共分散行列記憶部１８の構成例を示すブロック図。
図１８Ａは第１実施例による処理を行う前の話者Ａ及びＢのシミュレーションによる音声波形を示す図。
図１８Ｂは第１実施例による処理を行った場合の話者Ａ及びＢのシミュレーションによる音声波形を示す図。
図１９は第３実施例による音響エコー及び雑音の抑圧を示すシミュレーションによる受話及び送話音声波形を示す図。
図２０は従来の収音装置を示すブロック図。

第１実施例
図１は、本発明の第１の実施例である収音装置のブロック図である。
本実施例の収音装置は、音響空間内に配置されたＭチャネルのマイクロホン１１_１〜１１_Ｍと、フィルタ１２_１〜１２_Ｍと、加算器１３と、状態判定部１４と、音源位置検出部１５と、周波数領域変換部１６と、共分散行列算出部１７と、共分散行列記憶部１８と、収音レベル推定部１９と、フィルタ係数算出部２１により構成される。
本実施例は、音響空間内の音源９_１〜９_Ｋの位置を検出し、各音源位置に対する受音信号の周波数領域での共分散行列を求めて保存しておき、これらを用いてフィルタ係数を求める。これらのフィルタ係数で、マイクロホン受音信号をフィルタリングすることで、各音源からの信号が一定の音量となるように制御する。この発明の実施例において、マイクロホン１１_１〜１１_Ｍの各出力受音信号は特に図示しないがディジタルアナログ変換器により予め決められたサンプリング周波数でディジタル値に変換して得られたディジタルの受音信号であるものとする。他の実施例においても同様である。
まず、状態判定部１４では、マイクロホン１１_１〜１１_Ｍで受音したマイクロホン受音信号から、発話区間を検出する。例えば、図２に示すように、状態判定部１４ではマイクロホン１１_１〜１１_Ｍからの全受話信号を加算部１４Ａで加算し、その加算出力を短時間平均パワー算出部１４Ｂと長時間平均パワー算出部１４Ｃでそれぞれ短時間平均パワー（例えば０．１〜１ｓ間程度の平均パワー）Ｐ_ａｖＳと、長時間平均パワー（例えば１〜１００ｓ間程度の平均パワー）Ｐ_ａｖＬを求め、割算部１４Ｄで短時間平均パワーと長時間平均パワーの比Ｒ_ｐ＝Ｐ_ａｖＳ／Ｐ_ａｖＬを求め、発話判定部１４Ｅでそのパワー比Ｒ_ｐを予め決めた発話の閾値Ｒ_ｔｈＵと比較し、それを超える場合に発話区間と判定する。
状態判定部１４の判定結果が発話区間であった場合に、音源位置検出部１５は、音源の位置を推定する。音源位置の推定方法は、例えば相互相関法による方法がある。
マイクロホンの数をＭ（Ｍは２以上の整数）個とし、ｉ番目マイクロホン１１_ｉとｊ番目マイクロホン１１_ｊで受音された信号より求められる受音信号間遅延時間差の測定値をτ_ｉｊする。受音信号間遅延時間差の測定値は、信号間の相互相関を求め、その最大ピーク位置から求めることができる。次に、ｍ（ｍ＝１，．．．，Ｍ）番目のマイクロホン１１_ｍの受音位置を（ｘ_ｍ，ｙ_ｍ，ｚ_ｍ）、推定音源位置を（Ｘ，Ｙ，Ｚ）と表す。これらの位置から求められる受音信号間遅延時間差の測定値τ_ｉｊは、式（２）で表される。

ただし、ｃは音速である。
次に、受音信号間遅延時間差の測定値τ_ｉｊび推定値τ_ｉｊに音速ｃを乗じ距離に換算したものを、それぞれ受音位置間距離差の測定値ｄ_ｉｊ及び推定値ｄ_ｉｊとし、これらの二乗平均誤差ｅ（ｑ）を求めれば、式（３）となる。

ただし、ｑ＝（Ｘ，Ｙ，Ｚ）である。ｒ_ｉ及びｒ_ｊは推定音源位置ｑ＝（Ｘ，Ｙ，Ｚ）とマイクロホン１１_ｉ、１１_ｊ間の距離を表している。
式（３）の二乗平均誤差ｅ（ｑ）を最小化する解を求めれば、受音信号間遅延時間差の測定値と推定値の誤差が最小となる推定音源位置を求めることができる。ただし、式（３）は非線形連立方程式となっており、解析的に解くことは困難であるので、逐次修正を用いた数値解析により求める。
式（３）を最小化する推定音源位置（Ｘ，Ｙ，Ｚ）を求めるには、式（３）のある点における勾配を求め、誤差が小さくなる方向に、推定音源位置を修正していき、勾配が０となる点を求めればよいので、推定音源位置の修正は次式（４）をｕ＝０，１，．．．について繰り返し演算する。

ただし、αは修正のステップサイズであり、α＞０の値を設定する。ｑ_（ｕ）は、ｕ回修正後のｑを表し、ｕ＝０の場合のｑ_（０）＝（Ｘ_０，Ｙ_０，Ｚ_０）を予め決めた任意の初期値とする。ｇｒａｄは勾配を表し、次式（５）〜（１０）で表される。

以上、式（４）を繰返し計算することで、誤差が最小となる推定音源位置ｑ＝（Ｘ，Ｙ，Ｚ）を求めることができる。
図３は音源位置検出部１５の機能構成をブロック図で示す。この例では、音源位置検出部１５は、遅延時間差測定部１５Ａと、乗算器１５Ｂと、距離計算部１５Ｃと、二乗平均誤差計算部１５Ｄと、勾配計算部１５Ｅと、比較判定部１５Ｆと、推定位置更新部１５Ｇとから構成されている。
遅延時間差測定部１５Ａは１つの音源９_ｋから発音されている期間に
ｉ＝１，２，．．．，Ｍ−１；
ｊ＝ｉ＋１，ｉ＋２，．．．，Ｍ
の全ての組の（ｉ，ｊ）についてマイクロホン１１_ｉ、１１_ｊによる受音信号に基いて相互相関法により遅延時間差τ_ｉｊを測定する。乗算器１５Ｂは、測定された各遅延時間差τ_ｉｊに音速ｃを乗算して音源とマイクロホン１１_ｉ、１１_ｊ間の距離差ｄ_ｉｊを求める。距離計算部１５Ｃは推定位置更新部１５Ｇから与えられる推定音源位置（Ｘ，Ｙ，Ｚ）とマイクロホン１１_ｉ、１１_ｊ間の距離ｒ_ｉ，ｒ_ｊを式（９）、（１０）により計算する。ただし、推定位置更新部１５Ｇは、最初の推定音源位置として任意の初期値（Ｘ_０，Ｙ_０，Ｚ_０）を距離計算部１５Ｃに与える。二乗平均誤差計算部１５Ｄは前述の全ての組の（ｉ，ｊ）についてｄ_ｉｊ，ｒ_ｉ，ｒ_ｊを使って式（３）により二乗平均誤差ｅ（ｑ）を計算する。勾配計算部１５Ｆで現在の推定音源位置とｄ_ｉｊ，ｒ_ｉ，ｒ_ｊを使って式（６）、（７）、（８）により二乗平均誤差ｅ（ｑ）の勾配ｇｒａｄ ｅ（ｑ）を計算する。
比較判定部１５Ｆは二乗平均誤差の勾配ｇｒａｄ ｅ（ｑ）の各要素と予め決めた閾値ｅ_ｔｈとを比較し、全ての要素が閾値ｅ_ｔｈより小さくなったか判定し、小さければそのときの推定音源位置（Ｘ，Ｙ，Ｚ）を出力する。ｅ_ｔｈより小さくなければ、推定位置更新部１５Ｇは勾配ｇｒａｄ ｅ（ｑ）と現在の推定位置ｑ＝（Ｘ，Ｙ，Ｚ）を使って式（４）により推定位置を更新し、更新された推定位置ｑ_ｕ＋１＝（Ｘ，Ｙ，Ｚ）を距離計算部１５Ｃに与える。距離計算部１５Ｃは更新された推定位置（Ｘ，Ｙ，Ｚ）とｄ_ｉｊを使って前述と同様に更新されたｒ_ｉ，ｒ_ｊを計算し、以下、二乗誤差平均部１５Ｄはｅ（ｑ）を更新し、勾配計算部１５Ｅは更新された勾配ｇｒａｄ ｅ（ｑ）を計算し、比較判定部１５Ｆは更新された二乗平均誤差ｅ（ｑ）が閾値ｅ_ｔｈより小となったか判定する。
このようにして推定位置（Ｘ，Ｙ，Ｚ）の更新を二乗平均誤差の勾配ｇｒａｄ ｅ（ｑ）の全要素が十分小さい値（ｅ_ｔｈより小）になるまで繰り返し実行して音源９_ｋの位置（Ｘ，Ｙ，Ｚ）を推定する。他の音源についても同様に位置を推定する。
周波数領域変換部１６は、各マイクロホンの受音信号を周波数領域信号に変換する。例えば受音信号のサンプリング周波数は１６ｋＨｚであり、各マイクロホン１１_ｍ（ｍ＝１，．．．，Ｍ）からの受音信号サンプルを１フレーム２５６サンプルごとにＦＦＴ（ファーストフーリエ変換）処理することにより同数の周波数領域信号サンプルＸ_ｍ（ω）が得られる。
次に、共分散行列算出部１７では、マイクロホン受音信号の共分散を求め、共分散行列を生成する。各音源９_ｋに対し周波数領域変換部１６で得られたマイクロホン受音信号の周波数領域変換信号をＸ_１（ω）〜Ｘ_Ｍ（ω）とすると、これらの信号のＭ×Ｍ共分散行列Ｒ_ＸＸ（ω）は一般に式（１１）で表される。

ただし、^＊は複素共役を表す。
次に、共分散行列記憶部１８では、音源位置検出部１５の検出結果に基づき、共分散行列Ｒ_ＸＸ（ω）を、各音源９_ｋに対する受音信号のＭ×Ｍ共分散行列Ｒ_ＳｋＳｋ（ω）として保存する。
各音源９_ｋごとのＭチャネルの受音信号に対する重み付けミキシングベクトルをＡ_ｋ（ω）＝（ａ_ｋ１（ω），．．．，ａ_ｋＭ（ω））で表すと、収音レベル推定部１９は、各音源の収音レベルＰ_Ｓｋを、共分散行列記憶部１８に記憶した各音源９_ｋに対する受音信号の共分散行列Ｒ_ＳｋＳｋ（ω）を使って次式（１２）

により求める。ここでは重み付けミキシングベクトルは周波数特性も制御可能なベクトルＡ_ｋ（ω）＝（ａ_ｋ１（ω），．．．，ａ_ｋＭ（ω））として表しているが、周波数特性の制御を行わないのであれば、ベクトルＡ_ｋの要素は予め決めた値ａ_ｋ１，ａ_ｋ２，．．．，ａ_ｋＭとしてよい。例えば各音源９_ｋに対する重み付けミキシングベクトルＡ_ｋの要素はその音源９_ｋに近いマイクロホンに対応する要素ほど大きな値を与える。極端な例では、Ａ_ｋ＝（０，．．，０，ａ_ｋｍ＝１，０，．．．，０）のように、音源９_ｋに最も近いマイクロホン１１_ｍに対応する要素のみを１とし、その他を全て０とすることもできる。以下の説明においては、式を簡略化するため、ａ_ｋ１（ω），．．．，ａ_ｋＭ（ω）を単にａ_ｋ１，．．．，ａ_ｋＭと表すことにする。
式（１２）における^Ｈは複素共役転置を表し、Ａ_ｋ（ω）^ＨＲ_ＳｋＳｋ（ω）Ａ_ｋ（ω）は次式のように展開すことができる。

式（１２）はこの式（１３）で表すΩ（ω）が表すパワースペクトルサンプル値を、周波数領域変換部１６により生成される周波数領域信号の帯域０〜Ｗ（サンプル数）に渡って加算し、Ｗで割り算することにより受音信号の平均パワーＰ_Ｓｋを求めることを意味している。
例えば、音源９_１に最も近いマイクロホンを１１_１とすると、マイクロホン１１_１（第１チャネル）の受音信号に最大の重み付けを与えるように重み係数ａ_ｋ１の値を決め、その他のチャネルの受音信号に対する重み係数ａ_ｋ２，ａ_ｋ３，．．．，ａ_ｋＭはａ_ｋ１より小さい値に決める。このような重み付けを行うことにより、重み付けを行わない場合より、音源９_１からの受音信号のＳ／Ｎを高め、あるいは室内残響の影響を減らすことができる。即ち、各音源９_ｋに対する重み付けミキシングベクトルＡ_ｋ（ω）の重み付け係数は、例えばその音源９_ｋに対応する出力音声信号のＳ／Ｎが大きく、かつ室内残響が小さくなるように、マイクロホンの指向性や配置と音源の配置により最適な値を実験的に予め決めておく。しかしながら、この発明によれば全てのチャネルに等しく重み付けを行った場合でも、それぞれの音源からの受音信号を所望のレベルに制御して出力することができる。
次に、フィルタ係数算出部２１では、各音源から発せられた音を所望の音量で収音するためのフィルタ係数を計算する。まず、各マイクロホンに接続されたのフィルタ１２_１〜１２_Ｍのフィルタ係数を周波数領域に変換したものをＨ_１（ω）〜Ｈ_Ｍ（ω）とする。次に、これらのフィルタ係数を次式（１４）により行列としたものをＨ（ω）とする。

また、ｋ番目音源９_ｋが発音している期間の各マイクロホンで受音した信号の周波数領域変換信号をＸ_Ｓｋ，１〜Ｘ_Ｓｋ，Ｍとする。
ここで、フィルタ係数行列Ｈ（ω）に要求される条件は、マイクホン受音信号をフィルタ係数行列Ｈ（ω）でそれぞれフィルタリングし、フィルタリング後の信号を加算したときに、各音源の信号成分のレベルが所望のレベルＰ_ｏｐｔなっていることである。従って、各音源９_ｋの信号をフィルタリングおよび加算した信号が、マイクロホン１１_１〜１１_Ｍの受音信号に対する重み付けミキシングベクトルＡ_ｋ（ω）と所望の利得を乗じた信号となる次式（１５）が理想条件となる。

ただし、ｋ＝１，．．．，Ｋであり、Ｋは音源の数を表す。
次に、式（１５）の条件をフィルタ係数行列Ｈ（ω）について最小二乗解で解けば、次式（１６）となる。

ただし、Ｃ_Ｓｋはｋ番目の音源位置に対する感度拘束を与える重み係数である。感度拘束とは音源位置に対する本収音装置の周波数特性をフラットにすることを意味する。この値が大きくなればその音源に対する感度拘束が強くなり、よりフラットな周波数特性での収音が可能となるが、その他の音源位置に対する周波数特性の劣化が大きくなる。そのため、通常はＣ_Ｓｋを０．１〜１０程度の値とし、全ての音源をバランスよく感度拘束するのが好ましい。
図４は式（１６）で表されるフィルタ係数を計算するフィルタ係数算出部２１の機能構成ブロック図を示す。この例では、共分散行列記憶部１８から与えられたそれぞれの音源９_１〜９_Ｋに対応する共分散行列Ｒ_Ｓ１Ｓ１〜Ｒ_ＳＫＳＫは乗算器２１Ａ１〜２１ＡＫでそれぞれ重み係数設定部２１Ｈにより設定された重み係数Ｃ_Ｓ１〜Ｃ_ＳＫと乗算される。また収音レベル推定部１９により推定された音源９_１〜９_Ｋに対する収音レベルＰ_Ｓ１〜Ｐ_ＳＫは平方比算出部２１Ｂ１〜２１ＢＫで予め決めた所望の出力レベルＰ_ｏｐｔとの平方比（Ｐ_ｏｐｔ／Ｐ_Ｓ１）^１／２〜（Ｐ_ｏｐｔ／Ｐ_ＳＫ）^１／２が演算され、演算結果はそれぞれ乗算器２１Ｃ１〜２１ＣＫで乗算器２１Ａ１〜２１ＡＫの出力と乗算される。乗算器２１Ｃ１〜２１ＣＫの出力は乗算器２１Ｄ１〜２１ＤＫで更に重み付けミキシングベクトルＡ_１（ω）〜Ａ_Ｋ（ω）と乗算され、これらの乗算結果の総和の行列が加算器２１Ｅで計算される。一方、乗算器２１Ａ１〜２１ＡＫの出力の総和の行列が加算器２１Ｆで計算され、逆行列乗算器２１Ｇにより、加算器２１Ｆの出力である総和の行列の逆行列を加算器２１Ｅの出力と乗算することによりフィルタ係数Ｈ（ω）が求まる。
次に、フィルタ係数算出部２１により求められたフィルタ係数Ｈ_１（ω），Ｈ_２（ω），．．．，Ｈ_Ｍ（ω）は、フィルタ１２_１〜１２_Ｍに設定され、マイクロホン１１_１〜１１_Ｍからの受音信号をそれぞれフィルタ処理する。フィルタ処理後の信号は、加算器１３で加算され、出力信号として出力される。
この発明による収音装置を使用する方法の例として、以下に３つの方法を示す。
第１の方法は、図５に示すように、まず、ステップＳ１で音源数ＫをＫ＝０に初期設定する。次にステップＳ２で状態判定部１４により定期的に発話検出を行い、発話が検出されるとステップＳ３で音源位置検出部１５により音源位置検出を実行する。ステップＳ４で、検出された音源位置が以前に検出された音源位置のいずれかと一致するか判定し、一致するものがあればステップＳ５でその音源位置に対応する共分散行列Ｒ_ＸＸ（ω）を共分散行列算出部１７で新たに計算し、ステップＳ６で共分散行列記憶部１８の対応する領域の共分散行列を更新する。
ステップＳ４で以前に検出された音源位置と一致しなかった場合は、ステップＳ７でＫを１だけ増加させ、ステップＳ８でその音源位置に対応する共分散行列Ｒ_ＸＸ（ω）を共分散行列算出部１７で新たに計算し、ステップＳ９で共分散行列記憶部１８の新たな領域に共分散行列を記憶する。
次に、ステップＳ１０で記憶されている共分散行列から、収音レベル推定部１９により収音レベルを推定し、ステップＳ１１で推定収音レベルと共分散行列を使ってフィルタ係数算出部２１によりフィルタ係数Ｈ_１（ω）〜Ｈ_Ｍ（ω）の算出を行い、ステップＳ１２でフィルタ１２_１〜１２_Ｍの設定フィルタ係数を更新する。
第２の方法は、図６に示すように、ステップＳ１で予め音源数の最大値をＫ_ｍａｘに設定し、また音源数Ｋの初期値を０に設定しておく。以下のステップＳ２からＳ６は図５の場合と同様に発話検出を行い、発話が検出されると音源位置の検出を行い、検出した音源位置が過去に検出したものと一致するか判定し、一致するものがあれば共分散行列を計算して対応する領域に更新保存する。
ステップＳ４で検出音源位置が過去の検出音源位置と一致しない場合は、ステップＳ７でＫに１を加算し、ステップＳ８でＫが最大値Ｋ_ｍａｘより大となったか判定する。最大値Ｋ_ｍａｘを越えてなければステップＳ９で検出位置に対する共分散行列を計算し、ステップＳ１０で新たな領域に共分散行列を保存する。ステップＳ８でＫが最大値Ｋ_ｍａｘを超えている場合は、ステップＳ１１でＫ＝Ｋ_ｍａｘとし、ステップＳ１２で共分散行列記憶部１８に記憶されている共分散行列のうち、最も過去に更新された共分散行列を消去し、その領域に、ステップＳ１３で共分散行列算出部１７により計算された新たな共分散行列をステップＳ１４で格納する。以下のステップＳ１５，Ｓ１６，Ｓ１７は図５のステップＳ１０，Ｓ１１，Ｓ１２と同様に、共分散行列から各音源の推定収音レベルを求め、フィルタ係数を計算してフィルタ１２_１〜１２_Ｍに設定する。この方法では、音源数Ｋの最大値をＫ_ｍａｘに制限することにより図５の方法に比べて共分散行列記憶部１８の記憶領域を少なくすることができる利点がある。
上記第１及び第２の方法では、音源の発話を検出するごとに必ず共分散行列の計算と保存、及びフィルタ係数の更新を行う場合を示したが、第３の方法では、検出した発話の音源位置が、既に検出した音源位置のいずれかと一致した場合は更新を行わない。図７は第３の方法の処理手順を示す。ステップＳ１で音源数Ｋの初期値を０に設定し、ステップＳ２で状態検出部１４により定期的に発話検出動作を実行し、発話状態を検出するとステップＳ３で音源位置検出部１５で音源位置の検出を実行する。ステップＳ４で検出音源位置が既に検出された音源位置のいずれかと一致するか判定し、一致するものがあれば更新処理を行わずステップＳ２に戻る。ステップＳ４で既に検出した位置と一致するものがない場合、即ち、前回までと異なる位置にいずれかの音源９_ｋが移動したか、又は新たな音源が加わった場合は、ステップＳ５でＫを１だけ増加し、ステップＳ６でその音源に対応する共分散行列Ｒ_ＳｋＳｋ（ω）を共分散行列算出部１７で新たに計算し、ステップＳ７で共分散行列記憶部１８の対応する新たな領域ＭＡ_ｋに保存すると共に、ステップＳ８でその共分散行列を使って収音レベル推定部１９により収音レベルを推定し、ステップＳ９で全ての共分散行列と推定収音レベルを使ってフィルタ係数算出部２１により更新したフィルタ係数の算出を実行し、ステップＳ１０でフィルタ１２_１〜１２_Ｍに更新したフィルタ係数を設定し、ステップＳ２に戻る。
以上示したように、本発明では、複数マイクロホンの受音信号から、音源位置を推定し、各音源に対し受音信号の共分散行列を求め、音源位置ごとに音量を調整するフィルタ係数を求め、それらのフィルタ係数でマイクロホン受音信号をフィルタリングすることで、話者位置ごとに音量を調整した出力信号を得ることができる。
図１の実施例では、音源位置検出部１５は各音源９_ｋの座標位置を推定する場合について説明したが、音源方向、即ち、マイクロホン１１_１〜１１_Ｍの配列に対する各音源９_ｋの角度位置を求めてもよい。音源方向の推定方法は、例えば田中、金田、小島による「音源方向推定方法の室内残響下での性能評価」、日本音響学会誌Ｖｏｌ．５０，Ｎｏ．７，１９９４，ｐｐ．５４０−５４８に示されている。要するに、各音源に対応して受音信号の共分散行列を求め、記憶しておけばよい。
第２実施例
図８は、本発明の第２の実施例である収音装置の機能ブロック図である。
本実施例の収音装置は、マイクロホン１１_１〜１１_Ｍと、フィルタ１２_１〜１２_Ｍと、加算器１３と、状態判定部１４と、音源位置検出部１５と、周波数領域変換部１６と、共分散行列算出部１７と、共分散行列記憶部１８と、収音レベル推定部１９と、フィルタ係数算出部２１により構成される。
本実施例は、本発明の第１の実施例である収音装置の収音レベル調整に雑音抑圧を加えたものである。
まず、状態判定部１４では、マイクロホン１１_１〜１１_Ｍで受音したマイクロホン受音信号のパワーから、発話区間および雑音区間を検出する。状態判定部１４は図９に示すように、図２の状態判定部１４の構成に更に雑音判定部１４Ｆが追加された構成となっている。例えば、第１実施例と同様に、それぞれのマイクロホン受音信号について、短時間平均パワーＰ_ａｖＳと、長時間平均パワーＰ_ａｖＬを短時間平均パワー算出部１４Ｂと長時間平均パワー算出部１４Ｃで求め、割り算部１４Ｄで短時間平均パワーと長時間平均パワーの比Ｒ_ｐ＝Ｐ_ａｖＳ／Ｐ_ａｖＬが求められ、発話判定部１４Ｅで発話の閾値Ｐ_ｔｈＵと比較され、それを超えていれば発話区間と判定される。雑音判定部１４Ｆはパワー比Ｒ_ｐを雑音閾値Ｐ_ｔｈＮと比較し、それより小であれば雑音区間であると判定する。
発話判定部１４Ｅの判定結果が発話区間であった場合に、音源位置検出部１５は、本発明の第１の実施例と同様にして、音源位置を検出する。
次に、周波数領域変換部１６は各音源９_ｋの発音区間及び雑音区間においてそれぞれのマイクロホン１１_１〜１１_Ｍからの受音信号を周波数領域信号に変換して共分散行列演算部１７に与える。共分散行列算出部１７は、本発明の第１の実施例と同様にして、各音源９_ｋに対する周波数領域受音信号の共分散行列Ｒ_ＳｋＳｋ（ω）を算出する。更に、雑音区間における周波数領域受音信号の共分散行列Ｒ_ＮＮ（ω）を算出する。
共分散行列記憶部１８では、音源位置検出部１５の検出結果および状態判定部１５の判定結果に基づき、音源９_１，．．．，９_Ｋに対する共分散行列Ｒ_ＳｋＳｋ（ω）と雑音区間の共分散行列Ｒ_ＮＮ（ω）を領域ＭＡ_１，．．．，ＭＡ_Ｋ，ＭＡ_Ｋ＋１に保存する。
収音レベル推定部１９は、各音源の収音レベルＰ_Ｓｋを、本発明の第１の実施例と同様にして推定する。
次に、フィルタ係数算出部２１では、各音源９_ｋから発せられた音を所望の音量で収音し、かつ雑音を抑圧するためのフィルタ係数を算出する。まず、雑音抑圧の条件を求める。雑音区間のマイクロホン受音信号の周波数領域変換信号をＸ_Ｎ，１（ω）〜Ｘ_Ｎ，Ｍ（ω）とする。雑音区間のマイクロホン受音信号Ｘ_Ｎ，１（ω）〜Ｘ_Ｎ，Ｍ（ω）がフィルタ１２_１〜１２_Ｍおよび加算器１３を通過後に０となれば、雑音を抑圧できているので、雑音抑圧のための条件式は、式（１７）となる。

この式（１７）と、本発明の第１の実施例で示した収音レベル調整のための条件式（１５）の両方を満たせば、収音レベル調整と雑音抑圧の両方を実現できる。
次に、式（１５）、（１７）の条件をフィルタ係数行列Ｈ（ω）について最小二乗解で解けば、次式（１８）

となる。Ｃ_Ｎは雑音消去量に対する重みの定数であり、値が大きくなるほど雑音の消去量が増加する。ただし、Ｃ_Ｎを大きくすることにより音源位置に対する感度拘束が弱くなり、収音信号周波数特性の劣化が大きくなるため、通常、Ｃ_Ｎは０．１〜１０．０程度の適当な値に設定する。その他の記号の意味については、第１の実施例と同様である。
次に、式（１８）により求められた、フィルタ係数は、フィルタ１２_１〜１２_Ｍに設定され、マイクロホン受音信号をそれぞれフィルタリングする。フィルタリング後の信号は、加算器１３で加算され、出力信号として出力される。
以上、本発明の第２の実施例は、本発明の第１の実施例における収音レベル調整の効果に加え、雑音抑圧を行うことが可能である。
これら以外の部分に関しては、本発明の第１の実施例と同じであるので、説明を省略する。
第３実施例
図１０は、本発明の第３の実施例である収音装置の機能ブロック図である。
本実施例の収音装置は、スピーカ２２と、マイクロホン１１_１〜１１_Ｍと、フィルタ１２_１〜１２_Ｍ、２３と、加算器１３と、状態判定部１４と、音源位置検出部１５と、周波数領域変換部１６と、共分散行列算出部１７と、共分散行列記憶部１８と、収音レベル推定部１９と、フィルタ係数算出部２１により構成される。
本実施例は、図８に示した本発明の第２の実施例である収音装置に受話信号を再生するスピーカ２２と、受話信号をフィルタリングするフィルタ２３とを追加し、第２実施例による収音レベル調整および雑音抑圧に加えてマイクロホン１１_１〜１１_Ｍで収音されるスピーカ再生信号成分である音響エコーを抑圧するようにしたものである。
状態判定部１４は、図１１に示すように、図４の状態判定部１４の構成に、更に受話信号の短時間平均パワーＰ’_ａｖＳ及び長時間平均パワーＰ’_ａｖＬを算出する短時間平均パワー算出部１４Ｂ’と長時間平均パワー算出部１４Ｃ’と、これらの比Ｒ’_ｐ＝Ｐ’_ａｖＳ／Ｐ’_ａｖＬを計算する割り算部１４Ｄ’と、その比Ｒ’_ｐを予め決めた受話信号の閾値Ｒ_ｔｈＲと比較し、それより大であれば受話区間であると判定する受話判定部１４Ｇと、発話判定部１４Ｅ、雑音判定部１４Ｆ、受話判定部１４Ｇの判定結果に基づいて状態を決定する状態決定部１４Ｈが追加されている。状態決定部１４Ｈは、受話判定部１４Ｇの判定結果が受話区間と判定した場合は、他の発話判定部１４Ｅ、雑音判定部１４Ｆの判定結果にかかわらず、受話区間と決定し、受話判定部１４Ｇが受話区間でないと判定した場合は、図４の場合と同様に発話判定部１４Ｅ及び雑音判定部１４Ｆの判定に従って、発話区間又は雑音区間と決定する。
状態判定部１４の判定結果が発話区間であった場合に、音源位置検出部１５は、本発明の第１の実施例と同様にして、音源位置を検出する。
次に、周波数領域変換部１６でマイクロホン受音信号および受話信号をそれぞれ周波数領域信号Ｘ_１（ω），．．．，Ｘ_Ｍ（ω）及びＺ（ω）に変換し、共分散行列算出部１７はそれらの周波数領域受音信号及び受話信号の共分散行列を生成にする。マイクロホン受音信号の周波数領域変換信号Ｘ_１（ω）〜Ｘ_Ｍ（ω）及び受話信号の周波数領域変換信号Ｚ（ω）の共分散行列Ｒ_ＸＸ（ω）は、次式（１９）により算出される。

ただし、^＊は複素共役を表す。
次に、共分散行列記憶部１８では、音源位置検出部１５の検出結果および状態判定部１４の判定結果に基づき、共分散行列Ｒ_ＸＸ（ω）を、発話区間における各音源９_ｋに対する受音信号及び受話信号の共分散行列Ｒ_ＳｋＳｋ（ω）と、雑音区間における受音信号及び受話信号の共分散行列Ｒ_ＮＮ（ω）と、受話区間における受音信号と受話信号の共分散行列Ｒ_ＥＥ（ω）としてそれぞれ領域ＭＡ_１，．．．，ＭＡ_Ｋ，ＭＡ_Ｋ＋１，ＭＡ_Ｋ＋２に保存する。
収音レベル推定部１９は、各音源９_ｋの収音レベルＰ_Ｓｋを、各音源に対する共分散行列Ｒ_Ｓ１Ｓ１，．．．，Ｒ_ＳＫＳＫと、各音源ごとのＭ＋１要素からなる予め決めた重み付けミキシングベクトルＡ_１（ω），．．．，Ａ_Ｋ（ω）に基づく次式（２０）により求める。

次に、フィルタ係数算出部２１では、各音源から発せられた音を所望の音量で収音するためのフィルタ係数を計算する。まず、各マイクロホンに接続されたのフィルタ１２_１〜１２_Ｍのフィルタ係数を周波数領域に変換したものをＨ_１（ω）〜Ｈ_Ｍ（ω）とし、受話信号をフィルタリングするフィルタ２３のフィルタ係数を周波数領域に変換したものをＦ（ω）とする。次に、これらのフィルタ係数を式（２１）により行列としたものをＨ（ω）とする。

また、受話区間のマイクロホン受音信号の周波数領域変換信号をＸ_Ｅ，１（ω）〜Ｘ_Ｅ，Ｍ（ω）、受話信号の周波数領域変換信号をＺ_Ｅ（ω）とし、雑音区間のマイクロホン受音信号の周波数領域変換信号をＸ_Ｎ，１（ω）〜Ｘ_Ｎ，Ｍ（ω）、受話信号の周波数領域変換信号をＺ_Ｎ（ω）とし、ｋ番目の音源９_ｋが発音している発話区間のマイクロホン受音信号の周波数領域変換信号をＸ_Ｓｋ，１（ω）〜Ｘ_Ｓｋ，Ｍ（ω）、受話信号の周波数領域変換信号をＺ_Ｓｋ（ω）とする。
ここで、フィルタ係数行列Ｈ（ω）に要求される条件は、マイクロホン受音信号および送話信号をフィルタ係数行列Ｈ（ω）でそれぞれフィルタリングし、フィルタリング後の信号を加算したときに、音響エコー信号と雑音信号が消去され、送話音声信号のみが所望のレベルで送話されることである。
従って、受話区間および雑音区間の信号に対しては、フィルタリングおよび加算後の信号が０となる次式（２２）及び（２３）

が理想条件となり、発話区間の信号に対しては、フィルタリングおよび加算後の信号がマイクロホン受音信号および受話信号に予め決めたＭ＋１要素の重み付けミキシングベクトルＡ_ｋ（ω）と所望の利得を乗じた信号となる次式

が理想条件となる。重み付けミキシングベクトルＡ_ｋ（ω）＝（ａ_０（ω），ａ_ｋ１（ω），．．．，ａ_ｋＭ（ω））の要素ａ_０（ω）は受話信号に対する重み係数を表し、通常はａ_０（ω）＝０と設定する。
次に、式（２２）〜（２４）の条件をフィルタ係数行列Ｈ（ω）について最小二乗解で解けば、次式

となる。Ｃ_Ｅは音響エコー消去量に対する重みの定数であり、値が大きくなるほど音響エコーの消去量が増加する。ただし、Ｃ_Ｅを大きくすることにより収音信号の周波数特性の劣化が大きくなり、雑音抑圧特性が低下する。このため、通常、Ｃ_Ｅは０．１〜１０．０程度の適当な値に設定する。その他の記号の意味については、第２の実施例と同様である。
このようにして、音量を調整し、雑音を抑圧するようにフィルタ係数を決定することができる。
次に、式（２５）により求められた、フィルタ係数は、フィルタ１２_１〜１２_Ｍ、２３に設定され、マイクロホン受音信号と受話信号をそれぞれフィルタリングする。フィルタリング後の信号は、加算器１３で加算され、出力信号として出力される。これら以外の部分に関しては、本発明の第２の実施例と同じであるので、説明を省略する。
以上、本発明の第３の実施例は、本発明の第２の実施例における収音レベル調整、雑音抑圧の効果に加え、音響エコー抑圧を行うことが可能である。第３実施例では第２実施例において音響エコー抑圧機能を付加した場合を示したが、第１実施例に対し更に音響エコー抑圧機能を付加してもよい。その場合は、図１０の状態判定部１４の詳細を示す図１１において雑音判定部１４Ｆを除去し、図１０の共分散行列算出部１７は雑音区間における共分散行列Ｒ_ＮＮ（ω）の算出は行わない。従って、フィルタ係数算出部２１におけるフィルタ係数の算出は次式

により行えばよいことは前述の説明から明らかである。
第４実施例
図１０の第３実施例は、第２実施例の収音レベル調整機能と雑音抑圧機能に更に音響エコー消去機能を付加した実施例として示したが、雑音抑圧と音響エコー消去機能のみを有する収音装置として構成してもよい。その構成例を図１２に示す。
図１２に示すように、この実施例の構成は図１０の構成から音源位置検出部１５と収音レベル推定部１９を除去し、共分散行列算出部１７は送話信号の共分散行列Ｒ_ＳＳ（ω）と、受話信号の共分散行列Ｒ_ＥＥ（ω）と、雑音信号の共分散行列Ｒ_ＮＮ（ω）を演算し、共分散行列記憶部１８の記憶領域ＭＡ_Ｓ，ＭＡ_Ｅ，ＭＡ_Ｎにそれぞれ保存する構成とされている。また、この音響エコー消去機能を実現するには、マイクロホンは少なくとも１つあればよいが、ここではＭ個のマイクロホンを使用する例を示している。
状態判定部１４は、図１０の実施例と同様にマイクロホン１２_１〜１２_Ｍで受音した受音信号、及び受話信号から、発話区間、受話区間、及び雑音区間を判定し、その具体的構成及び動作は図１１に示したものと同様である。受音信号及び受話信号は周波数領域変換部１６で周波数領域の受音信号Ｘ_１（ω）〜Ｘ_Ｍ（ω）と周波数領域受話信号Ｚ（ω）に変換され、共分散行列算出部１７に与えられる。
次に、共分散行列算出部１７はそれらの周波数領域受音信号及び受話信号の共分散行列を生成する。マイクロホン受音信号の周波数領域変換信号Ｘ_１（ω）〜Ｘ_Ｍ（ω）及び受話信号の周波数領域変換信号Ｚ（ω）の共分散行列Ｒ_ＸＸ（ω）は、次式（２７）により算出される。

ただし、^＊は複素共役を表す。
次に、共分散行列記憶部１８では、状態判定部１４の判定結果に基づき、共分散行列Ｒ_ＸＸ（ω）を、受話区間における受音信号及び受話信号の共分散行列Ｒ_ＳＳ（ω）と、雑音区間における受音信号及び受話信号の共分散行列Ｒ_ＮＮ（ω）と、発話区間における受音信号と受話信号の共分散行列Ｒ_ＥＥ（ω）としてそれぞれ領域ＭＡ_Ｓ，ＭＡ_Ｎ，ＭＡ_Ｅに保存する。
次に、フィルタ係数算出部２１では、音源から発せられた送話音を収音し、音響エコー及び雑音を抑圧するためのフィルタ係数を計算する。まず、マイクロホン１１_１〜１１_Ｍに接続されたのフィルタ１２_１〜１２_Ｍのフィルタ係数を周波数領域に変換したものをＨ_１（ω）〜Ｈ_Ｍ（ω）とし、受話信号をフィルタリングするフィルタ２３のフィルタ係数を周波数領域に変換したものをＦ（ω）とする。次に、これらのフィルタ係数を式（２８）により行列としたものをＨ（ω）とする。

また、受話区間のマイクロホン受音信号の周波数領域変換信号をＸ_Ｅ，１（ω）〜Ｘ_Ｅ，Ｍ（ω）、受話信号の周波数領域変換信号をＺ_Ｅ（ω）とし、雑音区間のマイクロホン受音信号の周波数領域変換信号をＸ_Ｎ，１（ω）〜Ｘ_Ｎ，Ｍ（ω）、受話信号の周波数領域変換信号をＺ_Ｎ（ω）とする。発話区間のマイクロホン受音信号の周波数領域変換信号をＸ_Ｓ，１（ω）〜Ｘ_Ｓ，Ｍ（ω）、受話信号の周波数領域変換信号をＺ_Ｓ（ω）とする。
ここで、フィルタ係数行列Ｈ（ω）に要求される条件は、マイクロホン受音信号および送話信号をフィルタ係数行列Ｈ（ω）でそれぞれフィルタリングし、フィルタリング後の信号を加算したときに、音響エコー信号と雑音信号が消去され、送話音声信号のみが送話されることである。
従って、受話区間および雑音区間の信号に対しては、フィルタリングおよび加算後の信号が０となる次式（２９）及び（３０）

が理想条件となり、発話区間の信号に対しては、フィルタリングおよび加算後の信号がマイクロホン受音信号および受話信号に予め決めたＭ＋１要素の重み付けミキシングベクトルＡ（ω）を乗じた信号となる次式

が理想条件となる。重み付けミキシングベクトルＡ（ω）＝（ａ_０（ω），ａ_ｋ１（ω），．．．，ａ_ｋＭ（ω））の第１要素ａ_０（ω）は受話信号に対する重み係数を表し、通常はａ_０（ω）＝０に設定する。
次に、式（２９）〜（３１）の条件をフィルタ係数行列Ｈ（ω）について最小二乗解で解けば、次式

となる。Ｃ_Ｅは音響エコー消去量に対する重みの定数であり、値が大きくなるほど音響エコーの消去量が増加する。ただし、Ｃ_Ｅを大きくすることにより収音信号の周波数特性の劣化が大きくなり、雑音抑圧特性が低下する。このため、通常、Ｃ_Ｅは０．１〜１０．０程度の適当な値に設定する。その他の記号の意味については、第２の実施例と同様である。
このようにして、音量を調整し、雑音を抑圧するようにフィルタ係数を決定することができる。
次に、式（３２）により求められたフィルタ係数は、フィルタ１２_１〜１２_Ｍ及び２３に設定され、マイクロホン受音信号と受話信号をそれぞれフィルタリングする。フィルタリング後の信号は、加算器１３で加算され、出力信号として出力される。これら以外の部分に関しては、本発明の第２の実施例と同じであるので、説明を省略する。
以上、本発明の第４の実施例は、雑音抑圧の効果に加え、音響エコー抑圧を行うことが可能である。
第５実施例
図１３に第５実施例を示す。第５実施例は、図１２に示した第４実施例において、発話区間に音源位置を検出し、音源位置ごとに共分散行列を求めこれらを保存しておき、雑音区間では雑音に対する共分散行列を求めて保存しておく。次にこれら保存されている共分散行列を用いて雑音と音響エコーを抑圧するフィルタ係数を求める。これらフィルタ係数でマイクロホン受音信号と受話信号をフィルタリングすることで、雑音と音響エコーを抑圧した送話信号を得る。
この第５実施例の構成は、図１０に示した第３実施例において収音レベル推定部１９を除去した構成と同等である。
状態判定部１４では、第３実施例と同様に発話区間、受話区間及び雑音区間を検出する。状態判定部１４の判定結果が発話区間であった場合に、音源位置検出部１５は各音源９_ｋの位置を推定する。音源位置の推定方法は、図１で示した第１実施例と同様であるので説明を省略する。
次に、周波数領域変換部１６で受音信号及び受話信号は周波数領域信号に変換され、共分散行列算出部１７に与えられる。
共分散行列算出部１７は、各音源９_ｋに対する受音信号と受話信号の共分散行列Ｒ_Ｓ１Ｓ１（ω）〜Ｒ_ＳＫＳＫ（ω）と、受話区間の共分散行列Ｒ_ＥＥ（ω）と、雑音区間の共分散行列Ｒ_ＮＮ（ω）を算出する。共分散行列記憶部１８は状態判定部１４の判定結果及び音源位置検出部１５の位置検出結果に基づいて、共分散行列Ｒ_Ｓ１Ｓ１（ω）〜Ｒ_ＳＫＳＫ（ω）、Ｒ_ＥＥ（ω）、Ｒ_ＮＮ（ω）を対応する領域ＭＡ_１〜ＭＡ_Ｋ、ＭＡ_Ｋ＋１、ＭＡ_Ｋ＋２に保存する。
フィルタ係数算出部２１は、送話音声が収音されると、音響エコー及び雑音を抑圧するフィルタ係数を計算する。第３実施例と同様に、フィルタ係数行列Ｈ（ω）についての条件式を最小二乗解で解けば、次式

となる。ただし、Ｃ_Ｓ１〜Ｃ_ＳＫは各音源に対する感度拘束の重み定数、Ｃ_Ｅは音響エコー消去量に対する重みの定数、Ｃ_Ｎは雑音消去量に対する重み定数である。
このようにして求められたフィルタ係数は、フィルタ１２_１〜１２_Ｍ、２３に設定され、マイクロホン受音信号と受話信号をそれぞれフィルタリングする。フィルタリング後の信号は、加算器１３で加算され、出力信号として出力される。これら以外の部分に関しては、本発明の第３の実施例と同じであるので、説明を省略する。この第５実施例により、第４実施例と同様に音響エコーと雑音を抑圧した送話信号を生成することができる。また、第５実施例では、複数音源位置について感度を拘束でき、過去に発話した音源に対しても感度を保持しておくことが可能である。従って、音源位置の移動があっても、過去に発話した音源であれば感度が保持されているので、送話音声の話頭の音質劣化がないという利点がある。
第６実施例
本発明の第６の実施例である収音装置について説明する。
本発明の第６の実施例である収音装置では、本発明の第１〜３、５の実施例である収音装置の各音源位置９_ｋに対する感度拘束の重み係数Ｃ_Ｓ１〜Ｃ_ＳＫを時間的に変化させる。
音源９_１〜９_Ｋに対する時間的に変化する感度拘束の重み係数Ｃ_Ｓ１〜Ｃ_ＳＫは、過去に発話された音源ほど小さくする。その第１の方法は、既に検出されているそれぞれの音源位置の検出時刻から最も最近に検出された音源位置の検出時刻までの経過時間が長いほど重み係数Ｃ_Ｓｋを小さくする。第２の方法は、Ｋ個の音源位置の検出時刻順に重み係数Ｃ_Ｓｋを小さくする。
図１４は上記第１の方法を実施する重み係数設定部２１Ｈの機能構成ブロック図を示す。この例では、重み係数設定部２１Ｈは時刻を出力するクロック２１Ｈ１と、音源位置検出ごとに検出された音源９_ｋを表す番号ｋをアドレスとしてその検出時刻ｔを上書きする時刻記憶部２１Ｈ２と、重み係数決定部２１Ｈ３とから構成されている。重み係数決定部２１Ｈ３は時刻記録部２１Ｈ２に記録されている音源位置検出時刻に基づいて今回検出された番号ｋ（ｔ）の音源に対し、予め決めた値Ｃ_Ｓを重み係数Ｃ_Ｓｋとして与え、その他の番号ｋ≠ｋ（ｔ）に対してはそれぞれの検出時刻ｔ_ｋからの経過時間ｔ−ｔ_ｋによりｑ^{（ｔ−ｔｋ）}Ｃ_Ｓを重み係数Ｃ_Ｓｋとして与える。ｑは０＜ｑ≦１の予め決めた値である。このようにして各音源に対して感度拘束の重み係数Ｃ_Ｓ１〜Ｃ_ＳＫが決定され、乗算器２１Ａ１〜２１ＡＫに与えられる。
図１５は上記第２の方法を実施する重み係数設定部２１Ｈの機能構成ブロック図を示す。この例ではクロック２１Ｈ１と、時刻記録部２１Ｈ２と、順序判定部２１Ｈ４と、重み係数決定部２１Ｈ５とから構成されている。順序判定部２１Ｈ４は時刻記録部２１Ｈ２に記録されている時刻から音源９_１〜９_Ｋの位置検出順（最も新しい順）｛ｋ（ｔ）｝＝｛ｋ（１），．．．，ｋ（Ｋ）｝を判定する。重み係数決定部２１Ｈ５は最も最近の検出音源９_ｋ（１）に対し予め決めた値Ｃ_Ｓを重み係数Ｃ_{Ｓｋ（１）}として与える。その他の音源に対し、Ｃ_{Ｓｋ（ｔ＋１）}←ｑＣ_{Ｓｋ（ｔ）}をｔ＝１，２，．．．，Ｋ−１までそれぞれ計算して重み係数Ｃ_{Ｓｋ（２）}，．．．，Ｃ_{Ｓｋ（Ｋ）}を得る。これらＣ_{Ｓｋ（１）}〜Ｃ_{Ｓｋ（Ｋ）}は｛ｋ（１），．．．，ｋ（Ｋ）｝の順に従って並び替えて重み係数Ｃ_Ｓ１，．．．，Ｃ_ＳＫとして出力される。ｑの値は０＜ｑ＜１の予め決めた値である。
このように各音源位置に対する感度拘束の重みを変化させることにより、過去に発話のあった音源位置に対する感度拘束を減少させることができる。これにより、本発明の第１〜３の実施例である収音装置に比べ、感度拘束する音源数を抑えることができ、収音レベル調整の性能および雑音、音響エコー抑圧性能を向上することができる。
これら以外の部分に関しては、本発明の第１〜３、５等の実施例と同じであるので、説明を省略する。
第７実施例
本発明の第７の実施例である収音装置について説明する。
本発明の第７の実施例である収音装置は、本発明の第１〜６の実施例である収音装置のフィルタ係数算出部２１において、共分散行列Ｒ_ＸＸ（ω）を白色化することを特徴とする。図１６は図４のフィルタ係数算出部２１中に破線で示す白色化部２１Ｊ１〜２１ＪＫの１つを代表してその機能構成を示す。この白色化部２１Ｊは対角行列算出部２１ＪＡと、重み付け部２１ＪＢと逆演算部２１ＪＣと、乗算部２１ＪＤとにより構成されている。対角行列算出部２１ＪＡは与えられた共分散行列Ｒ_ＸＸ（ω）の対角行列ｄｉａｇ（Ｒ_ＸＸ（ω））を生成する。重み付け部２１ＪＢは予め決めた任意のＭ行またはＭ＋１行の行列Ｄに基づく重みにより、次式を計算して対角行列に重みを与える。

逆演算部２１ＪＣは式（３４）の逆数

を計算する。ただし、^Ｔは行列の転置を表す。この逆演算部２１ＪＣの演算結果は入力されたそれぞれの共分散行列Ｒ_ＸＸ（ω）と乗算部２１ＪＤで乗算され、白色化された共分散行列が得られる。
共分散行列の白色化により、フィルタ係数算出部２１において求められるフィルタ係数は、送話信号、受話信号、雑音信号のスペクトルの変化に対して、変化しなくなる。これにより、スペクトル変化による収音レベル調整性能、および音響エコー、雑音の抑圧性能の変化がなくなり、定常的な収音レベル調整と音響エコー、雑音抑圧を得ることができる。
これら以外の部分に関しては、本発明の第１〜４の実施例と同じであるので、説明を省略する。
第８実施例
本発明の第８の実施例である収音装置について説明する。
本発明の第８の実施例である収音装置は、本発明の第１〜７の実施例である収音装置の共分散行列記憶部１８が、既に記憶されている共分散行列と、共分散行列算出部１７により新たに算出された共分散行列を平均して、現在の共分散行列として記憶することを特徴とする。
共分散行列の平均は、例えば以下の方法により行われる。既に記憶されている共分散行列をＲ_{ＸＸ，ｏｌｄ}（ω）とし、共分散行列算出部１７により新たに算出された共分散行列をＲ_{ＸＸ，ｎｅｗ}（ω）とし、次式

により平均された共分散行列Ｒ_ＸＸ（ω）を求める。ただし、ｐは、平均の時定数を決定する定数であり、０≦ｐ＜１の値をとる。
図１７は共分散行列記憶部１８とその中に設けられた平均化部１８Ａの機能構成を示す。平均化部１８Ａは乗算器１８Ａ１と、加算器１８Ａ２と、乗算器１８Ａ３とから構成されている。共分散行列算出部１７により算出された音源９_ｋに対応する共分散行列Ｒ_ＳｋＳｋ（ω）は新共分散行列Ｒ_{ＳｋＳｋ，ｎｅｗ}（ω）として乗算器１８Ａ１に与えられ、（１−ｐ）と乗算され、その乗算結果は加算器１８Ａ２に与えられる。一方、音源９_ｋに対応する共分散行列Ｒ_ＳｋＳｋ（ω）が記憶領域１８Ｂから読み出され、旧共分散行列Ｒ_{ＳｋＳｋ，ｏｌｄ}（ω）として乗算器１８Ａ３に与えられ、定数ｐと乗算される。その乗算結果は加算器１８Ａ２により乗算器１８Ａ１の出力（１−ｐ）Ｒ_{ＳｋＳｋ，ｎｅｗ}（ω）と加算され、得られた平均共分散行列Ｒ_ＳｋＳｋ（ω）が音源９_ｋに対応する記憶領域に上書きされる。
以上の方法により、共分散行列を平均して記憶することにより、平均前より回路雑音などの外乱の影響を減らし、正確な共分散行列を求めることができ、従って、収音レベル調整、雑音抑圧、あるいは音響エコー抑圧の性能を向上させたフィルタ係数を決定することができる。
これら以外の部分に関しては、本発明の第１〜５の実施例と同じであるので、説明を省略する。
なお、本発明は専用のハードウェアにより実現することもできるし、その機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータに読み込ませ、実行することもできる。コンピュータ読み取り可能な記録媒体とは、フロッピーディスク、光磁気ディスク、ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ，不揮発性半導体メモリ、内蔵または外付けハードディスク、等の記憶装置をさす。更に、コンピュータ読み取り可能な記録媒体は、インターネットを介してプログラムを送信する場合のように、短時間の間、動的にプログラムを保持するもの（伝送媒体もしくは伝送は）、その場合のサーバとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含む。

発明の効果

次に、本発明による収音装置の第１実施例の有効性を示すために、図１８Ａ，１８Ｂに一辺が２０ｃｍの正方形のそれぞれの角にマイクロホンを配置した場合のシミュレーション結果を示す。シミュレーション条件は、マイクロホン数：４、信号対雑音比：約２０ｄＢ、部屋の残響時間：３００ｍｓ、話者数：２（話者Ａは４つのマイクロホンの中心から正方形の一辺と直角方向に５０ｃｍの位置、話者Ｂは上記中心から話者Ａと９０°成す方向に２００ｃｍの位置）である。これらの条件のもとで、話者Ａと話者Ｂが交互に発音した場合のマイクロホン受音信号波形を図１８Ａに示す。話者Ａと話者Ｂの音声波形を比較すると、話者Ｂの音声の振幅が低くなっていることが分かる。これに対し、本発明により処理を行った後の波形を図１８Ｂに示す。話者Ａと話者Ｂの音声波形の振幅の大きさがほぼ同じとなっており、収音レベル調整の効果が確認できる。
図１９は図１０に示した第３実施例によるシミュレーション結果を示す。シミュレーション条件は、マイクロ本数Ｍ：４，処理前の送話信号対雑音比：２０ｄＢ、送話信号対音響エコー信号比：−１０ｄＢ、部屋の残響時間：３００ｍｓｅｃである。この条件で、送話と受話を交互に繰り返し、そのときの送話信号レベルを図１９に示す。行Ａが処理前の送話信号レベルであり、行Ｂが第３実施例により処理した後の送話信号レベルである。以上の結果より、第３実施例は音響エコー信号を約４０ｄＢ、雑音信号を約１５ｄＢ低減していることがわかり、この発明の実施例が有効であることが確認できる。
以上説明したように、本発明の第１実施例によれば、複数のマイクロホンで受音した信号から音源位置を検出し、音源位置ごとの発話区間の共分散行列に基づきフィルタ係数を算出し、これらのフィルタ係数で、マイクロホン受音信号をフィルタリングして加算することにより、音量を音源位置ごとに調整した送話信号を得ることができる。
この発明の第２実施例によれば、第１実施例において発話区間の共分散行列に加え更に雑音区間の共分散行列を使用してフィルタ係数を決定することにより、収音レベル調整に加えて雑音抑圧が可能になる。
この発明の第３実施例によれば、第１又は第２実施例において、発話区間の共分散行列に加えて更に受話区間における共分散行列を使用してフィルタ係数を決定することにより、音響エコーの抑圧が可能となる。
この発明の第４実施例によれば、発話区間の共分散行列と受話区間の共分散行列を使ってフィルタ係数を決めることにより、受話信号がスピーカで再生され、収音された音響エコーを抑圧することができる。
この発明の第５実施例によれば、第４実施例において、発話区間及び受話区間の共分散行列に加え更に雑音区間の共分散行列を使ってフィルタ係数を決めることにより、更に雑音抑圧が可能となる。
この発明の第６実施例によれば、上記第１、２、３及び５の実施例において、フィルタ係数計算時に、より古い発音の共分散行列に対してより小さい感度拘束の重み係数を与えることにより、収音レベルの調整性能、雑音抑圧性能、あるいは音響エコー抑圧性能を更に向上することができる。
この発明の第７実施例によれば、上記第１乃至第６実施例において、フィルタ係数計算時に、共分散行列を白色かすることにより、信号スベクトルの変化による影響の少ない収音レベル調整、雑音抑圧、音響エコー抑圧を可能にする。
この発明の第８実施例によれば、第１乃至第７実施例において、共分散行列の保存時に、対応する領域に既に保存されている共分散行列との重み付き平均共分散行列で更新保存することにより、よし正確な共分散行列が得られ、収音レベル調整、雑音抑圧、音響エコー抑圧の性能を向上したフィルタ係数を決めることができる。

Claims (21)

1. 音響空間に配置された複数チャネルのマイクロホンにより各音源から発せられた音を収音する収音方法であって、
   （ａ）上記複数チャネルのマイクロホンで受音された受音信号から、発話区間を判定する発話判定段階を含む状態判定段階と、
   （ｂ）上記発話判定段階において発話区間と判定された場合に、上記受音信号から、各音源位置を検出する音源位置検出段階と、
   （ｃ）上記受音信号を周波数領域の信号に変換する周波数領域変換段階と、
   （ｄ）上記周波数領域の受音信号の共分散行列を算出する共分散行列算出段階と、
   （ｅ）上記音源位置検出段階の検出結果に基づき、各音源に対し上記共分散行列を記憶する共分散行列記憶段階と、
   （ｆ）記憶されている上記共分散行列と予め決めた出力レベルに基づき上記複数チャネルのフィルタ係数を算出するフィルタ係数算出段階と、
   （ｇ）上記複数チャネルの受音信号をそれぞれ上記複数チャネルのフィルタ係数でフィルタリングするフィルタリング段階と、
   （ｈ）上記複数チャネルのフィルタリング結果を加算して送話信号として出力する加算段階、
   とを含む収音方法
2. 請求項１記載の収音方法において、更に、各音源に対応して記憶されている共分散行列に基づいて上記音源からの発話に対する収音レベルを推定する収音レベル推定段階を含み、上記フィルタ係数算出段階は上記各音源に対応して記憶された上記共分散行列及び上記推定された収音レベルに基づいて出力レベルが所望のレベルとなるよう、上記複数チャネルのフィルタ係数を算出する段階を含む。
3. 請求項２記載の収音方法において、上記状態判定段階は、上記複数チャネルの受音信号から雑音区間を判定する雑音判定段階を含み、
   上記共分散行列算出段階は、上記雑音区間と判定された場合、その区間での受音信号の共分散行列を雑音の共分散行列として算出する段階を含み、
   上記共分散行列記憶段階は、各音源ごとに対応して上記受音信号の共分散行列を記憶すると共に、上記雑音区間の共分散行列を記憶するよう適応されており、
   上記フィルタ係数算出段階は、上記発話区間の各音源に対する記憶された共分散行列と上記雑音区間の記憶された共分散行列に基づいて、各音源に対する収音レベルが各々所望のレベルとなり、かつ雑音を抑圧するように複数チャネルのフィルタ係数を算出するよう適応されている。
4. 請求項２記載の収音方法において、上記音響空間に受話信号を再生して出力するスピーカが設けられており、上記状態判定段階は受話信号から受話区間を判定する受話判定段階を含み、
   上記周波数領域変換段階は受話信号を周波数領域の信号に変換する段階を含み、
   上記共分散行列算出段階は、上記発話区間及び上記受話区間のそれぞれにおいて上記共分散行列を周波数領域の上記複数チャネルの受音信号と上記受話信号から算出し、
   上記共分散行列記憶段階は、上記発話区間の各音源に対応する共分散行列と、上記受話区間の共分散行列を記憶し、
   上記フィルタ係数算出段階は、上記受話区間の記憶された共分散行列および上記発話区間の音源ごとに記憶された共分散行列に基づいて、各音源に対する収音レベルが各々所望のレベルとなり、上記受音信号に含まれる上記スピーカによる再生音の信号成分である音響エコーを抑圧するよう複数チャネルのフィルタ係数を算出する。
5. 請求項１乃至４のいずれか記載の収音方法において、上記音源は２以上のＫ個あり、上記フィルタ係数算出段階は、Ｋ個の音源に対する感度拘束の重みＣ_Ｓ１〜Ｃ_ＳＫを、過去に発音した音源に対する重みほど小さくしてそれぞれの共分散行列に与えてから上記フィルタ係数を算出する。
6. 請求項１乃至４のいずれか記載の収音方法において、上記複数チャネルをＭチャネルとすると、上記フィルタ係数算出段階は、各々の共分散行列Ｒ_ＸＸ（ω）の対角成分ｄｉａｇ（Ｒ_ＸＸ（ω））と任意のＭ行またはＭ＋１行の行列Ｄに基づく重み１／｛Ｄ^Ｈｄｉａｇ（Ｒ_ＸＸ（ω））Ｄ｝を各々の共分散行列Ｒ_ＸＸ（ω）に乗じ白色化してから、上記フィルタ係数の算出を行う。
7. 請求項１乃至４のいずれか記載の収音方法において、上記共分散行列記憶段階は、過去に記憶されている共分散行列と、上記共分散行列算出段階により新たに算出された共分散行列を平均して、現在の共分散行列として記憶する。
8. 音響空間に配置された複数チャネルのマイクロホンにより各音源から発せられた音を収音する収音装置において、
   複数チャネルのマイクロホンの各々で受音された受音信号から、発話区間を判定する発話判定部を含む状態判定部と、
   上記発話判定部において発話区間と判定された場合に、上記受音信号から、音源位置を検出する音源位置検出部と、
   上記受音信号を周波数領域の信号に変換する周波数領域変換部と、
   上記周波数領域の複数チャネルの受音信号の共分散行列を各音源ごとに算出する共分散行列算出部と、
   上記音源位置検出手段の検出結果に基づき、上記共分散行列を音源ごとに記憶する共分散行列記憶部と、
   記憶された上記共分散行列を用いて、各音源に対する送話信号レベルが各々所望のレベルとなるよう複数チャネルのフィルタ係数を算出するフィルタ係数算出部と、
   上記マイクロホン受音信号を、上記複数チャネルのフィルタ係数で、各々フィルタリングする複数チャネルのフィルタと、
   上記複数チャネルのフィルタの出力信号し、送話信号として出力する加算器、
   とを含む。
9. 請求項８記載の収音装置において、各音源に対応して記憶された共分散行列から各音源の収音レベルを推定する収音レベル推定部を更に含み、上記フィルタ係数算出部は上記推定された収音レベルに基づいて各音源に対する送話信号レベルが所定レベルとなるよう対応する共分散行列に重みを与えて上記フィルタ係数を算出するよう適応されている。
10. 請求項１乃至７のいずれか記載の収音方法をコンピュータで実行させるための収音プログラム。
11. 受話信号がスピーカから再生される音響空間内で少なくとも１つのマイクロホンで少なくとも１つの音源からの発音を収音する収音方法であり、
    （ａ）上記少なくとも１チャネルのマイクロホンで受音された受音信号と受話信号から発話区間及び受話区間を判定する状態判定段階と、
    （ｂ）上記受音信号及び上記受話信号を周波数領域の信号に変換する周波数領域変換段階と、
    （ｃ）上記周波数領域の受音信号及び受話信号から発話区間での共分散行列及び受話区間での共分散行列を算出する共分散行列算出段階と、
    （ｄ）上記状態判定段階の判定結果に基づいて、上記共分散行列を上記発話区間及び上記受話区間ごとに記憶する共分散行列記憶段階と、
    （ｅ）上記発話区間及び上記受話区間での記憶された共分散行列に基づいて受話信号の音響エコーを抑圧するよう上記マイクロホンと同チャネル数の受音信号用フィルタ係数と、１チャネルの上記受話信号用フィルタ係数を算出するフィルタ係数算出段階と、
    （ｆ）上記受音信号を、上記少なくとも１チャネルの受音信号用フィルタ係数でフィルタリングし、上記受話信号を上記受話信号用フィルタ係数でフィルタリングするフィルタリング段階と、
    （ｇ）上記フィルタリングされた信号を加算して送話信号として出力する加算段階、
    とを含む。
12. 請求項１１記載の収音方法において、上記状態判定段階は、上記受音信号及び上記受話信号から雑音区間を判定する段階を含み、上記共分散行列算出段階は上記雑音区間での共分散行列を算出する段階を含み、上記共分散行列記憶段階は、上記雑音区間での共分散行列を記憶する段階を含み、上記フィルタ係数算出段階は、上記発話区間、上記受話区間及び上記雑音区間での記憶された共分散行列に基づいて上記音響エコーと雑音を抑圧するよう上記少なくとも１チャネルの受音信号用フィルタ係数と、上記受話信号用フィルタ係数を算出する。
13. 請求項１１記載の収音方法において、上記マイクロホンは複数チャネルに設けられ、複数音源からの発音を受音し、上記方法は更に、上記状態判定段階により発話区間と判定された場合に、上記複数チャネルのマイクロホンからの受音信号から音源位置を検出する音源位置検出段階含み、上記共分散行列記憶段階は、上記状態判定段階の判定結果及び検出音源位置に基づいて上記上記共分散行列を音源位置、受話区間ごとに記憶する。
14. 請求項１３の収音方法において、上記フィルタ係数算出段階は、Ｋ個の各音源位置に対する感度拘束の重み係数Ｃ_Ｓ１〜Ｃ_ＳＫを、過去に発音した音源に対する重みほど小さくしてそれぞれの音源に対応する上記共分散行列に与えてから上記フィルタ係数を算出する。
15. 請求項１１乃至１４のいずれかの収音方法において、上記複数チャネルは２以上のＭチャネルであり、上記フィルタ係数算出段階は、それぞれのＭ＋１行Ｍ＋１列の共分散行列Ｒ_ＸＸ（ω）の対角成分ｄｉａｇ（Ｒ_ＸＸ（ω））と任意のＭ＋１行の行列Ｄに基づく重み１／｛Ｄ^Ｔｄｉａｇ（Ｒ_ＸＸ（ω））Ｄ｝をそれぞれの共分散行列Ｒ_ＸＸ（ω）に乗じて白色化してからフィルタ係数を算出する。
16. 請求項１１乃至１４のいずれかの収音方法において、上記共分散行列記憶段階は、既に記憶されている共分散行列と、上記共分散行列算出部により新たに算出された共分散行列を平均して現在の共分散行列として記憶する。
17. 収音装置であり、
    音源からの送話音を収音して受音信号を出力する少なくとも１チャネルのマイクロホンと、
    受話信号を再生出力するスピーカと、
    受音信号と受話信号から発話区間及び受話区間を判定する状態判定部と、
    上記受話信号及び上記受音信号を周波数領域の信号に変換する周波数領域変換部と、
    上記発話区間及び受話区間ごとに上記周波数領域の受音信号と受話信号の共分散行列を算出する共分散行列算出部と、
    上記共分散行列を発話区間及び受話区間ごとに記憶する共分散行列記憶部と、
    記憶された上記共分散行列に基づいて上記受話信号の音響エコーを抑圧するように上記少なくとも１チャネルの受音信号用フィルタ係数と上記受話信号用フィルタ係数を算出するフィルタ係数算出部と、
    上記受音信号用フィルタ係数と受話信号用フィルタ係数が設定され、上記受音信号と受話信号をそれぞれフィルタリングする受音信号用フィルタと受話信号用フィルタと、
    上記受音信号用フィルタの出力と上記受話信号用フィルタの出力を加算して送話信号として出力する加算器、
    とを含む。
18. 請求項１７記載の収音装置において、上記マイクロホンと上記受音信号用フィルタはそれぞれ複数チャネル設けられており、上記加算器は、上記複数チャネルの受音信号用フィルタの出力と上記受話信号用フィルタの出力を加算して送話信号として出力する。
19. 請求項１８記載の収音装置において、上記状態判定部は上記受音信号と上記受話信号から雑音区間を判定する雑音判定部を含み、上記共分散行列算出部は上記雑音区間の受音信号と受話信号の共分散行列を算出するよう適応されており、上記共分散行列記憶部は上記雑音区間の共分散行列を記憶するよう適応されており、上記フィルタ係数算出部は記憶された上記共分散行列に基づいて上記受話信号の音響エコー及び雑音を抑圧するよう上記複数チャネルのフィルタ係数を算出し、上記複数チャネルのフィルタに設定するよう適応されている。
20. 請求項１９記載の収音装置において、更に上記複数チャネルの受音信号に基づいてＫ個の音源の位置を検出する音源位置検出部が設けられ、上記共分散行列算出部は、上記発話区間の共分散行列を各音源ごとに算出するよう適応されており、上記共分散行列記憶部は上記発話区間の共分散行列を各音源ごとに記憶するよう適応されており、上記フィルタ係数算出部はそれぞれの音源に対し過去に発話した音源ほど小さな感度拘束の重みＣ_Ｓ１〜Ｃ_ＳＫを小さくしてそれぞれの共分散行列に与えて上記フィルタ係数を算出する手段を含む。
21. 請求項１１乃至１６のいずれか記載の収音方法をコンピュータで実行させるための収音プログラム。

Images