JP4456594B2 - 音響結合量算出装置、音響結合量算出装置を用いたエコー消去装置及びボイススイッチ装置、通話状態判定装置、これらの方法、これらのプログラム及びその記録媒体 - Google Patents
音響結合量算出装置、音響結合量算出装置を用いたエコー消去装置及びボイススイッチ装置、通話状態判定装置、これらの方法、これらのプログラム及びその記録媒体 Download PDFInfo
- Publication number
- JP4456594B2 JP4456594B2 JP2006308449A JP2006308449A JP4456594B2 JP 4456594 B2 JP4456594 B2 JP 4456594B2 JP 2006308449 A JP2006308449 A JP 2006308449A JP 2006308449 A JP2006308449 A JP 2006308449A JP 4456594 B2 JP4456594 B2 JP 4456594B2
- Authority
- JP
- Japan
- Prior art keywords
- spectrum
- value
- signal
- acoustic coupling
- coupling amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、例えば音響再生系を有する通信会議システム等に適用され、ハウリングの原因及び聴覚上の障害となる音響エコーを消去したい場合等に用いる音響結合量算出装置、通話状態判定装置、これらの方法、これらのプログラム及びその記録媒体に関するものである。
従来の電話会議やテレビ会議に加えて、近年、ＰＣ（パーソナルコンピュータ）を用いたテレビ電話やデスクトップ会議などハンズフリー拡声通話が利用される機会が増加している。ハンズフリー拡声通話においては、受信した相手の声はスピーカから放音される一方、自身の声はマイクロホンで収音されることから、通話しながら議事録の筆記やＰＣの操作ができるという大きな利点がある。
しかし、スピーカで放音された相手の声は、受話者に届くだけでなくマイクロホンにも回りこんで収音され、音響エコーとして通話品質を劣化させるとともにハウリングの原因にもなる。
そこで、このようなエコーを低減しハウリングの発生を未然に防ぐため、エコーキャンセラ（エコー消去）技術が導入されている。
しかし、スピーカで放音された相手の声は、受話者に届くだけでなくマイクロホンにも回りこんで収音され、音響エコーとして通話品質を劣化させるとともにハウリングの原因にもなる。
そこで、このようなエコーを低減しハウリングの発生を未然に防ぐため、エコーキャンセラ（エコー消去）技術が導入されている。
図１６は従来のエコー消去装置１０の機能構成例を示す図である。
相手方からの送話信号である再生信号x(k)は再生手段９１（例えばスピーカ）から放音されるが、その一部はエコー経路h(k)（エコーがスピーカからマイクロホンに伝達する経路）を伝わりエコーz(k)となり、送話信号s(k)と共に収音手段９２（例えばマイクロホン）で収音信号y(k)として収音される。
相手方からの送話信号である再生信号x(k)は再生手段９１（例えばスピーカ）から放音されるが、その一部はエコー経路h(k)（エコーがスピーカからマイクロホンに伝達する経路）を伝わりエコーz(k)となり、送話信号s(k)と共に収音手段９２（例えばマイクロホン）で収音信号y(k)として収音される。
この収音信号y(k)からエコーz(k)を消去した出力信号e(k)を生成する方法として短時間スペクトル振幅（STSA : Short-Time Spectral Amplitude）推定がある。この方法におけるエコー抑圧処理は、人間の聴覚特性が位相に鈍感である性質、及び音声とエコーの統計的な性質等を利用して、周波数領域で収音信号中のエコーの振幅成分を減算することで実現する。ここでkは、所定間隔の離散時間を指す数（サンプリング点の番号）である。サンプリングとは、アナログの音声信号をディジタル信号に変換するために変数のある区間の値を１つの代表する値に置き換えることを言い、例えばサンプリング周波数１６ｋＨｚ（１秒間に１６，０００回）で行われる。
なお、再生手段９１に与える信号、収音手段９２で収音される信号はアナログ信号であるが、以下の説明におけるエコー消去処理はディジタル信号で行われる。従って、実際には各アナログ信号はＡＤ変換器によりディジタル信号に変換してから処理を行う必要があるが、これは当然の処理として図示は省略する。
エコー消去装置１０は、音響結合量算出装置６０、ゲイン計算部７１、積算部７２、周波数合成部７３から構成される。
音響結合量算出装置６０は、再生側周波数分析部６１、収音側周波数分析部６２、音響結合量計算部１３３から構成される。
エコー消去装置１０は、音響結合量算出装置６０、ゲイン計算部７１、積算部７２、周波数合成部７３から構成される。
音響結合量算出装置６０は、再生側周波数分析部６１、収音側周波数分析部６２、音響結合量計算部１３３から構成される。
再生側周波数分析部６１は、再生信号x(k)が入力されると、各フレーム（所定時間）ごとに再生信号スペクトルＸL,ωに変換し、記憶・出力する。ここで、ωは所定の周波数間隔で求めたスペクトルの周波数値の番号（単に周波数値と略すこともある）、Ｌは周波数分析フレームの番号である。例えば、１６ｋＨｚでサンプリングした２５６点の再生信号x(k-255),・・・,x(k)を１フレームとし、半フレーム（ここでは１２８点）ずらしながら周波数分析（例えば、短時間離散的フーリエ変換にて）していき、再生信号x(k)をフレーム単位で８ｋＨｚまで周波数帯域をサンプル点数１２８点で表した再生信号スペクトルＸL,ω(ω=1,・・・,128)に変換し出力する。
収音側周波数分析部６２は、再生側周波数分析部６１と同様な処理を行い、収音信号y(k)が入力されると、収音信号スペクトルＹL,ωに変換し出力する。
音響結合量計算部１３３は、スペクトル比計算部１３３ａと比較部１３３ｂと最小値保持部１３３ｃから構成される。音響結合量の推定については、再生信号のパワースペクトル|ＸL,ω|2に対する収音信号のパワースペクトル|ＹL,ω|2の比の最小値保持を用いる方法がこれまでに提案されている[非特許文献１]。
音響結合量計算部１３３は、スペクトル比計算部１３３ａと比較部１３３ｂと最小値保持部１３３ｃから構成される。音響結合量の推定については、再生信号のパワースペクトル|ＸL,ω|2に対する収音信号のパワースペクトル|ＹL,ω|2の比の最小値保持を用いる方法がこれまでに提案されている[非特許文献１]。
スペクトル比計算部１３３ａは、再生信号スペクトルＸL,ωと収音信号スペクトルＹL,ωを入力し、周波数値ωごとに(1)式によりパワー比(|ＨL,ω|’)2 を求める。
比較部１３３ｂは、パワー比(|ＨL,ω|’)2と１フレーム過去の音響結合量の推定値|ＨL-1,ω|2を入力し、大小比較を行う。そして両者のうち、より小さい値を現フレームの音響結合量の推定値|ＨL,ω|2として出力する。
最小値保持部１３３ｃは、比較部１３３ｂにおいてより小さい値と判断された値を保持・更新し、１フレーム後の比較部１３３ｂでの比較処理の際に、保持値を|ＨL-1,ω|2として出力する。
最小値保持部１３３ｃは、比較部１３３ｂにおいてより小さい値と判断された値を保持・更新し、１フレーム後の比較部１３３ｂでの比較処理の際に、保持値を|ＨL-1,ω|2として出力する。
ゲイン計算部７１は、音響結合量の推定値|ＨL,ω|2と再生信号スペクトルＸL,ωと収音信号スペクトルＹL,ωが入力され、周波数値ωごとにゲイン係数ＧL,ωを出力する。ゲイン係数ＧL,ωは(2)式から算出される[非特許文献１]。
ＧL,ωは０〜１の実数値をとり、収音信号スペクトル中のエコー信号スペクトルの割合が大きい時には小さい値、収音信号スペクトル中のエコー信号スペクトルの割合が小さい時には大きい値をとる。
積算部７２は、収音信号スペクトルＹL,ωとゲイン係数ＧL,ωが入力され、両者を積算することにより各周波数値ωに対応するエコー信号成分を取り除いた信号スペクトルＥL,ωを出力する。
周波数合成部７３は、信号スペクトルＥL,ωから、時間領域の信号e(k)を例えば短時間離散的フーリエ変換により再合成して出力する。
また、適応フィルタを使うタイプのエコーキャンセラにおいては通話状態を判定して通話状態に応じて適応フィルタ更新時のステップサイズの制御を行うものがある。通話状態の判定方法としては、コヒーレンスを用いる方法がこれまでに提案されている〔非特許文献２〕。
周波数合成部７３は、信号スペクトルＥL,ωから、時間領域の信号e(k)を例えば短時間離散的フーリエ変換により再合成して出力する。
また、適応フィルタを使うタイプのエコーキャンセラにおいては通話状態を判定して通話状態に応じて適応フィルタ更新時のステップサイズの制御を行うものがある。通話状態の判定方法としては、コヒーレンスを用いる方法がこれまでに提案されている〔非特許文献２〕。
図１７は従来の通話状態判定装置３２の機能構成図を示す図である。
通話状態判定装置３２は、再生側周波数分析部６１、収音側周波数分析部６２、分析窓出力部１０６、ベクトル内積計算部１４１、再生信号ノルム計算部１６１、収音信号ノルム計算部１６６、平均コヒーレンス計算部２８３、判定出力部２９２から構成される。
再生側周波数分析部６１と収音側周波数分析部６２は前記音響結合量算出装置６０と同様に、入力された再生信号x(k)と収音信号y(k)をそれぞれ、再生信号スペクトルＸL,ωと収音信号スペクトルＹL,ωに変換し出力する。
通話状態判定装置３２は、再生側周波数分析部６１、収音側周波数分析部６２、分析窓出力部１０６、ベクトル内積計算部１４１、再生信号ノルム計算部１６１、収音信号ノルム計算部１６６、平均コヒーレンス計算部２８３、判定出力部２９２から構成される。
再生側周波数分析部６１と収音側周波数分析部６２は前記音響結合量算出装置６０と同様に、入力された再生信号x(k)と収音信号y(k)をそれぞれ、再生信号スペクトルＸL,ωと収音信号スペクトルＹL,ωに変換し出力する。
分析窓出力部１０６は、時間軸方向の所定の範囲内を強調する分析窓を出力する。分析窓は、例えば注目する時間（フレーム値）Ｌに対しＬ−Ｎ１（ＬからＮ１フレームシフト、Ｎ２も同様）からＬ＋Ｎ２までを重み１、その他を重み０として時間軸上の所定の範囲内を強調する。従って、分析窓出力部１０６からはＮ１、Ｎ２が出力される。Ｎ１、Ｎ２は使用環境における残響時間及び雑音に係る時定数に依存する自然数で、例えばＮ１＝１００、Ｎ２＝０とする。
ベクトル内積計算部１４１は、再生信号スペクトルＸL,ωと収音信号スペクトルＹL,ωと分析窓Ｎ１、Ｎ２が入力され、再生信号スペクトルＸL,ωと収音信号スペクトルＹL,ωにおける再生信号ベクトル[ＸL-N1,ω、・・・、ＸL,ω、・・・、ＸL+N2,ω]Tと収音信号ベクトル[ＹL-N1,ω、・・・、ＹL,ω、・・・、ＹL+N2,ω]Tとから、ベクトル内積＜Ｘ* L,ω・ＹL,ω＞を、
により計算し出力する。ここで、Ｘ* L+n,ωはＸL+n,ωの共役複素数である。
再生信号ノルム計算部１６１は、前記再生信号ベクトルから、再生信号ノルム‖ＸL,ω‖を、
により計算し出力する。
収音信号ノルム計算部１６６は、前記収音信号ベクトルから、収音信号ノルム‖ＹL,ω‖を、
により計算し出力する。
平均コヒーレンス計算部２８３は、ベクトル内積＜Ｘ* L,ω・ＹL,ω＞と再生信号ノルム‖ＸL,ω‖と収音信号ノルム‖ＹL,ω‖とが入力され、これらから平均コヒーレンスγ(L)を次式のように計算し出力する。
ここで、Ｐは加算する周波数軸上の所定範囲を表すサンプル数（自然数）で、例えば１２０とする。
判定出力部２９２は再生信号x(k)と収音信号y(k)と平均コヒーレンスγ(L)が入力され、通話状態を以下のように判定して出力する。
・再生信号x(k)と収音信号y(k)の振幅が無い時、無音の状態と
判定する。
・収音信号y(k)の振幅がある区間において、再生信号x(k)の振幅が
ほとんど無い時、無音の状態と判定する。
・再生信号x(k)の振幅がある区間において、平均コヒーレンスγ(L)
が検出しきい値を上回った場合、その区間は再生信号のみの状態と判定
する。
・再生信号x(k)の振幅がある区間において、平均コヒーレンスγ(L)
が検出しきい値を下回った場合、その区間はダブルトーク状態と判定する。
なお、再生信号と収音信号との相関を求めて音響結合量を求める場合に通話状態に応じて音響結合量を制御することは提案されていない。
阪内澄宇、羽田陽一、片岡章俊、"STSA推定に基づくエコー抑圧処理のゲイン強調式、"電子情報通信学会論文誌、vol. J88-A, no.6, pp.695-703, 2005. T.Gansler, M.Hansson, C.-J.Ivarsson, and Goran Salomonsson, "A double-talk detector based on coherence," IEEE Trans. Communications, vol.44, no.11, pp.1421-1427, Nov. 1996.
・再生信号x(k)と収音信号y(k)の振幅が無い時、無音の状態と
判定する。
・収音信号y(k)の振幅がある区間において、再生信号x(k)の振幅が
ほとんど無い時、無音の状態と判定する。
・再生信号x(k)の振幅がある区間において、平均コヒーレンスγ(L)
が検出しきい値を上回った場合、その区間は再生信号のみの状態と判定
する。
・再生信号x(k)の振幅がある区間において、平均コヒーレンスγ(L)
が検出しきい値を下回った場合、その区間はダブルトーク状態と判定する。
なお、再生信号と収音信号との相関を求めて音響結合量を求める場合に通話状態に応じて音響結合量を制御することは提案されていない。
阪内澄宇、羽田陽一、片岡章俊、"STSA推定に基づくエコー抑圧処理のゲイン強調式、"電子情報通信学会論文誌、vol. J88-A, no.6, pp.695-703, 2005. T.Gansler, M.Hansson, C.-J.Ivarsson, and Goran Salomonsson, "A double-talk detector based on coherence," IEEE Trans. Communications, vol.44, no.11, pp.1421-1427, Nov. 1996.
従来の再生信号パワースペクトルに対する収音信号パワースペクトルの比の最小値保持を用いる音響結合量計算方法では、ダブルトーク（エコー信号に送話者の信号が混入する状態）中は送話者の信号の変動が支配的になり、エコー経路の変動が覆い隠されてしまう。それゆえ、たとえエコー経路にエコーが減少する方向に変動が生じてもそれが必ずしも音響結合量の推定値の更新に即座に反映されるとは限らなかった。
一方、エコー経路そのものの変動により音響結合量が増加する場合があるが、従来の計算方法では、算出されたパワー比(|ＨL,ω|’)2 がその１フレーム過去の音響結合量の推定値|ＨL-1,ω|2より大きい時は、全てダブルトークが生じたものとして音響結合量の推定値は更新されない。それゆえ、実際には受話シングルトーク（収音信号中にエコー信号のみが含まれる状態）中にエコー経路にエコーが増加する方向の変動が生じてもそれを音響結合量の推定値の更新に反映することができなかった。
以上のようなエコー経路変動への追従性の問題により音響結合量の誤推定が生じ、それがミュージカルノイズ発生の原因の一つとなっていた。
また、従来の通話状態判定方法ではコヒーレンスを計算するために長い時定数が必要なため、検出の遅れが生じて処理信号に欠損が生じることがあった。加えて、残響が多いなど再生信号とエコーとの相関が低い場合、受話シングルトーク状態でも平均コヒーレンス値が小さいため、受話シングルトークとダブルトークとの判断が困難になることがあった。
また、従来の通話状態判定方法ではコヒーレンスを計算するために長い時定数が必要なため、検出の遅れが生じて処理信号に欠損が生じることがあった。加えて、残響が多いなど再生信号とエコーとの相関が低い場合、受話シングルトーク状態でも平均コヒーレンス値が小さいため、受話シングルトークとダブルトークとの判断が困難になることがあった。
本発明の一面の課題は、エコー経路変動への追従性と推定の精度が共に優れた音響結合量算出技術を提供することにある。
本発明の他面の課題は、検出遅延を生じることなく、受話シングルトークとダブルトークとを正確に判定することができる通話状態判定技術を提供することにある。
本発明の他面の課題は、検出遅延を生じることなく、受話シングルトークとダブルトークとを正確に判定することができる通話状態判定技術を提供することにある。
本発明では、対応するスペクトルごとに、複数の時刻と複数の周波数とを含む時間−周波数二次元領域における再生信号スペクトルと収音信号スペクトルとの相関値を、前記時間−周波数二次元領域における前記再生信号スペクトルの二乗の総和で正規化した結果を音響結合量の推定値として求める。
再生信号と送話信号とは統計的に無相関であり、しかもこの発明の構成によれば再生信号とエコー信号との相関が時間軸方向と周波数軸方向において融合されていることから、エコー経路の変動が再生信号スペクトルと収音信号スペクトルとの相関値に表れる。従って、ダブルトーク中にエコー経路がエコーの減少する方向に変動しても、またシングルトーク中にエコーが増加する方向に変動が生じても、音響結合量を高精度に推定し、かつ速やかに更新できる。
また、通話状態の判定においても、再生信号とエコー信号との相関が時間軸方向と周波数軸方向において融合されていることから、時定数を短くすることができ、少ない検出遅延で高精度に通話状態を判定できる。更に、収音信号の大きさを考慮した検出係数を利用することで、残響が多い場合でも効率的に受話シングルトークとダブルトークを判別できる。
〔第１実施形態〕
図１は、本発明のエコー消去装置１の機能構成例である。
エコー消去装置１は、音響結合量算出装置５１、ゲイン計算部７１、積算部７２、周波数合成部７３から構成される。音響結合量算出装置６０が音響結合量算出装置５１に置き換わった以外は図１６に示した従来技術と同じ構成である。よって、図１の中で図１６と対応する部分については同一参照番号を付け、説明は省略する。その他の図面についても同様とする。
図１は、本発明のエコー消去装置１の機能構成例である。
エコー消去装置１は、音響結合量算出装置５１、ゲイン計算部７１、積算部７２、周波数合成部７３から構成される。音響結合量算出装置６０が音響結合量算出装置５１に置き換わった以外は図１６に示した従来技術と同じ構成である。よって、図１の中で図１６と対応する部分については同一参照番号を付け、説明は省略する。その他の図面についても同様とする。
以下に図１６と異なる音響結合量算出装置５１について説明する。
音響結合量算出装置５１は、再生側周波数分析部６１、収音側周波数分析部６２、音響結合量計算手段８１から構成される。このうち、再生側周波数分析部６１、収音側周波数分析部６２は従来技術と同じである。
音響結合量計算手段８１は、再生信号スペクトルＸL,ωと収音信号スペクトルＹL,ωが入力され、対応するスペクトルごとに前記再生信号スペクトルと前記収音信号スペクトルとの時間軸方向と周波数軸方向の二つの軸を融合させた相関値が融合相関計算部８１ａで計算される。また、前記再生信号スペクトルの二乗の時間軸方向と周波数軸方向の二つの軸を融合させた値が融合二乗計算部８１ｂで計算される。そして、前記融合させた相関値を前記融合させた値で音響結合量計算部８１ｃにおいて正規化し、この結果を音響結合量の推定値として出力する。
音響結合量算出装置５１は、再生側周波数分析部６１、収音側周波数分析部６２、音響結合量計算手段８１から構成される。このうち、再生側周波数分析部６１、収音側周波数分析部６２は従来技術と同じである。
音響結合量計算手段８１は、再生信号スペクトルＸL,ωと収音信号スペクトルＹL,ωが入力され、対応するスペクトルごとに前記再生信号スペクトルと前記収音信号スペクトルとの時間軸方向と周波数軸方向の二つの軸を融合させた相関値が融合相関計算部８１ａで計算される。また、前記再生信号スペクトルの二乗の時間軸方向と周波数軸方向の二つの軸を融合させた値が融合二乗計算部８１ｂで計算される。そして、前記融合させた相関値を前記融合させた値で音響結合量計算部８１ｃにおいて正規化し、この結果を音響結合量の推定値として出力する。
〔第２実施形態〕
図２は、第２実施形態の音響結合量算出装置５２をエコー消去装置に適用した場合の機能構成例である。
音響結合量算出装置５２においては、第１実施形態の音響結合量算出装置５１における音響結合量計算手段８１の代わりに、分析窓出力部１０１、クロススペクトル期待値計算部１１１、パワースペクトル期待値計算部１２１、音響結合量計算部１３１が用いられ、それ以外の構成については第１実施形態と同様である。つまり、この例では融合相関計算部８１ａを分析窓出力部１０１とクロススペクトル期待値計算部１１１により構成し、融合二乗計算部８１ｂを分析窓出力部１０１とパワースペクトル期待値計算部１２１により構成したものに相当する。
図２は、第２実施形態の音響結合量算出装置５２をエコー消去装置に適用した場合の機能構成例である。
音響結合量算出装置５２においては、第１実施形態の音響結合量算出装置５１における音響結合量計算手段８１の代わりに、分析窓出力部１０１、クロススペクトル期待値計算部１１１、パワースペクトル期待値計算部１２１、音響結合量計算部１３１が用いられ、それ以外の構成については第１実施形態と同様である。つまり、この例では融合相関計算部８１ａを分析窓出力部１０１とクロススペクトル期待値計算部１１１により構成し、融合二乗計算部８１ｂを分析窓出力部１０１とパワースペクトル期待値計算部１２１により構成したものに相当する。
分析窓出力部１０１は、周波数軸方向の所定の範囲内かつ時間軸方向の所定の範囲内を強調する二次元分析窓を出力する。この例では二次元分析窓により、注目する周波数値ωに対しω−Ｍ１（ωからＭ１サンプルシフト、Ｍ２も同様）からω＋Ｍ２までを重み１、その他を重み０として周波数軸上の所定の範囲内を強調し、また注目する時間（フレーム値）Ｌに対しＬ−Ｎ１（ＬからＮ１フレームシフト、Ｎ２も同様）からＬ＋Ｎ２までを重み１、その他を重み０として時間軸上の所定の範囲内を強調する場合とする。従って、分析窓出力部１０１からはＭ１、Ｍ２、Ｎ１、Ｎ２が出力される。Ｍ１、Ｍ２はサンプリング周波数に依存する自然数で、サンプリング周波数１６ｋＨｚの場合、Ｍ１、Ｍ２とも２から１０の間の値が望ましく、Ｍ１＝５、Ｍ２＝５の付近が最も望ましい。そして、サンプリング周波数が２倍になればこれらの値も２倍の値になる。一方、Ｎ１、Ｎ２は使用環境における残響時間及び雑音に係る時定数に依存する自然数で、例えばＮ１＝１０、Ｎ２＝０とする。
クロススペクトル期待値計算部１１１は、再生信号スペクトルＸL,ωと収音信号スペクトルＹL,ωと前記二次元分析窓Ｍ１、Ｍ２、Ｎ１、Ｎ２が入力され、周波数値ω及びフレーム値Ｌ（時間Ｌともいう）ごとにクロススペクトル期待値Ｅt,f[Ｘ* L,ω・ＹL,ω]を (7)式により計算し出力する。ここで、Ｘ* L+n,ω+mはＸL+n,ω+mの共役複素数である。
なお、クロススペクトル期待値計算部１１１内のメモリ１１１ａ及び１１１ｂには、クロススペクトル期待値の計算に必要な再生信号スペクトル及び収音信号スペクトルの各(Ｎ２−Ｎ１)フレーム分がそれぞれ記憶される。１フレームの計算が終了するごとに最も古い信号スペクトルがメモリ１１１ａ及び１１１ｂから消去され、次のフレームの再生信号スペクトル及び収音信号スペクトルが１１１ａ及び１１１ｂにそれぞれ格納される。
パワースペクトル期待値計算部１２１は、再生信号スペクトルＸL,ωと前記二次元分析窓Ｍ１、Ｍ２、Ｎ１、Ｎ２が入力され、周波数値ω及びフレーム値Lごとにパワースペクトル期待値Ｅt,f[|ＸL,ω|2]を(8)式により計算し出力する。
なお、パワースペクトル期待値計算部１２１内のメモリ１２１ａには、パワースペクトル期待値の計算に必要な再生信号スペクトルの(Ｎ２−Ｎ１)フレーム分が記憶される。１フレームの計算が終了するごとに最も古い信号スペクトルがメモリ１２１ａから消去され、次のフレームの再生信号スペクトルが１２１ａに格納される。
音響結合量計算部１３１は、クロススペクトル期待値Ｅt,f[Ｘ* L,ω・ＹL,ω]とパワースペクトル期待値Ｅt,f[|ＸL,ω|2]が入力され、音響結合量の推定値|ＨL,ω|2を (9)式により計算し出力する。
このように音響結合量の推定において短時間スペクトルの時間方向だけでなく周波数方向の統計量にも着目することで、経路変動への追従性を向上することができる。
なお、式(9)の演算は式(7)の右辺を式(8)の右辺で割算することと同様であり、式(7)と式(8)の各右辺の分母は同一であるから、式(7)の右辺、つまり再生信号スペクトルＸL,ωと収音信号スペクトルＹL,ωとの内積を二次元分析窓で重み付け加算して二次元ベクトル内積を求め、また式(8)の右辺、つまり再生信号スペクトルＸL,ωの二乗を二次元分析窓で重み付け加算した二次元再生信号パワースペクトルを求め、前記二次元ベクトル内積を二次元再生信号パワースペクトルで割算して音響結合量の推定値|ＨL,ω|2を求めてもよい。
〔第３実施形態〕
図３は、第３実施形態の音響結合量算出装置５３をエコー消去装置に適用した場合の機能構成例である。
音響結合量算出装置５３においては、第２実施形態の音響結合量算出装置５２における分析窓出力部１０１の代わりに分析窓出力部１０２が、クロススペクトル期待値計算部１１１の代わりにクロススペクトル期待値計算部１１２が、パワースペクトル期待値計算部１２１の代わりにパワースペクトル期待値計算部１２２が用いられ、それ以外の構成については第２実施形態と同様である。
図３は、第３実施形態の音響結合量算出装置５３をエコー消去装置に適用した場合の機能構成例である。
音響結合量算出装置５３においては、第２実施形態の音響結合量算出装置５２における分析窓出力部１０１の代わりに分析窓出力部１０２が、クロススペクトル期待値計算部１１１の代わりにクロススペクトル期待値計算部１１２が、パワースペクトル期待値計算部１２１の代わりにパワースペクトル期待値計算部１２２が用いられ、それ以外の構成については第２実施形態と同様である。
分析窓出力部１０２は、周波数軸方向の所定の範囲内かつ時間軸方向の所定の範囲内の現在着目している点で極大値を有する二次元分析窓を出力する。例えば、二次元分析窓の周波数軸方向の所定の範囲、時間軸方向の所定の範囲を第２実施形態と同様にω−Ｍ１〜ω＋Ｍ２、Ｌ−Ｎ１〜Ｌ＋Ｎ２とし、現在着目している点[Ｌ,ω]で極大値を持つような重み付け二次元窓関数Ｗｎ,ｍを、重み計算部１０２ａで(10)式により各ｍ、ｎについて計算し、Ｍ１、Ｍ２、Ｎ１、Ｎ２と共に出力する。ここで、βは窓の調整係数（例えばサンプリング周波数１６ｋＨｚで1.0）、Iは減衰率を決定する値（例えばサンプリング周波数１６ｋＨｚで0.5）である。
クロススペクトル期待値計算部１１２は、再生信号スペクトルＸL,ωと収音信号スペクトルＹL,ωと前記二次元分析窓Ｍ１、Ｍ２、Ｎ１、Ｎ２、Ｗｎ,ｍが入力され、クロススペクトル期待値Ｅt,f[Ｘ* L,ω・ＹL,ω]を (11)式により計算し出力する。
パワースペクトル期待値計算部１２２は、再生信号スペクトルＸL,ωと前記二次元分析窓Ｍ１、Ｍ２、Ｎ１、Ｎ２、Ｗｎ,ｍが入力され、パワースペクトル期待値Ｅt,f[|ＸL,ω|2]を(12)式により計算し出力する。
重み付け二次元窓関数Ｗｎ,ｍをスペクトル期待値の算出に適用することで、周波数軸方向、時間軸方向のいずれにおいても、現在着目している点[Ｌ,ω]に近いほど再生信号スペクトルと収音信号スペクトルのエコー成分との相関が大きくなるため、音響結合量をより高精度に推定することができる。
第２実施形態の最後に述べたと同様に、式(11)と式(12)の各右辺の分子を計算して、前者の結果を後者の結果で割算して音響結合量の推定値|ＨL,ω|2を求めてもよい。
第２実施形態の最後に述べたと同様に、式(11)と式(12)の各右辺の分子を計算して、前者の結果を後者の結果で割算して音響結合量の推定値|ＨL,ω|2を求めてもよい。
〔第４実施形態〕
図４は、第４実施形態の音響結合量算出装置５４をエコー消去装置に適用した場合の機能構成例である。
音響結合量算出装置５４においては、第１実施形態の音響結合量算出装置５１における音響結合量算出手段８１の代わりに、分析窓出力部１０３、クロススペクトル期待値計算部１１３、パワースペクトル期待値計算部１２３、音響結合量計算部１３１が用いられ、それ以外の構成については第１実施形態と同様である。つまり、この例では融合相関計算部８１ａを分析窓出力部１０３とクロススペクトル期待値計算部１１３により構成し、融合二乗計算部８１ｂを分析窓出力部１０３とパワースペクトル期待値計算部１２３により構成したものに相当する。
図４は、第４実施形態の音響結合量算出装置５４をエコー消去装置に適用した場合の機能構成例である。
音響結合量算出装置５４においては、第１実施形態の音響結合量算出装置５１における音響結合量算出手段８１の代わりに、分析窓出力部１０３、クロススペクトル期待値計算部１１３、パワースペクトル期待値計算部１２３、音響結合量計算部１３１が用いられ、それ以外の構成については第１実施形態と同様である。つまり、この例では融合相関計算部８１ａを分析窓出力部１０３とクロススペクトル期待値計算部１１３により構成し、融合二乗計算部８１ｂを分析窓出力部１０３とパワースペクトル期待値計算部１２３により構成したものに相当する。
分析窓出力部１０３は、周波数軸方向の所定の範囲内を強調する周波数軸分析窓と時間軸方向の所定の範囲内を強調する時間軸分析窓を出力する。この例では、周波数軸分析窓により注目する周波数値ωに対しω−Ｍ１（ωからＭ１サンプルシフト、Ｍ２も同様）からω＋Ｍ２までを重み１、その他を重み０として周波数軸上の所定の範囲内を強調し、時間軸分析窓により注目する時間（フレーム値）Ｌに対しＬ−Ｎ１（ＬからＮ１フレームシフト、Ｎ２も同様）からＬ＋Ｎ２までを重み１、その他を重み０として時間軸上の所定の範囲内を強調する場合とする。従って、分析窓出力部１０３からはＭ１、Ｍ２、Ｎ１、Ｎ２が出力される。Ｍ１、Ｍ２はサンプリング周波数に依存する自然数で、サンプリング周波数１６ｋＨｚの場合、Ｍ１、Ｍ２とも２から１０の間の値が望ましく、Ｍ１＝５、Ｍ２＝５の付近が最も望ましい。そして、サンプリング周波数が２倍になればこれらの値も２倍の値になる。一方、Ｎ１、Ｎ２は使用環境における残響時間及び雑音に係る時定数に依存する自然数で、例えばＮ１＝１０、Ｎ２＝０とする。
クロススペクトル期待値計算部１１３は、ベクトル内積計算部１４１と周波数軸重み付け部１５１とから構成される。
ベクトル内積計算部１４１は再生信号スペクトルＸL,ωと収音信号スペクトルＹL,ωと時間軸分析窓Ｎ１、Ｎ２とが入力され、再生信号スペクトルＸL,ωと収音信号スペクトルＹL,ωとの積を各時間ごとに前記時間軸分析窓で重み付け加算したベクトル内積＜Ｘ* L,ω・ＹL,ω＞を(3)式により計算し出力する。
ベクトル内積計算部１４１は再生信号スペクトルＸL,ωと収音信号スペクトルＹL,ωと時間軸分析窓Ｎ１、Ｎ２とが入力され、再生信号スペクトルＸL,ωと収音信号スペクトルＹL,ωとの積を各時間ごとに前記時間軸分析窓で重み付け加算したベクトル内積＜Ｘ* L,ω・ＹL,ω＞を(3)式により計算し出力する。
周波数軸重み付け部１５１は、前記求めたベクトル内積＜Ｘ* L,ω・ＹL,ω＞と周波数軸分析窓Ｍ１、Ｍ２が入力され、前記ベクトル内積＜Ｘ* L,ω・ＹL,ω＞を各スペクトルごとに前記周波数軸分析窓で重み付け加算した値を、二次元で重み付け加算したサンプルの数で割ったクロススペクトル期待値Ｅt,f[Ｘ* L,ω・ＹL,ω]を (13)式により計算し出力する。
パワースペクトル期待値計算部１２３は、再生信号ノルム計算部１６１と周波数軸重み付け部１７１とから構成される。
再生信号ノルム計算部１６１は、再生信号スペクトルＸL,ωと時間軸分析窓Ｎ１、Ｎ２とが入力され、再生信号スペクトルＸL,ωの振幅の二乗を各時間ごとに前記時間軸分析窓で重み付け加算し、それを開平した再生信号ノルム‖ＸL,ω‖を (4)式により計算し出力する。
再生信号ノルム計算部１６１は、再生信号スペクトルＸL,ωと時間軸分析窓Ｎ１、Ｎ２とが入力され、再生信号スペクトルＸL,ωの振幅の二乗を各時間ごとに前記時間軸分析窓で重み付け加算し、それを開平した再生信号ノルム‖ＸL,ω‖を (4)式により計算し出力する。
周波数軸重み付け部１７１は、前記求めた再生信号ノルム‖ＸL,ω‖と周波数軸分析窓Ｍ１、Ｍ２が入力され、前記再生信号ノルム‖ＸL,ω‖の二乗を各スペクトルごとに前記周波数軸分析窓で重み付け加算した値を、二次元で重み付け加算したサンプルの数で割ったパワースペクトル期待値Ｅt,f[|ＸL,ω|2]を (14)式により計算し出力する。
なお、(13)式の＜Ｘ* L,ω・ＹL,ω＞の計算と(14)式の‖ＸL,ω‖２の計算はそれぞれ(15)式、(16)式により計算して時間軸方向の計算の効率化を図ることもできる。この＜Ｘ* L,ω・ＹL,ω＞と‖ＸL,ω‖２の計算の効率化は、その他の実施例においても同様に適用できる。
＜Ｘ* L,ω・ＹL,ω＞≒αＸ* L,ω・ＹL,ω＋（１−α）＜Ｘ* L-1,ω・ＹL-1,ω＞
(15)
‖ＸL,ω‖２≒α｜ＸL,ω｜２＋（１−α）‖ＸL-1,ω‖２ (16)
＜Ｘ* L,ω・ＹL,ω＞≒αＸ* L,ω・ＹL,ω＋（１−α）＜Ｘ* L-1,ω・ＹL-1,ω＞
(15)
‖ＸL,ω‖２≒α｜ＸL,ω｜２＋（１−α）‖ＸL-1,ω‖２ (16)
ここで、αは現時点から過去の無限範囲について過去に向かうほど減衰度を高めるための時定数の重み係数（例えばα＝０．０１）である。
第４実施形態についても第２実施形態と同様、音響結合量の推定において短時間スペクトルの時間方向だけでなく周波数方向の統計量にも着目することで、経路変動への追従性を向上することができる。
第４実施形態についても第２実施形態と同様、音響結合量の推定において短時間スペクトルの時間方向だけでなく周波数方向の統計量にも着目することで、経路変動への追従性を向上することができる。
〔第５実施形態〕
図５は、第５実施形態の音響結合量算出装置５５をエコー消去装置に適用した場合の機能構成例である。
音響結合量算出装置５５においては、第１実施形態の音響結合量算出装置５１における音響結合量算出手段８１の代わりに、分析窓出力部１０３、二次元ベクトル内積計算部１１４、二次元再生信号ノルム計算部１２４、音響結合量計算部１３２が用いられ、それ以外の構成については第１実施形態と同様である。つまり、この例では融合相関計算部８１ａを分析窓出力部１０３と二次元ベクトル内積計算部１１４により構成し、融合二乗計算部８１ｂを分析窓出力部１０３と二次元再生信号ノルム計算部１２４により構成したものに相当する。
図５は、第５実施形態の音響結合量算出装置５５をエコー消去装置に適用した場合の機能構成例である。
音響結合量算出装置５５においては、第１実施形態の音響結合量算出装置５１における音響結合量算出手段８１の代わりに、分析窓出力部１０３、二次元ベクトル内積計算部１１４、二次元再生信号ノルム計算部１２４、音響結合量計算部１３２が用いられ、それ以外の構成については第１実施形態と同様である。つまり、この例では融合相関計算部８１ａを分析窓出力部１０３と二次元ベクトル内積計算部１１４により構成し、融合二乗計算部８１ｂを分析窓出力部１０３と二次元再生信号ノルム計算部１２４により構成したものに相当する。
二次元ベクトル内積計算部１１４は、ベクトル内積計算部１４１と周波数軸重み付け部１５２とから構成される。
周波数軸重み付け部１５２は、前記求めたベクトル内積＜Ｘ* L,ω・ＹL,ω＞と周波数軸分析窓Ｍ１、Ｍ２とが入力され、前記ベクトル内積＜Ｘ* L,ω・ＹL,ω＞の絶対値を各スペクトルごとに前記周波数軸分析窓で重み付け加算した二次元ベクトル内積＜Ｘ* L,ω・ＹL,ω＞’を (17)式により計算し出力する。
周波数軸重み付け部１５２は、前記求めたベクトル内積＜Ｘ* L,ω・ＹL,ω＞と周波数軸分析窓Ｍ１、Ｍ２とが入力され、前記ベクトル内積＜Ｘ* L,ω・ＹL,ω＞の絶対値を各スペクトルごとに前記周波数軸分析窓で重み付け加算した二次元ベクトル内積＜Ｘ* L,ω・ＹL,ω＞’を (17)式により計算し出力する。
二次元再生信号ノルム計算部１２４は、再生信号ノルム計算部１６１と周波数軸重み付け部１７２とから構成される。
周波数軸重み付け部１７２は、前記求めた再生信号ノルム‖ＸL,ω‖と周波数軸分析窓Ｍ１、Ｍ２が入力され、前記再生信号ノルム‖ＸL,ω‖の二乗を各スペクトルごとに前記周波数軸分析窓で重み付け加算した二次元再生信号ノルム‖ＸL,ω‖’を (18)式により計算し出力する。
周波数軸重み付け部１７２は、前記求めた再生信号ノルム‖ＸL,ω‖と周波数軸分析窓Ｍ１、Ｍ２が入力され、前記再生信号ノルム‖ＸL,ω‖の二乗を各スペクトルごとに前記周波数軸分析窓で重み付け加算した二次元再生信号ノルム‖ＸL,ω‖’を (18)式により計算し出力する。
音響結合量計算部１３２は、上記二次元ベクトル内積＜Ｘ* L,ω・ＹL,ω＞’と上記二次元再生信号ノルム‖ＸL,ω‖’とが入力され、音響結合量の推定値|ＨL,ω|2を (19)式により計算し出力する。
第５実施形態についても第４実施形態と同様、音響結合量の推定において短時間スペクトルの時間軸方向だけでなく周波数軸方向の統計量にも着目することで、経路変動への追従性を向上することができる。また、二次元ベクトル内積＜Ｘ* L,ω・ＹL,ω＞’を求める際、理論的には位相成分も加味して演算すべきであるが、実際には位相の不規則な変動により演算に誤差が生じる場合があり、これは特に周波数軸方向において顕著である。そこで、第５実施形態においては、時間軸方向の演算であるベクトル内積＜Ｘ* L,ω・ＹL,ω＞を求める際には位相成分を加味しつつ、周波数軸方向の演算である二次元ベクトル内積＜Ｘ* L,ω・ＹL,ω＞’を求める際には絶対値をとることにより位相変動の影響を軽減している。
〔第６実施形態〕
図６は、第６実施形態の音響結合量算出装置５６をエコー消去装置に適用した場合の機能構成例である。
音響結合量算出装置５６においては、第４実施形態の音響結合量算出装置５４における分析窓出力部１０３の代わりに分析窓出力部１０４が、クロススペクトル期待値計算部１１３の代わりにクロススペクトル期待値計算部１１５が、パワースペクトル期待値計算部１２３の代わりにパワースペクトル期待値計算部１２５が用いられ、それ以外の構成については第４実施形態と同様である。
図６は、第６実施形態の音響結合量算出装置５６をエコー消去装置に適用した場合の機能構成例である。
音響結合量算出装置５６においては、第４実施形態の音響結合量算出装置５４における分析窓出力部１０３の代わりに分析窓出力部１０４が、クロススペクトル期待値計算部１１３の代わりにクロススペクトル期待値計算部１１５が、パワースペクトル期待値計算部１２３の代わりにパワースペクトル期待値計算部１２５が用いられ、それ以外の構成については第４実施形態と同様である。
分析窓出力部１０３は、周波数軸方向の所定の範囲内及び時間軸方向の所定の範囲内の現在着目している点で極大値を有する周波数軸分析窓及び時間軸分析窓を出力する。例えば、周波数軸分析窓の周波数軸方向の所定の範囲、時間軸分析窓の時間軸方向の所定の範囲を第４実施形態と同様にω−Ｍ１〜ω＋Ｍ２、Ｌ−Ｎ１〜Ｌ＋Ｎ２とし、現在着目している点[Ｌ,ω]で極大値を持つような重み付け二次元窓関数Ｗｎ,ｍを、重み計算部１０２ａで(10)式により各ｍ、ｎについて計算し、Ｍ１、Ｍ２、Ｎ１、Ｎ２と共に出力する。
クロススペクトル期待値計算部１１５は、ベクトル内積計算部１４２と周波数軸重み付け部１５３とから構成される。
ベクトル内積計算部１４２は再生信号スペクトルＸL,ωと収音信号スペクトルＹL,ωと時間軸分析窓Ｎ１、Ｎ２と重み付け二次元窓関数Ｗｎ,0とが入力され、ベクトル内積＜Ｘ* L,ω・ＹL,ω＞を(20)式により計算し出力する。
ベクトル内積計算部１４２は再生信号スペクトルＸL,ωと収音信号スペクトルＹL,ωと時間軸分析窓Ｎ１、Ｎ２と重み付け二次元窓関数Ｗｎ,0とが入力され、ベクトル内積＜Ｘ* L,ω・ＹL,ω＞を(20)式により計算し出力する。
周波数軸重み付け部１５３は、前記求めたベクトル内積＜Ｘ* L,ω・ＹL,ω＞と周波数軸分析窓Ｍ１、Ｍ２と重み付け二次元窓関数Ｗ0,ｍとが入力され、クロススペクトル期待値Ｅt,f[Ｘ* L,ω・ＹL,ω]を (21)式により計算し出力する。
パワースペクトル期待値計算部１２５は、再生信号ノルム計算部１６２と周波数軸重み付け部１７３とから構成される。
再生信号ノルム計算部１６２は、再生信号スペクトルＸL,ωと時間軸分析窓Ｎ１、Ｎ２と重み付け二次元窓関数Ｗｎ,0とが入力され、再生信号ノルム‖ＸL,ω‖を (22)式により計算し出力する。
再生信号ノルム計算部１６２は、再生信号スペクトルＸL,ωと時間軸分析窓Ｎ１、Ｎ２と重み付け二次元窓関数Ｗｎ,0とが入力され、再生信号ノルム‖ＸL,ω‖を (22)式により計算し出力する。
周波数軸重み付け部１７３は、前記求めた再生信号ノルム‖ＸL,ω‖と周波数軸分析窓Ｍ１、Ｍ２と重み付け二次元窓関数Ｗ0,ｍとが入力され、パワースペクトル期待値Ｅt,f[|ＸL,ω|2]を (23)式により計算し出力する。
重み付け二次元窓関数Ｗｎ,ｍをスペクトル期待値の算出に適用することで、周波数軸方向、時間軸方向のいずれにおいても、現在着目している点[Ｌ,ω]に近いほど再生信号スペクトルと収音信号スペクトルのエコー成分との相関が大きくなるため、音響結合量をより高精度に推定することができる。
なお、第６実施形態では第４実施形態に重み付け窓関数を適用した例を記したが、第５実施形態に対しても同様に適用可能である。第５実施形態に適用する場合は (21)式、(23)式の代わりに(24)式、(25)式を計算すればよい。
なお、第６実施形態では第４実施形態に重み付け窓関数を適用した例を記したが、第５実施形態に対しても同様に適用可能である。第５実施形態に適用する場合は (21)式、(23)式の代わりに(24)式、(25)式を計算すればよい。
〔第７実施形態〕
図７は、第７実施形態の音響結合量算出装置５７をエコー消去装置に適用した場合の機能構成例である。
音響結合量算出装置５７は、第４実施形態の構成に音響結合量補正部２４１を加えたものであり、その他の部分は第４実施形態と同様である。
図７は、第７実施形態の音響結合量算出装置５７をエコー消去装置に適用した場合の機能構成例である。
音響結合量算出装置５７は、第４実施形態の構成に音響結合量補正部２４１を加えたものであり、その他の部分は第４実施形態と同様である。
図８は音響結合量補正部２４１の機能構成例である。
音響結合量補正部２４１は、通話状態判定部２５１と収音信号ノルム計算部１６６と制御値計算部２６１と補正計算部２７１とから構成される。
通話状態判定部２５１は、再生信号x(k)と収音信号y(k)が入力され、どのような通話状態（無音、再生信号のみ、送話信号のみ、ダブルトークのいずれか）であるか判定し、この判定結果を出力する。通話状態の判定は例えば前記背景技術に記した公知の方法によって行う。
音響結合量補正部２４１は、通話状態判定部２５１と収音信号ノルム計算部１６６と制御値計算部２６１と補正計算部２７１とから構成される。
通話状態判定部２５１は、再生信号x(k)と収音信号y(k)が入力され、どのような通話状態（無音、再生信号のみ、送話信号のみ、ダブルトークのいずれか）であるか判定し、この判定結果を出力する。通話状態の判定は例えば前記背景技術に記した公知の方法によって行う。
収音信号ノルム計算部１６６は、収音信号スペクトルＹL,ωと時間軸分析窓Ｎ１、Ｎ２とが入力され、収音信号スペクトルＹL,ωの振幅の二乗を各時間ごとに前記時間軸分析窓で重み付け加算し、それを開平した収音信号ノルム‖ＹL,ω‖を (5)式により計算し出力する。
制御値計算部２６１は、前記通話状態判定結果と前記収音信号ノルム‖ＹL,ω‖と前記再生信号ノルム‖ＸL,ω‖と音響結合量の推定値|ＨL,ω|2とが入力され、制御値δL,ωを出力する。
制御値計算部２６１は、前記通話状態判定結果と前記収音信号ノルム‖ＹL,ω‖と前記再生信号ノルム‖ＸL,ω‖と音響結合量の推定値|ＨL,ω|2とが入力され、制御値δL,ωを出力する。
図９は制御値計算部２６１の機能構成例である。この図に従い制御値計算部２６１の処理内容を説明する。
まず、前記通話状態判定結果が制御部２６１ａに、前記再生信号ノルム‖ＸL,ω‖と前記収音信号ノルム‖ＹL,ω‖と音響結合量の推定値|ＨL,ω|2とが計算部２６１ｂに入力される。
制御部２６１ａは判定結果に応じ、計算部２６１ｂ、比較部２６１ｃ、記憶部２６１ｄを制御し、以下の処理を行う。
まず、前記通話状態判定結果が制御部２６１ａに、前記再生信号ノルム‖ＸL,ω‖と前記収音信号ノルム‖ＹL,ω‖と音響結合量の推定値|ＨL,ω|2とが計算部２６１ｂに入力される。
制御部２６１ａは判定結果に応じ、計算部２６１ｂ、比較部２６１ｃ、記憶部２６１ｄを制御し、以下の処理を行う。
《再生信号のみの状態と判定された場合》
計算部２６１ｂは、(26)式により制御値δL,ωを求めて出力し、記憶部
２６１ｄはそれまで保持していた制御値δL,ωを計算部２６１ｂから入
力された値で更新し出力するとともに、次の再計算時まで保持する。
計算部２６１ｂは、(26)式により制御値δL,ωを求めて出力し、記憶部
２６１ｄはそれまで保持していた制御値δL,ωを計算部２６１ｂから入
力された値で更新し出力するとともに、次の再計算時まで保持する。
《ダブルトーク状態と判定された場合》
計算部２６１ｂは、(26)式により制御候補値δL,ω’を求めて出力し、
記憶部２６１ｄは保持している制御値δL,ωを出力し、これらが比較部２
６１ｃに入力され両者の大小が比較される。制御候補値δL,ω’の方が大
きければこれを記憶部２６１ｄに出力し、記憶部２６１ｄはそれまで保
持されていた制御値δL,ωを制御候補値δL,ω’により更新し、それを出力
するとともに次の再計算時まで保持する。制御候補値δL,ω’の方が小さ
ければ保持されていた制御値δL,ωをそのまま出力する。
《無音または送話信号のみの状態と判定された場合》
記憶部２６１ｄに保持されていた制御値δL,ωをそのまま出力する。
計算部２６１ｂは、(26)式により制御候補値δL,ω’を求めて出力し、
記憶部２６１ｄは保持している制御値δL,ωを出力し、これらが比較部２
６１ｃに入力され両者の大小が比較される。制御候補値δL,ω’の方が大
きければこれを記憶部２６１ｄに出力し、記憶部２６１ｄはそれまで保
持されていた制御値δL,ωを制御候補値δL,ω’により更新し、それを出力
するとともに次の再計算時まで保持する。制御候補値δL,ω’の方が小さ
ければ保持されていた制御値δL,ωをそのまま出力する。
《無音または送話信号のみの状態と判定された場合》
記憶部２６１ｄに保持されていた制御値δL,ωをそのまま出力する。
図８の説明に戻る。補正計算部２７１は、音響結合量の推定値|ＨL,ω|2と制御値δL,ωが入力され、補正後の音響結合量の推定値|ＨL,ω|’2を(27)式により計算し出力する。
このように通話状態を判定して音響結合量の推定値を補正することにより、受話信号とエコーとの相関が弱い場合においても高精度に音響結合量を推定することができる。
なお、この音響結合量補正部２４１で行う対象音響結合量の推定値|ＨL,ω|’2としては、第５実施形態により求めたものに限らず、第１〜第４実施形態、第６実施形態、後述する第１０〜第１２実施形態のいずれで求めたものでもよい。
なお、この音響結合量補正部２４１で行う対象音響結合量の推定値|ＨL,ω|’2としては、第５実施形態により求めたものに限らず、第１〜第４実施形態、第６実施形態、後述する第１０〜第１２実施形態のいずれで求めたものでもよい。
〔第８実施形態〕
図１０は、第８実施形態の通話状態判定部２５２の機能構成例である。
通話状態判定部２５２は、第７実施形態の通話状態判定部２５１に代わるものであり、音響結合量補正部のその他の部分は第７実施形態と同様である。
通話状態判定部２５２は検出係数計算部２８１と判定出力部２９１とから構成される。
検出係数計算部２８１は、前記ベクトル内積＜Ｘ* L,ω・ＹL,ω＞と前記再生信号ノルム‖ＸL,ω‖と前記収音信号ノルム‖ＹL,ω‖とが入力され、第１検出係数γ１(L)と第２検出係数γ２(L)を計算して出力する。
図１０は、第８実施形態の通話状態判定部２５２の機能構成例である。
通話状態判定部２５２は、第７実施形態の通話状態判定部２５１に代わるものであり、音響結合量補正部のその他の部分は第７実施形態と同様である。
通話状態判定部２５２は検出係数計算部２８１と判定出力部２９１とから構成される。
検出係数計算部２８１は、前記ベクトル内積＜Ｘ* L,ω・ＹL,ω＞と前記再生信号ノルム‖ＸL,ω‖と前記収音信号ノルム‖ＹL,ω‖とが入力され、第１検出係数γ１(L)と第２検出係数γ２(L)を計算して出力する。
前記再生信号ノルム‖ＸL,ω‖と前記収音信号ノルム‖ＹL,ω‖は、それぞれ再生信号ノルム加算部２８１ａと収音信号ノルム加算部２８１ｂに入力されて、それぞれ周波数方向の所定範囲Ｐで加算され、それぞれの加算結果が乗算部２８１で乗算され、この乗算結果が開平演算部２８１ｅで開平される。
前記ベクトル内積＜Ｘ* L,ω・ＹL,ω＞は、内積加算部２８１ｃに入力されて、周波数方向の所定範囲Ｐで加算される。
上記周波数方向の所定範囲Ｐは、サンプリングレートに応じて選ばれ、音声帯域、例えば３．４ｋＨｚや７ｋＨｚなどと対応し、サンプリング周波数１６ｋＨｚ、周波数分析サンプル数２５６の場合、Ｐは６０〜１２０の範囲が望ましく、例えばＰ＝１２０とする。
前記ベクトル内積＜Ｘ* L,ω・ＹL,ω＞は、内積加算部２８１ｃに入力されて、周波数方向の所定範囲Ｐで加算される。
上記周波数方向の所定範囲Ｐは、サンプリングレートに応じて選ばれ、音声帯域、例えば３．４ｋＨｚや７ｋＨｚなどと対応し、サンプリング周波数１６ｋＨｚ、周波数分析サンプル数２５６の場合、Ｐは６０〜１２０の範囲が望ましく、例えばＰ＝１２０とする。
第１割算部２８１ｆは、開平演算部２８１ｅの出力と内積加算部２８１ｃの出力とが入力され、(28)式により第１検出係数γ１(L)を計算して出力する。
第２割算部２８１ｇは、収音信号ノルム加算部２８１ｂの出力と内積加算部２８１ｃの出力とが入力され、(29)式により第２検出係数γ２(L)を計算して出力する。
判定出力部２９１は、第１検出係数γ１(L)と第２検出係数γ２(L)と再生信号x(k)と収音信号y(k)とが入力され、以下の判定基準に基づき通話状態を判定し、結果を出力する。
・再生信号x(k)と収音信号y(k)の振幅がない時、無音の状態と判定する。
・収音信号y(k)の振幅のある区間で、再生信号x(k)の振幅がない時、送話信号のみの状態と判定する。
・再生信号x(k)の振幅がある区間で、第１検出係数γ１(L)と第２検出係数のγ２(L)のどちらかの一方でも検出しきい値を上回った場合、その区間は受話信号のみの状態と判定する。
・再生信号x(k)の振幅がある区間で、第１検出係数γ１(L)と第２検出係数γ２(L)の両方が検出しきい値を下回った場合、その区間はダブルトーク状態と判定する。
なお、第１検出係数γ１(L)のしきい値は０．２〜０．８の間の値が望ましく、例えば０．５とし、第２検出係数γ２(L)のしきい値は０．５〜３．０の間の値が望ましく、例えば１．０とする。
・再生信号x(k)と収音信号y(k)の振幅がない時、無音の状態と判定する。
・収音信号y(k)の振幅のある区間で、再生信号x(k)の振幅がない時、送話信号のみの状態と判定する。
・再生信号x(k)の振幅がある区間で、第１検出係数γ１(L)と第２検出係数のγ２(L)のどちらかの一方でも検出しきい値を上回った場合、その区間は受話信号のみの状態と判定する。
・再生信号x(k)の振幅がある区間で、第１検出係数γ１(L)と第２検出係数γ２(L)の両方が検出しきい値を下回った場合、その区間はダブルトーク状態と判定する。
なお、第１検出係数γ１(L)のしきい値は０．２〜０．８の間の値が望ましく、例えば０．５とし、第２検出係数γ２(L)のしきい値は０．５〜３．０の間の値が望ましく、例えば１．０とする。
第１検出係数γ１(L)は収音信号中の再生信号成分の強さを示し、収音信号中に近端話者信号が含まれていないとき大きな値となり、収音信号に近端話者信号が含まれているとき小さな値になるように動作する。しかし、スピーカとマイクロホンの距離が遠く、再生信号とエコーの相関が小さい場合においては受話シングルトーク時でも小さな値をとる。これに対して、第２検出係数γ２(L)は、スピーカとマイクロホンの距離が遠く、音響結合量の小さい場合において、収音信号に近端話者信号が含まれていないとき大きな値、近端話者信号が含まれるとき小さな値になるように動作する。従って、第１検出係数γ１(L)と第２検出係数γ２(L)の双方を前記のように用いて通話状態を判断することで、再生信号とエコーの相関の強弱に関わらず正確に通話状態を検出することが可能となる。
また、この検出方式は短時間スペクトルの時間方向と周波数方向の２つの統計量を利用して検出係数を計算しているため、検出に要する時定数が短縮され検出遅延の改善も図れる。
また、この検出方式は短時間スペクトルの時間方向と周波数方向の２つの統計量を利用して検出係数を計算しているため、検出に要する時定数が短縮され検出遅延の改善も図れる。
〔第９実施形態〕
図１１は、第９実施形態の通話状態判定部２５３の機能構成例である。
通話状態判定部２５３は、第７実施形態の通話状態判定部２５１に代わるものであり、音響結合量補正部のその他の部分は第７実施形態と同様である。
通話状態判定部２５３は検出係数計算部２８２と判定出力部２９１とから構成される。
検出係数計算部２８２は、検出係数計算部２８１の第２割算部２８１ｇが第２割算部２８１ｈに入れ替わっている以外は、検出係数計算部２８１と同じ構成である。
図１１は、第９実施形態の通話状態判定部２５３の機能構成例である。
通話状態判定部２５３は、第７実施形態の通話状態判定部２５１に代わるものであり、音響結合量補正部のその他の部分は第７実施形態と同様である。
通話状態判定部２５３は検出係数計算部２８２と判定出力部２９１とから構成される。
検出係数計算部２８２は、検出係数計算部２８１の第２割算部２８１ｇが第２割算部２８１ｈに入れ替わっている以外は、検出係数計算部２８１と同じ構成である。
第２割算部２８１ｈは、再生信号ノルム加算部２８１ａの出力と収音信号ノルム加算部２８１ｂの出力とが入力され、(30)式により第２検出係数γ２(L)を計算して出力する。
第９実施形態は、第８実施形態における第２検出係数γ２(L)の演算を簡素化したものであり、検出精度はやや劣るものの、演算処理の高速化を図ることができる。
〔第１０実施形態〕
図１２は、第１０実施形態の音響結合量算出装置５８をエコー消去装置に適用した場合の機能構成例である。
音響結合量算出装置５８においては、第１実施形態の音響結合量算出装置５１における音響結合量算出手段８１の代わりに、分析窓出力部１０５、クロススペクトル期待値計算部１１６、パワースペクトル期待値計算部１２６、音響結合量計算部１３１が用いられ、それ以外の構成については第１実施形態と同様である。つまり、この例では融合相関計算部８１ａを分析窓出力部１０５とクロススペクトル期待値計算部１１６により構成し、融合二乗計算部８１ｂを分析窓出力部１０５とパワースペクトル期待値計算部１２６により構成したものに相当する。
図１２は、第１０実施形態の音響結合量算出装置５８をエコー消去装置に適用した場合の機能構成例である。
音響結合量算出装置５８においては、第１実施形態の音響結合量算出装置５１における音響結合量算出手段８１の代わりに、分析窓出力部１０５、クロススペクトル期待値計算部１１６、パワースペクトル期待値計算部１２６、音響結合量計算部１３１が用いられ、それ以外の構成については第１実施形態と同様である。つまり、この例では融合相関計算部８１ａを分析窓出力部１０５とクロススペクトル期待値計算部１１６により構成し、融合二乗計算部８１ｂを分析窓出力部１０５とパワースペクトル期待値計算部１２６により構成したものに相当する。
分析窓出力部１０５は、周波数軸方向に対しては所定の範囲を強調する分析窓を出力し、例えば第２実施形態と同様にＭ１、Ｍ２を出力する。一方、時間軸方向に対しては現時点から過去の無限範囲について過去に向かうほど減衰度を高めるための時定数の重み係数α（例えばα＝０．０１）を出力する。
クロススペクトル期待値計算部１１６は、積和計算部１８１と第一加算部１９１と第一記憶部２０１から構成される。
積和計算部１８１は、再生信号スペクトルＸL,ωと収音信号スペクトルＹL,ωと前記周波数軸方向の分析窓Ｍ１、Ｍ２が入力され、周波数値ωごとのＸ* L,ωとＹL,ωとの積和を計算し出力する。
クロススペクトル期待値計算部１１６は、積和計算部１８１と第一加算部１９１と第一記憶部２０１から構成される。
積和計算部１８１は、再生信号スペクトルＸL,ωと収音信号スペクトルＹL,ωと前記周波数軸方向の分析窓Ｍ１、Ｍ２が入力され、周波数値ωごとのＸ* L,ωとＹL,ωとの積和を計算し出力する。
第一加算部１９１は、周波数値ωごとに、前記積和と重み係数αと１フレーム前のクロススペクトル期待値Ｅt,f[Ｘ* L-1,ω・ＹL-1,ω]を入力し、クロススペクトル期待値Ｅt,f[Ｘ* L,ω・ＹL,ω]を(31)式により計算し出力する。
第一記憶部２０１は、第一加算部１９１において計算されたクロススペクトル期待値Ｅt,f[Ｘ* L,ω・ＹL,ω]を記憶し、１フレーム後のクロススペクトル期待値の計算の際にＥt,f[Ｘ* L-1,ω・ＹL-1,ω]として出力する。
パワースペクトル期待値計算部１２６は、二乗和計算部２１１と第二加算部２２１と第二記憶部２３１から構成される。
二乗和計算部２１１は、再生信号スペクトルＸL,ωと前記周波数軸方向の分析窓Ｍ１、Ｍ２が入力され、周波数値ωごとにＸL,ωの二乗和を計算し出力する。
第二加算部２２１は、周波数値ωごとに前記二乗和と重み係数αと１フレーム前のパワースペクトル期待値Ｅt,f[|ＸL-1,ω|2]を入力し、パワースペクトル期待値Ｅt,f[|ＸL,ω|2]を(32)式により計算し出力する。
二乗和計算部２１１は、再生信号スペクトルＸL,ωと前記周波数軸方向の分析窓Ｍ１、Ｍ２が入力され、周波数値ωごとにＸL,ωの二乗和を計算し出力する。
第二加算部２２１は、周波数値ωごとに前記二乗和と重み係数αと１フレーム前のパワースペクトル期待値Ｅt,f[|ＸL-1,ω|2]を入力し、パワースペクトル期待値Ｅt,f[|ＸL,ω|2]を(32)式により計算し出力する。
第二記憶部２３１は、第二加算部２２１において計算されたパワースペクトル期待値Ｅt,f[|ＸL,ω|2]を記憶し、１フレーム後のパワースペクトル期待値の計算の際にＥt,f[|ＸL-1,ω|2]として出力する。
第２実施形態や第４実施形態は、各スペクトル期待値の計算時に周波数軸上の所定の範囲内のみならず、時間軸上の所定の範囲内も含めた全てのＸL,ω、ＹL,ωが必要になる。しかし、第１０実施形態では前フレームのスペクトル期待値を利用することで周波数軸上の所定の範囲のＸL,ω、ＹL,ωがあれば計算できるため、計算量やリソース消費量を第２実施形態や第４実施形態より少なくすることができる。
第２実施形態や第４実施形態は、各スペクトル期待値の計算時に周波数軸上の所定の範囲内のみならず、時間軸上の所定の範囲内も含めた全てのＸL,ω、ＹL,ωが必要になる。しかし、第１０実施形態では前フレームのスペクトル期待値を利用することで周波数軸上の所定の範囲のＸL,ω、ＹL,ωがあれば計算できるため、計算量やリソース消費量を第２実施形態や第４実施形態より少なくすることができる。
〔第１１実施形態〕
図１３は、第１１実施形態の音響結合量算出装置５９をエコー消去装置に適用した場合の機能構成例である。
音響結合量算出装置５９においては、第１実施形態の音響結合量算出装置５１における音響結合量算出手段８１の代わりに、分析窓出力部１０５、二次元ベクトル内積計算部１１７、二次元再生信号ノルム計算部１２７、音響結合量計算部１３２が用いられ、それ以外の構成については第１実施形態と同様である。つまり、この例では融合相関計算部８１ａを分析窓出力部１０５と二次元ベクトル内積計算部１１７により構成し、融合二乗計算部８１ｂを分析窓出力部１０５と二次元再生信号ノルム計算部１２７により構成したものに相当する。
図１３は、第１１実施形態の音響結合量算出装置５９をエコー消去装置に適用した場合の機能構成例である。
音響結合量算出装置５９においては、第１実施形態の音響結合量算出装置５１における音響結合量算出手段８１の代わりに、分析窓出力部１０５、二次元ベクトル内積計算部１１７、二次元再生信号ノルム計算部１２７、音響結合量計算部１３２が用いられ、それ以外の構成については第１実施形態と同様である。つまり、この例では融合相関計算部８１ａを分析窓出力部１０５と二次元ベクトル内積計算部１１７により構成し、融合二乗計算部８１ｂを分析窓出力部１０５と二次元再生信号ノルム計算部１２７により構成したものに相当する。
二次元ベクトル内積計算部１１７は、積和計算部１８２と第一加算部１９２と第一記憶部２０２から構成される。
積和計算部１８２は、再生信号スペクトルＸL,ωと収音信号スペクトルＹL,ωと前記周波数軸方向の分析窓Ｍ１、Ｍ２が入力され、Ｘ* L,ωとＹL,ωとの積の絶対値を周波数値ωごとに積和を計算し出力する。
第一加算部１９２は、周波数値ωごとに、前記積和と重み係数αと１フレーム前の二次元ベクトル内積＜Ｘ* L,ω・ＹL,ω＞’を入力し、二次元ベクトル内積＜Ｘ* L,ω・ＹL,ω＞’を(33)式により計算し出力する。
積和計算部１８２は、再生信号スペクトルＸL,ωと収音信号スペクトルＹL,ωと前記周波数軸方向の分析窓Ｍ１、Ｍ２が入力され、Ｘ* L,ωとＹL,ωとの積の絶対値を周波数値ωごとに積和を計算し出力する。
第一加算部１９２は、周波数値ωごとに、前記積和と重み係数αと１フレーム前の二次元ベクトル内積＜Ｘ* L,ω・ＹL,ω＞’を入力し、二次元ベクトル内積＜Ｘ* L,ω・ＹL,ω＞’を(33)式により計算し出力する。
第一記憶部２０２は、第一加算部１９２において計算された二次元ベクトル内積＜Ｘ* L,ω・ＹL,ω＞’を記憶し、１フレーム後の二次元ベクトル内積の計算の際に＜Ｘ* L-1, ω・ＹL-1,ω＞’として出力する。
二次元再生信号ノルム計算部１２７は、二乗和計算部２１１と第二加算部２２２と第二記憶部２３２から構成される。
第二加算部２２２は、周波数値ωごとに前記二乗和と重み係数αと１フレーム前の二次元再生信号ノルム‖ＸL-1,ω‖’を入力し、二次元再生信号ノルム‖ＸL,ω‖’を(34)式により計算し出力する。
二次元再生信号ノルム計算部１２７は、二乗和計算部２１１と第二加算部２２２と第二記憶部２３２から構成される。
第二加算部２２２は、周波数値ωごとに前記二乗和と重み係数αと１フレーム前の二次元再生信号ノルム‖ＸL-1,ω‖’を入力し、二次元再生信号ノルム‖ＸL,ω‖’を(34)式により計算し出力する。
第二記憶部２３２は、第二加算部２２２において計算された二次元再生信号ノルム‖ＸL,ω‖’を記憶し、１フレーム後の二次元再生信号ノルムの計算の際に‖ＸL-1,ω‖’として出力する。 第５実施形態は、二次元ベクトル内積と二次元再生信号ノルムの計算時に周波数軸上の所定の範囲内のみならず、時間軸上の所定の範囲内も含めた全てのＸL,ω、ＹL,ωが必要になる。しかし、第１１実施形態では前フレームの二次元ベクトル内積と二次元再生信号ノルムを利用することで周波数軸上の所定の範囲のＸL,ω、ＹL,ωがあれば計算できるため、計算量やリソース消費量を第５実施形態より少なくすることができる。
〔第１２実施形態〕
第１２実施形態は、第１〜第１１実施形態の各々において、クロススペクトル期待値や二次元ベクトル内積の計算の際、周波数スペクトルを振幅スペクトルに置き換えて音響結合量の推定値を計算するものである。この場合の各実施例での計算結果を図中において括弧書きで示す。
二次元ベクトル内積の計算において、理論的には周波数スペクトルを用いた方が位相成分も考慮され、より精度が高い計算結果が得られるはずである。しかしながら、現状の汎用計算機では位相成分の計算誤差が大きく、十分に精度の向上を図れない。この点、第１２実施形態のように振幅スペクトルを用いれば、理論的な値には劣るものの精度の高い計算結果を得ることができる。
第１２実施形態は、第１〜第１１実施形態の各々において、クロススペクトル期待値や二次元ベクトル内積の計算の際、周波数スペクトルを振幅スペクトルに置き換えて音響結合量の推定値を計算するものである。この場合の各実施例での計算結果を図中において括弧書きで示す。
二次元ベクトル内積の計算において、理論的には周波数スペクトルを用いた方が位相成分も考慮され、より精度が高い計算結果が得られるはずである。しかしながら、現状の汎用計算機では位相成分の計算誤差が大きく、十分に精度の向上を図れない。この点、第１２実施形態のように振幅スペクトルを用いれば、理論的な値には劣るものの精度の高い計算結果を得ることができる。
〔第１３実施形態〕
本発明の第１〜第１２実施形態は、音響結合量算出装置をエコー消去装置の構成要素として利用するものであるが、第１〜第１２実施形態の音響結合量算出装置のいずれもボイススイッチ装置の構成要素として利用することができる。
図１４に第２実施形態の音響結合量算出装置５２を利用したボイススイッチ装置２１の構成例を示す。
ボイススイッチ装置２１は、音響結合量算出装置５２と周波数合成部７３とスイッチ部７４から構成される。周波数合成部７３は従来技術と同じものである。
本発明の第１〜第１２実施形態は、音響結合量算出装置をエコー消去装置の構成要素として利用するものであるが、第１〜第１２実施形態の音響結合量算出装置のいずれもボイススイッチ装置の構成要素として利用することができる。
図１４に第２実施形態の音響結合量算出装置５２を利用したボイススイッチ装置２１の構成例を示す。
ボイススイッチ装置２１は、音響結合量算出装置５２と周波数合成部７３とスイッチ部７４から構成される。周波数合成部７３は従来技術と同じものである。
スイッチ部７４は、収音信号スペクトルＹL,ωと音響結合量の推定値|ＨL,ω|2が入力され、音響結合量の推定値|ＨL,ω|2の値により収音信号スペクトルＹL,ωの透過非透過のスイッチングを行う。具体的には、音響結合量の推定値|ＨL,ω|2が所定の値以下である場合は対応する収音信号信号スペクトルＹL,ωをそのまま再生信号の送信側に出力し、音響結合量の推定値|ＨL,ω|2が所定の値を超えた場合には出力を遮断するか若しくは出力に大きな損失を与える。
〔第１４実施形態〕
第８実施形態の検出係数計算部２８１と判定出力部２９１を、通話状態判定装置の構成要素として利用することができる。
図１５に第８実施形態の検出係数計算部２８１と判定出力部２９１を利用した通話状態判定装置３１の機能構成例を示す。なお、検出係数計算部２８１と判定出力部２９１の機能構成例は図１０に記すとおりである。
通話状態判定装置３１は、再生信号x(k)と収音信号y(k)が入力され、通話状態（無音、再生信号のみ、送話信号のみ、ダブルトークのいずれか）を出力する。
通話状態判定装置３１は、再生側周波数分析部６１、収音側周波数分析部６２、分析窓出力部１０６、ベクトル内積計算部１４１、再生信号ノルム計算部１６１、収音信号ノルム計算部１６６、検出係数計算部２８１、判定出力部２９１から構成される。
第８実施形態の検出係数計算部２８１と判定出力部２９１を、通話状態判定装置の構成要素として利用することができる。
図１５に第８実施形態の検出係数計算部２８１と判定出力部２９１を利用した通話状態判定装置３１の機能構成例を示す。なお、検出係数計算部２８１と判定出力部２９１の機能構成例は図１０に記すとおりである。
通話状態判定装置３１は、再生信号x(k)と収音信号y(k)が入力され、通話状態（無音、再生信号のみ、送話信号のみ、ダブルトークのいずれか）を出力する。
通話状態判定装置３１は、再生側周波数分析部６１、収音側周波数分析部６２、分析窓出力部１０６、ベクトル内積計算部１４１、再生信号ノルム計算部１６１、収音信号ノルム計算部１６６、検出係数計算部２８１、判定出力部２９１から構成される。
分析窓出力部１０６は、時間軸方向の所定の範囲内を強調する分析窓を出力する。この例では、時間軸方向の分析窓により注目する時間（フレーム値）Ｌに対しＬ−Ｎ１（ＬからＮ１フレームシフト、Ｎ２も同様）からＬ＋Ｎ２までを重み１、その他を重み０として時間軸上の所定の範囲内を強調する場合とする。従って、分析窓出力部１０６からはＮ１、Ｎ２が出力される。Ｎ１、Ｎ２は使用環境における残響時間及び雑音に係る時定数に依存する自然数で、例えばＮ１＝１０、Ｎ２＝０とする。
通話状態判定装置においても、第１検出係数γ１(L)と第２検出係数γ２(L)の双方を前記判断基準のように用いることで、受話信号とエコーの相関の強弱に関わらず精度よく通話状態を検出することが可能となる。また、この検出方式は短時間スペクトルの時間方向と周波数方向の２つの統計量を利用して検出係数を計算しているため、検出に要する時定数が短縮され検出遅延の改善も図れる。
通話状態判定装置においても、第１検出係数γ１(L)と第２検出係数γ２(L)の双方を前記判断基準のように用いることで、受話信号とエコーの相関の強弱に関わらず精度よく通話状態を検出することが可能となる。また、この検出方式は短時間スペクトルの時間方向と周波数方向の２つの統計量を利用して検出係数を計算しているため、検出に要する時定数が短縮され検出遅延の改善も図れる。
〔第１５実施形態〕
第１５実施形態は、第１４実施形態の検出係数計算部２８１が検出係数計算部２８２に入れ替わっている以外は、検出係数計算部２８１と同じ構成である。なお、検出係数計算部２８２の機能構成例は図１１に示すとおりである。
第１５実施形態は、第１４実施形態における第２検出係数γ２(L)の演算を簡素化したものであり、検出精度はやや劣るものの、演算処理の高速化を図ることができる。
第１５実施形態は、第１４実施形態の検出係数計算部２８１が検出係数計算部２８２に入れ替わっている以外は、検出係数計算部２８１と同じ構成である。なお、検出係数計算部２８２の機能構成例は図１１に示すとおりである。
第１５実施形態は、第１４実施形態における第２検出係数γ２(L)の演算を簡素化したものであり、検出精度はやや劣るものの、演算処理の高速化を図ることができる。
〔その他の構成方法〕
上述した各種の音響結合量の推定値を求める装置は次のような各形態として構成することもできる。
１．再生信号を再生手段から放音し、収音手段の収音信号中の前記再生手段から周りこんだ信号（以下、「エコー信号」という）と、前記再生信号との信号スペクトル間の振幅比（以下、「音響結合量」という）を推定する音響結合量算出装置であって、
前記再生信号が入力され、周波数領域に変換して再生信号スペクトルを出力する再生側周波数分析部と、
前記収音手段で収音された収音信号が入力され、周波数領域に変換して収音信号スペクトルを出力する収音側周波数分析部と、
前記再生信号スペクトルと前記収音信号スペクトルとが入力され、対応するスペクトルごとに、複数の時刻と複数の周波数とを含む時間−周波数二次元領域における前記再生信号スペクトルと前記収音信号スペクトルとの相関値を、前記時間−周波数二次元領域における前記再生信号スペクトルの二乗の総和で正規化した値を、音響結合量の推定値として出力する音響結合量計算手段と
を備えることを特徴とする音響結合量算出装置。
上述した各種の音響結合量の推定値を求める装置は次のような各形態として構成することもできる。
１．再生信号を再生手段から放音し、収音手段の収音信号中の前記再生手段から周りこんだ信号（以下、「エコー信号」という）と、前記再生信号との信号スペクトル間の振幅比（以下、「音響結合量」という）を推定する音響結合量算出装置であって、
前記再生信号が入力され、周波数領域に変換して再生信号スペクトルを出力する再生側周波数分析部と、
前記収音手段で収音された収音信号が入力され、周波数領域に変換して収音信号スペクトルを出力する収音側周波数分析部と、
前記再生信号スペクトルと前記収音信号スペクトルとが入力され、対応するスペクトルごとに、複数の時刻と複数の周波数とを含む時間−周波数二次元領域における前記再生信号スペクトルと前記収音信号スペクトルとの相関値を、前記時間−周波数二次元領域における前記再生信号スペクトルの二乗の総和で正規化した値を、音響結合量の推定値として出力する音響結合量計算手段と
を備えることを特徴とする音響結合量算出装置。
２．前記１項の装置において、
前記音響結合量計算手段は、
周波数軸方向の所定の範囲内かつ時間軸方向の所定の範囲内を強調する二次元分析窓を出力する分析窓出力部と、
前記二次元分析窓と前記再生信号スペクトルと前記収音信号スペクトルとが入力され、各スペクトル及び各時間ごとに前記二次元分析窓で重み付けした前記再生信号スペクトルと前記収音信号スペクトルとの積の和を二次元ベクトル内積として求める二次元ベクトル内積計算部と、
前記二次元分析窓と前記再生信号スペクトルが入力され、各スペクトル及び各時間ごとに前記二次元分析窓で重み付けした前記再生信号スペクトルの振幅の二乗の和を二次元再生信号パワースペクトルとして求める二次元再生信号パワースペクトル計算部と、
前記二次元ベクトル内積と前記二次元再生信号パワースペクトルとが入力され、前記二次元ベクトル内積を前記二次元再生信号パワースペクトルで割算して音響結合量の推定値として出力する音響結合量計算部と
を備えることを特徴とする音響結合量算出装置。
前記音響結合量計算手段は、
周波数軸方向の所定の範囲内かつ時間軸方向の所定の範囲内を強調する二次元分析窓を出力する分析窓出力部と、
前記二次元分析窓と前記再生信号スペクトルと前記収音信号スペクトルとが入力され、各スペクトル及び各時間ごとに前記二次元分析窓で重み付けした前記再生信号スペクトルと前記収音信号スペクトルとの積の和を二次元ベクトル内積として求める二次元ベクトル内積計算部と、
前記二次元分析窓と前記再生信号スペクトルが入力され、各スペクトル及び各時間ごとに前記二次元分析窓で重み付けした前記再生信号スペクトルの振幅の二乗の和を二次元再生信号パワースペクトルとして求める二次元再生信号パワースペクトル計算部と、
前記二次元ベクトル内積と前記二次元再生信号パワースペクトルとが入力され、前記二次元ベクトル内積を前記二次元再生信号パワースペクトルで割算して音響結合量の推定値として出力する音響結合量計算部と
を備えることを特徴とする音響結合量算出装置。
３．前記２項の装置において、
前記分析窓出力部は、時間軸方向の所定の範囲内を強調する時間軸分析窓と周波数軸方向の所定の範囲内を強調する周波数軸分析窓とを出力するものであり、
前記二次元ベクトル内積計算部は、前記時間軸分析窓と前記再生信号スペクトルと前記収音信号スペクトルとが入力され、前記再生信号スペクトルと前記収音信号スペクトルとの積を各時間ごとに前記時間軸分析窓で重み付け加算したベクトル内積を求めるベクトル内積計算部と、前記ベクトル内積と前記周波数軸分析窓とが入力され、前記ベクトル内積の絶対値を各スペクトルごとに前記周波数軸分析窓で重み付け加算した値を二次元ベクトル内積として求めて出力する周波数軸重み付け部と
を備えることを特徴とする音響結合量算出装置。
前記分析窓出力部は、時間軸方向の所定の範囲内を強調する時間軸分析窓と周波数軸方向の所定の範囲内を強調する周波数軸分析窓とを出力するものであり、
前記二次元ベクトル内積計算部は、前記時間軸分析窓と前記再生信号スペクトルと前記収音信号スペクトルとが入力され、前記再生信号スペクトルと前記収音信号スペクトルとの積を各時間ごとに前記時間軸分析窓で重み付け加算したベクトル内積を求めるベクトル内積計算部と、前記ベクトル内積と前記周波数軸分析窓とが入力され、前記ベクトル内積の絶対値を各スペクトルごとに前記周波数軸分析窓で重み付け加算した値を二次元ベクトル内積として求めて出力する周波数軸重み付け部と
を備えることを特徴とする音響結合量算出装置。
４．前記２項又は３項の装置において、
前記分析窓出力部は、周波数軸方向の所定の範囲内及び時間軸方向の所定の範囲内の現在着目している点で極大値を有する周波数軸分析窓及び時間軸分析窓を出力するものであることを特徴とする音響結合量算出装置。
前記分析窓出力部は、周波数軸方向の所定の範囲内及び時間軸方向の所定の範囲内の現在着目している点で極大値を有する周波数軸分析窓及び時間軸分析窓を出力するものであることを特徴とする音響結合量算出装置。
５．前記１項の装置において、
前記音響結合量計算手段は、
周波数軸方向に対しては所定の範囲を強調する分析窓を出力し、時間軸方向に対しては現時点から過去の無限範囲について過去に向かうほど指数関数的に減衰度を高めるための時定数の重み係数を出力する分析窓出力部と、
前記再生信号スペクトルと前記収音信号スペクトルと前記周波数軸方向の分析窓と前記重み係数と前時点のクロススペクトル期待値とが入力され、各スペクトルごとに前記周波数軸方向の分析窓で重み付けた現時点の前記再生信号スペクトルと前記収音信号スペクトルとの積和を求める積和計算部と、前記求めた積和と前記前時点のクロススペクトル期待値との前記重み係数を用いた重み付き和を求め、この重み付き和を現時点のクロススペクトル期待値として出力する第一加算部とを備えるクロススペクトル期待値計算部と、
前記再生信号スペクトルと前記周波数軸方向の分析窓と前記重み係数と前時点のパワースペクトル期待値とが入力され、各スペクトルごとに前記周波数軸方向の分析窓で重み付けた現時点の前記再生信号スペクトルの二乗和を求める二乗和計算部と、前記求めた二乗和と前記前時点のパワースペクトル期待値との前記重み係数を用いた重み付き和を求め、この重み付き和を現時点のパワースペクトル期待値として出力する第二加算部とを備えるパワースペクトル期待値計算部と、
前記クロススペクトル期待値と前記パワースペクトル期待値とが入力され、前記クロススペクトル期待値の二乗の、前記パワースペクトル期待値の二乗に対する比を対応するスペクトルごとに求め、その比を音響結合量の推定値として出力する音響結合量計算部と、
を備えることを特徴とする音響結合量算出装置。
前記音響結合量計算手段は、
周波数軸方向に対しては所定の範囲を強調する分析窓を出力し、時間軸方向に対しては現時点から過去の無限範囲について過去に向かうほど指数関数的に減衰度を高めるための時定数の重み係数を出力する分析窓出力部と、
前記再生信号スペクトルと前記収音信号スペクトルと前記周波数軸方向の分析窓と前記重み係数と前時点のクロススペクトル期待値とが入力され、各スペクトルごとに前記周波数軸方向の分析窓で重み付けた現時点の前記再生信号スペクトルと前記収音信号スペクトルとの積和を求める積和計算部と、前記求めた積和と前記前時点のクロススペクトル期待値との前記重み係数を用いた重み付き和を求め、この重み付き和を現時点のクロススペクトル期待値として出力する第一加算部とを備えるクロススペクトル期待値計算部と、
前記再生信号スペクトルと前記周波数軸方向の分析窓と前記重み係数と前時点のパワースペクトル期待値とが入力され、各スペクトルごとに前記周波数軸方向の分析窓で重み付けた現時点の前記再生信号スペクトルの二乗和を求める二乗和計算部と、前記求めた二乗和と前記前時点のパワースペクトル期待値との前記重み係数を用いた重み付き和を求め、この重み付き和を現時点のパワースペクトル期待値として出力する第二加算部とを備えるパワースペクトル期待値計算部と、
前記クロススペクトル期待値と前記パワースペクトル期待値とが入力され、前記クロススペクトル期待値の二乗の、前記パワースペクトル期待値の二乗に対する比を対応するスペクトルごとに求め、その比を音響結合量の推定値として出力する音響結合量計算部と、
を備えることを特徴とする音響結合量算出装置。
６．前記１項の装置において、
前記音響結合量計算手段は、
周波数軸方向に対しては所定の範囲を強調する分析窓を出力し、時間軸方向に対しては現時点から過去の無限範囲について過去に向かうほど指数関数的に減衰度を高めるための時定数の重み係数を出力する分析窓出力部と、
前記再生信号スペクトルと前記収音信号スペクトルと前記周波数軸方向の分析窓と前記重み係数と前時点の二次元ベクトル内積とが入力され、現時点の前記再生信号スペクトルと前記収音信号スペクトルとの内積の絶対値を各スペクトルごとに前記周波数軸方向の分析窓で重み付け加算して積和を求める積和計算部と、前記求めた積和と前記前時点の二次元ベクトル内積との前記重み係数を用いた重み付き和を求め、この重み付き和を現時点の二次元ベクトル内積として出力する第一加算部とを備える二次元ベクトル内積計算部と、
前記再生信号スペクトルと前記周波数軸方向の分析窓と前記重み係数と前時点の二次元再生信号ノルムとが入力され、各スペクトルごとに前記周波数軸方向の分析窓で重み付けた現時点の前記再生信号スペクトルの二乗和を求める二乗和計算部と、前記求めた二乗和と前記前時点の二次元再生信号ノルムとの前記重み係数を用いた重み付き和を求め、この重み付き和を現時点の二次元再生信号ノルムとして出力する第二加算部とを備える二次元再生信号ノルム計算部と、
前記二次元ベクトル内積と前記二次元再生信号ノルムとが入力され、前記二次元ベクトル内積の二乗の、前記二次元再生信号ノルムの二乗に対する比を対応するスペクトルごとに求めて音響結合量の推定値として出力する音響結合量計算部と、
を備えることを特徴とする音響結合量算出装置。
前記音響結合量計算手段は、
周波数軸方向に対しては所定の範囲を強調する分析窓を出力し、時間軸方向に対しては現時点から過去の無限範囲について過去に向かうほど指数関数的に減衰度を高めるための時定数の重み係数を出力する分析窓出力部と、
前記再生信号スペクトルと前記収音信号スペクトルと前記周波数軸方向の分析窓と前記重み係数と前時点の二次元ベクトル内積とが入力され、現時点の前記再生信号スペクトルと前記収音信号スペクトルとの内積の絶対値を各スペクトルごとに前記周波数軸方向の分析窓で重み付け加算して積和を求める積和計算部と、前記求めた積和と前記前時点の二次元ベクトル内積との前記重み係数を用いた重み付き和を求め、この重み付き和を現時点の二次元ベクトル内積として出力する第一加算部とを備える二次元ベクトル内積計算部と、
前記再生信号スペクトルと前記周波数軸方向の分析窓と前記重み係数と前時点の二次元再生信号ノルムとが入力され、各スペクトルごとに前記周波数軸方向の分析窓で重み付けた現時点の前記再生信号スペクトルの二乗和を求める二乗和計算部と、前記求めた二乗和と前記前時点の二次元再生信号ノルムとの前記重み係数を用いた重み付き和を求め、この重み付き和を現時点の二次元再生信号ノルムとして出力する第二加算部とを備える二次元再生信号ノルム計算部と、
前記二次元ベクトル内積と前記二次元再生信号ノルムとが入力され、前記二次元ベクトル内積の二乗の、前記二次元再生信号ノルムの二乗に対する比を対応するスペクトルごとに求めて音響結合量の推定値として出力する音響結合量計算部と、
を備えることを特徴とする音響結合量算出装置。
７．前記２〜６項のいずれかの装置において、
前記音響結合量算出装置は更に、
前記再生信号と前記収音信号とが入力され、無音状態か、再生信号のみの状態か、送話信号のみの状態かダブルトーク状態かの４状態（以下、「通話状態」という）を判定し、判定結果を出力する通話状態判定部と、
前記再生信号スペクトルと時間軸分析窓とが入力され、前記再生信号スペクトルの振幅の二乗値を各時間ごとに前記時間軸分析窓で重み付け加算し、それを開平した値を再生信号ノルムとして求める再生信号ノルム計算部と、
前記収音信号スペクトルと時間軸分析窓とが入力され、前記収音信号スペクトルの振幅の二乗値を各時間ごとに前記時間軸分析窓で重み付け加算し、それを開平した値を収音信号ノルムとして求めて出力する収音信号ノルム計算部と、
前記音響結合量の推定値（以下、「|ＨL,ω|2 」という）と前記再生信号ノルムと前記判定結果と前記収音信号ノルムとが入力され、判定結果が再生信号のみの状態の場合には、周波数ごとに、|ＨL,ω|と前記再生信号ノルムとを乗じた値を前記収音信号ノルムで割った値を制御値として保持すると共に出力し、判定結果がダブルトーク状態の場合には、周波数ごとに、|ＨL,ω|と前記再生信号ノルムとを乗じた値を前記収音信号ノルムで割った値を制御候補値とし、周波数ごとに、前記制御候補値と保持されていた前記制御値とを比較して大きい値を制御値として保持すると共に出力し、判定結果が無音状態又は送話信号のみの状態の場合には保持されている前記制御値をそのまま制御値として出力する制御値計算部と、
前記|ＨL,ω|と前記制御値が入力され、前記|ＨL,ω|を前記制御値で割った値の二乗を補正後の音響結合量の推定値|ＨL,ω|2として出力する補正計算部と、
からなる音響結合量補正部と
を備えることを特徴とする音響結合量計算装置。
前記音響結合量算出装置は更に、
前記再生信号と前記収音信号とが入力され、無音状態か、再生信号のみの状態か、送話信号のみの状態かダブルトーク状態かの４状態（以下、「通話状態」という）を判定し、判定結果を出力する通話状態判定部と、
前記再生信号スペクトルと時間軸分析窓とが入力され、前記再生信号スペクトルの振幅の二乗値を各時間ごとに前記時間軸分析窓で重み付け加算し、それを開平した値を再生信号ノルムとして求める再生信号ノルム計算部と、
前記収音信号スペクトルと時間軸分析窓とが入力され、前記収音信号スペクトルの振幅の二乗値を各時間ごとに前記時間軸分析窓で重み付け加算し、それを開平した値を収音信号ノルムとして求めて出力する収音信号ノルム計算部と、
前記音響結合量の推定値（以下、「|ＨL,ω|2 」という）と前記再生信号ノルムと前記判定結果と前記収音信号ノルムとが入力され、判定結果が再生信号のみの状態の場合には、周波数ごとに、|ＨL,ω|と前記再生信号ノルムとを乗じた値を前記収音信号ノルムで割った値を制御値として保持すると共に出力し、判定結果がダブルトーク状態の場合には、周波数ごとに、|ＨL,ω|と前記再生信号ノルムとを乗じた値を前記収音信号ノルムで割った値を制御候補値とし、周波数ごとに、前記制御候補値と保持されていた前記制御値とを比較して大きい値を制御値として保持すると共に出力し、判定結果が無音状態又は送話信号のみの状態の場合には保持されている前記制御値をそのまま制御値として出力する制御値計算部と、
前記|ＨL,ω|と前記制御値が入力され、前記|ＨL,ω|を前記制御値で割った値の二乗を補正後の音響結合量の推定値|ＨL,ω|2として出力する補正計算部と、
からなる音響結合量補正部と
を備えることを特徴とする音響結合量計算装置。
なお、時間軸分析窓について、２〜４項に関しては二次元ベクトル内積の計算のために入力したものを使用し、５、６項に関しては７項の処理のために入力する。
８．前記７項の装置において、
前記通話状態判定部は、
前記ベクトル内積と前記再生信号ノルムと前記収音信号ノルムとが入力され、前記ベクトル内積の絶対値を周波数軸方向の所定範囲内で加算して二次元ベクトル内積を求め、前記再生信号ノルムの二乗を周波数軸方向の前記所定範囲内で加算した値と前記収音信号ノルムの二乗を周波数軸方向の前記所定範囲内で加算した値との積を開平し、その開平結果で前記二次元ベクトル内積を割って第１検出係数を求め、前記収音信号ノルムの二乗を周波数方向の所定範囲内で加算した値で前記二次元ベクトル内積を割って第２検出係数として求め、前記第１検出係数と前記第２検出係数を出力する検出係数計算部と、
前記再生信号と前記収音信号と前記第１検出係数と前記第２検出係数とが入力され、前記再生信号と前記収音信号の振幅が共に無い時は無音状態と判定してその判定結果を出力し、前記収音信号に振幅がある区間において前記再生信号の振幅が無い時は送話信号のみの状態と判定してその判定結果を出力し、前記再生信号に振幅がある区間において第１検出係数と第２検出係数のどちらか一方でも検出しきい値を上回った時は再生信号のみの状態と判定してその判定結果を出力し、前記再生信号に振幅がある区間において第１検出係数と第２検出係数の両方が検出しきい値を下回った時はダブルトーク状態と判定してその判定結果を出力する判定出力部と、
からなることを特徴とする音響結合量算出装置。
８．前記７項の装置において、
前記通話状態判定部は、
前記ベクトル内積と前記再生信号ノルムと前記収音信号ノルムとが入力され、前記ベクトル内積の絶対値を周波数軸方向の所定範囲内で加算して二次元ベクトル内積を求め、前記再生信号ノルムの二乗を周波数軸方向の前記所定範囲内で加算した値と前記収音信号ノルムの二乗を周波数軸方向の前記所定範囲内で加算した値との積を開平し、その開平結果で前記二次元ベクトル内積を割って第１検出係数を求め、前記収音信号ノルムの二乗を周波数方向の所定範囲内で加算した値で前記二次元ベクトル内積を割って第２検出係数として求め、前記第１検出係数と前記第２検出係数を出力する検出係数計算部と、
前記再生信号と前記収音信号と前記第１検出係数と前記第２検出係数とが入力され、前記再生信号と前記収音信号の振幅が共に無い時は無音状態と判定してその判定結果を出力し、前記収音信号に振幅がある区間において前記再生信号の振幅が無い時は送話信号のみの状態と判定してその判定結果を出力し、前記再生信号に振幅がある区間において第１検出係数と第２検出係数のどちらか一方でも検出しきい値を上回った時は再生信号のみの状態と判定してその判定結果を出力し、前記再生信号に振幅がある区間において第１検出係数と第２検出係数の両方が検出しきい値を下回った時はダブルトーク状態と判定してその判定結果を出力する判定出力部と、
からなることを特徴とする音響結合量算出装置。
９．前記８項の装置において、
前記検出係数計算部は、
前記ベクトル内積と前記再生信号ノルムと前記収音信号ノルムとが入力され、前記ベクトル内積の絶対値を周波数軸方向の所定範囲内で加算して二次元ベクトル内積を求め、前記再生信号ノルムの二乗を周波数軸方向の前記所定範囲内で加算した値と前記収音信号ノルムの二乗を周波数軸方向の前記所定範囲内で加算した値との積を開平し、その開平結果で前記二次元ベクトル内積を割って第１検出係数を求め、前記再生信号ノルムを周波数軸方向の所定範囲内で加算した値を前記収音信号ノルムを周波数軸方向の所定範囲内で加算した値で割って第２検出係数を求め、前記第１検出係数と前記第２検出係数を出力することを特徴とする音響結合量算出装置。
前記検出係数計算部は、
前記ベクトル内積と前記再生信号ノルムと前記収音信号ノルムとが入力され、前記ベクトル内積の絶対値を周波数軸方向の所定範囲内で加算して二次元ベクトル内積を求め、前記再生信号ノルムの二乗を周波数軸方向の前記所定範囲内で加算した値と前記収音信号ノルムの二乗を周波数軸方向の前記所定範囲内で加算した値との積を開平し、その開平結果で前記二次元ベクトル内積を割って第１検出係数を求め、前記再生信号ノルムを周波数軸方向の所定範囲内で加算した値を前記収音信号ノルムを周波数軸方向の所定範囲内で加算した値で割って第２検出係数を求め、前記第１検出係数と前記第２検出係数を出力することを特徴とする音響結合量算出装置。
以上の各項は装置について記載したが、方法等についても同様に構成できる。
また、本発明においては全体を通して|ＨL,ω|2を音響結合量の推定値と称して構成しているが、|ＨL,ω|を音響結合量の推定値と称して構成することも可能である。
また、本発明においては全体を通して|ＨL,ω|2を音響結合量の推定値と称して構成しているが、|ＨL,ω|を音響結合量の推定値と称して構成することも可能である。
〔シミュレーション〕
本発明の方式の有効性を確認するための計算機シミュレーションの実施結果を以下に示す。
１．実施条件
２つの無指向性マイクロホンをテーブルに置いて、マイクロホンの切り替えによるエコー経路変動を想定した。サンプリング周波数は１６ｋＨｚ，周波数帯域は１００Ｈｚ〜７ｋＨｚとした。再生信号x(k)は女声、近端話者信号s(k)は男声を与えた。実験では区間Ａ（０〜６ｓ）はスピーカ・マイクロホン間の距離が近い時の受話シングルトーク状態、６ｓの時点でマイクロホンを切り替え、区間Ｂ（６〜１２ｓ）はスピーカ・マイクロホンの距離が遠い時の受話シングルトーク状態、区間Ｃ（１２〜１８ｓ）はスピーカ・マイクロホン間の距離が遠い時のダブルトーク状態、１８ｓの時点でマイクロホンを切り替え、区間Ｄ（１２〜１８ｓ）はスピーカ・マイクロホン間の距離が近い時のダブルトーク状態とした。エコー経路h(k)は、スピーカと２つのマイクロホンのインパルス応答を残響時間３００ｍｓの部屋でそれぞれ測定して４０９６点で打ち切り用いた。周波数処理を行う際の処理フレーム長は１６ｍｓ（サンプリング点数で２５６点）とし、１／２オーバーラップ加算による分析合成を用いた。
本発明の方式の有効性を確認するための計算機シミュレーションの実施結果を以下に示す。
１．実施条件
２つの無指向性マイクロホンをテーブルに置いて、マイクロホンの切り替えによるエコー経路変動を想定した。サンプリング周波数は１６ｋＨｚ，周波数帯域は１００Ｈｚ〜７ｋＨｚとした。再生信号x(k)は女声、近端話者信号s(k)は男声を与えた。実験では区間Ａ（０〜６ｓ）はスピーカ・マイクロホン間の距離が近い時の受話シングルトーク状態、６ｓの時点でマイクロホンを切り替え、区間Ｂ（６〜１２ｓ）はスピーカ・マイクロホンの距離が遠い時の受話シングルトーク状態、区間Ｃ（１２〜１８ｓ）はスピーカ・マイクロホン間の距離が遠い時のダブルトーク状態、１８ｓの時点でマイクロホンを切り替え、区間Ｄ（１２〜１８ｓ）はスピーカ・マイクロホン間の距離が近い時のダブルトーク状態とした。エコー経路h(k)は、スピーカと２つのマイクロホンのインパルス応答を残響時間３００ｍｓの部屋でそれぞれ測定して４０９６点で打ち切り用いた。周波数処理を行う際の処理フレーム長は１６ｍｓ（サンプリング点数で２５６点）とし、１／２オーバーラップ加算による分析合成を用いた。
２．通話状態検出の評価
第８実施形態に示した２つの検出係数を用いた通話状態の検出方法についての評価結果を以下に示す。
ここで、(28)式と(29)式においては計算の効率化のため、＜Ｘ* L,ω・ＹL,ω＞、‖ＸL,ω‖２及び‖ＹL,ω‖２の計算を(15)式及び(16)式のように行った。
また、加算するサンプル数Ｐは１２０とし、受話シングルトーク状態を検出するしきい値は、検出係数γ１(L)が０〜１の間の値をとるため、中央値の０．５とした。重み係数αはエコー経路変動への追従性と受話シングルトーク状態の検出遅延を考慮して、０．０２と非常に短い時定数を用いた。
第８実施形態に示した２つの検出係数を用いた通話状態の検出方法についての評価結果を以下に示す。
ここで、(28)式と(29)式においては計算の効率化のため、＜Ｘ* L,ω・ＹL,ω＞、‖ＸL,ω‖２及び‖ＹL,ω‖２の計算を(15)式及び(16)式のように行った。
また、加算するサンプル数Ｐは１２０とし、受話シングルトーク状態を検出するしきい値は、検出係数γ１(L)が０〜１の間の値をとるため、中央値の０．５とした。重み係数αはエコー経路変動への追従性と受話シングルトーク状態の検出遅延を考慮して、０．０２と非常に短い時定数を用いた。
区間Ａでは、検出係数γ１(L)は再生信号が多く含まれる区間でしきい値を上回った。しかしながら、検出係数γ１(L)は区間Ｂにおいて、受話シングルトーク状態にも関わらず、しきい値を下回る区間が多いことがわかった。この原因は、マイクロホンの切り替えによって、スピーカ・マイクロホン間の距離が遠くなり、再生信号とエコーの一致率が低下したためである。それに対して、検出係数γ２(L)は、区間Ａと区間Ｂにおいて、検出係数γ１(L)と比較して検出しきい値を大幅に上回った。また、区間Ｂでは区間Ａと比べ検出係数が最大で約０．８程度上昇している。このことから、検出係数がγ２(L)がスピーカ・マイクロホン間の距離が遠く、音響結合量が小さいときほど大きな値をとるように動作することがわかる。区間Ｃと区間Ｂでは、検出係数γ１(L)とγ２(L)は、共にスピーカ・マイクロホン間の距離に関わらず小さな値をとることがわかる。
以上の結果より、検出係数γ１(L)とγ２(L)とを組み合わせて判断することで、再生信号とエコーの相関の強弱に関係なく、安定した通話状態検出が実現されることが確認できた。
以上の結果より、検出係数γ１(L)とγ２(L)とを組み合わせて判断することで、再生信号とエコーの相関の強弱に関係なく、安定した通話状態検出が実現されることが確認できた。
３．結合量推定方式の評価
第５実施形態に示した周波数軸方向の統計量にも着目した音響結合量推定方式についての評価結果を以下に示す。
ここで、(17)式と(18)式においては計算の効率化のため、ベクトル内積と再生信号ノルムの計算を(15)式及び(16)式のように行った。
第５実施形態に示した周波数軸方向の統計量にも着目した音響結合量推定方式についての評価結果を以下に示す。
ここで、(17)式と(18)式においては計算の効率化のため、ベクトル内積と再生信号ノルムの計算を(15)式及び(16)式のように行った。
また、比較を容易にするため、従来方式は(17)式と(18)式をＭ１＝Ｍ２＝０でかつ再生信号とエコーとの相関が強いことを前提として変形した|ＨL,ω|＝‖ＹL,ω‖／‖ＸL,ω‖の関係式によるものとし、本方式は(17)式と(18)式においてＭ１＝Ｍ２＝０とした場合（Ｐ１）とＭ１＝Ｍ２＝５の場合（Ｐ２）の２通りとして、合計３通りで評価を行った。重み係数αは従来方式については送話信号の影響を回避させるためにα＝０．００２とし、本方式ではα＝０．０２とした。
区間Ａでは各方式において推定された結合量が、受話信号に白色雑音を用いて計算した目標値とほぼ一致した。区間Ｂでは、従来方式の結合量は目標値より１０ｄＢ以上低くなっている。この原因は、マイクロホンの切り替えによってスピーカとマイクロホンの距離が遠くなり、再生信号とエコーの一致率が大きく減少したためである。この一致率を第７実施形態の方法で補正（一致率＝制御値δL,ω）したＰ１とＰ２においては結合量が目標値とほぼ一致していることが確認できた。この結果は、一定のマージンでは一致率の影響を回避することが難しいことを意味し、一致率を求めて誤差を補正する本方式の優位性を示している。区間Ｃにおいては、Ｐ１及びＰ２は従来方式より高い精度で音響結合量を推定できた。Ｐ１では、近端話者信号ｓ(k)の影響で結合量の推定値にばらつきが生じた。これに対しＰ２では短時間スペクトルの周波数統計量の効果により、ばらつきが抑圧され、推定精度が向上していることが確認できた。区間Ｄでは、ダブルトーク時の経路変動においてＰ１とＰ２が速やかに追従していることが確認できた。しかしながら、Ｐ１は時定数が短いために近端話者信号の影響を十分に回避できず、推定値に乱れが生じている。これに対し、Ｐ２では短時間スペクトルの周波数統計量を用いることで、短い時定数でも近端話者信号の影響を抑え、高い追従性を実現していることが確認できた。
また、従来方式とＰ１とＰ２の音響結合量の全音声帯域の平均推定誤差についても評価を行ったが、Ｐ１とＰ２は従来方式より明らかに優れており、またＰ２は３方式の中で最も推定誤差が小さいことが確認された。
Claims (36)
- 再生信号を再生手段から放音し、収音手段の収音信号中の前記再生手段から周りこんだ信号（以下、「エコー信号」という）と、前記再生信号との信号スペクトル間の振幅比（以下、「音響結合量」という）を推定する音響結合量算出装置であって、
前記再生信号が入力され、周波数領域に変換して再生信号スペクトルを出力する再生側周波数分析部と、
前記収音手段で収音された収音信号が入力され、周波数領域に変換して収音信号スペクトルを出力する収音側周波数分析部と、
前記再生信号スペクトルと前記収音信号スペクトルとが入力され、対応するスペクトルごとに、複数の時刻と複数の周波数とを含む時間−周波数二次元領域における前記再生信号スペクトルと前記収音信号スペクトルとの相関値を、前記時間−周波数二次元領域における前記再生信号スペクトルの二乗の総和で正規化した値を、音響結合量の推定値として出力する音響結合量計算手段と、
を備えることを特徴とする音響結合量算出装置。 - 請求項１に記載の音響結合量算出装置であって、
前記音響結合量計算手段は、
周波数軸方向の所定の範囲内かつ時間軸方向の所定の範囲内を強調する二次元分析窓を出力する分析窓出力部と、
前記二次元分析窓と前記再生信号スペクトルと前記収音信号スペクトルとが入力され、各スペクトル及び各時間ごとに前記二次元分析窓で重み付けした前記再生信号スペクトルと前記収音信号スペクトルとの積の平均値をクロススペクトル期待値として求め、そのクロススペクトル期待値を出力するクロススペクトル期待値計算部と、
前記二次元分析窓と前記再生信号スペクトルが入力され、各スペクトル及び各時間ごとに前記二次元分析窓で重み付けした前記再生信号スペクトルの振幅の二乗の平均値をパワースペクトル期待値として求め、そのパワースペクトル期待値を出力するパワースペクトル期待値計算部と、
前記クロススペクトル期待値と前記パワースペクトル期待値が入力され、前記クロススペクトル期待値の二乗の前記パワースペクトル期待値の二乗に対する比を対応するスペクトルごとに求め、その比を音響結合量の推定値として出力する音響結合量計算部と、
を備えることを特徴とする音響結合量算出装置。 - 請求項２に記載の音響結合量算出装置であって、
前記分析窓出力部は、
周波数軸方向の所定の範囲内かつ時間軸方向の所定の範囲内の現在着目している点で極大値を有する二次元分析窓を出力するものであることを特徴とする音響結合量算出装置。 - 請求項１に記載の音響結合量算出装置であって、
前記音響結合量計算手段は、
時間軸方向の所定の範囲内を強調する時間軸分析窓と周波数軸方向の所定の範囲内を強調する周波数軸分析窓とを出力する分析窓出力部と、
前記時間軸分析窓と前記再生信号スペクトルと前記収音信号スペクトルとが入力され、前記再生信号スペクトルと前記収音信号スペクトルとの積を各時間ごとに前記時間軸分析窓で重み付け加算したベクトル内積を求めるベクトル内積計算部と、前記ベクトル内積と前記周波数軸分析窓とが入力され、前記ベクトル内積を各スペクトルごとに前記周波数軸分析窓で重み付け加算した値を、二次元で重み付け加算したサンプルの数で割った値をクロススペクトル期待値として求めて出力する周波数軸重み付け部とを備えるクロススペクトル期待値計算部と、
前記再生信号スペクトルと前記時間軸分析窓とが入力され、前記再生信号スペクトルの振幅の二乗値を各時間ごとに前記時間軸分析窓で重み付け加算し、それを開平した値を再生信号ノルムとして求める再生信号ノルム計算部と、前記再生信号ノルムと前記周波数軸分析窓とが入力され、前記再生信号ノルムの二乗を各スペクトルごとに前記周波数軸分析窓で重み付け加算した値を、二次元で重み付け加算したサンプルの数で割った値をパワースペクトル期待値として求めて出力する周波数軸重み付け部とを備えるパワースペクトル期待値計算部と、
前記クロススペクトル期待値と前記パワースペクトル期待値が入力され、前記クロススペクトル期待値の二乗の、前記パワースペクトル期待値の二乗に対する比を対応するスペクトルごとに求めて音響結合量の推定値として出力する音響結合量計算部と、
を備えることを特徴とする音響結合量算出装置。 - 請求項１に記載の音響結合量算出装置であって、
前記音響結合量計算手段は、
時間軸方向の所定の範囲内を強調する時間軸分析窓と周波数軸方向の所定の範囲内を強調する周波数軸分析窓とを出力する分析窓出力部と、
前記時間軸分析窓と前記再生信号スペクトルと前記収音信号スペクトルとが入力され、前記再生信号スペクトルと前記収音信号スペクトルとの積を各時間ごとに前記時間軸分析窓で重み付け加算したベクトル内積を求めるベクトル内積計算部と、前記ベクトル内積と前記周波数軸分析窓とが入力され、前記ベクトル内積の絶対値を各スペクトルごとに前記周波数軸分析窓で重み付け加算した値を二次元ベクトル内積として求めて出力する周波数軸重み付け部と
を備える二次元ベクトル内積計算部と、
前記再生信号スペクトルと前記時間軸分析窓とが入力され、前記再生信号スペクトルの振幅の二乗値を各時間ごとに前記時間軸分析窓で重み付け加算し、それを開平した値を再生信号ノルムとして求める再生信号ノルム計算部と、前記再生信号ノルムと前記周波数軸分析窓とが入力され、前記再生信号ノルムの二乗を各スペクトルごとに前記周波数軸分析窓で重み付け加算した値を二次元再生信号ノルムとして求めて出力する周波数軸重み付け部と
を備える二次元再生信号ノルム計算部と、
前記二次元ベクトル内積と前記二次元再生信号ノルムが入力され、前記二次元ベクトル内積の二乗の、前記二次元再生信号ノルムの二乗に対する比を対応するスペクトルごとに求めて音響結合量の推定値として出力する音響結合量計算部と、
を備えることを特徴とする音響結合量算出装置。 - 請求項４又は５に記載の音響結合量算出装置であって、
前記分析窓出力部は、
周波数軸方向の所定の範囲内及び時間軸方向の所定の範囲内の現在着目している点で極大値を有する周波数軸分析窓及び時間軸分析窓を出力するものであることを特徴とする音響結合量算出装置。 - 請求項４〜６に記載の音響結合量算出装置であって、
前記音響結合量算出装置は更に、
前記再生信号と前記収音信号とが入力され、無音状態か、再生信号のみの状態か、送話信号のみの状態かダブルトーク状態かの４状態（以下、「通話状態」という）を判定し、判定結果を出力する通話状態判定部と、
前記収音信号スペクトルと前記時間軸分析窓とが入力され、前記収音信号スペクトルの振幅の二乗値を各時間ごとに前記時間軸分析窓で重み付け加算し、それを開平した値を収音信号ノルムとして求めて出力する収音信号ノルム計算部と、
前記音響結合量の推定値（以下、「|ＨL,ω|2 」という）と前記再生信号ノルムと前記判定結果と前記収音信号ノルムとが入力され、判定結果が再生信号のみの状態の場合には、周波数ごとに、|ＨL,ω|と前記再生信号ノルムとを乗じた値を前記収音信号ノルムで割った値を制御値として保持すると共に出力し、判定結果がダブルトーク状態の場合には、周波数ごとに、|ＨL,ω|と前記再生信号ノルムとを乗じた値を前記収音信号ノルムで割った値を制御候補値とし、周波数ごとに、前記制御候補値と保持されていた前記制御値とを比較して大きい値を制御値として保持すると共に出力し、判定結果が無音状態又は送話信号のみの状態の場合には保持されている前記制御値をそのまま制御値として出力する制御値計算部と、
前記|ＨL,ω|と前記制御値が入力され、前記|ＨL,ω|を前記制御値で割った値の二乗を補正後の音響結合量の推定値|ＨL,ω|2として出力する補正計算部と、
からなる音響結合量補正部
を備えることを特徴とする音響結合量計算装置。 - 請求項７に記載の音響結合量算出装置であって、
前記通話状態判定部は、
前記ベクトル内積と前記再生信号ノルムと前記収音信号ノルムとが入力され、前記ベクトル内積の絶対値を周波数軸方向の所定範囲内で加算して二次元ベクトル内積を求め、前記再生信号ノルムの二乗を周波数軸方向の前記所定範囲内で加算した値と前記収音信号ノルムの二乗を周波数軸方向の前記所定範囲内で加算した値との積を開平し、その開平結果で前記二次元ベクトル内積を割って第１検出係数を求め、前記収音信号ノルムの二乗を周波数方向の所定範囲内で加算した値で前記二次元ベクトル内積を割って第２検出係数として求め、前記第１検出係数と前記第２検出係数を出力する検出係数計算部と、
前記再生信号と前記収音信号と前記第１検出係数と前記第２検出係数とが入力され、前記再生信号と前記収音信号の振幅が共に無い時は無音状態と判定してその判定結果を出力し、前記収音信号に振幅がある区間において前記再生信号の振幅が無い時は送話信号のみの状態と判定してその判定結果を出力し、前記再生信号に振幅がある区間において第１検出係数と第２検出係数のどちらか一方でも検出しきい値を上回った時は再生信号のみの状態と判定してその判定結果を出力し、前記再生信号に振幅がある区間において第１検出係数と第２検出係数の両方が検出しきい値を下回った時はダブルトーク状態と判定してその判定結果を出力する判定出力部と、
からなることを特徴とする音響結合量算出装置。 - 請求項８に記載の音響結合量算出装置であって、
前記検出係数計算部は、
前記ベクトル内積と前記再生信号ノルムと前記収音信号ノルムとが入力され、前記ベクトル内積の絶対値を周波数軸方向の所定範囲内で加算して二次元ベクトル内積を求め、前記再生信号ノルムの二乗を周波数軸方向の前記所定範囲内で加算した値と前記収音信号ノルムの二乗を周波数軸方向の前記所定範囲内で加算した値との積を開平し、その開平結果で前記二次元ベクトル内積を割って第１検出係数を求め、前記再生信号ノルムを周波数軸方向の所定範囲内で加算した値を前記収音信号ノルムを周波数軸方向の所定範囲内で加算した値で割って第２検出係数を求め、前記第１検出係数と前記第２検出係数を出力することを特徴とする音響結合量算出装置。 - 請求項１に記載の音響結合量算出装置であって、
前記音響結合量計算手段は、
周波数軸方向に対しては所定の範囲を強調する分析窓を出力し、時間軸方向に対しては現時点から過去の無限範囲について過去に向かうほど指数関数的に減衰度を高めるための時定数の重み係数を出力する分析窓出力部と、
前記再生信号スペクトルと前記収音信号スペクトルと前記周波数軸方向の分析窓と前記重み係数と前時点のクロススペクトル期待値とが入力され、各スペクトルごとに前記周波数軸方向の分析窓で重み付けた現時点の前記再生信号スペクトルと前記収音信号スペクトルとの積和を求める積和計算部と、前記求めた積和と前記前時点のクロススペクトル期待値との前記重み係数を用いた重み付き和を求め、この重み付き和を現時点のクロススペクトル期待値として出力する第一加算部とを備えるクロススペクトル期待値計算部と、
前記再生信号スペクトルと前記周波数軸方向の分析窓と前記重み係数と前時点のパワースペクトル期待値とが入力され、各スペクトルごとに前記周波数軸方向の分析窓で重み付けた現時点の前記再生信号スペクトルの二乗和を求める二乗和計算部と、前記求めた二乗和と前記前時点のパワースペクトル期待値との前記重み係数を用いた重み付き和を求め、この重み付き和を現時点のパワースペクトル期待値として出力する第二加算部とを備えるパワースペクトル期待値計算部と、
前記クロススペクトル期待値と前記パワースペクトル期待値とが入力され、前記クロススペクトル期待値の二乗の、前記パワースペクトル期待値の二乗に対する比を対応するスペクトルごとに求め、その比を音響結合量の推定値として出力する音響結合量計算部と、
を備えることを特徴とする音響結合量算出装置。 - 請求項１に記載の音響結合量算出装置であって、
前記音響結合量計算手段は、
周波数軸方向に対しては所定の範囲を強調する分析窓を出力し、時間軸方向に対しては現時点から過去の無限範囲について過去に向かうほど指数関数的に減衰度を高めるための時定数の重み係数を出力する分析窓出力部と、
前記再生信号スペクトルと前記収音信号スペクトルと前記周波数軸方向の分析窓と前記重み係数と前時点の二次元ベクトル内積とが入力され、現時点の前記再生信号スペクトルと前記収音信号スペクトルとの内積の絶対値を各スペクトルごとに前記周波数軸方向の分析窓で重み付け加算して積和を求める積和計算部と、前記求めた積和と前記前時点の二次元ベクトル内積との前記重み係数を用いた重み付き和を求め、この重み付き和を現時点の二次元ベクトル内積として出力する第一加算部とを備える二次元ベクトル内積計算部と、
前記再生信号スペクトルと前記周波数軸方向の分析窓と前記重み係数と前時点の二次元再生信号ノルムとが入力され、各スペクトルごとに前記周波数軸方向の分析窓で重み付けた現時点の前記再生信号スペクトルの二乗和を求める二乗和計算部と、前記求めた二乗和と前記前時点の二次元再生信号ノルムとの前記重み係数を用いた重み付き和を求め、この重み付き和を現時点の二次元再生信号ノルムとして出力する第二加算部とを備える二次元再生信号ノルム計算部と、
前記二次元ベクトル内積と前記二次元再生信号ノルムとが入力され、前記二次元ベクトル内積の二乗の、前記二次元再生信号ノルムの二乗に対する比を対応するスペクトルごとに求めて音響結合量の推定値として出力する音響結合量計算部と、
を備えることを特徴とする音響結合量算出装置。 - 請求項１〜１１のいずれかに記載の音響結合量算出装置であって、
前記再生信号スペクトルと前記収音信号スペクトルの代わりに、それぞれ、前記再生信号スペクトルの振幅と前記収音信号スペクトルの振幅が用いられることを特徴とする音響結合量算出装置。 - 音響結合量を計算する請求項１〜１２いずれかに記載の音響結合量算出装置と、
前記音響結合量の推定値と前記再生信号スペクトルと前記収音信号スペクトルとが入力され、各スペクトルごとに再生信号スペクトルの二乗と音響結合量の推定値とを乗じてエコー信号の推定値を求め、そのエコー信号の推定値の収音信号スペクトルに対する割合が大きい時には０に近づき、小さいときには１に近づくゲイン係数を出力するゲイン計算部と、
前記収音信号スペクトルと前記ゲイン係数が入力され、その収音信号スペクトルに対応するスペクトルの前記ゲイン係数を乗じてエコー信号成分を取り除いた信号スペクトルを出力する積算部と、
前記エコー信号成分を取り除いた信号スペクトルが入力され、その信号スペクトルを時間領域の信号に変換して出力する周波数合成部と、
を備えることを特徴とするエコー消去装置。 - 音響結合量を計算する請求項１〜１２いずれかに記載の音響結合量算出装置と、
前記音響結合量の推定値と前記収音信号スペクトルが入力され、音響結合量の推定値が所定の値以下である場合は前記収音信号スペクトルを出力し、音響結合量の推定値が所定の値を超えた場合には前記収音信号スペクトルを遮断するスイッチ部と、
前記スイッチ部の出力スペクトルが入力され、その出力スペクトルを時間領域の信号に変換して出力する周波数合成部と、
を備えることを特徴とするボイススイッチ装置。 - 再生手段から放音される再生信号と収音手段から収音される収音信号とが入力され、これらの入力信号から通話状態（無音状態、再生信号のみの状態、送話信号のみの状態、ダブルトーク状態）を判定し、その判定結果を出力する通話状態判定装置であって、
前記再生信号が入力され、周波数領域に変換して再生信号スペクトルを出力する再生側周波数分析部と、
前記収音信号が入力され、周波数領域に変換して収音信号スペクトルを出力する収音側周波数分析部と、
時間軸方向の所定の範囲内を強調する分析窓を出力する分析窓出力部と、
前記時間軸方向の分析窓と前記再生信号スペクトルと前記収音信号スペクトルとが入力され、前記再生信号スペクトルと前記収音信号スペクトルとの積を各時間ごとに前記時間軸方向の分析窓で重み付け加算して求めたベクトル内積を出力するベクトル内積計算部と、
前記再生信号スペクトルと前記時間軸方向の分析窓とが入力され、前記再生信号スペクトルの振幅の二乗値を各時間ごとに前記時間軸方向の分析窓で重み付け加算し、それを開平した値を再生信号ノルムとして求めて出力する再生信号ノルム計算部と、
前記収音信号スペクトルと前記時間軸方向の分析窓とが入力され、前記収音信号スペクトルの振幅の二乗値を各時間ごとに前記時間軸方向の分析窓で重み付け加算し、それを開平した値を収音信号ノルムとして求めて出力する収音信号ノルム計算部と、
前記ベクトル内積と前記再生信号ノルムと前記収音信号ノルムとが入力され、前記ベクトル内積の絶対値を周波数軸方向の所定範囲内で加算して二次元ベクトル内積を求め、前記再生信号ノルムの二乗を周波数軸方向の前記所定範囲内で加算した値と前記収音信号ノルムの二乗を周波数軸方向の前記所定範囲内で加算した値との積を開平し、その開平結果で前記二次元ベクトル内積を割って第１検出係数を求め、前記収音信号ノルムの二乗を周波数方向の所定範囲内で加算した値で前記二次元ベクトル内積を割って第２検出係数として求め、前記第１検出係数と前記第２検出係数を出力する検出係数計算部と、
前記再生信号と前記収音信号と前記第１検出係数と前記第２検出係数とが入力され、前記再生信号と前記収音信号の振幅が共に無い時は無音状態と判定してその判定結果を出力し、前記収音信号に振幅がある区間において前記再生信号の振幅が無い時は送話信号のみの状態と判定してその判定結果を出力し、前記再生信号に振幅がある区間において第１検出係数と第２検出係数のどちらか一方でも検出しきい値を上回った時は再生信号のみの状態と判定してその判定結果を出力し、前記再生信号に振幅がある区間において第１検出係数と第２検出係数の両方が検出しきい値を下回った時はダブルトーク状態と判定してその判定結果を出力する判定出力部と、
を備えることを特徴とする通話状態判定装置。 - 請求項１５に記載の通話状態判定装置であって、
前記検出係数計算部は、
前記ベクトル内積と前記再生信号ノルムと前記収音信号ノルムとが入力され、前記ベクトル内積の絶対値を周波数軸方向の所定範囲内で加算して二次元ベクトル内積を求め、前記再生信号ノルムの二乗を周波数軸方向の前記所定範囲内で加算した値と前記収音信号ノルムの二乗を周波数軸方向の前記所定範囲内で加算した値との積を開平し、その開平結果で前記二次元ベクトル内積を割って第１検出係数を求め、前記再生信号ノルムを周波数軸方向の所定範囲内で加算した値を前記収音信号ノルムを周波数軸方向の所定範囲内で加算した値で割って第２検出係数を求め、前記第１検出係数と前記第２検出係数を出力することを特徴とする通話状態判定装置。 - 再生信号を再生手段から放音し、収音手段の収音信号中のエコー信号と前記再生信号との信号スペクトル間の音響結合量を推定する音響結合量算出方法であって、
再生側周波数分析部が、前記再生信号を周波数領域に変換して再生信号スペクトルを求める過程と、
収音側周波数分析部が、前記収音信号を周波数領域に変換して収音信号スペクトルを求める過程と、
音響結合量計算手段が、対応するスペクトルごとに、複数の時刻と複数の周波数とを含む時間−周波数二次元領域における前記再生信号スペクトルと前記収音信号スペクトルとの相関値を、前記時間−周波数二次元領域における前記再生信号スペクトルの二乗の総和で正規化した値を、音響結合量の推定値として求める過程と、
からなる音響結合量算出方法。 - 請求項１７に記載の音響結合量算出方法であって、前記音響結合量計算手段が音響結合量の推定値を求める過程は、
分析窓出力部が、周波数軸方向の所定の範囲内かつ時間軸方向の所定の範囲内を強調する二次元分析窓を求める過程と、
クロススペクトル期待値計算部が、各スペクトル及び各時間ごとに前記二次元分析窓で重み付けした前記再生信号スペクトルと前記収音信号スペクトルとの積の平均値をクロススペクトル期待値として求める過程と、
パワースペクトル期待値計算部が、各スペクトル及び各時間ごとに前記二次元分析窓で重み付けした前記再生信号スペクトルの振幅の二乗の平均値をパワースペクトル期待値として求める過程と、
音響結合量計算部が、前記クロススペクトル期待値の二乗の前記パワースペクトル期待値の二乗に対する比を対応するスペクトルごとに求めることにより、音響結合量の推定値を求める過程と、
からなることを特徴とする音響結合量算出方法。 - 請求項１８に記載の音響結合量算出方法であって、
前記分析窓出力部が二次元分析窓を求める過程は、周波数軸方向の所定の範囲内かつ時間軸方向の所定の範囲内の現在着目している点で極大値を有する二次元分析窓を求める過程であることを特徴とする音響結合量算出方法。 - 請求項１７に記載の音響結合量算出方法であって、
前記音響結合量計算手段が音響結合量の推定値を求める過程は、
分析窓出力部が、時間軸方向の所定の範囲内を強調する時間軸分析窓と周波数軸方向の所定の範囲内を強調する周波数軸分析窓とを求める過程と、
クロススペクトル期待値計算部が、ベクトル内積計算部で前記再生信号スペクトルと前記収音信号スペクトルとの積を各時間ごとに前記時間軸分析窓で重み付け加算したベクトル内積を求め、周波数軸重み付け部で前記ベクトル内積を各スペクトルごとに前記周波数軸分析窓で重み付け加算した値を二次元で重み付け加算したサンプルの数で割ってクロススペクトル期待値を求める過程と、
パワースペクトル期待値計算部が、再生信号ノルム計算部で前記再生信号スペクトルの振幅の二乗値を各時間ごとに前記時間軸分析窓で重み付け加算しそれを開平して再生信号ノルムを求め、周波数軸重み付け部で前記再生信号ノルムの二乗を各スペクトルごとに前記周波数軸分析窓で重み付け加算した値を二次元で重み付け加算したサンプルの数で割ってパワースペクトル期待値を求める過程と、
音響結合量計算部が、前記クロススペクトル期待値の二乗の前記パワースペクトル期待値の二乗に対する比を、対応するスペクトルごとに音響結合量の推定値として求める過程と
からなることを特徴とする音響結合量算出方法。 - 請求項１７に記載の音響結合量算出方法であって、
前記音響結合量計算手段が音響結合量の推定値を求める過程は、
分析窓出力部が、時間軸方向の所定の範囲内を強調する時間軸分析窓と周波数軸方向の所定の範囲内を強調する周波数軸分析窓とを求める過程と、
二次元ベクトル内積計算部が、ベクトル内積計算部で前記再生信号スペクトルと前記収音信号スペクトルとの積を各時間ごとに前記時間軸分析窓で重み付け加算してベクトル内積を求め、周波数軸重み付け部で前記ベクトル内積の絶対値を各スペクトルごとに前記周波数軸分析窓で重み付け加算して二次元ベクトル内積を求める過程と、
二次元再生信号ノルム計算部が、再生信号ノルム計算部で前記再生信号スペクトルの振幅の二乗値を各時間ごとに前記時間軸分析窓で重み付け加算しそれを開平して再生信号ノルムとして求め、周波数軸重み付け部で前記再生信号ノルムの二乗を各スペクトルごとに前記周波数軸分析窓で重み付け加算して二次元再生信号ノルムを求める過程と、
音響結合量計算部が、前記二次元ベクトル内積の二乗の前記二次元再生信号ノルムの二乗に対する比を、対応するスペクトルごとに音響結合量の推定値として求める過程と
からなることを特徴とする音響結合量算出方法。 - 請求項２０又は２１に記載の音響結合量算出方法であって、
前記分析窓出力部が周波数軸分析窓と時間軸分析窓を求める過程は、
周波数軸方向の所定の範囲内及び時間軸方向の所定の範囲内の現在着目している点で極大値を有する周波数軸分析窓及び時間軸分析窓を求める過程であることを特徴とする音響結合量算出方法。 - 請求項２０〜２２に記載の音響結合量算出方法であって、音響結合量の推定値（以下、「|ＨL,ω|2 」という）を求める過程は、更に、
音響結合量補正部が、通話状態判定部で無音状態か、再生信号のみの状態か、送話信号のみの状態かダブルトーク状態かの４状態（以下、「通話状態」という）を判定し、収音信号ノルム計算部で前記収音信号スペクトルの振幅の二乗値を各時間ごとに前記時間軸分析窓で重み付け加算しそれを開平して収音信号ノルムを求め、制御値計算部で判定結果が再生信号のみの状態の場合には周波数ごとに|ＨL,ω|と前記再生信号ノルムとを乗じた値を前記収音信号ノルムで割った値を制御値として求め、判定結果がダブルトーク状態の場合には周波数ごとに、|ＨL,ω|と前記再生信号ノルムとを乗じた値を前記収音信号ノルムで割った値を制御候補値とし周波数ごとに前記制御候補値と保持されていた前記制御値とを比較して大きい値を制御値として求め、判定結果が無音状態又は送話信号のみの状態の場合には保持されている前記制御値をそのまま制御値として求め、補正計算部で前記|ＨL,ω|を前記制御値で割った値の二乗を補正後の音響結合量の推定値|ＨL,ω|2として求める過程を含むことを特徴とする音響結合量計算方法。 - 請求項２３に記載の音響結合量算出方法であって、前記通話状態判定部が判定結果を求める過程は、
検出係数計算部が、前記ベクトル内積の絶対値を周波数軸方向の所定範囲内で加算して二次元ベクトル内積を求め、前記再生信号ノルムの二乗を周波数軸方向の前記所定範囲内で加算した値と前記収音信号ノルムの二乗を周波数軸方向の前記所定範囲内で加算した値との積を開平し、その開平結果で前記二次元ベクトル内積を割って第１検出係数を求め、前記収音信号ノルムの二乗を周波数方向の所定範囲内で加算した値で前記二次元ベクトル内積を割って第２検出係数として求める過程と、
判定出力部が、前記再生信号と前記収音信号の振幅が共に無い時は無音状態と判定してその判定結果を求め、前記収音信号に振幅がある区間において前記再生信号の振幅が無い時は送話信号のみの状態と判定してその判定結果を求め、前記再生信号に振幅がある区間において第１検出係数と第２検出係数のどちらか一方でも検出しきい値を上回った時は再生信号のみの状態と判定してその判定結果を求め、前記再生信号に振幅がある区間において第１検出係数と第２検出係数の両方が検出しきい値を下回った時はダブルトーク状態と判定してその判定結果を求める過程と
からなることを特徴とする音響結合量算出方法。 - 請求項２４に記載の音響結合量算出方法であって前記検出係数計算部が第１検出係数と第２検出係数を求める過程は、
前記ベクトル内積の絶対値を周波数軸方向の所定範囲内で加算して二次元ベクトル内積を求め、前記再生信号ノルムの二乗を周波数軸方向の前記所定範囲内で加算した値と前記収音信号ノルムの二乗を周波数軸方向の前記所定範囲内で加算した値との積を開平し、その開平結果で前記二次元ベクトル内積を割って第１検出係数を求め、前記再生信号ノルムを周波数軸方向の所定範囲内で加算した値を前記収音信号ノルムを周波数軸方向の所定範囲内で加算した値で割って第２検出係数を求める過程であることを特徴とする通話状態判定方法。 - 請求項１７に記載の音響結合量算出方法であって、前記音響結合量計算手段が音響結合量の推定値を求める過程は、
分析窓出力部が、周波数軸方向に対しては所定の範囲を強調する分析窓を求め、時間軸方向に対しては現時点から過去の無限範囲について過去に向かうほど指数関数的に減衰度を高めるための時定数の重み係数を求める過程と、
クロススペクトル期待値計算部が、積和計算部で各スペクトルごとに前記周波数軸方向の分析窓で重み付けた現時点の前記再生信号スペクトルと前記収音信号スペクトルとの積和を求め、第一加算部で前記求めた積和と前記前時点のクロススペクトル期待値との前記重み係数を用いた重み付き和を現時点のクロススペクトル期待値として求める過程と、
パワースペクトル期待値計算部が、二乗和計算部で各スペクトルごとに前記周波数軸方向の分析窓で重み付けた現時点の前記再生信号スペクトルの二乗和を求め、第二加算部が前記求めた二乗和と前記前時点のパワースペクトル期待値との前記重み係数を用いた重み付き和を現時点のパワースペクトル期待値として求める過程と、
音響結合量計算部が、前記クロススペクトル期待値の二乗の前記パワースペクトル期待値の二乗に対する比を、対応するスペクトルごとに音響結合量の推定値として求める過程と
からなること特徴とする音響結合量算出方法。 - 請求項１７に記載の音響結合量算出方法であって、前記音響結合量計算手段が音響結合量の推定値を求める過程は、
分析窓出力部が、周波数軸方向に対しては所定の範囲を強調する分析窓を求め、時間軸方向に対しては現時点から過去の無限範囲について過去に向かうほど指数関数的に減衰度を高めるための時定数の重み係数を求める過程と、
二次元ベクトル内積計算部が、積和計算部で現時点の前記再生信号スペクトルと前記収音信号スペクトルとの内積の絶対値を各スペクトルごとに前記周波数軸方向の分析窓で重み付け加算して積和を求め、第一加算部で前記求めた積和と前記前時点の二次元ベクトル内積との前記重み係数を用いた重み付き和を現時点の二次元ベクトル内積として求める過程と、
二次元再生信号ノルム計算部が、二乗和計算部で各スペクトルごとに前記周波数軸方向の分析窓で重み付けた現時点の前記再生信号スペクトルの二乗和を求め、第二加算部で前記求めた二乗和と前記前時点の二次元再生信号ノルムとの前記重み係数を用いた重み付き和を現時点の二次元再生信号ノルムとして求める過程と、
音響結合量計算部が、前記二次元ベクトル内積の二乗の前記二次元再生信号ノルムの二乗に対する比を、対応するスペクトルごとに音響結合量の推定値として求める過程と
からなることを特徴とする音響結合量算出方法。 - 請求項１７〜２７のいずれかに記載の音響結合量算出方法であって、
前記音響結合量の推定値を求める過程において、前記再生信号スペクトルと前記収音信号スペクトルの代わりに、それぞれ、前記再生信号スペクトルの振幅と前記収音信号スペクトルの振幅を用いることを特徴とする音響結合量算出方法。 - 請求項１７〜２８いずれかに記載の音響結合量算出方法により音響結合量の推定値を求める過程と、
ゲイン計算部が、各スペクトルごとに再生信号スペクトルの二乗と音響結合量の推定値とを乗じてエコー信号の推定値を求め、そのエコー信号の推定値の収音信号スペクトルに対する割合が大きい時には０に近づき、小さいときには１に近づくゲイン係数を求める過程と、
積算部が、収音信号スペクトルに対応するスペクトルの前記ゲイン係数を前記収音信号スペクトルに乗じてエコー信号成分を取り除いた信号スペクトルを求める過程と、
周波数合成部が、前記エコー信号成分を取り除いた信号スペクトルを変換して時間領域の信号を求める過程と
からなるエコー消去方法。 - 請求項１７〜２８いずれかに記載の音響結合量算出方法により音響結合量の推定値を求める過程と、
スイッチ部が、所定の音響結合量をしきい値として収音信号スペクトルを遮断するか否かを判断する過程と、
周波数合成部が、前記スイッチ部の出力スペクトルを変換して時間領域の信号を求める過程と
からなるボイススイッチ方法。 - 再生手段から放音される再生信号と収音手段から収音される収音信号とから通話状態（無音状態、再生信号のみの状態、送話信号のみの状態、ダブルトーク状態）を判定する通話状態判定方法であって、
再生側周波数分析部が、前記再生信号を周波数領域に変換して再生信号スペクトルを求める過程と、
収音側周波数分析部が、前記収音信号を周波数領域に変換して収音信号スペクトルを求める過程と、
分析窓出力部が、時間軸方向の所定の範囲内を強調する分析窓を求める過程と、
ベクトル内積計算部が、前記再生信号スペクトルと前記収音信号スペクトルとの積を各時間ごとに前記時間軸方向の分析窓で重み付け加算してベクトル内積を求める過程と、
再生信号ノルム計算部が、前記再生信号スペクトルの振幅の二乗値を各時間ごとに前記時間軸方向の分析窓で重み付け加算しそれを開平した再生信号ノルムを求める過程と、
収音信号ノルム計算部が、前記収音信号スペクトルの振幅の二乗値を各時間ごとに前記時間軸方向の分析窓で重み付け加算しそれを開平した収音信号ノルムを求める過程と、
検出係数計算部が、前記ベクトル内積の絶対値を周波数軸方向の所定範囲内で加算して二次元ベクトル内積を求め、前記再生信号ノルムの二乗を周波数軸方向の前記所定範囲内で加算した値と前記収音信号ノルムの二乗を周波数軸方向の前記所定範囲内で加算した値との積を開平し、その開平結果で前記二次元ベクトル内積を割って第１検出係数を求め、前記収音信号ノルムの二乗を周波数方向の所定範囲内で加算した値で前記二次元ベクトル内積を割って第２検出係数を求める過程と、
判定出力部が、前記再生信号と前記収音信号の振幅が共に無い時は無音状態と判定し、前記収音信号に振幅がある区間において前記再生信号の振幅が無い時は送話信号のみの状態と判定し、前記再生信号に振幅がある区間において第１検出係数と第２検出係数のどちらか一方でも検出しきい値を上回った時は再生信号のみの状態と判定し、前記再生信号に振幅がある区間において第１検出係数と第２検出係数の両方が検出しきい値を下回った時はダブルトーク状態と判定する過程と
からなる通話状態判定方法。 - 請求項３１に記載の通話状態判定方法であって、
前記検出係数計算部が第１検出係数と第２検出係数を求める過程は、
前記ベクトル内積の絶対値を周波数軸方向の所定範囲内で加算して二次元ベクトル内積を求め、前記再生信号ノルムの二乗を周波数軸方向の前記所定範囲内で加算した値と前記収音信号ノルムの二乗を周波数軸方向の前記所定範囲内で加算した値との積を開平し、その開平結果で前記二次元ベクトル内積を割って第１検出係数を求め、前記再生信号ノルムを周波数軸方向の所定範囲内で加算した値を前記収音信号ノルムを周波数軸方向の所定範囲内で加算した値で割って第２検出係数を求める過程であることを特徴とする通話状態判定方法。 - 請求項１〜１４のいずれかに記載した装置としてコンピュータを機能させるためのプログラム。
- 請求項１５、１６のいずれかに記載した装置としてコンピュータを機能させるためのプログラム。
- 請求項３３に記載したプログラムを記録したコンピュータが読み取り可能な記録媒体。
- 請求項３４に記載したプログラムを記録したコンピュータが読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006308449A JP4456594B2 (ja) | 2006-07-25 | 2006-11-14 | 音響結合量算出装置、音響結合量算出装置を用いたエコー消去装置及びボイススイッチ装置、通話状態判定装置、これらの方法、これらのプログラム及びその記録媒体 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006201739 | 2006-07-25 | ||
| JP2006308449A JP4456594B2 (ja) | 2006-07-25 | 2006-11-14 | 音響結合量算出装置、音響結合量算出装置を用いたエコー消去装置及びボイススイッチ装置、通話状態判定装置、これらの方法、これらのプログラム及びその記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008054269A JP2008054269A (ja) | 2008-03-06 |
| JP4456594B2 true JP4456594B2 (ja) | 2010-04-28 |
Family
ID=39237835
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006308449A Active JP4456594B2 (ja) | 2006-07-25 | 2006-11-14 | 音響結合量算出装置、音響結合量算出装置を用いたエコー消去装置及びボイススイッチ装置、通話状態判定装置、これらの方法、これらのプログラム及びその記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4456594B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5087024B2 (ja) * | 2009-02-10 | 2012-11-28 | 日本電信電話株式会社 | エコー消去装置とその方法と、プログラム |
| JP5044594B2 (ja) * | 2009-03-19 | 2012-10-10 | 日本電信電話株式会社 | 多チャネルエコー消去装置とその方法、そのプログラム |
-
2006
- 2006-11-14 JP JP2006308449A patent/JP4456594B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2008054269A (ja) | 2008-03-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9111543B2 (en) | Processing signals | |
| US9818424B2 (en) | Method and apparatus for suppression of unwanted audio signals | |
| US9768829B2 (en) | Methods for processing audio signals and circuit arrangements therefor | |
| JP4954334B2 (ja) | エコー抑制のためのフィルタ係数を演算する装置および方法 | |
| US9966067B2 (en) | Audio noise estimation and audio noise reduction using multiple microphones | |
| EP3791565B1 (en) | Method and apparatus utilizing residual echo estimate information to derive secondary echo reduction parameters | |
| US7831035B2 (en) | Integration of a microphone array with acoustic echo cancellation and center clipping | |
| JP5332733B2 (ja) | エコーキャンセラ | |
| EP3080975B1 (en) | Echo cancellation | |
| US8306215B2 (en) | Echo canceller for eliminating echo without being affected by noise | |
| US10250975B1 (en) | Adaptive directional audio enhancement and selection | |
| US20080031469A1 (en) | Multi-channel echo compensation system | |
| KR20100133365A (ko) | 에코 억제 필터를 위한 제어 정보를 계산하는 장치 및 방법 및 지연 값을 계산하는 장치 및 방법 | |
| JP5061853B2 (ja) | エコーキャンセラ及びエコーキャンセルプログラム | |
| JP5223576B2 (ja) | エコーキャンセラ、エコーキャンセル方法及びプログラム | |
| EP4071757A1 (en) | Echo cancellation method and device | |
| US11380312B1 (en) | Residual echo suppression for keyword detection | |
| US8406430B2 (en) | Simulated background noise enabled echo canceller | |
| JP4456594B2 (ja) | 音響結合量算出装置、音響結合量算出装置を用いたエコー消去装置及びボイススイッチ装置、通話状態判定装置、これらの方法、これらのプログラム及びその記録媒体 | |
| JP6272590B2 (ja) | エコーキャンセラ装置及び通話装置 | |
| CN111989934B (zh) | 回声消除装置、回声消除方法、信号处理芯片及电子设备 | |
| KR20220157475A (ko) | 반향 잔류 억제 | |
| JP2006067127A (ja) | 残響除去方法及びその装置 | |
| TW202331701A (zh) | 雙麥克風陣列回音消除方法、雙麥克風陣列回音消除裝置、電子設備、及非揮發性電腦可讀儲存媒體 | |
| CN116013345A (zh) | 一种回声消除的方法及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080313 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091027 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091222 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100126 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100205 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130212 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4456594 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |