JP7115562B2 - 信号処理装置、信号処理方法、およびプログラム - Google Patents
信号処理装置、信号処理方法、およびプログラム Download PDFInfo
- Publication number
- JP7115562B2 JP7115562B2 JP2020559702A JP2020559702A JP7115562B2 JP 7115562 B2 JP7115562 B2 JP 7115562B2 JP 2020559702 A JP2020559702 A JP 2020559702A JP 2020559702 A JP2020559702 A JP 2020559702A JP 7115562 B2 JP7115562 B2 JP 7115562B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- frequency
- time interval
- beamformer
- steering vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 125
- 238000003672 processing method Methods 0.000 title claims description 7
- PWPJGUXAGUPAHP-UHFFFAOYSA-N lufenuron Chemical compound C1=C(Cl)C(OC(F)(F)C(C(F)(F)F)F)=CC(Cl)=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F PWPJGUXAGUPAHP-UHFFFAOYSA-N 0.000 title 1
- 239000013598 vector Substances 0.000 claims description 245
- 239000011159 matrix material Substances 0.000 claims description 222
- 230000001629 suppression Effects 0.000 claims description 49
- 230000006870 function Effects 0.000 claims description 29
- 230000003044 adaptive effect Effects 0.000 claims description 25
- 238000012546 transfer Methods 0.000 claims description 8
- 230000001419 dependent effect Effects 0.000 claims description 7
- 108010076504 Protein Sorting Signals Proteins 0.000 claims description 5
- 230000000295 complement effect Effects 0.000 claims description 5
- 238000000034 method Methods 0.000 description 52
- 238000007796 conventional method Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 13
- 238000012986 modification Methods 0.000 description 13
- 230000004048 modification Effects 0.000 description 13
- 230000008569 process Effects 0.000 description 10
- 230000015654 memory Effects 0.000 description 6
- 238000003860 storage Methods 0.000 description 4
- 230000001174 ascending effect Effects 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000001131 transforming effect Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000037433 frameshift Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000011410 subtraction method Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000002087 whitening effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L21/0232—Processing in the frequency domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
- G10L2021/02166—Microphone arrays; Beamforming
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Circuit For Audible Band Transducer (AREA)
Description
特許法第３０条第２項適用 （１）ウェブサイトの掲載日 ２０１８年１２月２０日 ウェブサイトのアドレス ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１８１２．０８４００ ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ｐｄｆ／１８１２．０８４００．ｐｄｆ （２）ウェブサイトの掲載日 ２０１９年４月１５日 ウェブサイトのアドレス ｈｔｔｐｓ：／／ｉｅｅｅｘｐｌｏｒｅ．ｉｅｅｅ．ｏｒｇ／Ｘｐｌｏｒｅ／ｈｏｍｅ．ｊｓｐ ｈｔｔｐｓ：／／ｉｅｅｅｘｐｌｏｒｅ．ｉｅｅｅ．ｏｒｇ／ｄｏｃｕｍｅｎｔ／８６９１４８１
本発明は、音響信号の信号処理技術に関する。
非特許文献１，２には、周波数領域の観測信号から雑音や残響を抑圧する方法が開示されている。この方法では、周波数領域の観測信号と音源方向を表すステアリングベクトルまたはその推定ベクトルとを受け取り、音源からマイクロホンに到来する音を歪ませないとの拘束条件のもと、周波数領域の観測信号のパワーを最小化する瞬時ビームフォーマを推定し、これを周波数領域の観測信号に適用することで、残響や雑音を抑圧する（従来法１）。
特許文献１および非特許文献３には、周波数領域の観測信号から残響を抑圧する方法が開示されている。この方法では、周波数領域の観測信号と目的音の各時刻のパワーまたはその推定値とを受け取り、予測誤差の重み付きパワー最小化基準に基づき、目的音の残響を抑圧する残響抑圧フィルタを推定し、残響抑圧フィルタを周波数領域の観測信号に適用することで、周波数領域の観測信号の残響を抑圧する（従来法２）。
非特許文献４には、従来法２と従来法１をカスケード接続することで雑音や残響を抑圧する方法が開示されている。この方法では、前段で周波数領域の観測信号と目的音の各時刻のパワーとを受け取り、従来法２を用いて残響を抑圧した後に、後段でステアリングベクトルを受け取り、従来法１を用いて残響や雑音をさらに抑圧する（従来法３）。
T Higuchi, N Ito, T Yoshioka, T Nakatani, "Robust MVDR beamforming using time-frequency masks for online/offline ASR in noise," Proc. ICASSP 2016, 2016.
J Heymann, L Drude, R Haeb-Umbach, "Neural network based spectral mask estimation for acoustic beamforming," Proc.ICASSP 2016, 2016
T Nakatani, T Yoshioka, K Kinoshita, M Miyoshi, "BH Juang, Speech dereverberation based on variance-normalized delayed linear prediction," IEEE Trans. ASLP, 18 (7), 1717-1731, 2010.
Takuya Yoshioka, Nobutaka Ito, Marc Delcroix, Atsunori Ogawa, Keisuke Kinoshita, Masakiyo Fujimoto, Chengzhu Yu, Wojciech J Fabian, Miquel Espi, Takuya Higuchi, Shoko Araki, Tomohiro Nakatani, "The NTT CHiME-3 system: Advances in speech enhancement and recognition for mobile multi-microphone devices," Proc. IEEE ASRU 2015, 436-443, 2015.
従来法では雑音と残響とを十分に抑圧することができない場合がある。従来法１は、もともと雑音を抑圧するために開発された方法であり、必ずしも十分に残響を抑圧できるとは限らない。従来法２では、雑音を抑圧することができない。従来法３は、従来法１や従来法２を単体で用いるときよりも多くの雑音や残響を抑圧できる。しかし、従来法３では、前段の従来法２と後段の従来法１とを、それぞれ独立した系とみてそれぞれの系で最適化を行う。そのため、前段で従来法２を適用した際に、雑音の影響により、必ずしも十分な残響抑圧ができるとは限らない。また後段で従来法１を適用した際に、残存する残響の影響により、必ずしも十分な雑音残響抑圧ができるとは限らない。
本発明はこのような点に鑑みてなされたものであり、雑音と残響とを十分に抑圧することができる技術を提供することを目的とする。
本発明では、音源から発せられた音響信号を集音して得られた観測信号の複数の周波数帯域のそれぞれに対応する周波数別観測信号に、各時刻において現在の信号と所定の遅延を持つ長さ０以上の過去の信号列との重み付き和を計算する畳み込みビームフォーマを適用して得られる推定信号が、所定の確率モデルに基づく推定信号の音声らしさを表す確率を大きくするように、畳み込みビームフォーマを得、得られた畳み込みビームフォーマを周波数別観測信号に適用して目的信号を得る。
本発明では、確率モデルに基づく推定信号の音声らしさを表す確率が大きくなるように畳み込みビームフォーマを得るため、雑音抑圧と残響抑圧とを１つの系として最適化でき、雑音と残響とを十分に抑圧できる。
以下、本発明の実施形態を説明する。
［記号の定義］
まず、実施形態で使用する記号を定義する。
Ｍ：Ｍはマイクロホン数を表す正整数である。例えば、Ｍ≧２である。
ｍ：ｍはマイクロホン番号を表す正整数であり、１≦ｍ≦Ｍを満たす。マイクロホン番号は丸括弧付きの右上添え字で表す。すなわち、マイクロホン番号ｍのマイクロホンで収音された信号に基づく値やベクトルは、右上添え字「（ｍ）」を持つ記号で表現される（例えば、ｘｆ，ｔ （ｍ））。
Ｎ：Ｎは信号の時間フレームの総数を表す正整数である。例えば、Ｎ≧２である。
ｔ，τ：ｔ，τは時間フレーム番号を表す正整数であり、ｔは１≦ｔ≦Ｎを満たす。時間フレーム番号は右下添え字で表す。すなわち、時間フレーム番号ｔの時間フレームに対応する値やベクトルは、右下添え字「ｔ」を持つ記号で表現される（例えば、ｘｆ，ｔ （ｍ））。同様に、時間フレーム番号τの時間フレームに対応する値やベクトルは、右下添え字「τ」を持つ記号で表現される。
Ｐ：Ｐは周波数帯域（離散周波数）の総数を表す正整数である。例えば、Ｐ≧２である。
ｆ：ｆは周波数帯域番号を表す正整数であり、１≦ｆ≦Ｐを満たす。周波数帯域番号は右下添え字で表す。すなわち、周波数帯域番号ｆの周波数帯域に対応する値やベクトルは、右下添え字「ｆ」を持つ記号で表現される（例えば、ｘｆ，ｔ （ｍ））。
Ｔ：Ｔは行列やベクトルの非共役転置を表す。α０ Ｔはα０を非共役転置して得られる行列やベクトルを表す。
Ｈ：Ｈは行列やベクトルの共役転置を表す。α０ Ｈはα０を共役転置して得られる行列やベクトルを表す。
｜α０｜：｜α０｜はα０の絶対値を表す。
||α０||：||α０||はα０のノルムを表す。
｜α０｜γ：｜α０｜γはα０の重み付き絶対値γ｜α０｜を表す。
||α０||γ：||α０||γはα０の重み付きノルムγ||α０||を表す。
［記号の定義］
まず、実施形態で使用する記号を定義する。
Ｍ：Ｍはマイクロホン数を表す正整数である。例えば、Ｍ≧２である。
ｍ：ｍはマイクロホン番号を表す正整数であり、１≦ｍ≦Ｍを満たす。マイクロホン番号は丸括弧付きの右上添え字で表す。すなわち、マイクロホン番号ｍのマイクロホンで収音された信号に基づく値やベクトルは、右上添え字「（ｍ）」を持つ記号で表現される（例えば、ｘｆ，ｔ （ｍ））。
Ｎ：Ｎは信号の時間フレームの総数を表す正整数である。例えば、Ｎ≧２である。
ｔ，τ：ｔ，τは時間フレーム番号を表す正整数であり、ｔは１≦ｔ≦Ｎを満たす。時間フレーム番号は右下添え字で表す。すなわち、時間フレーム番号ｔの時間フレームに対応する値やベクトルは、右下添え字「ｔ」を持つ記号で表現される（例えば、ｘｆ，ｔ （ｍ））。同様に、時間フレーム番号τの時間フレームに対応する値やベクトルは、右下添え字「τ」を持つ記号で表現される。
Ｐ：Ｐは周波数帯域（離散周波数）の総数を表す正整数である。例えば、Ｐ≧２である。
ｆ：ｆは周波数帯域番号を表す正整数であり、１≦ｆ≦Ｐを満たす。周波数帯域番号は右下添え字で表す。すなわち、周波数帯域番号ｆの周波数帯域に対応する値やベクトルは、右下添え字「ｆ」を持つ記号で表現される（例えば、ｘｆ，ｔ （ｍ））。
Ｔ：Ｔは行列やベクトルの非共役転置を表す。α０ Ｔはα０を非共役転置して得られる行列やベクトルを表す。
Ｈ：Ｈは行列やベクトルの共役転置を表す。α０ Ｈはα０を共役転置して得られる行列やベクトルを表す。
｜α０｜：｜α０｜はα０の絶対値を表す。
||α０||：||α０||はα０のノルムを表す。
｜α０｜γ：｜α０｜γはα０の重み付き絶対値γ｜α０｜を表す。
||α０||γ：||α０||γはα０の重み付きノルムγ||α０||を表す。
本明細書で「目的信号」は目的の音源から発せられてマイクロホンで集音された音に対応する信号（例えば周波数別観測信号）のうち、直接音と初期反射音に対応する信号のことを指す。初期反射音とは、目的の音源から発せられた音に由来する残響のうち、直接音から遅れて数１０ミリ秒以内にマイクロホンに到達する成分のことを指す。一般的に、初期反射音は音の明瞭性を向上させる働きを持つとされており、本実施形態では、初期反射音に対応する信号も目的信号に含められる。一方、マイクロホンで集音される音に対応する信号には、上記の目的信号以外に、目的の音源から発せられた音に由来する後部残響（残響から初期反射音を除いた成分）や目的の音源以外に由来する雑音が含まれている。信号処理方法では、例えばマイクロホンで収録された音に対応する周波数別観測信号から、後部残響と雑音を抑圧して目的信号を推定する。本明細書では特に断りがない限り、「残響」とは「後部残響」のことを指しているものとする。
［原理］
次に原理を説明する。
＜前提となる手法１＞
実施形態の手法の前提となる手法１を説明する。手法１では周波数領域のＭ次元観測信号（周波数別観測信号）
から雑音と残響とを抑圧する。周波数別観測信号ｘｆ，ｔは、例えば、単数または複数の音源から発せられた音響信号をＭ個のマイクロホンで収音して得られたＭ個の観測信号を周波数領域に変換して得られたものである。観測信号は、雑音および残響が存在する環境下で音源から発せられた音響信号を集音して得られたものである。ｘｆ，ｔ （ｍ）はマイクロホン番号ｍのマイクロホンで収音して得られた観測信号を周波数領域に変換して得られるものである。ｘｆ，ｔ （ｍ）は、周波数帯域番号ｆの周波数帯域および時間フレーム番号ｔの時間フレームに対応する。すなわち、周波数別観測信号ｘｆ，ｔは時系列信号である。
次に原理を説明する。
＜前提となる手法１＞
実施形態の手法の前提となる手法１を説明する。手法１では周波数領域のＭ次元観測信号（周波数別観測信号）
から雑音と残響とを抑圧する。周波数別観測信号ｘｆ，ｔは、例えば、単数または複数の音源から発せられた音響信号をＭ個のマイクロホンで収音して得られたＭ個の観測信号を周波数領域に変換して得られたものである。観測信号は、雑音および残響が存在する環境下で音源から発せられた音響信号を集音して得られたものである。ｘｆ，ｔ （ｍ）はマイクロホン番号ｍのマイクロホンで収音して得られた観測信号を周波数領域に変換して得られるものである。ｘｆ，ｔ （ｍ）は、周波数帯域番号ｆの周波数帯域および時間フレーム番号ｔの時間フレームに対応する。すなわち、周波数別観測信号ｘｆ，ｔは時系列信号である。
手法１では、「周波数別観測信号ｘｆ，ｔに、各時刻において、現在の時刻の信号の重み付き和を計算する瞬時ビームフォーマ（例えば、最小パワー無歪応答ビームフォーマ）ｗｆ，０を適用した結果、目的信号が歪まない」という拘束条件のもとで、各周波数帯域に対し、以下のコスト関数Ｃ１（ｗｆ，０）を最小化する瞬時ビームフォーマｗｆ，０を求める。
なお、ｗｆ，０の右下添え字「０」は時間フレーム番号を表すものではなく、ｗｆ，０は時間フレームに依存しない。拘束条件は、例えば、ｗｆ，０ Ｈνｆ，０が定数（例えば１）となる条件である。ここで
は音源から各マイクロホン（音響信号の集音位置）までの直接音および初期反射音に関する伝達関数νｆ，０ （ｍ）を要素とするステアリングベクトルまたはその推定ベクトル（推定ステアリングベクトル）である。すなわち、νｆ，０は、音源位置から各マイクロホンまでのインパルス応答の内、直接音と初期反射音（直接音から数十ミリ秒以内（例えば、３０ミリ秒以内）に遅れて到達する残響）の部分に対応する伝達関数νｆ，０ （ｍ）を要素とするＭ次元（マイクロホン数の次元）のベクトルで表される。ステアリングベクトルのゲインの推定が困難な場合には、いずれか一つのマイクロホン番号ｍ０∈｛１，…，Ｍ｝のマイクロホンのゲインが定数ｇ（ｇ≠０）となるように各要素の伝達関数を正規化した正規化ベクトルをνｆ，０としてもよい。すなわち、以下のように正規化されたものをνｆ，０としてもよい。
なお、ｗｆ，０の右下添え字「０」は時間フレーム番号を表すものではなく、ｗｆ，０は時間フレームに依存しない。拘束条件は、例えば、ｗｆ，０ Ｈνｆ，０が定数（例えば１）となる条件である。ここで
は音源から各マイクロホン（音響信号の集音位置）までの直接音および初期反射音に関する伝達関数νｆ，０ （ｍ）を要素とするステアリングベクトルまたはその推定ベクトル（推定ステアリングベクトル）である。すなわち、νｆ，０は、音源位置から各マイクロホンまでのインパルス応答の内、直接音と初期反射音（直接音から数十ミリ秒以内（例えば、３０ミリ秒以内）に遅れて到達する残響）の部分に対応する伝達関数νｆ，０ （ｍ）を要素とするＭ次元（マイクロホン数の次元）のベクトルで表される。ステアリングベクトルのゲインの推定が困難な場合には、いずれか一つのマイクロホン番号ｍ０∈｛１，…，Ｍ｝のマイクロホンのゲインが定数ｇ（ｇ≠０）となるように各要素の伝達関数を正規化した正規化ベクトルをνｆ，０としてもよい。すなわち、以下のように正規化されたものをνｆ，０としてもよい。
以上のように得られた瞬時ビームフォーマｗｆ，０を、以下のように各周波数帯域の周波数別観測信号ｘｆ，ｔに適用することで、周波数別観測信号ｘｆ，ｔから雑音と残響とを抑圧した目的信号ｙｆ，ｔが得られる。
＜前提となる手法２＞
実施形態の手法の前提となる手法２を説明する。手法２では周波数別観測信号ｘｆ，ｔから残響を抑圧する。手法２では、各周波数帯域で、以下のコスト関数Ｃ２（Ｆｆ）を最小化する残響抑圧フィルタＦｆ，τをτ＝ｄ，ｄ＋１，…，ｄ＋Ｌ－１に対して求める。
ただし、残響抑圧フィルタＦｆ，τは周波数別観測信号ｘｆ，ｔから残響を抑圧するＭ×Ｍ次行列フィルタである。ｄは予測遅延を表す正整数であり、Ｌはフィルタ長を表す正整数である。σｆ，ｔ ２は目的信号のパワーであり、
である。周波数別観測信号ｘに対する||ｘ||γは、周波数別観測信号ｘの重み付きノルム||ｘ||γ＝γ（ｘＨｘ）である。
実施形態の手法の前提となる手法２を説明する。手法２では周波数別観測信号ｘｆ，ｔから残響を抑圧する。手法２では、各周波数帯域で、以下のコスト関数Ｃ２（Ｆｆ）を最小化する残響抑圧フィルタＦｆ，τをτ＝ｄ，ｄ＋１，…，ｄ＋Ｌ－１に対して求める。
ただし、残響抑圧フィルタＦｆ，τは周波数別観測信号ｘｆ，ｔから残響を抑圧するＭ×Ｍ次行列フィルタである。ｄは予測遅延を表す正整数であり、Ｌはフィルタ長を表す正整数である。σｆ，ｔ ２は目的信号のパワーであり、
である。周波数別観測信号ｘに対する||ｘ||γは、周波数別観測信号ｘの重み付きノルム||ｘ||γ＝γ（ｘＨｘ）である。
以上のように得られた残響抑圧フィルタＦｆ，ｔを、以下のように各周波数帯域の周波数別観測信号ｘｆ，ｔに適用することで、周波数別観測信号ｘｆ，ｔから残響を抑圧した目的信号ｚｆ，ｔが得られる。
ただし、目的信号ｚｆ，ｔは以下のようなＭ次元縦ベクトルである。
ただし、目的信号ｚｆ，ｔは以下のようなＭ次元縦ベクトルである。
＜実施形態の手法＞
実施形態の手法を説明する。手法１，２を統合した手法によって周波数別観測信号ｘｆ，ｔから雑音と残響とを抑圧して得られる目的信号ｙｆ，ｔは、以下のようにモデル化することができる。
ただし、τ≠０に対してｗｆ，τ＝－Ｆｆ，τｗｆ，０であり、ｗｆ，τは雑音抑圧と残響抑圧とを同時に行うフィルタに相当する。ｗ－ ｆは畳み込みビームフォーマであり、各時刻において現在の信号と所定の遅延を持つ過去の信号列との重み付き和を計算するものである。なお、「ｗ－ ｆ」の「－」は本来以下のように「ｗ」の真上に表記すべきであるが、記載表記の制約上「ｗ」の右上に表記する場合がある。
畳み込みビームフォーマｗ－ ｆは、各時刻において現在の信号と所定の遅延を持つ過去の信号列との重み付き和を計算するものである。畳み込みビームフォーマｗ－ ｆは、例えば以下のように表される。
ただし、以下を満たす。
また、ｘ－ ｆ，ｔは以下のように表される。
実施形態の手法を説明する。手法１，２を統合した手法によって周波数別観測信号ｘｆ，ｔから雑音と残響とを抑圧して得られる目的信号ｙｆ，ｔは、以下のようにモデル化することができる。
ただし、τ≠０に対してｗｆ，τ＝－Ｆｆ，τｗｆ，０であり、ｗｆ，τは雑音抑圧と残響抑圧とを同時に行うフィルタに相当する。ｗ－ ｆは畳み込みビームフォーマであり、各時刻において現在の信号と所定の遅延を持つ過去の信号列との重み付き和を計算するものである。なお、「ｗ－ ｆ」の「－」は本来以下のように「ｗ」の真上に表記すべきであるが、記載表記の制約上「ｗ」の右上に表記する場合がある。
畳み込みビームフォーマｗ－ ｆは、各時刻において現在の信号と所定の遅延を持つ過去の信号列との重み付き和を計算するものである。畳み込みビームフォーマｗ－ ｆは、例えば以下のように表される。
ただし、以下を満たす。
また、ｘ－ ｆ，ｔは以下のように表される。
なお、本明細書を通じて、式（９）から式（１１Ａ）において Ｌ＝０とする場合も、本発明の畳み込みビームフォーマに含めるものとする。つまり、畳み込みビームフォーマで重み付き和を計算する過去の信号列の長さが０の場合も、畳み込みビームフォーマの一実現例として扱う。この時、式（９）においてΣの項は０となるため、式（９）は以下の式（９Ａ）のようになり、式（１０Ａ）および式（１１Ａ）のそれぞれの右辺は、それぞれ最初の要素一つだけからなるベクトル（すなわちスカラー）になるため、式（１０ＡＡ）および式（１１ＡＡ）のようになる。
なお、式（９Ａ）の畳み込みビームフォーマｗ－ ｆは、各時刻において現在の信号と所定の遅延を持つ長さ０の信号列との重み付き和を計算するものであり、各時刻において現在の信号の重み付け値を計算するビームフォーマである。さらに、以下に述べるように、Ｌ＝０の場合であっても、本発明による信号処理装置は、音声らしさを表す確率に基づき畳み込みビームフォーマを求め、周波数別観測信号に適用して、目的信号を得ることができる。
なお、式（９Ａ）の畳み込みビームフォーマｗ－ ｆは、各時刻において現在の信号と所定の遅延を持つ長さ０の信号列との重み付き和を計算するものであり、各時刻において現在の信号の重み付け値を計算するビームフォーマである。さらに、以下に述べるように、Ｌ＝０の場合であっても、本発明による信号処理装置は、音声らしさを表す確率に基づき畳み込みビームフォーマを求め、周波数別観測信号に適用して、目的信号を得ることができる。
ここで、式（９）のｙｆ，ｔが音声の確率密度関数ｐ（｛ｙｆ，ｔ｝ｔ＝１：Ｎ；ｗ－
ｆ）（確率モデル）に従うのが望ましいと仮定し、信号処理装置は、音声の確率密度関数に基づくｙｆ，ｔの確率ｐ（｛ｙｆ，ｔ｝ｔ＝１：Ｎ；ｗ－
ｆ）（つまり、ｙｆ，ｔの音声らしさを表す確率）を大きくするように畳み込みビームフォーマｗ－
ｆを求める。好ましくは、ｙｆ，ｔの音声らしさを表す確率を最大化する畳み込みビームフォーマｗ－
ｆを求める。例えば、信号処理装置は、ｌｏｇ ｐ（｛ｙｆ，ｔ｝ｔ＝１：Ｎ；ｗ－
ｆ）を大きくするように畳み込みビームフォーマｗ－
ｆを求め、好ましくはｌｏｇ ｐ（｛ｙｆ，ｔ｝ｔ＝１：Ｎ；ｗ－
ｆ）を最大化する畳み込みビームフォーマｗ－
ｆを求める。
音声の確率密度関数としては、例えば、平均が０、分散が目的信号のパワーσｆ，ｔ
２に一致する複素正規分布を例示できる。「目的信号」は目的の音源から発せられてマイクロホンで集音された音に対応する信号のうち、直接音と初期反射音に対応する信号のことである。また信号処理装置は、例えば、「周波数別観測信号ｘｆ，ｔに畳み込みビームフォーマｗ－
ｆを適用した結果、目的信号が歪まない」という拘束条件のもとで、畳み込みビームフォーマｗ－
ｆを求める。この拘束条件は、例えば、ｗｆ，０
Ｈνｆ，０が定数（例えば１）となる条件である。信号処理装置は、例えば、この拘束条件のもと、各周波数帯域に対し、以下のように定まるｌｏｇ ｐ（｛ｙｆ，ｔ｝ｔ＝１：Ｎ；ｗ－
ｆ）を最大化するｗ－
ｆを求める。
ただし、「ｃｏｎｓｔ．」は定数を表す。
ただし、「ｃｏｎｓｔ．」は定数を表す。
式（１２）のｌｏｇ ｐ（｛ｙｆ，ｔ｝ｔ＝１：Ｎ；ｗ－
ｆ）から定数項（ｃｏｎｓｔ．）を除き、正負符号を反転させた以下の関数をコスト関数Ｃ３（ｗ－
ｆ）とする。
ただし、Ｒは、以下のように求められる重み付き時空間共分散行列である。
信号処理装置は、例えば、上述の拘束条件（例えば、ｗｆ，０ Ｈνｆ，０が定数）のもと、式（１３）のコスト関数Ｃ３（ｗ－ ｆ）を最小化するｗ－ ｆを求めてもよい。
ただし、Ｒは、以下のように求められる重み付き時空間共分散行列である。
信号処理装置は、例えば、上述の拘束条件（例えば、ｗｆ，０ Ｈνｆ，０が定数）のもと、式（１３）のコスト関数Ｃ３（ｗ－ ｆ）を最小化するｗ－ ｆを求めてもよい。
上記の拘束条件（例えば、ｗｆ，０
Ｈνｆ，０＝１）のもと、コスト関数Ｃ３（ｗ－
ｆ）を最小化するｗ－
ｆの解析解は以下のようになる。
ただし、ν－ ｆはステアリングベクトルνｆ，０の要素νｆ，０ （ｍ）を以下のように配置したベクトルである。
ただし、ν― ｆ （ｍ）はνｆ，０ （ｍ）とＬ個の０とを要素とするＬ＋１次元縦ベクトルである。
ただし、ν－ ｆはステアリングベクトルνｆ，０の要素νｆ，０ （ｍ）を以下のように配置したベクトルである。
ただし、ν― ｆ （ｍ）はνｆ，０ （ｍ）とＬ個の０とを要素とするＬ＋１次元縦ベクトルである。
信号処理装置は、求めた畳み込みビームフォーマｗ－
ｆを周波数別観測信号ｘｆ，ｔに以下のように適用して目的信号ｙｆ，ｔを得る。
［第１実施形態］
次に、第１実施形態を説明する。
図１Ａに例示するように、本実施形態の信号処理装置１は推定部１１と抑圧部１２とを有する。
次に、第１実施形態を説明する。
図１Ａに例示するように、本実施形態の信号処理装置１は推定部１１と抑圧部１２とを有する。
＜ステップＳ１１＞
図１Ｂに例示するように、推定部１１には、周波数別観測信号ｘｆ，ｔが入力される（式（１））。推定部１１は、各周波数帯域において、周波数別観測信号ｘｆ，ｔに、各時刻において現在の信号と所定の遅延を持つ過去の信号列との重み付き和を計算する畳み込みビームフォーマｗ－ ｆを適用して得られる推定信号が、所定の確率モデルに基づく推定信号の音声らしさを表す確率を大きくするように、畳み込みビームフォーマｗ－ ｆを得て出力する。例えば、推定部１１は、確率密度関数ｐ（｛ｙｆ，ｔ｝ｔ＝１：Ｎ；ｗ－ ｆ）に基づくｙｆ，ｔの音声らしさを表す確率が大きくなるように（例えば、ｌｏｇ ｐ（｛ｙｆ，ｔ｝ｔ＝１：Ｎ；ｗ－ ｆ）を大きくするように）畳み込みビームフォーマｗ－ ｆを求める。好ましくは、推定部１１は、この確率を最大化する（例えば、ｌｏｇ ｐ（｛ｙｆ，ｔ｝ｔ＝１：Ｎ；ｗ－ ｆ）を最大化する）畳み込みビームフォーマｗ－ ｆを求める。
図１Ｂに例示するように、推定部１１には、周波数別観測信号ｘｆ，ｔが入力される（式（１））。推定部１１は、各周波数帯域において、周波数別観測信号ｘｆ，ｔに、各時刻において現在の信号と所定の遅延を持つ過去の信号列との重み付き和を計算する畳み込みビームフォーマｗ－ ｆを適用して得られる推定信号が、所定の確率モデルに基づく推定信号の音声らしさを表す確率を大きくするように、畳み込みビームフォーマｗ－ ｆを得て出力する。例えば、推定部１１は、確率密度関数ｐ（｛ｙｆ，ｔ｝ｔ＝１：Ｎ；ｗ－ ｆ）に基づくｙｆ，ｔの音声らしさを表す確率が大きくなるように（例えば、ｌｏｇ ｐ（｛ｙｆ，ｔ｝ｔ＝１：Ｎ；ｗ－ ｆ）を大きくするように）畳み込みビームフォーマｗ－ ｆを求める。好ましくは、推定部１１は、この確率を最大化する（例えば、ｌｏｇ ｐ（｛ｙｆ，ｔ｝ｔ＝１：Ｎ；ｗ－ ｆ）を最大化する）畳み込みビームフォーマｗ－ ｆを求める。
＜ステップＳ１２＞
抑圧部１２には、周波数別観測信号ｘｆ，ｔとステップＳ１１で得られた畳み込みビームフォーマｗ－ ｆとが入力される。抑圧部１２は、各周波数帯域において、畳み込みビームフォーマｗ－ ｆを周波数別観測信号ｘｆ，ｔに適用して目的信号ｙｆ，ｔ（推定信号）を得て出力する。例えば、抑圧部１２は、式（１６）に例示したように、ｗ－ ｆをｘ－ ｆ，ｔに適用して目的信号ｙｆ，ｔを得て出力する。
抑圧部１２には、周波数別観測信号ｘｆ，ｔとステップＳ１１で得られた畳み込みビームフォーマｗ－ ｆとが入力される。抑圧部１２は、各周波数帯域において、畳み込みビームフォーマｗ－ ｆを周波数別観測信号ｘｆ，ｔに適用して目的信号ｙｆ，ｔ（推定信号）を得て出力する。例えば、抑圧部１２は、式（１６）に例示したように、ｗ－ ｆをｘ－ ｆ，ｔに適用して目的信号ｙｆ，ｔを得て出力する。
＜本実施形態の特徴＞
本実施形態では、周波数別観測信号ｘｆ，ｔに、各時刻において現在の信号と所定の遅延を持つ過去の信号列との重み付き和を計算する畳み込みビームフォーマｗ－ ｆを適用して得られる推定信号が、所定の確率モデルに基づく推定信号の音声らしさを表す確率を大きくするように、畳み込みビームフォーマｗ－ ｆを求めた。これは雑音抑圧と残響抑圧とを１つの系として最適化することに相当する。そのため、本実施形態では、従来よりも雑音と残響とを十分に抑圧することができる。
本実施形態では、周波数別観測信号ｘｆ，ｔに、各時刻において現在の信号と所定の遅延を持つ過去の信号列との重み付き和を計算する畳み込みビームフォーマｗ－ ｆを適用して得られる推定信号が、所定の確率モデルに基づく推定信号の音声らしさを表す確率を大きくするように、畳み込みビームフォーマｗ－ ｆを求めた。これは雑音抑圧と残響抑圧とを１つの系として最適化することに相当する。そのため、本実施形態では、従来よりも雑音と残響とを十分に抑圧することができる。
［第２実施形態］
次に、第２実施形態を説明する。以下、これまで説明した処理部およびステップについては同じ参照番号を引用して説明を簡略化する。
図２Ａに例示するように、本実施形態の信号処理装置２は推定部２１と抑圧部１２とを有する。推定部２１は行列推定部２１１と畳み込みビームフォーマ推定部２１２とを有する。
次に、第２実施形態を説明する。以下、これまで説明した処理部およびステップについては同じ参照番号を引用して説明を簡略化する。
図２Ａに例示するように、本実施形態の信号処理装置２は推定部２１と抑圧部１２とを有する。推定部２１は行列推定部２１１と畳み込みビームフォーマ推定部２１２とを有する。
本実施形態の推定部２１は、「周波数別観測信号ｘｆ，ｔに畳み込みビームフォーマｗ－
ｆを適用した結果、目的信号が歪まない」という拘束条件のもとで、所定の時間区間に属する各時刻での推定信号のパワーを、目的信号のパワーσｆ，ｔ
２の逆数または当該目的信号の推定パワーσｆ，ｔ
２の逆数で重み付けして得られる値の総和（例えば、式（１３）のコスト関数Ｃ３（ｗ－
ｆ））、を最小化する畳み込みビームフォーマｗ－
ｆを得て出力する。式（９）に例示したように、畳み込みビームフォーマｗ－
ｆは、周波数別観測信号ｘｆ，ｔから残響を抑圧する残響抑圧フィルタＦｆ，ｔと、周波数別観測信号ｘｆ，ｔに残響抑圧フィルタＦｆ，ｔを適用して得られる信号から雑音を抑圧する瞬時ビームフォーマｗｆ，０を合成して得られるビームフォーマと等価である。また拘束条件は、例えば「音源から音響信号の集音位置までの直接音および初期反射音に関する伝達関数を要素とするステアリングベクトルまたはステアリングベクトルの推定ベクトルである推定ステアリングベクトルに瞬時ビームフォーマを適用して得られる値が定数である（ｗｆ，０
Ｈνｆ，０が定数）」という条件である。以下、処理を詳細に説明する。
＜ステップＳ２１１＞
図２Ｂに例示するように、行列推定部２１１には、周波数別観測信号ｘｆ，ｔおよび目的信号のパワーまたは推定パワーσｆ，ｔ ２が入力される。行列推定部２１１は、各周波数帯域について、周波数別観測信号ｘｆ，ｔと目的信号のパワーまたは推定パワーσｆ，ｔ ２とに基づき、重み付き時空間共分散行列Ｒｆを得て出力する。例えば、行列推定部２１１は、式（１４）に従って重み付き時空間共分散行列Ｒｆを得て出力する。
図２Ｂに例示するように、行列推定部２１１には、周波数別観測信号ｘｆ，ｔおよび目的信号のパワーまたは推定パワーσｆ，ｔ ２が入力される。行列推定部２１１は、各周波数帯域について、周波数別観測信号ｘｆ，ｔと目的信号のパワーまたは推定パワーσｆ，ｔ ２とに基づき、重み付き時空間共分散行列Ｒｆを得て出力する。例えば、行列推定部２１１は、式（１４）に従って重み付き時空間共分散行列Ｒｆを得て出力する。
＜ステップＳ２１２＞
畳み込みビームフォーマ推定部２１２には、ステアリングベクトルまたは推定ステアリングベクトルνｆ，０（式（４）または（５））とステップＳ２１１で得られた重み付き時空間共分散行列Ｒｆとが入力される。畳み込みビームフォーマ推定部２１２は、重み付き時空間共分散行列Ｒｆとステアリングベクトルまたは推定ステアリングベクトルνｆ，０とに基づき、畳み込みビームフォーマｗ－ ｆを得て出力する。例えば、畳み込みビームフォーマ推定部２１２は、式（１５）に従って畳み込みビームフォーマｗ－ ｆを得て出力する。
畳み込みビームフォーマ推定部２１２には、ステアリングベクトルまたは推定ステアリングベクトルνｆ，０（式（４）または（５））とステップＳ２１１で得られた重み付き時空間共分散行列Ｒｆとが入力される。畳み込みビームフォーマ推定部２１２は、重み付き時空間共分散行列Ｒｆとステアリングベクトルまたは推定ステアリングベクトルνｆ，０とに基づき、畳み込みビームフォーマｗ－ ｆを得て出力する。例えば、畳み込みビームフォーマ推定部２１２は、式（１５）に従って畳み込みビームフォーマｗ－ ｆを得て出力する。
＜ステップＳ１２＞
第１実施形態と同一であるため説明を省略する。
第１実施形態と同一であるため説明を省略する。
＜本実施形態の特徴＞
本実施形態では、重み付き時空間共分散行列Ｒｆを得、重み付き時空間共分散行列Ｒｆとステアリングベクトルまたは推定ステアリングベクトルνｆ，０とに基づき、畳み込みビームフォーマｗ－ ｆを得た。これは雑音抑圧と残響抑圧とを１つの系として最適化することに相当する。そのため、本実施形態では、従来よりも雑音と残響とを十分に抑圧することができる。
本実施形態では、重み付き時空間共分散行列Ｒｆを得、重み付き時空間共分散行列Ｒｆとステアリングベクトルまたは推定ステアリングベクトルνｆ，０とに基づき、畳み込みビームフォーマｗ－ ｆを得た。これは雑音抑圧と残響抑圧とを１つの系として最適化することに相当する。そのため、本実施形態では、従来よりも雑音と残響とを十分に抑圧することができる。
［第３実施形態］
次に、第３実施形態を説明する。本実施形態では、σｆ，ｔ ２およびνｆ，０の生成方法を例示する。
図３に例示するように、本実施形態の信号処理装置３は推定部２１と抑圧部１２とパラメータ推定部３３とを有する。推定部２１は行列推定部２１１と畳み込みビームフォーマ推定部２１２とを有する。また図４に例示するように、パラメータ推定部３３は、初期設定部３３０と、パワー推定部３３１と、残響抑圧フィルタ推定部３３２と、残響抑圧フィルタ適用部３３３と、ステアリングベクトル推定部３３４と、瞬時ビームフォーマ推定部３３５と、瞬時ビームフォーマ適用部３３６と、制御部３３７とを有する。
次に、第３実施形態を説明する。本実施形態では、σｆ，ｔ ２およびνｆ，０の生成方法を例示する。
図３に例示するように、本実施形態の信号処理装置３は推定部２１と抑圧部１２とパラメータ推定部３３とを有する。推定部２１は行列推定部２１１と畳み込みビームフォーマ推定部２１２とを有する。また図４に例示するように、パラメータ推定部３３は、初期設定部３３０と、パワー推定部３３１と、残響抑圧フィルタ推定部３３２と、残響抑圧フィルタ適用部３３３と、ステアリングベクトル推定部３３４と、瞬時ビームフォーマ推定部３３５と、瞬時ビームフォーマ適用部３３６と、制御部３３７とを有する。
以下では第２実施形態との相違点であるパラメータ推定部３３の処理のみを説明する。その他の処理部の処理は第１，２実施形態で説明した通りである。
＜ステップＳ３３０＞
初期設定部３３０には周波数別観測信号ｘｆ，ｔが入力される。初期設定部３３０は、周波数別観測信号ｘｆ，ｔを用い、目的信号の推定パワーσｆ，ｔ ２の暫定値である暫定パワーσｆ，ｔ ２を生成して出力する。例えば、初期設定部３３０は、以下に従って暫定パワーσｆ，ｔ ２を生成して出力する。
なお、Ｍ＝１の場合にはσｆ，ｔ ２＝｜ｘｆ，ｔ｜２＝ｘｆ，ｔ Ｈｘｆ，ｔである。
＜ステップＳ３３０＞
初期設定部３３０には周波数別観測信号ｘｆ，ｔが入力される。初期設定部３３０は、周波数別観測信号ｘｆ，ｔを用い、目的信号の推定パワーσｆ，ｔ ２の暫定値である暫定パワーσｆ，ｔ ２を生成して出力する。例えば、初期設定部３３０は、以下に従って暫定パワーσｆ，ｔ ２を生成して出力する。
なお、Ｍ＝１の場合にはσｆ，ｔ ２＝｜ｘｆ，ｔ｜２＝ｘｆ，ｔ Ｈｘｆ，ｔである。
＜ステップＳ３３２＞
残響抑圧フィルタ推定部３３２には、周波数別観測信号ｘｆ，ｔと最新の暫定パワーσｆ，ｔ ２とが入力される。残響抑圧フィルタ推定部３３２は、各周波数帯域において、式（７）のコスト関数Ｃ２（Ｆｆ）を最小化する残響抑圧フィルタＦｆ，ｔをｔ＝ｄ，ｄ＋１，…，ｄ＋Ｌ－１に対して求めて出力する。
残響抑圧フィルタ推定部３３２には、周波数別観測信号ｘｆ，ｔと最新の暫定パワーσｆ，ｔ ２とが入力される。残響抑圧フィルタ推定部３３２は、各周波数帯域において、式（７）のコスト関数Ｃ２（Ｆｆ）を最小化する残響抑圧フィルタＦｆ，ｔをｔ＝ｄ，ｄ＋１，…，ｄ＋Ｌ－１に対して求めて出力する。
＜ステップＳ３３３＞
残響抑圧フィルタ適用部３３３には、周波数別観測信号ｘｆ，ｔとステップＳ３３２で得られた最新の残響抑圧フィルタＦｆ，ｔとが入力される。残響抑圧フィルタ適用部３３３は、各周波数帯域において、周波数別観測信号ｘｆ，ｔに残響抑圧フィルタＦｆ，ｔを適用して推定信号ｙ’ｆ，ｔを得て出力する。例えば、残響抑圧フィルタ適用部３３３は、式（８）に従って得たｚｆ，ｔをｙ’ｆ，ｔとして出力する。
残響抑圧フィルタ適用部３３３には、周波数別観測信号ｘｆ，ｔとステップＳ３３２で得られた最新の残響抑圧フィルタＦｆ，ｔとが入力される。残響抑圧フィルタ適用部３３３は、各周波数帯域において、周波数別観測信号ｘｆ，ｔに残響抑圧フィルタＦｆ，ｔを適用して推定信号ｙ’ｆ，ｔを得て出力する。例えば、残響抑圧フィルタ適用部３３３は、式（８）に従って得たｚｆ，ｔをｙ’ｆ，ｔとして出力する。
＜ステップＳ３３４＞
ステアリングベクトル推定部３３４には、ステップＳ３３３で得られた最新の推定信号ｙ’ｆ，ｔが入力される。ステアリングベクトル推定部３３４は、各周波数帯域において、推定信号ｙ’ｆ，ｔを用い、推定ステアリングベクトルの暫定ベクトルである暫定ステアリングベクトルνｆ，０を得て出力する。例えば、ステアリングベクトル推定部３３４は、非特許文献１，２に記載されたステアリングベクトルの推定方法に従って、推定信号ｙ’ｆ，ｔに対する暫定ステアリングベクトルνｆ，０を得て出力する。例えば、ステアリングベクトル推定部３３４は、非特許文献２のｙｆ，ｔとしてｙ’ｆ，ｔを用いて推定されたステアリングベクトルを暫定ステアリングベクトルνｆ，０として出力する。また前述のように、いずれか一つのマイクロホン番号ｍ０∈｛１，…，Ｍ｝のマイクロホンのゲインが定数ｇとなるように各要素の伝達関数を正規化した正規化ベクトルをνｆ，０としてもよい（式（５））。
ステアリングベクトル推定部３３４には、ステップＳ３３３で得られた最新の推定信号ｙ’ｆ，ｔが入力される。ステアリングベクトル推定部３３４は、各周波数帯域において、推定信号ｙ’ｆ，ｔを用い、推定ステアリングベクトルの暫定ベクトルである暫定ステアリングベクトルνｆ，０を得て出力する。例えば、ステアリングベクトル推定部３３４は、非特許文献１，２に記載されたステアリングベクトルの推定方法に従って、推定信号ｙ’ｆ，ｔに対する暫定ステアリングベクトルνｆ，０を得て出力する。例えば、ステアリングベクトル推定部３３４は、非特許文献２のｙｆ，ｔとしてｙ’ｆ，ｔを用いて推定されたステアリングベクトルを暫定ステアリングベクトルνｆ，０として出力する。また前述のように、いずれか一つのマイクロホン番号ｍ０∈｛１，…，Ｍ｝のマイクロホンのゲインが定数ｇとなるように各要素の伝達関数を正規化した正規化ベクトルをνｆ，０としてもよい（式（５））。
＜ステップＳ３３５＞
瞬時ビームフォーマ推定部３３５には、ステップＳ３３３で得られた最新の推定信号ｙ’ｆ，ｔと、ステップＳ３３４で得られた最新の暫定ステアリングベクトルνｆ，０とが入力される。瞬時ビームフォーマ推定部３３５は、各周波数帯域において、「ｗｆ，０ Ｈνｆ，０が定数となる」との拘束条件のもとで、式（２）においてｘｆ，ｔ＝ｙ’ｆ，ｔした以下の式（１８）のＣ１（ｗｆ，０）を最小化する瞬時ビームフォーマｗｆ，０を得て出力する。
瞬時ビームフォーマ推定部３３５には、ステップＳ３３３で得られた最新の推定信号ｙ’ｆ，ｔと、ステップＳ３３４で得られた最新の暫定ステアリングベクトルνｆ，０とが入力される。瞬時ビームフォーマ推定部３３５は、各周波数帯域において、「ｗｆ，０ Ｈνｆ，０が定数となる」との拘束条件のもとで、式（２）においてｘｆ，ｔ＝ｙ’ｆ，ｔした以下の式（１８）のＣ１（ｗｆ，０）を最小化する瞬時ビームフォーマｗｆ，０を得て出力する。
＜ステップＳ３３６＞
瞬時ビームフォーマ適用部３３６には、ステップＳ３３３で得られた最新の推定信号ｙ’ｆ，ｔと、ステップＳ３３５で得られた最新の瞬時ビームフォーマｗｆ，０とが入力される。瞬時ビームフォーマ適用部３３６は、各周波数帯域において、瞬時ビームフォーマｗｆ，０を推定信号ｙ’ｆ，ｔに適用して推定信号ｙ”ｆ，ｔを得て出力する。例えば、瞬時ビームフォーマ適用部３３６は、以下のように推定信号ｙ”ｆ，ｔを得て出力する。
瞬時ビームフォーマ適用部３３６には、ステップＳ３３３で得られた最新の推定信号ｙ’ｆ，ｔと、ステップＳ３３５で得られた最新の瞬時ビームフォーマｗｆ，０とが入力される。瞬時ビームフォーマ適用部３３６は、各周波数帯域において、瞬時ビームフォーマｗｆ，０を推定信号ｙ’ｆ，ｔに適用して推定信号ｙ”ｆ，ｔを得て出力する。例えば、瞬時ビームフォーマ適用部３３６は、以下のように推定信号ｙ”ｆ，ｔを得て出力する。
＜ステップＳ３３１＞
パワー推定部３３１には、ステップＳ３３６で得られた最新の推定信号ｙ”ｆ，ｔが入力される。パワー推定部３３１は、各周波数帯域において、推定信号ｙ”ｆ，ｔのパワーを暫定パワーσｆ，ｔ ２として出力する。例えば、パワー推定部３３１は、以下に従って暫定パワーσｆ，ｔ ２を生成して出力する。
σｆ，ｔ ２＝｜ｙ”ｆ，ｔ｜２＝ｙ”ｆ，ｔ Ｈｙ”ｆ，ｔ （２０）
パワー推定部３３１には、ステップＳ３３６で得られた最新の推定信号ｙ”ｆ，ｔが入力される。パワー推定部３３１は、各周波数帯域において、推定信号ｙ”ｆ，ｔのパワーを暫定パワーσｆ，ｔ ２として出力する。例えば、パワー推定部３３１は、以下に従って暫定パワーσｆ，ｔ ２を生成して出力する。
σｆ，ｔ ２＝｜ｙ”ｆ，ｔ｜２＝ｙ”ｆ，ｔ Ｈｙ”ｆ，ｔ （２０）
＜ステップＳ３３７ａ＞
制御部３３７は終了条件を満たした否かを判定する。終了条件に限定はないが、例えば、ステップＳ３３１－Ｓ３３６の処理の繰り返し回数が所定値を超えたこと、ステップＳ３３１－Ｓ３３６の処理を１回行った前後でのσｆ，ｔ ２またはνｆ，０の変化量が所定値以下であることなどである。終了条件を満たしていない場合には、ステップＳ３３２の処理に戻る。一方、終了条件を満たした場合にはステップＳ３３７ｂに進む。
制御部３３７は終了条件を満たした否かを判定する。終了条件に限定はないが、例えば、ステップＳ３３１－Ｓ３３６の処理の繰り返し回数が所定値を超えたこと、ステップＳ３３１－Ｓ３３６の処理を１回行った前後でのσｆ，ｔ ２またはνｆ，０の変化量が所定値以下であることなどである。終了条件を満たしていない場合には、ステップＳ３３２の処理に戻る。一方、終了条件を満たした場合にはステップＳ３３７ｂに進む。
＜ステップＳ３３７ｂ＞
ステップＳ３３７ｂでは、パワー推定部３３１がステップＳ３３１で得た最新のσｆ，ｔ ２を目的信号の推定パワーとして出力し、ステアリングベクトル推定部３３４がステップＳ３３４で得た最新のνｆ，０を推定ステアリングベクトルとして出力する。図３に例示するように、推定パワーσｆ，ｔ ２は行列推定部２１１に入力され、推定ステアリングベクトルνｆ，０が畳み込みビームフォーマ推定部２１２に入力される。
ステップＳ３３７ｂでは、パワー推定部３３１がステップＳ３３１で得た最新のσｆ，ｔ ２を目的信号の推定パワーとして出力し、ステアリングベクトル推定部３３４がステップＳ３３４で得た最新のνｆ，０を推定ステアリングベクトルとして出力する。図３に例示するように、推定パワーσｆ，ｔ ２は行列推定部２１１に入力され、推定ステアリングベクトルνｆ，０が畳み込みビームフォーマ推定部２１２に入力される。
［第４実施形態］
上述のようにステアリングベクトルは周波数別観測信号ｘｆ，ｔに基づいて推定されるが、周波数別観測信号ｘｆ，ｔの残響を抑圧してから（好ましくは、残響を除去してから）ステアリングベクトルの推定を行うとその推定精度が向上する。すなわち、周波数別観測信号ｘｆ，ｔから残響成分を抑圧した周波数別残響抑圧信号を得、当該周波数別残響抑圧信号から推定ステアリングベクトルを得ることで推定ステアリングベクトルの精度を向上させることができる。
上述のようにステアリングベクトルは周波数別観測信号ｘｆ，ｔに基づいて推定されるが、周波数別観測信号ｘｆ，ｔの残響を抑圧してから（好ましくは、残響を除去してから）ステアリングベクトルの推定を行うとその推定精度が向上する。すなわち、周波数別観測信号ｘｆ，ｔから残響成分を抑圧した周波数別残響抑圧信号を得、当該周波数別残響抑圧信号から推定ステアリングベクトルを得ることで推定ステアリングベクトルの精度を向上させることができる。
図６に例示するように、本実施形態の信号処理装置４は推定部２１と抑圧部１２とパラメータ推定部４３とを有する。推定部２１は行列推定部２１１と畳み込みビームフォーマ推定部２１２とを有する。図７に例示するように、パラメータ推定部４３は残響抑圧部４３１とステアリングベクトル推定部４３２とを有する。
第４実施形態の第１から３実施形態からの相違点は、推定ステアリングベクトルを生成する前に周波数別観測信号ｘｆ，ｔから残響成分を抑圧する点である。以下では、推定ステアリングベクトルの生成方法のみを説明する。
＜残響抑圧部４３１の処理（ステップＳ４３１）＞
パラメータ推定部４３（図７）の残響抑圧部４３１には周波数別観測信号ｘｆ，ｔが入力される。残響抑圧部４３１は、周波数別観測信号ｘｆ，ｔから残響成分を抑圧した（好ましくは、周波数別観測信号ｘｆ，ｔから残響成分を除去した）周波数別残響抑圧信号ｕｆ，ｔを得て出力する。周波数別観測信号ｘｆ，ｔから残響成分を抑圧（除去）する方法に限定はない。公知の残響抑圧（除去）方法を利用することができる。例えば、残響抑圧部４３１は、参考文献１に記載された方法を用い、周波数別観測信号ｘｆ，ｔから残響成分を抑圧した周波数別残響抑圧信号ｕｆ，ｔを得て出力する。
参考文献１：Takuya Yoshioka and Tomohiro Nakatani, "Generalization of Multi-Channel Linear Prediction Methods for Blind MIMO Impulse Response Shortening," IEEE Transactions on Audio, Speech, and Language Processing (Volume: 20, Issue: 10 , Dec. 2012)
パラメータ推定部４３（図７）の残響抑圧部４３１には周波数別観測信号ｘｆ，ｔが入力される。残響抑圧部４３１は、周波数別観測信号ｘｆ，ｔから残響成分を抑圧した（好ましくは、周波数別観測信号ｘｆ，ｔから残響成分を除去した）周波数別残響抑圧信号ｕｆ，ｔを得て出力する。周波数別観測信号ｘｆ，ｔから残響成分を抑圧（除去）する方法に限定はない。公知の残響抑圧（除去）方法を利用することができる。例えば、残響抑圧部４３１は、参考文献１に記載された方法を用い、周波数別観測信号ｘｆ，ｔから残響成分を抑圧した周波数別残響抑圧信号ｕｆ，ｔを得て出力する。
参考文献１：Takuya Yoshioka and Tomohiro Nakatani, "Generalization of Multi-Channel Linear Prediction Methods for Blind MIMO Impulse Response Shortening," IEEE Transactions on Audio, Speech, and Language Processing (Volume: 20, Issue: 10 , Dec. 2012)
＜ステアリングベクトル推定部４３２の処理（ステップＳ４３２）＞
残響抑圧部４３１で得られた周波数別残響抑圧信号ｕｆ，ｔはステアリングベクトル推定部４３２に入力される。ステアリングベクトル推定部４３２は、周波数別残響抑圧信号ｕｆ，ｔを入力としてステアリングベクトルの推定ベクトルである推定ステアリングベクトルを生成して出力する。周波数別の時系列信号を入力として推定ステアリングベクトルを得るためのステアリングベクトル推定処理方法は周知である。ステアリングベクトル推定部４３２は、任意のステアリングベクトル推定処理の入力として周波数別残響抑圧信号ｕｆ，ｔを用い、推定ステアリングベクトルνｆ，０を得て出力する。ステアリングベクトル推定処理方法に限定はなく、例えば、上述した非特許文献１，２に記載された方法を用いてもよいし、参考文献２，３等を用いてもよい。
参考文献２：N. Ito, S. Araki, M. Delcroix, and T. Nakatani, “Probabilistic spatial dictionary based online adaptive beamforming for meeting recognition in noisy and reverberant environments,” Proc IEEE ICASSP, pp. 681-685, 2017.
参考文献３：S. Markovich-Golan and S. Gannot, “Performance analysis of the covarience subtraction method for relative transfer function estimation and comparison to the covariance whitening method,” Proc. IEEE ICASSP, pp. 544-548, 2015.
残響抑圧部４３１で得られた周波数別残響抑圧信号ｕｆ，ｔはステアリングベクトル推定部４３２に入力される。ステアリングベクトル推定部４３２は、周波数別残響抑圧信号ｕｆ，ｔを入力としてステアリングベクトルの推定ベクトルである推定ステアリングベクトルを生成して出力する。周波数別の時系列信号を入力として推定ステアリングベクトルを得るためのステアリングベクトル推定処理方法は周知である。ステアリングベクトル推定部４３２は、任意のステアリングベクトル推定処理の入力として周波数別残響抑圧信号ｕｆ，ｔを用い、推定ステアリングベクトルνｆ，０を得て出力する。ステアリングベクトル推定処理方法に限定はなく、例えば、上述した非特許文献１，２に記載された方法を用いてもよいし、参考文献２，３等を用いてもよい。
参考文献２：N. Ito, S. Araki, M. Delcroix, and T. Nakatani, “Probabilistic spatial dictionary based online adaptive beamforming for meeting recognition in noisy and reverberant environments,” Proc IEEE ICASSP, pp. 681-685, 2017.
参考文献３：S. Markovich-Golan and S. Gannot, “Performance analysis of the covarience subtraction method for relative transfer function estimation and comparison to the covariance whitening method,” Proc. IEEE ICASSP, pp. 544-548, 2015.
ステアリングベクトル推定部４３２で得られた推定ステアリングベクトルνｆ，０は、畳み込みビームフォーマ推定部２１２に入力される。畳み込みビームフォーマ推定部２１２は、この推定ステアリングベクトルνｆ，０とステップＳ２１１で得られた重み付き時空間共分散行列Ｒｆとを用い、第２実施形態で説明したステップＳ２１２の処理を行う。その他は、第１，２実施形態で説明した通りである。
［第５実施形態］
第５実施形態ではステアリングベクトルの推定を逐次処理で実行する方法を説明する。これによって、例えば、オンラインで逐次的に入力された周波数別観測信号ｘｆ，ｔから各時間フレーム番号ｔの推定ステアリングベクトルを計算することができる。
第５実施形態ではステアリングベクトルの推定を逐次処理で実行する方法を説明する。これによって、例えば、オンラインで逐次的に入力された周波数別観測信号ｘｆ，ｔから各時間フレーム番号ｔの推定ステアリングベクトルを計算することができる。
図６に例示するように、本実施形態の信号処理装置５は推定部２１と抑圧部１２とパラメータ推定部５３とを有する。推定部２１は行列推定部２１１と畳み込みビームフォーマ推定部２１２とを有する。図７に例示するように、パラメータ推定部５３はステアリングベクトル推定部５３２を有する。図８に例示するように、ステアリングベクトル推定部５３２は、観測信号共分散行列更新部５３２ａと主成分ベクトル更新部５３２ｂとステアリングベクトル更新部５３２ｃ（ステアリングベクトル推定部）と雑音共分散逆行列更新部５３２ｄと雑音共分散行列更新部５３２ｅとを有する。第５実施形態の第１から３実施形態からの相違点は、推定ステアリングベクトルの生成を逐次処理で行う点のみである。以下では推定ステアリングベクトルの生成方法のみを説明する。以下の処理は、ｔ＝１から昇順で各時間フレーム番号ｔについて実行される。
＜ステアリングベクトル推定部５３２の処理（ステップＳ５３２）＞
ステアリングベクトル推定部５３２（図７，図８）には、周波数別の時系列信号である周波数別観測信号ｘｆ，ｔが入力される。
ステアリングベクトル推定部５３２（図７，図８）には、周波数別の時系列信号である周波数別観測信号ｘｆ，ｔが入力される。
≪観測信号共分散行列更新部５３２ａの処理（ステップＳ５３２ａ）≫
観測信号共分散行列更新部５３２ａ（図８）は、周波数別観測信号ｘｆ，ｔを入力とし、周波数別観測信号ｘｆ，ｔ（第１時間区間に属する周波数別観測信号）、および周波数別観測信号ｘｆ，ｔ－１の空間共分散行列Ψｘ，ｆ，ｔ－１（第１時間区間よりも過去の第２時間区間に属する周波数別観測信号の空間共分散行列）に基づく、周波数別観測信号ｘｆ，ｔの空間共分散行列Ψｘ，ｆ，ｔ（第１時間区間に属する周波数別観測信号の空間共分散行列）を得て出力する。例えば、観測信号共分散行列更新部５３２ａは、周波数別観測信号ｘｆ，ｔ（第１時間区間に属する周波数別観測信号）の共分散行列ｘｆ，ｔｘｆ，ｔ Ｈと空間共分散行列Ψｘ，ｆ，ｔ－１（第１時間区間よりも過去の第２時間区間に属する周波数別観測信号の空間共分散行列）との線形和を、周波数別観測信号ｘｆ，ｔの空間共分散行列Ψｘ，ｆ，ｔ（第１時間区間に属する周波数別観測信号の空間共分散行列）として得て出力する。例えば、観測信号共分散行列更新部５３２ａは、以下の式（２１）に従って空間共分散行列Ψｘ，ｆ，ｔを得て出力する。
ここで、βは忘却係数であり、例えば０＜β＜１の範囲に属する実数である。空間共分散行列Ψｘ，ｆ，ｔ－１の初期行列Ψｘ，ｆ，０はどのようなものでもよい。例えば、Ｍ×Ｍ次元の単位行列を空間共分散行列Ψｘ，ｆ，ｔ－１の初期行列Ψｘ，ｆ，０とすることができる。
観測信号共分散行列更新部５３２ａ（図８）は、周波数別観測信号ｘｆ，ｔを入力とし、周波数別観測信号ｘｆ，ｔ（第１時間区間に属する周波数別観測信号）、および周波数別観測信号ｘｆ，ｔ－１の空間共分散行列Ψｘ，ｆ，ｔ－１（第１時間区間よりも過去の第２時間区間に属する周波数別観測信号の空間共分散行列）に基づく、周波数別観測信号ｘｆ，ｔの空間共分散行列Ψｘ，ｆ，ｔ（第１時間区間に属する周波数別観測信号の空間共分散行列）を得て出力する。例えば、観測信号共分散行列更新部５３２ａは、周波数別観測信号ｘｆ，ｔ（第１時間区間に属する周波数別観測信号）の共分散行列ｘｆ，ｔｘｆ，ｔ Ｈと空間共分散行列Ψｘ，ｆ，ｔ－１（第１時間区間よりも過去の第２時間区間に属する周波数別観測信号の空間共分散行列）との線形和を、周波数別観測信号ｘｆ，ｔの空間共分散行列Ψｘ，ｆ，ｔ（第１時間区間に属する周波数別観測信号の空間共分散行列）として得て出力する。例えば、観測信号共分散行列更新部５３２ａは、以下の式（２１）に従って空間共分散行列Ψｘ，ｆ，ｔを得て出力する。
ここで、βは忘却係数であり、例えば０＜β＜１の範囲に属する実数である。空間共分散行列Ψｘ，ｆ，ｔ－１の初期行列Ψｘ，ｆ，０はどのようなものでもよい。例えば、Ｍ×Ｍ次元の単位行列を空間共分散行列Ψｘ，ｆ，ｔ－１の初期行列Ψｘ，ｆ，０とすることができる。
＜雑音共分散逆行列更新部５３２ｄの処理（ステップＳ５３２ｄ）＞
雑音共分散逆行列更新部５３２ｄには、周波数別観測信号ｘｆ，ｔおよびマスク情報γｆ，ｔ （ｎ）が入力される。マスク情報γｆ，ｔ （ｎ）は、時間フレーム番号ｔおよび周波数帯域番号ｆに対応する時間周波数点において、周波数別観測信号ｘｆ，ｔに含まれる雑音成分の割合を表す情報である。言い換えると、マスク情報γｆ，ｔ （ｎ）は、時間フレーム番号ｔおよび周波数帯域番号ｆに対応する時間周波数点で、周波数別観測信号ｘｆ，ｔに含まれる雑音成分の占有確率を表す。マスク情報γｆ，ｔ （ｎ）の推定方法に限定はない。マスク情報γｆ，ｔ （ｎ）の推定方法は周知であり、例えば、complex Gaussian mixture model (CGMM)を用いる推定方法（例えば、参考文献４）、ニューラルネットワークを用いる推定方法（例えば、参考文献５）、およびそれらを結合した推定方法（例えば、参考文献６、参考文献７）などが知られている。
参考文献４：T. Higuchi, N. Ito, T. Yoshioka, and T. Nakatani, "Robust MVDR beamforming using time-frequency masks for online/offline ASR in noise," Proc. IEEE ICASSP-2016, pp. 5210-5214, 2016．
参考文献５：J. Heymann, L. Drude, and R. Haeb-Umbach, "Neural network based spectral mask estimation for acoustic beamforming," Proc. IEEE ICASSP-2016, pp. 196-200, 2016.
参考文献６：T. Nakatani, N. Ito, T. Higuchi, S. Araki, and K. Kinoshita, "Integrating DNN-based and spatial clustering-based mask estimation for robust MVDR beamforming," Proc. IEEE ICASSP-2017, pp. 286-290, 2017.
参考文献７：Y. Matsui, T. Nakatani, M. Delcroix, K. Kinoshita, S. Araki, and S. Makino, "Online integration of DNN-based and spatial clustering-based mask estimation for robust MVDR beamforming," Proc. IWAENC, pp. 71-75, 2018.
マスク情報γｆ，ｔ （ｎ）は、事前に推定されて図示していない記憶装置に格納されたものであってもよいし、逐次的に推定されるものであってもよい。なお、「γｆ，ｔ （ｎ）」の右上添字の「（ｎ）」は本来右下添字の「ｆ，ｔ」の真上に記載すべきであるが、記載表記の制約上、「ｆ，ｔ」の右上に記載してある。
雑音共分散逆行列更新部５３２ｄには、周波数別観測信号ｘｆ，ｔおよびマスク情報γｆ，ｔ （ｎ）が入力される。マスク情報γｆ，ｔ （ｎ）は、時間フレーム番号ｔおよび周波数帯域番号ｆに対応する時間周波数点において、周波数別観測信号ｘｆ，ｔに含まれる雑音成分の割合を表す情報である。言い換えると、マスク情報γｆ，ｔ （ｎ）は、時間フレーム番号ｔおよび周波数帯域番号ｆに対応する時間周波数点で、周波数別観測信号ｘｆ，ｔに含まれる雑音成分の占有確率を表す。マスク情報γｆ，ｔ （ｎ）の推定方法に限定はない。マスク情報γｆ，ｔ （ｎ）の推定方法は周知であり、例えば、complex Gaussian mixture model (CGMM)を用いる推定方法（例えば、参考文献４）、ニューラルネットワークを用いる推定方法（例えば、参考文献５）、およびそれらを結合した推定方法（例えば、参考文献６、参考文献７）などが知られている。
参考文献４：T. Higuchi, N. Ito, T. Yoshioka, and T. Nakatani, "Robust MVDR beamforming using time-frequency masks for online/offline ASR in noise," Proc. IEEE ICASSP-2016, pp. 5210-5214, 2016．
参考文献５：J. Heymann, L. Drude, and R. Haeb-Umbach, "Neural network based spectral mask estimation for acoustic beamforming," Proc. IEEE ICASSP-2016, pp. 196-200, 2016.
参考文献６：T. Nakatani, N. Ito, T. Higuchi, S. Araki, and K. Kinoshita, "Integrating DNN-based and spatial clustering-based mask estimation for robust MVDR beamforming," Proc. IEEE ICASSP-2017, pp. 286-290, 2017.
参考文献７：Y. Matsui, T. Nakatani, M. Delcroix, K. Kinoshita, S. Araki, and S. Makino, "Online integration of DNN-based and spatial clustering-based mask estimation for robust MVDR beamforming," Proc. IWAENC, pp. 71-75, 2018.
マスク情報γｆ，ｔ （ｎ）は、事前に推定されて図示していない記憶装置に格納されたものであってもよいし、逐次的に推定されるものであってもよい。なお、「γｆ，ｔ （ｎ）」の右上添字の「（ｎ）」は本来右下添字の「ｆ，ｔ」の真上に記載すべきであるが、記載表記の制約上、「ｆ，ｔ」の右上に記載してある。
雑音共分散逆行列更新部５３２ｄは、周波数別観測信号ｘｆ，ｔ（第１時間区間に属する周波数別観測信号）、マスク情報γｆ，ｔ
（ｎ）（第１時間区間に属するマスク情報）、および雑音共分散逆行列Ψ－１
ｎ，ｆ，ｔ－１（第１時間区間よりも過去の第２時間区間に属する周波数別観測信号の雑音共分散逆行列）に基づき、雑音共分散逆行列Ψ－１
ｎ，ｆ，ｔ（第１時間区間に属する周波数別観測信号の雑音共分散逆行列）を得て出力する。例えば、雑音共分散逆行列更新部５３２ｄは、Woodburyの公式を用い、以下の式（２２）に従って雑音共分散逆行列Ψ－１
ｎ，ｆ，ｔを得て出力する。
ここで、αは忘却係数であり、例えば０＜α＜１の範囲に属する実数である。雑音共分散逆行列Ψ－１ ｎ，ｆ，ｔ－１の初期行列Ψ－１ ｎ，ｆ，０はどのようなものでもよい。例えば、Ｍ×Ｍ次元の単位行列を雑音共分散逆行列Ψ－１ ｎ，ｆ，ｔ－１の初期行列Ψ－１ ｎ，ｆ，０とすることができる。なお、「Ψ－１ ｎ，ｆ，ｔ」の右上添字の「－１」は本来右下添字の「ｎ，ｆ，ｔ」の真上に記載すべきであるが、記載表記の制約上、「ｎ，ｆ，ｔ」の左上に記載してある。
ここで、αは忘却係数であり、例えば０＜α＜１の範囲に属する実数である。雑音共分散逆行列Ψ－１ ｎ，ｆ，ｔ－１の初期行列Ψ－１ ｎ，ｆ，０はどのようなものでもよい。例えば、Ｍ×Ｍ次元の単位行列を雑音共分散逆行列Ψ－１ ｎ，ｆ，ｔ－１の初期行列Ψ－１ ｎ，ｆ，０とすることができる。なお、「Ψ－１ ｎ，ｆ，ｔ」の右上添字の「－１」は本来右下添字の「ｎ，ｆ，ｔ」の真上に記載すべきであるが、記載表記の制約上、「ｎ，ｆ，ｔ」の左上に記載してある。
＜主成分ベクトル更新部５３２ｂの処理（ステップＳ５３２ｂ）＞
主成分ベクトル更新部５３２ｂには、観測信号共分散行列更新部５３２ａで得られた空間共分散行列Ψｘ，ｆ，ｔ、および雑音共分散逆行列更新部５３２ｄで得られた雑音共分散逆行列Ψ－１ ｎ，ｆ，ｔが入力される。主成分ベクトル更新部５３２ｂは、雑音共分散逆行列Ψ－１ ｎ，ｆ，ｔ（周波数別観測信号の雑音共分散行列の逆行列）、空間共分散行列Ψｘ，ｆ，ｔ（第１時間区間に属する周波数別観測信号の空間共分散行列）、および主成分ベクトルｖ～ ｆ，ｔ－１（第２時間区間の主成分ベクトル）に基づき、パワー法によってΨ－１ ｎ，ｆ，ｔΨｘ，ｆ，ｔ（周波数別観測信号の雑音共分散行列の逆行列と、第１時間区間に属する周波数別観測信号の空間共分散行列と、の積）に対する主成分ベクトルｖ～ ｆ，ｔ（第１時間区間の主成分ベクトル）を得て出力する。例えば、主成分ベクトル更新部５３２ｂは、Ψ－１ ｎ，ｆ，ｔΨｘ，ｆ，ｔｖ～ ｆ，ｔ－１に基づく主成分ベクトルｖ～ ｆ，ｔを得て出力する。例えば、主成分ベクトル更新部５３２ｂは、以下の式（２３）（２４）に従って主成分ベクトルｖ～ ｆ，ｔを得て出力する。なお、「ｖ～ ｆ，ｔ」の右上添字の「～」は本来右下添字の「ｖ」の真上に記載すべきであるが、記載表記の制約上、「ｖ」の右上に記載している。
ここでｖ～ ｆ，ｔ ｒｅｆは、式（２３）で得られるベクトルｖ～’ｆ，ｔのＭ個の要素のうち、基準とする所定のマイクロホン（参照マイクロホンｒｅｆ）に対応する要素を表す。すなわち、式（２３）（２４）の例では、主成分ベクトル更新部５３２ｂは、ｖ～’ｆ，ｔ＝Ψ－１ ｎ，ｆ，ｔΨｘ，ｆ，ｔｖ～ ｆ，ｔ－１の各要素をｖ～ ｆ，ｔ ｒｅｆで正規化したものを主成分ベクトルｖ～ ｆ，ｔとしている。なお、「ｖ～’ｆ，ｔ」の右上添字の「～」は本来右下添字の「ｖ」の真上に記載すべきであるが、記載表記の制約上、「ｖ」の右上に記載している。
主成分ベクトル更新部５３２ｂには、観測信号共分散行列更新部５３２ａで得られた空間共分散行列Ψｘ，ｆ，ｔ、および雑音共分散逆行列更新部５３２ｄで得られた雑音共分散逆行列Ψ－１ ｎ，ｆ，ｔが入力される。主成分ベクトル更新部５３２ｂは、雑音共分散逆行列Ψ－１ ｎ，ｆ，ｔ（周波数別観測信号の雑音共分散行列の逆行列）、空間共分散行列Ψｘ，ｆ，ｔ（第１時間区間に属する周波数別観測信号の空間共分散行列）、および主成分ベクトルｖ～ ｆ，ｔ－１（第２時間区間の主成分ベクトル）に基づき、パワー法によってΨ－１ ｎ，ｆ，ｔΨｘ，ｆ，ｔ（周波数別観測信号の雑音共分散行列の逆行列と、第１時間区間に属する周波数別観測信号の空間共分散行列と、の積）に対する主成分ベクトルｖ～ ｆ，ｔ（第１時間区間の主成分ベクトル）を得て出力する。例えば、主成分ベクトル更新部５３２ｂは、Ψ－１ ｎ，ｆ，ｔΨｘ，ｆ，ｔｖ～ ｆ，ｔ－１に基づく主成分ベクトルｖ～ ｆ，ｔを得て出力する。例えば、主成分ベクトル更新部５３２ｂは、以下の式（２３）（２４）に従って主成分ベクトルｖ～ ｆ，ｔを得て出力する。なお、「ｖ～ ｆ，ｔ」の右上添字の「～」は本来右下添字の「ｖ」の真上に記載すべきであるが、記載表記の制約上、「ｖ」の右上に記載している。
ここでｖ～ ｆ，ｔ ｒｅｆは、式（２３）で得られるベクトルｖ～’ｆ，ｔのＭ個の要素のうち、基準とする所定のマイクロホン（参照マイクロホンｒｅｆ）に対応する要素を表す。すなわち、式（２３）（２４）の例では、主成分ベクトル更新部５３２ｂは、ｖ～’ｆ，ｔ＝Ψ－１ ｎ，ｆ，ｔΨｘ，ｆ，ｔｖ～ ｆ，ｔ－１の各要素をｖ～ ｆ，ｔ ｒｅｆで正規化したものを主成分ベクトルｖ～ ｆ，ｔとしている。なお、「ｖ～’ｆ，ｔ」の右上添字の「～」は本来右下添字の「ｖ」の真上に記載すべきであるが、記載表記の制約上、「ｖ」の右上に記載している。
＜雑音共分散行列更新部５３２ｅ（ステップＳ５３２ｅ）＞
雑音共分散行列更新部５３２ｅは、周波数別観測信号ｘｆ，ｔ（第１時間区間に属する周波数別観測信号）、およびマスク情報γｆ，ｔ （ｎ）（第１時間区間に属するマスク情報）を入力とし、周波数別観測信号ｘｆ，ｔ、マスク情報γｆ，ｔ （ｎ）、および雑音共分散行列Ψｎ，ｆ，ｔ－１（第１時間区間よりも過去の第２時間区間に属する周波数別観測信号の雑音共分散行列）に基づく、周波数別観測信号ｘｆ，ｔの雑音共分散行列Ψｎ，ｆ，ｔ（第１時間区間に属する周波数別観測信号の雑音共分散行列）を得て出力する。例えば、雑音共分散行列更新部５３２ｅは、周波数別観測信号ｘｆ，ｔの共分散行列ｘｆ，ｔｘｆ，ｔ Ｈとマスク情報γｆ，ｔ （ｎ）との積γｆ，ｔ （ｎ）ｘｆ，ｔｘｆ，ｔ Ｈと雑音共分散行列Ψｎ，ｆ，ｔ－１（第１時間区間よりも過去の第２時間区間に属する周波数別観測信号の雑音共分散行列）との線形和を、周波数別観測信号ｘｆ，ｔの雑音共分散行列Ψｎ，ｆ，ｔとして得て出力する。例えば、雑音共分散行列更新部５３２ｅは、以下の式（２５）に従って雑音共分散行列Ψｎ，ｆ，ｔを得て出力する。
ここでαは忘却係数であり、例えば０＜α＜１の範囲に属する実数である。
雑音共分散行列更新部５３２ｅは、周波数別観測信号ｘｆ，ｔ（第１時間区間に属する周波数別観測信号）、およびマスク情報γｆ，ｔ （ｎ）（第１時間区間に属するマスク情報）を入力とし、周波数別観測信号ｘｆ，ｔ、マスク情報γｆ，ｔ （ｎ）、および雑音共分散行列Ψｎ，ｆ，ｔ－１（第１時間区間よりも過去の第２時間区間に属する周波数別観測信号の雑音共分散行列）に基づく、周波数別観測信号ｘｆ，ｔの雑音共分散行列Ψｎ，ｆ，ｔ（第１時間区間に属する周波数別観測信号の雑音共分散行列）を得て出力する。例えば、雑音共分散行列更新部５３２ｅは、周波数別観測信号ｘｆ，ｔの共分散行列ｘｆ，ｔｘｆ，ｔ Ｈとマスク情報γｆ，ｔ （ｎ）との積γｆ，ｔ （ｎ）ｘｆ，ｔｘｆ，ｔ Ｈと雑音共分散行列Ψｎ，ｆ，ｔ－１（第１時間区間よりも過去の第２時間区間に属する周波数別観測信号の雑音共分散行列）との線形和を、周波数別観測信号ｘｆ，ｔの雑音共分散行列Ψｎ，ｆ，ｔとして得て出力する。例えば、雑音共分散行列更新部５３２ｅは、以下の式（２５）に従って雑音共分散行列Ψｎ，ｆ，ｔを得て出力する。
ここでαは忘却係数であり、例えば０＜α＜１の範囲に属する実数である。
＜ステアリングベクトル更新部５３２ｃ（ステップＳ５３２ｃ）＞
ステアリングベクトル更新部５３２ｃは、主成分ベクトル更新部５３２ｂで得られた主成分ベクトルｖ～ ｆ，ｔ（第１時間区間の主成分ベクトル）、および雑音共分散行列更新部５３２ｅで得られた雑音共分散行列Ψｎ，ｆ，ｔ（周波数別観測信号の雑音共分散行列）を入力とし、これらに基づき、推定ステアリングベクトルνｆ，ｔ（第１時間区間の推定ステアリングベクトル）を得て出力する。例えば、ステアリングベクトル更新部５３２ｃは、Ψｎ，ｆ，ｔｖ～ ｆ，ｔに基づく推定ステアリングベクトルνｆ，ｔを得て出力する。例えば、ステアリングベクトル更新部５３２ｃは、以下の式（２６）（２７）に従って推定ステアリングベクトルνｆ，ｔを得て出力する。
ここでｖｆ，ｔ ｒｅｆは、式（２６）で得られるベクトルｖ’ｆ，ｔのＭ個の要素のうち、参照マイクロホンｒｅｆに対応する要素を表す。すなわち、式（２６）（２７）の例では、ステアリングベクトル更新部５３２ｃは、ｖ’ｆ，ｔ＝Ψｎ，ｆ，ｔｖ～ ｆ，ｔの各要素をｖｆ，ｔ ｒｅｆで正規化したものを推定ステアリングベクトルνｆ，ｔとしている。
ステアリングベクトル更新部５３２ｃは、主成分ベクトル更新部５３２ｂで得られた主成分ベクトルｖ～ ｆ，ｔ（第１時間区間の主成分ベクトル）、および雑音共分散行列更新部５３２ｅで得られた雑音共分散行列Ψｎ，ｆ，ｔ（周波数別観測信号の雑音共分散行列）を入力とし、これらに基づき、推定ステアリングベクトルνｆ，ｔ（第１時間区間の推定ステアリングベクトル）を得て出力する。例えば、ステアリングベクトル更新部５３２ｃは、Ψｎ，ｆ，ｔｖ～ ｆ，ｔに基づく推定ステアリングベクトルνｆ，ｔを得て出力する。例えば、ステアリングベクトル更新部５３２ｃは、以下の式（２６）（２７）に従って推定ステアリングベクトルνｆ，ｔを得て出力する。
ここでｖｆ，ｔ ｒｅｆは、式（２６）で得られるベクトルｖ’ｆ，ｔのＭ個の要素のうち、参照マイクロホンｒｅｆに対応する要素を表す。すなわち、式（２６）（２７）の例では、ステアリングベクトル更新部５３２ｃは、ｖ’ｆ，ｔ＝Ψｎ，ｆ，ｔｖ～ ｆ，ｔの各要素をｖｆ，ｔ ｒｅｆで正規化したものを推定ステアリングベクトルνｆ，ｔとしている。
ステアリングベクトル推定部５３２で得られた推定ステアリングベクトルνｆ，ｔは、畳み込みビームフォーマ推定部２１２に入力される。畳み込みビームフォーマ推定部２１２は、この推定ステアリングベクトルνｆ，ｔをνｆ，０として扱い、推定ステアリングベクトルνｆ，ｔとステップＳ２１１で得られた重み付き時空間共分散行列Ｒｆとを用い、第２実施形態で説明したステップＳ２１２の処理を行う。その他は、第１，２実施形態で説明した通りである。また行列推定部２１１に入力されるσｆ，ｔ
２としては、例えば式（１７）のように生成された暫定パワーが用いられてもよいし、第３実施形態で説明したように生成された推定パワーσｆ，ｔ
２が用いられてもよい。
［第５実施形態の変形例１］
第５実施形態のステップＳ５３２ｄでは、雑音共分散逆行列更新部５３２ｄが周波数別観測信号ｘｆ，ｔおよびマスク情報γｆ，ｔ （ｎ）を用いて、時間フレーム番号ｔに対応する各時点において雑音共分散逆行列Ψ－１ ｎ，ｆ，ｔを適応更新した。しかしながら、雑音共分散逆行列更新部５３２ｄが、マスク情報γｆ，ｔ （ｎ）を用いることなく、雑音成分のみ存在するか雑音成分が支配的な時間区間の周波数別観測信号ｘｆ，ｔを用いて雑音共分散逆行列Ψ－１ ｎ，ｆ，ｔを得て出力してもよい。例えば、雑音共分散逆行列更新部５３２ｄが、雑音成分のみ存在するか雑音成分が支配的な時間区間の周波数別観測信号ｘｆ，ｔに対するｘｆ，ｔｘｆ，ｔ Ｈの時間平均の逆行列を雑音共分散逆行列Ψ－１ ｎ，ｆ，ｔとして出力してもよい。このように得られた雑音共分散逆行列Ψ－１ ｎ，ｆ，ｔは、各時間フレーム番号ｔのフレームにおいて継続的に使用される。
第５実施形態のステップＳ５３２ｄでは、雑音共分散逆行列更新部５３２ｄが周波数別観測信号ｘｆ，ｔおよびマスク情報γｆ，ｔ （ｎ）を用いて、時間フレーム番号ｔに対応する各時点において雑音共分散逆行列Ψ－１ ｎ，ｆ，ｔを適応更新した。しかしながら、雑音共分散逆行列更新部５３２ｄが、マスク情報γｆ，ｔ （ｎ）を用いることなく、雑音成分のみ存在するか雑音成分が支配的な時間区間の周波数別観測信号ｘｆ，ｔを用いて雑音共分散逆行列Ψ－１ ｎ，ｆ，ｔを得て出力してもよい。例えば、雑音共分散逆行列更新部５３２ｄが、雑音成分のみ存在するか雑音成分が支配的な時間区間の周波数別観測信号ｘｆ，ｔに対するｘｆ，ｔｘｆ，ｔ Ｈの時間平均の逆行列を雑音共分散逆行列Ψ－１ ｎ，ｆ，ｔとして出力してもよい。このように得られた雑音共分散逆行列Ψ－１ ｎ，ｆ，ｔは、各時間フレーム番号ｔのフレームにおいて継続的に使用される。
第５実施形態のステップＳ５３２ｅで、雑音共分散行列更新部５３２ｅが、マスク情報γｆ，ｔ
（ｎ）を用いることなく、雑音成分のみ存在するか雑音成分が支配的な時間区間の周波数別観測信号ｘｆ，ｔを用いて周波数別観測信号ｘｆ，ｔの雑音共分散行列Ψｎ，ｆ，ｔを得て出力してもよい。例えば、雑音共分散行列更新部５３２ｅが、雑音成分のみ存在するか雑音成分が支配的な時間区間の周波数別観測信号ｘｆ，ｔに対するｘｆ，ｔｘｆ，ｔ
Ｈの時間平均を雑音共分散行列Ψｎ，ｆ，ｔとして出力してもよい。このように得られた雑音共分散行列Ψｎ，ｆ，ｔは、各時間フレーム番号ｔのフレームにおいて継続的に使用される。
［第５実施形態の変形例２］
第５実施形態およびその変形例では、第１時間区間が時間フレーム番号ｔのフレームであり、第２時間区間が時間フレーム番号ｔ－１のフレームである場合を例にとったが、これは本発明を限定するものではない。時間フレーム番号ｔ以外の時間フレーム番号のフレームを第１時間区間としてもよい。時間フレーム番号ｔ－１以外の第１時間区間よりも過去の時間フレームを第２時間区間としてもよい。
第５実施形態およびその変形例では、第１時間区間が時間フレーム番号ｔのフレームであり、第２時間区間が時間フレーム番号ｔ－１のフレームである場合を例にとったが、これは本発明を限定するものではない。時間フレーム番号ｔ以外の時間フレーム番号のフレームを第１時間区間としてもよい。時間フレーム番号ｔ－１以外の第１時間区間よりも過去の時間フレームを第２時間区間としてもよい。
［第６実施形態］
第５実施形態では、ステアリングベクトル推定部５３２が周波数別観測信号ｘｆ，ｔを入力とし、逐次処理で推定ステアリングベクトルνｆ，ｔを得て出力する。しかしながら、第４実施形態で説明したように、周波数別観測信号ｘｆ，ｔの残響を抑圧してからステアリングベクトルの推定を行うとその推定精度が向上する。第６実施形態では、周波数別観測信号ｘｆ，ｔの残響を抑圧してから、ステアリングベクトル推定部が第５実施形態で説明したように逐次処理で推定ステアリングベクトルνｆ，ｔを得て出力する例を説明する。
第５実施形態では、ステアリングベクトル推定部５３２が周波数別観測信号ｘｆ，ｔを入力とし、逐次処理で推定ステアリングベクトルνｆ，ｔを得て出力する。しかしながら、第４実施形態で説明したように、周波数別観測信号ｘｆ，ｔの残響を抑圧してからステアリングベクトルの推定を行うとその推定精度が向上する。第６実施形態では、周波数別観測信号ｘｆ，ｔの残響を抑圧してから、ステアリングベクトル推定部が第５実施形態で説明したように逐次処理で推定ステアリングベクトルνｆ，ｔを得て出力する例を説明する。
図６に例示するように、本実施形態の信号処理装置６は推定部２１と抑圧部１２とパラメータ推定部６３とを有する。図７に例示するように、パラメータ推定部６３は残響抑圧部４３１とステアリングベクトル推定部６３２とを有する。第６実施形態の第５実施形態からの相違点は、推定ステアリングベクトルを生成する前に周波数別観測信号ｘｆ，ｔから残響成分を抑圧する点である。以下では、推定ステアリングベクトルの生成方法のみを説明する。
＜残響抑圧部４３１の処理（ステップＳ４３１）＞
残響抑圧部４３１（図７）は、第４実施形態で説明したように、周波数別観測信号ｘｆ，ｔから残響成分を抑圧した（好ましくは、周波数別観測信号ｘｆ，ｔから残響成分を除去した）周波数別残響抑圧信号ｕｆ，ｔを得て出力する。
残響抑圧部４３１（図７）は、第４実施形態で説明したように、周波数別観測信号ｘｆ，ｔから残響成分を抑圧した（好ましくは、周波数別観測信号ｘｆ，ｔから残響成分を除去した）周波数別残響抑圧信号ｕｆ，ｔを得て出力する。
＜ステアリングベクトル推定部６３２の処理（ステップＳ６３２）＞
周波数別残響抑圧信号ｕｆ，ｔはステアリングベクトル推定部６３２に入力される。ステアリングベクトル推定部６３２の処理は、周波数別観測信号ｘｆ，ｔに代えて周波数別残響抑圧信号ｕｆ，ｔがステアリングベクトル推定部６３２に入力され、ステアリングベクトル推定部６３２が周波数別観測信号ｘｆ，ｔに代えて周波数別残響抑圧信号ｕｆ，ｔを使用することを除き、第５実施形態のステアリングベクトル推定部５３２の処理と同じである。すなわち、ステアリングベクトル推定部６３２の処理は、ステアリングベクトル推定部５３２の処理における周波数別観測信号ｘｆ，ｔを周波数別残響抑圧信号ｕｆ，ｔに置換したものである。その他は第５実施形態およびその変形例と同じである。つまり、ステアリングベクトル推定部６３２には、周波数別の時系列信号である周波数別残響抑圧信号ｕｆ，ｔが入力される。観測信号共分散行列更新部５３２ａは、第１時間区間に属する周波数別残響抑圧信号ｕｆ，ｔ、および第１時間区間よりも過去の第２時間区間に属する周波数別残響抑圧信号ｕｆ，ｔ－１の空間共分散行列Ψｘ，ｆ，ｔ－１に基づく、第１時間区間に属する周波数別残響抑圧信号ｕｆ，ｔの空間共分散行列Ψｘ，ｆ，ｔを得て出力する。主成分ベクトル更新部５３２ｂは、周波数別残響抑圧信号ｕｆ，ｔの雑音共分散行列の逆行列Ψ－１ ｎ，ｆ，ｔ、第１時間区間に属する周波数別残響抑圧信号の空間共分散行列Ψｘ，ｆ，ｔ、および第２時間区間の主成分ベクトルｖ～ ｆ，ｔ－１に基づき、周波数別残響抑圧信号の雑音共分散行列の逆行列Ψ－１ ｎ，ｆ，ｔと、第１時間区間に属する周波数別残響抑圧信号の空間共分散行列Ψｘ，ｆ，ｔと、の積Ψ－１ ｎ，ｆ，ｔΨｘ，ｆ，ｔに対する第１時間区間の主成分ベクトルｖ～ ｆ，ｔを得て出力する。ステアリングベクトル更新部５３２ｃは、周波数別残響抑圧信号ｕｆ，ｔの雑音共分散行列と第１時間区間の主成分ベクトルｖ～ ｆ，ｔとに基づき、第１時間区間の推定ステアリングベクトルνｆ，ｔを得て出力する。
周波数別残響抑圧信号ｕｆ，ｔはステアリングベクトル推定部６３２に入力される。ステアリングベクトル推定部６３２の処理は、周波数別観測信号ｘｆ，ｔに代えて周波数別残響抑圧信号ｕｆ，ｔがステアリングベクトル推定部６３２に入力され、ステアリングベクトル推定部６３２が周波数別観測信号ｘｆ，ｔに代えて周波数別残響抑圧信号ｕｆ，ｔを使用することを除き、第５実施形態のステアリングベクトル推定部５３２の処理と同じである。すなわち、ステアリングベクトル推定部６３２の処理は、ステアリングベクトル推定部５３２の処理における周波数別観測信号ｘｆ，ｔを周波数別残響抑圧信号ｕｆ，ｔに置換したものである。その他は第５実施形態およびその変形例と同じである。つまり、ステアリングベクトル推定部６３２には、周波数別の時系列信号である周波数別残響抑圧信号ｕｆ，ｔが入力される。観測信号共分散行列更新部５３２ａは、第１時間区間に属する周波数別残響抑圧信号ｕｆ，ｔ、および第１時間区間よりも過去の第２時間区間に属する周波数別残響抑圧信号ｕｆ，ｔ－１の空間共分散行列Ψｘ，ｆ，ｔ－１に基づく、第１時間区間に属する周波数別残響抑圧信号ｕｆ，ｔの空間共分散行列Ψｘ，ｆ，ｔを得て出力する。主成分ベクトル更新部５３２ｂは、周波数別残響抑圧信号ｕｆ，ｔの雑音共分散行列の逆行列Ψ－１ ｎ，ｆ，ｔ、第１時間区間に属する周波数別残響抑圧信号の空間共分散行列Ψｘ，ｆ，ｔ、および第２時間区間の主成分ベクトルｖ～ ｆ，ｔ－１に基づき、周波数別残響抑圧信号の雑音共分散行列の逆行列Ψ－１ ｎ，ｆ，ｔと、第１時間区間に属する周波数別残響抑圧信号の空間共分散行列Ψｘ，ｆ，ｔと、の積Ψ－１ ｎ，ｆ，ｔΨｘ，ｆ，ｔに対する第１時間区間の主成分ベクトルｖ～ ｆ，ｔを得て出力する。ステアリングベクトル更新部５３２ｃは、周波数別残響抑圧信号ｕｆ，ｔの雑音共分散行列と第１時間区間の主成分ベクトルｖ～ ｆ，ｔとに基づき、第１時間区間の推定ステアリングベクトルνｆ，ｔを得て出力する。
［第７実施形態］
第７実施形態では、畳み込みビームフォーマの推定を逐次処理で実行する方法を説明する。これによって、例えば、オンラインで逐次的に入力された周波数別観測信号ｘｆ，ｔから各時間フレーム番号ｔの畳み込みビームフォーマを推定し、目的信号ｙｆ，ｔを得ることができる。
第７実施形態では、畳み込みビームフォーマの推定を逐次処理で実行する方法を説明する。これによって、例えば、オンラインで逐次的に入力された周波数別観測信号ｘｆ，ｔから各時間フレーム番号ｔの畳み込みビームフォーマを推定し、目的信号ｙｆ，ｔを得ることができる。
図６に例示するように、本実施形態の信号処理装置７は、推定部７１と抑圧部７２とパラメータ推定部５３とを有する。推定部７１は行列推定部７１１と畳み込みビームフォーマ推定部７１２とを有する。以下の処理は、ｔ＝１から昇順で各時間フレーム番号ｔについて実行される。
＜パラメータ推定部５３の処理（ステップＳ５３）＞
パラメータ推定部５３（図６，図７）には周波数別観測信号ｘｆ，ｔが入力される。パラメータ推定部５３のステアリングベクトル推定部５３２（図８）は、第５実施形態で説明したように、周波数別観測信号ｘｆ，ｔを入力として逐次処理で推定ステアリングベクトルνｆ，ｔを得て出力する（ステップＳ５３２）。推定ステアリングベクトルνｆ，ｔを以下のＭ次元ベクトルで表記する。
ただし、νｆ，ｔ （ｍ）は推定ステアリングベクトルνｆ，ｔのＭ個の要素のうち、マイクロホン番号ｍのマイクロホンに対応する要素を表す。ステアリングベクトル推定部５３２で得られた推定ステアリングベクトルνｆ，ｔは、畳み込みビームフォーマ推定部７１２に入力される。
パラメータ推定部５３（図６，図７）には周波数別観測信号ｘｆ，ｔが入力される。パラメータ推定部５３のステアリングベクトル推定部５３２（図８）は、第５実施形態で説明したように、周波数別観測信号ｘｆ，ｔを入力として逐次処理で推定ステアリングベクトルνｆ，ｔを得て出力する（ステップＳ５３２）。推定ステアリングベクトルνｆ，ｔを以下のＭ次元ベクトルで表記する。
ただし、νｆ，ｔ （ｍ）は推定ステアリングベクトルνｆ，ｔのＭ個の要素のうち、マイクロホン番号ｍのマイクロホンに対応する要素を表す。ステアリングベクトル推定部５３２で得られた推定ステアリングベクトルνｆ，ｔは、畳み込みビームフォーマ推定部７１２に入力される。
＜行列推定部７１１の処理（ステップＳ７１１）＞
行列推定部７１１（図６）には、周波数別観測信号ｘｆ，ｔおよび目的信号のパワーまたは推定パワーσｆ，ｔ ２が入力される。行列推定部７１１に入力されるσｆ，ｔ ２としては、例えば式（１７）のように生成された暫定パワーが用いられてもよいし、第３実施形態で説明したように生成された推定パワーσｆ，ｔ ２が用いられてもよい。行列推定部７１１は、周波数別観測信号ｘｆ，ｔ（第１時間区間に属する周波数別観測信号）、および目的信号のパワーまたは推定パワーσｆ，ｔ ２（第１時間区間に属する周波数別観測信号のパワーまたは推定パワー）、ならびに時空間共分散行列の逆行列
（第１時間区間よりも過去の第２時間区間の時空間共分散行列の逆行列）に基づき、時空間共分散行列の逆行列
（第１時間区間の時空間共分散行列の逆行列）を推定して出力する。時空間共分散行列の例は
である。この場合、行列推定部７１１は、例えば、以下の式（２８）（２９）に従って時空間共分散行列の逆行列
を生成して出力する。
ここで、式（２８）のｋｆ，ｔは（Ｌ＋１）Ｍ次元ベクトルであり、式（２９）の逆行列は（Ｌ＋１）Ｍ×（Ｌ＋１）Ｍの行列である。αは忘却係数であり、例えば０＜α＜１の範囲に属する実数である。また時空間共分散行列の逆行列
の初期行列はどのようなものでもよく、この初期行列の例は（Ｌ＋１）Ｍ次元の単位行列
である。
行列推定部７１１（図６）には、周波数別観測信号ｘｆ，ｔおよび目的信号のパワーまたは推定パワーσｆ，ｔ ２が入力される。行列推定部７１１に入力されるσｆ，ｔ ２としては、例えば式（１７）のように生成された暫定パワーが用いられてもよいし、第３実施形態で説明したように生成された推定パワーσｆ，ｔ ２が用いられてもよい。行列推定部７１１は、周波数別観測信号ｘｆ，ｔ（第１時間区間に属する周波数別観測信号）、および目的信号のパワーまたは推定パワーσｆ，ｔ ２（第１時間区間に属する周波数別観測信号のパワーまたは推定パワー）、ならびに時空間共分散行列の逆行列
（第１時間区間よりも過去の第２時間区間の時空間共分散行列の逆行列）に基づき、時空間共分散行列の逆行列
（第１時間区間の時空間共分散行列の逆行列）を推定して出力する。時空間共分散行列の例は
である。この場合、行列推定部７１１は、例えば、以下の式（２８）（２９）に従って時空間共分散行列の逆行列
を生成して出力する。
ここで、式（２８）のｋｆ，ｔは（Ｌ＋１）Ｍ次元ベクトルであり、式（２９）の逆行列は（Ｌ＋１）Ｍ×（Ｌ＋１）Ｍの行列である。αは忘却係数であり、例えば０＜α＜１の範囲に属する実数である。また時空間共分散行列の逆行列
の初期行列はどのようなものでもよく、この初期行列の例は（Ｌ＋１）Ｍ次元の単位行列
である。
＜ビームフォーマ推定部７１２の処理（ステップＳ７１２）＞
行列推定部７１１で得られた
（第１時間区間の時空間共分散行列の逆行列）、およびパラメータ推定部５３で得られた推定ステアリングベクトルνｆ，ｔは、ビームフォーマ推定部７１２に入力される。畳み込みビームフォーマ推定部７１２は、これらに基づき、畳み込みビームフォーマｗ－ ｆ，ｔ（第１時間区間の畳み込みビームフォーマ）を得て出力する。例えば、畳み込みビームフォーマ推定部７１２は、以下の式（３０）に従って畳み込みビームフォーマｗ－ ｆ，ｔを得て出力する。
ただし、
である。
はＬ＋１次元ベクトルである。ｇｆは０以外のスカラー定数である。
行列推定部７１１で得られた
（第１時間区間の時空間共分散行列の逆行列）、およびパラメータ推定部５３で得られた推定ステアリングベクトルνｆ，ｔは、ビームフォーマ推定部７１２に入力される。畳み込みビームフォーマ推定部７１２は、これらに基づき、畳み込みビームフォーマｗ－ ｆ，ｔ（第１時間区間の畳み込みビームフォーマ）を得て出力する。例えば、畳み込みビームフォーマ推定部７１２は、以下の式（３０）に従って畳み込みビームフォーマｗ－ ｆ，ｔを得て出力する。
ただし、
である。
はＬ＋１次元ベクトルである。ｇｆは０以外のスカラー定数である。
＜抑圧部７２の処理（ステップＳ７２）＞
抑圧部７２には、周波数別観測信号ｘｆ，ｔ、およびビームフォーマ推定部７１２で得られた畳み込みビームフォーマｗ－ ｆ，ｔが入力される。抑圧部７２は、各時間フレーム番号ｔおよび周波数帯域番号ｆにおいて、畳み込みビームフォーマｗ－ ｆ，ｔを周波数別観測信号ｘｆ，ｔに適用して目的信号ｙｆ，ｔを得て出力する。例えば、抑圧部７２は、以下の式（３１）に従って目的信号ｙｆ，ｔを得て出力する。
抑圧部７２には、周波数別観測信号ｘｆ，ｔ、およびビームフォーマ推定部７１２で得られた畳み込みビームフォーマｗ－ ｆ，ｔが入力される。抑圧部７２は、各時間フレーム番号ｔおよび周波数帯域番号ｆにおいて、畳み込みビームフォーマｗ－ ｆ，ｔを周波数別観測信号ｘｆ，ｔに適用して目的信号ｙｆ，ｔを得て出力する。例えば、抑圧部７２は、以下の式（３１）に従って目的信号ｙｆ，ｔを得て出力する。
［第７実施形態の変形例１］
第７実施形態の信号処理装置７のパラメータ推定部５３がパラメータ推定部６３に置換されてもよい。すなわち、第７実施形態において、パラメータ推定部５３に代えてパラメータ推定部６３が周波数別観測信号ｘｆ，ｔを入力とし、第６実施形態で説明したように逐次処理で推定ステアリングベクトルνｆ，ｔを得て出力してもよい。
第７実施形態の信号処理装置７のパラメータ推定部５３がパラメータ推定部６３に置換されてもよい。すなわち、第７実施形態において、パラメータ推定部５３に代えてパラメータ推定部６３が周波数別観測信号ｘｆ，ｔを入力とし、第６実施形態で説明したように逐次処理で推定ステアリングベクトルνｆ，ｔを得て出力してもよい。
［第７実施形態の変形例２］
第７実施形態およびその変形例では、第１時間区間が時間フレーム番号ｔのフレームであり、第２時間区間が時間フレーム番号ｔ－１のフレームである場合を例にとったが、これは本発明を限定するものではない。時間フレーム番号ｔ以外の時間フレーム番号のフレームを第１時間区間としてもよい。時間フレーム番号ｔ－１以外の第１時間区間よりも過去の時間フレームを第２時間区間としてもよい。
第７実施形態およびその変形例では、第１時間区間が時間フレーム番号ｔのフレームであり、第２時間区間が時間フレーム番号ｔ－１のフレームである場合を例にとったが、これは本発明を限定するものではない。時間フレーム番号ｔ以外の時間フレーム番号のフレームを第１時間区間としてもよい。時間フレーム番号ｔ－１以外の第１時間区間よりも過去の時間フレームを第２時間区間としてもよい。
［第８実施形態］
第２実施形態では、ｗｆ，０ Ｈνｆ，０が定数となるとの拘束条件のもと、コスト関数Ｃ３（ｗ－ ｆ）を最小化するｗ－ ｆの解析解を式（１５）とみなし、式（１５）に従って畳み込みビームフォーマｗ－ ｆを得る例を説明した。第８実施形態では別の最適解を用い、畳み込みビームフォーマを得る例を示す。
第２実施形態では、ｗｆ，０ Ｈνｆ，０が定数となるとの拘束条件のもと、コスト関数Ｃ３（ｗ－ ｆ）を最小化するｗ－ ｆの解析解を式（１５）とみなし、式（１５）に従って畳み込みビームフォーマｗ－ ｆを得る例を説明した。第８実施形態では別の最適解を用い、畳み込みビームフォーマを得る例を示す。
推定ステアリングベクトルνｆ，０の直交補空間に対応する（Ｍ－１）×Ｍのブロック行列をＢｆとするとＢｆ
Ｈνｆ，０＝０を満たす。このようなブロック行列Ｂｆは無数に存在する。以下の式（３２）にブロック行列Ｂｆの一例を示す。
ここでν－ ｆ，０は、ステアリングベクトルνｆ，０または推定ステアリングベクトルνｆ，０の参照マイクロホンｒｅｆ以外のマイクロホンに対応する要素からなるＭ－１次元列ベクトル、ｖｆ，０ ｒｅｆはνｆ，０の参照マイクロホンｒｅｆに対応する要素、ＩＭ－１は（Ｍ－１）×（Ｍ－１）次元の単位行列である。
ここでν－ ｆ，０は、ステアリングベクトルνｆ，０または推定ステアリングベクトルνｆ，０の参照マイクロホンｒｅｆ以外のマイクロホンに対応する要素からなるＭ－１次元列ベクトル、ｖｆ，０ ｒｅｆはνｆ，０の参照マイクロホンｒｅｆに対応する要素、ＩＭ－１は（Ｍ－１）×（Ｍ－１）次元の単位行列である。
ｇｆを０以外のスカラー定数とし、ａｆ，０をＭ次元の変形瞬時ビームフォーマとし、瞬時ビームフォーマｗｆ，０を、ステアリングベクトルνｆ，０の定数倍ｇｆνｆ，０または推定ステアリングベクトルνｆ，０の定数倍ｇｆνｆ，０と、ステアリングベクトルνｆ，０または推定ステアリングベクトルνｆ，０の直交補空間に対応するブロック行列Ｂｆと変形瞬時ビームフォーマａｆ，０との積Ｂｆａｆ，０と、の和で表記する。すなわち、
ｗｆ，０＝ｇｆνｆ，０＋Ｂｆａｆ，０ （３３）
と表記する。すると、Ｂｆ Ｈνｆ，０＝０であるため、「ｗｆ，０ Ｈνｆ，０が定数となる」との拘束条件は、以下のように表記される。
ｗｆ，０ Ｈνｆ，０＝（ｇｆνｆ，０＋Ｂｆａｆ，０）Ｈνｆ，０＝ｇｆ Ｈ｜νｆ，０｜２＝定数
このように、式（３３）のように定義しても、任意の変形瞬時ビームフォーマａｆ，０に対して「ｗｆ，０ Ｈνｆ，０が定数となる」という拘束条件を満たしている。そのため、瞬時ビームフォーマｗｆ，０を式（３３）のように定義してもよいことが分かる。本実施形態では瞬時ビームフォーマｗｆ，０を式（３３）のように定義した際の畳み込みビームフォーマの最適解を採用し、畳み込みビームフォーマの推定を行う。以下に詳細に説明する。
ｗｆ，０＝ｇｆνｆ，０＋Ｂｆａｆ，０ （３３）
と表記する。すると、Ｂｆ Ｈνｆ，０＝０であるため、「ｗｆ，０ Ｈνｆ，０が定数となる」との拘束条件は、以下のように表記される。
ｗｆ，０ Ｈνｆ，０＝（ｇｆνｆ，０＋Ｂｆａｆ，０）Ｈνｆ，０＝ｇｆ Ｈ｜νｆ，０｜２＝定数
このように、式（３３）のように定義しても、任意の変形瞬時ビームフォーマａｆ，０に対して「ｗｆ，０ Ｈνｆ，０が定数となる」という拘束条件を満たしている。そのため、瞬時ビームフォーマｗｆ，０を式（３３）のように定義してもよいことが分かる。本実施形態では瞬時ビームフォーマｗｆ，０を式（３３）のように定義した際の畳み込みビームフォーマの最適解を採用し、畳み込みビームフォーマの推定を行う。以下に詳細に説明する。
図９に例示するように、本実施形態の信号処理装置８は、推定部８１と抑圧部８２とパラメータ推定部８３とを有する。推定部８１は、行列推定部８１１、畳み込みビームフォーマ推定部８１２、初期ビームフォーマ適用部８１３、およびブロック部８１４を有する。
＜パラメータ推定部８３の処理（ステップＳ８３）＞
パラメータ推定部８３（図９）は、周波数別観測信号ｘｆ，ｔを入力とし、前述したパラメータ推定部３３，４３，５３，６３の何れかと同じ方法で推定ステアリングベクトルを得、得られた推定ステアリングベクトルをνｆ，０として出力する。出力された推定ステアリングベクトルνｆ，０は、初期ビームフォーマ適用部８１３およびブロック部８１４に送られる。
パラメータ推定部８３（図９）は、周波数別観測信号ｘｆ，ｔを入力とし、前述したパラメータ推定部３３，４３，５３，６３の何れかと同じ方法で推定ステアリングベクトルを得、得られた推定ステアリングベクトルをνｆ，０として出力する。出力された推定ステアリングベクトルνｆ，０は、初期ビームフォーマ適用部８１３およびブロック部８１４に送られる。
＜初期ビームフォーマ適用部８１３の処理（ステップＳ８１３）＞
初期ビームフォーマ適用部８１３には、推定ステアリングベクトルνｆ，０および周波数別観測信号ｘｆ，ｔが入力される。初期ビームフォーマ適用部８１３は、推定ステアリングベクトルνｆ，０および周波数別観測信号ｘｆ，ｔ（第１時間区間に属する周波数別観測信号）に基づく、初期ビームフォーマ出力ｚｆ，ｔ（第１時間区間の初期ビームフォーマ出力）を得て出力する。例えば、初期ビームフォーマ適用部８１３は、推定ステアリングベクトルνｆ，０の定数倍と周波数別観測信号ｘｆ，ｔとに基づく、初期ビームフォーマ出力ｚｆ，ｔを得て出力する。例えば、初期ビームフォーマ適用部８１３は、以下の式（３４）に従って初期ビームフォーマ出力ｚｆ，ｔを得て出力する。
ｚｆ，ｔ＝（ｇｆνｆ，０）Ｈｘｆ，ｔ （３４）
出力された初期ビームフォーマ出力ｚｆ，ｔは、畳み込みビームフォーマ推定部８１２および抑圧部８２に送られる。
初期ビームフォーマ適用部８１３には、推定ステアリングベクトルνｆ，０および周波数別観測信号ｘｆ，ｔが入力される。初期ビームフォーマ適用部８１３は、推定ステアリングベクトルνｆ，０および周波数別観測信号ｘｆ，ｔ（第１時間区間に属する周波数別観測信号）に基づく、初期ビームフォーマ出力ｚｆ，ｔ（第１時間区間の初期ビームフォーマ出力）を得て出力する。例えば、初期ビームフォーマ適用部８１３は、推定ステアリングベクトルνｆ，０の定数倍と周波数別観測信号ｘｆ，ｔとに基づく、初期ビームフォーマ出力ｚｆ，ｔを得て出力する。例えば、初期ビームフォーマ適用部８１３は、以下の式（３４）に従って初期ビームフォーマ出力ｚｆ，ｔを得て出力する。
ｚｆ，ｔ＝（ｇｆνｆ，０）Ｈｘｆ，ｔ （３４）
出力された初期ビームフォーマ出力ｚｆ，ｔは、畳み込みビームフォーマ推定部８１２および抑圧部８２に送られる。
＜ブロック部８１４の処理（ステップＳ８１４）＞
ブロック部８１４には、推定ステアリングベクトルνｆ，０および周波数別観測信号ｘｆ，ｔが入力される。ブロック部８１４は、周波数別観測信号ｘｆ，ｔと推定ステアリングベクトルνｆ，０の直交補空間に対応するブロック行列Ｂｆとに基づく、ベクトルｘ＝ ｆ，ｔを得て出力する。前述のようにＢｆ Ｈνｆ，０＝０を満たす。ブロック行列Ｂｆの一例は前述の式（３２）に示した通りであるがこれは本発明を限定するものではなく、Ｂｆ Ｈνｆ，０＝０を満たすブロック行列Ｂｆであればどのようなものであってもよい。例えば、ブロック部８１４は、以下の式（３５）（３６）に従ってベクトルｘ＝ ｆ，ｔを得て出力する。
なお、式（３６）に例示するように、「ｘ＝ ｆ，ｔ」の右上添字の「＝」は本来右下添字の「ｘ」の真上に記載すべきであるが、記載表記の制約上、「ｘ」の右上に記載する場合がある。出力されたベクトルｘ＝ ｆ，ｔは、行列推定部８１１、畳み込みビームフォーマ推定部８１２、および抑圧部８２に送られる。また、Ｌ＝０の場合、式（３５）の右辺は要素数が０のベクトル（空ベクトル）であり、式（３６）は以下の式（３６Ａ）のようになる。
ブロック部８１４には、推定ステアリングベクトルνｆ，０および周波数別観測信号ｘｆ，ｔが入力される。ブロック部８１４は、周波数別観測信号ｘｆ，ｔと推定ステアリングベクトルνｆ，０の直交補空間に対応するブロック行列Ｂｆとに基づく、ベクトルｘ＝ ｆ，ｔを得て出力する。前述のようにＢｆ Ｈνｆ，０＝０を満たす。ブロック行列Ｂｆの一例は前述の式（３２）に示した通りであるがこれは本発明を限定するものではなく、Ｂｆ Ｈνｆ，０＝０を満たすブロック行列Ｂｆであればどのようなものであってもよい。例えば、ブロック部８１４は、以下の式（３５）（３６）に従ってベクトルｘ＝ ｆ，ｔを得て出力する。
なお、式（３６）に例示するように、「ｘ＝ ｆ，ｔ」の右上添字の「＝」は本来右下添字の「ｘ」の真上に記載すべきであるが、記載表記の制約上、「ｘ」の右上に記載する場合がある。出力されたベクトルｘ＝ ｆ，ｔは、行列推定部８１１、畳み込みビームフォーマ推定部８１２、および抑圧部８２に送られる。また、Ｌ＝０の場合、式（３５）の右辺は要素数が０のベクトル（空ベクトル）であり、式（３６）は以下の式（３６Ａ）のようになる。
＜行列推定部８１１の処理（ステップＳ８１１）＞
行列推定部８１１には、ブロック部８１４で得られたベクトルｘ＝ ｆ，ｔ、および目的信号のパワーまたは推定パワーσｆ，ｔ ２が入力される。σｆ，ｔ ２は、例えば、式（１７）のように生成された暫定パワーであってもよいし、第３実施形態で説明したように生成された推定パワーσｆ，ｔ ２であってもよい。行列推定部８１１は、ベクトルｘ＝ ｆ，ｔおよび目的信号のパワーまたは推定パワーσｆ，ｔ ２を用い、式（３３）のように瞬時ビームフォーマｗｆ，０を表記したときに、推定信号の音声らしさを表す確率を大きくする、推定ステアリングベクトルνｆ，０、周波数別観測信号ｘｆ，ｔ、および目的信号のパワーまたは推定パワーσｆ，ｔ ２に基づく、重み付き変形時空間共分散行列Ｒ＝ ｆを得て出力する。例えば、行列推定部８１１は、ベクトルｘ＝ ｆ，ｔ、および目的信号のパワーまたは推定パワーσｆ，ｔ ２に基づく、重み付き変形時空間共分散行列Ｒ＝ ｆを得て出力する。例えば、行列推定部８１１は、以下の式（３７）に従って重み付き変形時空間共分散行列Ｒ＝ ｆを得て出力する。
出力された重み付き変形時空間共分散行列Ｒ＝ ｆは畳み込みビームフォーマ推定部８１２に送られる。
行列推定部８１１には、ブロック部８１４で得られたベクトルｘ＝ ｆ，ｔ、および目的信号のパワーまたは推定パワーσｆ，ｔ ２が入力される。σｆ，ｔ ２は、例えば、式（１７）のように生成された暫定パワーであってもよいし、第３実施形態で説明したように生成された推定パワーσｆ，ｔ ２であってもよい。行列推定部８１１は、ベクトルｘ＝ ｆ，ｔおよび目的信号のパワーまたは推定パワーσｆ，ｔ ２を用い、式（３３）のように瞬時ビームフォーマｗｆ，０を表記したときに、推定信号の音声らしさを表す確率を大きくする、推定ステアリングベクトルνｆ，０、周波数別観測信号ｘｆ，ｔ、および目的信号のパワーまたは推定パワーσｆ，ｔ ２に基づく、重み付き変形時空間共分散行列Ｒ＝ ｆを得て出力する。例えば、行列推定部８１１は、ベクトルｘ＝ ｆ，ｔ、および目的信号のパワーまたは推定パワーσｆ，ｔ ２に基づく、重み付き変形時空間共分散行列Ｒ＝ ｆを得て出力する。例えば、行列推定部８１１は、以下の式（３７）に従って重み付き変形時空間共分散行列Ｒ＝ ｆを得て出力する。
出力された重み付き変形時空間共分散行列Ｒ＝ ｆは畳み込みビームフォーマ推定部８１２に送られる。
＜畳み込みビームフォーマ推定部８１２の処理（ステップＳ８１２）＞
畳み込みビームフォーマ推定部８１２には、初期ビームフォーマ適用部８１３で得られた初期ビームフォーマ出力ｚｆ，ｔ、ブロック部８１４で得られたベクトルｘ＝ ｆ，ｔ、および行列推定部８１１で得られた重み付き変形時空間共分散行列Ｒ＝ ｆが入力される。畳み込みビームフォーマ推定部８１２は、これらを用い、推定ステアリングベクトルνｆ，０、重み付き変形時空間共分散行列Ｒ＝ ｆ、および周波数別観測信号ｘｆ，ｔに基づく、畳み込みビームフォーマｗ＝ ｆを得て出力する。例えば、畳み込みビームフォーマ推定部８１２は、以下の式（３８）に従って畳み込みビームフォーマｗ＝ ｆを得て出力する。
出力された畳み込みビームフォーマｗ＝
ｆは抑圧部８２に送られる。
なお、Ｌ＝０の場合、式（３８Ｂ）の右辺は要素数が０のベクトル（空ベクトル）となり、式（３８Ａ）は、以下のようになる。
畳み込みビームフォーマ推定部８１２には、初期ビームフォーマ適用部８１３で得られた初期ビームフォーマ出力ｚｆ，ｔ、ブロック部８１４で得られたベクトルｘ＝ ｆ，ｔ、および行列推定部８１１で得られた重み付き変形時空間共分散行列Ｒ＝ ｆが入力される。畳み込みビームフォーマ推定部８１２は、これらを用い、推定ステアリングベクトルνｆ，０、重み付き変形時空間共分散行列Ｒ＝ ｆ、および周波数別観測信号ｘｆ，ｔに基づく、畳み込みビームフォーマｗ＝ ｆを得て出力する。例えば、畳み込みビームフォーマ推定部８１２は、以下の式（３８）に従って畳み込みビームフォーマｗ＝ ｆを得て出力する。
なお、Ｌ＝０の場合、式（３８Ｂ）の右辺は要素数が０のベクトル（空ベクトル）となり、式（３８Ａ）は、以下のようになる。
＜抑圧部８２の処理（ステップＳ８２）＞
抑圧部８２には、ブロック部８１４から出力されたベクトルｘ＝ ｆ，ｔ、初期ビームフォーマ適用部８１３から出力された初期ビームフォーマ出力ｚｆ，ｔ、および畳み込みビームフォーマ推定部８１２から出力された畳み込みビームフォーマｗ＝ ｆが入力される。抑圧部８２は、初期ビームフォーマ出力ｚｆ，ｔおよび畳み込みビームフォーマｗ＝ ｆをベクトルｘ＝ ｆ，ｔに適用して目的信号ｙｆ，ｔを得て出力する。この処理は、畳み込みビームフォーマｗ－ ｆを周波数別観測信号ｘｆ，ｔに適用して目的信号ｙｆ，ｔを得て出力する処理と等価である。例えば、抑圧部８２は、以下の式（３９）に従って目的信号ｙｆ，ｔを得て出力する。
抑圧部８２には、ブロック部８１４から出力されたベクトルｘ＝ ｆ，ｔ、初期ビームフォーマ適用部８１３から出力された初期ビームフォーマ出力ｚｆ，ｔ、および畳み込みビームフォーマ推定部８１２から出力された畳み込みビームフォーマｗ＝ ｆが入力される。抑圧部８２は、初期ビームフォーマ出力ｚｆ，ｔおよび畳み込みビームフォーマｗ＝ ｆをベクトルｘ＝ ｆ，ｔに適用して目的信号ｙｆ，ｔを得て出力する。この処理は、畳み込みビームフォーマｗ－ ｆを周波数別観測信号ｘｆ，ｔに適用して目的信号ｙｆ，ｔを得て出力する処理と等価である。例えば、抑圧部８２は、以下の式（３９）に従って目的信号ｙｆ，ｔを得て出力する。
［第８実施形態の変形例１］
パラメータ推定部８３で得られた推定ステアリングベクトルνｆ，０に代え、実測等に基づいて得られた既知のステアリングベクトルνｆ，０が初期ビームフォーマ適用部８１３およびブロック部８１４に入力されてもよい。この場合、初期ビームフォーマ適用部８１３およびブロック部８１４は推定ステアリングベクトルνｆ，０に代えてステアリングベクトルνｆ，０を用いて上述のステップＳ８１３およびＳ８１４を行う。
パラメータ推定部８３で得られた推定ステアリングベクトルνｆ，０に代え、実測等に基づいて得られた既知のステアリングベクトルνｆ，０が初期ビームフォーマ適用部８１３およびブロック部８１４に入力されてもよい。この場合、初期ビームフォーマ適用部８１３およびブロック部８１４は推定ステアリングベクトルνｆ，０に代えてステアリングベクトルνｆ，０を用いて上述のステップＳ８１３およびＳ８１４を行う。
［第９実施形態］
第９実施形態では、第８実施形態に基づく畳み込みビームフォーマの推定を逐次処理で実行する方法を説明する。以下の処理は、ｔ＝１から昇順で各時間フレーム番号ｔについて実行される。
第９実施形態では、第８実施形態に基づく畳み込みビームフォーマの推定を逐次処理で実行する方法を説明する。以下の処理は、ｔ＝１から昇順で各時間フレーム番号ｔについて実行される。
図１０に例示するように、本実施形態の信号処理装置９は、推定部９１と抑圧部９２とパラメータ推定部９３とを有する。推定部９１は、適応ゲイン推定部９１１、畳み込みビームフォーマ推定部９１２、行列推定部９１５、初期ビームフォーマ適用部８１３、およびブロック部８１４を有する。
＜パラメータ推定部９３の処理（ステップＳ９３）＞
パラメータ推定部９３（図１０）は、周波数別観測信号ｘｆ，ｔを入力とし、前述したパラメータ推定部５３，６３の何れかと同じ方法で推定ステアリングベクトルνｆ，ｔを得て出力する。出力された推定ステアリングベクトルνｆ，ｔは、初期ビームフォーマ適用部８１３およびブロック部８１４に送られる。
パラメータ推定部９３（図１０）は、周波数別観測信号ｘｆ，ｔを入力とし、前述したパラメータ推定部５３，６３の何れかと同じ方法で推定ステアリングベクトルνｆ，ｔを得て出力する。出力された推定ステアリングベクトルνｆ，ｔは、初期ビームフォーマ適用部８１３およびブロック部８１４に送られる。
＜初期ビームフォーマ適用部８１３の処理（ステップＳ８１３）＞
初期ビームフォーマ適用部８１３は、推定ステアリングベクトルνｆ，ｔ（第１時間区間の推定ステアリングベクトル）および周波数別観測信号ｘｆ，ｔ（第１時間区間に属する周波数別観測信号）を入力とし、νｆ，０に代えてνｆ，ｔを用い、第８実施形態で説明したように初期ビームフォーマ出力ｚｆ，ｔ（第１時間区間の初期ビームフォーマ出力）を得て出力する。出力された初期ビームフォーマ出力ｚｆ，ｔは抑圧部９２に送られる。
初期ビームフォーマ適用部８１３は、推定ステアリングベクトルνｆ，ｔ（第１時間区間の推定ステアリングベクトル）および周波数別観測信号ｘｆ，ｔ（第１時間区間に属する周波数別観測信号）を入力とし、νｆ，０に代えてνｆ，ｔを用い、第８実施形態で説明したように初期ビームフォーマ出力ｚｆ，ｔ（第１時間区間の初期ビームフォーマ出力）を得て出力する。出力された初期ビームフォーマ出力ｚｆ，ｔは抑圧部９２に送られる。
＜ブロック部８１４の処理（ステップＳ８１４）＞
ブロック部８１４は、推定ステアリングベクトルνｆ，ｔおよび周波数別観測信号ｘｆ，ｔを入力とし、νｆ，０に代えてνｆ，ｔを用い、第８実施形態で説明したようにベクトルｘ＝ ｆ，ｔを得て出力する。出力されたベクトルｘ＝ ｆ，ｔは、適応ゲイン推定部９１１、行列推定部９１５、および抑圧部９２に送られる。
ブロック部８１４は、推定ステアリングベクトルνｆ，ｔおよび周波数別観測信号ｘｆ，ｔを入力とし、νｆ，０に代えてνｆ，ｔを用い、第８実施形態で説明したようにベクトルｘ＝ ｆ，ｔを得て出力する。出力されたベクトルｘ＝ ｆ，ｔは、適応ゲイン推定部９１１、行列推定部９１５、および抑圧部９２に送られる。
＜抑圧部９２の処理（ステップＳ９２）＞
抑圧部９２には、初期ビームフォーマ適用部８１３から出力された初期ビームフォーマ出力ｚｆ，ｔ、およびブロック部８１４から出力されたベクトルｘ＝ ｆ，ｔが入力される。抑圧部９２は、これらを用い、初期ビームフォーマ出力ｚｆ，ｔ（第１時間区間の初期ビームフォーマ出力）、推定ステアリングベクトルνｆ，ｔ（第１時間区間の推定ステアリングベクトル）、および周波数別観測信号ｘｆ，ｔ、ならびに畳み込みビームフォーマｗ＝ ｆ，ｔ－１（第１時間区間よりも過去の第２時間区間の畳み込みビームフォーマ）に基づく、目的信号ｙｆ，ｔを得て出力する。例えば、抑圧部９２は、以下の式（４０）に従って目的信号ｙｆ，ｔを得て出力する。
ここで畳み込みビームフォーマｗ＝ ｆ，ｔ－１の初期ベクトルｗ＝ ｆ，０はどのような（ＬＭ＋Ｍ－１）次元ベクトルであってもよい。初期ベクトルｗ＝ ｆ，０の一例は、全ての要素が０の（ＬＭ＋Ｍ－１）次元ベクトルである。
抑圧部９２には、初期ビームフォーマ適用部８１３から出力された初期ビームフォーマ出力ｚｆ，ｔ、およびブロック部８１４から出力されたベクトルｘ＝ ｆ，ｔが入力される。抑圧部９２は、これらを用い、初期ビームフォーマ出力ｚｆ，ｔ（第１時間区間の初期ビームフォーマ出力）、推定ステアリングベクトルνｆ，ｔ（第１時間区間の推定ステアリングベクトル）、および周波数別観測信号ｘｆ，ｔ、ならびに畳み込みビームフォーマｗ＝ ｆ，ｔ－１（第１時間区間よりも過去の第２時間区間の畳み込みビームフォーマ）に基づく、目的信号ｙｆ，ｔを得て出力する。例えば、抑圧部９２は、以下の式（４０）に従って目的信号ｙｆ，ｔを得て出力する。
ここで畳み込みビームフォーマｗ＝ ｆ，ｔ－１の初期ベクトルｗ＝ ｆ，０はどのような（ＬＭ＋Ｍ－１）次元ベクトルであってもよい。初期ベクトルｗ＝ ｆ，０の一例は、全ての要素が０の（ＬＭ＋Ｍ－１）次元ベクトルである。
＜適応ゲイン推定部９１１の処理（ステップＳ９１１）＞
適応ゲイン推定部９１１には、ブロック部８１４から出力されたベクトルｘ＝ ｆ，ｔ、行列推定部９１５から出力された重み付き変形時空間共分散行列の逆行列Ｒ～－１ ｆ，ｔ－１、および目的信号のパワーまたは推定パワーσｆ，ｔ ２が入力される。行列推定部７１１に入力されるσｆ，ｔ ２としては、例えば式（１７）のように生成された暫定パワーが用いられてもよいし、第３実施形態で説明したように生成された推定パワーσｆ，ｔ ２が用いられてもよい。なお、「Ｒ～－１ ｆ，ｔ－１」の「～」は本来以下のように「Ｒ」の真上に表記すべきであるが、記載表記の制約上「Ｒ」の右上に表記する場合がある。適応ゲイン推定部９１１は、これらを用い、重み付き変形時空間共分散行列の逆行列Ｒ～－１ ｆ，ｔ－１（第２時間区間の重み付き変形時空間共分散行列の逆行列）、ならびに推定ステアリングベクトルνｆ，ｔ（第１時間区間の推定ステアリングベクトル）、および周波数別観測信号ｘｆ，ｔ、および目的信号のパワーまたは推定パワーσｆ，ｔ ２に基づく、適応ゲインｋｆ，ｔ（第１時間区間の適応ゲイン）を得て出力する。例えば、適応ゲイン推定部９１１は、以下の式（４１）に従って（ＬＭ＋Ｍ－１）次元ベクトルである適応ゲインｋｆ，ｔを得て出力する。
ここでαは忘却係数であり、例えば０＜α＜１の範囲に属する実数である。また、重み付き変形時空間共分散行列の逆行列Ｒ～－１ ｆ，ｔ－１の初期行列はどのような（ＬＭ＋Ｍ－１）×（ＬＭ＋Ｍ－１）次元行列であってもよい。重み付き変形時空間共分散行列の逆行列Ｒ～－１ ｆ，ｔ－１の初期行列の例は、（ＬＭ＋Ｍ－１）次元の単位行列である。ただし
である。なお、Ｒ～ ｆ，ｔ自体は算出されない。出力された適応ゲインｋｆ，ｔは、行列推定部９１５および畳み込みビームフォーマ推定部９１２に送られる。
適応ゲイン推定部９１１には、ブロック部８１４から出力されたベクトルｘ＝ ｆ，ｔ、行列推定部９１５から出力された重み付き変形時空間共分散行列の逆行列Ｒ～－１ ｆ，ｔ－１、および目的信号のパワーまたは推定パワーσｆ，ｔ ２が入力される。行列推定部７１１に入力されるσｆ，ｔ ２としては、例えば式（１７）のように生成された暫定パワーが用いられてもよいし、第３実施形態で説明したように生成された推定パワーσｆ，ｔ ２が用いられてもよい。なお、「Ｒ～－１ ｆ，ｔ－１」の「～」は本来以下のように「Ｒ」の真上に表記すべきであるが、記載表記の制約上「Ｒ」の右上に表記する場合がある。適応ゲイン推定部９１１は、これらを用い、重み付き変形時空間共分散行列の逆行列Ｒ～－１ ｆ，ｔ－１（第２時間区間の重み付き変形時空間共分散行列の逆行列）、ならびに推定ステアリングベクトルνｆ，ｔ（第１時間区間の推定ステアリングベクトル）、および周波数別観測信号ｘｆ，ｔ、および目的信号のパワーまたは推定パワーσｆ，ｔ ２に基づく、適応ゲインｋｆ，ｔ（第１時間区間の適応ゲイン）を得て出力する。例えば、適応ゲイン推定部９１１は、以下の式（４１）に従って（ＬＭ＋Ｍ－１）次元ベクトルである適応ゲインｋｆ，ｔを得て出力する。
ここでαは忘却係数であり、例えば０＜α＜１の範囲に属する実数である。また、重み付き変形時空間共分散行列の逆行列Ｒ～－１ ｆ，ｔ－１の初期行列はどのような（ＬＭ＋Ｍ－１）×（ＬＭ＋Ｍ－１）次元行列であってもよい。重み付き変形時空間共分散行列の逆行列Ｒ～－１ ｆ，ｔ－１の初期行列の例は、（ＬＭ＋Ｍ－１）次元の単位行列である。ただし
である。なお、Ｒ～ ｆ，ｔ自体は算出されない。出力された適応ゲインｋｆ，ｔは、行列推定部９１５および畳み込みビームフォーマ推定部９１２に送られる。
＜行列推定部９１５の処理（ステップＳ９１５）＞
行列推定部９１５には、ブロック部８１４から出力されたベクトルｘ＝ ｆ，ｔ、および適応ゲイン推定部９１１から出力された適応ゲインｋｆ，ｔが入力される。行列推定部９１５は、これらを用い、適応ゲインｋｆ，ｔ（第１時間区間の適応ゲイン）、推定ステアリングベクトルνｆ，ｔ（第１時間区間の推定ステアリングベクトル）、および周波数別観測信号ｘｆ，ｔ、ならびに重み付き変形時空間共分散行列の逆行列Ｒ～－１ ｆ，ｔ－１（第２時間区間の重み付き変形時空間共分散行列の逆行列）に基づく、重み付き変形時空間共分散行列の逆行列Ｒ～－１ ｆ，ｔ（第１時間区間の重み付き変形時空間共分散行列の逆行列）を得て出力する。例えば、行列推定部９１５は、以下の式（４２）に従って重み付き変形時空間共分散行列の逆行列Ｒ～－１ ｆ，ｔを得て出力する。
出力された重み付き変形時空間共分散行列の逆行列Ｒ～－１ ｆ，ｔは適応ゲイン推定部９１１に送られる。
行列推定部９１５には、ブロック部８１４から出力されたベクトルｘ＝ ｆ，ｔ、および適応ゲイン推定部９１１から出力された適応ゲインｋｆ，ｔが入力される。行列推定部９１５は、これらを用い、適応ゲインｋｆ，ｔ（第１時間区間の適応ゲイン）、推定ステアリングベクトルνｆ，ｔ（第１時間区間の推定ステアリングベクトル）、および周波数別観測信号ｘｆ，ｔ、ならびに重み付き変形時空間共分散行列の逆行列Ｒ～－１ ｆ，ｔ－１（第２時間区間の重み付き変形時空間共分散行列の逆行列）に基づく、重み付き変形時空間共分散行列の逆行列Ｒ～－１ ｆ，ｔ（第１時間区間の重み付き変形時空間共分散行列の逆行列）を得て出力する。例えば、行列推定部９１５は、以下の式（４２）に従って重み付き変形時空間共分散行列の逆行列Ｒ～－１ ｆ，ｔを得て出力する。
出力された重み付き変形時空間共分散行列の逆行列Ｒ～－１ ｆ，ｔは適応ゲイン推定部９１１に送られる。
＜畳み込みビームフォーマ推定部９１２の処理（ステップＳ９１２）＞
畳み込みビームフォーマ推定部９１２には、抑圧部９２から出力された目的信号ｙｆ，ｔ、および適応ゲイン推定部９１１から出力された適応ゲインｋｆ，ｔが入力される。畳み込みビームフォーマ推定部９１２は、これらを用い、適応ゲインｋｆ，ｔ（第１時間区間の適応ゲイン）、目的信号ｙｆ，ｔ（第１時間区間の目的信号）、および畳み込みビームフォーマｗ＝ ｆ，ｔ－１（第２時間区間の畳み込みビームフォーマ）に基づく、畳み込みビームフォーマｗ＝ ｆ，ｔ（第１時間区間の畳み込みビームフォーマ）を得て出力する。例えば、畳み込みビームフォーマ推定部９１２は、以下の式（４３）に従って畳み込みビームフォーマｗ＝ ｆ，ｔを得て出力する。
出力された畳み込みビームフォーマｗ＝ ｆ，ｔは抑圧部９２に送られる。
畳み込みビームフォーマ推定部９１２には、抑圧部９２から出力された目的信号ｙｆ，ｔ、および適応ゲイン推定部９１１から出力された適応ゲインｋｆ，ｔが入力される。畳み込みビームフォーマ推定部９１２は、これらを用い、適応ゲインｋｆ，ｔ（第１時間区間の適応ゲイン）、目的信号ｙｆ，ｔ（第１時間区間の目的信号）、および畳み込みビームフォーマｗ＝ ｆ，ｔ－１（第２時間区間の畳み込みビームフォーマ）に基づく、畳み込みビームフォーマｗ＝ ｆ，ｔ（第１時間区間の畳み込みビームフォーマ）を得て出力する。例えば、畳み込みビームフォーマ推定部９１２は、以下の式（４３）に従って畳み込みビームフォーマｗ＝ ｆ，ｔを得て出力する。
出力された畳み込みビームフォーマｗ＝ ｆ，ｔは抑圧部９２に送られる。
［第９実施形態の変形例１］
第９実施形態およびその変形例では、第１時間区間が時間フレーム番号ｔのフレームであり、第２時間区間が時間フレーム番号ｔ－１のフレームである場合を例にとったが、これは本発明を限定するものではない。時間フレーム番号ｔ以外の時間フレーム番号のフレームを第１時間区間としてもよい。時間フレーム番号ｔ－１以外の第１時間区間よりも過去の時間フレームを第２時間区間としてもよい。
第９実施形態およびその変形例では、第１時間区間が時間フレーム番号ｔのフレームであり、第２時間区間が時間フレーム番号ｔ－１のフレームである場合を例にとったが、これは本発明を限定するものではない。時間フレーム番号ｔ以外の時間フレーム番号のフレームを第１時間区間としてもよい。時間フレーム番号ｔ－１以外の第１時間区間よりも過去の時間フレームを第２時間区間としてもよい。
［第９実施形態の変形例２］
パラメータ推定部９３で得られた推定ステアリングベクトルνｆ，ｔに代え、既知のステアリングベクトルνｆ，ｔが初期ビームフォーマ適用部８１３およびブロック部８１４に入力されてもよい。この場合、初期ビームフォーマ適用部８１３およびブロック部８１４は推定ステアリングベクトルνｆ，ｔに代えてステアリングベクトルνｆ，ｔを用いて上述のステップＳ８１３およびＳ８１４を行う。
パラメータ推定部９３で得られた推定ステアリングベクトルνｆ，ｔに代え、既知のステアリングベクトルνｆ，ｔが初期ビームフォーマ適用部８１３およびブロック部８１４に入力されてもよい。この場合、初期ビームフォーマ適用部８１３およびブロック部８１４は推定ステアリングベクトルνｆ，ｔに代えてステアリングベクトルνｆ，ｔを用いて上述のステップＳ８１３およびＳ８１４を行う。
［第１０実施形態］
上述した信号処理装置１－９に入力される周波数別観測信号ｘｆ，ｔは、音源から発せられた音響信号を集音して得られた観測信号の複数の周波数帯域のそれぞれに対応する信号であればどのようなものであってもよい。例えば、図１１Ａおよび図１１Ｃに例示するように、音源から発せられた音響信号をＭ個のマイクロホンで集音して得られた時間領域の観測信号ｘ（ｉ）＝［ｘ（ｉ）（１），ｘ（ｉ）（２），…，ｘ（ｉ）（Ｍ）］Ｔ（ただしｉは離散時間を表すインデックス）が分離部１０５１に入力され、分離部１０５１が観測信号ｘ（ｉ）を周波数領域の周波数別観測信号ｘｆ，ｔに変換し、周波数別観測信号ｘｆ，ｔを信号処理装置１－９に入力してもよい。時間領域から周波数領域への変換方法にも限定はなく、例えば離散フーリエ変換などを用いればよい。あるいは、図１１Ｂに例示するように、図示していない他の処理部によって得られた周波数別観測信号ｘｆ，ｔが信号処理装置１－９に入力されてもよい。例えば、上述の時間領域の観測信号ｘ（ｉ）が時間フレームごとに周波数領域の信号に変換され、これらの周波数領域の信号が他の処理部で処理され、それによって得られた周波数別観測信号ｘｆ，ｔが信号処理装置１－９に入力されてもよい。
上述した信号処理装置１－９に入力される周波数別観測信号ｘｆ，ｔは、音源から発せられた音響信号を集音して得られた観測信号の複数の周波数帯域のそれぞれに対応する信号であればどのようなものであってもよい。例えば、図１１Ａおよび図１１Ｃに例示するように、音源から発せられた音響信号をＭ個のマイクロホンで集音して得られた時間領域の観測信号ｘ（ｉ）＝［ｘ（ｉ）（１），ｘ（ｉ）（２），…，ｘ（ｉ）（Ｍ）］Ｔ（ただしｉは離散時間を表すインデックス）が分離部１０５１に入力され、分離部１０５１が観測信号ｘ（ｉ）を周波数領域の周波数別観測信号ｘｆ，ｔに変換し、周波数別観測信号ｘｆ，ｔを信号処理装置１－９に入力してもよい。時間領域から周波数領域への変換方法にも限定はなく、例えば離散フーリエ変換などを用いればよい。あるいは、図１１Ｂに例示するように、図示していない他の処理部によって得られた周波数別観測信号ｘｆ，ｔが信号処理装置１－９に入力されてもよい。例えば、上述の時間領域の観測信号ｘ（ｉ）が時間フレームごとに周波数領域の信号に変換され、これらの周波数領域の信号が他の処理部で処理され、それによって得られた周波数別観測信号ｘｆ，ｔが信号処理装置１－９に入力されてもよい。
信号処理装置１－９から出力された目的信号ｙｆ，ｔは、時間領域の信号ｙ（ｉ）に変換されることなく他の処理（音声認識処理等）に使用されてもよいし、時間領域の信号ｙ（ｉ）に変換されてもよい。例えば、図１１Ｃに例示するように、信号処理装置１－９から出力された目的信号ｙｆ，ｔがそのまま出力され、他の処理に使用されてもよい。あるいは、図１１Ａおよび図１１Ｂのように、信号処理装置１－９から出力された目的信号ｙｆ，ｔが統合部１０５２に入力され、統合部１０５２が目的信号ｙｆ，ｔを統合して時間領域の信号ｙ（ｉ）を得て出力してもよい。目的信号ｙｆ，ｔから時間領域の信号ｙ（ｉ）を得る方法にも限定はないが、例えば、逆フーリエ変換などを用いることができる。
以降、各実施形態の手法の実験結果を示す。
［実験結果１（第１実施形態）］
次に、第1実施形態および従来法１～３による雑音残響抑圧結果を例示する。
この実験では観測信号として「REVERB Challenge」のデータセットを利用した。このデータセットは、定常雑音と残響のある部屋で読み上げられた英語音声を、その話者から離れた位置（０．５～２．５ｍ）に配置されたマイクロホンで収音して得られた音響データ（Real Data）と、その環境を模擬して得られた音響データ（Sim Data）とを収録している。マイクロホン数Ｍ＝８とした。周波数別観測信号は、短時間フーリエ変換により求めた。フレーム長は32ミリ秒、フレームシフトは４とし、予測遅延はｄ＝４とした。これらのデータを用い、本発明および従来法１～３によって雑音残響抑圧した信号の音声品質および音声認識精度を評価した。
［実験結果１（第１実施形態）］
次に、第1実施形態および従来法１～３による雑音残響抑圧結果を例示する。
この実験では観測信号として「REVERB Challenge」のデータセットを利用した。このデータセットは、定常雑音と残響のある部屋で読み上げられた英語音声を、その話者から離れた位置（０．５～２．５ｍ）に配置されたマイクロホンで収音して得られた音響データ（Real Data）と、その環境を模擬して得られた音響データ（Sim Data）とを収録している。マイクロホン数Ｍ＝８とした。周波数別観測信号は、短時間フーリエ変換により求めた。フレーム長は32ミリ秒、フレームシフトは４とし、予測遅延はｄ＝４とした。これらのデータを用い、本発明および従来法１～３によって雑音残響抑圧した信号の音声品質および音声認識精度を評価した。
図１２に、観測信号ならびに本発明および従来法１～３によって雑音残響抑圧した信号の音声品質の評価結果を例示する。「Ｓｉｍ」はＳｉｍ Ｄａｔａを表し、「Ｒｅａｌ」はＲｅａｌ Ｄａｔａを表す。「ＣＤ」はケプストラム歪、「ＳＲＭＲ」は信号対残響変調エネルギー比、「ＬＬＲ」は対数尤度比、「ＦＷＳＳＮＲ」は周波数重み付きセグメンタル信号対雑音比を表す。ＣＤとＬＬＲは値が小さいほど音声品質がよいことを表し、ＳＲＭＲとＦＷＳＳＮＲは値が大きいほど音声品質がよいことを表している。下線を付した値は最良値である。図１２に例示するように、本発明により、従来法１～３に比べて雑音と残響とを十分に抑圧できていることが分かる。
図１３に、観測信号ならびに本発明および従来法１～３によって雑音残響抑圧した信号の音声認識結果における単語誤り率を例示する。値が小さいほど音声認識精度が高いことを表している。下線を付した値は最良値である。「Ｒ１Ｎ」は部屋１で話者がマイクロホンから近い位置に存在した場合を表し、「Ｒ１Ｆ」は部屋１で話者がマイクロホンから遠い位置に存在した場合を表す。同様に、「Ｒ２Ｎ」「Ｒ３Ｎ」はそれぞれ部屋２，３で話者がマイクロホンから近い位置に存在した場合を表し、「Ｒ２Ｆ」「Ｒ３Ｆ」はそれぞれ部屋２，３で話者がマイクロホンから遠い位置に存在した場合を表す。「Ａｖｅ」は平均値を表す。図１２に例示するように、本発明により、従来法１～３に比べて雑音と残響とを十分に抑圧できていることが分かる。
［実験結果２（第４実施形態）］
図１４に、周波数別観測信号ｘｆ，ｔの残響を抑圧することなくステアリングベクトルを推定した場合（残響抑圧なしの場合）と、第４実施形態で説明したように周波数別観測信号ｘｆ，ｔの残響を抑圧してからステアリングベクトルを推定した場合（残響抑圧ありの場合）とでの雑音残響抑圧結果を例示する。なお「ＷＥＲ」は、雑音残響抑圧を行って得られた目的信号で音声認識を行った場合の文字誤り率を表す。ＷＥＲの値が小さいほど高性能である。図１４に例示するように、残響抑圧ありの場合の方が残響抑圧なしの場合よりも目的信号の音声品質がよいことが分かる。
図１４に、周波数別観測信号ｘｆ，ｔの残響を抑圧することなくステアリングベクトルを推定した場合（残響抑圧なしの場合）と、第４実施形態で説明したように周波数別観測信号ｘｆ，ｔの残響を抑圧してからステアリングベクトルを推定した場合（残響抑圧ありの場合）とでの雑音残響抑圧結果を例示する。なお「ＷＥＲ」は、雑音残響抑圧を行って得られた目的信号で音声認識を行った場合の文字誤り率を表す。ＷＥＲの値が小さいほど高性能である。図１４に例示するように、残響抑圧ありの場合の方が残響抑圧なしの場合よりも目的信号の音声品質がよいことが分かる。
［実験結果３（第７，９実施形態）］
図１５Ａ，図１５Ｂ，図１５Ｃに、第７実施形態および第９実施形態で説明したように畳み込みビームフォーマの推定を逐次処理で実行した場合の雑音残響抑圧結果を例示する。図１５Ａ，図１５Ｂ，図１５ＣではＬ＝６４［ｍｓｅｃ」、α＝０．９９９９、β＝０．６６とした。また「Ａｄａｐｔｉｖｅ ＮＣＭ」は第５実施形態の方法で生成された推定ステアリングベクトルνｆ，ｔを用いた場合の結果を表す。また「ＰｒｅＦｉｘｅｄ ＮＣＭ」は第５実施形態の変形例１の方法で生成された推定ステアリングベクトルνｆ，ｔを用いた場合の結果を表す。また「観測信号」とは何ら雑音残響抑圧を行っていない場合の結果を表す。これらより、第７，９実施形態の雑音残響抑圧によって目的信号の音声品質が向上していることが分かる。
図１５Ａ，図１５Ｂ，図１５Ｃに、第７実施形態および第９実施形態で説明したように畳み込みビームフォーマの推定を逐次処理で実行した場合の雑音残響抑圧結果を例示する。図１５Ａ，図１５Ｂ，図１５ＣではＬ＝６４［ｍｓｅｃ」、α＝０．９９９９、β＝０．６６とした。また「Ａｄａｐｔｉｖｅ ＮＣＭ」は第５実施形態の方法で生成された推定ステアリングベクトルνｆ，ｔを用いた場合の結果を表す。また「ＰｒｅＦｉｘｅｄ ＮＣＭ」は第５実施形態の変形例１の方法で生成された推定ステアリングベクトルνｆ，ｔを用いた場合の結果を表す。また「観測信号」とは何ら雑音残響抑圧を行っていない場合の結果を表す。これらより、第７，９実施形態の雑音残響抑圧によって目的信号の音声品質が向上していることが分かる。
［その他の変形例等］
なお、本発明は上述の実施形態に限定されるものではない。例えば、上述の実施形態ではすべての周波数帯域に対してｄを同一値としたが、周波数帯域ごとにｄが設定されてもよい。すなわちｄに変えて正整数ｄｆが用いられてもよい。同様に、上述の実施形態ではすべての周波数帯域に対してＬを同一値としたが、周波数帯域ごとにＬが設定されてもよい。すなわちＬに変えて正整数Ｌｆが用いられてもよい。
なお、本発明は上述の実施形態に限定されるものではない。例えば、上述の実施形態ではすべての周波数帯域に対してｄを同一値としたが、周波数帯域ごとにｄが設定されてもよい。すなわちｄに変えて正整数ｄｆが用いられてもよい。同様に、上述の実施形態ではすべての周波数帯域に対してＬを同一値としたが、周波数帯域ごとにＬが設定されてもよい。すなわちＬに変えて正整数Ｌｆが用いられてもよい。
上述の第１～３実施形態では、１≦ｔ≦Ｎに対応する時間フレームを処理単位としてコスト関数等（式（２）（７）（１２）（１３）（１４）（１８））を定めてバッチ処理する例を示したが、本発明はこれに限定されない。例えば、１≦ｔ≦Ｎに対応する時間フレームを処理単位とするのではなく、その一部の時間フレームを処理単位として各処理が実行されてもよい。あるいは、リアルタイムで処理単位となる時間フレームを更新し、各時刻の処理単位ごとにコスト関数等を定めて各処理を実行してもよい。例えば、現在の時間フレームの番号をｔｃと表現する場合、１≦ｔ≦ｔｃに対応する時間フレームを処理単位としてもよいし、正整数の定数ηに対してｔｃ－η≦ｔ≦ｔｃに対応する時間フレームを処理単位としてもよい。
上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
上記の各装置は、例えば、ＣＰＵ（central processing unit）等のプロセッサ（ハードウェア・プロセッサ）およびＲＡＭ（random-access memory）・ＲＯＭ（read-only memory）等のメモリ等を備える汎用または専用のコンピュータが所定のプログラムを実行することで構成される。このコンピュータは１個のプロセッサやメモリを備えていてもよいし、複数個のプロセッサやメモリを備えていてもよい。このプログラムはコンピュータにインストールされてもよいし、予めＲＯＭ等に記録されていてもよい。また、ＣＰＵのようにプログラムが読み込まれることで機能構成を実現する電子回路（circuitry）ではなく、プログラムを用いることなく処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。１個の装置を構成する電子回路が複数のＣＰＵを含んでいてもよい。
上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は、非一時的な（non-transitory）記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。
このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ－ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。
コンピュータ上で所定のプログラムを実行させて本装置の処理機能が実現されるのではなく、これらの処理機能の少なくとも一部がハードウェアで実現されてもよい。
本発明は、音響信号から雑音と残響とを抑圧することが必要な様々な用途に利用できる。例えば、音声認識、通話システム、電話会議システム等に本発明を利用できる。
１～９ 信号処理装置
１１，２１，７１，８１，９１ 推定部
１２，２２ 抑圧部
１１，２１，７１，８１，９１ 推定部
１２，２２ 抑圧部
Claims (15)
- 目的の音源から発せられた音響信号を集音して得られた観測信号の複数の周波数帯域のそれぞれに対応する周波数別観測信号に、各時刻において現在の信号と所定の遅延を持つ長さ０以上の過去の信号列との重み付き和を計算する畳み込みビームフォーマを適用して得られる推定信号が、所定の確率モデルに基づく前記推定信号の音声らしさを表す確率を大きくするように、前記畳み込みビームフォーマを得る推定部と、
前記推定部で得られた前記畳み込みビームフォーマを前記周波数別観測信号に適用して目的信号を得る抑圧部と、
を有する信号処理装置。 - 請求項１の信号処理装置であって、
前記推定部は、前記確率モデルに基づく前記推定信号の音声らしさを表す確率を最大化する前記畳み込みビームフォーマを得る、信号処理装置。 - 請求項１または２の信号処理装置であって、
前記推定部は、前記目的信号を、前記目的の音源から発せられてマイクロホンで集音される音に対応する信号のうち直接音と初期反射音に対応する信号として、前記周波数別観測信号に前記畳み込みビームフォーマを適用した結果前記目的信号が歪まないという拘束条件のもとで、所定の時間区間に属する各時刻での前記推定信号のパワーを、前記目的信号のパワーの逆数または前記目的信号の推定パワーの逆数で重み付けして得られる値の総和を最小化する前記畳み込みビームフォーマを得る、信号処理装置。 - 請求項３の信号処理装置であって、
前記畳み込みビームフォーマは、前記周波数別観測信号から残響を抑圧する残響抑圧フィルタと、前記周波数別観測信号に前記残響抑圧フィルタを適用して得られる信号から雑音を抑圧する瞬時ビームフォーマとを合成して得られるビームフォーマと等価であり、
前記瞬時ビームフォーマは、各時刻において、現在の時刻の信号の重み付き和を計算するものであり、
前記拘束条件は、前記音源から前記音響信号の集音位置までの直接音および初期反射音に関する伝達関数を要素とするステアリングベクトルまたは前記ステアリングベクトルの推定ベクトルである推定ステアリングベクトルに前記瞬時ビームフォーマを適用して得られる値が定数であるという条件である、信号処理装置。 - 請求項４の信号処理装置であって、
前記推定部は、
前記周波数別観測信号と前記目的信号のパワーまたは推定パワーとに基づき、重み付き時空間共分散行列を得る行列推定部と、
前記重み付き時空間共分散行列と前記ステアリングベクトルまたは前記推定ステアリングベクトルとに基づき、前記畳み込みビームフォーマを得る畳み込みビームフォーマ推定部と、を含む、信号処理装置。 - 請求項４または請求項５の信号処理装置であって、
前記周波数別観測信号から残響成分を抑圧した周波数別残響抑圧信号を得る残響抑圧部と、
前記周波数別残響抑圧信号から前記推定ステアリングベクトルを得て出力するステアリングベクトル推定部と、
をさらに有する信号処理装置。 - 請求項６の信号処理装置であって、
前記周波数別残響抑圧信号は時系列信号であり、
第１時間区間に属する前記周波数別残響抑圧信号、および前記第１時間区間よりも過去の第２時間区間に属する前記周波数別残響抑圧信号の空間共分散行列に基づく、前記第１時間区間に属する前記周波数別残響抑圧信号の空間共分散行列を得る観測信号共分散行列更新部と、
前記周波数別残響抑圧信号の雑音共分散行列の逆行列、前記第１時間区間に属する前記周波数別残響抑圧信号の空間共分散行列、および前記第２時間区間の主成分ベクトルに基づき、前記周波数別残響抑圧信号の雑音共分散行列の逆行列と、前記第１時間区間に属する前記周波数別残響抑圧信号の空間共分散行列と、の積に対する前記第１時間区間の主成分ベクトルを得る主成分ベクトル更新部と、
をさらに有し、
前記ステアリングベクトル推定部は、前記周波数別残響抑圧信号の雑音共分散行列と前記第１時間区間の主成分ベクトルとに基づき、前記第１時間区間の前記推定ステアリングベクトルを得て出力する、信号処理装置。 - 請求項４の信号処理装置であって、
前記周波数別観測信号は時系列信号であり、
第１時間区間に属する前記周波数別観測信号、および前記第１時間区間よりも過去の第２時間区間に属する前記周波数別観測信号の空間共分散行列に基づく、前記第１時間区間に属する前記周波数別観測信号の空間共分散行列を得る観測信号共分散行列更新部と、
前記周波数別観測信号の雑音共分散行列の逆行列、前記第１時間区間に属する前記周波数別観測信号の空間共分散行列、および前記第２時間区間の主成分ベクトルに基づき、前記周波数別観測信号の雑音共分散行列の逆行列と、前記第１時間区間に属する前記周波数別観測信号の空間共分散行列と、の積に対する前記第１時間区間の主成分ベクトルを得る主成分ベクトル更新部と、
前記第１時間区間の主成分ベクトルと前記周波数別観測信号の雑音共分散行列とに基づき、前記第１時間区間の前記推定ステアリングベクトルを得て出力するステアリングベクトル推定部と、
を有する信号処理装置。 - 請求項７または８の信号処理装置であって、
前記推定部は、
前記周波数別観測信号、および前記目的信号のパワーまたは推定パワー、ならびに前記第１時間区間よりも過去の第２時間区間の時空間共分散行列の逆行列に基づき、前記第１時間区間の時空間共分散行列の逆行列を推定する行列推定部と、
前記第１時間区間の前記時空間共分散行列の逆行列および前記推定ステアリングベクトルに基づき、前記第１時間区間の前記畳み込みビームフォーマを得る畳み込みビームフォーマ推定部と、を含む、信号処理装置。 - 請求項４、６から８の何れかの信号処理装置であって、
前記推定部は、
前記瞬時ビームフォーマを、前記ステアリングベクトルの定数倍または前記推定ステアリングベクトルの定数倍と、前記ステアリングベクトルまたは前記推定ステアリングベクトルの直交補空間に対応するブロック行列と変形瞬時ビームフォーマとの積と、の和で表記したときに、前記第１時間区間の周波数別観測信号に前記ブロック行列を乗じた結果得られる信号を要素に持つことを特徴とする、前記ステアリングベクトルまたは前記推定ステアリングベクトル、前記周波数別観測信号、および前記目的信号のパワーまたは推定パワー基づく、重み付き変形時空間共分散行列を得る行列推定部と、
前記ステアリングベクトルまたは前記推定ステアリングベクトル、前記重み付き変形時空間共分散行列、および前記周波数別観測信号に基づく、前記畳み込みビームフォーマを得る畳み込みビームフォーマ推定部と、を含む、
信号処理装置。 - 請求項７または８の信号処理装置であって、
前記瞬時ビームフォーマは、前記推定ステアリングベクトルの定数倍と、前記推定ステアリングベクトルの直交補空間に対応するブロック行列と変形瞬時ビームフォーマとの積と、の和と等価であり、
前記推定部は、
前記第１時間区間の前記推定ステアリングベクトル、および前記第１時間区間に属する前記周波数別観測信号に基づく、前記第１時間区間の初期ビームフォーマ出力を得る初期ビームフォーマ適用部と、
前記第１時間区間の初期ビームフォーマ出力、前記第１時間区間の前記推定ステアリングベクトル、および前記周波数別観測信号、ならびに前記第１時間区間よりも過去の第２時間区間の前記畳み込みビームフォーマに基づく、前記第１時間区間の前記目的信号を得る前記抑圧部と、
前記第２時間区間の重み付き変形時空間共分散行列の逆行列、ならびに前記第１時間区間の前記推定ステアリングベクトル、前記周波数別観測信号、および前記目的信号のパワーまたは推定パワーに基づく、前記第１時間区間の適応ゲインを得る適応ゲイン推定部と、
前記第１時間区間の適応ゲイン、前記第１時間区間の前記推定ステアリングベクトル、および前記周波数別観測信号、ならびに前記第２時間区間の重み付き変形時空間共分散行列の逆行列に基づく、前記第１時間区間の重み付き変形時空間共分散行列の逆行列を得る行列推定部と、
前記第１時間区間の適応ゲイン、前記第１時間区間の前記目的信号、および前記第２時間区間の前記畳み込みビームフォーマに基づく、前記第１時間区間の畳み込みビームフォーマを得る前記畳み込みビームフォーマ推定部と、
を含む、信号処理装置。 - 請求項１から１１の何れかの信号処理装置であって、
前記観測信号は、雑音および残響が存在する環境下で前記音源から発せられた前記音響信号を集音して得られた信号である、信号処理装置。 - 請求項１から１２の何れかの信号処理装置であって、
前記畳み込みビームフォーマは、各時刻において現在の信号の重み付け値を計算するビームフォーマである、信号処理装置。 - 目的の音源から発せられた音響信号を集音して得られた観測信号の複数の周波数帯域のそれぞれに対応する周波数別観測信号に、各時刻において現在の信号と所定の遅延を持つ長さ０以上の過去の信号列との重み付き和を計算する畳み込みビームフォーマを適用して得られる推定信号が、所定の確率モデルに基づく前記推定信号の音声らしさを表す確率を大きくするように、前記畳み込みビームフォーマを得る推定ステップと、
前記推定部で得られた前記畳み込みビームフォーマを前記周波数別観測信号に適用して目的信号を得る抑圧ステップと、
を有する信号処理方法。 - 請求項１から１３の何れかの信号処理装置としてコンピュータを機能させるためのプログラム。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018234075 | 2018-12-14 | ||
| JP2018234075 | 2018-12-14 | ||
| JPPCT/JP2019/016587 | 2019-04-18 | ||
| PCT/JP2019/016587 WO2020121545A1 (ja) | 2018-12-14 | 2019-04-18 | 信号処理装置、信号処理方法、およびプログラム |
| PCT/JP2019/029921 WO2020121590A1 (ja) | 2018-12-14 | 2019-07-31 | 信号処理装置、信号処理方法、およびプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2020121590A1 JPWO2020121590A1 (ja) | 2021-10-14 |
| JP7115562B2 true JP7115562B2 (ja) | 2022-08-09 |
Family
ID=71076328
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020559702A Active JP7115562B2 (ja) | 2018-12-14 | 2019-07-31 | 信号処理装置、信号処理方法、およびプログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11894010B2 (ja) |
| JP (1) | JP7115562B2 (ja) |
| WO (2) | WO2020121545A1 (ja) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111933170B (zh) * | 2020-07-20 | 2024-03-29 | 歌尔科技有限公司 | 语音信号的处理方法、装置、设备及存储介质 |
| JP7430127B2 (ja) * | 2020-09-02 | 2024-02-09 | 三菱重工業株式会社 | 予測装置、予測方法、及びプログラム |
| WO2022079854A1 (ja) | 2020-10-15 | 2022-04-21 | 日本電信電話株式会社 | 音響信号強調装置、方法及びプログラム |
| CN112802490B (zh) * | 2021-03-11 | 2023-08-18 | 北京声加科技有限公司 | 一种基于传声器阵列的波束形成方法和装置 |
| US11798533B2 (en) * | 2021-04-02 | 2023-10-24 | Google Llc | Context aware beamforming of audio data |
| WO2023276068A1 (ja) * | 2021-06-30 | 2023-01-05 | 日本電信電話株式会社 | 音響信号強調装置、音響信号強調方法、プログラム |
| CN113707136B (zh) * | 2021-10-28 | 2021-12-31 | 南京南大电子智慧型服务机器人研究院有限公司 | 服务型机器人语音交互的音视频混合语音前端处理方法 |
| CN115086836B (zh) * | 2022-06-14 | 2023-04-18 | 西北工业大学 | 一种波束形成方法、系统及波束形成器 |
| CN117292700A (zh) * | 2022-06-20 | 2023-12-26 | 青岛海尔科技有限公司 | 分布式唤醒的语音增强方法和装置、存储介质 |
| WO2024038522A1 (ja) * | 2022-08-17 | 2024-02-22 | 日本電信電話株式会社 | 信号処理装置、信号処理方法、プログラム |
| CN118197341A (zh) * | 2024-04-15 | 2024-06-14 | 武汉理工大学 | 一种基于房间环境自适应校准的波束形成方法及设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001100800A (ja) | 1999-09-27 | 2001-04-13 | Toshiba Corp | 雑音成分抑圧処理装置および雑音成分抑圧処理方法 |
| JP5227393B2 (ja) | 2008-03-03 | 2013-07-03 | 日本電信電話株式会社 | 残響除去装置、残響除去方法、残響除去プログラム、および記録媒体 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3685380A (en) * | 1971-02-19 | 1972-08-22 | Amada Ltd Us | Multi-track turret and overload protection |
| JP2007093630A (ja) * | 2005-09-05 | 2007-04-12 | Advanced Telecommunication Research Institute International | 音声強調装置 |
| EP2013869B1 (en) * | 2006-05-01 | 2017-12-13 | Nippon Telegraph And Telephone Corporation | Method and apparatus for speech dereverberation based on probabilistic models of source and room acoustics |
| JP5139111B2 (ja) * | 2007-03-02 | 2013-02-06 | 本田技研工業株式会社 | 移動音源からの音の抽出方法および装置 |
| JP5075042B2 (ja) * | 2008-07-23 | 2012-11-14 | 日本電信電話株式会社 | エコー消去装置、エコー消去方法、そのプログラム、記録媒体 |
| EP2222091B1 (en) * | 2009-02-23 | 2013-04-24 | Nuance Communications, Inc. | Method for determining a set of filter coefficients for an acoustic echo compensation means |
| US8666090B1 (en) * | 2013-02-26 | 2014-03-04 | Full Code Audio LLC | Microphone modeling system and method |
| US10090000B1 (en) * | 2017-11-01 | 2018-10-02 | GM Global Technology Operations LLC | Efficient echo cancellation using transfer function estimation |
-
2019
- 2019-04-18 WO PCT/JP2019/016587 patent/WO2020121545A1/ja active Application Filing
- 2019-07-31 US US17/312,912 patent/US11894010B2/en active Active
- 2019-07-31 JP JP2020559702A patent/JP7115562B2/ja active Active
- 2019-07-31 WO PCT/JP2019/029921 patent/WO2020121590A1/ja active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001100800A (ja) | 1999-09-27 | 2001-04-13 | Toshiba Corp | 雑音成分抑圧処理装置および雑音成分抑圧処理方法 |
| JP5227393B2 (ja) | 2008-03-03 | 2013-07-03 | 日本電信電話株式会社 | 残響除去装置、残響除去方法、残響除去プログラム、および記録媒体 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020121590A1 (ja) | 2020-06-18 |
| US20220068288A1 (en) | 2022-03-03 |
| US11894010B2 (en) | 2024-02-06 |
| JPWO2020121590A1 (ja) | 2021-10-14 |
| WO2020121545A1 (ja) | 2020-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7115562B2 (ja) | 信号処理装置、信号処理方法、およびプログラム | |
| CN110100457B (zh) | 基于噪声时变环境的加权预测误差的在线去混响算法 | |
| US8848933B2 (en) | Signal enhancement device, method thereof, program, and recording medium | |
| CN111418012B (zh) | 用于处理音频信号的方法和音频处理设备 | |
| Jukić et al. | Multi-channel linear prediction-based speech dereverberation with sparse priors | |
| US10123113B2 (en) | Selective audio source enhancement | |
| Doclo et al. | GSVD-based optimal filtering for single and multimicrophone speech enhancement | |
| CN108172231B (zh) | 一种基于卡尔曼滤波的去混响方法及系统 | |
| JP4195267B2 (ja) | 音声認識装置、その音声認識方法及びプログラム | |
| Schwartz et al. | An expectation-maximization algorithm for multimicrophone speech dereverberation and noise reduction with coherence matrix estimation | |
| JP2005249816A (ja) | 信号強調装置、方法及びプログラム、並びに音声認識装置、方法及びプログラム | |
| Nakatani et al. | Maximum likelihood convolutional beamformer for simultaneous denoising and dereverberation | |
| Ikeshita et al. | Independent vector extraction for fast joint blind source separation and dereverberation | |
| JP6225245B2 (ja) | 信号処理装置、方法及びプログラム | |
| JP6748304B2 (ja) | ニューラルネットワークを用いた信号処理装置、ニューラルネットワークを用いた信号処理方法及び信号処理プログラム | |
| Neo et al. | Enhancement of noisy reverberant speech using polynomial matrix eigenvalue decomposition | |
| KR102410850B1 (ko) | 잔향 제거 오토 인코더를 이용한 잔향 환경 임베딩 추출 방법 및 장치 | |
| Doclo et al. | Multimicrophone noise reduction using recursive GSVD-based optimal filtering with ANC postprocessing stage | |
| Ikeshita et al. | Blind signal dereverberation based on mixture of weighted prediction error models | |
| JP6106611B2 (ja) | モデル推定装置、雑音抑圧装置、音声強調装置、これらの方法及びプログラム | |
| Song et al. | An integrated multi-channel approach for joint noise reduction and dereverberation | |
| CN114242104A (zh) | 语音降噪的方法、装置、设备及存储介质 | |
| Taniguchi et al. | Generalized weighted-prediction-error dereverberation with varying source priors for reverberant speech recognition | |
| Nakatani et al. | Simultaneous denoising, dereverberation, and source separation using a unified convolutional beamformer | |
| WO2021205494A1 (ja) | 信号処理装置、信号処理方法、およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210601 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210601 |
|
| A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A801 Effective date: 20210601 |
|
| A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20210601 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220628 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220711 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7115562 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |