JP7428251B2

JP7428251B2 - 目的音信号生成装置、目的音信号生成方法、プログラム

Info

Publication number: JP7428251B2
Application number: JP2022531225A
Authority: JP
Inventors: 智広中谷; 慶介木下; マークデルクロア
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2020-06-19
Filing date: 2020-06-19
Publication date: 2024-02-06
Anticipated expiration: 2040-06-19
Also published as: WO2021255925A1; JPWO2021255925A1; US20230239616A1

Description

本発明は、複数のマイクを用いて収音された観測音に含まれる目的音を抽出する技術に関する。

複数のマイクを用いて収音された観測音に含まれる目的音を抽出するための信号処理技術として、ビームフォーマ(Beamformer: BF)が知られている。ビームフォーマを推定する手法として、例えば、非特許文献１や非特許文献２に開示されている手法がある。

非特許文献１の手法では、ビームフォーマの推定のため、ステアリングベクトルを求める。そのため、非特許文献１の手法では、ニューラルネットワークにより得られたマスクを用いて生成される所定の行列の最大固有値に対応する固有ベクトルを求める必要がある。つまり、非特許文献１の手法では、固有値分解問題を解く必要がある。

一方、非特許文献２の手法では、ビームフォーマの推定のために、ステアリングベクトルを求める必要はない。非特許文献２の手法では、固有値分解問題を解く代わりに、行列の逆行列演算を行うだけでビームフォーマを推定することができる。

J. Haymann, L. Drude, R. Haeb-Umbach, "Neural network based spectral mask estimation for acoustic beamforming," 2016 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2016. T. Ochiai, S. Watanabe, T. Hori, J. R. Hershey, X. Xiao, "Unified Architecture for Multichannel End-to-End Speech Recognition with Neural Beamforming," IEEE Journal of Selected Topics in Signal Processing, vol.11, no.8, pp.1274-1288, 2017.

非特許文献１の手法では、ビームフォーマの推定誤差を小さくするために誤差逆伝播法を用いてニューラルネットワークを学習しようとしても、固有値分解問題に対応する部分での誤差逆伝播の計算は数値的に不安定になりやすく、その結果、ビームフォーマの推定誤差を小さくできないという問題があった。一方、非特許文献２の手法では、ビームフォーマ推定のための計算における近似誤差が大きく、雑音や残響のレベルが大きい環境では、ビームフォーマの推定精度が劣化するという問題があった。

そこで本発明では、ビームフォーマの推定誤差を小さくするために誤差逆伝播法を用いてニューラルネットワークを学習する場合でも計算が不安定になることを避けることができるステアリングベクトル生成方法に基づく目的音抽出技術を提供することを目的とする。

本発明の一態様は、tを時間フレームを表すインデックス、fを周波数ビンを表すインデックスとし、複数のマイクを用いて収音された観測音に対応する観測信号ベクトルx_t,fからマスクγ_t,fを生成するマスク生成部と、前記観測信号ベクトルx_t,fと前記マスクγ_t,fからステアリングベクトルh_fを生成するステアリングベクトル生成部と、前記観測信号ベクトルx_t,fと前記ステアリングベクトルh_fからビームフォーマベクトルw_fを生成するビームフォーマベクトル生成部と、前記観測信号ベクトルx_t,fと前記ビームフォーマベクトルw_fから前記観測音に含まれる目的音に対応する目的音信号y_t,fを生成する目的音信号生成部と、を含む目的音信号生成装置であって、前記マスク生成部は、誤差逆伝搬法を用いて学習されたニューラルネットワークとして構成され、前記ステアリングベクトル生成部は、パワー法を用いて前記観測信号ベクトルx_t,fと前記マスクγ_t,fから生成される所定の行列の最大固有値に対応する固有ベクトルを求めることにより、前記ステアリングベクトルh_fを生成する。

本発明の一態様は、tを時間フレームを表すインデックス、fを周波数ビンを表すインデックスとし、複数のマイクを用いて収音された観測音に対応する観測信号ベクトルx_t,fからマスクγ_t,fを生成するマスク生成部と、前記観測信号ベクトルx_t,fを用いて得られる所定のベクトルである中間信号ベクトル^x_t,fを生成する中間信号ベクトル生成部と、前記中間信号ベクトル^x_t,fと前記マスクγ_t,fからステアリングベクトルh_fを生成するステアリングベクトル生成部と、前記中間信号ベクトル^x_t,fと前記ステアリングベクトルh_fからビームフォーマベクトルw_fを生成するビームフォーマベクトル生成部と、前記中間信号ベクトル^x_t,fと前記ビームフォーマベクトルw_fから前記観測音に含まれる目的音に対応する目的音信号y_t,fを生成する目的音信号生成部と、を含む目的音信号生成装置であって、前記マスク生成部は、誤差逆伝搬法を用いて学習されたニューラルネットワークとして構成され、前記ステアリングベクトル生成部は、パワー法を用いて前記観測信号ベクトルx_t,fと前記マスクγ_t,fから生成される所定の行列の最大固有値に対応する固有ベクトルを求めることにより、前記ステアリングベクトルh_fを生成する。

本発明によれば、ビームフォーマの推定誤差を小さくするために誤差逆伝播法を用いてニューラルネットワークを学習する場合でも計算が不安定になることを避けることが可能となる。

目的音信号生成装置１００の構成を示すブロック図である。目的音信号生成装置１００の動作を示すフローチャートである。ステアリングベクトル生成部１２０の構成を示すブロック図である。ステアリングベクトル生成部１２０の動作を示すフローチャートである。目的音信号生成装置２００の構成を示すブロック図である。目的音信号生成装置２００の動作を示すフローチャートである。ステアリングベクトル生成部２２０の構成を示すブロック図である。ステアリングベクトル生成部２２０の動作を示すフローチャートである。本発明の実施形態における各装置を実現するコンピュータの機能構成の一例を示す図である。

以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。

各実施形態の説明に先立って、この明細書における表記方法について説明する。

^（キャレット）は上付き添字を表す。例えば、x^{y^z}はy^zがxに対する上付き添字であり、x_y^zはy^zがxに対する下付き添字であることを表す。また、_（アンダースコア）は下付き添字を表す。例えば、x^y_zはy_zがxに対する上付き添字であり、x_{y_z}はy_zがxに対する下付き添字であることを表す。

ある文字xに対する^xや~xのような上付き添え字の”^”や”~”は、本来”x”の真上に記載されるべきであるが、明細書の記載表記の制約上、^xや~xと記載しているものである。

また、ベクトルvや行列Mの複素共役転置を、v^HやM^Hのように上付きの^Hで表す。行列Mの逆行列を、M^-1のように上付きの^-1で表す。スカラsの複素共役を、s^*のように上付きの^*で表す。
＜技術的背景＞
本発明の実施形態では、行列演算のみを用いて近似的に最大固有値に対応する固有ベクトルを求め、ステアリングベクトルを生成する。これにより、固有値分解問題そのものを解く必要がないため、ビームフォーマの推定誤差をさらに小さくするために誤差逆伝播法を用いてニューラルネットワークを学習する場合でも計算が不安定になるという問題を回避することができる。

なお、本方法には所定の繰り返し計算が含まれる。この繰り返し回数を増やすことで、最大固有値に対応する固有ベクトルを求めるための近似計算の誤差を抑制し、ビームフォーマの推定精度を高めることできる。

以下では、信号を短時間フーリエ変換(Short-Time Fourier Transform: STFT)を行った後の時間周波数領域の値として扱う。tを時間フレームを表すインデックス、fを周波数ビンを表すインデックスとする。
＜第１実施形態＞
目的音信号生成装置１００は、複数のマイクを用いて収音された観測音に対応する観測信号ベクトルx_t,fから観測音に含まれる目的音に対応する目的音信号y_t,fを生成する。

以下、図１～図２を参照して目的音信号生成装置１００を説明する。図１は、目的音信号生成装置１００の構成を示すブロック図である。図２は、目的音信号生成装置１００の動作を示すフローチャートである。図１に示すように目的音信号生成装置１００は、マスク生成部１１０と、ステアリングベクトル生成部１２０と、ビームフォーマベクトル生成部１３０と、目的音信号生成部１４０と、記録部１９０を含む。記録部１９０は、目的音信号生成装置１００の処理に必要な情報を適宜記録する構成部である。

図２に従い目的音信号生成装置１００の動作について説明する。

Ｓ１１０において、マスク生成部１１０は、観測信号ベクトルx_t,fを入力とし、観測信号ベクトルx_t,fからマスクγ_t,fを生成し、出力する。ここで、マスクとは、後述する空間共分散行列の計算に用いるものである。具体的には、マスクとは、0以上1以下の値をとる指標である。例えば、マスクγ_t,fは、各時間フレームt、各周波数ビンfにおいて目的音信号が含まれている確率を示すものとすることができる。この場合、γ_t,f=1は目的音信号が含まれていることを示し、γ_t,f=0は目的音信号が含まれていないことを示す。また、γ_t,fが0と1の間の値である場合は、目的音信号が含まれていることと目的音信号が含まれていないことの両者の中間的な状態を示す。また、マスクγ_t,fは、各時間フレームtに目的音が含まれている確率を示すものとすることができる。この場合、マスクγ_t,fは周波数に依存せずに同じ値をとるものとなる。

また、マスク生成部１１０は、非特許文献１や非特許文献２に記載のニューラルネットワークを用いて構成することができる。つまり、マスク生成部１１０は、誤差逆伝搬法を用いて学習されたニューラルネットワークとして構成される。

Ｓ１２０において、ステアリングベクトル生成部１２０は、観測信号ベクトルx_t,fとＳ１１０で生成したマスクγ_t,fを入力とし、観測信号ベクトルx_t,fとマスクγ_t,fからステアリングベクトルh_fを生成し、出力する。ここで、ステアリングベクトルとは、後述するビームフォーマベクトルの計算に用いるものである。

ステアリングベクトル生成部１２０は、パワー法を用いて観測信号ベクトルx_t,fとマスクγ_t,fから生成される所定の行列の最大固有値に対応する固有ベクトルを求めることにより、ステアリングベクトルh_fを生成するものとして構成することができる。以下、図３～図４を参照してステアリングベクトル生成部１２０を説明する。図３は、ステアリングベクトル生成部１２０の構成を示すブロック図である。図４は、ステアリングベクトル生成部１２０の動作を示すフローチャートである。図３に示すようにステアリングベクトル生成部１２０は、空間共分散行列生成部１２２と、ステアリングベクトル計算部１２４と、を含む。

図４に従いステアリングベクトル生成部１２０の動作について説明する。

Ｓ１２２において、空間共分散行列生成部１２２は、観測信号ベクトルx_t,fとＳ１１０で生成したマスクγ_t,fを入力とし、観測信号ベクトルx_t,fとマスクγ_t,fから目的音空間共分散行列Φ^s _fと雑音空間共分散行列Φⁿ _fを生成し、出力する。空間共分散行列生成部１２２は、次式により、目的音空間共分散行列Φ^s _fと雑音空間共分散行列Φⁿ _fを生成する。

Ｓ１２４において、ステアリングベクトル計算部１２４は、Ｓ１２２で生成した目的音空間共分散行列Φ^s _f、雑音空間共分散行列Φⁿ _fを入力とし、目的音空間共分散行列Φ^s _fと雑音空間共分散行列Φⁿ _fを用いて、初期ベクトルuからステアリングベクトルh_fを計算し、出力する。ここで、初期ベクトルuは、任意のベクトルでよく、例えば、参照マイクrに対応する要素が1であり、その他のマイクに対応する要素は0であるベクトルとすることができる。ステアリングベクトル計算部１２４は、次式により、ステアリングベクトルh_fを計算する。

（ただし、mは繰り返し回数を表す1以上の整数である）
式(1)の((Φⁿ _f)^-1Φ^s _f)^muは、パワー法を用いて行列(Φⁿ _f)^-1Φ^s _fの最大固有値に対応する固有ベクトルを近似的に計算することに相当する。繰り返し回数を表すmを十分に大きな正の整数とすることで、任意の初期ベクトルuに対して、最大固有値に対応する固有ベクトルが精度よく得られることが知られている。また、m=1などのようにmが比較的小さい値であっても、ある程度良好な上記固有ベクトルの近似が得られることも知られている。したがって、固有値分解問題そのものを解く代わりに、式(1)の計算をすることで、ステアリングベクトルを高精度に推定することが可能となる。

Ｓ１３０において、ビームフォーマベクトル生成部１３０は、観測信号ベクトルx_t,fとＳ１２０で生成したステアリングベクトルh_fを入力とし、観測信号ベクトルx_t,fとステアリングベクトルh_fからビームフォーマベクトルw_fを生成し、出力する。ビームフォーマベクトル生成部１３０は、次式により、ビームフォーマベクトルw_fを生成する。

ここで、h_frは、参照マイクrに対応するステアリングベクトルh_fの要素である。また、行列R_fは、次式により計算される。

（ただし、上記和は雑音区間に含まれる時間フレームtに関する和である）
Ｓ１４０において、目的音信号生成部１４０は、観測信号ベクトルx_t,fとＳ１３０で生成したビームフォーマベクトルw_fを入力とし、観測信号ベクトルx_t,fとビームフォーマベクトルw_fから目的音信号y_t,fを生成し、出力する。目的音信号生成部１４０は、次式により、目的音信号y_t,fを生成する。

以上、説明したように、本実施形態では、ニューラルネットワークを用いて推定したマスクに依存してビームフォーマの出力（つまり、目的音信号）が求められている。したがって、ニューラルネットワークによるマスク推定の精度を改善することができるならば、ビームフォーマの出力の精度もさらに改善できると期待される。これを実現するための方法として、誤差逆伝播法を用いることが、例えば、非特許文献２に開示されている。非特許文献２では、ビームフォーマのすべての出力{y_t,f}の推定精度を測るコスト関数E({y_t,f})が最小となるように、ニューラルネットワークを更新するための重みの勾配を求めている。ここで、{・}は添え字の値が異なる記号（例えば、y）をまとめた集合を表すものとする。一般に、入力から出力に向けての処理が、微分可能な入出力関係を持つ処理ブロックの接続として構成される場合、誤差逆伝播法を適用することができる。本実施形態のビームフォーマ処理の場合、ニューラルネットワークによるマスク推定、マスクに基づくビームフォーマ推定、ビームフォーマ適用の各処理ブロックは、それぞれ以下のように微分可能な関数として記述することができる。

ニューラルネットワークによるマスク推定は、観測信号ベクトル{x_t,f}と重み係数{θ_i}（ただし、θ_iは、i番目のニューラルネットワークの重み係数を表す）を入力として、マスク{γ_t,f}を出力する微分可能な関数Mとして記述することができる。

同様に、マスクに基づくビームフォーマ推定は、マスク{γ_t,f}と観測信号ベクトル{x_t,f}を入力として、ビームフォーマベクトル{w_f}を出力する微分可能な関数Wとして記述することができる。

同様に、ビームフォーマ適用は、ビームフォーマベクトルw_fと観測信号ベクトルx_t,fを入力として、目的音信号y_t,fを出力する微分可能な関数Gとして記述することができる。

誤差逆伝播法では、ニューラルネットワークの重み係数の勾配∂E/∂θ_iを計算するために必要な情報を、ビームフォーマ推定の時の手順と逆順に、つまり、出力から入力に向けて、伝達することで、ニューラルネットワークの学習を実現する。近年、この誤差逆伝播法の計算は、ニューラルネットワークの学習用に提供されているソフトウェア（例えば、PyTorchやTensorFlow）を用いて簡単に計算できるようになっている。しかし、上記処理ブロックの中に固有値分解問題を解く部分を含むと、誤差逆伝播法の計算が不安定になり、ニューラルネットワークが適切に学習できなくなるという問題があった。そこで、本実施形態では、固有値分解問題そのものを解くことがないようにすることで、誤差逆伝播法を用いてニューラルネットワークを適切に学習することができるようにした。

本発明の実施形態によれば、ビームフォーマの推定誤差を小さくするために誤差逆伝播法を用いてニューラルネットワークを学習する場合でも計算が不安定になることを避けることが可能となる。また、固有値分解問題を解くことなく、パワー法により高精度で生成したステアリングベクトルを用いて、ビームフォーマを推定することが可能となる。
＜第２実施形態＞
ここでは、参考非特許文献１に記載のように、観測信号ベクトルx_t,fの代わりに、観測信号ベクトルx_t,fから得られる所定のベクトルである中間信号ベクトル^x_t,fを用いて、目的音信号y_t,fを生成する形態について説明する。
（参考非特許文献１：T. Nakatani, K. Kinoshita, “Maximum-likelihood convolutional beamformer for simultaneous denoising and dereverberation,” 2019 27th European Signal Processing Conference (EUSIPCO), 2019.）
目的音信号生成装置２００は、複数のマイクを用いて収音された観測音に対応する観測信号ベクトルx_t,fから観測音に含まれる目的音に対応する目的音信号y_t,fを生成する。

以下、図５～図６を参照して目的音信号生成装置２００を説明する。図５は、目的音信号生成装置２００の構成を示すブロック図である。図６は、目的音信号生成装置２００の動作を示すフローチャートである。図５に示すように目的音信号生成装置２００は、マスク生成部１１０と、中間信号ベクトル生成部２１０と、ステアリングベクトル生成部２２０と、ビームフォーマベクトル生成部２３０と、目的音信号生成部２４０と、記録部２９０を含む。記録部２９０は、目的音信号生成装置２００の処理に必要な情報を適宜記録する構成部である。

図６に従い目的音信号生成装置２００の動作について説明する。

Ｓ１１０において、マスク生成部１１０は、観測信号ベクトルx_t,fを入力とし、観測信号ベクトルx_t,fからマスクγ_t,fを生成し、出力する。

Ｓ２１０において、中間信号ベクトル生成部２１０は、観測信号ベクトルx_t,fを入力とし、観測信号ベクトルx_t,fを用いて得られる所定のベクトルである中間信号ベクトル^x_t,fを生成し、出力する。中間信号ベクトル^x_t,fは、例えば、観測信号ベクトルx_t,fを含み、観測信号ベクトルx_t,fと周波数ビンが同一で、時間フレームが異なる観測信号ベクトルをいくつか含むベクトル（つまり、観測信号ベクトルx_t,fを含む複数の観測信号ベクトルから得られるベクトル）とすることができる（参考非特許文献１参照）。また、中間信号ベクトル^x_t,fは、例えば、WPE(Weighted Prediction Error)法を用いて得られる、観測音に含まれる残響を抑圧した音に対応するベクトル（つまり、WPE法による出力ベクトル）とすることができる。

Ｓ２２０において、ステアリングベクトル生成部２２０は、Ｓ２１０で生成した中間信号ベクトル^x_t,fとＳ１１０で生成したマスクγ_t,fを入力とし、中間信号ベクトル^x_t,fとマスクγ_t,fからステアリングベクトルh_fを生成し、出力する。

ステアリングベクトル生成部２２０は、パワー法を用いて中間信号ベクトル^x_t,fとマスクγ_t,fから生成される所定の行列の最大固有値に対応する固有ベクトルを求めることにより、ステアリングベクトルh_fを生成するものとして構成することができる。以下、図７～図８を参照してステアリングベクトル生成部２２０を説明する。図７は、ステアリングベクトル生成部２２０の構成を示すブロック図である。図８は、ステアリングベクトル生成部２２０の動作を示すフローチャートである。図７に示すようにステアリングベクトル生成部２２０は、空間共分散行列生成部２２２と、ステアリングベクトル計算部２２４と、を含む。

図８に従いステアリングベクトル生成部２２０の動作について説明する。

Ｓ２２２において、空間共分散行列生成部２２２は、Ｓ２１０で生成した中間信号ベクトル^x_t,fとＳ１１０で生成したマスクγ_t,fを入力とし、中間信号ベクトル^x_t,fとマスクγ_t,fから目的音空間共分散行列Φ^s _fと雑音空間共分散行列Φⁿ _fを生成し、出力する。空間共分散行列生成部２２２は、次式により、目的音空間共分散行列Φ^s _fと雑音空間共分散行列Φⁿ _fを生成する。

Ｓ２２４において、ステアリングベクトル計算部２２４は、Ｓ２２２で生成した目的音空間共分散行列Φ^s _f、雑音空間共分散行列Φⁿ _fを入力とし、目的音空間共分散行列Φ^s _fと雑音空間共分散行列Φⁿ _fを用いて、初期ベクトルuからステアリングベクトルh_fを計算し、出力する。ステアリングベクトル計算部２２４は、次式により、ステアリングベクトルh_fを計算する。

（ただし、mは繰り返し回数を表す1以上の整数である）
Ｓ２３０において、ビームフォーマベクトル生成部２３０は、Ｓ２１０で生成した中間信号ベクトル^x_t,fとＳ２２０で生成したステアリングベクトルh_fを入力とし、中間信号ベクトル^x_t,fとステアリングベクトルh_fからビームフォーマベクトルw_fを生成し、出力する。ビームフォーマベクトル生成部２３０は、次式により、ビームフォーマベクトルw_fを生成する。

（ただし、上記和は雑音区間に含まれる時間フレームtに関する和である。また、λ_tは、観測信号ベクトルx_t,fから計算されるパワーである）
Ｓ２４０において、目的音信号生成部２４０は、Ｓ２１０で生成した中間信号ベクトル^x_t,fとＳ２３０で生成したビームフォーマベクトルw_fを入力とし、中間信号ベクトル^x_t,fとビームフォーマベクトルw_fから目的音信号y_t,fを生成し、出力する。目的音信号生成部２４０は、次式により、目的音信号y_t,fを生成する。

本発明の実施形態によれば、ビームフォーマの推定誤差を小さくするために誤差逆伝播法を用いてニューラルネットワークを学習する場合でも計算が不安定になることを避けることが可能となる。また、固有値分解問題を解くことなく、パワー法により高精度で生成したステアリングベクトルを用いて、ビームフォーマを推定することが可能となる。
＜補記＞
図９は、上述の各装置を実現するコンピュータの機能構成の一例を示す図である。上述の各装置における処理は、記録部２０２０に、コンピュータを上述の各装置として機能させるためのプログラムを読み込ませ、制御部２０１０、入力部２０３０、出力部２０４０などに動作させることで実施できる。

本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置（例えば通信ケーブル）が接続可能な通信部、ＣＰＵ（Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい）、メモリであるＲＡＭやＲＯＭ、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、ＣＤ－ＲＯＭなどの記録媒体を読み書きできる装置（ドライブ）などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。

ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている（外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくこととしてもよい）。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される。

ハードウェアエンティティでは、外部記憶装置（あるいはＲＯＭなど）に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にＣＰＵで解釈実行・処理される。その結果、ＣＰＵが所定の機能（上記、…部、…手段などと表した各構成部）を実現する。

本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。

既述のように、上記実施形態において説明したハードウェアエンティティ（本発明の装置）における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ－ＲＡＭ（Random Access Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ－Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ－ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ－ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

上述の本発明の実施形態の記載は、例証と記載の目的で提示されたものである。網羅的であるという意思はなく、開示された厳密な形式に発明を限定する意思もない。変形やバリエーションは上述の教示から可能である。実施形態は、本発明の原理の最も良い例証を提供するために、そして、この分野の当業者が、熟考された実際の使用に適するように本発明を色々な実施形態で、また、色々な変形を付加して利用できるようにするために、選ばれて表現されたものである。すべてのそのような変形やバリエーションは、公正に合法的に公平に与えられる幅にしたがって解釈された添付の請求項によって定められた本発明のスコープ内である。

Claims

tを時間フレームを表すインデックス、fを周波数ビンを表すインデックスとし、
複数のマイクを用いて収音された観測音に対応する観測信号ベクトルx_t,fからマスクγ_t,fを生成するマスク生成部と、
前記観測信号ベクトルx_t,fと前記マスクγ_t,fからステアリングベクトルh_fを生成するステアリングベクトル生成部と、
前記観測信号ベクトルx_t,fと前記ステアリングベクトルh_fからビームフォーマベクトルw_fを生成するビームフォーマベクトル生成部と、
前記観測信号ベクトルx_t,fと前記ビームフォーマベクトルw_fから前記観測音に含まれる目的音に対応する目的音信号y_t,fを生成する目的音信号生成部と、
を含む目的音信号生成装置であって、
前記マスク生成部は、誤差逆伝搬法を用いて学習されたニューラルネットワークとして構成され、
前記ステアリングベクトル生成部は、パワー法を用いて前記観測信号ベクトルx_t,fと前記マスクγ_t,fから生成される所定の行列の最大固有値に対応する固有ベクトルを求めることにより、前記ステアリングベクトルh_fを生成する
目的音信号生成装置。
tを時間フレームを表すインデックス、fを周波数ビンを表すインデックスとし、
複数のマイクを用いて収音された観測音に対応する観測信号ベクトルx_t,fからマスクγ_t,fを生成するマスク生成部と、
前記観測信号ベクトルx_t,fを用いて得られる所定のベクトルである中間信号ベクトル^x_t,fを生成する中間信号ベクトル生成部と、
前記中間信号ベクトル^x_t,fと前記マスクγ_t,fからステアリングベクトルh_fを生成するステアリングベクトル生成部と、
前記中間信号ベクトル^x_t,fと前記ステアリングベクトルh_fからビームフォーマベクトルw_fを生成するビームフォーマベクトル生成部と、
前記中間信号ベクトル^x_t,fと前記ビームフォーマベクトルw_fから前記観測音に含まれる目的音に対応する目的音信号y_t,fを生成する目的音信号生成部と、
を含む目的音信号生成装置であって、
前記マスク生成部は、誤差逆伝搬法を用いて学習されたニューラルネットワークとして構成され、
前記ステアリングベクトル生成部は、パワー法を用いて前記観測信号ベクトルx_t,fと前記マスクγ_t,fから生成される所定の行列の最大固有値に対応する固有ベクトルを求めることにより、前記ステアリングベクトルh_fを生成する
目的音信号生成装置。
請求項１または２に記載の目的音信号生成装置であって、
前記ステアリングベクトル生成部は、
前記観測信号ベクトルx_t,fと前記マスクγ_t,fから目的音空間共分散行列Φ^s _fと雑音空間共分散行列Φⁿ _fを生成する空間共分散行列生成部と、
前記目的音空間共分散行列Φ^s _fと前記雑音空間共分散行列Φⁿ _fを用いて、初期ベクトルuから次式により前記ステアリングベクトルh_fを計算するステアリングベクトル計算部と、

（ただし、mは1以上の整数）
を含むことを特徴とする目的音信号生成装置。
tを時間フレームを表すインデックス、fを周波数ビンを表すインデックスとし、
目的音信号生成装置が、複数のマイクを用いて収音された観測音に対応する観測信号ベクトルx_t,fからマスクγ_t,fを生成するマスク生成ステップと、
前記目的音信号生成装置が、前記観測信号ベクトルx_t,fと前記マスクγ_t,fからステアリングベクトルh_fを生成するステアリングベクトル生成ステップと、
前記目的音信号生成装置が、前記観測信号ベクトルx_t,fと前記ステアリングベクトルh_fからビームフォーマベクトルw_fを生成するビームフォーマベクトル生成ステップと、
前記目的音信号生成装置が、前記観測信号ベクトルx_t,fと前記ビームフォーマベクトルw_fから前記観測音に含まれる目的音に対応する目的音信号y_t,fを生成する目的音信号生成ステップと、
を含む目的音信号生成方法であって、
前記マスク生成ステップは、誤差逆伝搬法を用いて学習されたニューラルネットワークにより実行され、
前記ステアリングベクトル生成ステップは、パワー法を用いて前記観測信号ベクトルx_t,fと前記マスクγ_t,fから生成される所定の行列の最大固有値に対応する固有ベクトルを求めることにより、前記ステアリングベクトルh_fを生成する
目的音信号生成方法。
tを時間フレームを表すインデックス、fを周波数ビンを表すインデックスとし、
目的音信号生成装置が、複数のマイクを用いて収音された観測音に対応する観測信号ベクトルx_t,fからマスクγ_t,fを生成するマスク生成ステップと、
前記目的音信号生成装置が、前記観測信号ベクトルx_t,fを用いて得られる所定のベクトルである中間信号ベクトル^x_t,fを生成する中間信号ベクトル生成ステップと、
前記目的音信号生成装置が、前記中間信号ベクトル^x_t,fと前記マスクγ_t,fからステアリングベクトルh_fを生成するステアリングベクトル生成ステップと、
前記目的音信号生成装置が、前記中間信号ベクトル^x_t,fと前記ステアリングベクトルh_fからビームフォーマベクトルw_fを生成するビームフォーマベクトル生成ステップと、
前記目的音信号生成装置が、前記中間信号ベクトル^x_t,fと前記ビームフォーマベクトルw_fから前記観測音に含まれる目的音に対応する目的音信号y_t,fを生成する目的音信号生成ステップと、
を含む目的音信号生成方法であって、
前記マスク生成ステップは、誤差逆伝搬法を用いて学習されたニューラルネットワークにより実行され、
前記ステアリングベクトル生成ステップは、パワー法を用いて前記観測信号ベクトルx_t,fと前記マスクγ_t,fから生成される所定の行列の最大固有値に対応する固有ベクトルを求めることにより、前記ステアリングベクトルh_fを生成する
目的音信号生成方法。
請求項１ないし３のいずれか１項に記載の目的音信号生成装置としてコンピュータを機能させるためのプログラム。