JP6636969B2 - 信号推定装置、方法、及びプログラム - Google Patents
信号推定装置、方法、及びプログラム Download PDFInfo
- Publication number
- JP6636969B2 JP6636969B2 JP2017030173A JP2017030173A JP6636969B2 JP 6636969 B2 JP6636969 B2 JP 6636969B2 JP 2017030173 A JP2017030173 A JP 2017030173A JP 2017030173 A JP2017030173 A JP 2017030173A JP 6636969 B2 JP6636969 B2 JP 6636969B2
- Authority
- JP
- Japan
- Prior art keywords
- time
- signal
- spectrogram
- product
- domain signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
Description
本発明の実施の形態は、上記非特許文献1で用いられる振幅スペクトログラムの低ランク構造の仮定とともに短時間Fourier変換やウェーブレット変換(定Q変換)などの時間周波数表現が時間領域信号の冗長表現であることより導かれる各時間周波数点の振幅成分および位相成分の局所的な制約条件、及び目的音源のケプストラム特徴量の事前情報(統計分布)のいずれかまたは両方を手がかりとして一部の時間周波数成分が欠損したスペクトログラムから直接時間領域信号を構成する。
一部の時間周波数点の成分が欠損した複素スペクトログラムを
とし、その各要素をYk,mと表す。ただし、k∈{1,...,K}及びm∈{1,...,M}はそれぞれ周波数ビン、時刻を表すインデックスである。非欠損箇所の集合を
とすると、
は欠損箇所において
(全サンプル点数がN)を推定することが目的で、
の時間周波数表現(短時間Fourier 変換やウェーブレット変換など)は一般に
と表される。ただし
は時刻tmに局在する中心周波数がωkの窓掛けされた複素正弦波である。上記非特許文献1では、振幅スペクトログラムを二つの非負値行列の積(低ランクな非負値行列)で近似できると仮定し、|Yk,m|を非欠損箇所
において
の複素スペクトログラムは
と表され、N < KMの場合には
の冗長表現になることから、非欠損箇所のYk,mの振幅成分だけでなく位相成分も周辺の欠損箇所の振幅・位相成分を推定する手がかりとすることができる。また、対象スペクトログラムのケプストラム特徴量の事前情報が得られる場合にはその統計分布も欠損成分を補完するための手がかりとなりうる。以上の3種類の手がかりを用いて、一部欠損したスペクトログラムから時間領域信号を直接構成する問題は
は推定したい未知パラメータの集合であり、
である。また、
は観測スペクトログラムで欠損していない時間周波数点の集合(非欠損領域)である。
は誤差の大きさを表す関数であり、ここではEuclid 距離(二乗誤差)
の複素スペクトログラムの非欠損領域における二乗誤差、第二項は式(2) と
の振幅スペクトログラムの誤差の大きさ、第三項は式(2) と観測振幅スペクトログラムの誤差の大きさを表す。第四項は以下で与えられるケプストラム距離規準の正則化項である。
はメル周波数ケプストラム係数(Mel-Frequency Cepstrum Coefficients: MFCC)であり、fr,kはr番目のメルフィルタバンク係数、
は離散コサイン変換係数である。式(6) はパラメータ
の混合正規分布から生成される確率の対数を表す。ただし、
はp番目の正規分布の重み、平均及び分散を表す。
を最小化するパラメータ
を解析的に得ることは難しいが、補助関数法と呼ぶ原理に基づき、
の停留点への収束が保証された反復更新アルゴリズムを導くことができる。
F(θ)をθに関して最小化したい目的関数とすると、
を満たす関数F+(θ,α)を補助関数、αを補助変数と呼ぶ。このような補助関数を設計できれば、
と
を交互に繰り返すことで、目的関数F(θ)の停留点を得ることができる。この最適化手法を補助関数法と呼ぶ。以下では各パラメータに対する更新式を得るための式(3)の補助関数を設計し、更新式を導出する。
式(3) の中で
に関係する項は第一項と第二項である。まず、第二項の補助関数を設計する。
がEuclid 距離(二乗誤差)のとき式(3)の第二項は
に関して微分不可能な点をもつが、以下の補題を用いることで微分可能な補助関数を設計することができる。
をもつ
の補助関数であり、等号は
のとき成立する。一方、
がKLダイバージェンスのとき式(3)の第二項は
に関して微分不可能な点をもつが、以下に従い微分可能な補助関数を設計することができる。まず、対数関数は凹関数であり、凹関数は任意の点の接線より大きくなることはないため、
のとき成立する。次に、
に関して
をもつ
の補助関数であり、等号は
のとき成立する。
に関して微分可能かつ凸なので、勾配法などを用いて大域最適となる点を探索することができる。
がEuclid距離の場合の式(3)の補助関数は
に関する偏微分は
がKLダイバージェンスの場合の式(3)の補助関数は
に関する偏微分は
の形になっている項は高速Fourier変換(Fast Fourier Trans-form, FFT) を用いて効率的に計算することができる。
がEuclid 距離の場合は
が巡回行列となることを利用してさらに以下の補助関数を設計することでアルゴリズムの効率化を図ることができる。今、
を
より
)。等号は
のとき成立する。従って、式(10) と合わせて
の補助関数とすることができる。
の
に関する偏微分
の逆行列を含むが、
を
が巡回行列となるように選ぶことができる(図1)ため、その場合は離散Fourier変換行列
で
のように対角化することが可能である。これにより、
となり、
は対角行列より効率的に計算することができる。なお、
を
が単位行列となるように
を選ぶこともできる。
がHanning関数の平方根を窓関数とするSTFTに相当するように
を選べば
は単位行列となることが示せる。
の更新方法は以下のようにまとめられる。
がEuclid距離の場合、以下の方法1又は方法2により、更新する。
1.
を以下に従い更新する。
を勾配法により更新する。
が巡回行列の場合)
1.
を以下に従い更新する。
を式(28) に従い更新する。
がKLダイバージェンスの場合、以下の方法1により、更新する。
1.
を以下に従い更新する。
を勾配法により更新する。
式(3) の中で
と
に関係する項は第二、第三、第四項であるが、
と
は式(3) の第三項を規準として
のみから推定することもできる。以下では第三項だけでなく第二、第四項を含めた場合の
と
の更新方法について述べる。
がEuclid距離(二乗誤差)のとき、二次関数は凸関数のためJensenの不等式
を満たす非負の変数であり、等号は
のとき成立する。よって、式(35)の右辺は式(3) の第二項の補助関数として用いることができる。このとき、
が補助変数となる。また、式(3)の第三項についても同様に
に関する偏微分
を最小とするHk,l,Ul,m
がKLダイバージェンスのとき、負の対数関数は凸関数のためJensenの不等式
を満たす非負の変数であり、等号は
のとき成立する。よって、式(42)の右辺は式(3)の第二項の補助関数として用いることができる。このとき、
が補助変数となる。また、式(3)の第三項についても同様に
のHk,l、Ul,mに関する偏微分
を最小とする
は
を満たす任意の正の定数である。
はすべての補助変数の集合とする。式(59) を
に関して偏微分し、0と置くことにより
と
の更新式
は以下で定義される。
の更新方法は以下のようにまとめられる。
がEuclid 距離の場合
を以下に従い更新する。
を更新する。
がKLダイバージェンスの場合
を以下に従い更新する。
を更新する。
がEuclid 距離の場合
を以下に従い更新する。
を更新する。
がKLダイバージェンスの場合
を以下に従い更新する。
を更新する。
1.
を以下に従い更新する。
を更新する。
を学習し、パラメータ記憶部40に格納する。
を推定し、これを固定したのち、上記式(2)における第一項及び第二項から時間領域信号
を推定して初期値とする。
に基づいて、上記式(29)又は上記式(30)、(31)に従って、補助変数
又は
を更新する。あるいは、上記式(32)〜(34)に従って、補助変数
を更新する。
に基づいて、上記式(68)又は上記式(69)に従って、補助変数
又は
を更新する。あるいは、上記式(70)又は上記式(71)に従って、補助変数
又は
を更新する。あるいは、
と、パラメータ記憶部40に格納されているメル周波数ケプストラム係数のパラメータ
と、時間領域信号
から抽出されるメル周波数ケプストラム係数
とに基づいて、上記式(72)〜式(78)に従って、補助変数
を更新する。
、基底スペクトル
、及び各時刻におけるアクティベーションパラメータ
を更新する。
と、観測スペクトログラム
と、
とに基づいて、上記式(20)を用いて、勾配法により、時間領域信号
を更新する。あるいは、補助変数
と、観測スペクトログラム
と、
とに基づいて、上記式(28)に従って、時間領域信号
を更新する。あるいは、補助変数
と、観測スペクトログラム
と、
とに基づいて、上記式(23)を用いて、勾配法により、時間領域信号
を更新する。
と、観測スペクトログラム
と、時間領域信号
とに基づいて、上記式(40)、式(41)に従って、
を更新する。あるいは、補助変数
と、観測スペクトログラム
と、時間領域信号
とに基づいて、上記式(47)、式(48)に従って、
を更新する。あるいは、補助変数
と、観測スペクトログラム
と、時間領域信号
と、パラメータ記憶部40に格納されているメル周波数ケプストラム係数のパラメータ
とに基づいて、上記式(60)、式(61)に従って、
を更新する。
を、観測スペクトログラムに対して欠損成分を補完して構成された時間領域信号の推定結果として、出力部90により出力する。
が学習され、パラメータ記憶部40に格納される。
を推定し、これを固定したのち、上記式(2)における第一項及び第二項から時間領域信号
を推定して初期値とする。
に基づいて、上記式(29)又は上記式(30)、(31)に従って、補助変数
又は
を更新する。あるいは、上記式(32)〜(34)に従って、補助変数
を更新する。
に基づいて、上記式(68)又は上記式(69)に従って、補助変数
又は
を更新する。あるいは、上記式(70)又は上記式(71)に従って、補助変数
又は
を更新する。あるいは、
と、パラメータ記憶部40に格納されているメル周波数ケプストラム係数のパラメータ
と、
の積のメル周波数ケプストラム係数
とに基づいて、上記式(72)〜式(78)に従って、補助変数
を更新する。
と、観測スペクトログラム
と、
とに基づいて、上記式(20)を用いて、勾配法により、時間領域信号
を更新する。あるいは、補助変数
と、観測スペクトログラム
と、
とに基づいて、上記式(28)に従って、時間領域信号
を更新する。あるいは、補助変数
と、観測スペクトログラム
と、
とに基づいて、上記式(23)を用いて、勾配法により、時間領域信号
を更新する。
と、観測スペクトログラム
と、時間領域信号
とに基づいて、上記式(40)、式(41)に従って、
を更新する。あるいは、補助変数
と、観測スペクトログラム
と、時間領域信号
とに基づいて、上記式(47)、式(48)に従って、
を更新する。あるいは、補助変数
と、観測スペクトログラム
と、時間領域信号
と、パラメータ記憶部40に格納されているメル周波数ケプストラム係数のパラメータ
とに基づいて、上記式(60)、式(61)に従って、
を更新する。
を、出力部90により出力し、信号推定処理ルーチンを終了する。
ATR音声データベース503文の音声データと雑音データ(babble noise)を用いて上述した実施の形態の手法による雑音抑圧効果を検証する評価実験を行った。比較対象は従来のNMF法に加えて位相復元アルゴリズムを併用したものとし、信号対雑音比(SNR)およびケプストラム歪みを評価したテストデータは全て音響信号はサンプリング周波数16kHzのモノラル信号で、フレーム長32 ms、シフト長16msで短時間Fourier変換を行い、これに対して理想バイナリマスクによりマスキングを行うことで欠損成分の存在する観測スペクトログラムYk,mを算出した。学習においては男性1名の話者の計100文の音声を用いてMFCCのGMMパラメータの学習を行った。学習で得られたGMMのパラメータを固定し、正則化パラメータを各項が同等の大きさを持つよう逐次更新し、パラメータ
の推定を行った。提案法アルゴリズムの初期段階では式(2)における第三項からパラメータ
を推定し、これを固定したのち、第一項及び第二項からパラメータ
を推定して初期値とした。
20 演算部
30 学習部
32 特徴量抽出部
36 パラメータ学習部
40 パラメータ記憶部
50 信号推定部
52 初期値設定部
54 補助変数更新部
58 パラメータ更新部
60 収束判定部
90 出力部
100 信号推定装置
Claims (8)
- 一部が欠損した、各時刻及び各周波数の信号の成分を表す観測スペクトログラムを入力として、時間領域信号を推定する信号推定装置であって、
欠損していない部分における、前記観測スペクトログラムと、前記時間領域信号から求められるスペクトログラムとの誤差と、
基底スペクトル、及び各時刻における音量を表すアクティベーションパラメータの積と、前記時間領域信号から求められるスペクトログラムの絶対値との誤差、
欠損していない部分における、基底スペクトル、及び各時刻におけるアクティベーションパラメータの積と、観測スペクトログラムの絶対値との誤差、及び
基底スペクトル及び各時刻におけるアクティベーションパラメータの積のケプストラム特徴量の事前確率の少なくとも一つとを用いて表される規準を最適化するように、前記時間領域信号、基底スペクトル、及び各時刻におけるアクティベーションパラメータを推定する信号推定部
を含む信号推定装置。 - 前記基底スペクトル、及び前記アクティベーションパラメータの積と、前記時間領域信号から求められるスペクトログラムの絶対値との誤差、又は前記基底スペクトル、及び前記アクティベーションパラメータの積と、観測スペクトログラムの絶対値との誤差は、ユークリッド距離又はKLダイバージェンスで表される請求項1記載の信号推定装置。
- 前記ケプストラム特徴量の事前確率は、予め定められたケプストラム特徴量の混合正規分布における、基底スペクトル及び各時刻におけるアクティベーションパラメータの積のケプストラム特徴量の確率である請求項1又は2記載の信号推定装置。
- 前記信号推定部は、
前記規準の上界関数である補助関数を小さくするように、前記時間領域信号、基底スペクトル、及び各時刻におけるアクティベーションパラメータを更新するパラメータ更新部と、
予め定められた収束条件を満たすまで、前記パラメータ更新部による更新を繰り返させる収束判定部と、
を含む請求項1〜請求項3の何れか1項記載の信号推定装置。 - 一部が欠損した、各時刻及び各周波数の信号の成分を表す観測スペクトログラムを入力として、時間領域信号を推定する信号推定装置における信号推定方法であって、
信号推定部が、欠損していない部分における、前記観測スペクトログラムと、前記時間領域信号から求められるスペクトログラムとの誤差と、
基底スペクトル、及び各時刻における音量を表すアクティベーションパラメータの積と、前記時間領域信号から求められるスペクトログラムの絶対値との誤差、
欠損していない部分における、基底スペクトル、及び各時刻におけるアクティベーションパラメータの積と、観測スペクトログラムの絶対値との誤差、及び
基底スペクトル及び各時刻におけるアクティベーションパラメータの積のケプストラム特徴量の事前確率の少なくとも一つとを用いて表される規準を最適化するように、前記時間領域信号、基底スペクトル、及び各時刻におけるアクティベーションパラメータを推定する
信号推定方法。 - 前記基底スペクトル、及び前記アクティベーションパラメータの積と、前記時間領域信号から求められるスペクトログラムの絶対値との誤差、又は前記基底スペクトル、及び前記アクティベーションパラメータの積と、観測スペクトログラムの絶対値との誤差は、ユークリッド距離又はKLダイバージェンスで表される請求項5記載の信号推定方法。
- 前記ケプストラム特徴量の事前確率は、予め定められたケプストラム特徴量の混合正規分布における、基底スペクトル及び各時刻におけるアクティベーションパラメータの積のケプストラム特徴量の確率である請求項5又は6記載の信号推定方法。
- 請求項1〜請求項4の何れか1項に記載の信号推定装置の各部としてコンピュータを機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017030173A JP6636969B2 (ja) | 2017-02-21 | 2017-02-21 | 信号推定装置、方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017030173A JP6636969B2 (ja) | 2017-02-21 | 2017-02-21 | 信号推定装置、方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018136419A JP2018136419A (ja) | 2018-08-30 |
JP6636969B2 true JP6636969B2 (ja) | 2020-01-29 |
Family
ID=63364864
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017030173A Active JP6636969B2 (ja) | 2017-02-21 | 2017-02-21 | 信号推定装置、方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6636969B2 (ja) |
-
2017
- 2017-02-21 JP JP2017030173A patent/JP6636969B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018136419A (ja) | 2018-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2189976B1 (en) | Method for adapting a codebook for speech recognition | |
US10235126B2 (en) | Method and system of on-the-fly audio source separation | |
Bandela et al. | Unsupervised feature selection and NMF de-noising for robust Speech Emotion Recognition | |
US20080167862A1 (en) | Pitch Dependent Speech Recognition Engine | |
JP6195548B2 (ja) | 信号解析装置、方法、及びプログラム | |
Yücesoy et al. | Gender identification of a speaker using MFCC and GMM | |
Ismail et al. | Mfcc-vq approach for qalqalahtajweed rule checking | |
Mohammadiha et al. | Joint acoustic and spectral modeling for speech dereverberation using non-negative representations | |
Soe Naing et al. | Discrete Wavelet Denoising into MFCC for Noise Suppressive in Automatic Speech Recognition System. | |
Nakano et al. | Nonnegative matrix factorization with Markov-chained bases for modeling time-varying patterns in music spectrograms | |
JP6142402B2 (ja) | 音響信号解析装置、方法、及びプログラム | |
JP2017134321A (ja) | 信号処理方法、信号処理装置及び信号処理プログラム | |
Hoffmann et al. | Using information theoretic distance measures for solving the permutation problem of blind source separation of speech signals | |
JP5807914B2 (ja) | 音響信号解析装置、方法、及びプログラム | |
JP6636969B2 (ja) | 信号推定装置、方法、及びプログラム | |
JP4571871B2 (ja) | 音声信号分析方法およびこの分析方法を実施する装置、この音声信号分析装置を用いた音声認識装置、この分析方法を実行するプログラムおよびその記憶媒体 | |
JP2012027196A (ja) | 信号分析装置、方法、及びプログラム | |
Ming et al. | An iterative longest matching segment approach to speech enhancement with additive noise and channel distortion | |
Grais et al. | Initialization of nonnegative matrix factorization dictionaries for single channel source separation | |
Płonkowski | Using bands of frequencies for vowel recognition for Polish language | |
Zeremdini et al. | Multi-pitch estimation based on multi-scale product analysis, improved comb filter and dynamic programming | |
Goodarzi et al. | Model-based clustered sparse imputation for noise robust speech recognition | |
JP6564744B2 (ja) | 信号解析装置、方法、及びプログラム | |
Sprechmann et al. | Supervised non-negative matrix factorization for audio source separation | |
JP6618493B2 (ja) | 信号解析装置、方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20170222 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190131 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20190131 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20190131 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191122 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191217 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191219 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6636969 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |