JP6564744B2 - 信号解析装置、方法、及びプログラム - Google Patents
信号解析装置、方法、及びプログラム Download PDFInfo
- Publication number
- JP6564744B2 JP6564744B2 JP2016168309A JP2016168309A JP6564744B2 JP 6564744 B2 JP6564744 B2 JP 6564744B2 JP 2016168309 A JP2016168309 A JP 2016168309A JP 2016168309 A JP2016168309 A JP 2016168309A JP 6564744 B2 JP6564744 B2 JP 6564744B2
- Authority
- JP
- Japan
- Prior art keywords
- spectrum
- time
- signal
- sequence
- frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Circuit For Audible Band Transducer (AREA)
Description
まず、本実施の形態における概要について説明する。音声合成では聴感的に高品質な音声を合成することが目的であり、特にスペクトルだけでなく知覚に大きな影響を与えるスペクトルの時間微分量の統計分布を用いて最適な音声スペクトル系列を生成する方式がとられる。音声通信のための音声強調においても、いかに聴感的に高品質な音声にできるかが重要となるため、音声合成のモデルや手法が有用となる可能性がある。本発明では、未知雑音環境下における半教師あり音声強調の問題に対し、SSNMF法の音声強調方式にパラメトリック音声合成モデルとして提案されたトラジェクトリ隠れマルコフモデルを利用した手法を提案する。
次に、本実施の形態の原理について説明する。
観測信号の振幅スペクトログラムまたはパワースペクトログラム(以後、観測スペクトログラム)をYω,tとする。ただし、ωとtは周波数、時刻のインデックスである。スペクトルの加法性を仮定し、各時刻の音声スペクトルX(s) ω,tおよび雑音スペクトルX(n) ω,tをそれぞれLS個の基底スペクトル
とLN個の基底スペクトル
の非負結合
を用いて、観測スペクトルYω,tに
をフィッティングすることで観測スペクトログラムに含まれる音声の成分と雑音の成分を推定する方法である(非特許文献1)。このようにして求まる音声スペクトルと雑音スペクトルの推定値からWienerフィルタなどにより観測信号から音声信号を得ることができる。このアプローチでは事前学習した音声の基底スペクトルが音声と雑音の分離の手がかりとなるが、音声の基底スペクトルで雑音スペクトルを説明できてしまう場合やその逆の場合がありえるため、Yω,tとXω,tの誤差を小さくできたとしてもX(S) ω,tとX(N) ω,tが実際の音声スペクトルと雑音スペクトルに対応するとは限らない。また、この方式では、音声スペクトルの推定において音声スペクトルの時間変化量の統計を活用できる仕組みになっておらず、このことがミュージカルノイズの発生や不連続なスペクトル変化を許す一因になっていたと考えられる。そこでより高品質な音声強調を実現するためには音声スペクトルの時間変化の傾向を考慮し、同じXω,tを与えるX(S) ω,tとX(N) ω,tの不定性を解消するより強い制約が必要である。
および
はそれぞれ声道スペクトル系列と音源スペクトル系列に対応した異なるHMMの状態系列を表し、
および
は状態系列が与えられた下での最尤スペクトル系列
は状態系列
が与えられた下での各々のHMMの状態出力分布の平均系列、
は状態系列
が与えられた下での各々のHMMの状態出力分布の分散を対角成分に並べた対角行列である。また、
は、パラメータの時系列が格納されたベクトルをそれ自身とその時間数値微分系列を結合したベクトルに変換する行列である。また、
は平均がμ、分散共分散行列がΣの正規分布を表す。従って式(7)、(8)は所与の状態系列と状態出力分布によって決まるスペクトル系列とその時間微分系列の両確率分布を規準とした最尤スペクトル系列を意味していることが分かる。ここで、それぞれのHMMの各状態の出力分布の平均と分散はクリーンな音声の声道スペクトル系列と音源スペクトル系列から事前学習した定数とする。
を最小化するF、E、H(N)、U(N)を解析的に得ることはできないが、当該最適化問題の局所最適解を探索する反復アルゴリズムを補助関数法に基づき導くことができる。
を満たす補助関数
を設計する。このような補助関数が設計できれば、
を交互に繰り返すことで、目的関数F(θ)を局所最小化するθを得ることができる。以下で、
の補助関数とそれに基づく更新式を導く。
については、
の補助関数を設計する。まず、
の補助関数は任意のζω,t>0を用いて
については
の補助関数とすることができる。以上の補助関数を足し合わせることで
の補助関数が得られる。この補助関数を最小にする各パラメータの更新式は
とする。
をHMMの出力系列と見なし、その生成確率が最大となる状態系列
をViterbiアルゴリズムにより探索する。求まった
を用いて式(7)により
を更新する。以上と同様の手続きをEω,1,…, E ω,Tにも適用し、
を更新する。
次に、本発明の実施の形態に係る信号解析装置の構成について説明する。図1に示すように、本発明の実施の形態に係る信号解析装置100は、CPUと、RAMと、後述する学習処理ルーチン及びパラメータ推定処理ルーチンを実行するためのプログラムや各種データを記憶したROMと、を含むコンピュータで構成することができる。この信号解析装置100は、機能的には図1に示すように入力部10と、演算部20と、出力部90と、を含んで構成されている。
、HMMの状態出力分布の分散を対角成分に並べた対角行列
、及び状態間の状態遷移確率を学習する。
、HMMの状態出力分布の分散を対角成分に並べた対角行列
、及び状態間の状態遷移確率を記憶している。
、音声信号の声道スペクトル系列Fと、声道スペクトル系列に対応した隠れマルコフモデルの状態系列が与えられた下での最尤スペクトル系列との距離
、音声信号の音源スペクトル系列Eと、音源スペクトル系列Eに対応した前記隠れマルコフモデルの状態系列が与えられた下での最尤スペクトル系列との距離
、及び雑音信号の各時刻及び各周波数の観測スペクトルX(N)と、雑音信号の基底スペクトルH(N)及びアクティベーションパラメータU(N)から求められる各時刻及び各周波数のスペクトルとの距離
、を用いて表される上記(12)式に示す規準を小さくするように、雑音信号の基底スペクトルH(N)及びアクティベーションパラメータU(N)と、音声信号の声道スペクトル系列Fと、音声信号の音源スペクトル系列Eと、雑音信号の各時刻及び各周波数の観測スペクトルX(N)とを推定する。
、最尤スペクトル系列
に初期値を設定する。
、最尤スペクトル系列
とに基づいて、上記(52)式〜(56)式に従って、雑音信号の各基底l及び各周波数ωの基底スペクトルH(N) ω,l及び各基底l及び各時刻tのアクティベーションパラメータU(N) l,t、音声信号の声道スペクトル系列Fと、音声信号の音源スペクトル系列Eと、雑音信号の各時刻t及び各周波数ωの観測スペクトルX(N) ω,tとを推定する。
をHMMの出力系列と見なし、その生成確率が最大となる状態系列
をViterbiアルゴリズムにより探索する。求まった
を用いて上記式(7)により
を更新する。また、パラメータ更新部44によって更新された各周波数ωの音源スペクトル系列Eω,1,…,E ω,Tに基づいて、各周波数ωの音源スペクトル系列Eω,1,…,E ω,Tの時間微分系列ΔEω,1,…,ΔE ω,Tを算出し、Eω,tとΔEω,tとの結合ベクトルをHMMの出力系列と見なし、その生成確率が最大となる状態系列
をViterbiアルゴリズムにより探索する。求まった
を用いて上記式(8)により
を更新する。
次に、本発明の実施の形態に係る信号解析装置100の作用について説明する。まず、入力部10においてクリーン音声信号の時系列データを受け付けると、信号解析装置100は、図2に示す学習処理ルーチンを実行する。
、HMMの状態出力分布の分散を対角成分に並べた対角行列
、及び状態間の状態遷移確率を学習し、HMMパラメータ記憶部34に格納して、学習処理ルーチンを終了する。
、最尤スペクトル系列
とに基づいて、上記(52)式〜(56)式に従って、雑音信号の各基底l及び各周波数ωの基底スペクトルH(N) ω,l及び各基底l及び各時刻tのアクティベーションパラメータU(N) l,t、音声信号の声道スペクトル系列Fと、音声信号の音源スペクトル系列Eと、雑音信号の各時刻t及び各周波数ωの観測スペクトルX(N) ω,tとを推定する。
をHMMの出力系列と見なし、その生成確率が最大となる状態系列
をViterbiアルゴリズムにより探索する。また、上記ステップS125で更新された各周波数ωの音源スペクトル系列Eω,1,…,E ω,Tに基づいて、各周波数ωの音源スペクトル系列Eω,1,…,E ω,Tの時間微分系列ΔEω,1,…,ΔE ω,Tを算出し、Eω,tとΔEω,tとの結合ベクトルをHMMの出力系列と見なし、その生成確率が最大となる状態系列
をViterbiアルゴリズムにより探索する。
を用いて上記式(7)により
を更新する。また、上記ステップS126で求まった
を用いて上記式(8)により
を更新する。
NTT-AT多言語音声データベース2002の音声データとRWCPの雑音データ(white noise, museum noise, babble noise, background music noiseの 4種類)を用いて上述の手法による雑音抑圧効果を検証する評価実験を行った。比較対象は従来のSSNMF法とし、強調前と強調後の音声のスペクトログラムを観察した。テストデータはクリーン音声に各雑音をさまざまなSNRで重畳させて作成した。テストデータはすべてサンプリング周波数16kHzのモノラル信号で、フレーム長32ms、フレームシフト16msで短時間Fourier変換を行い、観測スペクトログラムYω,tを算出した。学習においては10名(うち女性5名、男性5名)の話者の計500文の音声を用いてH(S) ω,lを学習し、音声の声道スペクトルと声帯振動スペクトルに対して、その対数スペクトル系列および対数スペクトルの一次時間数値微分系列のHMMパラメータの学習を行った。なお、本実験では簡単のため、HMMの各状態から各状態への遷移確率は一様とした。事前学習したH(S) ω,lの基底数は6とし、HMMの状態数は32とした。テストにおいては、学習で得られたH(S) ω,lとHMMパラメータを固定し、α1=1、α2=10、α3=1としてFω,t、Eω,t、H(N) ω,l、U(N) l,tの推定を行った。推定後、X(S) ω,tとX(N) ω,tを用いてWienerフィルタにより音声信号の推定値を算出した。提案法アルゴリズムの初期値は従来のSSNMFにより得た。
20 演算部
24 時間周波数展開部
32 HMMパラメータ学習部
34 HMMパラメータ記憶部
36 パラメータ推定部
38 音声信号生成部
40 初期値設定部
42 補助変数更新部
44 パラメータ更新部
45 状態系列更新部
46 収束判定部
90 出力部
100 信号解析装置
Claims (7)
- 音声信号と雑音信号とが混合された観測信号の時系列データを入力として、各時刻及び各周波数の観測スペクトルを表す観測スペクトログラムを出力する時間周波数展開部と、
前記時間周波数展開部により出力された前記観測スペクトログラム、及び予め学習された音声信号の隠れマルコフモデルのパラメータに基づいて、
各時刻及び各周波数の観測スペクトルと、前記音声信号の声道スペクトル系列及び音源スペクトル系列から求められる各時刻及び各周波数のスペクトル、並びに前記雑音信号の各基底及び各周波数におけるパワースペクトルを表す基底スペクトル及び各時刻におけるパワーを表すアクティベーションパラメータから求められる各時刻及び各周波数のスペクトルの和との距離、
前記音声信号の声道スペクトル系列と、前記声道スペクトル系列に対応した前記隠れマルコフモデルの状態系列が与えられた下での最尤スペクトル系列との距離、
前記音声信号の音源スペクトル系列と、前記音源スペクトル系列に対応した前記隠れマルコフモデルの状態系列が与えられた下での最尤スペクトル系列との距離、及び
前記雑音信号の各時刻及び各周波数の観測スペクトルと、前記雑音信号の前記基底スペクトル及び前記アクティベーションパラメータから求められる各時刻及び各周波数のスペクトルとの距離、
を用いて表される規準を小さくするように、前記雑音信号の前記基底スペクトル及び前記アクティベーションパラメータと、前記音声信号の声道スペクトル系列と、前記音声信号の音源スペクトル系列と、前記雑音信号の各時刻及び各周波数の観測スペクトルとを推定するパラメータ推定部と、
を含む信号解析装置。 - 前記規準は、以下の式で表わされる請求項1記載の信号解析装置。
ただし、α1、α2、α3は予め定められた重み係数を表し、
は、前記観測スペクトログラムYと前記和Xとの距離を表し、
は、前記音声信号の声道スペクトル系列Fと、前記声道スペクトル系列に対応した前記隠れマルコフモデルの状態系列sが与えられた下での最尤スペクトル系列との距離を表し、
は、前記音声信号の音源スペクトル系列Eと、前記音源スペクトル系列に対応した前記隠れマルコフモデルの状態系列qが与えられた下での最尤スペクトル系列との距離を表し、
は、前記雑音信号の各時刻及び各周波数の観測スペクトルX(N)と、前記雑音信号の前記基底スペクトルH(N)及び前記アクティベーションパラメータU(N)から求められる各時刻及び各周波数のスペクトルとの距離を表す。 - 前記パラメータ推定部は、
前記規準の上界関数である補助関数を小さくするように、前記雑音信号の前記基底スペクトル及び前記アクティベーションパラメータと、前記音声信号の声道スペクトル系列と、前記音声信号の音源スペクトル系列と、前記雑音信号の各時刻及び各周波数の観測スペクトルとを更新するパラメータ更新部と、
予め定められた収束条件を満たすまで、前記パラメータ更新部による更新を繰り返させる収束判定部と、
を含む請求項1又は2記載の信号解析装置。 - 時間周波数展開部と、パラメータ推定部とを含む信号解析装置における信号解析方法であって、
前記時間周波数展開部が、音声信号と雑音信号とが混合された観測信号の時系列データを入力として、各時刻及び各周波数の観測スペクトルを表す観測スペクトログラムを出力し、
前記パラメータ推定部が、前記時間周波数展開部により出力された前記観測スペクトログラム、及び予め学習された音声信号の隠れマルコフモデルのパラメータに基づいて、
各時刻及び各周波数の観測スペクトルと、前記音声信号の声道スペクトル系列及び音源スペクトル系列から求められる各時刻及び各周波数のスペクトル、並びに前記雑音信号の各基底及び各周波数におけるパワースペクトルを表す基底スペクトル及び各時刻におけるパワーを表すアクティベーションパラメータから求められる各時刻及び各周波数のスペクトルの和との距離、
前記音声信号の声道スペクトル系列と、前記声道スペクトル系列に対応した前記隠れマルコフモデルの状態系列が与えられた下での最尤スペクトル系列との距離、
前記音声信号の音源スペクトル系列と、前記音源スペクトル系列に対応した前記隠れマルコフモデルの状態系列が与えられた下での最尤スペクトル系列との距離、及び
前記雑音信号の各時刻及び各周波数の観測スペクトルと、前記雑音信号の前記基底スペクトル及び前記アクティベーションパラメータから求められる各時刻及び各周波数のスペクトルとの距離、
を用いて表される規準を小さくするように、前記雑音信号の前記基底スペクトル及び前記アクティベーションパラメータと、前記音声信号の声道スペクトル系列と、前記音声信号の音源スペクトル系列と、前記雑音信号の各時刻及び各周波数の観測スペクトルとを推定する
信号解析方法。 - 前記規準は、以下の式で表わされる請求項4記載の信号解析方法。
ただし、α1、α2、α3は予め定められた重み係数を表し、
は、前記観測スペクトログラムYと前記和Xとの距離を表し、
は、前記音声信号の声道スペクトル系列Fと、前記声道スペクトル系列に対応した前記隠れマルコフモデルの状態系列sが与えられた下での最尤スペクトル系列との距離を表し、
は、前記音声信号の音源スペクトル系列Eと、前記音源スペクトル系列に対応した前記隠れマルコフモデルの状態系列qが与えられた下での最尤スペクトル系列との距離を表し、
は、前記雑音信号の各時刻及び各周波数の観測スペクトルX(N)と、前記雑音信号の前記基底スペクトルH(N)及び前記アクティベーションパラメータU(N)から求められる各時刻及び各周波数のスペクトルとの距離を表す。 - 前記パラメータ推定部が推定することでは、
パラメータ更新部が、前記規準の上界関数である補助関数を小さくするように、前記雑音信号の前記基底スペクトル及び前記アクティベーションパラメータと、前記音声信号の声道スペクトル系列と、前記音声信号の音源スペクトル系列と、前記雑音信号の各時刻及び各周波数の観測スペクトルとを更新し、
収束判定部が、予め定められた収束条件を満たすまで、前記パラメータ更新部による更新を繰り返させることを含む請求項4又は5記載の信号解析方法。 - 請求項1〜請求項3の何れか1項に記載の信号解析装置の各部としてコンピュータを機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016168309A JP6564744B2 (ja) | 2016-08-30 | 2016-08-30 | 信号解析装置、方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016168309A JP6564744B2 (ja) | 2016-08-30 | 2016-08-30 | 信号解析装置、方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018036406A JP2018036406A (ja) | 2018-03-08 |
JP6564744B2 true JP6564744B2 (ja) | 2019-08-21 |
Family
ID=61567372
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016168309A Active JP6564744B2 (ja) | 2016-08-30 | 2016-08-30 | 信号解析装置、方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6564744B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2024032306A (ja) | 2022-08-29 | 2024-03-12 | 株式会社ディスコ | 加工装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8015003B2 (en) * | 2007-11-19 | 2011-09-06 | Mitsubishi Electric Research Laboratories, Inc. | Denoising acoustic signals using constrained non-negative matrix factorization |
-
2016
- 2016-08-30 JP JP2016168309A patent/JP6564744B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018036406A (ja) | 2018-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zhao et al. | Perceptually guided speech enhancement using deep neural networks | |
US7664643B2 (en) | System and method for speech separation and multi-talker speech recognition | |
US8930183B2 (en) | Voice conversion method and system | |
CN107924686B (zh) | 语音处理装置、语音处理方法以及存储介质 | |
WO2018159403A1 (ja) | 学習装置、音声合成システムおよび音声合成方法 | |
Sprechmann et al. | Supervised non-euclidean sparse NMF via bilevel optimization with applications to speech enhancement | |
JP6195548B2 (ja) | 信号解析装置、方法、及びプログラム | |
Pilkington et al. | Gaussian Process Experts for Voice Conversion. | |
Hwang et al. | LP-WaveNet: Linear prediction-based WaveNet speech synthesis | |
WO2017146073A1 (ja) | 声質変換装置、声質変換方法およびプログラム | |
Ismail et al. | Mfcc-vq approach for qalqalahtajweed rule checking | |
JP4512848B2 (ja) | 雑音抑圧装置及び音声認識システム | |
JP6748304B2 (ja) | ニューラルネットワークを用いた信号処理装置、ニューラルネットワークを用いた信号処理方法及び信号処理プログラム | |
Parmar et al. | Effectiveness of cross-domain architectures for whisper-to-normal speech conversion | |
JP2016143042A (ja) | 雑音除去装置及び雑音除去プログラム | |
JP2006521576A (ja) | 基本周波数情報を分析する方法、ならびに、この分析方法を実装した音声変換方法及びシステム | |
Saleem et al. | Spectral phase estimation based on deep neural networks for single channel speech enhancement | |
WO2015025788A1 (ja) | 定量的f0パターン生成装置及び方法、並びにf0パターン生成のためのモデル学習装置及び方法 | |
JP6711765B2 (ja) | 形成装置、形成方法および形成プログラム | |
JP6564744B2 (ja) | 信号解析装置、方法、及びプログラム | |
EP3242295B1 (en) | A signal processor | |
JP6142402B2 (ja) | 音響信号解析装置、方法、及びプログラム | |
Nisa et al. | The speech signal enhancement approach with multiple sub-frames analysis for complex magnitude and phase spectrum recompense | |
JP6553561B2 (ja) | 信号解析装置、方法、及びプログラム | |
Prabhu et al. | EMOCONV-Diff: Diffusion-Based Speech Emotion Conversion for Non-Parallel and in-the-Wild Data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180724 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190613 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190702 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190729 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6564744 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |