JP6564744B2 - 信号解析装置、方法、及びプログラム - Google Patents
信号解析装置、方法、及びプログラム Download PDFInfo
- Publication number
- JP6564744B2 JP6564744B2 JP2016168309A JP2016168309A JP6564744B2 JP 6564744 B2 JP6564744 B2 JP 6564744B2 JP 2016168309 A JP2016168309 A JP 2016168309A JP 2016168309 A JP2016168309 A JP 2016168309A JP 6564744 B2 JP6564744 B2 JP 6564744B2
- Authority
- JP
- Japan
- Prior art keywords
- spectrum
- time
- signal
- sequence
- frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Circuit For Audible Band Transducer (AREA)
Description
本発明は、信号解析装置、方法、及びプログラムに係り、特に、パラメータを推定する信号解析装置、方法、及びプログラムに関する。
本発明は音声信号から雑音を抑圧する問題を扱う。音声信号に混入する雑音を抑制する技術は音声強調技術と呼ばれている。音声強調技術は、高品質な音声通信や音声認識の前処理などで用いられる。
音声強調手法は主に３つのアプローチがある。教師なしアプローチは、対象とする音声および雑音ともに、その音響的特性について事前に情報が得られない状況を、半教師ありアプローチでは、対象音声について、同じ話者の別の音声が事前に得ることができる状況を、教師ありアプローチは、音声に加えて、対象雑音と同じ特性の雑音が事前に得ることができる状況をそれぞれ想定した音声強調手法である。本発明が解決しようとする課題は半教師ありアプローチに類される。半教師ありアプローチの一つとして、非負値行列因子分解(Semi-supervised Non-negative Matrix Factorization: SSNMF)に基づく手法が提案されている（非特許文献１）。この手法では、各時刻の観測スペクトルを事前学習した音声の基底スペクトルと雑音の基底スペクトルの非負結合でフィッティングすることで音声と雑音のパワースペクトルを推定することが可能となる。
P. Smaragdis, B. Raj, and M. Shashanka, "Supervised and semi-supervised separation of sounds from single-channel mixtures," in Proc. Independent Component Analysis and Signal Separation, pp. 414-421, 2007.
上記非特許文献１の手法は未知雑音環境下においても高い信号対雑音比の強調音声を得られる一方で、残留雑音成分からなるミュージカルノイズ（時間周波数平面に点在する雑音成分）が原因で必ずしも聴感的に品質の良い音声とならない場合が多い。また、この手法では音声のスペクトルの時間変化の自然さを保証しないため、強調音声のスペクトルが不連続になりがちであり、これもまた強調音声の聴感上の品質を下げる原因となっている。
本発明では、上記事情を鑑みて成されたものであり、雑音を抑制し、高品質な音声信号を強調することができる信号解析装置、方法、及びプログラムを提供することを目的とする。
上記目的を達成するために、本発明に係る信号解析装置は、音声信号と雑音信号とが混合された観測信号の時系列データを入力として、各時刻及び各周波数の観測スペクトルを表す観測スペクトログラムを出力する時間周波数展開部と、前記時間周波数展開部により出力された前記観測スペクトログラム、及び予め学習された音声信号の隠れマルコフモデルのパラメータに基づいて、各時刻及び各周波数の観測スペクトルと、前記音声信号の声道スペクトル系列及び音源スペクトル系列から求められる各時刻及び各周波数のスペクトル、並びに前記雑音信号の各基底及び各周波数におけるパワースペクトルを表す基底スペクトル及び各時刻におけるパワーを表すアクティベーションパラメータから求められる各時刻及び各周波数のスペクトルの和との距離、前記音声信号の声道スペクトル系列と、前記声道スペクトル系列に対応した前記隠れマルコフモデルの状態系列が与えられた下での最尤スペクトル系列との距離、前記音声信号の音源スペクトル系列と、前記音源スペクトル系列に対応した前記隠れマルコフモデルの状態系列が与えられた下での最尤スペクトル系列との距離、及び前記雑音信号の各時刻及び各周波数の観測スペクトルと、前記雑音信号の前記基底スペクトル及び前記アクティベーションパラメータから求められる各時刻及び各周波数のスペクトルとの距離、を用いて表される規準を小さくするように、前記雑音信号の前記基底スペクトル及び前記アクティベーションパラメータと、前記音声信号の声道スペクトル系列と、前記音声信号の音源スペクトル系列と、前記雑音信号の各時刻及び各周波数の観測スペクトルとを推定するパラメータ推定部と、を含んで構成されている。
本発明に係る信号解析方法は、時間周波数展開部と、パラメータ推定部とを含む信号解析装置における信号解析方法であって、前記時間周波数展開部が、音声信号と雑音信号とが混合された観測信号の時系列データを入力として、各時刻及び各周波数の観測スペクトルを表す観測スペクトログラムを出力し、前記パラメータ推定部が、前記時間周波数展開部により出力された前記観測スペクトログラム、及び予め学習された音声信号の隠れマルコフモデルのパラメータに基づいて、各時刻及び各周波数の観測スペクトルと、前記音声信号の声道スペクトル系列及び音源スペクトル系列から求められる各時刻及び各周波数のスペクトル、並びに前記雑音信号の前記基底スペクトル及び前記アクティベーションパラメータから求められる各時刻及び各周波数のスペクトルの和との距離、前記音声信号の声道スペクトル系列と、前記声道スペクトル系列に対応した前記隠れマルコフモデルの状態系列が与えられた下での最尤スペクトル系列との距離、前記音声信号の音源スペクトル系列と、前記音源スペクトル系列に対応した前記隠れマルコフモデルの状態系列が与えられた下での最尤スペクトル系列との距離、及び前記雑音信号の各時刻及び各周波数の観測スペクトルと、前記雑音信号の前記基底スペクトル及び前記アクティベーションパラメータから求められる各時刻及び各周波数のスペクトルとの距離、を用いて表される規準を小さくするように、前記雑音信号の前記基底スペクトル及び前記アクティベーションパラメータと、前記音声信号の声道スペクトル系列と、前記音声信号の音源スペクトル系列と、前記雑音信号の各時刻及び各周波数の観測スペクトルとを推定する。
また、本発明のプログラムは、コンピュータを、上記の信号解析装置を構成する各部として機能させるためのプログラムである。
以上説明したように、本発明の信号解析装置、方法、及びプログラムによれば、観測スペクトルと、声道スペクトル系列及び音源スペクトル系列から求められるスペクトル、並びに雑音信号の前記基底スペクトル及び前記アクティベーションパラメータから求められるスペクトルの和との距離、声道スペクトル系列と、声道スペクトル系列に対応した前記隠れマルコフモデルの状態系列が与えられた下での最尤スペクトル系列との距離、音源スペクトル系列と、音源スペクトル系列に対応した前記隠れマルコフモデルの状態系列が与えられた下での最尤スペクトル系列との距離、及び雑音信号の各時刻及び各周波数の観測スペクトルと、雑音信号の前記基底スペクトル及び前記アクティベーションパラメータから求められる各時刻及び各周波数のスペクトルとの距離を用いて表される規準を小さくするように、雑音信号の前記基底スペクトル及び前記アクティベーションパラメータと、声道スペクトル系列と、音源スペクトル系列と、前記雑音信号の観測スペクトルとを推定することにより、雑音を抑制し、高品質な音声信号を強調することができる。
以下、図面を参照して本発明の実施の形態を詳細に説明する。
＜発明の概要＞
まず、本実施の形態における概要について説明する。音声合成では聴感的に高品質な音声を合成することが目的であり、特にスペクトルだけでなく知覚に大きな影響を与えるスペクトルの時間微分量の統計分布を用いて最適な音声スペクトル系列を生成する方式がとられる。音声通信のための音声強調においても、いかに聴感的に高品質な音声にできるかが重要となるため、音声合成のモデルや手法が有用となる可能性がある。本発明では、未知雑音環境下における半教師あり音声強調の問題に対し、SSNMF法の音声強調方式にパラメトリック音声合成モデルとして提案されたトラジェクトリ隠れマルコフモデルを利用した手法を提案する。
まず、本実施の形態における概要について説明する。音声合成では聴感的に高品質な音声を合成することが目的であり、特にスペクトルだけでなく知覚に大きな影響を与えるスペクトルの時間微分量の統計分布を用いて最適な音声スペクトル系列を生成する方式がとられる。音声通信のための音声強調においても、いかに聴感的に高品質な音声にできるかが重要となるため、音声合成のモデルや手法が有用となる可能性がある。本発明では、未知雑音環境下における半教師あり音声強調の問題に対し、SSNMF法の音声強調方式にパラメトリック音声合成モデルとして提案されたトラジェクトリ隠れマルコフモデルを利用した手法を提案する。
＜本実施の形態の原理＞
次に、本実施の形態の原理について説明する。
次に、本実施の形態の原理について説明する。
＜問題の定式化＞
観測信号の振幅スペクトログラムまたはパワースペクトログラム（以後、観測スペクトログラム）をＹω,tとする。ただし、ωとtは周波数、時刻のインデックスである。スペクトルの加法性を仮定し、各時刻の音声スペクトルX(s) ω,tおよび雑音スペクトルX(n) ω,tをそれぞれＬS個の基底スペクトル
とＬN個の基底スペクトル
の非負結合
観測信号の振幅スペクトログラムまたはパワースペクトログラム（以後、観測スペクトログラム）をＹω,tとする。ただし、ωとtは周波数、時刻のインデックスである。スペクトルの加法性を仮定し、各時刻の音声スペクトルX(s) ω,tおよび雑音スペクトルX(n) ω,tをそれぞれＬS個の基底スペクトル
とＬN個の基底スペクトル
の非負結合
で表せるものとする。
ＳＳＮＭＦ法は、クリーン音声の学習サンプルから事前学習した
を用いて、観測スペクトルYω,tに
をフィッティングすることで観測スペクトログラムに含まれる音声の成分と雑音の成分を推定する方法である（非特許文献１）。このようにして求まる音声スペクトルと雑音スペクトルの推定値からWienerフィルタなどにより観測信号から音声信号を得ることができる。このアプローチでは事前学習した音声の基底スペクトルが音声と雑音の分離の手がかりとなるが、音声の基底スペクトルで雑音スペクトルを説明できてしまう場合やその逆の場合がありえるため、Yω,tとXω,tの誤差を小さくできたとしてもX(S) ω,tとX(N) ω,tが実際の音声スペクトルと雑音スペクトルに対応するとは限らない。また、この方式では、音声スペクトルの推定において音声スペクトルの時間変化量の統計を活用できる仕組みになっておらず、このことがミュージカルノイズの発生や不連続なスペクトル変化を許す一因になっていたと考えられる。そこでより高品質な音声強調を実現するためには音声スペクトルの時間変化の傾向を考慮し、同じXω,tを与えるX(S) ω,tとX(N) ω,tの不定性を解消するより強い制約が必要である。
を用いて、観測スペクトルYω,tに
をフィッティングすることで観測スペクトログラムに含まれる音声の成分と雑音の成分を推定する方法である（非特許文献１）。このようにして求まる音声スペクトルと雑音スペクトルの推定値からWienerフィルタなどにより観測信号から音声信号を得ることができる。このアプローチでは事前学習した音声の基底スペクトルが音声と雑音の分離の手がかりとなるが、音声の基底スペクトルで雑音スペクトルを説明できてしまう場合やその逆の場合がありえるため、Yω,tとXω,tの誤差を小さくできたとしてもX(S) ω,tとX(N) ω,tが実際の音声スペクトルと雑音スペクトルに対応するとは限らない。また、この方式では、音声スペクトルの推定において音声スペクトルの時間変化量の統計を活用できる仕組みになっておらず、このことがミュージカルノイズの発生や不連続なスペクトル変化を許す一因になっていたと考えられる。そこでより高品質な音声強調を実現するためには音声スペクトルの時間変化の傾向を考慮し、同じXω,tを与えるX(S) ω,tとX(N) ω,tの不定性を解消するより強い制約が必要である。
音声の知覚において、音声の対数スペクトルおよびその時間微分量が大きな影響を与えることが知られており、音声合成では聴感的に高品質な音声を合成することが目的として対数スペクトルだけでなく対数スペクトルの時間微分量の統計分布を用いて最適な音声スペクトル系列を生成する方式がとられる（非特許文献２、３参照）。
[非特許文献２]：T. Yoshimura, K. Tokuda, T. Masuko, T. Kobayashi, T. Kitamura,"Simultaneous modeling of spectrum, pitch and duration in HMM-based speech synthesis," in Proc. European Conference on Speech Communication and Technology (EUSIPCO 1999), vol. 5. pp. 2347-2350, 1999.
[非特許文献３]：H. Zen, K. Tokuda, T. Kitamura, "Reformulating the HMM as a trajectory model by imposing explicit relationships between static and dynamic feature vector sequences," Computer Speech and Language, vol. 21, pp. 153-173, 2007.
この方式を隠れマルコフモデル(Hidden Markov Model; HMM)音声合成という。音声通信のための音声強調においても、いかに聴感的に高品質な音声にできるかが重要となるため、音声合成のモデルや手法が有用となる可能性がある。そこで本発明では、音声の対数スペクトルを声道スペクトルと声帯振動スペクトルの成分に分解し、各成分および各成分の時間微分量の確率分布に基づいて X(S) ω,tに対する正則化項を設計し、雑音の対数スペクトルに対しては、従来型のNMFによる正則化項を与え、これらの正則化項とY(S) ω,tとX(S) ω,tの誤差規準の和を最適化規準とするパラメータ最適化アルゴリズムを提案する。
Yω,tとXω,tの誤差はSSNMF法においては二乗誤差、Iダイバージェンス、板倉齋藤擬距離などで測ることが多いが、本発明では対数スペクトル距離
を用いる。ただし、ω、tは周波数と時刻のインデックスを表す。次に、音声信号のスペクトルX(S) ω,tを、音声のソースフィルタ理論に基づき、
のように声道スペクトルＦω,tと音源スペクトルＥω,tの積として表す。そして、これらに対してそれぞれ
のような規準を考える。ここで、
および
はそれぞれ声道スペクトル系列と音源スペクトル系列に対応した異なるHMMの状態系列を表し、
および
は状態系列が与えられた下での最尤スペクトル系列
および
はそれぞれ声道スペクトル系列と音源スペクトル系列に対応した異なるHMMの状態系列を表し、
および
は状態系列が与えられた下での最尤スペクトル系列
に対応する。これはHMM音声合成におけるパラメータ生成方式（上記非特許文献２、３参照）と同形で、
で与えられる。ただし、
は状態系列
が与えられた下での各々のHMMの状態出力分布の平均系列、
は状態系列
が与えられた下での各々のHMMの状態出力分布の分散を対角成分に並べた対角行列である。また、
は、パラメータの時系列が格納されたベクトルをそれ自身とその時間数値微分系列を結合したベクトルに変換する行列である。また、
は平均がμ、分散共分散行列がΣの正規分布を表す。従って式(7)、(8)は所与の状態系列と状態出力分布によって決まるスペクトル系列とその時間微分系列の両確率分布を規準とした最尤スペクトル系列を意味していることが分かる。ここで、それぞれのHMMの各状態の出力分布の平均と分散はクリーンな音声の声道スペクトル系列と音源スペクトル系列から事前学習した定数とする。
は状態系列
が与えられた下での各々のHMMの状態出力分布の平均系列、
は状態系列
が与えられた下での各々のHMMの状態出力分布の分散を対角成分に並べた対角行列である。また、
は、パラメータの時系列が格納されたベクトルをそれ自身とその時間数値微分系列を結合したベクトルに変換する行列である。また、
は平均がμ、分散共分散行列がΣの正規分布を表す。従って式(7)、(8)は所与の状態系列と状態出力分布によって決まるスペクトル系列とその時間微分系列の両確率分布を規準とした最尤スペクトル系列を意味していることが分かる。ここで、それぞれのHMMの各状態の出力分布の平均と分散はクリーンな音声の声道スペクトル系列と音源スペクトル系列から事前学習した定数とする。
さらに、X(N) ω,t に対し、
のような規準を考える。提案法では、式(3)、(5)、(6)、(11)の4つの規準の重みつき和
を最小化することが目的である。ただし、α1、α2、α3は重みづけ係数である。
以上のようにこの最適化問題は、観測スペクトル系列の中に埋もれた音声スペクトル系列を、HMM音声合成の生成モデルと同形のモデル（式(9)、(10)）でどれだけ良く説明できるかを手がかりにしながら推定する問題となっている。
＜パラメータ推定アルゴリズム＞
を最小化するF、E、H(N)、U(N)を解析的に得ることはできないが、当該最適化問題の局所最適解を探索する反復アルゴリズムを補助関数法に基づき導くことができる。
を最小化するF、E、H(N)、U(N)を解析的に得ることはできないが、当該最適化問題の局所最適解を探索する反復アルゴリズムを補助関数法に基づき導くことができる。
補助関数法による、目的関数F(θ)の最小化問題の最適化アルゴリズムでは、まず補助変数ξを導入し、
を満たす補助関数
を設計する。このような補助関数が設計できれば、
を交互に繰り返すことで、目的関数F(θ)を局所最小化するθを得ることができる。以下で、
の補助関数とそれに基づく更新式を導く。
を満たす補助関数
を設計する。このような補助関数が設計できれば、
を交互に繰り返すことで、目的関数F(θ)を局所最小化するθを得ることができる。以下で、
の補助関数とそれに基づく更新式を導く。
については、
のように展開し、式(14)右辺の各項に対し、補助関数を設計する。まず第一項に関して、以下の不等式が成り立つことを利用する。
x>0、ξ>0において
が成り立ち、等号はx=ξのときのみ成立する。
以上の不等式から、任意のξω,t>0について
が言え、さらに逆関数が凸関数であることを利用して、Jensenの不等式により
が成り立つ。ただし、λ(S) ω,t、λ(N) ω,tは
を満たす補助変数である。これらをまとめると、
を得る。なお、式(21)の等号成立条件は
である。
次に、式(14)の第二項の補助関数を設計する。LogＹω,tは正と負の符号をとりうるので、logＹω,tの符号に応じてlogＸω,tに対し別の不等式を立てる。負の対数関数は凸関数なのでJensenの不等式により
を得る。ただし、θ(S) ω,t、θ(N) ω,tは
を満たす非負の変数である。また、正の対数関数は凹関数なので
が成り立つ。ただし、φω,tは任意の実数である。これらの不等式は、
のときに等号成立する。以上をまとめると、
が言える。ただし、δxは条件xを満たす場合に1、満たさない場合に0となる指示関数である。
次に、
の補助関数を設計する。まず、
の補助関数を設計する。まず、
と展開し、式(31)の右辺第一項については、式(15)、(16)、(17)を用いると任意のηω,t>0について
が成り立ち、等号は
のとき成り立つ。以上から、
が成り立つ。同様にして、
の補助関数は任意のζω,t>0を用いて
の補助関数は任意のζω,t>0を用いて
により設計できる。なお、等号は
のとき成り立つ。
最後に、
については
については
と書くことができ、式(37)の右辺第一項を式(15)、(16)、(17)を用いると任意のνω,t>0について
が成り立ち、等号は
のとき成り立つ。次に、第二項の補助関数を設計する。logＸ(N) ω,tは正と負の符号をとりうるので、logＸ(N) ω,tの符号に応じてlogΣlH(N) ω,tU(N) ω,tに対し別の不等式を立てる。負の対数関数は凸関数なのでJensenの不等式により
を得る。ただし、ψω,l,tは
を満たす非負の変数である。また、正の対数関数は凹関数なので
が成り立つ。ただし、πω,tは任意の実数である。これらの不等式は、
のときに等号成立する。
第三項については、式(15)、(16)、(17)を用いると任意のεω,t> 0について
が成り立ち、さらに、Jensenの不等式により
となる。ただし、σω,tは任意の実変数、τω,l,tは
を満たす任意の非負変数である。これらをまとめると、
を得る。なお、式(51)の等号は
のとき成り立つ。
以上をまとめると、
が成り立ち、右辺を
の補助関数とすることができる。以上の補助関数を足し合わせることで
の補助関数が得られる。この補助関数を最小にする各パラメータの更新式は
の補助関数とすることができる。以上の補助関数を足し合わせることで
の補助関数が得られる。この補助関数を最小にする各パラメータの更新式は
のように閉形式で得られる。ただし、
である。
Fω,1,…,Fω,Tの更新後、Fω,1,…,F ω,Tの時間微分系列ΔFω,1,…,ΔF ω,Tを算出し、Fω,tとΔFω,tとの結合ベクトルを
とする。
とする。
をHMMの出力系列と見なし、その生成確率が最大となる状態系列
をViterbiアルゴリズムにより探索する。求まった
を用いて式(7)により
を更新する。以上と同様の手続きをEω,1,…, E ω,Tにも適用し、
を更新する。
＜本発明の実施の形態に係る信号解析装置の構成＞
次に、本発明の実施の形態に係る信号解析装置の構成について説明する。図１に示すように、本発明の実施の形態に係る信号解析装置１００は、ＣＰＵと、ＲＡＭと、後述する学習処理ルーチン及びパラメータ推定処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することができる。この信号解析装置１００は、機能的には図１に示すように入力部１０と、演算部２０と、出力部９０と、を含んで構成されている。
次に、本発明の実施の形態に係る信号解析装置の構成について説明する。図１に示すように、本発明の実施の形態に係る信号解析装置１００は、ＣＰＵと、ＲＡＭと、後述する学習処理ルーチン及びパラメータ推定処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することができる。この信号解析装置１００は、機能的には図１に示すように入力部１０と、演算部２０と、出力部９０と、を含んで構成されている。
入力部１０は、雑音が混じっていないクリーンな音声信号（以後、クリーン音声信号）の時系列データを受け付ける。また、入力部１０は、音声信号と雑音信号とが混じっている音響信号（以後、観測信号）の時系列データを受け付ける。
演算部２０は、時間周波数展開部２４と、ＨＭＭパラメータ学習部３２と、ＨＭＭパラメータ記憶部３４と、パラメータ推定部３６と、音声信号生成部３８と、を含んで構成されている。
時間周波数展開部２４は、クリーン音声信号の時系列データに基づいて、各時刻における各周波数のスペクトルを表す振幅スペクトログラム又はパワースペクトログラムを計算する。なお、第１の実施の形態においては、短時間フーリエ変換やウェーブレット変換などの時間周波数展開を行う。
また、時間周波数展開部２４は、観測信号の時系列データに基づいて、各時刻ｔにおける各周波数ωの観測スペクトルＹω,tを表す振幅スペクトログラム又はパワースペクトログラムである観測スペクトログラムＹを計算する。
ＨＭＭパラメータ学習部３２は、時間周波数展開部２４によって計算された、クリーン音声信号の各時刻における各周波数のスペクトルに基づいて、音声の声道スペクトルと声帯振動スペクトルに対して、その対数スペクトル系列および対数スペクトルの一次時間数値微分系列のＨＭＭパラメータを学習する。具体的には、HMMの状態出力分布の平均系列
、HMMの状態出力分布の分散を対角成分に並べた対角行列
、及び状態間の状態遷移確率を学習する。
、HMMの状態出力分布の分散を対角成分に並べた対角行列
、及び状態間の状態遷移確率を学習する。
ＨＭＭパラメータ記憶部３４は、ＨＭＭパラメータ学習部３２によって学習された、HMMの状態出力分布の平均系列
、HMMの状態出力分布の分散を対角成分に並べた対角行列
、及び状態間の状態遷移確率を記憶している。
、HMMの状態出力分布の分散を対角成分に並べた対角行列
、及び状態間の状態遷移確率を記憶している。
パラメータ推定部３６は、時間周波数展開部２４により出力された観測スペクトログラムＹ、及びＨＭＭパラメータ記憶部３４に記憶されているＨＭＭパラメータに基づいて、各時刻及び各周波数の観測スペクトルＹと、音声信号の声道スペクトル系列Ｆ及び音源スペクトル系列Ｅから求められる各時刻及び各周波数のスペクトルＸ(S)、並びに前記雑音信号の前記基底スペクトル及び前記アクティベーションパラメータから求められる各時刻及び各周波数のスペクトルＸ(N)の和Ｘとの距離
、音声信号の声道スペクトル系列Ｆと、声道スペクトル系列に対応した隠れマルコフモデルの状態系列が与えられた下での最尤スペクトル系列との距離
、音声信号の音源スペクトル系列Ｅと、音源スペクトル系列Ｅに対応した前記隠れマルコフモデルの状態系列が与えられた下での最尤スペクトル系列との距離
、及び雑音信号の各時刻及び各周波数の観測スペクトルＸ(N)と、雑音信号の基底スペクトルＨ(N)及びアクティベーションパラメータＵ(N)から求められる各時刻及び各周波数のスペクトルとの距離
、を用いて表される上記（12）式に示す規準を小さくするように、雑音信号の基底スペクトルＨ(N)及びアクティベーションパラメータＵ(N)と、音声信号の声道スペクトル系列Ｆと、音声信号の音源スペクトル系列Ｅと、雑音信号の各時刻及び各周波数の観測スペクトルＸ(N)とを推定する。
、音声信号の声道スペクトル系列Ｆと、声道スペクトル系列に対応した隠れマルコフモデルの状態系列が与えられた下での最尤スペクトル系列との距離
、音声信号の音源スペクトル系列Ｅと、音源スペクトル系列Ｅに対応した前記隠れマルコフモデルの状態系列が与えられた下での最尤スペクトル系列との距離
、及び雑音信号の各時刻及び各周波数の観測スペクトルＸ(N)と、雑音信号の基底スペクトルＨ(N)及びアクティベーションパラメータＵ(N)から求められる各時刻及び各周波数のスペクトルとの距離
、を用いて表される上記（12）式に示す規準を小さくするように、雑音信号の基底スペクトルＨ(N)及びアクティベーションパラメータＵ(N)と、音声信号の声道スペクトル系列Ｆと、音声信号の音源スペクトル系列Ｅと、雑音信号の各時刻及び各周波数の観測スペクトルＸ(N)とを推定する。
具体的には、パラメータ推定部３６は、初期値設定部４０、補助変数更新部４２、パラメータ更新部４４、状態系列更新部４５、及び収束判定部４６を備えている。
初期値設定部４０は、音声信号のアクティベーションパラメータＵ(S)と、雑音信号の基底スペクトルＨ(N)及びアクティベーションパラメータＵ(N)と、音声信号の声道スペクトル系列Ｆと、音声信号の音源スペクトル系列Ｅと、雑音信号の各時刻及び各周波数の観測スペクトルＸ(N)とに初期値を設定する。また、状態系列
、最尤スペクトル系列
に初期値を設定する。
、最尤スペクトル系列
に初期値を設定する。
補助変数更新部４２は、初期値である、又は前回更新した、音声信号の声道スペクトル系列Ｆと、音声信号の音源スペクトル系列Ｅと、雑音信号の各時刻及び各周波数の観測スペクトルＸ(N)とに基づいて、上記（２２）式、（２３）式、（２７）式、（２８）式、（３３）式、（３６）式、（３９）式、（４３）式、（４４）式、（４９）式、（５０）式に従って、各周波数ω及び各時刻ｔに対するζω,t、λ(S) ω,t、λ(N) ω,t、θ(S) ω,t、θ(N) ω,t、φω,t、ηω,t、ζω,t、νω,t、πω,t、σω,t、各基底ｌ、各周波数ω、及び各時刻ｔに対するψl,ω,t、τω,l,t、雑音信号の各基底ｌ及び各周波数ωの基底スペクトルＨ(N) ω,l及び各基底ｌ及び各時刻ｔのアクティベーションパラメータＵ(N) l,tを更新する。
パラメータ更新部４４は、時間周波数展開部２４により出力された観測スペクトログラムＹと、補助変数更新部４２によって更新された各周波数ω及び各時刻ｔに対するζω,t、λ(S) ω,t、λ(N) ω,t、θ(S) ω,t、θ(N) ω,t、φω,t、ηω,t、ζω,t、νω,t、πω,t、σω,t、各基底ｌ、各周波数ω、及び各時刻ｔに対するψl,ω,t、τω,l,tと、初期値である、又は前回更新した、音声信号の声道スペクトル系列Ｆと、音声信号の音源スペクトル系列Ｅと、雑音信号の各時刻及び各周波数の観測スペクトルＸ(N)と、雑音信号の基底スペクトルＨ(N)及びアクティベーションパラメータＵ(N)と、状態系列
、最尤スペクトル系列
とに基づいて、上記（５２）式〜（５６）式に従って、雑音信号の各基底ｌ及び各周波数ωの基底スペクトルＨ(N) ω,l及び各基底ｌ及び各時刻ｔのアクティベーションパラメータＵ(N) l,t、音声信号の声道スペクトル系列Ｆと、音声信号の音源スペクトル系列Ｅと、雑音信号の各時刻ｔ及び各周波数ωの観測スペクトルＸ(N) ω,tとを推定する。
、最尤スペクトル系列
とに基づいて、上記（５２）式〜（５６）式に従って、雑音信号の各基底ｌ及び各周波数ωの基底スペクトルＨ(N) ω,l及び各基底ｌ及び各時刻ｔのアクティベーションパラメータＵ(N) l,t、音声信号の声道スペクトル系列Ｆと、音声信号の音源スペクトル系列Ｅと、雑音信号の各時刻ｔ及び各周波数ωの観測スペクトルＸ(N) ω,tとを推定する。
状態系列更新部４５は、パラメータ更新部４４によって更新された各周波数ωの声道スペクトル系列Fω,1,…,F ω,Tに基づいて、各周波数ωの声道スペクトル系列Fω,1,…,F ω,Tの時間微分系列ΔFω,1,…,ΔF ω,Tを算出し、Fω,tとΔFω,tとの結合ベクトル
をHMMの出力系列と見なし、その生成確率が最大となる状態系列
をViterbiアルゴリズムにより探索する。求まった
を用いて上記式(7)により
を更新する。また、パラメータ更新部４４によって更新された各周波数ωの音源スペクトル系列Eω,1,…,E ω,Tに基づいて、各周波数ωの音源スペクトル系列Eω,1,…,E ω,Tの時間微分系列ΔEω,1,…,ΔE ω,Tを算出し、Eω,tとΔEω,tとの結合ベクトルをHMMの出力系列と見なし、その生成確率が最大となる状態系列
をViterbiアルゴリズムにより探索する。求まった
を用いて上記式(8)により
を更新する。
をHMMの出力系列と見なし、その生成確率が最大となる状態系列
をViterbiアルゴリズムにより探索する。求まった
を用いて上記式(7)により
を更新する。また、パラメータ更新部４４によって更新された各周波数ωの音源スペクトル系列Eω,1,…,E ω,Tに基づいて、各周波数ωの音源スペクトル系列Eω,1,…,E ω,Tの時間微分系列ΔEω,1,…,ΔE ω,Tを算出し、Eω,tとΔEω,tとの結合ベクトルをHMMの出力系列と見なし、その生成確率が最大となる状態系列
をViterbiアルゴリズムにより探索する。求まった
を用いて上記式(8)により
を更新する。
収束判定部４６は、収束条件を満たすか否かを判定し、収束条件を満たすまで、補助変数更新部４２における更新処理と、パラメータ更新部４４における更新処理と、状態系列更新部４５における更新処理とを繰り返させる。
収束条件としては、例えば、繰り返し回数が、上限回数に到達したことを用いることができる。あるいは、収束条件として、上記（12）式の規準の値と前回の規準の値との差分が、予め定められた閾値以下であることを用いることができる。
音声信号生成部３８は、パラメータ推定部３６において取得した音声信号の声道スペクトル系列Ｆと、音声信号の音源スペクトル系列Ｅと、雑音信号の各時刻ｔ及び各周波数ωの観測スペクトルＸ(N) ω,tと、観測スペクトログラムＹとに基づいて、Ｗｉｅｎｅｒフィルタに従って、音声信号を生成し、出力部９０から出力する。例えば、パラメータ推定部３６において取得した音声信号の声道スペクトル系列Ｆと、音声信号の音源スペクトル系列Ｅとから求められる、音声信号の各時刻ｔ及び各周波数ωの観測スペクトルＸ(Ｓ) ω,tと、パラメータ推定部３６において取得した雑音信号の各時刻ｔ及び各周波数ωの観測スペクトルＸ(N) ω,tと、観測スペクトログラムＹとから、Ｗｉｅｎｅｒフィルタにより、音声信号を生成する。
＜本発明の実施の形態に係る信号解析装置の作用＞
次に、本発明の実施の形態に係る信号解析装置１００の作用について説明する。まず、入力部１０においてクリーン音声信号の時系列データを受け付けると、信号解析装置１００は、図２に示す学習処理ルーチンを実行する。
次に、本発明の実施の形態に係る信号解析装置１００の作用について説明する。まず、入力部１０においてクリーン音声信号の時系列データを受け付けると、信号解析装置１００は、図２に示す学習処理ルーチンを実行する。
まず、ステップＳ１００では、入力部１０において受け付けたクリーン音声信号の時系列データに基づいて、クリーン音声信号の各時刻における各周波数のスペクトルを計算する。
ステップＳ１０６では、上記ステップＳ１００において取得したクリーン音声信号の各時刻における各周波数のスペクトルに基づいて、音声の声道スペクトルと声帯振動スペクトルに対して、その対数スペクトル系列および対数スペクトルの一次時間数値微分系列のＨＭＭパラメータを学習する。具体的には、HMMの状態出力分布の平均系列
、HMMの状態出力分布の分散を対角成分に並べた対角行列
、及び状態間の状態遷移確率を学習し、ＨＭＭパラメータ記憶部３４に格納して、学習処理ルーチンを終了する。
、HMMの状態出力分布の分散を対角成分に並べた対角行列
、及び状態間の状態遷移確率を学習し、ＨＭＭパラメータ記憶部３４に格納して、学習処理ルーチンを終了する。
次に、入力部１０において、音声信号と雑音信号とが混在した観測信号の時系列データを受け付けると、信号解析装置１００は、図３に示すパラメータ推定処理ルーチンを実行する。
まず、ステップＳ１２０では、入力部１０において受け付けた観測信号の時系列データに基づいて、観測スペクトログラムＹを計算する。
ステップＳ１２２では、音声信号のアクティベーションパラメータＵ(S)と、雑音信号の基底スペクトルＨ(N)及びアクティベーションパラメータＵ(N)と、音声信号の声道スペクトル系列Ｆと、音声信号の音源スペクトル系列Ｅと、雑音信号の各時刻及び各周波数の観測スペクトルＸ(N)とに初期値を設定する。
ステップＳ１２４では、初期値である、又は後述するステップＳ１２５で前回更新した、音声信号の声道スペクトル系列Ｆと、音声信号の音源スペクトル系列Ｅと、雑音信号の各時刻及び各周波数の観測スペクトルＸ(N)とに基づいて、上記（２２）式、（２３）式、（２７）式、（２８）式、（３３）式、（３６）式、（３９）式、（４３）式、（４４）式、（４９）式、（５０）式に従って、各周波数ω及び各時刻ｔに対するζω,t、λ(S) ω,t、λ(N) ω,t、θ(S) ω,t、θ(N) ω,t、φω,t、ηω,t、ζω,t、νω,t、πω,t、σω,t、各基底ｌ、各周波数ω、及び各時刻ｔに対するψl,ω,t、τω,l,t、雑音信号の各基底ｌ及び各周波数ωの基底スペクトルＨ(N) ω,l及び各基底ｌ及び各時刻ｔのアクティベーションパラメータＵ(N) l,tを更新する。
次に、ステップＳ１２５では、上記ステップＳ１２０で得られた観測スペクトログラムＹと、上記ステップＳ１２４で更新された各周波数ω及び各時刻ｔに対するζω,t、λ(S) ω,t、λ(N) ω,t、θ(S) ω,t、θ(N) ω,t、φω,t、ηω,t、ζω,t、νω,t、πω,t、σω,t、各基底ｌ、各周波数ω、及び各時刻ｔに対するψl,ω,t、τω,l,tと、初期値である、又は前回更新した、音声信号の声道スペクトル系列Ｆと、音声信号の音源スペクトル系列Ｅと、雑音信号の各時刻及び各周波数の観測スペクトルＸ(N)と、雑音信号の基底スペクトルＨ(N)及びアクティベーションパラメータＵ(N)と、状態系列
、最尤スペクトル系列
とに基づいて、上記（５２）式〜（５６）式に従って、雑音信号の各基底ｌ及び各周波数ωの基底スペクトルＨ(N) ω,l及び各基底ｌ及び各時刻ｔのアクティベーションパラメータＵ(N) l,t、音声信号の声道スペクトル系列Ｆと、音声信号の音源スペクトル系列Ｅと、雑音信号の各時刻ｔ及び各周波数ωの観測スペクトルＸ(N) ω,tとを推定する。
、最尤スペクトル系列
とに基づいて、上記（５２）式〜（５６）式に従って、雑音信号の各基底ｌ及び各周波数ωの基底スペクトルＨ(N) ω,l及び各基底ｌ及び各時刻ｔのアクティベーションパラメータＵ(N) l,t、音声信号の声道スペクトル系列Ｆと、音声信号の音源スペクトル系列Ｅと、雑音信号の各時刻ｔ及び各周波数ωの観測スペクトルＸ(N) ω,tとを推定する。
ステップＳ１２６では、上記ステップＳ１２５で更新された各周波数ωの声道スペクトル系列Fω,1,…,F ω,Tに基づいて、各周波数ωの声道スペクトル系列Fω,1,…,F ω,Tの時間微分系列ΔFω,1,…,ΔF ω,Tを算出し、Fω,tとΔFω,tとの結合ベクトル
をHMMの出力系列と見なし、その生成確率が最大となる状態系列
をViterbiアルゴリズムにより探索する。また、上記ステップＳ１２５で更新された各周波数ωの音源スペクトル系列Eω,1,…,E ω,Tに基づいて、各周波数ωの音源スペクトル系列Eω,1,…,E ω,Tの時間微分系列ΔEω,1,…,ΔE ω,Tを算出し、Eω,tとΔEω,tとの結合ベクトルをHMMの出力系列と見なし、その生成確率が最大となる状態系列
をViterbiアルゴリズムにより探索する。
をHMMの出力系列と見なし、その生成確率が最大となる状態系列
をViterbiアルゴリズムにより探索する。また、上記ステップＳ１２５で更新された各周波数ωの音源スペクトル系列Eω,1,…,E ω,Tに基づいて、各周波数ωの音源スペクトル系列Eω,1,…,E ω,Tの時間微分系列ΔEω,1,…,ΔE ω,Tを算出し、Eω,tとΔEω,tとの結合ベクトルをHMMの出力系列と見なし、その生成確率が最大となる状態系列
をViterbiアルゴリズムにより探索する。
ステップＳ１２７では、上記ステップＳ１２６で求まった
を用いて上記式(7)により
を更新する。また、上記ステップＳ１２６で求まった
を用いて上記式(8)により
を更新する。
を用いて上記式(7)により
を更新する。また、上記ステップＳ１２６で求まった
を用いて上記式(8)により
を更新する。
次に、ステップＳ１２８では、収束条件を満たすか否かを判定する。収束条件を満たした場合には、ステップＳ１３０へ移行し、収束条件を満たしていない場合には、ステップＳ１２４へ移行し、ステップＳ１２４〜ステップＳ１２８の処理を繰り返す。
ステップＳ１３０では、上記ステップＳ１２５で最終的に更新された音声信号の声道スペクトル系列Ｆと、音声信号の音源スペクトル系列Ｅと、雑音信号の各時刻ｔ及び各周波数ωの観測スペクトルＸ(N) ω,tと、観測スペクトログラムＹとに基づいて、Ｗｉｅｎｅｒフィルタに従って、音声信号を生成し、出力部９０から出力して、パラメータ推定処理ルーチンを終了する。
＜実験例＞
NTT-AT多言語音声データベース2002の音声データとRWCPの雑音データ(white noise, museum noise, babble noise, background music noiseの 4種類)を用いて上述の手法による雑音抑圧効果を検証する評価実験を行った。比較対象は従来のSSNMF法とし、強調前と強調後の音声のスペクトログラムを観察した。テストデータはクリーン音声に各雑音をさまざまなSNRで重畳させて作成した。テストデータはすべてサンプリング周波数16kHzのモノラル信号で、フレーム長32ms、フレームシフト16msで短時間Fourier変換を行い、観測スペクトログラムYω,tを算出した。学習においては10名(うち女性5名、男性5名)の話者の計500文の音声を用いてH(S) ω,lを学習し、音声の声道スペクトルと声帯振動スペクトルに対して、その対数スペクトル系列および対数スペクトルの一次時間数値微分系列のHMMパラメータの学習を行った。なお、本実験では簡単のため、HMMの各状態から各状態への遷移確率は一様とした。事前学習したH(S) ω,lの基底数は6とし、HMMの状態数は32とした。テストにおいては、学習で得られたH(S) ω,lとHMMパラメータを固定し、α1=1、α2＝10、α3=1としてFω,t、Eω,t、H(N) ω,l、U(N) l,tの推定を行った。推定後、X(S) ω,tとX(N) ω,tを用いてWienerフィルタにより音声信号の推定値を算出した。提案法アルゴリズムの初期値は従来のSSNMFにより得た。
NTT-AT多言語音声データベース2002の音声データとRWCPの雑音データ(white noise, museum noise, babble noise, background music noiseの 4種類)を用いて上述の手法による雑音抑圧効果を検証する評価実験を行った。比較対象は従来のSSNMF法とし、強調前と強調後の音声のスペクトログラムを観察した。テストデータはクリーン音声に各雑音をさまざまなSNRで重畳させて作成した。テストデータはすべてサンプリング周波数16kHzのモノラル信号で、フレーム長32ms、フレームシフト16msで短時間Fourier変換を行い、観測スペクトログラムYω,tを算出した。学習においては10名(うち女性5名、男性5名)の話者の計500文の音声を用いてH(S) ω,lを学習し、音声の声道スペクトルと声帯振動スペクトルに対して、その対数スペクトル系列および対数スペクトルの一次時間数値微分系列のHMMパラメータの学習を行った。なお、本実験では簡単のため、HMMの各状態から各状態への遷移確率は一様とした。事前学習したH(S) ω,lの基底数は6とし、HMMの状態数は32とした。テストにおいては、学習で得られたH(S) ω,lとHMMパラメータを固定し、α1=1、α2＝10、α3=1としてFω,t、Eω,t、H(N) ω,l、U(N) l,tの推定を行った。推定後、X(S) ω,tとX(N) ω,tを用いてWienerフィルタにより音声信号の推定値を算出した。提案法アルゴリズムの初期値は従来のSSNMFにより得た。
以上の条件下での提案法と従来法によって得られた強調前と強調後の音声のスペクトログラムを図４〜７に示す。
図４の左上は、音声のスペクトログラムを示し、右上は、その音声に白色雑音を重畳したスペクトログラムを示し、左下は、従来法によって得られた強調後のスペクトログラムを示し、右下は、提案法によって得られた強調後のスペクトログラムを示す。
図５の左上は、音声のスペクトログラムを示し、右上は、その音声に実環境雑音を重畳したスペクトログラムを示し、左下は、従来法によって得られた強調後のスペクトログラムを示し、右下は、提案法によって得られた強調後のスペクトログラムを示す。
図６の左上は、音声のスペクトログラムを示し、右上は、その音声にバブル雑音を重畳したスペクトログラムを示し、左下は、従来法によって得られた強調後のスペクトログラムを示し、右下は、提案法によって得られた強調後のスペクトログラムを示す。
図７の左上は、音声のスペクトログラムを示し、右上は、その音声に背景音楽雑音を重畳したスペクトログラムを示し、左下は、従来法によって得られた強調後のスペクトログラムを示し、右下は、提案法によって得られた強調後のスペクトログラムを示す。
いずれのほとんどの場合においても、強調後のスペクトログラムは提案法の方が元の音声のスペクトログラムにより近づいていることが確認できる。
以上説明したように、本発明の実施の形態に係る信号解析装置によれば、観測スペクトルと、声道スペクトル系列及び音源スペクトル系列から求められるスペクトル、並びに雑音信号の基底スペクトル及びアクティベーションパラメータから求められるスペクトルの和との距離、声道スペクトル系列と、声道スペクトル系列に対応したＨＭＭの状態系列が与えられた下での最尤スペクトル系列との距離、音源スペクトル系列と、音源スペクトル系列に対応したＨＭＭの状態系列が与えられた下での最尤スペクトル系列との距離、及び雑音信号の各時刻及び各周波数の観測スペクトルと、雑音信号の基底スペクトル及びアクティベーションパラメータから求められる各時刻及び各周波数のスペクトルとの距離を用いて表される規準を小さくするように、雑音信号の基底スペクトル及びアクティベーションパラメータと、声道スペクトル系列と、音源スペクトル系列と、雑音信号の観測スペクトルとを推定することにより、雑音を抑制し、高品質な音声信号を強調することができる。
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
例えば、ＨＭＭパラメータを学習する処理と、観測信号から音声信号を推定するパラメータ推定とを別々の装置で行うように構成してもよい。
また、更新するパラメータの順番には任意性があるため、上記の実施の形態の順番に限定されない。
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能であるし、ネットワークを介して提供することも可能である。
１０ 入力部
２０ 演算部
２４ 時間周波数展開部
３２ ＨＭＭパラメータ学習部
３４ ＨＭＭパラメータ記憶部
３６ パラメータ推定部
３８ 音声信号生成部
４０ 初期値設定部
４２ 補助変数更新部
４４ パラメータ更新部
４５ 状態系列更新部
４６ 収束判定部
９０ 出力部
１００ 信号解析装置
２０ 演算部
２４ 時間周波数展開部
３２ ＨＭＭパラメータ学習部
３４ ＨＭＭパラメータ記憶部
３６ パラメータ推定部
３８ 音声信号生成部
４０ 初期値設定部
４２ 補助変数更新部
４４ パラメータ更新部
４５ 状態系列更新部
４６ 収束判定部
９０ 出力部
１００ 信号解析装置
Claims (7)
- 音声信号と雑音信号とが混合された観測信号の時系列データを入力として、各時刻及び各周波数の観測スペクトルを表す観測スペクトログラムを出力する時間周波数展開部と、
前記時間周波数展開部により出力された前記観測スペクトログラム、及び予め学習された音声信号の隠れマルコフモデルのパラメータに基づいて、
各時刻及び各周波数の観測スペクトルと、前記音声信号の声道スペクトル系列及び音源スペクトル系列から求められる各時刻及び各周波数のスペクトル、並びに前記雑音信号の各基底及び各周波数におけるパワースペクトルを表す基底スペクトル及び各時刻におけるパワーを表すアクティベーションパラメータから求められる各時刻及び各周波数のスペクトルの和との距離、
前記音声信号の声道スペクトル系列と、前記声道スペクトル系列に対応した前記隠れマルコフモデルの状態系列が与えられた下での最尤スペクトル系列との距離、
前記音声信号の音源スペクトル系列と、前記音源スペクトル系列に対応した前記隠れマルコフモデルの状態系列が与えられた下での最尤スペクトル系列との距離、及び
前記雑音信号の各時刻及び各周波数の観測スペクトルと、前記雑音信号の前記基底スペクトル及び前記アクティベーションパラメータから求められる各時刻及び各周波数のスペクトルとの距離、
を用いて表される規準を小さくするように、前記雑音信号の前記基底スペクトル及び前記アクティベーションパラメータと、前記音声信号の声道スペクトル系列と、前記音声信号の音源スペクトル系列と、前記雑音信号の各時刻及び各周波数の観測スペクトルとを推定するパラメータ推定部と、
を含む信号解析装置。 - 前記規準は、以下の式で表わされる請求項１記載の信号解析装置。
ただし、α1、α2、α3は予め定められた重み係数を表し、
は、前記観測スペクトログラムＹと前記和Ｘとの距離を表し、
は、前記音声信号の声道スペクトル系列Ｆと、前記声道スペクトル系列に対応した前記隠れマルコフモデルの状態系列ｓが与えられた下での最尤スペクトル系列との距離を表し、
は、前記音声信号の音源スペクトル系列Ｅと、前記音源スペクトル系列に対応した前記隠れマルコフモデルの状態系列ｑが与えられた下での最尤スペクトル系列との距離を表し、
は、前記雑音信号の各時刻及び各周波数の観測スペクトルＸ(N)と、前記雑音信号の前記基底スペクトルＨ(N)及び前記アクティベーションパラメータＵ(N)から求められる各時刻及び各周波数のスペクトルとの距離を表す。 - 前記パラメータ推定部は、
前記規準の上界関数である補助関数を小さくするように、前記雑音信号の前記基底スペクトル及び前記アクティベーションパラメータと、前記音声信号の声道スペクトル系列と、前記音声信号の音源スペクトル系列と、前記雑音信号の各時刻及び各周波数の観測スペクトルとを更新するパラメータ更新部と、
予め定められた収束条件を満たすまで、前記パラメータ更新部による更新を繰り返させる収束判定部と、
を含む請求項１又は２記載の信号解析装置。 - 時間周波数展開部と、パラメータ推定部とを含む信号解析装置における信号解析方法であって、
前記時間周波数展開部が、音声信号と雑音信号とが混合された観測信号の時系列データを入力として、各時刻及び各周波数の観測スペクトルを表す観測スペクトログラムを出力し、
前記パラメータ推定部が、前記時間周波数展開部により出力された前記観測スペクトログラム、及び予め学習された音声信号の隠れマルコフモデルのパラメータに基づいて、
各時刻及び各周波数の観測スペクトルと、前記音声信号の声道スペクトル系列及び音源スペクトル系列から求められる各時刻及び各周波数のスペクトル、並びに前記雑音信号の各基底及び各周波数におけるパワースペクトルを表す基底スペクトル及び各時刻におけるパワーを表すアクティベーションパラメータから求められる各時刻及び各周波数のスペクトルの和との距離、
前記音声信号の声道スペクトル系列と、前記声道スペクトル系列に対応した前記隠れマルコフモデルの状態系列が与えられた下での最尤スペクトル系列との距離、
前記音声信号の音源スペクトル系列と、前記音源スペクトル系列に対応した前記隠れマルコフモデルの状態系列が与えられた下での最尤スペクトル系列との距離、及び
前記雑音信号の各時刻及び各周波数の観測スペクトルと、前記雑音信号の前記基底スペクトル及び前記アクティベーションパラメータから求められる各時刻及び各周波数のスペクトルとの距離、
を用いて表される規準を小さくするように、前記雑音信号の前記基底スペクトル及び前記アクティベーションパラメータと、前記音声信号の声道スペクトル系列と、前記音声信号の音源スペクトル系列と、前記雑音信号の各時刻及び各周波数の観測スペクトルとを推定する
信号解析方法。 - 前記規準は、以下の式で表わされる請求項４記載の信号解析方法。
ただし、α1、α2、α3は予め定められた重み係数を表し、
は、前記観測スペクトログラムＹと前記和Ｘとの距離を表し、
は、前記音声信号の声道スペクトル系列Ｆと、前記声道スペクトル系列に対応した前記隠れマルコフモデルの状態系列ｓが与えられた下での最尤スペクトル系列との距離を表し、
は、前記音声信号の音源スペクトル系列Ｅと、前記音源スペクトル系列に対応した前記隠れマルコフモデルの状態系列ｑが与えられた下での最尤スペクトル系列との距離を表し、
は、前記雑音信号の各時刻及び各周波数の観測スペクトルＸ(N)と、前記雑音信号の前記基底スペクトルＨ(N)及び前記アクティベーションパラメータＵ(N)から求められる各時刻及び各周波数のスペクトルとの距離を表す。 - 前記パラメータ推定部が推定することでは、
パラメータ更新部が、前記規準の上界関数である補助関数を小さくするように、前記雑音信号の前記基底スペクトル及び前記アクティベーションパラメータと、前記音声信号の声道スペクトル系列と、前記音声信号の音源スペクトル系列と、前記雑音信号の各時刻及び各周波数の観測スペクトルとを更新し、
収束判定部が、予め定められた収束条件を満たすまで、前記パラメータ更新部による更新を繰り返させることを含む請求項４又は５記載の信号解析方法。 - 請求項１〜請求項３の何れか１項に記載の信号解析装置の各部としてコンピュータを機能させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016168309A JP6564744B2 (ja) | 2016-08-30 | 2016-08-30 | 信号解析装置、方法、及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016168309A JP6564744B2 (ja) | 2016-08-30 | 2016-08-30 | 信号解析装置、方法、及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018036406A JP2018036406A (ja) | 2018-03-08 |
| JP6564744B2 true JP6564744B2 (ja) | 2019-08-21 |
Family
ID=61567372
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016168309A Active JP6564744B2 (ja) | 2016-08-30 | 2016-08-30 | 信号解析装置、方法、及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6564744B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2024032306A (ja) | 2022-08-29 | 2024-03-12 | 株式会社ディスコ | 加工装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8015003B2 (en) * | 2007-11-19 | 2011-09-06 | Mitsubishi Electric Research Laboratories, Inc. | Denoising acoustic signals using constrained non-negative matrix factorization |
-
2016
- 2016-08-30 JP JP2016168309A patent/JP6564744B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018036406A (ja) | 2018-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhao et al. | Perceptually guided speech enhancement using deep neural networks | |
| US7664643B2 (en) | System and method for speech separation and multi-talker speech recognition | |
| US8930183B2 (en) | Voice conversion method and system | |
| CN107924686B (zh) | 语音处理装置、语音处理方法以及存储介质 | |
| WO2018159403A1 (ja) | 学習装置、音声合成システムおよび音声合成方法 | |
| Sprechmann et al. | Supervised non-euclidean sparse NMF via bilevel optimization with applications to speech enhancement | |
| JP6195548B2 (ja) | 信号解析装置、方法、及びプログラム | |
| Pilkington et al. | Gaussian Process Experts for Voice Conversion. | |
| Hwang et al. | LP-WaveNet: Linear prediction-based WaveNet speech synthesis | |
| WO2017146073A1 (ja) | 声質変換装置、声質変換方法およびプログラム | |
| Ismail et al. | Mfcc-vq approach for qalqalahtajweed rule checking | |
| JP4512848B2 (ja) | 雑音抑圧装置及び音声認識システム | |
| JP6748304B2 (ja) | ニューラルネットワークを用いた信号処理装置、ニューラルネットワークを用いた信号処理方法及び信号処理プログラム | |
| Parmar et al. | Effectiveness of cross-domain architectures for whisper-to-normal speech conversion | |
| JP2016143042A (ja) | 雑音除去装置及び雑音除去プログラム | |
| JP2006521576A (ja) | 基本周波数情報を分析する方法、ならびに、この分析方法を実装した音声変換方法及びシステム | |
| Saleem et al. | Spectral phase estimation based on deep neural networks for single channel speech enhancement | |
| WO2015025788A1 (ja) | 定量的ｆ０パターン生成装置及び方法、並びにｆ０パターン生成のためのモデル学習装置及び方法 | |
| JP6711765B2 (ja) | 形成装置、形成方法および形成プログラム | |
| JP6564744B2 (ja) | 信号解析装置、方法、及びプログラム | |
| EP3242295B1 (en) | A signal processor | |
| JP6142402B2 (ja) | 音響信号解析装置、方法、及びプログラム | |
| Nisa et al. | The speech signal enhancement approach with multiple sub-frames analysis for complex magnitude and phase spectrum recompense | |
| JP6553561B2 (ja) | 信号解析装置、方法、及びプログラム | |
| Prabhu et al. | EMOCONV-Diff: Diffusion-Based Speech Emotion Conversion for Non-Parallel and in-the-Wild Data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180724 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190613 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190702 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190729 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6564744 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |