JP6502099B2 - 声門閉鎖時刻推定装置、ピッチマーク時刻推定装置、ピッチ波形接続点推定装置、その方法及びプログラム - Google Patents

Description

本発明は、電気声門図(「Electro Glotto Graph」、以下「EGG」ともいう)信号を用いた声門閉鎖時刻推定技術、音声信号を用いたピッチマーク時刻推定技術、ピッチ波形接続点推定技術に関する。

音声合成、音声変換、音声の特徴量抽出等において、音声信号における声門閉鎖時刻（以下、「音声信号における声門閉鎖時刻」を「ピッチマーク時刻」ともいう）を検出することが要求されることがある。音声合成及び音声変換では、ピッチマーク時刻で切り出した音声信号を再配置することで、基本周波数及び声質の少なくとも何れかの変換（特許文献１参照）、または、複数話者の音声の合成（特許文献２参照）が可能になる。また、音声の特徴量抽出に関する技術では、ピッチマーク時刻を検出することで、音源と声道の特性を適切に分離でき、声道スペクトルを高精度で推定することが可能になる（特許文献３参照）。

こうした音声合成、音声変換及び音声分析等の基盤技術となっているピッチマーク時刻の推定手法として、従来、学習データを用いる方法、フィルタリングした音声信号の極大値や、線形予測（Linear Predictive Coding、以下LPC）分析による予測値と実測音声信号との誤差（LPC残差）信号の振幅極大値を検出する方法（非特許文献１参照）などが提案されてきた。

特開平１０−２４７０９５号公報 特開平９−１５２８９２号公報 特開２０１１−１５０２３２号公報

Honda, M., "Speech coding using waveform matching based on LPC residual phase equalization", Proc. ICASSP, 1990, p.213-216.

しかしながら、従来提案されている音声信号のみを用いたピッチマーク時刻推定方法では、雑音が混入した音声や女性音声のような基本周波数が高い音声を対象とした場合はピッチマーク時刻の推定精度が低くなる場合がある。

こうした音声信号のみを用いたピッチマーク時刻の推定方法が提案されている一方で、EGG信号を併用してピッチマーク時刻を推定することが考えられる。

本発明は、実時間で、EGG信号を用いて高精度でEGG信号における声門閉鎖時刻（以下、「EGG信号における声門閉鎖時刻」を「EGG声門閉鎖時刻」ともいう）を推定する技術、または、音声信号と共にEGG信号を用いて高精度でピッチマーク時刻を推定する技術、音声信号と共にEGG信号を用いて高精度でピッチ波形の接続点を推定する技術を提供することを目的とする。

上記の課題を解決するために、本発明の一態様によれば、声門閉鎖時刻推定装置は、EGG信号を用いて、EGG差分信号を算出するEGG差分算出部と、EGG信号の基本周期を推定する基本周期推定部と、EGG信号の零交差時刻を算出する零交差時刻算出部と、零交差時刻を含み、基本周期に対応する探索幅を持つ探索範囲から、EGG差分信号が最大となる時刻をEGG信号における声門閉鎖時刻であるEGG声門閉鎖時刻の候補として探索する候補探索部と、想定される基本周期の最小値をF'₀とし、分析フレーム長をNとし、Δを最小値F'₀よりも小さい正の整数とし、(1)候補の個数がN/F'₀以下の場合、候補全てをEGG声門閉鎖時刻として選択し、(2)候補の個数がN/F'₀より大きい場合、基準となるEGG声門閉鎖時刻に基本周期を加えた値を中心として、±Δの範囲に含まれる候補のうち、対応するEGG差分信号が最大となるものをEGG声門閉鎖時刻として選択する声門閉鎖時刻選択部とを含む。

上記の課題を解決するために、本発明の他の態様によれば、ピッチマーク時刻推定装置は、音声信号を用いて、音声信号における声門閉鎖時刻であるピッチマーク時刻を推定する。ピッチマーク時刻推定装置は、EGG信号を用いて、EGG信号における声門閉鎖時刻であるEGG声門閉鎖時刻に対応する値を推定するEGG声門閉鎖時刻推定部と、EGG信号に対応する音声信号とEGG声門閉鎖時刻に対応する値を用いて、ピッチマーク時刻を推定するピッチマーク時刻推定部とを含む。ピッチマーク時刻推定部は、音声信号からLPC残差信号を求めるLPC残差取得部と、音声信号に対応する値と、EGG信号に対応する値との相互相関に基づき、EGG信号に対応する値に対する音声信号に対応する値の遅延を推定する遅延推定部と、Δ₁を音声信号の基本周期より小さい値とし、EGG声門閉鎖時刻に対応する値に遅延を加えた値を中心として、±Δ₁の範囲に含まれる時刻のうち、対応するLPC残差信号が最大または最小となるものを、ピッチマーク時刻として推定する時刻推定部とを含む。

上記の課題を解決するために、本発明の他の態様によれば、ピッチ波形接続点推定装置は、音声合成に用いるピッチ波形の接続点を推定する。ピッチ波形接続点推定装置は、EGG信号を用いて、EGG信号における声門閉鎖時刻であるEGG声門閉鎖時刻に対応する値を推定するEGG声門閉鎖時刻推定部と、EGG信号に対応する音声信号とEGG声門閉鎖時刻に対応する値を用いて、ピッチ波形の接続点を推定するピッチ波形接続点推定部とを含む。ピッチ波形接続点推定部は、音声信号に対応する値と、EGG信号に対応する値との相互相関に基づき、EGG信号に対応する値に対する音声信号に対応する値の遅延を推定する遅延推定部と、EGG声門閉鎖時刻に対応する値に遅延を加えた値を、接続点として推定する加算部とを含む。

上記の課題を解決するために、本発明の他の態様によれば、声門閉鎖時刻推定方法は、EGG信号を用いて、EGG差分信号を算出するEGG差分算出ステップと、EGG信号の基本周期を推定する基本周期推定ステップと、EGG信号の零交差時刻を算出する零交差時刻算出ステップと、零交差時刻を含み、基本周期に対応する探索幅を持つ探索範囲から、EGG差分信号が最大となる時刻をEGG信号における声門閉鎖時刻であるEGG声門閉鎖時刻の候補として探索する候補探索ステップと、想定される基本周期の最小値をF'₀とし、分析フレーム長をNとし、Δを最小値F'₀よりも小さい正の整数とし、(1)候補の個数がN/F'₀以下の場合、候補全てをEGG声門閉鎖時刻として選択し、(2)候補の個数がN/F'₀より大きい場合、基準となるEGG声門閉鎖時刻に基本周期を加えた値を中心として、±Δの範囲に含まれる候補のうち、対応するEGG差分信号が最大となるものをEGG声門閉鎖時刻として選択する声門閉鎖時刻選択ステップとを含む。

上記の課題を解決するために、本発明の他の態様によれば、ピッチマーク時刻推定方法は、音声信号を用いて、音声信号における声門閉鎖時刻であるピッチマーク時刻を推定する。ピッチマーク時刻推定方法は、EGG信号を用いて、EGG信号における声門閉鎖時刻であるEGG声門閉鎖時刻に対応する値を推定するEGG声門閉鎖時刻推定ステップと、EGG信号に対応する音声信号とEGG声門閉鎖時刻に対応する値を用いて、ピッチマーク時刻を推定するピッチマーク時刻推定ステップとを含む。ピッチマーク時刻推定ステップは、音声信号からLPC残差信号を求めるLPC残差取得ステップと、音声信号に対応する値と、EGG信号に対応する値との相互相関に基づき、EGG信号に対応する値に対する音声信号に対応する値の遅延を推定する遅延推定ステップと、Δ₁を音声信号の基本周期より小さい値とし、EGG声門閉鎖時刻に対応する値に遅延を加えた値を中心として、±Δ₁の範囲に含まれる時刻のうち、対応するLPC残差信号が最大または最小となるものを、ピッチマーク時刻として推定する時刻推定ステップとを含む。

上記の課題を解決するために、本発明の他の態様によれば、ピッチ波形接続点推定方法は、音声合成に用いるピッチ波形の接続点を推定する。ピッチ波形接続点推定方法は、EGG信号を用いて、EGG信号における声門閉鎖時刻であるEGG声門閉鎖時刻に対応する値を推定するEGG声門閉鎖時刻推定ステップと、EGG信号に対応する音声信号とEGG声門閉鎖時刻に対応する値を用いて、ピッチ波形の接続点を推定するピッチ波形接続点推定ステップとを含む。ピッチ波形接続点推定ステップは、音声信号に対応する値と、EGG信号に対応する値との相互相関に基づき、EGG信号に対応する値に対する音声信号に対応する値の遅延を推定する遅延推定ステップと、EGG声門閉鎖時刻に対応する値に遅延を加えた値を、接続点として推定する加算ステップとを含む。

本発明によれば、従来よりも高精度でEGG声門閉鎖時刻、ピッチマーク時刻、ピッチ波形の接続点の少なくとも何れかを推定することができるという効果を奏する。

第一実施形態に係るピッチマーク時刻推定装置の機能ブロック図。 第一実施形態に係るピッチマーク時刻推定装置の処理フローの例を示す図。 EGG声門閉鎖時刻推定部の機能ブロック図。 EGG声門閉鎖時刻推定部の処理フローの例を示す図。 時刻検出部の機能ブロック図。 時刻検出部の処理フローの例を示す図。 ピッチマーク時刻推定部の機能ブロック図。 ピッチマーク時刻推定部の処理フローの例を示す図。 時刻検出部の機能ブロック図。 時刻検出部の処理フローの例を示す図。 各信号の波形の例を示す図。 第二実施形態に係る波形接続点推定装置の機能ブロック図。 第二実施形態に係る波形接続点推定装置の処理フローの例を示す図。

以下、本発明の実施形態について、説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。以下の説明において、テキスト中で使用する記号「^」「^-」等は、本来直前の文字の真上に記載されるべきものであるが、テキスト記法の制限により、当該文字の直後に記載する。式中においてはこれらの記号は本来の位置に記述している。また、ベクトルや行列の各要素単位で行われる処理は、特に断りが無い限り、そのベクトルやその行列の全ての要素に対して適用されるものとする。

＜第一実施形態＞
本実施形態では、実時間で、EGG信号が与えられた場合に、EGG声門閉鎖時刻を推定する方法を提案し、さらに、音声信号とEGG信号が与えられた場合、EGG声門閉鎖時刻と音声信号のLPC残差信号との相互相関を計算することで、EGG声門閉鎖時刻に対するLPC残差信号の遅延を推定し、推定した遅延とEGG声門閉鎖時刻とLPC残差信号とを用いてピッチマーク時刻を推定する方法を提案する。

＜第一実施形態に係るピッチマーク時刻推定装置１００＞
図１は第一実施形態に係るピッチマーク時刻推定装置１００の機能ブロック図を、図２はその処理フローを示す。

ピッチマーク時刻推定装置１００は、音声信号s^S(t)(図１１参照)とEGG信号s^E(t)(図１１参照)とを用いて、ピッチマーク時刻{t_i ^S}を推定し、出力する。なお、図１１は各信号の波形の例を示す。

例えば、ピッチマーク時刻推定装置１００は、EGG声門閉鎖時刻推定部１１０と、ピッチマーク時刻推定部１２０とを含む。以下、各部の詳細について説明する。

＜EGG声門閉鎖時刻推定部１１０＞
EGG声門閉鎖時刻推定部１１０は、EGG信号s^E(t)を受け取り、EGG信号s^E(t)を用いて、EGG声門閉鎖時刻{t_i ^E}を推定し（Ｓ１１０）、出力する。

図３はEGG声門閉鎖時刻推定部１１０の機能ブロック図を、図４はその処理フローを示す。

EGG声門閉鎖時刻推定部１１０は、EGG差分算出部１１１と基本周期推定部１１２と時刻検出部１１３とを含む。

（EGG差分算出部１１１）
EGG差分算出部１１１は、EGG信号s^E(t)を受け取り、EGG信号s^E(t)を用いて、EGG差分信号Δs^E(t)=s^E(t)-s^E(t-1)（図１１参照）を算出し（Ｓ１１１）、出力する。

（基本周期推定部１１２）
基本周期推定部１１２は、EGG信号s^E(t)を受け取り、EGG信号s^E(t)を用いて、EGG信号s^E(t)の基本周期F₀を推定し（Ｓ１１２）、出力する。例えば、次式により、EGG信号s^E(t)の自己相関が最大になる時刻を基本周期F₀として求める。

（時刻検出部１１３）
時刻検出部１１３は、少なくともEGG差分信号Δs^E(t)と基本周期F₀とを受け取り、これらの値を用いて、EGG声門閉鎖時刻{t_i ^E}を推定し（Ｓ１１３）、出力する（図１１参照）。本実施形態では２つの推定方法を提案する。

（推定方法１）
基本周期F₀毎にEGG差分信号Δs^E(t)が極大値をとる時点を検出し、EGG声門閉鎖時刻{t_i ^E}とする。例えば、基本周期F₀よりも大きな周期r×F₀の矩形窓を用いて、EGG差分信号Δs^E(t)から信号を切り出し、切り出された信号の最大値を検出する。例えば、r×F₀個のEGG差分信号Δs^E(t-r×F₀+1),Δs^E(t-r×F₀+2),…,Δs^E(t)の最大値を検出し、最大値に対応する時刻をEGG声門閉鎖時刻t_i ^Eとする。この処理を、窓位置を時間的に変化させて行うことで、EGG声門閉鎖時刻{t_i ^E}を検出することができる。係数rは1よりも若干大きな値（例えば1.2など）に設定するとよい。

（推定方法２）
図５は本推定方法を実施する場合の時刻検出部１１３の機能ブロック図を、図６はその処理フローを示す。

時刻検出部１１３は、零交差時刻算出部１１３Ａと、候補探索部１１３Ｂと、声門閉鎖時刻選択部１１３Ｃとを含む。

この推定方法では、時刻検出部１１３は、EGG信号s^E(t)も受け取る。

（零交差時刻算出部１１３Ａ）
零交差時刻算出部１１３Ａは、EGG信号s^E(t)を受け取り、EGG信号s^E(t)の零交差時刻{t_i ^X}を算出し（Ｓ１１３Ａ）、出力する。例えば、次式によって定義される、平均値を減算したEGG信号の零交差時刻{t_i ^X}を計算する。

ここでNは分析フレーム長であり、sgn(A)は、Aが負の値のときに-1を返し、Aが正の値のときに1を返す関数である。つまり、零交差時刻{t_i ^X}は、時刻(t-1)においてEGG信号s^E(t-1)と分析フレームの平均値との差分が負の値であり、時刻(t)においてEGG信号s^E(t)と分析フレームの平均値との差分が正の値である時刻tの集合である。なお、集合に含まれる要素数をIとし、i=1,2,…,Iである。

（候補探索部１１３Ｂ）
候補探索部１１３Ｂは、零交差時刻{t_i ^X}とEGG差分信号Δs^E(t)と基本周期F₀とを受け取り、零交差時刻{t_i ^X}を含み、基本周期F₀に対応する探索幅|(w_R+w_L)×F₀|を持つ探索範囲（t_i ^X-w_L×F₀）〜（t_i ^X+w_R×F₀）から、EGG差分信号Δs^E(t)が最大となる時刻をEGG声門閉鎖時刻の候補{t^_i ^E}として探索し（Ｓ１１３Ｂ）、出力する。例えば、次式により、候補{t^_i ^E}を求める。

ただし、式中の

は、候補t^_i ^Eを表す。w_L、w_Rは基本周期F₀に対する探索幅を意味しており、例えば、それぞれ0.4、0.1とする。

（声門閉鎖時刻選択部１１３Ｃ）
想定される基本周期の最小値をF'₀とすると、検出される声門閉鎖時刻の最大値（最大個数）はN/(F'₀)となる。

声門閉鎖時刻選択部１１３Ｃは、候補{t^_i ^E}とEGG差分信号Δs^E(t)と基本周期F₀とを受け取り、(1)候補の個数がN/F'₀以下の場合、候補{t^_i ^E}を全てEGG声門閉鎖時刻{t_i ^E}として選択し、(2)候補の個数がN/F'₀より大きい場合、基準となるEGG声門閉鎖時刻に基本周期F₀を加えた値を中心として、±Δの範囲に含まれる候補{t^_i ^E}のうち、対応するEGG差分信号Δs^E(t)が最大となるものをEGG声門閉鎖時刻{t_i ^E}として選択し（Ｓ１１３Ｃ）、出力する。ただし、Δを最小値F'₀よりも小さい正の整数である。例えば、基準となるEGG声門閉鎖時刻は、以下のようにして求める。i=1のとき、つまり、当該分析フレームnにおいて、最初のEGG声門閉鎖時刻t₁ ^E(n)を求めるとき、直前の分析フレーム(n-1)の最後の声門閉鎖時刻t_I ^E(n-1)を基準となるEGG声門閉鎖時刻とする。よって、t_I ^E(n-1)+F₀±Δの範囲に含まれるt^_i ^E(n)を、当該分析フレームnにおける最初のEGG声門閉鎖時刻t₁ ^Eとする。ただし、t_I ^E(n-1)+F₀±Δの範囲に複数の候補t^_i ^E(n)が含まれる場合、対応するEGG差分信号Δs^E(t^_i ^E(n))が最大となるものを、EGG声門閉鎖時刻t_i ^E(n)として選択する。i≧2のとき、一つ前のEGG声門閉鎖時刻t_i-1 ^E(n)を基準となるEGG声門閉鎖時刻とする。よって、t_i-1 ^E(n)+F₀±Δの範囲に含まれるt^_i ^E(n)をEGG声門閉鎖時刻t_i ^E(n)とする。複数の候補t^_i ^E(n)が含まれる場合の処理は、i=1のときと同様である。

推定方法２は推定方法１よりも頑健にEGG声門閉鎖時刻{t_i ^E}を推定することができる。

＜ピッチマーク時刻推定部１２０＞
ピッチマーク時刻推定部１２０は、EGG信号s^E(t)に対応する音声信号s^S(t)とEGG声門閉鎖時刻{t_i ^E}を受け取り、これらの値を用いて、ピッチマーク時刻{t_i ^S}を推定し（Ｓ１２０）、出力する。

図７はピッチマーク時刻推定部１２０の機能ブロック図を、図８はその処理フローの例を示す。

ピッチマーク時刻推定部１２０は、遅延推定部１２１と時刻推定部１２２とを含む。

EGG信号は、喉の辺りに電極を貼り付け、声門の開閉によって生じるインピーダンスの変化を測定して得られる信号であり、EGG声門閉鎖時刻は、EGG信号に基づき、取得される声門閉鎖時刻である。一方、ピッチマーク時刻は、音声信号（例えば、対象者の発した音をマイクロホンで収音した信号）に基づき、取得される声門閉鎖時刻である。そのため、声門近傍からマイクロホンで収音されるまでに遅延が生じる。EGG信号と音声信号とを用いて、ピッチマーク時刻を推定しようとするならば、この遅延を考慮する必要がある。遅延推定部１２１では、この遅延を推定する。

（遅延推定部１２１）
遅延推定部１２１は、音声信号s^S(t)とEGG声門閉鎖時刻{t_i ^E}を受け取り、音声信号s^S(t)から得られるLPC残差信号e(t)(詳細は後述する)と、EGG声門閉鎖時刻{t_i ^E}から得られるインパルス列δ(t,{t_i ^E})(詳細は後述する)との相互相関に基づき、EGG信号s^E(t)に対するLPC残差信号e(t)の遅延τを推定し（Ｓ１２１）、出力する。

遅延推定部１２１は、高域強調部１２１ＡとLPC残差取得部１２１Ｃと、相互相関推定部１２１Ｄとインパルス列算出部１２１Ｅとを含む。

（高域強調部１２１Ａ）
高域強調部１２１Ａは、音声信号s^S(t)を受け取り、音源スペクトルの傾斜特性を取り除くために高域強調した音声信号Δs^S(t)を次式により求め（Ｓ１２１Ａ）、出力する。

αは、例えば0.97を用いる。

（LPC残差取得部１２１Ｃ）
LPC残差取得部１２１Ｃは、音声信号Δs^S(t)を受け取り、LPC分析によりLPC係数{a_k}を求める。ただし、kはLPC分析の次数を表すインデックスである。さらに、LPC残差取得部１２１Ｃは、音声信号Δs^S(t)とLPC係数{a_k}とを用いて、次式によりLPC残差信号e(t)（図１１参照）を求め（Ｓ１２１Ｃ）、出力する。

（インパルス列算出部１２１Ｅ）
インパルス列算出部１２１Ｅは、EGG声門閉鎖時刻{t_i ^E}を受け取り、この値を用いて、次式で表されるインパルス列δ(t,{t_i ^E})を算出し（Ｓ１２１Ｅ）、出力する。

インパルス列δ(t,{t_i ^E})は、EGG声門閉鎖時刻{t_i ^E}に対応する時刻において１を、それ以外の時刻において0を持つ。

（相互相関推定部１２１Ｄ）
相互相関推定部１２１Ｄは、LPC残差信号e(t)とインパルス列δ(t,{t_i ^E})とを受け取り、次式により、LPC残差信号e(t)とインパルス列δ(t,{t_i ^E})との相互相関を推定することで（Ｓ１２１Ｄ）、EGG信号s^E(t)に対するLPC残差信号e(t)の遅延τを推定し、出力する。

なお、音声信号s^S(t)に対応する他の値とEGG信号s^E(t)に対応する他の値の相互相関でも遅延τを求めることができる。例えば、音声信号s^S(t)とEGG信号s^E(t)、音声信号s^S(t)とEGG差分信号Δs^E(t)、LPC残差信号e(t)とEGG信号s^E(t)、LPC残差信号e(t)とEGG差分信号Δs^E(t)のいずれかの相互相関を計算し、相互相関の値が最大となる値を遅延τとすればよい。このとき、遅延推定部１２１は少なくとも相互相関の計算に必要となる値を求めるための構成を備えればよい。

（時刻推定部１２２）
時刻推定部１２２は、遅延τとEGG声門閉鎖時刻{t_i ^E}とLPC残差信号e(t)とを受け取り、EGG声門閉鎖時刻t_i ^Eに遅延τを加えた値t_i ^E+τを中心として、±Δ₁の範囲(t_i ^E+τ±Δ₁)に含まれる時刻のうち、対応するLPC残差信号e(t)が最大または最小となるものを、ピッチマーク時刻t_i ^Sとして推定し（Ｓ１２２）、出力する。なお、Δ₁を基本周期F₀より小さい値とする。遅延τの分散は非常に小さいため、Δ₁は1か2の微小値に設定すればよい。本実施形態では２つの推定方法を提案する。

（推定方法１）
次式により、範囲(t_i ^E+τ±Δ₁)に含まれる時刻のうち、対応するLPC残差信号e(t)の振幅が最大となる時刻tを、ピッチマーク時刻t_i ^Sとして推定する。

（推定方法２）
図９は本推定方法を実施する場合の時刻推定部１２２の機能ブロック図を、図１０はその処理フローを示す。

時刻推定部１２２は最小値最大値時刻取得部１２２Ａと、最大値時刻取得部１２２Ｂと、選択部１２２Ｃと、位相等化残差検出部１２２Ｄと、ピーク取得部１２２Ｅとを含む。

最小値最大値時刻取得部１２２Ａ及び最大値時刻取得部１２２Ｂでは、範囲(t_i ^E+τ±Δ₁)に含まれる時刻の内、LPC残差信号e(t)が局所的に鋭敏且つ振幅が大きな時刻を、ピッチマーク時刻の候補の１つとして検出する。最小値最大値時刻取得部１２２Ａでは振幅の大きな時刻を絞り込み、最大値時刻取得部１２２Ｂでは局所的に鋭敏な時刻を絞り込む。

（最小値最大値時刻取得部１２２Ａ）
最小値最大値時刻取得部１２２Ａは、遅延τとEGG声門閉鎖時刻{t_i ^E}とLPC残差信号e(t)とを受け取り、次式により、範囲(t_i ^E+τ±Δ₁)において、LPC残差信号e(t)が最小値または最大値となる時刻{t^_0i ^-},{t^_0i ⁺}を取得し（Ｓ１２２Ａ）、出力する。

ただし、式中の

及び

は、それぞれ時刻t^_0i ^-,t^_0i ⁺を表す。

（最大値時刻取得部１２２Ｂ）
最大値時刻取得部１２２Ｂは、時刻{t^_0i ^-},{t^_0i ⁺}を受け取り、次式により、それぞれの要素の内、範囲(t^_0i ^-±Δ₂)、(t^_0i ⁺±Δ₂)におけるLPC残差信号e(t^_0i ^--i)(ただし、i∈{-Δ₂,-Δ₂+1,…,+Δ₂,})と、LPC残差信号e(t^_0i ^-)との差分の総和が最も大きい時刻t^₀ ^-及びt^₀ ⁺を求め（Ｓ１２２Ｂ）、出力する。

ただし、式中の

及び

は、それぞれ時刻t^₀ ^-,t^₀ ⁺を表す。なお、Δ₂は3や5などの値とする。なお、ここでは、二乗和を用いているが、局所的な鋭敏性を捉えられる他の関数、例えば絶対値の和などを用いても良い。

（選択部１２２Ｃ）
選択部１２２Ｃは、時刻t^₀ ^-,t^₀ ⁺を受け取り、t^₀ ^-,t^₀ ⁺のうち、直前の分析フレーム(n-1)の時刻t^₀ ^(n-1)近傍との相関の高い方を現在の分析フレームnの時刻t^₀ ⁽ⁿ⁾として選択し（Ｓ１２２Ｃ）、出力する。

なお、上記の方法は、ピッチマーク時刻におけるLPC残差信号e(t)の値が、正負どちらの符号を取るか分からない場合のものである。ピッチマーク時刻におけるLPC残差信号e(t)の振幅が正負のどちらかに偏っている場合等、符号が予測できる場合は、時刻t^₀ ^-,t^₀ ⁺のどちらか一方だけを検出し、t^₀とすることができる。例えば、ピッチマーク時刻のLPC残差信号e(t)の値が正の値をとると仮定できる場合は、{t^_0i ⁺}からt^₀ ⁺を検出し、これをt^₀とし、選択部１２２Ｃを備えなくともよい。

（位相等化残差検出部１２２Ｄ）
位相等化残差検出部１２２Ｄは、時刻t^₀とLPC残差信号e(t)とを受け取り、次式により、位相等化残差信号e^P(t)（図１１参照）を求め（Ｓ１２２Ｄ）、出力する。

ただし、2M+1は位相等化フィルタのタップ数である。

（ピーク取得部１２２Ｅ）
ピーク取得部１２２Ｅは、位相等化残差信号e^P(t)を受け取り、所定の閾値と比較し、閾値を超える時刻tをピッチマーク時刻{t_i ^S}とし（ｓ１２２Ｅ）、出力する。位相等化残差検出部１２２Ｄの処理によって、ピッチマーク時刻の候補の１つt^₀の近傍と相関の高い時刻の振幅が強調されるため（図１１参照）、ピーク取得部１２２Ｅでピークを取得することでピッチマーク時刻を取得することができる（非特許文献１参照）。

推定方法２は推定方法１よりも正確にピッチマーク時刻{t_i ^E}を推定することができる。

＜効果＞
以上の構成により、従来よりも高精度でピッチマーク時刻を推定することができる。EGG信号を用いることで、雑音が混入した音声信号や基本周波数が高い音声信号を対象にした場合であっても、ピッチマーク時刻を正確に推定することができる。このように求めたピッチマーク時刻を用いることで、より頑健に、音声合成、音声変換及び音声分析等を行うことができる。

＜変形例＞
本実施形態では、EGG声門閉鎖時刻{t_i ^E}を用いたが、ピッチマーク時刻{t_i ^S}と位相同期している時刻であれば、EGG声門閉鎖時刻{t_i ^E}は、他の時刻、例えばEGG信号が振幅極大値をとる時刻で代用することが出来る。ピッチマーク時刻{t_i ^S}と位相同期している時刻は、EGG声門閉鎖時刻{t_i ^E}に対応する時刻とも言える。

このとき、EGG声門閉鎖時刻推定部１１０は少なくともEGG声門閉鎖時刻{t_i ^E}に対応する時刻を求めるための構成を備えればよい。

なお、EGG声門閉鎖時刻推定部１１０を別装置としEGG声門閉鎖時刻推定装置としてもよい。EGG声門閉鎖時刻推定装置は、EGG信号s^E(t)を入力とし、EGG声門閉鎖時刻{t_i ^E}を推定し、出力する。なお、本実施形態の時刻検出部１１３の推定方法２では、EGG信号s^E(t)を用いてEGG声門閉鎖時刻{t_i ^E}を推定するための新たな方法を提案している。

＜第二実施形態＞
また、音声合成への応用の観点から、隣接した2つのピッチ波形を接続した信号の、スペクトル歪を小さくしたいことがある。そのためには、音声信号に基づいてピッチ波形の接続点を検出することが考えられるが、この場合においても、EGG信号を併用することが有効である。例えば、EGG信号の極大値及び極小値の時刻に、EGG信号と音声信号（もしくはEGG差分信号と音声信号）の相互相関が最大になる遅延を加算することで、ピッチ波形の接続点を決定することができる。

＜第二実施形態に係るピッチ波形接続点推定装置２００＞
ピッチ波形接続点推定装置２００は、音声合成に用いるピッチ波形の接続点を推定する。

図１２はピッチ波形接続点推定装置２００の機能ブロック図を、図１３はその処理フローの例を示す。

ピッチ波形接続点推定装置２００は、EGG声門閉鎖時刻推定部２１０とピッチ波形接続点推定部２２０とを含む。

＜EGG声門閉鎖時刻推定部２１０＞
EGG声門閉鎖時刻推定部２１０は、EGG信号s^E(t)を受け取り、EGG信号s^E(t)を用いて、EGG声門閉鎖時刻{t_i ^E}に対応する値であるEGG信号s^E(t)の極大値及び極小値（図１１参照）の時刻{t_i ^max}及び{t_i ^min}を推定し（Ｓ２１０）、出力する。

＜ピッチ波形接続点推定部２２０＞
ピッチ波形接続点推定部２２０は、EGG信号に対応する音声信号s^S(t)と極大値及び極小値の時刻{t_i ^max}及び{t_i ^min}を受け取り、これらの値を用いて、ピッチ波形の接続点を推定し（Ｓ２２０）、出力する。

ピッチ波形接続点推定部２２０は、遅延推定部１２１と加算部２２２とを含む。なお、遅延推定部１２１の構成は第一実施形態と同様である。遅延推定部１２１において、EGG声門閉鎖時刻{t_i ^E}を受け取らないのであれば、例えば、次式により、時刻{t_i ^max}及び{t_i ^min}からインパルス列δ(t,{t_i ^max})、δ(t,{t_i ^min})を算出してもよいし、音声信号s^S(t)に対応する他の値とEGG信号s^E(t)に対応する他の値の相互相関でも遅延τを求めてもよい（Ｓ１２１）。

（加算部２２２）
加算部２２２は、極大値及び極小値の時刻{t_i ^max}及び{t_i ^min}と遅延τとを受け取り、極大値及び極小値の時刻{t_i ^max}及び{t_i ^min}に遅延τを加えた値を、接続点{t_i ^lin}として推定し（Ｓ２２２）、出力する。

＜効果＞
このような構成とすることで、高精度でピッチ波形の接続点を推定することができる。

＜変形例＞
また、その他のピッチ波形接続点を推定する方法として、LPC残差信号のピーク近傍時刻から、基本周期の10-20%遅延した時刻を中心として窓関数を適用した場合に、ピッチ波形のスペクトル歪が最小になること（参考文献１）から、ピッチマーク時刻{t_i ^S}から基本周期F₀の10-20%遅延した範囲における、音声信号s^S(t)の振幅最大値をピッチ波形の接続点とすることも可能である。この場合、第一実施形態で求めたピッチマーク時刻{t_i ^S}を用いればよい。
（参考文献１）望月亮, 新居康彦, 西村洋文, 本多高, 「駆動点同期型ピッチ波形抽出法」, 日本音響学会誌, 1997, 53, 772-778.

＜第三実施形態＞
本実施形態では、第一実施形態のピッチマーク時刻推定装置１００で推定したピッチマーク時刻{t_i ^S}を用いた応用例について説明する。

＜声道スペクトル推定装置＞
上記の方法によって得られたピッチマーク時刻{t_i ^S}を利用して、声道スペクトルを高精度に推定する方法について説明する（特許文献３参照）。

ピッチマーク時刻{t_i ^S}の検出の過程において計算したLPC残差信号e(t)と、ピッチマーク時刻{t_i ^S}を用いて、各ピッチマーク時刻{t_i ^S}を中心とした位相等化フィルタを求め、音声信号s^S(t)を通すことで、位相等化音声信号s^P(t)を取得する。

位相等化音声信号s^P(t)のLPC係数{a^_i}は次式を解くことで求めることができる。

ここで、R_PPは位相等化音声信号s^P(t)の自己相関関数、pはLPC次数であり、i=1,2,…,pである。上式をLevinson法で解く際に得られる偏自己相関（PARtial autoCORrelation、以下「PARCOR」ともいう）係数{k^_i}を用いて、音源パルスの振幅Gは次式で求まる。

LPC係数{a^_i}と音源パルスの振幅Gを交互に計算することで、最適なLPC係数{a^_i}を得ることができる。なお、音源パルスの振幅Gの初期値は、LPC係数{a^_i}に対応するPARCOR係数と位相等化信号の自己相関関数R_PPを用いて計算する。

＜第四実施形態＞
さらに、本実施形態では、第三実施形態の声道スペクトル推定装置によって得られたLPC係数{a^_i}を用いて、音声のフォルマント周波数を変換する方法を説明する（参考文献２参照）。
（参考文献２）Villacorta, V.M., Perkell, J.S., and Guenther, F.H., "Sensorimotor adaptation to feedback perturbations of vowel acoustics and its relation to perception", J. Acoust. Soc. Am., 2007, 122, p.2306-2319.

＜音声変換装置＞
フォルマント周波数{F_i}とその帯域幅{B_i}は、LPC係数{a^_i}によって得られる予測多項式の根{z_i}から次式で得られる。なおF_sはサンプリング周波数である。

変換するフォルマント周波数と帯域幅に対応する声道スペクトルをA(z_i)、変換後のスペクトルをA'(z_i)とすると、

に元音声信号s^S(t)を通すことにより、変換音声y(t)を生成することができる。

＜第五実施形態＞
＜声質変換装置＞
第一実施形態のピッチマーク時刻推定装置１００で推定したピッチマーク時刻を利用して、音声の声質を変換する方法について説明する（特許文献１参照）。EGG信号から抽出したピッチマーク時刻{t_i ^S}に基づき、ピッチマーク時刻間隔でピッチ波形を作成する。即ち、i番目のピッチ波形s_i ^seg(t)は次式で定義される。

隣接する2つのピッチ波形を結合して1つの信号とし、ピッチ波形の2倍の窓幅の窓関数を掛けた後、アップサンプリングもしくはダウンサンプリングする。この処理を、全ての隣接する2つのピッチ波形で行った後、時間的に重ね合わせて加算することで声質の異なる音声を合成することができる。

＜第六実施形態＞
＜話速変換装置＞
ピッチ波形を、増やすもしくは間引くことで、音声の発話速度を変更することができる。

＜第七実施形態＞
＜二話者音声合成装置＞
第一実施形態のピッチマーク時刻推定装置１００で推定したピッチマーク時刻を利用して、2人の話者が生成した2つの音声を接続する方法について説明する（特許文献２参照）。以下、話者1の音声から話者2の音声に接続する場合を示す。

それぞれの音声信号とEGG信号から抽出したピッチマーク時刻{t_i ^S}に基づき、ピッチマーク時刻間隔でピッチ波形を作成する。

通常、2つの異なる音声は、基本周波数が異なるため、音声接続前に、2つの音声の基本周波数を揃える。基本周波数の変換方式の一例として、PSOLA方式（参考文献３）が挙げられる。この方法では、ピッチ波形を任意の周期間隔で並べ、加重加算することで、基本周波数の変換が実現される。
（参考文献３）Moulines, M., and Charpentier, F., "Pitch-synchronous waveform processing techniques for text-to-speech synthesis using diphones", Speech Commun., 1990, 9, 453-467.

続いて、話者1、2の当該ピッチに相当するピッチ波形をフーリエ変換にてスペクトル分析する。話者1のピッチ波形から求めたスペクトルの内、任意の周波数βHzより高い帯域部分を切り出す。一方、話者2のスペクトルからは、周波数βHzよりも低い帯域部分を切り出す。各話者から切り出したスペクトルを、周波数βHzを境界にして結合した後、逆フーリエ変換を行うことで、1ピッチ分の音声信号を得る。

境界周波数βHzを時間的に変化させながら、ピッチ毎に上記の処理を行うことで、話者1から話者2の音声に接続することができる。

＜その他の変形例＞
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。

＜プログラム及び記録媒体＞
また、上記の実施形態及び変形例で説明した各装置における各種の処理機能をコンピュータによって実現してもよい。その場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶部に格納する。そして、処理の実行時、このコンピュータは、自己の記憶部に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実施形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよい。さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

また、コンピュータ上で所定のプログラムを実行させることにより、各装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (8)

1. EGG信号を用いて、EGG差分信号を算出するEGG差分算出部と、
   前記EGG信号の基本周期を推定する基本周期推定部と、
   前記EGG信号の零交差時刻を算出する零交差時刻算出部と、
   前記零交差時刻を含み、前記基本周期に対応する探索幅を持つ探索範囲から、前記EGG差分信号が最大となる時刻をEGG信号における声門閉鎖時刻であるEGG声門閉鎖時刻の候補として探索する候補探索部と、
   想定される基本周期の最小値をF'₀とし、分析フレーム長をNとし、Δを最小値F'₀よりも小さい正の整数とし、(1)前記候補の個数がN/F'₀以下の場合、前記候補全てをEGG声門閉鎖時刻として選択し、(2)前記候補の個数がN/F'₀より大きい場合、基準となるEGG声門閉鎖時刻に前記基本周期を加えた値を中心として、±Δの範囲に含まれる候補のうち、対応するEGG差分信号が最大となるものをEGG声門閉鎖時刻として選択する声門閉鎖時刻選択部とを含む、
   声門閉鎖時刻推定装置。
2. 音声信号を用いて、音声信号における声門閉鎖時刻であるピッチマーク時刻を推定するピッチマーク時刻推定装置であって、
   EGG信号を用いて、EGG差分信号を算出するEGG差分算出部と、
   前記EGG信号の基本周期を推定する基本周期推定部と、
   前記EGG差分信号と前記基本周期を用いて、前記EGG信号における声門閉鎖時刻であるEGG声門閉鎖時刻に対応する値を推定する時刻検出部と、
   前記EGG信号に対応する音声信号と前記EGG声門閉鎖時刻に対応する値を用いて、ピッチマーク時刻を推定するピッチマーク時刻推定部とを含み、
   前記ピッチマーク時刻推定部は、
   前記音声信号からLPC残差信号を求めるLPC残差取得部と、
   前記LPC残差信号と、前記EGG声門閉鎖時刻に対応する値に対応する時刻においてパルスをもつようなインパルス列との相互相関に基づき、前記EGG信号に対応する値に対する前記音声信号に対応する値の遅延を推定する遅延推定部と、
   Δ₁を音声信号の基本周期より小さい値とし、前記EGG声門閉鎖時刻に対応する値に前記遅延を加えた値を中心として、±Δ₁の範囲に含まれる時刻のうち、対応するLPC残差信号が最大または最小となるものを、ピッチマーク時刻として推定する時刻推定部とを含む、
   ピッチマーク時刻推定装置。
3. 請求項２のピッチマーク時刻推定装置であって、
   前記時刻推定部は、
   LPC残差信号が最大となる時刻である最大値時刻t^_0i ⁺と最小となる時刻である最小値時刻t^_0i ^-とを取得する最小最大値時刻取得部と、
   前記最大値時刻t^_0i ⁺及び最小値時刻t^_0i ^-におけるLPC残差信号と、範囲(t^_0i ^-±Δ₂)、(t^_0i ⁺±Δ₂)におけるLPC残差信号との差分の総和が最も大きい時刻t^₀ ^-及びt^₀ ⁺を求める最大値時刻取得部と、
   前記時刻t^₀ ^-またはt^₀ ⁺と前記LPC残差信号とを用いて、位相等化残差信号を求める位相等化残差検出部と、
   前記位相等化残差信号と所定の閾値と比較し、閾値を超える時刻をピッチマーク時刻として推定するピーク取得部とを含む、
   ピッチマーク時刻推定装置。
4. 音声合成に用いるピッチ波形の接続点を推定するピッチ波形接続点推定装置であって、
   EGG信号を用いて、EGG差分信号を算出するEGG差分算出部と、
   前記EGG信号の基本周期を推定する基本周期推定部と、
   前記EGG差分信号と前記基本周期を用いて、前記EGG信号における声門閉鎖時刻であるEGG声門閉鎖時刻に対応する値を推定する時刻検出部と、
   前記EGG信号に対応する音声信号と前記EGG声門閉鎖時刻に対応する値を用いて、ピッチ波形の接続点を推定するピッチ波形接続点推定部とを含み、
   前記ピッチ波形接続点推定部は、
   前記音声信号からLPC残差信号を求めるLPC残差取得部と、
   前記LPC残差信号と、前記EGG声門閉鎖時刻に対応する値に対応する時刻においてパルスをもつようなインパルス列との相互相関に基づき、前記EGG信号に対応する値に対する前記音声信号に対応する値の遅延を推定する遅延推定部と、
   前記EGG声門閉鎖時刻に対応する値に前記遅延を加えた値を、前記接続点として推定する加算部とを含む、
   ピッチ波形接続点推定装置。
5. EGG信号を用いて、EGG差分信号を算出するEGG差分算出ステップと、
   前記EGG信号の基本周期を推定する基本周期推定ステップと、
   前記EGG信号の零交差時刻を算出する零交差時刻算出ステップと、
   前記零交差時刻を含み、前記基本周期に対応する探索幅を持つ探索範囲から、前記EGG差分信号が最大となる時刻をEGG信号における声門閉鎖時刻であるEGG声門閉鎖時刻の候補として探索する候補探索ステップと、
   想定される基本周期の最小値をF'₀とし、分析フレーム長をNとし、Δを最小値F'₀よりも小さい正の整数とし、(1)前記候補の個数がN/F'₀以下の場合、前記候補全てをEGG声門閉鎖時刻として選択し、(2)前記候補の個数がN/F'₀より大きい場合、基準となるEGG声門閉鎖時刻に前記基本周期を加えた値を中心として、±Δの範囲に含まれる候補のうち、対応するEGG差分信号が最大となるものをEGG声門閉鎖時刻として選択する声門閉鎖時刻選択ステップとを含む、
   声門閉鎖時刻推定方法。
6. 音声信号を用いて、音声信号における声門閉鎖時刻であるピッチマーク時刻を推定するピッチマーク時刻推定方法であって、
   EGG信号を用いて、EGG差分信号を算出するEGG差分算出ステップと、
   前記EGG信号の基本周期を推定する基本周期推定ステップと、
   前記EGG差分信号と前記基本周期を用いて、前記EGG信号における声門閉鎖時刻であるEGG声門閉鎖時刻に対応する値を推定する時刻検出ステップと、
   前記EGG信号に対応する音声信号と前記EGG声門閉鎖時刻に対応する値を用いて、ピッチマーク時刻を推定するピッチマーク時刻推定ステップとを含み、
   前記ピッチマーク時刻推定ステップは、
   前記音声信号からLPC残差信号を求めるLPC残差取得ステップと、
   前記LPC残差信号と、前記EGG声門閉鎖時刻に対応する値に対応する時刻においてパルスをもつようなインパルス列との相互相関に基づき、前記EGG信号に対応する値に対する前記音声信号に対応する値の遅延を推定する遅延推定ステップと、
   Δ₁を音声信号の基本周期より小さい値とし、前記EGG声門閉鎖時刻に対応する値に前記遅延を加えた値を中心として、±Δ₁の範囲に含まれる時刻のうち、対応するLPC残差信号が最大または最小となるものを、ピッチマーク時刻として推定する時刻推定ステップとを含む、
   ピッチマーク時刻推定方法。
7. 音声合成に用いるピッチ波形の接続点を推定するピッチ波形接続点推定方法であって、
   EGG信号を用いて、EGG差分信号を算出するEGG差分算出ステップと、
   前記EGG信号の基本周期を推定する基本周期推定ステップと、
   前記EGG差分信号と前記基本周期を用いて、前記EGG信号における声門閉鎖時刻であるEGG声門閉鎖時刻に対応する値を推定する時刻検出ステップと、
   前記EGG信号に対応する音声信号と前記EGG声門閉鎖時刻に対応する値を用いて、ピッチ波形の接続点を推定するピッチ波形接続点推定ステップとを含み、
   前記ピッチ波形接続点推定ステップは、
   前記音声信号からLPC残差信号を求めるLPC残差取得ステップと、
   前記LPC残差信号と、前記EGG声門閉鎖時刻に対応する値に対応する時刻においてパルスをもつようなインパルス列との相互相関に基づき、前記EGG信号に対応する値に対する前記音声信号に対応する値の遅延を推定する遅延推定ステップと、
   前記EGG声門閉鎖時刻に対応する値に前記遅延を加えた値を、前記接続点として推定する加算ステップとを含む、
   ピッチ波形接続点推定方法。
8. 請求項５の声門閉鎖時刻推定方法、または、請求項６のピッチマーク時刻推定方法、または、請求項７のピッチ波形接続点推定方法をコンピュータに実行させるためのプログラム。