JPH06161494A - 音声のピッチ区間自動抽出方法 - Google Patents

Abstract

(57)【要約】 【目的】 任意の音声波形に対し、波形各部のピッチ周
期の抽出に始まり、波形を１ピッチ区間毎に区切るまで
の一連の処理を、正確にかつ自動的に行ない、これによ
って音声のピッチ周波数の正確な分析を可能にするとと
もに、ピッチ周期や話速の変換など、本来１ピッチ単位
の波形処理が適している音声変換装置や音声合成装置の
処理品質を向上させる。 【構成】 入力音声波形を取り込むとともに、そのうち
の有声音区間の適当な部分でピッチ周期の予備抽出を行
ない、その結果に基づいて、有声音区間全体の各部分ご
とに複数のピッチ候補を求めていき、どの候補が最も適
しているか判定し、この判定処理によって得られたピッ
チ周期に基づいて各ピッチ区間の開始点を決定して前記
入力音声波形を各ピッチ区間毎に区切って出力する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は音声のピッチ周波数やピ
ッチ周期を対象とした分析装置や音声処理装置あるいは
音声合成装置等で使用される音声のピッチ区間自動抽出
方法に関する。

【０００２】［発明の概要］この発明は人の声を一時記
録し、１ピッチ毎にそのピッチ周期を抽出し、その周期
毎に音声波形を区切る技術に関するもので、入力音声を
Ａ／Ｄ変換した後、有声区間を抽出し、その中のパワー
の大きい部分について複数の異なる窓幅で自己相関関数
を求め、各自己相関関数のピーク値の中から最適と思わ
れる時間遅れに存在するものを選択して、その時間遅れ
を仮のピッチ周期とし、この仮のピッチ周期を目安にし
つつ、有声区間全体について各フレーム毎にピッチ周期
の候補を複数求め、全体として連続性やパワーの変化を
考慮してその候補から一つを採用し、ピッチ周波数の時
間軌跡を形成し、かつそれを平滑化し、このピッチ周波
数軌跡より若干高いカットオフ周波数を用いて各フレー
ム毎に入力波形に低域ろ波を施し、有声区間全体として
連続な正弦波状の波形を得、この波形とパワーの変化を
基に１ピッチ毎のピッチ周期のスケールを構成した後、
有声区間の途中の最適な位置から時間的に前後に、１ピ
ッチ周期内の波形の短時間パワーが急激に上昇する直前
の零交差がピッチ区間の開始点となるように、ピッチ周
期のスケールに合わせて最適なピッチ開始点を求めてい
くことにより、入力音声の発声者の年齢や男女の違いに
関係なく正確にピッチ周期を抽出し、１ピッチ区間を単
位とした波形処理に適する位置で、入力波形の各ピッチ
区間を自動的に区切るようにする方法である。

【０００３】

【従来の技術】人の声の科学的な分析を行なう装置や音
声の補聴機能を有する装置、文字列を音声に変換する装
置等を構成する場合、あるいは放送、映画、音楽産業等
において、声を処理する場合、音声処理装置によって人
の声質の一つの特徴である声の高さの時間変化パターン
を視覚的に表示したり、音声合成技術と組み合わせて、
声の高さや抑揚、発声速度を変化させたりビブラートを
付加したりするなどを行なうとき、各種の音声処理方法
を使用して必要な音声処理を行なう。

【０００４】そして、このような音声処理方法におい
て、音声をピッチ区間毎に区切る際の事前の処理として
必要なピッチ周期抽出方法として、従来よりさまざまな
もの、例えば波形処理方式や相関処理方式、スペクトル
処理方式などの各種方式が提案されている。

【０００５】波形処理方式は入力波形そのもの、または
これを低域ろ波した上で周期的なピークまたは零交差を
検出する方式であり、処理手順が簡便であるとともに、
アナログおよびディジタルの両処理で実現できるという
特徴を持っている。

【０００６】しかしながら、この波形処理方式では、語
頭や語尾、有声子音部など、波形のレベルやスペクトル
が大きく変化する部分において抽出誤りを起こし易く、
また発声者の個人差も抽出精度に大きく影響するという
欠点がある。

【０００７】また、相関処理方式は入力波形から適当な
窓幅で切り出した波形、またはこれを線形予測分析して
得られる残差信号波形の自己相関関数を求めたとき、ピ
ッチ周期に相当する時間遅れの位置に大きなピーク値が
得られる性質を利用する方式であり、最近のディジタル
信号処理において最も広く用いられている。

【０００８】そして、この相関処理方式を改善した方式
として、自己相関関数を求める前に入力波形や残差信号
波形に低域ろ波を施すと抽出精度が向上することを利用
する方式も開発されている。

【０００９】しかしながら、これらの各相関処理方式で
は、上述した波形処理方式に比べて、波形の乱れや個人
差による抽出精度の低下は少ないものの、入力波形を切
り出す窓幅の設定が最適でないと、半分や２倍の周期を
誤って抽出してしまうという欠点がある。

【００１０】また、スペクトル処理方式は入力波形から
適当な窓幅で切り出した波形の離散的フーリエ変換を行
なったとき、パワースペクトル上で、ピッチ周波数の整
数倍の位置毎に高調波成分が現れる性質を利用する方式
であり、音声信号をデジタル処理するとき、良く使用さ
れる。

【００１１】しかしながら、このスペクトル処理方式で
は、上述した相関処理方式と同様に入力波形を切り出す
窓幅の設定が最適でないと抽出誤りが多くなるという欠
点がある。

【００１２】このため、従来法のほとんどは、これら波
形処理方式や相関処理方式、スペクトル処理方式をその
まま用いたり、変形して単独で用いたり、相互の欠点を
補う形で組み合わせて用いたりしている。

【００１３】しかし、いずれの方法においても、万人の
音声のピッチ周期を完全に正確に抽出できるものではな
いため、任意の話者の音声波形を１ピッチ区間毎に正確
に区切るためには、上記の何らかの方式で予めピッチ周
期を推定した後、波形の視察等の人手による修正を行な
うことが必要である。

【００１４】つまり、ピッチ周期の抽出から波形を１ピ
ッチ区間毎に区切るまでの一連の処理を、正確にかつ自
動的に行なう方法は、未だ実用化されていない。

【００１５】

【発明が解決しようとする課題】ところで、老若男女す
べてを対象とした音声のピッチ周波数は、低いものでは
４０Ｈｚ程度、高いものでは８００Ｈ程度まで変化する
上、同一話者でも短時間のうちに２オクターブ近く変化
することがある。また、語頭や語尾では完全な周期性を
持たないこともあり、任意の音声のピッチ周期を正確に
抽出することは、音声処理技術上の難題とされてきた。

【００１６】従来の技術においては、対象とする音声の
老若男女の別毎に、ピッチ周波数の存在範囲を予め設定
して、ピッチ周期抽出アルゴリズムで使用する各種パラ
メータを最適に調整してから分析を行なうことが一般的
で、例えば相関処理方式やスペクトル処理方式の波形切
り出し窓幅がこれにあたる。また、語頭や語尾の周期性
の乱れた部分の処理方法も、正確さを期するためには、
話者によって微妙にパラメータ値を変更することが必要
とされていた。

【００１７】また、通常の発声では、／ｒ／や／ｄ／な
どの有声子音部分において、前後の母音よりも若干ピッ
チ周期が長くなる傾向がある。

【００１８】相関処理方式やスペクトル処理方式では、
分析窓幅の中に含まれる複数のピッチ区間の平均的なピ
ッチ周期が抽出されるが、有声子音の持続時間は分析窓
幅より短いことが多く、この場合には、前後の母音部の
影響を受けて有声子音部の正しいピッチ周期を求めるこ
とができない。

【００１９】さらに、このようなピッチ周期の抽出を行
なうとき、従来のピッチ抽出方式の範囲内では、任意の
入力音声のピッチ周期を正しく抽出しようとすれば、い
ずれの方式を使用しても、分析前かまたは分析後に人手
による調整または修正が必要であり、自動化を計る上で
の障害となっていた。

【００２０】また、ピッチ周期や話速の変換などを目的
とした加工を波形上で行なう場合、その最適な単位は１
ピッチ区間毎の波形であるが、上述のような理由から各
ピッチ区間を正確かつ自動的に分割する方法が確立され
ていないため、このような加工を自動的に行なう装置で
は、従来、ピッチ単位とは直接関係のない、一定の窓幅
のフレーム単位で波形の伸縮や繰り返し、間引きといっ
た操作を行なわなければならず、その結果得られた変換
音声は、フレーム単位操作特有のエコー感などの音質劣
化が避けられなかった。

【００２１】本発明は上記の事情に鑑み、任意の音声波
形に対し、波形各部のピッチ周期の抽出に始まり、波形
を１ピッチ区間毎に区切るまでの一連の処理を、正確に
かつ自動的に行なうことができ、これによって音声のピ
ッチ周波数の正確な分析を可能にするとともに、ピッチ
周期や話速の変換など、本来１ピッチ単位の波形処理が
適している音声変換装置や音声合成装置の処理品質を向
上させることができる音声のピッチ区間自動抽出方法を
提供することを目的としている。

【００２２】

【課題を解決するための手段】この目的を達成するため
本発明による音声のピッチ区間自動抽出方法は、入力音
声波形を取り込むとともに、そのうちの有声音区間の適
当な部分でピッチ周期の予備抽出を行ない、その結果に
基づいて、有声音区間全体の各部分ごとに複数のピッチ
候補を求めていき、どの候補が最も適しているか判定
し、この判定処理によって得られたピッチ周期に基づい
て各ピッチ区間の開始点を決定して前記入力音声波形を
各ピッチ区間毎に区切って出力することを特徴としてい
る。

【００２３】

【作用】上記の構成によって、入力音声波形を取り込む
とともに、そのうちの有声音区間の適当な部分でピッチ
周期の予備抽出を行ない、その結果に基づいて、有声音
区間全体の各部分ごとに複数のピッチ候補を求めてい
き、どの候補が最も適しているか判定し、この判定処理
によって得られたピッチ周期に基づいて各ピッチ区間の
開始点を決定して前記入力音声波形を各ピッチ区間毎に
区切って出力することにより、任意の音声波形に対し、
波形各部のピッチ周期の抽出に始まり、波形を１ピッチ
区間毎に区切るまでの一連の処理を、正確にかつ自動的
に行い、これによって音声のピッチ周波数の正確な分析
を可能にするとともに、ピッチ周期や話速の変換など、
本来１ピッチ単位の波形処理が適している音声変換装置
や音声合成装置の処理品質を向上させる。

【００２４】

【実施例】以下、図面を参照しながら、本発明による音
声のピッチ区間自動抽出方法の実施例を詳細に説明す
る。

【００２５】図１は本発明による音声のピッチ区間自動
抽出方法の一実施例を用いた音声処理システムの一例を
示すブロック図である。

【００２６】この図に示す音声処理システムは、有声・
無声・無音の判定部２と、ピッチ周期の予備抽出部４
と、１ピッチ毎の周期の抽出部６と、各ピッチ区間の開
始点の決定部８とを備えており、Ａ／Ｄ変換されて標本
化された音声波形を取り込むとともに、そのうちの有声
音区間の適当な部分でピッチ周期の予備抽出を行ない、
その結果に基づいて、有声音区間全体の各部分ごとに複
数のピッチ候補を求めていき、どの候補が最も適してい
るか判定し、この判定処理によって得られたピッチ周期
に基づいて各ピッチ区間の開始点を決定して音声波形を
各ピッチ区間毎に区切って出力する。

【００２７】有声・無声・無音の判定部２は、電子計算
機内に構築され、ＲＯＭ、ＲＡＭあるいはディスクメモ
リ等のメモリを併用しながら、音声波形の有声、無声、
無音の判定処理を行なう部分であり、Ａ／Ｄ変換されて
標本化された音声波形を取り込むとともに、この音声波
形に対して有声、無音の判別を行なった後、有音部分に
ついて有声、無声の判別を実行し、この処理結果をピッ
チ周期の予備抽出部４に供給する。

【００２８】ピッチ周期の予備抽出部４は、電子計算機
内に構築され、ＲＯＭ、ＲＡＭあるいはディスクメモリ
等のメモリを併用しながら、ピッチ周期の予備抽出を行
なう部分であり、前記有声・無声・無音の判定部２から
出力される有声、無声、無音の判定結果を取り込むとと
もに、１つの有声音区間中の適当な部分について、複数
の異なる分析窓幅で自己相関関数を求めて予備的なピッ
チ周期の抽出を行ない、この処理によって得られたピッ
チ候補（予備的なピッチ周期）を１ピッチ毎の周期の抽
出部６に供給する。

【００２９】１ピッチ毎の周期の抽出部６は、電子計算
機内に構築され、ＲＯＭ、ＲＡＭあるいはディスクメモ
リ等のメモリを併用しながら、１ピッチ毎の周期の抽出
を行なってスケールを構成する部分であり、ピッチ周期
の予備抽出部４から出力される予備的なピッチ周期を取
り込むとともに、この予備的なピッチ周期に基づいて有
声音区間全体に渡り、自己相関分析によりピッチ周波数
軌跡を求めた後、入力波形に対して、時々刻々このピッ
チ周波数軌跡以下の周波数成分のみを残す目的で、カッ
トオフ周波数を適応的に変化させる低域ろ波を行なうと
ともに、ろ波波形のピークを検出して１ピッチごとの周
期を求め、この周期に基づいてピッチ周期のスケールを
求めてこれを各ピッチ区間の開始点の決定部８に供給す
る。

【００３０】各ピッチ区間の開始点の決定部８は、電子
計算機内に構築され、ＲＯＭ、ＲＡＭあるいはディスク
メモリ等のメモリを併用しながら、各ピッチ区間の開始
点を決定してピッチ区間毎に区切られた音声波形を生成
する部分であり、１ピッチ毎の周期の抽出部６から出力
されるスケールを取り込むとともに、１ピッチ周期内の
波形の短時間パワーが急激に上昇する直前の零交差がピ
ッチ区間の開始点となるように、前記ピッチ周期のスケ
ールに合わせて最適なピッチ開始点を求めて、ピッチ区
間毎に音声波形を区切り、これを出力する。

【００３１】そして、これら有声・無声・無音の判定部
２〜各ピッチ区間の開始点の決定部８は、以上の一連の
処理により、１つの有声音区間について、ピッチ区間毎
に区切られた音声波形を算出し、次の有声音区間の処理
に移る。

【００３２】次に、図２に示すフローチャートを参照し
ながら、この実施例の動作を説明する。

【００３３】＜有声・無声・無音の判定部２の動作＞ま
ず、量子化ビット数１６ｂｉｔ、標本化周波数１５ｋＨ
ｚでＡ／Ｄ変換された音声波形が入力される毎に、有声
・無声・無音の判定部２はこれを取り込んで、フレーム
の幅６．６６ｍｓ、フレームのシフト幅３．３３ｍｓで
入力音声全体について、パワーと零交差数を逐次、算出
するとともに（ステップＳＴ１）、各フレーム毎に、パ
ワーＰと零交差数Ｚについてしきい値を設定して、有
声、無声、無音を判定する（ステップＳＴ２）。

【００３４】この場合、有声、無声、無音の判定基準と
しては、例えば以下のような優先順位で有声、無声、無
音を判定する。

【００３５】まず、パワーＰがしきい値Ｐmin より小さ
いかどうかをチェックし、小さいときには、無音と判定
し、この条件が満たされていないときには、パワーＰが
しきい値Ｐmax より大きいかどうかをチェックし、大き
いときには、有声と判定する。

【００３６】そして、この条件が満たされなていないと
きには、零交差数Ｚがしきい値Ｚmax より大きいかどう
かをチェックし、大きいときには、無声と判定し、この
条件が満たされていないときには、零交差数Ｚがしきい
値Ｚmin より小さいかどうかをチェックし、小さいとき
には、有声と判定する。

【００３７】また、これらパワーＰに対するしきい値Ｐ
min 、Ｐmax および零交差数Ｚに対するしきい値Ｚmax
、Ｚmin によって無音、有声、無声の判定を行なうこ
とができないときには、当該フレームの中央を中心に、
３０ｍｓの幅のハミング窓を設定して、入力波形を切り
出した後、自己相関関数Ｒ（τ）を求め、τ＞０におけ
る最大値をＲ（τ）max として、有声度Ｖ＝Ｒ（τ）ma
x ／Ｒ(0) の値がしきい値Ｖmax より大きいときは有声
と判定する。

【００３８】この場合、この処理で使用されるＲ（τ）
はｆ_s を標準化周波数、変数Ｋを０以上の整数として、
τ＝Ｋ／ｆ_s となる離散的な点でのみ定義され、３０ｍ
ｓの窓幅に相当する標本点数をＮとし、切り出された波
形をｘ(1) 〜ｘ(N) とし、さらにｎ＜０のとき、ｘ(n)
＝０とすると、

【数１】 となる。

【００３９】そして、この判定処理において、有声度Ｖ
＝Ｒ（τ）max ／Ｒ(0) の値がしきい値Ｖmax より以下
であると判定されたときには、パワーＰがしきい値Ｐmi
n2（但し、Ｐmin ＜Ｐmin2＜Ｐmax ）より小さいかどう
かをチェックし、小さいときには、無音と判定し、前記
パワーＰがしきい値Ｐmin2以上であるときには、無声と
判定する。

【００４０】次いで、有声・無声・無音の判定部２は、
上述した有声、無声、無音の判定処理において有声と判
定されたフレームが６フレーム以上、時間に換算して２
３．３ｍｓ以上連続している部分を検出し、これを１有
声区間と判定し、この判定結果をピッチ周期の予備抽出
部４に供給する（ステップＳＴ３）。

【００４１】＜ピッチ周期の予備抽出部４の動作＞ピッ
チ周期の予備抽出部４は、前記有声・無声・無音の判定
部２のステップＳＴ３で決定された１つの有声音区間に
ついて、その開始点より時間的に後方に向いた１３３ｍ
ｓ以内で、パワーＰが前記しきい値Ｐmin より２０ｄＢ
以上大きくなり始める点があるかどうかをチェックし、
この条件を満たす点があれば、この点を点Ｔｐとし、ま
たこのような条件を満たす点がなければ、前記しきい値
Ｐmin より１０ｄＢ以上大きくなり始める点があるかど
うかをチェックし、この条件を満たす点があれば、この
点を点Ｔｐとする（ステップＳＴ４）。

【００４２】また、上述した点Ｔｐの検出処理において
（ステップＳＴ４）、上述した各条件を満たす点がなけ
れば、ピッチ周期の予備抽出部４はピッチ周期の予備抽
出を中止し、開始点から有声音区間長の３分の１の点を
仮の点Ｔｐとするとともに、仮のピッチ周期τｐを１０
ｍｓとして、これを１ピッチ毎の周期の抽出部６に供給
し、以下に述べる低域ろ波処理、ダウンサンプリング処
理、自己相関関数の算出処理、予備的なピッチ周期τｐ
の決定処理をスキップする。

【００４３】この後、ピッチ周期の予備抽出部４は、上
述した点Ｔｐの検出処理によって得られた点Ｔｐを開始
点として、４０ｍｓの長さに渡り、ピッチ周期抽出に対
する１０００Ｈｚより高い周波数成分の影響を除くとと
もに、以後の処理の演算量を低減するための処理、すな
わち予め設定されている条件のＬＰＦ、例えば３１次の
ＦＩＲ型フィルタ（Finite Impulse Response Filter）
を用いて１０００Ｈｚ程度のカットオフ周波数で低域ろ
波を行ない、さらにこの処理によって得られたろ波波形
に対し、５ポイントに１ポイントだけ残すダウンサンプ
リングを施す（ステップＳＴ５）。

【００４４】次いで、ピッチ周期の予備抽出部４は１
３．３ｍｓから４０ｍｓまで変化する９種の異なる幅Ｗ
_n ＝１３．３＋（ｎ−１）×３．３３［ｍｓ］（１≦ｎ
≦９）のハミング窓で、ダウンサンプリング波形の開始
点から切り出すとともに、各変数ｎについて、前記
（１）式に準じた演算式に基づいて自己相関関数Ｒ
_n （τ）を計算し、τｐ_n-1 ／３≦τ≦Ｗ_n ／２の範囲
に存在する最大値を自己相関関数Ｒ_n （τ）max とし
て、有声度Ｖ_n ＝Ｒ_n （τ）max ／Ｒ(0) と、そのとき
の遅れ時間τｐ_n とを記録していく（ステップＳＴ
６）。但し、この場合、初期値τｐ₀ は、τｐ₀ ＝３．
７５ｍｓとする。

【００４５】この後、ピッチ周期の予備抽出部４は、上
述したステップＳＴ６で記録された比較値（有声度）Ｖ
_n の大きさと、遅れ時間τｐ_n の値とを取り込むととも
に、次式で定義される重み関数ｇ_njおよび次式で示す演
算式に基づいて前記比較値Ｖ_n の大きさと、遅れ時間τ
ｐ_n の値とのバラツキを考慮したパラメータＵ_n を求め
た後、これを最大にする変数ｎをｎmax として、このｎ
max に対応する遅れ時間τｐ_nmaxをその有声音区間の仮
のピッチ周期τｐとし、これを１ピッチ毎の周期の抽出
部６に供給する（ステップＳＴ７）。

【００４６】

【数２】 ＜１ピッチ毎の周期の抽出部６＞１ピッチ毎の周期の抽
出部６は前記ピッチ周期の予備抽出部４で得られた予備
的なピッチ周期τｐを取り込むとともに、次式に示す演
算を行なって間引き率Ｍ’を求めた後、この間引き率
Ｍ’の小数点以下を切り捨てて間引き率Ｍを求める。但
し、Ｍ’＜１ならば、Ｍ＝１、Ｍ’＞５ならば、Ｍ＝５
とする。

【００４７】 Ｍ’＝５．７３７５・ｌｏｇ₁₀（ｆ_s ・τｐ）−６．４７５ …（４） 但し、ｆ_s ：標本化周波数であり、単位はｋＨｚ。

【００４８】τｐ：予備的なピッチ周期であり、単位は
ｍｓ。

【００４９】この後、１ピッチ毎の周期の抽出部６は、
次式に示す間引き率Ｍに対応するカットオフ周波数を用
いて前記有声・無声・無音の判定部２で決定された有声
音区間にその前後、各４０ｍｓを加えた入力音声波形に
対し、低域ろ波を行なう。

【００５０】Ｍ＝１のとき、低域ろ波を中止。

【００５１】Ｍ＝２のとき、２９００Ｈｚ。

【００５２】Ｍ＝３のとき、１５００Ｈｚ。

【００５３】Ｍ＝４のとき、１０００Ｈｚ。

【００５４】 Ｍ＝５のとき、６３０Ｈｚ。 …（５） この場合、使用されるＬＰＦとしては、例えばフィルタ
係数がｈ₁ 〜ｈ_2T-1（ここでは、Ｔ＝１６）となり、ｈ
_K ＝ｈ_2T-Kとなるように各フィルタ係数が設定された３
１次のＦＩＲ型フィルタが使用される。

【００５５】これによって、ｎ番目の入力波形ｘ(n) に
対するフィルタ出力ｘ’(n) は、

【数３】 となり、入力波形ｘ（ｎ）と、フィルタ出力ｘ’（ｎ）
との間で、全周波数帯域にわたり、位相のずれがなくな
り、両者の時間的な位置の対応がつけ易くなる。この低
域ろ波は、以下に述べるダウンサンプリングの準備であ
ると同時に、ピッチ周期抽出に対する高い周波数成分の
影響を除く効果もある。

【００５６】次いで、１ピッチ毎の周期の抽出部６は、
間引き率Ｍが１以外のとき、上述した低域ろ波処理で得
られた有声音区間のフィルタ出力ｘ’(n) に対し、以後
の処理の演算量を低減するために、Ｍポイントに１ポイ
ントだけ残すダウンサンプリングを行なう（ステップＳ
Ｔ８）。

【００５７】これによって、入力音声波形が図３（ａ）
に示す波形であるとき、このダウンサンプリング処理に
よって図３（ｂ）に示す波形が導き出される。

【００５８】次いで、１ピッチ毎の周期の抽出部６は、
予備抽出部４で得られた予備的なピッチ周期τｐに基づ
いて、上述したステップＳＴ８のダウンサンプリング処
理で得られた波形の有声音区間の部分全体に渡り、３．
３３ｍｓのシフト幅でフレームの中心点を移動させなが
ら、フレーム長を適応的に変化させて自己相関関数を計
算して、ピッチ周期の候補を２個ずつ求め、どちらかを
選択していく（ステップＳＴ９）。

【００５９】ここで、自己相関関数を計算する窓幅
Ｗ_r 、自己相関関数上でピッチ周期の候補を検索する時
間遅れの範囲をＮｓからＮｅまでとするとき、それぞれ
の値は以下のように決定する。

【００６０】《ステップＳＴ４において得られたＴｐに
相当する点以前》Ｗｒ＝τｐ×３．０、Ｎｓ＝τｐ／
１．４１、Ｎｅ＝τｐ×２．０を条件とする。

【００６１】《Ｔｐに相当する点より後》Ｎｂを１つ前
のフレームで選択決定されたピッチ周期として、Ｗｒ＝
τｐ×２．５、Ｎｓ＝Ｎｂ／１．３５を条件とする。但
し、検索終了値Ｎｅについては、一般的に自然音声に関
してパワーが減少傾向にある場合、ピッチ周期が長くな
っていく傾向があることを考慮し、ステップＳＴ１にお
いて時間的に対応する部分で求めたパワーＰを用いて、
当該フレームと１つ前のフレームとのパワーの比Ｐｒを
用いて次式に示す如く定義する。

【００６２】 Ｐｒ≧１ならば、Ｎｅ＝Ｎｂ×１．３５ Ｐｒ＜１ならば、Ｎｅ＝Ｎｂ×（１．７４−０．１８５・Ｐｒ） …（７） この場合、Ｐｒ＜１が成り立つときは、パワーが減少傾
向にある場合である。

【００６３】以上の条件により、１ピッチ毎の周期の抽
出部６は各フレームにおいて、自己相関関数を計算し、
遅れ時間τがＮｓ≦τ≦Ｎｅの範囲における自己相関関
数Ｒ（τ）の極大値を大きいものから順に自己相関関数
Ｒ（τ₁ ）、Ｒ（τ₂ ）とし、ピッチ周期の候補τ₁ 、
τ₂ のいずれか一方を選択する。

【００６４】そして、これらピッチ周期の候補τ₁ 、τ
₂ のどちらかを選択するかは、以下のようにする。

【００６５】《ステップＳＴ４において得られたＴｐに
相当する点以前》まず、１ピッチ毎の周期の抽出部６は
点Ｔｐを含むフレームにおいて、ピッチ周期の候補τ１
を選択し、以後時間的に前方に向い順次、ひとつ後方の
フレームで選択されたピッチ周期に近いτを選択してい
く。

【００６６】《Ｔｐに相当する点より後》この場合、１
ピッチ毎の周期の抽出部６は基本的には、ピッチ周期の
候補τ_１を選択していくが、次の条件が成立する場合に
は、ピッチ周期の候補τ₂ を選択する。

【００６７】但し、ここで、Ｒ_r ＝Ｒ（τ₂ ）／Ｒ（τ
₁ ）、Ｖ₁ ＝Ｒ（τ₁ ）／Ｒ(0) 、Ｖ₂ ＝Ｒ（τ₂ ）／
Ｒ(0) 、Ｄ₁ ＝｜τ₁ −Ｎｂ｜、Ｄ₂ ＝｜τ₂ −Ｎｂ
｜、Ｒ_t ＝１．４９−０．１８５・Ｐ_r とし、前提条件
として次のものを設定する。

【００６８】前提条件：Ｐ_r ＜０．８７かつＶ₁ ＜０．
６かつτ₂ ／Ｎb ＜Ｒ_t 。

【００６９】そして、１ピッチ毎の周期の抽出部６は、
これらの各条件および前提条件に基づいて以下に示す判
定条件Ａまたは判定条件Ｂのいずれかが成立する場合に
ピッチ周期の候補τ₂ を選択する。

【００７０】［判定条件Ａ］τ₁ ＜τ₂ であって、さら
に以下の（１）〜（３）のいずれかが成立、 （１）Ｒ_r ≧０．５ （２）Ｒ_r ＞０．３３かつＶ₂ ≧０．１ （３）Ｖ₁ ＜０．４５かつＶ₂ ＜０．４５かつＤ₁ ＞Ｄ
₂ ［判定条件Ｂ］τ₁ ≧τ₂ かつＤ₁ ＞Ｄ₂ であって、さ
らに以下の（１）〜（４）のいずれかが成立、 （１）τ₂ ＞Ｎb かつＲ_r ≧０．５ （２）τ₂ ＞Ｎb かつＲ_r ＞０．３３かつＶ₂ ≧０．１ （３）τ₁ ／Ｎb ＜Ｒ_t かつＲ_r ≧０．５ （４）τ₁ ／Ｎb ＜Ｒ_t かつＲ_r ＞０．３３かつＶ₂ ≧
０．１ また、前提条件が成立しない場合においても、以下の判
定条件Ｃ、Ｄのいずれかが成立するならば、１ピッチ毎
の周期の抽出部６はピッチ周期の候補τ₂ を選択する。

【００７１】［判定条件Ｃ］ Ｄ₁ ＞Ｄ₂ かつＶ₁ ＜０．６５ ［判定条件Ｄ］ Ｄ₁ ＞Ｄ₂ かつＲ_r ＞０．７ このように、この１ピッチ毎の周期の抽出部６は以上の
手順により、当該有声音区間の全体について、３．３ｍ
ｓの間隔で、ピッチ周期を抽出する。

【００７２】次いで、１ピッチ毎の周期の抽出部６は上
述したステップＳＴ９のピッチ周期抽出処理で得られた
ピッチ周期の逆数を求め、かつ対数をとった後、これを
３．３ｍｓ毎に標本化されたピッチ周波数の時間変化波
形とみなし、この時間変化波形に対し、前記（６）式に
準じた方法で、中央の係数を中心に対象な係数値を持つ
５１次のＦＩＲ型フィルタ（カットオフ周波数は１１Ｈ
ｚ）で低域ろ波を行なうとともに、各標本点の値を用い
てべき乗し、平滑化されたピッチ周波数の時間変化パタ
ーンを求める（ステップＳＴ１０）。

【００７３】この場合、１ピッチ毎の周期の抽出部６は
前記（６）式に準じた計算を行なうとき、パターンの外
側で２５点ずつの標本点が不足するので、予め、パター
ンの内側両端の１８ｍｓ分ずつの標本点で直線近似を行
ない、外側はこの直線を延長して補間し、これによって
平滑化処理時に時折り生じるピッチ抽出誤りを無くす。

【００７４】この後、１ピッチ毎の周期の抽出部６は上
述したステップＳＴ８のダウンサンプリング処理で得ら
れた波形に対し、フレーム幅６．６６ｍｓ、シフト幅
３．３３ｍｓの各フレームで、ステップＳＴ１０で得ら
れたピッチ周波数より若干高いカットオフ周波数で前記
（６）式に準じた方法で低域ろ波を行なった後、フレー
ムの中心で１、両端で０となる三角窓を掛けるととも
に、両隣りのフレームで同様に処理された波形と加算
し、図３（ｃ）に示すような有声区間全体として連続な
正弦波状の波形を求める（ステップＳＴ１１）。

【００７５】但し、この場合、実際に用いるカットオフ
周波数ｆ_c としては、４９．６Ｈｚから７９３．６Ｈｚ
までの４オクターブの間を１／３オクターブ毎に分割し
た、１３通りの周波数を予め用意し、７９３．６Ｈｚを
上限とし、ステップＳＴ１０で得られたピッチ周波数よ
り高くて、かつ最も近いものを選択する。もし、７９
３．６Ｈｚ以上の高いピッチ周波数が頻繁に現われるこ
とが予測される場合には、さらに高い周波数まで用意す
る。

【００７６】また、この処理で使用されるＦＩＲ型フィ
ルタの次数は、ステップＳＴ８でダウンサンプリングさ
れた標本化周波数をｆ’_s として、０．８３３×ｆ’_s
／ｆ_c の少数点以下を切り捨てた後、２倍にしたものに
１を加えて用いる。

【００７７】次いで、１ピッチ毎の周期の抽出部６はス
テップＳＴ１１で得られた波形の正の極大値を検出し、
波形の開始点より、隣接する極大値との位置の間隔を順
次、測定していき、ピッチ周期の変化に同期した、図３
（ｄ）に示すようなピッチ周期のスケールを作成し、こ
れを各ピッチ区間の開始点の決定部８に供給する（ステ
ップＳＴ１２）。しかし、場合によっては、１ピッチ周
期内に複数の極大値が検出されることがあるので、以下
の（１）〜（６）のいずれかの条件を満足する極大値の
みを採用する。

【００７８】但し、ここでは、候補となっている極大値
と、１つ前に採用された極大値の時間間隔Ｗ₂ と、２つ
の前と１つ前に採用された極大値の時間間隔Ｗ₁ の比Ｗ
₂ ／Ｗ₁ をＷ_r とする。また、ステップＳＴ１でフレー
ム単位で求めたパワーＰのうち、候補となっている極大
値の位置に対応する点を含むフレームで求めたものと、
その１つ前のフレームで求めたものとの比をＰ_r とす
る。

【００７９】 （１）０．９０＜Ｐ_r ＜１．１０、かつＷ_r ＞０．８５ （２） Ｐ_r ＜０．８７、かつＷ_r ＞０．７５ （３）０．８７≦Ｐ_r ≦０．９０、かつＷ_r ＞０．６５ （４）１．１０≦Ｐ_r ≦１．３５、かつＷ_r ＞０．６５ （５）１．３５＜Ｐ_r ≦１．５０、かつＷ_r ＞０．６０ （６）１．５０＜Ｐ_r 、かつＷ_r ＞０．５０ この場合、条件（１）はパワーの変化が少なく波形が安
定していて、ピッチ周期の変化が少ない場合であり、条
件（２）、（３）はパワーが減少傾向にあり、ピッチ周
期が長くなっていく可能性が高い場合である。

【００８０】また、条件（４）、（５）、（６）はパワ
ーが増加傾向にあり、ピッチ周期が短くなっていく可能
性が高い場合である。

【００８１】＜各ピッチ区間の開始点の決定部８の動作
＞各ピッチ区間の開始点の決定部８はまず、当該有声音
区間の入力波形の開始点にステップＳＴ１２で得られた
ピッチ周期のスケールの開始点を合わせて当てはめ、入
力波形の１ピッチ周期毎にその周期内における正負のピ
ーク値や短時間のパワー変化を調べていき、当該有声音
区間全体の中でピッチ区間の開始点を最も確実に決定で
きる１ピッチ周期区間を検索する（ステップＳＴ１
３）。

【００８２】この場合、この処理は、各ピッチ周期区間
毎に次式で定義される確実度βを求め、その最大値を検
出することによって行なう。但し、基本的には有声音区
間の開始、終了それぞれの２ピッチ周期区間は除いて処
理する。

【００８３】 β＝Ｌ×（Ｌ_r ＋０．１０７４・Ｓ_r ） …（８） 但し、ピッチ周期内の正側のピーク値をＬ_p 、負側のピ
ークの絶対値をＬ_m としたとき、 Ｌ：Ｌ_p とＬ_m とのうち、大きい方。

【００８４】Ｌ_r ：Ｌ_p ≧Ｌ_m ならば、Ｌ_p ／Ｌ_m 、Ｌ
_p ＜Ｌ_m ならば、Ｌ_m ／Ｌ_p 。

【００８５】Ｓ_r ：ピッチ周期内において、窓幅Ｃ、シ
フト幅Ｃ／２の矩形窓内で標本値の自乗和Ｐ_j （ｊ＝
１、２、…、Ｋ）を求めていき、この短時間パワーの変
化度と、１標本点当たりの正規化パワーの積によって定
義される量Ｓ(j) ＝（Ｐ_j ／Ｐ_j-2 ）・（Ｐ_j ／Ｎ_c ／
Ｑ² ）の３≦ｊ≦ｋの範囲における最大値である。但
し、スケールで示されるピッチ周期をτ［ｍｓ］とし
て、１．１５・τの小数点以下を切り捨てたものをＮ_d
（但し、τ＜５ｍｓの場合はＮ_d ＝４で固定）として、
Ｃ＝τ／Ｎ_d 、Ｋ＝２・Ｎ_d −１であり、Ｎ_c はＣ時間
幅に相当する標本点数、Ｑは標本値の正または負の最大
入力レベルで、量子化ビット数をｑとすると、Ｑ＝２
^(q-1) である。

【００８６】次いで、各ピッチ区間の開始点の決定部８
は前記ステップＳＴ１３の処理において確実度βの最大
値が検出れさたピッチ周期区間（ｎ番目とする）内にお
いてピッチ区間の開始点Ｐ_n を決定する（ステップＳＴ
１４）。

【００８７】この処理では、ｎ番目のピッチ周期区間内
の波形の短時間のパワーが急激に上昇する直前の零交差
点を選択するが、具体的には以下のようにする。

【００８８】まず、各ピッチ区間の開始点の決定部８は
確実度βの最大値が検出されたピッチ周期内において、
Ｓ_r ＝Ｓ(m) であったとして、ｎ番目の短時間パワー算
出区間（幅ＣでＰ_j （ｊ＝ｍ）を算出）の開始点Ｓ_m を
求めるとともに、ピッチ周期をτ_n として、Ｓ_m ±τ_n
／６の範囲の入力音声波形について、前記（６）式に準
じた、カットオフ周波数２０００Ｈｚで２１次のＦＩＲ
型フィルタにより低域ろ波を行なった後、ろ波波形に対
し、波形の零交差点と、波形の正または負のピーク値
（または、絶対値の最大値）とを検出する。

【００８９】この場合、これらは一般に複数個ずつ存在
するが、ここでは、零交差点とは、隣接する２つの標本
値の積が負または零になる場合において、絶対値の小さ
い方の標本点を指す。

【００９０】この後、各ピッチ区間の開始点の決定部８
は前記ろ波波形上で、以下に示す判定条件Ａまたは判定
条件Ｂのいずれかの条件を満足する零交差点ｚのうち、
時間的に最も後方に位置するものを仮のピッチ区間開始
点Ｐ_n とする。

【００９１】［判定条件Ａ］零交差点ｚより時間的に前
方にある最大ピーク値（または、絶対値の最大値）の大
きさが、零交差点ｚの後方にある最大ピーク値（また
は、絶対値の最大値）の大きさの６０％を越えないこ
と。

【００９２】［判定条件Ｂ］零交差点ｚが時間的に最も
前方の零交差点であること。

【００９３】またこのとき、ろ波波形上で、零交差点ｚ
が検出されない場合には、各ピッチ区間の開始点の決定
部８は絶対値が最小となる点で、時間的に最も後方に位
置するものを仮のピッチ区間開始点Ｐ_n とする。

【００９４】この後、各ピッチ区間の開始点の決定部８
は入力波形上で時間的に仮のピッチ区間開始点Ｐ_n に対
応する点を中心に±２点の標本点のなかで、絶対値が最
小になる点を検索し、これを最終的なピッチ区間開始点
Ｐ_n とする。

【００９５】そして、この一連の処理によって最終的な
ピッチ区間開始点Ｐ_n が決定されれば、各ピッチ区間の
開始点の決定部８は前記ステップＳＴ１３で入力音声波
形に当てはめたピッチ周期のスケールをシフトして、前
記ステップＳＴ１４で得られたピッチ区間開始点Ｐ_n に
最も近いピッチ区切りの目盛り（スケールの目盛り）を
前記ピッチ区間開始点Ｐ_n に合わせ（図３（ｅ）参
照）、以下スケールの残りのピッチ区切りの目盛りが示
す点の近傍の入力音声波形について、Ｐ_n+1 からＰ_N ま
で、またＰ_n-1 からＰ₁ まで、隣りですでに決定された
ピッチ区間開始点の近傍との波形の形状の類似度を考慮
しながら、順次ピッチ区間の開始点を決定していく（ス
テップＳＴ１５）。但し、Ｎはスケールで示される当該
有音区間の全ピッチ周期区間数である。

【００９６】そして、この処理で使用されるピッチ区間
の開始点の決定手順として、例えば次に述べる手順を用
いて逐次、Ｐ_i （ｎ＜ｉ≦Ｎ）を決定する。

【００９７】ます、各ピッチ区間の開始点の決定部８は
ピッチ周期のスケールで示される点Ｐ’_i をＰ_i の最初
の候補点とし、同様にスケールで示されるｉ−１番目の
ピッチ周期をτ_i-1 とした後、次式に示す演算式に基づ
いてひつと前で決定されたＰ_i-1 の近傍と、Ｐ’_i の近
傍との波形の類似度θ（Ｐ_i-1 、Ｐ’_i ）を算出する。

【００９８】

【数４】 但し、ｘ_d ：ステップＳＴ８で求めたダウンサンプリン
グ波形で、ｋ_i-1 、ｋ’_i はそれぞれｘ_d 上で時間的に
Ｐ_i-1 、Ｐ’_i に対応する点。

【００９９】Ｈ_i-1 ：ｘ_d 上でτi-1 ／５の時間幅に相
当する標本点数。

【０１００】次に、各ピッチ区間の開始点の決定部８
は、ｋ’_i を前後に１点ずつ最大±Ｈ_i-1 点までシフト
して、各々についてｋ_i-1 点の近傍との類似度を計算
し、合計２・ｈ_i-1 ＋１個の類似度θ（ｋ_i-1 、
ｋ’_i ）のうち、最大値を与えるｋ’_iを求め、この点
に入力音声波形上で対応する点を新たな候補点Ｐ’_i と
する。そして、Ｐ’_i ±τ_i-1 ／１４の範囲の入力音声
波形について、前記（６）式に準じた、カットオフ周波
数２０００Ｈｚで２１次のＦＩＲ型フィルタにより低域
ろ波を行なう。

【０１０１】この後、各ピッチ区間の開始点の決定部８
はろ波波形に対し、波形の零交差点と、波形の正または
負のピーク値（または、絶対値の最大値）とを検出す
る。

【０１０２】この場合、これらは一般に複数個ずつ存在
するが、ここでは、零交差点とは、隣接する２つの標本
値の積が負または零になる場合において、絶対値の小さ
い方の標本点を指す。

【０１０３】この後、各ピッチ区間の開始点の決定部８
はろ波波形状で、以下に示す判定条件Ａまたは判定条件
Ｂのいずれかの条件を満足する零交差点ｚのうち、時間
的に最も後方に位置するものを仮のＰ_i とする。

【０１０４】［判定条件Ａ］零交差点ｚより時間的に前
方にある最大ピーク値（または、絶対値の最大値）の大
きさが、零交差点ｚの後方にある最大ピーク値（また
は、絶対値の最大値）の大きさの６０％を越えないこ
と。

【０１０５】［判定条件Ｂ］零交差点ｚが時間的に最も
前方の零交差点であること。

【０１０６】またこのとき、ろ波波形上で、零交差点ｚ
が検出されない場合には、各ピッチ区間の開始点の決定
部８は絶対値が最小となる点で、時間的に最も後方に位
置するものを仮のＰ_i とする。

【０１０７】この後、各ピッチ区間の開始点の決定部８
は入力波形上で時間的に仮のＰ_i に対応する点を中心に
±２点の標本点のなかで、絶対値が最小になる点を検索
し、これを最終的なＰ_i を決定し、これを入力音声波形
上での最終的なＰ_i とする。

【０１０８】以下、各ピッチ区間の開始点の決定部８は
ｉを１増やしてｉ＝Ｎまで、上述した最終的なＰ_i の決
定処理を繰り返し行なう。

【０１０９】また、各ピッチ区間の開始点の決定部８は
Ｐ_i （ｎ＞ｉ≧１）についても、上述した手法に準じた
手法で１ピッチ区間につき、ｉを１ずつ減少させなが
ら、各ピッチ区間毎に類似度θ（Ｐ_i+1 、Ｐ’_i ）を最
大にするＰ’_i をＰ_i としていく。

【０１１０】以上のようにして、当該有声音区間全体に
ついて、１ピッチ区間毎の開始点を決定する（図３
（ｆ）参照）。

【０１１１】但し、この場合、決定された各ピッチ区間
の開始点は入力音声波形の零交差点を選択しているの
で、最終的な各ピッチ区間の長さは、ステップＳＴ１２
で得られたピッチ周期のスケールで示される各ピッチ周
期とは必ずしも一致しない。

【０１１２】以上説明したように、本実施例によれば、
老若男女の個人差によらず、また有声音区間の開始や終
了部分あるいは有声子音部等、ピッチ周波数が大きく変
化したり、局所的に変化する部分においても、何ら事前
のパラメータの調整もなく、波形の各有声区間内の各ピ
ッチ周期の正しい抽出が可能となり、波形を１ピッチ区
間毎に区切るまでの一連の処理を、正確にかつ自動的に
行なうことができる。

【０１１３】また、その結果を用いて、声の高さや話速
の変換などを目的とした波形の加工を、その最適な単位
である１ピッチ単位の波形処理を用いて自動的に行なう
ことができる。

【０１１４】したがって、従来のようにな一定の窓幅の
フレーム単位での処理に比べ、波形の短縮や繰り返し、
間引きといった操作をエコー感などの音質劣化を引き起
こすことなく、高品質に実現することができる。

【０１１５】

【発明の効果】以上説明したように本発明によれば、任
意の音声波形に対し、波形各部のピッチ周期の抽出に始
まり、波形を１ピッチ区間毎に区切るまでの一連の処理
を、正確にかつ自動的に行なうことができ、これによっ
て音声のピッチ周波数の正確な分析を可能にするととも
に、ピッチ周期や話速の変換など、本来１ピッチ単位の
波形処理が適している音声変換装置や音声合成装置の処
理品質を向上させることができる。

【図面の簡単な説明】

【図１】本発明による音声のピッチ区間自動抽出方法の
一実施例を用いた音声処理システムの一例を示すブロッ
ク図である。

【図２】図１に示す音声処理システムの動作例を示すフ
ローチャートである。

【図３】図１に示す音声処理システムの動作例を示す波
形図である。

【符号の説明】

２ 有声・無声・無音の判定部 ４ ピッチ周期の予備抽出部 ６ １ピッチ毎の周期の抽出部 ８ 各ピッチ区間の開始点の決定部

Claims (2)

【特許請求の範囲】
1. 【請求項１】 入力音声波形を取り込むとともに、その
   うちの有声音区間の適当な部分でピッチ周期の予備抽出
   を行ない、その結果に基づいて、有声音区間全体の各部
   分ごとに複数のピッチ候補を求めていき、どの候補が最
   も適しているか判定し、この入力音声波形に基づいてピ
   ッチ周期の予備抽出を行なって複数のピッチ候補を求め
   た後、各ピッチ候補のうち、どのピッチ候補が最も適し
   ているか判定し、この判定処理によって得られたピッチ
   周期に基づいて各ピッチ区間の開始点を決定して前記入
   力音声波形を各ピッチ区間毎に区切って出力する、 ことを特徴とする音声のピッチ区間自動抽出方法。
2. 【請求項２】 入力音声波形から有声音区間を抽出し、 当該有声音区間の開始点より時間的に後方に向いてある
   程度パワーの大きくなった部分について、複数の異なる
   分析窓幅により自己相関関数Ｒ（τ）を求め、それぞれ
   の自己相関関数について、τ＞０における最大値をＲ
   （τ）max として、Ｖ＝Ｒ（τ）max ／Ｒ(0) とその時
   の時間遅れτの値を求めていき、Ｖの大きさとτの値の
   ばらつきを考慮して、最も信頼できるτの値を当該有声
   区間の仮のピッチ周期τｐとし、 当該有声区間の開始点より、数ミリ秒毎に適当な窓幅の
   分析フレームで、τｐを参考にしながら、予め設定され
   ている方法でフレーム内の平均ピッチ周期抽出のための
   分析を行なってその候補を複数求め、全体として連続性
   やパワーの変化を考慮しながら、各フレームの候補のう
   ちどれかを採用して、ピッチ周波数（ピッチ周波数の逆
   数）の時間軌跡を決定し、 当該ピッチ周波数時間軌跡を平滑化した後、入力波形に
   含まれる周波数成分のうち、時々刻々当該ピッチ周波数
   時間軌跡以下の周波数成分を残すことを目的にカットオ
   フ周波数を適応的に変化させる低域ろ波を施し、当該有
   声区間全体として連続な正弦波状の波形を得、この波形
   の開始点からパワーの変化を考慮しながら逐次その周期
   を測定して１ピッチ毎のピッチ周期のスケールを構成
   し、 当該有声区間の中央部の波形の正負のピーク値や１ｍｓ
   前後の短区間パワーを基に、最も確実に決定できる部分
   から、時間的に前後に、１ピッチ周期内の波形の短時間
   のパワーが急激に上昇する直前の零交差がピッチ区間の
   開始点となるように、ピッチ周期のスケールに合わせて
   最適なピッチ開始点を求めていく、請求項１記載の音声
   のピッチ区間自動抽出方法。