JP3159930B2 - 音声処理装置のピッチ抽出方法 - Google Patents
音声処理装置のピッチ抽出方法Info
- Publication number
- JP3159930B2 JP3159930B2 JP03931197A JP3931197A JP3159930B2 JP 3159930 B2 JP3159930 B2 JP 3159930B2 JP 03931197 A JP03931197 A JP 03931197A JP 3931197 A JP3931197 A JP 3931197A JP 3159930 B2 JP3159930 B2 JP 3159930B2
- Authority
- JP
- Japan
- Prior art keywords
- pitch
- filter
- residual signal
- frame
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 16
- 238000000605 extraction Methods 0.000 title description 19
- 238000000034 method Methods 0.000 claims description 57
- 230000008569 process Effects 0.000 claims description 14
- 238000012937 correction Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims 2
- 238000010079 rubber tapping Methods 0.000 claims 1
- 239000011295 pitch Substances 0.000 description 64
- 238000010586 diagram Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000000737 periodic effect Effects 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 101100381826 Aeromonas hydrophila aer1 gene Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 210000001260 vocal cord Anatomy 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/90—Pitch determination of speech signals
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Electrophonic Musical Instruments (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は音声を符号化しある
いは合成するなどの処理を行うときの音声ピッチ抽出方
法に関し、特に、連続音声のピッチ抽出にも有効なピッ
チ抽出方法に関するものである。
いは合成するなどの処理を行うときの音声ピッチ抽出方
法に関し、特に、連続音声のピッチ抽出にも有効なピッ
チ抽出方法に関するものである。
【０００２】
【従来の技術】科学技術の発達と共に通信端末機の需要
が毎年急増するに伴い、通信回線は絶対的に不足してき
ている。このような現象を克服するために、音声を８kb
it/s以下の低いビット率に符号化する方法が提案され
た。しかし、このような符号化方法により音声を処理す
る場合には音質が低下するという短所がある。そこで、
おおぜいの研究者により、音声を低いビット率で処理し
ながら音質を改善させるための膨大な研究が進まれてい
る。
が毎年急増するに伴い、通信回線は絶対的に不足してき
ている。このような現象を克服するために、音声を８kb
it/s以下の低いビット率に符号化する方法が提案され
た。しかし、このような符号化方法により音声を処理す
る場合には音質が低下するという短所がある。そこで、
おおぜいの研究者により、音声を低いビット率で処理し
ながら音質を改善させるための膨大な研究が進まれてい
る。
【０００３】一方、音質を改善するためには心理的属性
である“音程”、“音量”、“音色”を改善しなければ
ならないし、この心理的属性に対応する物理的属性であ
る“ピッチ”、“振幅”、“波形構造”を原音の属性に
近く再生しなければならない。音声の物理的属性である
“ピッチ(pitch) ”は周波数領域では基本周波数または
ピッチ周波数と呼ばれており、時間領域ではピッチ間隔
またはピッチと呼ばれる。ピッチは発声者の性別、発声
音声に対する有声音／無声音の判別に必ず必要なパラメ
ータで、特に、低いビット率に音声を符号化する場合に
は一層必要な情報である。
である“音程”、“音量”、“音色”を改善しなければ
ならないし、この心理的属性に対応する物理的属性であ
る“ピッチ”、“振幅”、“波形構造”を原音の属性に
近く再生しなければならない。音声の物理的属性である
“ピッチ(pitch) ”は周波数領域では基本周波数または
ピッチ周波数と呼ばれており、時間領域ではピッチ間隔
またはピッチと呼ばれる。ピッチは発声者の性別、発声
音声に対する有声音／無声音の判別に必ず必要なパラメ
ータで、特に、低いビット率に音声を符号化する場合に
は一層必要な情報である。
【０００４】現在まで提案されたピッチ抽出方法は、大
きく時間領域で抽出する方法、周波数領域で抽出する方
法、時間領域と周波数領域を混合して抽出する方法の３
つに分けられる。時間領域でピッチを抽出する代表的な
方法としては自己相関法があり、周波数領域でピッチを
抽出する代表的な方法としてはケプストラム法があり、
時間領域と周波数領域でピッチを混合して抽出する方法
としてはＡＭＤＦ（Average Magnitude Difference Fun
ction ）法、ＬＰＣ（線形予測符号化）法及びＡＭＤＦ
を混合した方法などがある。
きく時間領域で抽出する方法、周波数領域で抽出する方
法、時間領域と周波数領域を混合して抽出する方法の３
つに分けられる。時間領域でピッチを抽出する代表的な
方法としては自己相関法があり、周波数領域でピッチを
抽出する代表的な方法としてはケプストラム法があり、
時間領域と周波数領域でピッチを混合して抽出する方法
としてはＡＭＤＦ（Average Magnitude Difference Fun
ction ）法、ＬＰＣ（線形予測符号化）法及びＡＭＤＦ
を混合した方法などがある。
【０００５】上記のような既存の方法は、フレームで一
つのピッチのみを求めた後、音声処理時にこの求められ
たピッチを繰り返して復元し、このとき、有声音源をピ
ッチ間隔ごとに適用することにより、音声波形を再生す
る。ところで、実際の連続音声では音素が変わるときに
声帯や声度特性が変化し、干渉によりピッチ間隔が数十
msのフレーム内でも微細に変動する。すなわち、連続音
声のように前後の音素が相互に影響して周期が相互に異
なる音声波形が１フレーム内に存在する場合にピッチ抽
出誤りが発生する。例えば、音声の語頭や語尾、音源の
遷移部、無声音と有声音が存在するフレームまたは無声
子音と有声音が存在するフレームではピッチ抽出誤りが
発生する。このように、既存の方法は連続音声について
は脆弱な短所がある。
つのピッチのみを求めた後、音声処理時にこの求められ
たピッチを繰り返して復元し、このとき、有声音源をピ
ッチ間隔ごとに適用することにより、音声波形を再生す
る。ところで、実際の連続音声では音素が変わるときに
声帯や声度特性が変化し、干渉によりピッチ間隔が数十
msのフレーム内でも微細に変動する。すなわち、連続音
声のように前後の音素が相互に影響して周期が相互に異
なる音声波形が１フレーム内に存在する場合にピッチ抽
出誤りが発生する。例えば、音声の語頭や語尾、音源の
遷移部、無声音と有声音が存在するフレームまたは無声
子音と有声音が存在するフレームではピッチ抽出誤りが
発生する。このように、既存の方法は連続音声について
は脆弱な短所がある。
【０００６】
【発明が解決しようとする課題】したがって本発明の目
的は、音声処理装置で音声を処理するときに音質を改善
する方法を提供することにある。本発明の他の目的は、
音声処理装置で音声のピッチを抽出するときに発生する
誤りを除去させる方法を提供することにある。
的は、音声処理装置で音声を処理するときに音質を改善
する方法を提供することにある。本発明の他の目的は、
音声処理装置で音声のピッチを抽出するときに発生する
誤りを除去させる方法を提供することにある。
【０００７】本発明のまた他の目的は、連続音声のピッ
チを抽出するのに有効なピッチ抽出方法を提供すること
にある。
チを抽出するのに有効なピッチ抽出方法を提供すること
にある。
【０００８】
【課題を解決するための手段】このような目的を達成す
るために本発明は、フレーム内で音声の高低を示す多数
の残差信号を発生する残差信号発生過程と、前記多数の
残差信号のうち所定条件を満たす残差信号をピッチとし
て発生するピッチ発生過程とからなるピッチ抽出方法を
提供する。前記残差信号発生過程は、FIR フィルタとST
REAKフィルタを結合したFIR-STREAKフィルタを利用して
音声をフィルタリングし、このフィルタリング結果を残
差信号として発生することを特徴とし、前記ピッチ発生
過程は多数の残差信号のうち予め設定された振幅以上の
残差信号と、残差信号間の時間間隔が予め設定された時
間間隔内の場合の残差信号のみをピッチとして発生する
ことを特徴とする。
るために本発明は、フレーム内で音声の高低を示す多数
の残差信号を発生する残差信号発生過程と、前記多数の
残差信号のうち所定条件を満たす残差信号をピッチとし
て発生するピッチ発生過程とからなるピッチ抽出方法を
提供する。前記残差信号発生過程は、FIR フィルタとST
REAKフィルタを結合したFIR-STREAKフィルタを利用して
音声をフィルタリングし、このフィルタリング結果を残
差信号として発生することを特徴とし、前記ピッチ発生
過程は多数の残差信号のうち予め設定された振幅以上の
残差信号と、残差信号間の時間間隔が予め設定された時
間間隔内の場合の残差信号のみをピッチとして発生する
ことを特徴とする。
【０００９】
【発明の実施の形態】以下、本発明の好適な実施の形態
を添付の図面を参照して詳細に説明する。まず、本発明
における音声資料は、下記の〈表１〉に示すように、男
女各４人の日本人アナウンサーによる３２文章の連続音
声を使用したことである。
を添付の図面を参照して詳細に説明する。まず、本発明
における音声資料は、下記の〈表１〉に示すように、男
女各４人の日本人アナウンサーによる３２文章の連続音
声を使用したことである。
【００１０】
【表１】
【００１１】図１は、本発明による動作のためにFIR(Fi
nite Impulse Response)フィルタとSTREAK(Simplified
Technique for Recursive Estimate Autocorrelation K
parameter)フィルタが結合されたFIR-STREAKフィルタの
構成を示すものである。図１，図２及び図３を参照する
に、FIR-STREAKフィルタは音声信号Ｘ（ｎ）を入力して
フィルタリングした後、このフィルタリングされた結果
信号ｆM （ｎ）及びｇM （ｎ）を発生する。一例とし
て、図２の（ａ）及び図３の（ａ）に示すような音声信
号が入力されたとき、FIR-STREAKフィルタは図２の
（ｂ）及び図３の（ｂ）に示すような残差信号を出力す
る。このFIR-STREAKフィルタによりピッチ抽出に必要な
周期性の残差信号Ｒｐが求められる。ここで、周期性の
残差信号Ｒｐとは予め設定された時間間隔内で求められ
る信号を意味する。
nite Impulse Response)フィルタとSTREAK(Simplified
Technique for Recursive Estimate Autocorrelation K
parameter)フィルタが結合されたFIR-STREAKフィルタの
構成を示すものである。図１，図２及び図３を参照する
に、FIR-STREAKフィルタは音声信号Ｘ（ｎ）を入力して
フィルタリングした後、このフィルタリングされた結果
信号ｆM （ｎ）及びｇM （ｎ）を発生する。一例とし
て、図２の（ａ）及び図３の（ａ）に示すような音声信
号が入力されたとき、FIR-STREAKフィルタは図２の
（ｂ）及び図３の（ｂ）に示すような残差信号を出力す
る。このFIR-STREAKフィルタによりピッチ抽出に必要な
周期性の残差信号Ｒｐが求められる。ここで、周期性の
残差信号Ｒｐとは予め設定された時間間隔内で求められ
る信号を意味する。
【００１２】以下、残差信号Ｒｐから得たピッチを個別
ピッチパルス（ＩＰＰ：IndividualPitch Pulse) と称
する。STREAKフィルタは、下記の（式１）のように前方
向誤差信号ｆｉ（ｎ）と後方向誤差信号ｇｉ（ｎ）に表
す。
ピッチパルス（ＩＰＰ：IndividualPitch Pulse) と称
する。STREAKフィルタは、下記の（式１）のように前方
向誤差信号ｆｉ（ｎ）と後方向誤差信号ｇｉ（ｎ）に表
す。
【００１３】
【数１】
【００１４】上記の（式１）をｋｉにより偏微分すれ
ば、下記の（式２）のようなSTREAK係数が得られる。
ば、下記の（式２）のようなSTREAK係数が得られる。
【００１５】
【数２】
【００１６】FIR-STREAKフィルタの伝達関数は次の（式
３）の通りである。
３）の通りである。
【００１７】
【数３】
【００１８】上記（式３）で、ＭＦとｂｉはFIR フィル
タの次数とフィルタ係数で、ＭＳとｋｉはSTREAKフィル
タの次数とフィルタ係数である。結果的に、FIR-STREAK
フィルタの出力から個別ピッチパルスの手掛りになるＲ
ｐが得られる。一般に、3.4kHzのＬＰＦ（ローパスフィ
ルタ）により制限された周波数帯域では３〜４個のホル
マント（formant)が存在し、これを抽出するための格子
状フィルタには通常８〜１０次のフィルタ次数が用いら
れる。本発明によるSTREAKフィルタも８〜１０次のフィ
ルタ次数の範囲を有するとしたら、残差信号Ｒｐは明確
に流出され、本発明では１０次のSTREAKフィルタを使用
している。一方、本発明でFIR フィルタの次数Ｍｐは
タの次数とフィルタ係数で、ＭＳとｋｉはSTREAKフィル
タの次数とフィルタ係数である。結果的に、FIR-STREAK
フィルタの出力から個別ピッチパルスの手掛りになるＲ
ｐが得られる。一般に、3.4kHzのＬＰＦ（ローパスフィ
ルタ）により制限された周波数帯域では３〜４個のホル
マント（formant)が存在し、これを抽出するための格子
状フィルタには通常８〜１０次のフィルタ次数が用いら
れる。本発明によるSTREAKフィルタも８〜１０次のフィ
ルタ次数の範囲を有するとしたら、残差信号Ｒｐは明確
に流出され、本発明では１０次のSTREAKフィルタを使用
している。一方、本発明でFIR フィルタの次数Ｍｐは
【００１９】
【数４】
【００２０】にし、帯域制限周波数Ｆｐはピッチ周波数
が８０〜３７０Hzであることを考えて
が８０〜３７０Hzであることを考えて
【００２１】
【数５】
【００２２】として残差信号Ｒｐを流出する。実験結
果、Ｍｐ及びＦｐはそれぞれ８０次８００HzでＲｐがＩ
ＰＰ位置で明確に現われることを確認することが可能で
あった。しかしながら、音声の語頭や語尾でＲｐは明確
に現われない場合が多い。これは、音声の語頭や語尾で
ピッチ周波数が第１ホルマントにより大きく影響を受け
ることを意味する。
果、Ｍｐ及びＦｐはそれぞれ８０次８００HzでＲｐがＩ
ＰＰ位置で明確に現われることを確認することが可能で
あった。しかしながら、音声の語頭や語尾でＲｐは明確
に現われない場合が多い。これは、音声の語頭や語尾で
ピッチ周波数が第１ホルマントにより大きく影響を受け
ることを意味する。
【００２３】図４及び図５は本発明のピッチ抽出方法に
よる処理フローチャートで、図６は本発明の方法により
抽出されたピッチパルスに対する波形図である。図４及
び図５を参照するに、本発明によるピッチ抽出方法は３
過程に大別される。第１過程は、１フレーム内の音声
（Speech) をFIR-STREAKフィルタを利用してフィルタリ
ングする過程である（３００段階）。
よる処理フローチャートで、図６は本発明の方法により
抽出されたピッチパルスに対する波形図である。図４及
び図５を参照するに、本発明によるピッチ抽出方法は３
過程に大別される。第１過程は、１フレーム内の音声
（Speech) をFIR-STREAKフィルタを利用してフィルタリ
ングする過程である（３００段階）。
【００２４】第２過程は、FIR-STREAKフィルタによりフ
ィルタリングされた信号のうち所定の条件を満たす信号
を多数の残差信号で発生する過程である（３１０段階、
３２０段階、３４１段階〜３４９段階または３１０段
階、３２０段階、３６１段階〜３６９段階）。第３過程
は、各残差信号に前後する残差信号との関係を参照して
フレーム内の他の残差信号を補正／補間し、このように
補正／補間された残差信号と既に発生した残差信号をピ
ッチとして抽出する過程である（３５０段階〜３５３段
階または３７０段階〜３７４段階）。
ィルタリングされた信号のうち所定の条件を満たす信号
を多数の残差信号で発生する過程である（３１０段階、
３２０段階、３４１段階〜３４９段階または３１０段
階、３２０段階、３６１段階〜３６９段階）。第３過程
は、各残差信号に前後する残差信号との関係を参照して
フレーム内の他の残差信号を補正／補間し、このように
補正／補間された残差信号と既に発生した残差信号をピ
ッチとして抽出する過程である（３５０段階〜３５３段
階または３７０段階〜３７４段階）。
【００２５】図４及び図５で、ＥN （ｎ）とＥP （ｎ）
の場合ではＩＰＰの抽出方法は同一の処理方法によって
実現されるので、下記ではＥP （ｎ）でＩＰＰを抽出す
る方法にのみ限って説明する。まず、振幅が大きな残差
信号を順次に代入して得たＡによりＥP （ｎ）の振幅を
定規化する。本発明における音声資料を基づいてｍP を
求めた結果、Ｒｐ地点でのｍP は0.5 以上である結果を
得た。したがって、ＥP （ｎ）＞ＡとｍP ＞0.5 の残差
信号をＲｐにし、ピッチ周波数を基づいたＲｐ間隔Ｌが
の場合ではＩＰＰの抽出方法は同一の処理方法によって
実現されるので、下記ではＥP （ｎ）でＩＰＰを抽出す
る方法にのみ限って説明する。まず、振幅が大きな残差
信号を順次に代入して得たＡによりＥP （ｎ）の振幅を
定規化する。本発明における音声資料を基づいてｍP を
求めた結果、Ｒｐ地点でのｍP は0.5 以上である結果を
得た。したがって、ＥP （ｎ）＞ＡとｍP ＞0.5 の残差
信号をＲｐにし、ピッチ周波数を基づいたＲｐ間隔Ｌが
【００２６】
【数６】
【００２７】のＲｐ位置をＩＰＰ位置（Ｐｉ，Ｉ＝０，
１，─，Ｍ）とする。そして、Ｒｐ位置の漏れによる補
正及び補間処理は、以前フレームの最後のＩＰＰ位置
（ＰM ）と現在フレームの時刻０からＰｏまでの間隔
（ξP ）からＩB （＝Ｎ−ＰM ＋ξ P ）を求める。次
に、平均ピッチの１／２に現われる半分ピッチと平均ピ
ッチの２倍に現われる倍ピッチを防止するために、ＩB
間隔が平均ピッチ間隔（｛Ｐ０＋Ｐ１＋─＋ＰＭ｝／
Ｍ）の５０％のときと１５０％のとき、Ｐｉ位置を補正
する。但し、日本語音声では子音に続いて母音が現われ
るので、以前フレームに子音が存在する場合は下記の
（式４）を、子音が存在しない場合は（式５）をそれぞ
れ適用する。
１，─，Ｍ）とする。そして、Ｒｐ位置の漏れによる補
正及び補間処理は、以前フレームの最後のＩＰＰ位置
（ＰM ）と現在フレームの時刻０からＰｏまでの間隔
（ξP ）からＩB （＝Ｎ−ＰM ＋ξ P ）を求める。次
に、平均ピッチの１／２に現われる半分ピッチと平均ピ
ッチの２倍に現われる倍ピッチを防止するために、ＩB
間隔が平均ピッチ間隔（｛Ｐ０＋Ｐ１＋─＋ＰＭ｝／
Ｍ）の５０％のときと１５０％のとき、Ｐｉ位置を補正
する。但し、日本語音声では子音に続いて母音が現われ
るので、以前フレームに子音が存在する場合は下記の
（式４）を、子音が存在しない場合は（式５）をそれぞ
れ適用する。
【００２８】
【数７】
【００２９】
【数８】
【００３０】ここで、ＩA1＝（ＰM −Ｐｏ）／Ｍ，ＩA2
＝｛ＩB ＋（ＰM −Ｐｉ）｝／Ｍである。そして、ＩＰ
Ｐの間隔（ＩＰｉ），平均間隔（ＩAV），偏差（ＤＰ
ｉ）を下記の（式６）を通じて求める。但し、ξP 及び
フレーム最後からＰM までの間隔はＤＰｉに含めない。
次に、
＝｛ＩB ＋（ＰM −Ｐｉ）｝／Ｍである。そして、ＩＰ
Ｐの間隔（ＩＰｉ），平均間隔（ＩAV），偏差（ＤＰ
ｉ）を下記の（式６）を通じて求める。但し、ξP 及び
フレーム最後からＰM までの間隔はＤＰｉに含めない。
次に、
【００３１】
【数９】
【００３２】の場合と
【００３３】
【数１０】
【００３４】の場合は、下記の（式７）によりそれぞれ
位置補正及び補間を行う。 ＩＰｉ＝Ｐｉ−Ｐｉ−１ ＩAV＝（ＰM −Ｐｏ）／Ｍ ・・・（式６） ＤＰｉ＝ＩAV−ＩＰｉ
位置補正及び補間を行う。 ＩＰｉ＝Ｐｉ−Ｐｉ−１ ＩAV＝（ＰM −Ｐｏ）／Ｍ ・・・（式６） ＤＰｉ＝ＩAV−ＩＰｉ
【００３５】
【数１１】
【００３６】ここで、ｉ＝１，２，─，Ｍである。ま
た、前記（式４）〜（式６）をＥN （ｎ）に適用して位
置補正及び補間されたＰｉを求める。このような方法に
より求められた時間軸上の＋側Ｐｉと−側Ｐｉの中でい
ずれか一側を選択しなければならないが、このとき、Ｐ
ｉ位置が急激に変化しない側のＰｉを選択する。その理
由は、数十msのフレーム内でのピッチ間隔は徐々に変化
するからである。すなわち、ＩAVに対するＰｉ間隔の変
化を下記の（式８）により評価して
た、前記（式４）〜（式６）をＥN （ｎ）に適用して位
置補正及び補間されたＰｉを求める。このような方法に
より求められた時間軸上の＋側Ｐｉと−側Ｐｉの中でい
ずれか一側を選択しなければならないが、このとき、Ｐ
ｉ位置が急激に変化しない側のＰｉを選択する。その理
由は、数十msのフレーム内でのピッチ間隔は徐々に変化
するからである。すなわち、ＩAVに対するＰｉ間隔の変
化を下記の（式８）により評価して
【００３７】
【数１２】
【００３８】の場合は＋側のＰｉを、Ｃｐ＞ＣN の場合
は−側のＰｉを選択する。ここで、Ｃ N はＰN （ｎ）か
ら求めた評価値である。
は−側のＰｉを選択する。ここで、Ｃ N はＰN （ｎ）か
ら求めた評価値である。
【００３９】
【数１３】
【００４０】しかし、＋側のＰｉと−側のＰｉのうちい
ずれか一側を選択することにより時間差（ξP −ξN ）
が発生し、これを補償するために−側のＰｉを選択した
場合は、次の式により位置を再び補正した。 Ｐｉ＝ＰＮｉ＋（ξP −ξN ） ・・・（式９） 図６には、補正されたＰｉを再び補間処理した場合と補
間処理を行わない場合の例を示す。図６の（ａ），
（ｇ）は連続したフレームにおいて振幅レベルが減衰す
る音声波形、（ｄ）は振幅レベルが低い音声波形、
（ｊ）は音素が変化する遷移部の音声波形では信号の相
互関係による信号解析が難しいので、Ｒｐが容易に漏落
されてＰｉを明確に抽出することができない場合が多
い。この場合、他の対策なしにＰｉを使用して音声合成
を行うと、音質低下の原因となる。しかし、本発明で提
示した方法によりＰｉを補正及び補間した結果、図６の
（ｃ），（ｆ），（ｉ），（１）に示すようにＩＰＰが
明確に抽出することが分かる。
ずれか一側を選択することにより時間差（ξP −ξN ）
が発生し、これを補償するために−側のＰｉを選択した
場合は、次の式により位置を再び補正した。 Ｐｉ＝ＰＮｉ＋（ξP −ξN ） ・・・（式９） 図６には、補正されたＰｉを再び補間処理した場合と補
間処理を行わない場合の例を示す。図６の（ａ），
（ｇ）は連続したフレームにおいて振幅レベルが減衰す
る音声波形、（ｄ）は振幅レベルが低い音声波形、
（ｊ）は音素が変化する遷移部の音声波形では信号の相
互関係による信号解析が難しいので、Ｒｐが容易に漏落
されてＰｉを明確に抽出することができない場合が多
い。この場合、他の対策なしにＰｉを使用して音声合成
を行うと、音質低下の原因となる。しかし、本発明で提
示した方法によりＰｉを補正及び補間した結果、図６の
（ｃ），（ｆ），（ｉ），（１）に示すようにＩＰＰが
明確に抽出することが分かる。
【００４１】ＩＰＰの抽出率ＡＥＲ１は、実際のＩＰＰ
が存在する位置でＩＰＰが抽出されない場合（“−
ｂij”）と実際ＩＰＰが存在しない位置でＩＰＰが抽出
された場合（“ｃij”）を抽出誤りとするとき、下記の
（式１０）により求められる。
が存在する位置でＩＰＰが抽出されない場合（“−
ｂij”）と実際ＩＰＰが存在しない位置でＩＰＰが抽出
された場合（“ｃij”）を抽出誤りとするとき、下記の
（式１０）により求められる。
【００４２】
【数１４】
【００４３】ここで、ａijは観察されたＩＰＰ数で、Ｔ
はＩＰＰが存在するフレーム数で、ｍは音声サンプル数
である。本発明での実験結果、観察されたＩＰＰ数は男
性の場合は３４８３個であり、女性の場合は５３７４個
である。そして、抽出されたＩＰＰ数は男性の場合は３
３４３個、女性の場合は４５６６個である。したがっ
て、ＩＰＰ抽出率は男性の場合は９６％で、女性の場合
は８５％である。
はＩＰＰが存在するフレーム数で、ｍは音声サンプル数
である。本発明での実験結果、観察されたＩＰＰ数は男
性の場合は３４８３個であり、女性の場合は５３７４個
である。そして、抽出されたＩＰＰ数は男性の場合は３
３４３個、女性の場合は４５６６個である。したがっ
て、ＩＰＰ抽出率は男性の場合は９６％で、女性の場合
は８５％である。
【００４４】本発明によるピッチ抽出方法と従来技術に
よるピッチ抽出方法とを比較すると、次の通りである。
自己相関法やケプトラム法のように平均値のピッチを求
める方法によると、音節の語頭や語尾、音素の推移部
分、無音と有声音または無声子音と有声音が共に存在す
るフレームでピッチ抽出誤りが発生する。一例として、
無声子音と有声音が共に存在するフレームにおいて自己
相関法によってはピッチが抽出されず、ケプトラム法に
よっては無声音部でもピッチが抽出される誤りがある。
このようなピッチ抽出誤りは、有声音／無声音の判別に
対する判別誤りの原因になる。さらに、無声子音と有声
音が共に存在するフレームを無声音源または有声音源の
うちいずれか一側の音源を使用することにより、音質低
下の原因となる。
よるピッチ抽出方法とを比較すると、次の通りである。
自己相関法やケプトラム法のように平均値のピッチを求
める方法によると、音節の語頭や語尾、音素の推移部
分、無音と有声音または無声子音と有声音が共に存在す
るフレームでピッチ抽出誤りが発生する。一例として、
無声子音と有声音が共に存在するフレームにおいて自己
相関法によってはピッチが抽出されず、ケプトラム法に
よっては無声音部でもピッチが抽出される誤りがある。
このようなピッチ抽出誤りは、有声音／無声音の判別に
対する判別誤りの原因になる。さらに、無声子音と有声
音が共に存在するフレームを無声音源または有声音源の
うちいずれか一側の音源を使用することにより、音質低
下の原因となる。
【００４５】他の例として、連続的な音声波形を数十ms
で切って分析する場合、平均ピッチを抽出する方法では
フレーム間のピッチ間隔が他のピッチ間隔より大きく広
くなりあるいは狭くなる現象が現れる。しかし、本発明
によるＩＰＰ抽出法によると、変動するピッチ間隔に対
応でき、かつ無声子音と有声音が共に存在するフレーム
でもピッチの位置を明確に求められる。
で切って分析する場合、平均ピッチを抽出する方法では
フレーム間のピッチ間隔が他のピッチ間隔より大きく広
くなりあるいは狭くなる現象が現れる。しかし、本発明
によるＩＰＰ抽出法によると、変動するピッチ間隔に対
応でき、かつ無声子音と有声音が共に存在するフレーム
でもピッチの位置を明確に求められる。
【００４６】本発明においての音声資料を使用し、各方
法によりピッチを抽出する場合、各方法においてのピッ
チ抽出率は下記の〈表２〉の通りである。
法によりピッチを抽出する場合、各方法においてのピッ
チ抽出率は下記の〈表２〉の通りである。
【００４７】
【表２】一方、本発明の詳細な説明では具体的な実施例
に関して説明したが、本発明の範囲を外れない範囲内で
は多様な変化が可能であることは勿論である。したがっ
て、本発明の範囲は説明した実施例に限って定められて
はいけないし、特許請求の範囲だけでなく、この特許請
求の範囲と均等なものにより定めなければならない。
に関して説明したが、本発明の範囲を外れない範囲内で
は多様な変化が可能であることは勿論である。したがっ
て、本発明の範囲は説明した実施例に限って定められて
はいけないし、特許請求の範囲だけでなく、この特許請
求の範囲と均等なものにより定めなければならない。
【００４８】
【発明の効果】以上述べてきたように本発明は、FIR-ST
REAKフィルタにより残差信号を求め、この残差信号を使
用して音源の推移や声度特性の干渉により現われるピッ
チ間隔の変動に対応できるピッチ抽出方法を提供する。
このようなピッチ抽出方法は、非周期性音声波形や音声
の語頭や語尾、無音または無声子音と有声音が共に存在
するフレームで発生するピッチ抽出誤りを抑制すること
ができる利点がある。
REAKフィルタにより残差信号を求め、この残差信号を使
用して音源の推移や声度特性の干渉により現われるピッ
チ間隔の変動に対応できるピッチ抽出方法を提供する。
このようなピッチ抽出方法は、非周期性音声波形や音声
の語頭や語尾、無音または無声子音と有声音が共に存在
するフレームで発生するピッチ抽出誤りを抑制すること
ができる利点がある。
【図１】本発明による動作のためのFIR-STREAKフィルタ
の構成を示す図である。
の構成を示す図である。
【図２】図１のFIR-STREAKフィルタにより求められる残
差信号に対する波形図である。
差信号に対する波形図である。
【図３】図１のFIR-STREAKフィルタにより求められる残
差信号に対する波形図である。
差信号に対する波形図である。
【図４】本発明のピッチ抽出方法による処理流れを示す
フローチャートである。
フローチャートである。
【図５】図４に続くフローチャートである。
【図６】本発明の方法により抽出されたピッチパルスに
対する波形図である。
対する波形図である。
フロントページの続き (56)参考文献 特開 平５−19793（ＪＰ，Ａ) 特開 平６−131000（ＪＰ，Ａ) 特開 昭59−211094（ＪＰ，Ａ) 特公 平３−30880（ＪＰ，Ｂ２) 米国特許5864791（ＵＳ，Ａ) 英国特許出願公開2314747（ＧＢ，Ａ) 1991年電子情報通信学会春季全国大会 講演論文集，第１分冊，Ａ−217「マル チパルス音声符号化方式におけるピッチ 抽出及び無声子音の処理について」, ｐ．１−217（1991) 第35回自動制御連合講演会前刷, 3072，「マルチパルス音声符号化方式に おける個別ピッチパルス抽出法の一検 討」，ｐ．539−540，（1992年10月28 日) 第34回平成２年度日本大学理工学部学 術講演会論文集，Ｍ−43，「マルチパル ス音声符号化方式の研究の一方法」, ｐ．611−612，（平成２年) 1990年電子情報通信学会春季全国大会 講演論文集，第１分冊，Ａ−224「低ビ ットレート音声符号化のための各種ピッ チ抽出法の客観的評価」，ｐ．１−224 （1990) (58)調査した分野(Int.Cl.7，ＤＢ名) G10L 11/00 - 21/06 ＪＩＣＳＴファイル（ＪＯＩＳ)
Claims (3)
- 【請求項１】 音声処理装置で音声に対するピッチを抽
出する方法において、 FIR フィルタとSTREAKフィルタを結合したFIR-STREAKフ
ィルタを利用して音声をフィルタリングし、このフィル
タリング結果を所定フレーム内で音声の高低を示す多数
の残差信号として発生する残差信号発生過程と、 前記多数の残差信号のうち、予め設定された振幅以上の
残差信号と、残差信号間の時間間隔が予め設定された時
間間隔内である場合の残差信号のみをピッチで発生する
ピッチ発生過程と、 以前フレームの最後のピッチパルスと現在フレームの最
初のピッチパルスとの間隔に従って前記残差信号の位置
補正及び補間処理を行なう補正／補間過程と を有し、 前記所定フレーム毎に少なくとも一つ以上のピッチを抽
出する方法。 - 【請求項２】 前記補正／補間過程は、以前フレームに
子音が存在する場合と子音が存在しない場合とで処理を
区別することを特徴とする請求項１記載の方法。 - 【請求項３】 FIR フィルタとSTREAKフィルタを結合し
たFIR-STREAKフィルタを少なくとも有する音声処理装置
でフレーム単位で連続音声に対するピッチを抽出する方
法において、 前記FIR-STREAKフィルタを利用して連続音声をフレーム
単位でフィルタリングした後、そのフィルタリング結果
信号のうち予め設定された振幅以上の結果信号と、結果
信号間の間隔が予め設定された時間間隔内である場合の
結果信号とを多数の残差信号として発生し、前記各残差
信号の前後の残差信号との関係を参照してフレーム内の
他の残差信号を補正／補間し、この補正／補間された残
差信号と既に発生した残差信号をピッチとして抽出し、 前記補正／補間過程は、以前フレームの最後のピッチパ
ルスと現在フレームの最初のピッチパルスとの間隔に従
って前記残差信号の位置補正及び補間処理が行なわれ、
更に以前フレームに子音が存在する場合と子音が存在し
ない場合とで処理を区別 することを特徴とする方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR23341/1996 | 1996-06-24 | ||
| KR1019960023341A KR100217372B1 (ko) | 1996-06-24 | 1996-06-24 | 음성처리장치의 피치 추출방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1020887A JPH1020887A (ja) | 1998-01-23 |
| JP3159930B2 true JP3159930B2 (ja) | 2001-04-23 |
Family
ID=19463123
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP03931197A Expired - Fee Related JP3159930B2 (ja) | 1996-06-24 | 1997-02-24 | 音声処理装置のピッチ抽出方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US5864791A (ja) |
| JP (1) | JP3159930B2 (ja) |
| KR (1) | KR100217372B1 (ja) |
| CN (1) | CN1146861C (ja) |
| GB (1) | GB2314747B (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100217372B1 (ko) | 1996-06-24 | 1999-09-01 | 윤종용 | 음성처리장치의 피치 추출방법 |
| JP4641620B2 (ja) * | 1998-05-11 | 2011-03-02 | エヌエックスピー ビー ヴィ | ピッチ検出の精密化 |
| JP2000208255A (ja) | 1999-01-13 | 2000-07-28 | Nec Corp | 有機エレクトロルミネセント表示装置及びその製造方法 |
| US6488689B1 (en) * | 1999-05-20 | 2002-12-03 | Aaron V. Kaplan | Methods and apparatus for transpericardial left atrial appendage closure |
| US8257389B2 (en) * | 2004-05-07 | 2012-09-04 | W.L. Gore & Associates, Inc. | Catching mechanisms for tubular septal occluder |
| DE102005025169B4 (de) | 2005-06-01 | 2007-08-02 | Infineon Technologies Ag | Kommunikationsvorrichtung und Verfahren zur Übermittlung von Daten |
| US20090143640A1 (en) * | 2007-11-26 | 2009-06-04 | Voyage Medical, Inc. | Combination imaging and treatment assemblies |
| US8666734B2 (en) * | 2009-09-23 | 2014-03-04 | University Of Maryland, College Park | Systems and methods for multiple pitch tracking using a multidimensional function and strength values |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2314747A (en) | 1996-06-24 | 1998-01-07 | Samsung Electronics Co Ltd | Pitch extraction in a speech processing unit |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4701954A (en) * | 1984-03-16 | 1987-10-20 | American Telephone And Telegraph Company, At&T Bell Laboratories | Multipulse LPC speech processing arrangement |
| US4879748A (en) * | 1985-08-28 | 1989-11-07 | American Telephone And Telegraph Company | Parallel processing pitch detector |
| US4845753A (en) * | 1985-12-18 | 1989-07-04 | Nec Corporation | Pitch detecting device |
| JPH0782359B2 (ja) * | 1989-04-21 | 1995-09-06 | 三菱電機株式会社 | 音声符号化装置、音声復号化装置及び音声符号化・復号化装置 |
| US5189701A (en) * | 1991-10-25 | 1993-02-23 | Micom Communications Corp. | Voice coder/decoder and methods of coding/decoding |
| KR960009530B1 (en) * | 1993-12-20 | 1996-07-20 | Korea Electronics Telecomm | Method for shortening processing time in pitch checking method for vocoder |
| US5704000A (en) * | 1994-11-10 | 1997-12-30 | Hughes Electronics | Robust pitch estimation method and device for telephone speech |
| US5680426A (en) * | 1996-01-17 | 1997-10-21 | Analogic Corporation | Streak suppression filter for use in computed tomography systems |
-
1996
- 1996-06-24 KR KR1019960023341A patent/KR100217372B1/ko not_active IP Right Cessation
-
1997
- 1997-02-12 GB GB9702817A patent/GB2314747B/en not_active Expired - Lifetime
- 1997-02-24 JP JP03931197A patent/JP3159930B2/ja not_active Expired - Fee Related
- 1997-02-26 CN CNB971025452A patent/CN1146861C/zh not_active Expired - Lifetime
- 1997-02-28 US US08/808,661 patent/US5864791A/en not_active Expired - Lifetime
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2314747A (en) | 1996-06-24 | 1998-01-07 | Samsung Electronics Co Ltd | Pitch extraction in a speech processing unit |
| US5864791A (en) | 1996-06-24 | 1999-01-26 | Samsung Electronics Co., Ltd. | Pitch extracting method for a speech processing unit |
Non-Patent Citations (4)
| Title |
|---|
| １９９０年電子情報通信学会春季全国大会講演論文集，第１分冊，Ａ−２２４「低ビットレート音声符号化のための各種ピッチ抽出法の客観的評価」，ｐ．１−２２４（１９９０） |
| １９９１年電子情報通信学会春季全国大会講演論文集，第１分冊，Ａ−２１７「マルチパルス音声符号化方式におけるピッチ抽出及び無声子音の処理について」，ｐ．１−２１７（１９９１） |
| 第３４回平成２年度日本大学理工学部学術講演会論文集，Ｍ−４３，「マルチパルス音声符号化方式の研究の一方法」，ｐ．６１１−６１２，（平成２年） |
| 第３５回自動制御連合講演会前刷，３０７２，「マルチパルス音声符号化方式における個別ピッチパルス抽出法の一検討」，ｐ．５３９−５４０，（１９９２年１０月２８日） |
Also Published As
| Publication number | Publication date |
|---|---|
| GB2314747B (en) | 1998-08-26 |
| KR100217372B1 (ko) | 1999-09-01 |
| JPH1020887A (ja) | 1998-01-23 |
| GB2314747A (en) | 1998-01-07 |
| US5864791A (en) | 1999-01-26 |
| GB9702817D0 (en) | 1997-04-02 |
| KR980006959A (ko) | 1998-03-30 |
| CN1146861C (zh) | 2004-04-21 |
| CN1169570A (zh) | 1998-01-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Airaksinen et al. | Quasi closed phase glottal inverse filtering analysis with weighted linear prediction | |
| US8898055B2 (en) | Voice quality conversion device and voice quality conversion method for converting voice quality of an input speech using target vocal tract information and received vocal tract information corresponding to the input speech | |
| US8265940B2 (en) | Method and device for the artificial extension of the bandwidth of speech signals | |
| JP4946293B2 (ja) | 音声強調装置、音声強調プログラムおよび音声強調方法 | |
| JP4202090B2 (ja) | スムージングフィルタを用いた音声合成システム及びその方法並びにスムージングフィルタ特性制御装置及びその方法 | |
| EP1252621B1 (en) | System and method for modifying speech signals | |
| Song et al. | ExcitNet vocoder: A neural excitation model for parametric speech synthesis systems | |
| US8996378B2 (en) | Voice synthesis apparatus | |
| EP1995723A1 (en) | Neuroevolution training system | |
| US20120095767A1 (en) | Voice quality conversion device, method of manufacturing the voice quality conversion device, vowel information generation device, and voice quality conversion system | |
| EP1426926B1 (en) | Apparatus and method for changing the playback rate of recorded speech | |
| JP2005157363A (ja) | フォルマント帯域を利用したダイアログエンハンシング方法及び装置 | |
| JP3159930B2 (ja) | 音声処理装置のピッチ抽出方法 | |
| JP4225128B2 (ja) | 規則音声合成装置及び規則音声合成方法 | |
| Islam | Interpolation of linear prediction coefficients for speech coding | |
| Ohtani et al. | Histogram-based spectral equalization for HMM-based speech synthesis using mel-LSP. | |
| JP4433668B2 (ja) | 帯域拡張装置及び方法 | |
| JP4451633B2 (ja) | 最適窓生成方法、窓最適化処理装置、プログラム、線形予測分析最適化方法及び線形予測分析最適化装置 | |
| Sasou et al. | Glottal excitation modeling using HMM with application to robust analysis of speech signal. | |
| Picone et al. | Robust pitch detection in a noisy telephone environment | |
| KR0176623B1 (ko) | 연속 음성의 유성음부와 무성자음부의 자동 추출방법 및 장치 | |
| de Paiva et al. | On the application of RLS adaptive filtering for voice pitch modification | |
| JP3447220B2 (ja) | 音声変換装置及び音声変換方法 | |
| JP2006284907A (ja) | 音素セグメンテーション方法及び装置 | |
| Faycal et al. | Pitch modification of speech signal using source filter model by linear prediction for prosodic transformations |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080216 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090216 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100216 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100216 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110216 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110216 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120216 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120216 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130216 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140216 Year of fee payment: 13 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |