JPH07114396A - ピッチ検出方法 - Google Patents
ピッチ検出方法Info
- Publication number
- JPH07114396A JPH07114396A JP26059693A JP26059693A JPH07114396A JP H07114396 A JPH07114396 A JP H07114396A JP 26059693 A JP26059693 A JP 26059693A JP 26059693 A JP26059693 A JP 26059693A JP H07114396 A JPH07114396 A JP H07114396A
- Authority
- JP
- Japan
- Prior art keywords
- pitch
- data
- band
- sound
- peak
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
(57)【要約】
【構成】 周波数分析を行う音声分析合成系でのピッチ
抽出において、自己相関等の時間軸上のピッチサーチ
(S11)及び振幅評価(S12)により得られたピッ
チを用いて得られる各バンドのV(有声音)/UV(無
声音)の判断(S13)の結果が、全帯域UVとされた
とき(S14)、信号スペクトルの低域側のパワー偏在
及びピーク検出を行い(S21,S22)、このピーク
近傍での極大値を検出し(S24)、これらのピーク及
び極大の周波数軸上での各位置に基づいてピッチPを算
出し(S25)、V/UVを再度判断する(S27)。 【効果】 かすれ声やしわがれ声等の特殊な音声につい
ても、全バンドがUVになることなく、自然な音声が合
成できる。
抽出において、自己相関等の時間軸上のピッチサーチ
(S11)及び振幅評価(S12)により得られたピッ
チを用いて得られる各バンドのV(有声音)/UV(無
声音)の判断(S13)の結果が、全帯域UVとされた
とき(S14)、信号スペクトルの低域側のパワー偏在
及びピーク検出を行い(S21,S22)、このピーク
近傍での極大値を検出し(S24)、これらのピーク及
び極大の周波数軸上での各位置に基づいてピッチPを算
出し(S25)、V/UVを再度判断する(S27)。 【効果】 かすれ声やしわがれ声等の特殊な音声につい
ても、全バンドがUVになることなく、自然な音声が合
成できる。
Description
【0001】
【産業上の利用分野】本発明は、入力音声信号をブロッ
ク単位で区分して、区分されたブロックを単位として音
声分析処理を行う際の入力音声信号からピッチを検出す
るピッチ検出方法に関する。
ク単位で区分して、区分されたブロックを単位として音
声分析処理を行う際の入力音声信号からピッチを検出す
るピッチ検出方法に関する。
【0002】
【従来の技術】オーディオ信号(音声信号や音響信号を
含む)の時間領域や周波数領域における統計的性質と人
間の聴感上の特性を利用して信号圧縮を行うような符号
化方法が種々知られている。この符号化方法としては、
大別して時間領域での符号化、周波数領域での符号化、
分析合成符号化等が挙げられる。
含む)の時間領域や周波数領域における統計的性質と人
間の聴感上の特性を利用して信号圧縮を行うような符号
化方法が種々知られている。この符号化方法としては、
大別して時間領域での符号化、周波数領域での符号化、
分析合成符号化等が挙げられる。
【0003】音声信号等の高能率符号化の例として、M
BE(Multiband Excitation: マルチバンド励起)符号
化、SBE(Singleband Excitation:シングルバンド励
起)符号化、ハーモニック(Harmonic)符号化、SBC
(Sub-band Coding:帯域分割符号化)、LPC(Linear
Predictive Coding: 線形予測符号化)、あるいはDC
T(離散コサイン変換)、MDCT(モデファイドDC
T)、FFT(高速フーリエ変換)等において、スペク
トル振幅やそのパラメータ(LSPパラメータ、αパラ
メータ、kパラメータ等)のような各種情報データを量
子化する場合に、従来においてはスカラ量子化を行うこ
とが多い。
BE(Multiband Excitation: マルチバンド励起)符号
化、SBE(Singleband Excitation:シングルバンド励
起)符号化、ハーモニック(Harmonic)符号化、SBC
(Sub-band Coding:帯域分割符号化)、LPC(Linear
Predictive Coding: 線形予測符号化)、あるいはDC
T(離散コサイン変換)、MDCT(モデファイドDC
T)、FFT(高速フーリエ変換)等において、スペク
トル振幅やそのパラメータ(LSPパラメータ、αパラ
メータ、kパラメータ等)のような各種情報データを量
子化する場合に、従来においてはスカラ量子化を行うこ
とが多い。
【0004】上記PARCOR法等の音声分析・合成系
では、励振源を切り換えるタイミングは時間軸上のブロ
ック(フレーム)毎であるため、同一フレーム内では有
声音と無声音とを混在させることができず、結果として
高品質な音声は得られなかった。
では、励振源を切り換えるタイミングは時間軸上のブロ
ック(フレーム)毎であるため、同一フレーム内では有
声音と無声音とを混在させることができず、結果として
高品質な音声は得られなかった。
【0005】これに対して、上記MBE符号化において
は、1ブロック(フレーム)内の音声に対して、周波数
スペクトルの各ハーモニクス(高調波)や2〜3ハーモ
ニクスをひとまとめにした各バンド(帯域)毎に、又は
固定の帯域幅(例えば300〜400Hz)で分割された
各バンド毎に、そのバンド中のスペクトル形状に基づい
て有声音/無声音判別(V/UV判別)を行っているた
め、音質の向上が認められる。この各バンド毎のV/U
V判別は、主としてバンド内のスペクトルがいかに強く
ハーモニクス構造を有しているかを見て行っている。
は、1ブロック(フレーム)内の音声に対して、周波数
スペクトルの各ハーモニクス(高調波)や2〜3ハーモ
ニクスをひとまとめにした各バンド(帯域)毎に、又は
固定の帯域幅(例えば300〜400Hz)で分割された
各バンド毎に、そのバンド中のスペクトル形状に基づい
て有声音/無声音判別(V/UV判別)を行っているた
め、音質の向上が認められる。この各バンド毎のV/U
V判別は、主としてバンド内のスペクトルがいかに強く
ハーモニクス構造を有しているかを見て行っている。
【0006】上記有声音の波形は一般に周期的構造を有
しており、この基本周期をピッチ周期、その逆数をピッ
チ周波数という。このピッチを入力音声信号から検出あ
るいは抽出することは、一般の音声符号化処理、特に音
声を分析し合成する音声分析合成において重要とされ
る。音声分析合成におけるピッチのデータとしては、ピ
ッチ周期をサンプル数で表したいわゆるピッチラグを用
いることが多い。
しており、この基本周期をピッチ周期、その逆数をピッ
チ周波数という。このピッチを入力音声信号から検出あ
るいは抽出することは、一般の音声符号化処理、特に音
声を分析し合成する音声分析合成において重要とされ
る。音声分析合成におけるピッチのデータとしては、ピ
ッチ周期をサンプル数で表したいわゆるピッチラグを用
いることが多い。
【0007】
【発明が解決しようとする課題】ところで、一般的に音
声信号のピッチを抽出する場合、その自己相関もしくは
LPC(線形予測符号化)残差信号の自己相関のピーク
を観測することで、かなり正確な推定が行えるが、いわ
ゆるかすれ声やしわがれ声等の特殊な音声においては、
調波構造が乱れており、時間軸上で求めたピッチを有声
音/無声音(V/UV)の判別に用いると、全バンド
(帯域)において無声音(UV)と判別されてしまうこ
とがある。特に上記MBE符号化においては、その利点
としての、同一時刻に有声音/無声音(V/UV)が共
存する、という状態が再現できなくなってしまうことが
ある。
声信号のピッチを抽出する場合、その自己相関もしくは
LPC(線形予測符号化)残差信号の自己相関のピーク
を観測することで、かなり正確な推定が行えるが、いわ
ゆるかすれ声やしわがれ声等の特殊な音声においては、
調波構造が乱れており、時間軸上で求めたピッチを有声
音/無声音(V/UV)の判別に用いると、全バンド
(帯域)において無声音(UV)と判別されてしまうこ
とがある。特に上記MBE符号化においては、その利点
としての、同一時刻に有声音/無声音(V/UV)が共
存する、という状態が再現できなくなってしまうことが
ある。
【0008】本発明は、このような実情に鑑みてなされ
たものであり、かすれ声やしわがれ声等の特殊な音声に
ついても全てのバンドにおいて無声音(UV)となるこ
とを防止し、自然な音声が合成し得るようなピッチ検出
方法の提供を目的とする。
たものであり、かすれ声やしわがれ声等の特殊な音声に
ついても全てのバンドにおいて無声音(UV)となるこ
とを防止し、自然な音声が合成し得るようなピッチ検出
方法の提供を目的とする。
【0009】
【課題を解決するための手段】本発明に係るピッチ検出
方法は、入力音声信号を時間軸上でブロック単位で区分
し、この区分された各ブロックの信号毎に音声の基本周
期に相当するピッチを検出するピッチ検出方法におい
て、この区分されたブロック内の信号のスペクトルにつ
いての低域側のパワー偏在及びピークを検出する工程
と、この検出されたピーク近傍の極大値を検出する工程
と、上記検出されたピークの位置と上記極大値の位置と
に基づいてピッチを検出する工程とを有することによ
り、上述した課題を解決する。
方法は、入力音声信号を時間軸上でブロック単位で区分
し、この区分された各ブロックの信号毎に音声の基本周
期に相当するピッチを検出するピッチ検出方法におい
て、この区分されたブロック内の信号のスペクトルにつ
いての低域側のパワー偏在及びピークを検出する工程
と、この検出されたピーク近傍の極大値を検出する工程
と、上記検出されたピークの位置と上記極大値の位置と
に基づいてピッチを検出する工程とを有することによ
り、上述した課題を解決する。
【0010】ここで、このようなピッチ検出は、自己相
関等の時間軸上での処理によりピッチが捉えきれないと
きのみ、すなわち、上記区分されたブロックを複数の帯
域に分割し、分割された各帯域毎に有声音か無声音かを
判別して、全帯域が無声音と判別されたときのみ、行う
ようにしてもよい。
関等の時間軸上での処理によりピッチが捉えきれないと
きのみ、すなわち、上記区分されたブロックを複数の帯
域に分割し、分割された各帯域毎に有声音か無声音かを
判別して、全帯域が無声音と判別されたときのみ、行う
ようにしてもよい。
【0011】また、本発明に係るピッチ検出方法が適用
される音声高能率符号化方法としては、マルチバンドエ
クサイテイション(MBE)を用いた音声分析/合成方
法が挙げられる。このマルチバンド励起符号化において
は、上記ブロック毎に複数の帯域に分割し、分割された
各帯域毎にV(有声音)/UV(無声音)を判別し、こ
れらの帯域毎に判別されたV/UVに応じて、Vと判別
された部分は正弦波等の合成により有声音を合成し、U
Vと判別された部分はノイズ信号の周波数成分を変形処
理することにより無声音を合成している。
される音声高能率符号化方法としては、マルチバンドエ
クサイテイション(MBE)を用いた音声分析/合成方
法が挙げられる。このマルチバンド励起符号化において
は、上記ブロック毎に複数の帯域に分割し、分割された
各帯域毎にV(有声音)/UV(無声音)を判別し、こ
れらの帯域毎に判別されたV/UVに応じて、Vと判別
された部分は正弦波等の合成により有声音を合成し、U
Vと判別された部分はノイズ信号の周波数成分を変形処
理することにより無声音を合成している。
【0012】
【作用】音声スペクトルの低域側情報を用いてピッチ検
出を行っているため、自己相関等の時間軸上の処理では
ピッチを捕捉できなかった場合でも高精度にピッチ検出
が行える。
出を行っているため、自己相関等の時間軸上の処理では
ピッチを捕捉できなかった場合でも高精度にピッチ検出
が行える。
【0013】
【実施例】先ず、かすれ声やしわがれ声等の特殊な音声
の場合のピッチ検出について説明する。
の場合のピッチ検出について説明する。
【0014】周波数分析により音声のスペクトルを算出
した場合、有声部(Voiced Part )では、図1に示すよ
うに、ピッチの同期して基本周波数の整数倍の位置にピ
ークが現れ、また全体のエンベロープがフォルマント
(F1 、F2 、F3 )を有する構造を表すようになる。
これに対して無声部(Unvoiced Part )では、図2に示
すように、ピッチ成分は現れず、フォルマント構造も不
明確である。
した場合、有声部(Voiced Part )では、図1に示すよ
うに、ピッチの同期して基本周波数の整数倍の位置にピ
ークが現れ、また全体のエンベロープがフォルマント
(F1 、F2 、F3 )を有する構造を表すようになる。
これに対して無声部(Unvoiced Part )では、図2に示
すように、ピッチ成分は現れず、フォルマント構造も不
明確である。
【0015】しかしながら、図3に示すように、フォル
マント構造が明確であるにもかかわらず、ピッチすなわ
ち基本周波数が現れないような音声も存在する。
マント構造が明確であるにもかかわらず、ピッチすなわ
ち基本周波数が現れないような音声も存在する。
【0016】ここで問題となるのは、ピッチ抽出を時間
軸上でより正確に行うためには、フォルマント成分を排
除した上で、例えばLPC分析等により、解析を行うた
め、上記図3のような場合は、ピッチ抽出時には上記図
2の無声部の場合と同じように見えてしまうことであ
る。このような場合には、正確なピッチが得られず、そ
の後のV/UV(有声音/無声音)判断において、全て
のバンド(帯域)についてUV(無声音)と評価されて
しまうことが多い。
軸上でより正確に行うためには、フォルマント成分を排
除した上で、例えばLPC分析等により、解析を行うた
め、上記図3のような場合は、ピッチ抽出時には上記図
2の無声部の場合と同じように見えてしまうことであ
る。このような場合には、正確なピッチが得られず、そ
の後のV/UV(有声音/無声音)判断において、全て
のバンド(帯域)についてUV(無声音)と評価されて
しまうことが多い。
【0017】しかしながら、上記図3のような場合に
は、局所的にV(有声音)となる部分(例えば図中のA
の部分)が含まれているため、何らかの手段により上記
図2の状態と上記図3の状態とを差を検出し、新たなピ
ッチを再抽出することが必要とされる。
は、局所的にV(有声音)となる部分(例えば図中のA
の部分)が含まれているため、何らかの手段により上記
図2の状態と上記図3の状態とを差を検出し、新たなピ
ッチを再抽出することが必要とされる。
【0018】先ず、上記図2の状態と上記図3の状態と
を区別するため、パワースペクトルSmの偏在、特に低
域側での偏在を次の式により求める。
を区別するため、パワースペクトルSmの偏在、特に低
域側での偏在を次の式により求める。
【0019】
【数1】
【0020】ここで、peak(n,xi ) は、データ列xi の
i=0〜nの中でピーク値を表す。また、Np は周波数
分析時のポイント数であり、本具体例ではNp =128
/4kHzとしている。Si は、例えば8kHzサンプリン
グデータの256サンプルをFFT等の直交変換して得
られたi番目の(インデックスiの)スペクトルデータ
を示す。8kHzサンプリングのときには4kHzを中心に
対称なスペクトルとなることより、256サンプルを直
交変換して得られた256ポイントのスペクトルデータ
の内の4kHzまでの128ポイントを用いている。
i=0〜nの中でピーク値を表す。また、Np は周波数
分析時のポイント数であり、本具体例ではNp =128
/4kHzとしている。Si は、例えば8kHzサンプリン
グデータの256サンプルをFFT等の直交変換して得
られたi番目の(インデックスiの)スペクトルデータ
を示す。8kHzサンプリングのときには4kHzを中心に
対称なスペクトルとなることより、256サンプルを直
交変換して得られた256ポイントのスペクトルデータ
の内の4kHzまでの128ポイントを用いている。
【0021】この式により求められたkは、分析対象と
なる全帯域の低域側1/3の範囲でのピークと平均値と
の比を表しており、このkが所定の閾値Thk よりも大
きいとき、例えば、Thk =8.0として、k>8.0
を満たしているときには、有声部が存在すると考えられ
る。
なる全帯域の低域側1/3の範囲でのピークと平均値と
の比を表しており、このkが所定の閾値Thk よりも大
きいとき、例えば、Thk =8.0として、k>8.0
を満たしているときには、有声部が存在すると考えられ
る。
【0022】このとき、ピークを与えるSi のインデッ
クスをjとおく。すなわち、 Sj =peak(Np /3、Si ) ・・・ (2) とおくとき、Si はi=jの近傍で有声音の構造を有し
ている、すなわちピッチが現れていると期待できるた
め、ここから新たなピッチを抽出する。
クスをjとおく。すなわち、 Sj =peak(Np /3、Si ) ・・・ (2) とおくとき、Si はi=jの近傍で有声音の構造を有し
ている、すなわちピッチが現れていると期待できるた
め、ここから新たなピッチを抽出する。
【0023】具体的な方法としては、スペクトルデータ
Si を、i=jを中心に±Mポイントの範囲での極大点
を探し、図4に示すように、+側のインデックスを
j+ 、−側をj- とする。
Si を、i=jを中心に±Mポイントの範囲での極大点
を探し、図4に示すように、+側のインデックスを
j+ 、−側をj- とする。
【0024】ここで、極大点の存在状態により、次のよ
うに新たなピッチPを求める。 (1)j+ 、j- が共に存在する場合。 P=N/min(j+ −j、j−j- ) ・・・ (3) この式で、min(a,b)はa、bの大きくない方を表す。N
は1ブロックのサンプル数であり、本実施例では、サン
プリング周波数fs を8kHzとしており、上記Np =1
28/4kHzであることより、N=256となる。 (2)j+ 、j- のいずれか1つのみが存在する場合。
うに新たなピッチPを求める。 (1)j+ 、j- が共に存在する場合。 P=N/min(j+ −j、j−j- ) ・・・ (3) この式で、min(a,b)はa、bの大きくない方を表す。N
は1ブロックのサンプル数であり、本実施例では、サン
プリング周波数fs を8kHzとしており、上記Np =1
28/4kHzであることより、N=256となる。 (2)j+ 、j- のいずれか1つのみが存在する場合。
【0025】 j+ のみのとき:P=N/(j+ −j) ・・・ (4) j- のみのとき:P=N/(j−j- ) ・・・ (5) (3)いずれも存在しない場合。 この方式によるピッチ修正は行わない。
【0026】なお、ピッチPとして、20≦P<148
を仮定しているため、上記Mの値としては、M≦L/2
0を満たす整数であるM=12を用いている。
を仮定しているため、上記Mの値としては、M≦L/2
0を満たす整数であるM=12を用いている。
【0027】ところで、後述するMBE(Multiband Ex
citation: マルチバンド励起)符号化等において、上述
したピッチを用いる場合は、再度振幅評価とV/UVの
判断とを行う必要があるが、上記ピッチは上記Si のピ
ーク近傍で有効なものであるから、結果として再び全バ
ンドUVとなってしまう可能性が高い。従って、ピッチ
としては上記の値を用い、V/UVの再度の判断(ある
いは修正)には、例えば強制的に有声部拡張を使用する
ことが考えられる。この有声部拡張の具体例としては、
低域側のバンドがV(有声音)とされるときには高域側
も強制的にVとするような手法が挙げられる。
citation: マルチバンド励起)符号化等において、上述
したピッチを用いる場合は、再度振幅評価とV/UVの
判断とを行う必要があるが、上記ピッチは上記Si のピ
ーク近傍で有効なものであるから、結果として再び全バ
ンドUVとなってしまう可能性が高い。従って、ピッチ
としては上記の値を用い、V/UVの再度の判断(ある
いは修正)には、例えば強制的に有声部拡張を使用する
ことが考えられる。この有声部拡張の具体例としては、
低域側のバンドがV(有声音)とされるときには高域側
も強制的にVとするような手法が挙げられる。
【0028】ここで、本発明に係るピッチ検出方法をM
BE(Multiband Excitation: マルチバンド励起)を用
いた音声分析合成装置(いわゆるボコーダ)に適用する
場合の具体的な動作の一例について説明する。
BE(Multiband Excitation: マルチバンド励起)を用
いた音声分析合成装置(いわゆるボコーダ)に適用する
場合の具体的な動作の一例について説明する。
【0029】このMBEボコーダにおいては、ブロック
毎の信号を周波数軸上に変換し、複数帯域に分割して各
帯域毎にV(有声音)かUV(無声音)かを判別する。
すなわち、例えば、入力された音声信号を一定サンプル
数(例えば256サンプル)毎にブロック化して、FF
T等の直交変換により周波数軸上のスペクトルデータに
変換すると共に、該ブロック内の音声のピッチを抽出
し、このピッチに応じた間隔で周波数軸上のスペクトル
を帯域分割し、分割された各帯域(バンド)についてV
(有声音)/UV(無声音)の判断を行う。このV/U
V情報をスペクトルの振幅データと共に符号化して伝送
する。
毎の信号を周波数軸上に変換し、複数帯域に分割して各
帯域毎にV(有声音)かUV(無声音)かを判別する。
すなわち、例えば、入力された音声信号を一定サンプル
数(例えば256サンプル)毎にブロック化して、FF
T等の直交変換により周波数軸上のスペクトルデータに
変換すると共に、該ブロック内の音声のピッチを抽出
し、このピッチに応じた間隔で周波数軸上のスペクトル
を帯域分割し、分割された各帯域(バンド)についてV
(有声音)/UV(無声音)の判断を行う。このV/U
V情報をスペクトルの振幅データと共に符号化して伝送
する。
【0030】このようなMBEボコーダに、本発明に係
るピッチ検出方法の一実施例を適用した場合の要部の動
作の具体例を、図5のフローチャートに示す。この図5
に示す具体例においては、音声分析の際の音声の基本周
期に相当するピッチを抽出する際に、自己相関等の時間
軸上の処理ではピッチを捉えきれなかった場合、周波数
スペクトル情報を用いて精度向上を図っている。すなわ
ち、V(有声音)/UV(無声音)の判断が全帯域にお
いてUV(無声音)とされた場合、これが妥当なもので
あるか否かを判断し、不適当である場合はピッチの値及
びV/UVの判断を再度計算しなおして修正している。
上記全バンドUVとの判断の妥当性確認や上記ピッチの
再抽出には、スペクトル情報を用いている。
るピッチ検出方法の一実施例を適用した場合の要部の動
作の具体例を、図5のフローチャートに示す。この図5
に示す具体例においては、音声分析の際の音声の基本周
期に相当するピッチを抽出する際に、自己相関等の時間
軸上の処理ではピッチを捉えきれなかった場合、周波数
スペクトル情報を用いて精度向上を図っている。すなわ
ち、V(有声音)/UV(無声音)の判断が全帯域にお
いてUV(無声音)とされた場合、これが妥当なもので
あるか否かを判断し、不適当である場合はピッチの値及
びV/UVの判断を再度計算しなおして修正している。
上記全バンドUVとの判断の妥当性確認や上記ピッチの
再抽出には、スペクトル情報を用いている。
【0031】この図5の最初のステップS11では、自
己相関等の時間軸上の処理によるピッチサーチを行い、
次のステップS12に移行する。このステップS12で
は、後述するような合成による分析法による高精度(フ
ァイン)ピッチサーチを振幅評価しながら行う。次のス
テップS13では、ステップS12で得られたファイン
ピッチ及び振幅データを用いてV/UV(有声音/無声
音)判断が行われ、ステップS14に進んで、全バンド
(帯域)がUVと判断されたかを判別する。NO(少な
くとも1バンドがV)のときには、ステップS15に進
んで、MBEボコーダの通常動作の次のステップに移行
する。
己相関等の時間軸上の処理によるピッチサーチを行い、
次のステップS12に移行する。このステップS12で
は、後述するような合成による分析法による高精度(フ
ァイン)ピッチサーチを振幅評価しながら行う。次のス
テップS13では、ステップS12で得られたファイン
ピッチ及び振幅データを用いてV/UV(有声音/無声
音)判断が行われ、ステップS14に進んで、全バンド
(帯域)がUVと判断されたかを判別する。NO(少な
くとも1バンドがV)のときには、ステップS15に進
んで、MBEボコーダの通常動作の次のステップに移行
する。
【0032】ステップS14でYES(全バンドUV)
と判別されたときには、ステップS21に進んで上記
(1)式のkの算出が行われ、次のステップS22でこ
のkが所定の閾値Thk (例えば8.0)より大きいか
(k>8.0)否かの判別がなされる。YESのときに
はステップS23に進んで、ピークSjの位置(インデ
ックスi=j)の近傍での極大値を検索し、ステップS
24で+側、−側の各インデックスj+ 、j- の少なく
とも1つが存在するか否かの判別を行う。このステップ
S24でもYESのときに、ステップS25に進んで上
記(3)〜(5)式よりピッチPを算出し、ステップS
26で上記ステップS12と同様な振幅評価を行い、ス
テップS27で再度のV/UV判断を行った後、上記ス
テップS15に進んでいる。
と判別されたときには、ステップS21に進んで上記
(1)式のkの算出が行われ、次のステップS22でこ
のkが所定の閾値Thk (例えば8.0)より大きいか
(k>8.0)否かの判別がなされる。YESのときに
はステップS23に進んで、ピークSjの位置(インデ
ックスi=j)の近傍での極大値を検索し、ステップS
24で+側、−側の各インデックスj+ 、j- の少なく
とも1つが存在するか否かの判別を行う。このステップ
S24でもYESのときに、ステップS25に進んで上
記(3)〜(5)式よりピッチPを算出し、ステップS
26で上記ステップS12と同様な振幅評価を行い、ス
テップS27で再度のV/UV判断を行った後、上記ス
テップS15に進んでいる。
【0033】ここで、ステップS27でのV/UVの再
計算(あるいは修正)には、V(有声音)バンドを拡張
する方法、例えば低域側(500〜700Hz以下)がV
(有声音)と判別されたときその判別結果を高域側へ拡
張し、3300Hzまでを強制的にV(有声音)とする方
法を用いている。なお、上記ステップS22やS24で
NOと判別されたときには、いずれも上記ステップS1
5に進んで、通常のMBEボコーダの動作におけるV/
UV判断の次のステップに移行している。
計算(あるいは修正)には、V(有声音)バンドを拡張
する方法、例えば低域側(500〜700Hz以下)がV
(有声音)と判別されたときその判別結果を高域側へ拡
張し、3300Hzまでを強制的にV(有声音)とする方
法を用いている。なお、上記ステップS22やS24で
NOと判別されたときには、いずれも上記ステップS1
5に進んで、通常のMBEボコーダの動作におけるV/
UV判断の次のステップに移行している。
【0034】次に、本発明に係るピッチ検出方法が適用
される音声高能率符号化装置の一具体例としてのMBE
ボコーダについて、図面を参照しながら説明する。
される音声高能率符号化装置の一具体例としてのMBE
ボコーダについて、図面を参照しながら説明する。
【0035】以下に説明するMBEボコーダは、D.W. G
riffin and J.S. Lim, "MultibandExcitation Vocode
r," IEEE Trans.Acoustics,Speech,and Signal Process
ing,vol.36, No.8, pp.1223-1235, Aug. 1988 に開示さ
れているものであり、従来のPARCOR(PARtial au
to-CORrelation: 偏自己相関)ボコーダ等では、音声の
モデル化の際に有声音区間と無声音区間とをブロックあ
るいはフレーム毎に切り換えていたのに対し、MBEボ
コーダでは、同時刻(同じブロックあるいはフレーム
内)の周波数軸領域に有声音(Voiced)区間と無声音
(Unvoiced)区間とが存在するという仮定でモデル化し
ている。
riffin and J.S. Lim, "MultibandExcitation Vocode
r," IEEE Trans.Acoustics,Speech,and Signal Process
ing,vol.36, No.8, pp.1223-1235, Aug. 1988 に開示さ
れているものであり、従来のPARCOR(PARtial au
to-CORrelation: 偏自己相関)ボコーダ等では、音声の
モデル化の際に有声音区間と無声音区間とをブロックあ
るいはフレーム毎に切り換えていたのに対し、MBEボ
コーダでは、同時刻(同じブロックあるいはフレーム
内)の周波数軸領域に有声音(Voiced)区間と無声音
(Unvoiced)区間とが存在するという仮定でモデル化し
ている。
【0036】このMBEボコーダのような音声分析合成
系を想定する場合、入力される時間軸上の音声信号に対
するサンプリング周波数fs は、通常8kHzで、全帯域
幅は3.4kHz(ただし有効帯域は200〜3400H
z)であり、女声の高い方から男声の低い方までのピッ
チラグ(ピッチ周期に相当するサンプル数)は、20〜
147程度である。従って、ピッチ周波数は、8000/147
≒54(Hz)から 8000/20=400(Hz)程度までの間
で変動することになる。従って、周波数軸上で上記3.
4kHzまでの間に約8〜63本のピッチパルス(ハーモ
ニックス)が立つことになる。
系を想定する場合、入力される時間軸上の音声信号に対
するサンプリング周波数fs は、通常8kHzで、全帯域
幅は3.4kHz(ただし有効帯域は200〜3400H
z)であり、女声の高い方から男声の低い方までのピッ
チラグ(ピッチ周期に相当するサンプル数)は、20〜
147程度である。従って、ピッチ周波数は、8000/147
≒54(Hz)から 8000/20=400(Hz)程度までの間
で変動することになる。従って、周波数軸上で上記3.
4kHzまでの間に約8〜63本のピッチパルス(ハーモ
ニックス)が立つことになる。
【0037】図6は、上記MBEボコーダの全体の概略
構成を示すブロック図である。この図6において、入力
端子11には音声信号が供給されるようになっており、
この入力音声信号は、HPF(ハイパスフィルタ)等の
フィルタ12に送られて、いわゆるDC(直流)オフセ
ット分の除去や帯域制限(例えば200〜3400Hzに
制限)のための少なくとも低域成分(200Hz以下)の
除去が行われる。このフィルタ12を介して得られた信
号は、ピッチ抽出部13及び窓かけ処理部14にそれぞ
れ送られる。ピッチ抽出部(ピッチ検出部)13では、
入力音声信号データが所定サンプル数N(例えばN=2
56)単位でブロック分割され(あるいは方形窓による
切り出しが行われ)、このブロック内の音声信号につい
てのピッチ抽出が行われる。このような切り出しブロッ
ク(256サンプル)を、例えば図7のAに示すように
Lサンプル(例えばL=160)のフレーム間隔で時間
軸方向に移動させており、各ブロック間のオーバラップ
はN−Lサンプル(例えば96サンプル)となってい
る。また、窓かけ処理部14では、1ブロックNサンプ
ルに対して所定の窓関数、例えばハミング窓をかけ、こ
の窓かけブロックを1フレームLサンプルの間隔で時間
軸方向に順次移動させている。
構成を示すブロック図である。この図6において、入力
端子11には音声信号が供給されるようになっており、
この入力音声信号は、HPF(ハイパスフィルタ)等の
フィルタ12に送られて、いわゆるDC(直流)オフセ
ット分の除去や帯域制限(例えば200〜3400Hzに
制限)のための少なくとも低域成分(200Hz以下)の
除去が行われる。このフィルタ12を介して得られた信
号は、ピッチ抽出部13及び窓かけ処理部14にそれぞ
れ送られる。ピッチ抽出部(ピッチ検出部)13では、
入力音声信号データが所定サンプル数N(例えばN=2
56)単位でブロック分割され(あるいは方形窓による
切り出しが行われ)、このブロック内の音声信号につい
てのピッチ抽出が行われる。このような切り出しブロッ
ク(256サンプル)を、例えば図7のAに示すように
Lサンプル(例えばL=160)のフレーム間隔で時間
軸方向に移動させており、各ブロック間のオーバラップ
はN−Lサンプル(例えば96サンプル)となってい
る。また、窓かけ処理部14では、1ブロックNサンプ
ルに対して所定の窓関数、例えばハミング窓をかけ、こ
の窓かけブロックを1フレームLサンプルの間隔で時間
軸方向に順次移動させている。
【0038】このような窓かけ処理を数式で表すと、 xw (k,q) =x(q) w(kL-q) ・・・(6) となる。この(6)式において、kはブロック番号を、
qはデータの時間インデックス(サンプル番号)を表
し、処理前の入力信号のq番目のデータx(q) に対して
第kブロックの窓(ウィンドウ)関数w(kL-q)により窓
かけ処理されることによりデータxw (k,q) が得られる
ことを示している。ピッチ抽出部13での図7のAに示
すような方形窓の場合の窓関数wr (r) は、 wr (r) =1 0≦r<N ・・・(7) =0 r<0,N≦r また、上記窓かけ処理部14での図7のBに示すような
ハミング窓の場合の窓関数wh (r) は、 wh (r) = 0.54 − 0.46 cos(2πr/(N-1)) 0≦r<N ・・・(8) =0 r<0,N≦r である。このような窓関数wr (r) あるいはwh (r) を
用いるときの上記(6)式の窓関数w(r) (=w(kL-
q))の否零区間は、 0≦kL−q<N これを変形して、 kL−N<q≦kL 従って例えば上記方形窓の場合に窓関数wr (kL-q)=1
となるのは、図8に示すように、kL−N<q≦kLの
ときとなる。また、上記(6)〜(8)式は、長さN
(=256)サンプルの窓が、L(=160)サンプル
ずつ前進してゆくことを示している。以下、上記(7)
式、(8)式の各窓関数で切り出された各N点(0≦r
<N)の否零サンプル列を、それぞれxwr(k,r) 、xwh
(k,r) と表すことにする。
qはデータの時間インデックス(サンプル番号)を表
し、処理前の入力信号のq番目のデータx(q) に対して
第kブロックの窓(ウィンドウ)関数w(kL-q)により窓
かけ処理されることによりデータxw (k,q) が得られる
ことを示している。ピッチ抽出部13での図7のAに示
すような方形窓の場合の窓関数wr (r) は、 wr (r) =1 0≦r<N ・・・(7) =0 r<0,N≦r また、上記窓かけ処理部14での図7のBに示すような
ハミング窓の場合の窓関数wh (r) は、 wh (r) = 0.54 − 0.46 cos(2πr/(N-1)) 0≦r<N ・・・(8) =0 r<0,N≦r である。このような窓関数wr (r) あるいはwh (r) を
用いるときの上記(6)式の窓関数w(r) (=w(kL-
q))の否零区間は、 0≦kL−q<N これを変形して、 kL−N<q≦kL 従って例えば上記方形窓の場合に窓関数wr (kL-q)=1
となるのは、図8に示すように、kL−N<q≦kLの
ときとなる。また、上記(6)〜(8)式は、長さN
(=256)サンプルの窓が、L(=160)サンプル
ずつ前進してゆくことを示している。以下、上記(7)
式、(8)式の各窓関数で切り出された各N点(0≦r
<N)の否零サンプル列を、それぞれxwr(k,r) 、xwh
(k,r) と表すことにする。
【0039】窓かけ処理部14では、図9に示すよう
に、上記(8)式のハミング窓がかけられた1ブロック
256サンプルのサンプル列xwh(k,r) に対して179
2サンプル分の0データが付加されて(いわゆる0詰め
されて)2048サンプルとされ、この2048サンプ
ルの時間軸データ列に対して、直交変換部15により例
えばFFT(高速フーリエ変換)等の直交変換処理が施
される。あるいは、0詰めなしで256点のままでFF
Tを施して処理量を減らす方法もある。
に、上記(8)式のハミング窓がかけられた1ブロック
256サンプルのサンプル列xwh(k,r) に対して179
2サンプル分の0データが付加されて(いわゆる0詰め
されて)2048サンプルとされ、この2048サンプ
ルの時間軸データ列に対して、直交変換部15により例
えばFFT(高速フーリエ変換)等の直交変換処理が施
される。あるいは、0詰めなしで256点のままでFF
Tを施して処理量を減らす方法もある。
【0040】ピッチ抽出部(ピッチ検出部)13では、
上記xwr(k,r) のサンプル列(1ブロックNサンプル)
に基づいてピッチ抽出が行われる。このピッチ抽出法に
は、時間波形の周期性や、スペクトルの周期的周波数構
造や、自己相関関数を用いるもの等が知られているが、
本実施例では、センタクリップ波形の自己相関法を採用
している。このときのブロック内でのセンタクリップレ
ベルについては、1ブロックにつき1つのクリップレベ
ルを設定してもよいが、ブロックを細分割した各部(各
サブブロック)の信号のピークレベル等を検出し、これ
らの各サブブロックのピークレベル等の差が大きいとき
に、ブロック内でクリップレベルを段階的にあるいは連
続的に変化させるようにしている。このセンタクリップ
波形の自己相関データのピーク位置に基づいてピッチ周
期を決めている。このとき、現在フレームに属する自己
相関データ(自己相関は1ブロックNサンプルのデータ
を対象として求められる)から複数のピークを求めてお
き、これらの複数のピークの内の最大ピークが所定の閾
値以上のときには該最大ピーク位置をピッチ周期とし、
それ以外のときには、現在フレーム以外のフレーム、例
えば前後のフレームで求められたピッチに対して所定の
関係を満たすピッチ範囲内、例えば前フレームのピッチ
を中心として±20%の範囲内にあるピークを求め、こ
のピーク位置に基づいて現在フレームのピッチを決定す
るようにしている。このピッチ抽出部13ではオープン
ループによる比較的ラフなピッチのサーチが行われ、抽
出されたピッチデータは高精度(ファイン)ピッチサー
チ部16に送られて、クローズドループによる高精度の
ピッチサーチ(ピッチのファインサーチ)が行われる。
なお、センタクリップ波形ではなく、入力波形をLPC
分析した残差波形の自己相関からピッチを求める方法を
用いてもよい。
上記xwr(k,r) のサンプル列(1ブロックNサンプル)
に基づいてピッチ抽出が行われる。このピッチ抽出法に
は、時間波形の周期性や、スペクトルの周期的周波数構
造や、自己相関関数を用いるもの等が知られているが、
本実施例では、センタクリップ波形の自己相関法を採用
している。このときのブロック内でのセンタクリップレ
ベルについては、1ブロックにつき1つのクリップレベ
ルを設定してもよいが、ブロックを細分割した各部(各
サブブロック)の信号のピークレベル等を検出し、これ
らの各サブブロックのピークレベル等の差が大きいとき
に、ブロック内でクリップレベルを段階的にあるいは連
続的に変化させるようにしている。このセンタクリップ
波形の自己相関データのピーク位置に基づいてピッチ周
期を決めている。このとき、現在フレームに属する自己
相関データ(自己相関は1ブロックNサンプルのデータ
を対象として求められる)から複数のピークを求めてお
き、これらの複数のピークの内の最大ピークが所定の閾
値以上のときには該最大ピーク位置をピッチ周期とし、
それ以外のときには、現在フレーム以外のフレーム、例
えば前後のフレームで求められたピッチに対して所定の
関係を満たすピッチ範囲内、例えば前フレームのピッチ
を中心として±20%の範囲内にあるピークを求め、こ
のピーク位置に基づいて現在フレームのピッチを決定す
るようにしている。このピッチ抽出部13ではオープン
ループによる比較的ラフなピッチのサーチが行われ、抽
出されたピッチデータは高精度(ファイン)ピッチサー
チ部16に送られて、クローズドループによる高精度の
ピッチサーチ(ピッチのファインサーチ)が行われる。
なお、センタクリップ波形ではなく、入力波形をLPC
分析した残差波形の自己相関からピッチを求める方法を
用いてもよい。
【0041】高精度(ファイン)ピッチサーチ部16に
は、ピッチ抽出部13で抽出された整数(インテジャ
ー)値の粗(ラフ)ピッチデータと、直交変換部15に
より例えばFFTされた周波数軸上のデータとが供給さ
れている。この高精度ピッチサーチ部16では、上記粗
ピッチデータ値を中心に、0.2〜0.5きざみで±数サン
プルずつ振って、最適な小数点付き(フローティング)
のファインピッチデータの値へ追い込む。このときのフ
ァインサーチの手法として、いわゆる合成による分析
(Analysis by Synthesis)法を用い、合成されたパワー
スペクトルが原音のパワースペクトルに最も近くなるよ
うにピッチを選んでいる。
は、ピッチ抽出部13で抽出された整数(インテジャ
ー)値の粗(ラフ)ピッチデータと、直交変換部15に
より例えばFFTされた周波数軸上のデータとが供給さ
れている。この高精度ピッチサーチ部16では、上記粗
ピッチデータ値を中心に、0.2〜0.5きざみで±数サン
プルずつ振って、最適な小数点付き(フローティング)
のファインピッチデータの値へ追い込む。このときのフ
ァインサーチの手法として、いわゆる合成による分析
(Analysis by Synthesis)法を用い、合成されたパワー
スペクトルが原音のパワースペクトルに最も近くなるよ
うにピッチを選んでいる。
【0042】このピッチのファインサーチについて説明
する。先ず、上記MBEボコーダにおいては、上記FF
T等により直交変換された周波数軸上のスペクトルデー
タとしてのS(j) を S(j) =H(j) |E(j) | 0<j<J ・・・(9) と表現するようなモデルを想定している。ここで、Jは
ωs /4π=fs /2に対応し、サンプリング周波数f
s =ωs /2πが例えば8kHzのときには4kHzに対応
する。上記(9)式中において、周波数軸上のスペクト
ルデータS(j) が図10のAに示すような波形のとき、
H(j) は、図10のBに示すように、元のスペクトルデ
ータS(j) のスペクトル包絡線(エンベロープ)を示
し、E(j) は、図10のCに示すような等レベルで周期
的な励起信号(エクサイテイション)のスペクトルを示
している。すなわち、FFTスペクトルS(j) は、スペ
クトルエンベロープH(j) と励起信号のパワースペクト
ル|E(j) |との積としてモデル化される。
する。先ず、上記MBEボコーダにおいては、上記FF
T等により直交変換された周波数軸上のスペクトルデー
タとしてのS(j) を S(j) =H(j) |E(j) | 0<j<J ・・・(9) と表現するようなモデルを想定している。ここで、Jは
ωs /4π=fs /2に対応し、サンプリング周波数f
s =ωs /2πが例えば8kHzのときには4kHzに対応
する。上記(9)式中において、周波数軸上のスペクト
ルデータS(j) が図10のAに示すような波形のとき、
H(j) は、図10のBに示すように、元のスペクトルデ
ータS(j) のスペクトル包絡線(エンベロープ)を示
し、E(j) は、図10のCに示すような等レベルで周期
的な励起信号(エクサイテイション)のスペクトルを示
している。すなわち、FFTスペクトルS(j) は、スペ
クトルエンベロープH(j) と励起信号のパワースペクト
ル|E(j) |との積としてモデル化される。
【0043】上記励起信号のパワースペクトル|E(j)
|は、上記ピッチに応じて決定される周波数軸上の波形
の周期性(ピッチ構造)を考慮して、1つの帯域(バン
ド)の波形に相当するスペクトル波形を周波数軸上の各
バンド毎に繰り返すように配列することにより形成され
る。この1バンド分の波形は、例えば上記図9に示すよ
うな256サンプルのハミング窓関数に1792サンプ
ル分の0データを付加(0詰め)した波形を時間軸信号
と見なしてFFTし、得られた周波数軸上のある帯域幅
を持つインパルス波形を上記ピッチに応じて切り出すこ
とにより形成することができる。
|は、上記ピッチに応じて決定される周波数軸上の波形
の周期性(ピッチ構造)を考慮して、1つの帯域(バン
ド)の波形に相当するスペクトル波形を周波数軸上の各
バンド毎に繰り返すように配列することにより形成され
る。この1バンド分の波形は、例えば上記図9に示すよ
うな256サンプルのハミング窓関数に1792サンプ
ル分の0データを付加(0詰め)した波形を時間軸信号
と見なしてFFTし、得られた周波数軸上のある帯域幅
を持つインパルス波形を上記ピッチに応じて切り出すこ
とにより形成することができる。
【0044】次に、上記ピッチに応じて分割された各バ
ンド毎に、上記H(j) を代表させるような(各バンド毎
のエラーを最小化するような)値(一種の振幅)|Am
|を求める。ここで、例えば第mバンド(第m高調波の
帯域)の下限、上限の点をそれぞれam 、bm とすると
き、この第mバンドのエラーεm は、
ンド毎に、上記H(j) を代表させるような(各バンド毎
のエラーを最小化するような)値(一種の振幅)|Am
|を求める。ここで、例えば第mバンド(第m高調波の
帯域)の下限、上限の点をそれぞれam 、bm とすると
き、この第mバンドのエラーεm は、
【0045】
【数2】 で表せる。このエラーεm を最小化するような|Am |
は、
は、
【0046】
【数3】 となり、この(11)式の|Am |のとき、エラーεm を
最小化する。
最小化する。
【0047】このような振幅|Am |を各バンド毎に求
め、得られた各振幅|Am |を用いて上記(10)式で定
義された各バンド毎のエラーεm を求める。次に、この
ような各バンド毎のエラーεm の全バンドの総和値Σε
m を求める。さらに、このような全バンドのエラー総和
値Σεm を、いくつかの微小に異なるピッチについて求
め、エラー総和値Σεm が最小となるようなピッチを求
める。
め、得られた各振幅|Am |を用いて上記(10)式で定
義された各バンド毎のエラーεm を求める。次に、この
ような各バンド毎のエラーεm の全バンドの総和値Σε
m を求める。さらに、このような全バンドのエラー総和
値Σεm を、いくつかの微小に異なるピッチについて求
め、エラー総和値Σεm が最小となるようなピッチを求
める。
【0048】すなわち、上記ピッチ抽出部13で求めら
れたラフピッチを中心として、例えば 0.25 きざみで上
下に数種類ずつ用意する。これらの複数種類の微小に異
なるピッチの各ピッチに対してそれぞれ上記エラー総和
値Σεm を求める。この場合、ピッチが定まるとバンド
幅が決まり、上記(11)式より、周波数軸上データのパ
ワースペクトル|S(j) |と励起信号スペクトル|E
(j) |とを用いて上記(10)式のエラーεm を求め、そ
の全バンドの総和値Σεm を求めることができる。この
エラー総和値Σεm を各ピッチ毎に求め、最小となるエ
ラー総和値に対応するピッチを最適のピッチとして決定
するわけである。以上のようにして高精度ピッチサーチ
部で最適のファイン(例えば 0.25 きざみ)ピッチが求
められ、この最適ピッチに対応する振幅|Am |が決定
される。このときの振幅値の計算は、有声音の振幅評価
部18Vにおいて行われる。
れたラフピッチを中心として、例えば 0.25 きざみで上
下に数種類ずつ用意する。これらの複数種類の微小に異
なるピッチの各ピッチに対してそれぞれ上記エラー総和
値Σεm を求める。この場合、ピッチが定まるとバンド
幅が決まり、上記(11)式より、周波数軸上データのパ
ワースペクトル|S(j) |と励起信号スペクトル|E
(j) |とを用いて上記(10)式のエラーεm を求め、そ
の全バンドの総和値Σεm を求めることができる。この
エラー総和値Σεm を各ピッチ毎に求め、最小となるエ
ラー総和値に対応するピッチを最適のピッチとして決定
するわけである。以上のようにして高精度ピッチサーチ
部で最適のファイン(例えば 0.25 きざみ)ピッチが求
められ、この最適ピッチに対応する振幅|Am |が決定
される。このときの振幅値の計算は、有声音の振幅評価
部18Vにおいて行われる。
【0049】以上ピッチのファインサーチの説明におい
ては、説明を簡略化するために、全バンドが有声音(Vo
iced)の場合を想定しているが、上述したようにMBE
ボコーダにおいては、同時刻の周波数軸上に無声音(Un
voiced)領域が存在するというモデルを採用しているこ
とから、上記各バンド毎に有声音/無声音の判別を行う
ことが必要とされる。
ては、説明を簡略化するために、全バンドが有声音(Vo
iced)の場合を想定しているが、上述したようにMBE
ボコーダにおいては、同時刻の周波数軸上に無声音(Un
voiced)領域が存在するというモデルを採用しているこ
とから、上記各バンド毎に有声音/無声音の判別を行う
ことが必要とされる。
【0050】上記高精度ピッチサーチ部16からの最適
ピッチ及び振幅評価部(有声音)18Vからの振幅|A
m |のデータは、有声音/無声音判別部17に送られ、
上記各バンド毎に有声音/無声音の判別が行われる。こ
の判別のためにNSR(ノイズtoシグナル比)を利用
する。すなわち、第mバンドのNSRであるNSR
mは、
ピッチ及び振幅評価部(有声音)18Vからの振幅|A
m |のデータは、有声音/無声音判別部17に送られ、
上記各バンド毎に有声音/無声音の判別が行われる。こ
の判別のためにNSR(ノイズtoシグナル比)を利用
する。すなわち、第mバンドのNSRであるNSR
mは、
【0051】
【数4】 と表せ、このNSRm が所定の閾値Th1 (例えばTh
1 =0.2)より大のとき(すなわちエラーが大きいと
き)には、そのバンドでの|Am ||E(j) |による|
S(j) |の近似が良くない(上記励起信号|E(j) |が
基底として不適当である)と判断でき、当該バンドをU
V(Unvoiced、無声音)と判別する。これ以外のとき
は、近似がある程度良好に行われていると判断でき、そ
のバンドをV(Voiced、有声音)と判別する。
1 =0.2)より大のとき(すなわちエラーが大きいと
き)には、そのバンドでの|Am ||E(j) |による|
S(j) |の近似が良くない(上記励起信号|E(j) |が
基底として不適当である)と判断でき、当該バンドをU
V(Unvoiced、無声音)と判別する。これ以外のとき
は、近似がある程度良好に行われていると判断でき、そ
のバンドをV(Voiced、有声音)と判別する。
【0052】ところで、上述したように基本ピッチ周波
数で分割されたバンドの数(ハーモニックスの数)は、
声の高低(ピッチの大小)によって約8〜63程度の範
囲で変動するため、各バンド毎のV/UVフラグの個数
も同様に変動してしまう。
数で分割されたバンドの数(ハーモニックスの数)は、
声の高低(ピッチの大小)によって約8〜63程度の範
囲で変動するため、各バンド毎のV/UVフラグの個数
も同様に変動してしまう。
【0053】そこで、本実施例においては、固定的な周
波数帯域で分割した一定個数のバンド毎にV/UV判別
結果をまとめる(あるいは縮退させる)ようにしてい
る。具体的には、音声帯域を含む所定帯域(例えば0〜
4000Hz)をNB 個(例えば12個)のバンドに分割
し、各バンド内の上記NSR値に従って、例えば重み付
き平均値を所定の閾値Th2 (例えばTh2 =0.2)で
弁別して、当該バンドのV/UVを判断している。
波数帯域で分割した一定個数のバンド毎にV/UV判別
結果をまとめる(あるいは縮退させる)ようにしてい
る。具体的には、音声帯域を含む所定帯域(例えば0〜
4000Hz)をNB 個(例えば12個)のバンドに分割
し、各バンド内の上記NSR値に従って、例えば重み付
き平均値を所定の閾値Th2 (例えばTh2 =0.2)で
弁別して、当該バンドのV/UVを判断している。
【0054】この有声音/無声音(V/UV)判別部1
7において、全バンドがUV(無声音)と判別された場
合には、上述したように、周波数スペクトル情報を用い
て、V/UV判断の妥当性評価や妥当でないときのピッ
チの再抽出を行っている。
7において、全バンドがUV(無声音)と判別された場
合には、上述したように、周波数スペクトル情報を用い
て、V/UV判断の妥当性評価や妥当でないときのピッ
チの再抽出を行っている。
【0055】具体的には、パワー偏在・ピーク検出部2
4において、V/UV判別部17が全バンドUVと判別
したとき、直交変換(FFT)部15からのスペクトル
データを用いて、低域側1/3の領域でのパワー偏在を
上記(1)式のkを算出することにより検出し、このと
きピークも同時に検出する。ピッチ算出部25は、この
ピーク位置(周波数軸上での位置、あるいはスペクトル
データのインデックスj)及び該ピーク近傍の前後の極
大点の位置(上記j+ 、j- )に基づいて、上記(3)
式や(4)式又は(5)式により新たなピッチPを求め
る。この新たなピッチPを上記高精度ピッチサーチ部1
6に送って上述したようなピッチのファインサーチを行
い、得られたファインピッチに基づいて再び振幅評価や
V/UV判別等を行う。
4において、V/UV判別部17が全バンドUVと判別
したとき、直交変換(FFT)部15からのスペクトル
データを用いて、低域側1/3の領域でのパワー偏在を
上記(1)式のkを算出することにより検出し、このと
きピークも同時に検出する。ピッチ算出部25は、この
ピーク位置(周波数軸上での位置、あるいはスペクトル
データのインデックスj)及び該ピーク近傍の前後の極
大点の位置(上記j+ 、j- )に基づいて、上記(3)
式や(4)式又は(5)式により新たなピッチPを求め
る。この新たなピッチPを上記高精度ピッチサーチ部1
6に送って上述したようなピッチのファインサーチを行
い、得られたファインピッチに基づいて再び振幅評価や
V/UV判別等を行う。
【0056】この新たなピッチを用いるV/UV判別の
際には、強制的に有声部の拡張を行っている。この有声
部拡張の具体例として、低域側がV(有声音)とされた
場合の高域側への拡張処理について説明する。
際には、強制的に有声部の拡張を行っている。この有声
部拡張の具体例として、低域側がV(有声音)とされた
場合の高域側への拡張処理について説明する。
【0057】この具体例においては、低域側の第1の周
波数以下の所定数バンドのV/UV判別結果がV(有声
音)のとき、所定の条件、例えば入力信号レベルが所定
の閾値ThS より大きく、入力信号のゼロクロスレート
が所定の閾値ThZ より小さい条件の下で、高域側の第
2の周波数までの所定バンドまでをVとするような拡張
を行っている。この拡張は、音声のスペクトル構造の
内、低域部分の構造(ピッチ構造の強弱)が全体的な構
造を代表している傾向にある、という観測に基づいてい
る。
波数以下の所定数バンドのV/UV判別結果がV(有声
音)のとき、所定の条件、例えば入力信号レベルが所定
の閾値ThS より大きく、入力信号のゼロクロスレート
が所定の閾値ThZ より小さい条件の下で、高域側の第
2の周波数までの所定バンドまでをVとするような拡張
を行っている。この拡張は、音声のスペクトル構造の
内、低域部分の構造(ピッチ構造の強弱)が全体的な構
造を代表している傾向にある、という観測に基づいてい
る。
【0058】上記低域側の第1の周波数としては、例え
ば500〜700Hzとすることが考えられ、上記高域側
の第2の周波数としては、例えば3300Hzとすること
が考えられる。これは、通常の音声帯域200〜340
0Hzを含む帯域、例えば4000Hzまでの帯域を、所定
バンド数、例えば12バンドで分割するとき、上記低域
側の第1の周波数以下のバンドである例えば低域側2バ
ンドのV/UV判別結果がV(有声音)のとき、所定の
条件の下で、高域側の第2の周波数までの所定バンドと
しての、高域側から2バンドを除く部分のバンドまでを
Vとするような拡張を行うことに相当する。
ば500〜700Hzとすることが考えられ、上記高域側
の第2の周波数としては、例えば3300Hzとすること
が考えられる。これは、通常の音声帯域200〜340
0Hzを含む帯域、例えば4000Hzまでの帯域を、所定
バンド数、例えば12バンドで分割するとき、上記低域
側の第1の周波数以下のバンドである例えば低域側2バ
ンドのV/UV判別結果がV(有声音)のとき、所定の
条件の下で、高域側の第2の周波数までの所定バンドと
しての、高域側から2バンドを除く部分のバンドまでを
Vとするような拡張を行うことに相当する。
【0059】次に、無声音の振幅評価部18Uには、直
交変換部15からの周波数軸上データ、ピッチサーチ部
16からのファインピッチデータ、有声音振幅評価部1
8Vからの振幅|Am |のデータ、及び上記有声音/無
声音判別部17からのV/UV(有声音/無声音)判別
データが供給されている。この振幅評価部(無声音)1
8Uでは、有声音/無声音判別部17において無声音
(UV)と判別されたバンドに関して、再度振幅を求め
て(振幅再評価を行って)いる。このUVのバンドにつ
いての振幅|Am |UVは、
交変換部15からの周波数軸上データ、ピッチサーチ部
16からのファインピッチデータ、有声音振幅評価部1
8Vからの振幅|Am |のデータ、及び上記有声音/無
声音判別部17からのV/UV(有声音/無声音)判別
データが供給されている。この振幅評価部(無声音)1
8Uでは、有声音/無声音判別部17において無声音
(UV)と判別されたバンドに関して、再度振幅を求め
て(振幅再評価を行って)いる。このUVのバンドにつ
いての振幅|Am |UVは、
【0060】
【数5】 にて求められる。
【0061】この振幅評価部(無声音)18Uからのデ
ータは、データ数変換(一種のサンプリングレート変
換)部19に送られる。このデータ数変換部19は、上
記ピッチに応じて周波数軸上での分割帯域数が異なり、
データ数(特に振幅データの数)が異なることを考慮し
て、一定の個数にするためのものである。すなわち、例
えば有効帯域を3400kHzまでとすると、この有効帯
域が上記ピッチに応じて、8バンド〜63バンドに分割
されることになり、これらの各バンド毎に得られる上記
振幅|Am |(UVバンドの振幅|Am |UVも含む)デ
ータの個数mMX+1も8〜63と変化することになる。
このためデータ数変換部19では、この可変個数mMX+
1の振幅データを一定個数M(例えば44個)のデータ
に変換している。
ータは、データ数変換(一種のサンプリングレート変
換)部19に送られる。このデータ数変換部19は、上
記ピッチに応じて周波数軸上での分割帯域数が異なり、
データ数(特に振幅データの数)が異なることを考慮し
て、一定の個数にするためのものである。すなわち、例
えば有効帯域を3400kHzまでとすると、この有効帯
域が上記ピッチに応じて、8バンド〜63バンドに分割
されることになり、これらの各バンド毎に得られる上記
振幅|Am |(UVバンドの振幅|Am |UVも含む)デ
ータの個数mMX+1も8〜63と変化することになる。
このためデータ数変換部19では、この可変個数mMX+
1の振幅データを一定個数M(例えば44個)のデータ
に変換している。
【0062】ここで本実施例においては、例えば、周波
数軸上の有効帯域1ブロック分の振幅データに対して、
ブロック内の最後のデータからブロック内の最初のデー
タまでの値を補間するようなダミーデータを付加してデ
ータ個数をNF 個に拡大した後、帯域制限型のOS 倍
(例えば8倍)のオーバーサンプリングを施すことによ
りOS 倍の個数の振幅データを求め、このOS 倍の個数
((mMX+1)×OS 個)の振幅データを直線補間して
さらに多くのNM 個(例えば2048個)に拡張し、こ
のNM 個のデータを間引いて上記一定個数M(例えば4
4個)のデータに変換している。
数軸上の有効帯域1ブロック分の振幅データに対して、
ブロック内の最後のデータからブロック内の最初のデー
タまでの値を補間するようなダミーデータを付加してデ
ータ個数をNF 個に拡大した後、帯域制限型のOS 倍
(例えば8倍)のオーバーサンプリングを施すことによ
りOS 倍の個数の振幅データを求め、このOS 倍の個数
((mMX+1)×OS 個)の振幅データを直線補間して
さらに多くのNM 個(例えば2048個)に拡張し、こ
のNM 個のデータを間引いて上記一定個数M(例えば4
4個)のデータに変換している。
【0063】このデータ数変換部19からのデータ(上
記一定個数M個の振幅データ)がベクトル量子化部20
に送られて、所定個数のデータ毎にまとめられてベクト
ルとされ、ベクトル量子化が施される。ベクトル量子化
部20からの量子化出力データ(の主要部)は、上記高
精度のピッチサーチ部16からの高精度(ファイン)ピ
ッチデータ及び上記有声音/無声音判別部17からの有
声音/無声音(V/UV)判別データと共に、符号化部
21に送られて符号化される。
記一定個数M個の振幅データ)がベクトル量子化部20
に送られて、所定個数のデータ毎にまとめられてベクト
ルとされ、ベクトル量子化が施される。ベクトル量子化
部20からの量子化出力データ(の主要部)は、上記高
精度のピッチサーチ部16からの高精度(ファイン)ピ
ッチデータ及び上記有声音/無声音判別部17からの有
声音/無声音(V/UV)判別データと共に、符号化部
21に送られて符号化される。
【0064】なお、これらの各データは、上記Nサンプ
ル(例えば256サンプル)のブロック内のデータに対
して処理を施すことにより得られるものであるが、ブロ
ックは時間軸上を上記Lサンプルのフレームを単位とし
て前進することから、伝送するデータは上記フレーム単
位で得られる。すなわち、上記フレーム周期でピッチデ
ータ、V/UV判別データ、振幅データが更新されるこ
とになる。また、上記有声音/無声音判別部17からの
V/UV判別データについては、上述したように、必要
に応じて12バンド程度に低減(縮退)してもよく、全
バンド中で1箇所以下の有声音(V)領域と無声音(U
V)領域との区分位置を表すデータである。また、上記
ピッチを再度検出した場合や所定条件を満足する場合
に、低域側のV(有声音)が高域側にまで拡張されたV
/UV判別データパターンを表すものである。
ル(例えば256サンプル)のブロック内のデータに対
して処理を施すことにより得られるものであるが、ブロ
ックは時間軸上を上記Lサンプルのフレームを単位とし
て前進することから、伝送するデータは上記フレーム単
位で得られる。すなわち、上記フレーム周期でピッチデ
ータ、V/UV判別データ、振幅データが更新されるこ
とになる。また、上記有声音/無声音判別部17からの
V/UV判別データについては、上述したように、必要
に応じて12バンド程度に低減(縮退)してもよく、全
バンド中で1箇所以下の有声音(V)領域と無声音(U
V)領域との区分位置を表すデータである。また、上記
ピッチを再度検出した場合や所定条件を満足する場合
に、低域側のV(有声音)が高域側にまで拡張されたV
/UV判別データパターンを表すものである。
【0065】上記符号化部21においては、例えばCR
C付加及びレート1/2畳み込み符号付加処理が施され
る。すなわち、上記ピッチデータ、上記有声音/無声音
(V/UV)判別データ、及び上記量子化出力データの
内の重要なデータについてはCRC誤り訂正符号化が施
された後、畳み込み符号化が施される。符号化部21か
らの符号化出力データは、フレームインターリーブ部2
2に送られ、ベクトル量子化部20からの一部(例えば
重要度の低い)データと共にインターリーブ処理され
て、出力端子23から取り出され、合成側(デコード
側)に伝送(あるいは記録再生)される。
C付加及びレート1/2畳み込み符号付加処理が施され
る。すなわち、上記ピッチデータ、上記有声音/無声音
(V/UV)判別データ、及び上記量子化出力データの
内の重要なデータについてはCRC誤り訂正符号化が施
された後、畳み込み符号化が施される。符号化部21か
らの符号化出力データは、フレームインターリーブ部2
2に送られ、ベクトル量子化部20からの一部(例えば
重要度の低い)データと共にインターリーブ処理され
て、出力端子23から取り出され、合成側(デコード
側)に伝送(あるいは記録再生)される。
【0066】次に、伝送されて(あるいは記録再生され
て)得られた上記各データに基づき音声信号を合成する
ための合成側(デコード側)の概略構成について、図1
1を参照しながら説明する。
て)得られた上記各データに基づき音声信号を合成する
ための合成側(デコード側)の概略構成について、図1
1を参照しながら説明する。
【0067】この図11において、入力端子31には、
上記図6に示すエンコーダ側の出力端子23から取り出
されたデータ信号に略々等しい(伝送や記録再生による
信号劣化を無視して)データ信号が供給される。この入
力端子31からのデータは、フレームデインターリーブ
部32に送られて、上記図6のインターリーブ処理の逆
処理となるデインターリーブ処理が施され、主要部(エ
ンコーダ側でCRC及び畳み込み符号化された部分で、
一般に重要度の高いデータ部分)は復号化部33で復号
化処理されてバッドフレームマスク処理部34に、残部
(符号化処理の施されていない重要度の低いもの)はそ
のままバッドフレームマスク処理部34に、それぞれ送
られる。復号化部33においては、例えばいわゆるビタ
ビ復号化処理やCRCチェックコードを用いたエラー検
出処理が施される。バッドフレームマスク処理部34
は、エラーの多いフレームのパラメータを補間で求める
ような処理を行うと共に、上記ピッチデータ、有声音/
無声音(V/UV)データ、及びベクトル量子化された
振幅データを分離して取り出す。
上記図6に示すエンコーダ側の出力端子23から取り出
されたデータ信号に略々等しい(伝送や記録再生による
信号劣化を無視して)データ信号が供給される。この入
力端子31からのデータは、フレームデインターリーブ
部32に送られて、上記図6のインターリーブ処理の逆
処理となるデインターリーブ処理が施され、主要部(エ
ンコーダ側でCRC及び畳み込み符号化された部分で、
一般に重要度の高いデータ部分)は復号化部33で復号
化処理されてバッドフレームマスク処理部34に、残部
(符号化処理の施されていない重要度の低いもの)はそ
のままバッドフレームマスク処理部34に、それぞれ送
られる。復号化部33においては、例えばいわゆるビタ
ビ復号化処理やCRCチェックコードを用いたエラー検
出処理が施される。バッドフレームマスク処理部34
は、エラーの多いフレームのパラメータを補間で求める
ような処理を行うと共に、上記ピッチデータ、有声音/
無声音(V/UV)データ、及びベクトル量子化された
振幅データを分離して取り出す。
【0068】バッドフレームマスク処理部34からの上
記ベクトル量子化された振幅データは、逆ベクトル量子
化部35に送られて逆量子化され、データ数逆変換部3
6に送られて逆変換される。このデータ数逆変換部36
では、上述した図1のデータ数変換部19と対照的な逆
変換が行われ、得られた振幅データが有声音合成部37
及び無声音合成部38に送られる。マスク処理部34か
らの上記ピッチデータは、有声音合成部37及び無声音
合成部38に送られる。またマスク処理部34からの上
記V/UV判別データも、有声音合成部37及び無声音
合成部38に送られる。
記ベクトル量子化された振幅データは、逆ベクトル量子
化部35に送られて逆量子化され、データ数逆変換部3
6に送られて逆変換される。このデータ数逆変換部36
では、上述した図1のデータ数変換部19と対照的な逆
変換が行われ、得られた振幅データが有声音合成部37
及び無声音合成部38に送られる。マスク処理部34か
らの上記ピッチデータは、有声音合成部37及び無声音
合成部38に送られる。またマスク処理部34からの上
記V/UV判別データも、有声音合成部37及び無声音
合成部38に送られる。
【0069】有声音合成部37では例えば余弦(cosine)
波合成により時間軸上の有声音波形を合成し、無声音合
成部38では例えばホワイトノイズをバンドパスフィル
タでフィルタリングして時間軸上の無声音波形を合成
し、これらの各有声音合成波形と無声音合成波形とを加
算部41で加算合成して、出力端子42より取り出すよ
うにしている。この場合、上記振幅データ、ピッチデー
タ及びV/UV判別データは、上記分析時の1フレーム
(Lサンプル、例えば160サンプル)毎に更新されて
与えられるが、フレーム間の連続性を高める(円滑化す
る)ために、上記振幅データやピッチデータの各値を1
フレーム中の例えば中心位置における各データ値とし、
次のフレームの中心位置までの間(合成時の1フレー
ム)の各データ値を補間により求める。すなわち、合成
時の1フレーム(例えば上記分析フレームの中心から次
の分析フレームの中心まで)において、先端サンプル点
での各データ値と終端(次の合成フレームの先端)サン
プル点での各データ値とが与えられ、これらのサンプル
点間の各データ値を補間により求めるようにしている。
波合成により時間軸上の有声音波形を合成し、無声音合
成部38では例えばホワイトノイズをバンドパスフィル
タでフィルタリングして時間軸上の無声音波形を合成
し、これらの各有声音合成波形と無声音合成波形とを加
算部41で加算合成して、出力端子42より取り出すよ
うにしている。この場合、上記振幅データ、ピッチデー
タ及びV/UV判別データは、上記分析時の1フレーム
(Lサンプル、例えば160サンプル)毎に更新されて
与えられるが、フレーム間の連続性を高める(円滑化す
る)ために、上記振幅データやピッチデータの各値を1
フレーム中の例えば中心位置における各データ値とし、
次のフレームの中心位置までの間(合成時の1フレー
ム)の各データ値を補間により求める。すなわち、合成
時の1フレーム(例えば上記分析フレームの中心から次
の分析フレームの中心まで)において、先端サンプル点
での各データ値と終端(次の合成フレームの先端)サン
プル点での各データ値とが与えられ、これらのサンプル
点間の各データ値を補間により求めるようにしている。
【0070】また、V/UV判別データに応じて全バン
ドを1箇所の区分位置で有声音(V)領域と無声音(U
V)領域とに区分することができ、この区分に応じて、
各バンド毎のV/UV判別データを得ることができる。
この区分位置については、上述したように、低域側のV
が高域側に拡張されていることがある。ここで、分析側
(エンコーダ側)で一定数(例えば12程度)のバンド
に低減(縮退)されている場合には、これを解いて(復
元して)、元のピッチに応じた間隔で可変個数のバンド
とすることは勿論である。
ドを1箇所の区分位置で有声音(V)領域と無声音(U
V)領域とに区分することができ、この区分に応じて、
各バンド毎のV/UV判別データを得ることができる。
この区分位置については、上述したように、低域側のV
が高域側に拡張されていることがある。ここで、分析側
(エンコーダ側)で一定数(例えば12程度)のバンド
に低減(縮退)されている場合には、これを解いて(復
元して)、元のピッチに応じた間隔で可変個数のバンド
とすることは勿論である。
【0071】以下、有声音合成部37における合成処理
を詳細に説明する。上記V(有声音)と判別された第m
バンド(第m高調波の帯域)における時間軸上の上記1
合成フレーム(Lサンプル、例えば160サンプル)分
の有声音をVm (n) とするとき、この合成フレーム内の
時間インデックス(サンプル番号)nを用いて、 Vm (n) =Am (n) cos(θm (n)) 0≦n<L ・・・(14) と表すことができる。全バンドの内のV(有声音)と判
別された全てのバンドの有声音を加算(ΣVm (n) )し
て最終的な有声音V(n) を合成する。
を詳細に説明する。上記V(有声音)と判別された第m
バンド(第m高調波の帯域)における時間軸上の上記1
合成フレーム(Lサンプル、例えば160サンプル)分
の有声音をVm (n) とするとき、この合成フレーム内の
時間インデックス(サンプル番号)nを用いて、 Vm (n) =Am (n) cos(θm (n)) 0≦n<L ・・・(14) と表すことができる。全バンドの内のV(有声音)と判
別された全てのバンドの有声音を加算(ΣVm (n) )し
て最終的な有声音V(n) を合成する。
【0072】この(14)式中のAm (n) は、上記合成フ
レームの先端から終端までの間で補間された第m高調波
の振幅である。最も簡単には、フレーム単位で更新され
る振幅データの第m高調波の値を直線補間すればよい。
すなわち、上記合成フレームの先端(n=0)での第m
高調波の振幅値をA0m、該合成フレームの終端(n=
L:次の合成フレームの先端)での第m高調波の振幅値
をALmとするとき、 Am (n) = (L-n)A0m/L+nALm/L ・・・(15) の式によりAm (n) を計算すればよい。
レームの先端から終端までの間で補間された第m高調波
の振幅である。最も簡単には、フレーム単位で更新され
る振幅データの第m高調波の値を直線補間すればよい。
すなわち、上記合成フレームの先端(n=0)での第m
高調波の振幅値をA0m、該合成フレームの終端(n=
L:次の合成フレームの先端)での第m高調波の振幅値
をALmとするとき、 Am (n) = (L-n)A0m/L+nALm/L ・・・(15) の式によりAm (n) を計算すればよい。
【0073】次に、上記(14)式中の位相θm (n) は、 θm (n) =mωO1n+n2 m(ωL1−ω01)/2L+φ0m+Δωn ・・・(16) により求めることができる。この(16)式中で、φ0mは
上記合成フレームの先端(n=0)での第m高調波の位
相(フレーム初期位相)を示し、ω01は合成フレーム先
端(n=0)での基本角周波数、ωL1は該合成フレーム
の終端(n=L:次の合成フレーム先端)での基本角周
波数をそれぞれ示している。上記(16)式中のΔωは、
n=Lにおける位相φLmがθm (L) に等しくなるような
最小のΔωを設定する。
上記合成フレームの先端(n=0)での第m高調波の位
相(フレーム初期位相)を示し、ω01は合成フレーム先
端(n=0)での基本角周波数、ωL1は該合成フレーム
の終端(n=L:次の合成フレーム先端)での基本角周
波数をそれぞれ示している。上記(16)式中のΔωは、
n=Lにおける位相φLmがθm (L) に等しくなるような
最小のΔωを設定する。
【0074】以下、任意の第mバンドにおいて、それぞ
れn=0、n=LのときのV/UV判別結果に応じた上
記振幅Am (n) 、位相θm (n) の求め方を説明する。
れn=0、n=LのときのV/UV判別結果に応じた上
記振幅Am (n) 、位相θm (n) の求め方を説明する。
【0075】第mバンドが、n=0、n=Lのいずれも
V(有声音)とされる場合に、振幅Am (n) は、上述し
た(15)式により、伝送された振幅値A0m、ALmを直線
補間して振幅Am (n) を算出すればよい。位相θm (n)
は、n=0でθm (0) =φ0mからn=Lでθm (L) がφ
LmとなるようにΔωを設定する。
V(有声音)とされる場合に、振幅Am (n) は、上述し
た(15)式により、伝送された振幅値A0m、ALmを直線
補間して振幅Am (n) を算出すればよい。位相θm (n)
は、n=0でθm (0) =φ0mからn=Lでθm (L) がφ
LmとなるようにΔωを設定する。
【0076】次に、n=0のときV(有声音)で、n=
LのときUV(無声音)とされる場合に、振幅Am (n)
は、Am (0) の伝送振幅値A0mからAm (L) で0となる
ように直線補間する。n=Lでの伝送振幅値ALmは無声
音の振幅値であり、後述する無声音合成の際に用いられ
る。位相θm (n) は、θm (0) =φ0mとし、かつΔω=
0とする。
LのときUV(無声音)とされる場合に、振幅Am (n)
は、Am (0) の伝送振幅値A0mからAm (L) で0となる
ように直線補間する。n=Lでの伝送振幅値ALmは無声
音の振幅値であり、後述する無声音合成の際に用いられ
る。位相θm (n) は、θm (0) =φ0mとし、かつΔω=
0とする。
【0077】さらに、n=0のときUV(無声音)で、
n=LのときV(有声音)とされる場合には、振幅Am
(n) は、n=0での振幅Am (0) を0とし、n=Lで伝
送された振幅値ALmとなるように直線補間する。位相θ
m (n) については、n=0での位相θm (0) として、フ
レーム終端での位相値φLmを用いて、 θm (0) =φLm−m(ωO1+ωL1)L/2 ・・・(17) とし、かつΔω=0とする。
n=LのときV(有声音)とされる場合には、振幅Am
(n) は、n=0での振幅Am (0) を0とし、n=Lで伝
送された振幅値ALmとなるように直線補間する。位相θ
m (n) については、n=0での位相θm (0) として、フ
レーム終端での位相値φLmを用いて、 θm (0) =φLm−m(ωO1+ωL1)L/2 ・・・(17) とし、かつΔω=0とする。
【0078】上記n=0、n=LのいずれもV(有声
音)とされる場合に、θm (L) がφLmとなるようにΔω
を設定する手法について説明する。上記(16)式で、n
=Lと置くことにより、 θm (L) =mωO1L+L2 m(ωL1−ω01)/2L+φ
0m+ΔωL =m(ωO1+ωL1)L/2+φ0m+ΔωL =φLm となり、これを整理すると、Δωは、 Δω=(mod2π((φLm−φ0m) − mL(ωO1+ωL1)/2)/L ・・・(18) となる。この(18)式でmod2π(x) とは、xの主値を−
π〜+πの間の値で返す関数である。例えば、x=1.3
πのときmod2π(x) =−0.7π、x=2.3πのときmod2
π(x) =0.3π、x=−1.3πのときmod2π(x) =0.7
π、等である。
音)とされる場合に、θm (L) がφLmとなるようにΔω
を設定する手法について説明する。上記(16)式で、n
=Lと置くことにより、 θm (L) =mωO1L+L2 m(ωL1−ω01)/2L+φ
0m+ΔωL =m(ωO1+ωL1)L/2+φ0m+ΔωL =φLm となり、これを整理すると、Δωは、 Δω=(mod2π((φLm−φ0m) − mL(ωO1+ωL1)/2)/L ・・・(18) となる。この(18)式でmod2π(x) とは、xの主値を−
π〜+πの間の値で返す関数である。例えば、x=1.3
πのときmod2π(x) =−0.7π、x=2.3πのときmod2
π(x) =0.3π、x=−1.3πのときmod2π(x) =0.7
π、等である。
【0079】以下、無声音合成部38における無声音合
成処理を説明する。ホワイトノイズ発生部43からの時
間軸上のホワイトノイズ信号波形を窓かけ処理部44に
送って、所定の長さ(例えば256サンプル)で適当な
窓関数(例えばハミング窓)により窓かけをし、STF
T処理部45によりSTFT(ショートタームフーリエ
変換)処理を施すことにより、ホワイトノイズの周波数
軸上のパワースペクトルを得る。このSTFT処理部4
5からのパワースペクトルをバンド振幅処理部46に送
り、上記UV(無声音)とされたバンドについて上記振
幅|Am |UVを乗算し、他のV(有声音)とされたバン
ドの振幅を0にする。このバンド振幅処理部46には上
記振幅データ、ピッチデータ、V/UV判別データが供
給されている。
成処理を説明する。ホワイトノイズ発生部43からの時
間軸上のホワイトノイズ信号波形を窓かけ処理部44に
送って、所定の長さ(例えば256サンプル)で適当な
窓関数(例えばハミング窓)により窓かけをし、STF
T処理部45によりSTFT(ショートタームフーリエ
変換)処理を施すことにより、ホワイトノイズの周波数
軸上のパワースペクトルを得る。このSTFT処理部4
5からのパワースペクトルをバンド振幅処理部46に送
り、上記UV(無声音)とされたバンドについて上記振
幅|Am |UVを乗算し、他のV(有声音)とされたバン
ドの振幅を0にする。このバンド振幅処理部46には上
記振幅データ、ピッチデータ、V/UV判別データが供
給されている。
【0080】バンド振幅処理部46からの出力は、IS
TFT処理部47に送られ、位相は元のホワイトノイズ
の位相を用いて逆STFT処理を施すことにより時間軸
上の信号に変換する。ISTFT処理部47からの出力
は、オーバーラップ加算部48に送られ、時間軸上で適
当な(元の連続的なノイズ波形を復元できるように)重
み付けをしながらオーバーラップ及び加算を繰り返し、
連続的な時間軸波形を合成する。このオーバーラップ加
算部48からの出力信号が上記加算部41に送られる。
TFT処理部47に送られ、位相は元のホワイトノイズ
の位相を用いて逆STFT処理を施すことにより時間軸
上の信号に変換する。ISTFT処理部47からの出力
は、オーバーラップ加算部48に送られ、時間軸上で適
当な(元の連続的なノイズ波形を復元できるように)重
み付けをしながらオーバーラップ及び加算を繰り返し、
連続的な時間軸波形を合成する。このオーバーラップ加
算部48からの出力信号が上記加算部41に送られる。
【0081】このように、各合成部37、38において
合成されて時間軸上に戻された有声音部及び無声音部の
各信号は、加算部41により適当な固定の混合比で加算
して、出力端子42より再生された音声信号を取り出
す。
合成されて時間軸上に戻された有声音部及び無声音部の
各信号は、加算部41により適当な固定の混合比で加算
して、出力端子42より再生された音声信号を取り出
す。
【0082】なお、本発明は上記実施例のみに限定され
るものではなく、例えば、上記スペクトル情報を用いた
ピッチ検出は、自己相関等の時間軸上の処理ではピッチ
を捉えきれない場合や、全バンドがUV(無声音)との
判断が妥当しない場合に行うようにしているが、最初か
らスペクトル情報を用いたピッチ検出を行うようにして
もよい。また、上記図6の音声分析側(エンコード側)
の構成や図11の音声合成側(デコード側)の構成につ
いては、各部をハードウェア的に記載しているが、いわ
ゆるDSP(ディジタル信号プロセッサ)等を用いてソ
フトウェアプログラムにより実現することも可能であ
る。また、上記高調波(ハーモニクス)毎のバンドをま
とめて(縮退させて)一定個数のバンドにすることは、
必要に応じて行えばよく、縮退バンド数も12バンドに
限定されない。また、全バンドを1箇所以下の区分位置
で低域側V領域と高域側UV領域とに分割する処理も必
要に応じて行えばよく、行わなくともよい。さらに、本
発明が適用されるものは上記マルチバンド励起音声分析
/合成方法に限定されず、サイン波合成を用いる種々の
音声分析/合成方法に容易に適用でき、また、用途とし
ても、信号の伝送や記録再生のみならず、ピッチ変換
や、スピード変換や、雑音抑制等の種々の用途に応用で
きるものである。
るものではなく、例えば、上記スペクトル情報を用いた
ピッチ検出は、自己相関等の時間軸上の処理ではピッチ
を捉えきれない場合や、全バンドがUV(無声音)との
判断が妥当しない場合に行うようにしているが、最初か
らスペクトル情報を用いたピッチ検出を行うようにして
もよい。また、上記図6の音声分析側(エンコード側)
の構成や図11の音声合成側(デコード側)の構成につ
いては、各部をハードウェア的に記載しているが、いわ
ゆるDSP(ディジタル信号プロセッサ)等を用いてソ
フトウェアプログラムにより実現することも可能であ
る。また、上記高調波(ハーモニクス)毎のバンドをま
とめて(縮退させて)一定個数のバンドにすることは、
必要に応じて行えばよく、縮退バンド数も12バンドに
限定されない。また、全バンドを1箇所以下の区分位置
で低域側V領域と高域側UV領域とに分割する処理も必
要に応じて行えばよく、行わなくともよい。さらに、本
発明が適用されるものは上記マルチバンド励起音声分析
/合成方法に限定されず、サイン波合成を用いる種々の
音声分析/合成方法に容易に適用でき、また、用途とし
ても、信号の伝送や記録再生のみならず、ピッチ変換
や、スピード変換や、雑音抑制等の種々の用途に応用で
きるものである。
【0083】
【発明の効果】以上の説明から明らかなように、本発明
に係るピッチ検出方法によれば、入力音声信号を時間軸
上でブロック単位で区分して各ブロックの信号毎に音声
の基本周期に相当するピッチを検出するピッチ検出方法
において、この区分されたブロック内の信号のスペクト
ルについての低域側のパワー偏在及びピークを検出し、
この検出されたピーク近傍の極大値を検出し、上記ピー
クの位置と上記極大値の位置とに基づいてピッチを検出
しているため、自己相関等の時間軸上の処理ではピッチ
を捕捉できなかった場合でも高精度にピッチ検出が行え
る。
に係るピッチ検出方法によれば、入力音声信号を時間軸
上でブロック単位で区分して各ブロックの信号毎に音声
の基本周期に相当するピッチを検出するピッチ検出方法
において、この区分されたブロック内の信号のスペクト
ルについての低域側のパワー偏在及びピークを検出し、
この検出されたピーク近傍の極大値を検出し、上記ピー
クの位置と上記極大値の位置とに基づいてピッチを検出
しているため、自己相関等の時間軸上の処理ではピッチ
を捕捉できなかった場合でも高精度にピッチ検出が行え
る。
【0084】また、このようなピッチ検出を、自己相関
等の時間軸上での処理によりピッチが捉えきれないと
き、例えば、上記区分されたブロックを複数の帯域に分
割した各帯域毎に有声音か無声音かを判別して、全帯域
が無声音と判別されたときのみ行うようにしているた
め、特に、かすれ声やしわがれ声等の特殊な音声につい
ても、全バンドにおいてUV(無声音)となることはな
く、自然な音声が合成できる。
等の時間軸上での処理によりピッチが捉えきれないと
き、例えば、上記区分されたブロックを複数の帯域に分
割した各帯域毎に有声音か無声音かを判別して、全帯域
が無声音と判別されたときのみ行うようにしているた
め、特に、かすれ声やしわがれ声等の特殊な音声につい
ても、全バンドにおいてUV(無声音)となることはな
く、自然な音声が合成できる。
【図1】有声音信号のスペクトル構造の一例を示す図で
ある。
ある。
【図2】無声音信号のスペクトル構造の一例を示す図で
ある。
ある。
【図3】フォルマント構造が明確でもピッチ(基本周波
数)が現れないような信号のスペクトル構造の一例を示
す図である。
数)が現れないような信号のスペクトル構造の一例を示
す図である。
【図4】ピーク近傍のスペクトル構造の一例を示す図で
ある。
ある。
【図5】本発明の一実施例としてのピッチ検出方法の動
作を説明するためのフローチャートである。
作を説明するためのフローチャートである。
【図6】本発明に係るピッチ検出方法が適用される装置
の具体例としての音声信号の分析/合成符号化装置の分
析側(エンコード側)の概略構成を示す機能ブロック図
である。
の具体例としての音声信号の分析/合成符号化装置の分
析側(エンコード側)の概略構成を示す機能ブロック図
である。
【図7】窓かけ処理を説明するための図である。
【図8】窓かけ処理と窓関数との関係を説明するための
図である。
図である。
【図9】直交変換(FFT)処理対象としての時間軸デ
ータを示す図である。
ータを示す図である。
【図10】周波数軸上のスペクトルデータ、スペクトル
包絡線(エンベロープ)及び励起信号のパワースペクト
ルを示す図である。
包絡線(エンベロープ)及び励起信号のパワースペクト
ルを示す図である。
【図11】本発明に係る高能率符号化方法が適用される
装置の具体例としての音声信号の分析/合成符号化装置
の合成側(デコード側)の概略構成を示す機能ブロック
図である。
装置の具体例としての音声信号の分析/合成符号化装置
の合成側(デコード側)の概略構成を示す機能ブロック
図である。
13・・・・・ピッチ抽出部 14・・・・・窓かけ処理部 15・・・・・直交変換(FFT)部 16・・・・・高精度(ファイン)ピッチサーチ部 17・・・・・有声音/無声音(V/UV)判別部 18V・・・・・有声音の振幅評価部 18U・・・・・無声音の振幅評価部 24・・・・・パワー偏在・ピーク検出部 25・・・・・ピッチ算出部 37・・・・・有声音合成部 38・・・・・無声音合成部
Claims (2)
- 【請求項1】 入力音声信号を時間軸上でブロック単位
で区分し、この区分された各ブロックの信号毎に音声の
基本周期に相当するピッチを検出するピッチ検出方法に
おいて、 この区分されたブロック内の信号のスペクトルの低域側
のパワー偏在及びピークを検出する工程と、 この検出されたピーク近傍の極大値を検出する工程と、 上記検出されたピークの位置と上記極大値の位置とに基
づいてピッチを検出する工程とを有することを特徴とす
るピッチ検出方法。 - 【請求項2】 上記区分されたブロックを複数の帯域に
分割し、分割された各帯域毎に有声音か無声音かを判別
して、全帯域が無声音と判別されたとき、 上記パワー偏在及びピークを検出し、該ピーク近傍の極
大値を検出し、これらのピーク位置と極大値の位置とに
基づいてピッチを検出することを特徴とする請求項1記
載のピッチ検出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP26059693A JP3321933B2 (ja) | 1993-10-19 | 1993-10-19 | ピッチ検出方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP26059693A JP3321933B2 (ja) | 1993-10-19 | 1993-10-19 | ピッチ検出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH07114396A true JPH07114396A (ja) | 1995-05-02 |
JP3321933B2 JP3321933B2 (ja) | 2002-09-09 |
Family
ID=17350152
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP26059693A Expired - Fee Related JP3321933B2 (ja) | 1993-10-19 | 1993-10-19 | ピッチ検出方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3321933B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009223326A (ja) * | 1997-05-07 | 2009-10-01 | Nokia Corp | 音声符号化方法及び装置 |
JP2010530989A (ja) * | 2007-06-22 | 2010-09-16 | ヴォイスエイジ・コーポレーション | 音声区間検出および音声信号分類ための方法および装置 |
JP2019158739A (ja) * | 2018-03-15 | 2019-09-19 | 富士通株式会社 | 情報処理プログラム、情報処理方法及び情報処理装置 |
-
1993
- 1993-10-19 JP JP26059693A patent/JP3321933B2/ja not_active Expired - Fee Related
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009223326A (ja) * | 1997-05-07 | 2009-10-01 | Nokia Corp | 音声符号化方法及び装置 |
JP2010530989A (ja) * | 2007-06-22 | 2010-09-16 | ヴォイスエイジ・コーポレーション | 音声区間検出および音声信号分類ための方法および装置 |
US8990073B2 (en) | 2007-06-22 | 2015-03-24 | Voiceage Corporation | Method and device for sound activity detection and sound signal classification |
JP2019158739A (ja) * | 2018-03-15 | 2019-09-19 | 富士通株式会社 | 情報処理プログラム、情報処理方法及び情報処理装置 |
Also Published As
Publication number | Publication date |
---|---|
JP3321933B2 (ja) | 2002-09-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3475446B2 (ja) | 符号化方法 | |
JP3277398B2 (ja) | 有声音判別方法 | |
JP3840684B2 (ja) | ピッチ抽出装置及びピッチ抽出方法 | |
JP3680374B2 (ja) | 音声合成方法 | |
JP3297751B2 (ja) | データ数変換方法、符号化装置及び復号化装置 | |
JPH05281996A (ja) | ピッチ抽出装置 | |
JP3297749B2 (ja) | 符号化方法 | |
JP3218679B2 (ja) | 高能率符号化方法 | |
JP3362471B2 (ja) | 音声信号の符号化方法及び復号化方法 | |
JP3321933B2 (ja) | ピッチ検出方法 | |
JP2001249698A (ja) | 音声符号化パラメータ取得方法、音声復号方法及び装置 | |
JPH11219198A (ja) | 位相検出装置及び方法、並びに音声符号化装置及び方法 | |
JP3223564B2 (ja) | ピッチ抽出方法 | |
JP3271193B2 (ja) | 音声符号化方法 | |
JP3398968B2 (ja) | 音声分析合成方法 | |
JPH0651800A (ja) | データ数変換方法 | |
JP3297750B2 (ja) | 符号化方法 | |
JP3218681B2 (ja) | 背景雑音検出方法及び高能率符号化方法 | |
JP2003216189A (ja) | 符号化装置及び復号装置 | |
JP3221050B2 (ja) | 有声音判別方法 | |
JPH07104793A (ja) | 音声信号の符号化装置及び復号化装置 | |
JPH07104777A (ja) | ピッチ検出方法及び音声分析合成方法 | |
JPH06202695A (ja) | 音声信号処理装置 | |
JPH0744194A (ja) | 高能率符号化方法 | |
JP3218680B2 (ja) | 有声音合成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20020528 |
|
LAPS | Cancellation because of no payment of annual fees |