JPH05281996A - ピッチ抽出装置 - Google Patents
ピッチ抽出装置Info
- Publication number
- JPH05281996A JPH05281996A JP10534392A JP10534392A JPH05281996A JP H05281996 A JPH05281996 A JP H05281996A JP 10534392 A JP10534392 A JP 10534392A JP 10534392 A JP10534392 A JP 10534392A JP H05281996 A JPH05281996 A JP H05281996A
- Authority
- JP
- Japan
- Prior art keywords
- pitch
- value
- frame
- unit
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
(57)【要約】
【構成】 ピッチ検出部2が入力音声信号の一定時間の
フレーム毎のピッチを検出し、平滑手段3が現在フレー
ムのピッチを前後のフレームのピッチで平滑化し、切換
部7が現在フレームのピッチと平滑化された出力である
代替ピッチとを切換選択して出力し、制御手段6が平滑
化された出力と現在フレームのピッチとに基づいて上記
切換部7を切換制御することによって、異常状態を検出
できる。そして、異常状態のときには、上記代替ピッチ
を出力する。 【効果】 確実なピッチ抽出が行える。特に、MBE等
の高精度のピッチトラックが要求される音声の分析、合
成系で有効である。
フレーム毎のピッチを検出し、平滑手段3が現在フレー
ムのピッチを前後のフレームのピッチで平滑化し、切換
部7が現在フレームのピッチと平滑化された出力である
代替ピッチとを切換選択して出力し、制御手段6が平滑
化された出力と現在フレームのピッチとに基づいて上記
切換部7を切換制御することによって、異常状態を検出
できる。そして、異常状態のときには、上記代替ピッチ
を出力する。 【効果】 確実なピッチ抽出が行える。特に、MBE等
の高精度のピッチトラックが要求される音声の分析、合
成系で有効である。
Description
【0001】
【産業上の利用分野】本発明は、入力される音声信号か
らピッチを抽出するピッチ抽出装置に関する。
らピッチを抽出するピッチ抽出装置に関する。
【0002】
【従来の技術】音声は、音の性質として、有声音と無声
音に区別される。有声音は声帯振動を伴う音声で周期的
な振動として観測される。無声音は声帯振動に伴わない
音声で非周期的な雑音として観測される。通常の音声で
は大部分が有声音であり、無声音は無声子音と呼ばれる
特殊な子音のみである。有声音の周期は声帯振動の周期
で決まり、これをピッチ周期、その逆数をピッチ周波数
という。これらピッチ周期及びピッチ周波数は声の高低
やイントネーションを決める重要な要因となる。したが
って、原音声波形から正確にピッチ周期を抽出(以下、
ピッチ抽出という)することは、音声を分析し合成する
音声合成の過程のなかでも重要となる。
音に区別される。有声音は声帯振動を伴う音声で周期的
な振動として観測される。無声音は声帯振動に伴わない
音声で非周期的な雑音として観測される。通常の音声で
は大部分が有声音であり、無声音は無声子音と呼ばれる
特殊な子音のみである。有声音の周期は声帯振動の周期
で決まり、これをピッチ周期、その逆数をピッチ周波数
という。これらピッチ周期及びピッチ周波数は声の高低
やイントネーションを決める重要な要因となる。したが
って、原音声波形から正確にピッチ周期を抽出(以下、
ピッチ抽出という)することは、音声を分析し合成する
音声合成の過程のなかでも重要となる。
【0003】上記ピッチ抽出の方法(以下、ピッチ抽出
方法という)は、波形の上で周期的ピークを検出する波
形処理法、相関処理が波形の位相歪みに強いことを利用
した相関処理法、スペクトルの周期的周波数構造を利用
したスペクトル処理法とに分類される。
方法という)は、波形の上で周期的ピークを検出する波
形処理法、相関処理が波形の位相歪みに強いことを利用
した相関処理法、スペクトルの周期的周波数構造を利用
したスペクトル処理法とに分類される。
【0004】上記相関処理法の一方法である自己相関法
について図12を用いて以下に説明する。図12のAは300
サンプル分の入力音声波形x(n) であり、図12のBはA
で示したx(n) の自己相関関数の波形Rx (k) である。
また、図12のCはAに示されたクリッピングレベルCL
でセンタクリップした波形C[ x(n)]であり、図12のD
はCで示したC[ x(n)]の自己相関関数の波形RC (k)
である。
について図12を用いて以下に説明する。図12のAは300
サンプル分の入力音声波形x(n) であり、図12のBはA
で示したx(n) の自己相関関数の波形Rx (k) である。
また、図12のCはAに示されたクリッピングレベルCL
でセンタクリップした波形C[ x(n)]であり、図12のD
はCで示したC[ x(n)]の自己相関関数の波形RC (k)
である。
【0005】上述したように図12のAに示す300 サンプ
ル分の入力音声波形x(n) の自己相関関数を求めると、
図12のBに示す波形Rx (k) となる。この図12のBに示
す自己相関関数の波形Rx (k) では、ピッチ周期のとこ
ろに強いピークが見られる。しかし、声道の減衰振動に
よる余分なピークも多数見られる。この余分なピークを
減少させるために、図12のAに示したクリッピングレベ
ル±CL より絶対値として小さい波形を潰した図12のC
に示すセンタクリップ波形C[ x(n)]から自己相関関数
を得ることが考えられる。この場合、図12のCに示すセ
ンタクリップされた波形C[ x(n)]には、もとのピッチ
間隔でいくつかのパルスが残っているだけになってお
り、そこから求めた自己相関関数RC (k) の波形には、
余分なピークが少なくなっている。
ル分の入力音声波形x(n) の自己相関関数を求めると、
図12のBに示す波形Rx (k) となる。この図12のBに示
す自己相関関数の波形Rx (k) では、ピッチ周期のとこ
ろに強いピークが見られる。しかし、声道の減衰振動に
よる余分なピークも多数見られる。この余分なピークを
減少させるために、図12のAに示したクリッピングレベ
ル±CL より絶対値として小さい波形を潰した図12のC
に示すセンタクリップ波形C[ x(n)]から自己相関関数
を得ることが考えられる。この場合、図12のCに示すセ
ンタクリップされた波形C[ x(n)]には、もとのピッチ
間隔でいくつかのパルスが残っているだけになってお
り、そこから求めた自己相関関数RC (k) の波形には、
余分なピークが少なくなっている。
【0006】ここで、上記図12のBに示したクリッピン
グしない自己相関関数の波形Rx (k) を使って求めたピ
ッチ軌跡と、上記図12のDに示したセンタクリップした
自己相関関数の波形RC (k) を使って求めたピッチ軌跡
とを図13のA及びBに示す。図13のAには、明らかに誤
りと分かる点が散らばっている。その誤りは、短い遅れ
のところに生じたピークの方が、ピッチ周期のところの
ピークよりも高かったために生じたものが大部分であ
る。一方、図13のBには、クリッピングを施すことによ
って確実にピッチを捉え、誤りの大部分を除去したピッ
チ軌跡が示されている。
グしない自己相関関数の波形Rx (k) を使って求めたピ
ッチ軌跡と、上記図12のDに示したセンタクリップした
自己相関関数の波形RC (k) を使って求めたピッチ軌跡
とを図13のA及びBに示す。図13のAには、明らかに誤
りと分かる点が散らばっている。その誤りは、短い遅れ
のところに生じたピークの方が、ピッチ周期のところの
ピークよりも高かったために生じたものが大部分であ
る。一方、図13のBには、クリッピングを施すことによ
って確実にピッチを捉え、誤りの大部分を除去したピッ
チ軌跡が示されている。
【0007】
【発明が解決しようとする課題】ところで、従来入力音
声信号のピッチ抽出においては、上述したようにセンタ
ックリップを施してから自己相関を求め確実にピッチを
捉えることが行われているが、この場合でさえ、図13の
Bに示すように明らかに誤りと分かる点が見られる。こ
のピッチの誤りは、上述したように短い遅れのところに
生じたピークの方が、ピッチ周期のところのピークより
も高かったために生じたものが大部分である。また、ピ
ッチの取りこぼし、整数倍または、整数分の1等の誤っ
たピッチの検出も含まれる。これらは突発的に発生する
ものなのでこのような状態を回避することが必要とされ
る。
声信号のピッチ抽出においては、上述したようにセンタ
ックリップを施してから自己相関を求め確実にピッチを
捉えることが行われているが、この場合でさえ、図13の
Bに示すように明らかに誤りと分かる点が見られる。こ
のピッチの誤りは、上述したように短い遅れのところに
生じたピークの方が、ピッチ周期のところのピークより
も高かったために生じたものが大部分である。また、ピ
ッチの取りこぼし、整数倍または、整数分の1等の誤っ
たピッチの検出も含まれる。これらは突発的に発生する
ものなのでこのような状態を回避することが必要とされ
る。
【0008】そこで、本発明は、上記実情に鑑みてなさ
れたものであり、確実なピッチ抽出を行うことのできる
ピッチ抽出装置の提供を目的とする。
れたものであり、確実なピッチ抽出を行うことのできる
ピッチ抽出装置の提供を目的とする。
【0009】
【課題を解決するための手段】本発明に係るピッチ抽出
装置は、入力音声信号の一定時間のフレーム毎のピッチ
を検出するピッチ検出手段と、このピッチ検出手段によ
り検出された現在フレームのピッチを前後のフレームの
ピッチで平滑化する平滑化手段と、上記現在フレームの
ピッチと上記検出されたピッチに基づいて求められた代
替ピッチとを切換選択して出力する切換手段と、上記平
滑化手段からの出力と上記現在フレームのピッチとに基
づいて上記切換手段を切換制御する制御手段とを有する
ことを特徴として上記課題を解決する。
装置は、入力音声信号の一定時間のフレーム毎のピッチ
を検出するピッチ検出手段と、このピッチ検出手段によ
り検出された現在フレームのピッチを前後のフレームの
ピッチで平滑化する平滑化手段と、上記現在フレームの
ピッチと上記検出されたピッチに基づいて求められた代
替ピッチとを切換選択して出力する切換手段と、上記平
滑化手段からの出力と上記現在フレームのピッチとに基
づいて上記切換手段を切換制御する制御手段とを有する
ことを特徴として上記課題を解決する。
【0010】ここで、上記代替ピッチは上記平滑化手段
から得るようにしたりあるいは他の平滑化手段から得る
ようにしてもよい。
から得るようにしたりあるいは他の平滑化手段から得る
ようにしてもよい。
【0011】また、上記平滑化手段としては、現在フレ
ームのピッチの値、過去フレームのピッチの値及び未来
フレームのピッチの値の内の中央値を出力する回路、い
わゆるメディアンフィルタを用いたり、線形補間フィル
タ等の線形平滑化回路を用いてもよい。
ームのピッチの値、過去フレームのピッチの値及び未来
フレームのピッチの値の内の中央値を出力する回路、い
わゆるメディアンフィルタを用いたり、線形補間フィル
タ等の線形平滑化回路を用いてもよい。
【0012】
【作用】本発明に係るピッチ抽出装置は、ピッチ検出手
段が入力音声信号の一定時間のフレーム毎のピッチを検
出し、平滑化手段が現在フレームのピッチを前後のフレ
ームのピッチで平滑化し、切換手段が上記現在フレーム
のピッチと上記検出されたピッチに基づいて求められた
代替ピッチとを切換選択して出力し、制御手段が上記平
滑化手段からの出力と上記現在フレームのピッチとに基
づいて上記切換手段を切換制御することによって、異常
状態を検出することができ、確実なピッチを抽出でき
る。
段が入力音声信号の一定時間のフレーム毎のピッチを検
出し、平滑化手段が現在フレームのピッチを前後のフレ
ームのピッチで平滑化し、切換手段が上記現在フレーム
のピッチと上記検出されたピッチに基づいて求められた
代替ピッチとを切換選択して出力し、制御手段が上記平
滑化手段からの出力と上記現在フレームのピッチとに基
づいて上記切換手段を切換制御することによって、異常
状態を検出することができ、確実なピッチを抽出でき
る。
【0013】
【実施例】以下、本発明に係るピッチ抽出装置の実施例
を図面を参照しながら説明する。図1は、本発明に係る
ピッチ抽出装置の第1の実施例の機能ブロック図であ
る。
を図面を参照しながら説明する。図1は、本発明に係る
ピッチ抽出装置の第1の実施例の機能ブロック図であ
る。
【0014】この第1の実施例は、入力端子1を介して
供給される入力音声信号のフレーム毎にピッチを検出す
るピッチ検出部2と、このピッチ検出部2からのフレー
ム毎のピッチを平滑化する平滑化手段3と、上記ピッチ
検出部2からの現在フレームのピッチP0 (以下、現在
ピッチという)と上記平滑化手段3からの平滑化出力P
M とを切換選択して出力端子14から出力する切換部7
と、上記平滑化手段3からの平滑化出力PM と上記現在
フレームの現在ピッチP0 とに基づいて上記切換部7を
切換制御する制御手段6とを有する。
供給される入力音声信号のフレーム毎にピッチを検出す
るピッチ検出部2と、このピッチ検出部2からのフレー
ム毎のピッチを平滑化する平滑化手段3と、上記ピッチ
検出部2からの現在フレームのピッチP0 (以下、現在
ピッチという)と上記平滑化手段3からの平滑化出力P
M とを切換選択して出力端子14から出力する切換部7
と、上記平滑化手段3からの平滑化出力PM と上記現在
フレームの現在ピッチP0 とに基づいて上記切換部7を
切換制御する制御手段6とを有する。
【0015】上記ピッチ検出部2では、センタクリップ
波形の自己相関法を採用し、ピッチを検出している。こ
のセンタクリップ波形の自己相関法は、所定のサンプル
列毎にクリッピングレベルを設定し、このクリッピング
レベルを越えたセンタクリップ波形を自己相関処理し、
ピッチを求める方法である。具体的には、センタクリッ
プ波形を自己相関処理した後、現在フレームに属する自
己相関データから複数のピークを求めておき、これらの
複数のピークの内の最大ピークが所定の閾値以上のとき
には該最大ピークをピッチ周期とし、それ以外のときに
は、現在フレーム以外のフレーム、例えば前後のフレー
ムで求められたピッチに対して所定の関係を満たすピッ
チ範囲内、例えば前フレームのピッチを中心として80
%から120%の範囲内にあるピークを求め、このピー
ク位置に基づいて現在フレームのピッチを決定するよう
にしている。
波形の自己相関法を採用し、ピッチを検出している。こ
のセンタクリップ波形の自己相関法は、所定のサンプル
列毎にクリッピングレベルを設定し、このクリッピング
レベルを越えたセンタクリップ波形を自己相関処理し、
ピッチを求める方法である。具体的には、センタクリッ
プ波形を自己相関処理した後、現在フレームに属する自
己相関データから複数のピークを求めておき、これらの
複数のピークの内の最大ピークが所定の閾値以上のとき
には該最大ピークをピッチ周期とし、それ以外のときに
は、現在フレーム以外のフレーム、例えば前後のフレー
ムで求められたピッチに対して所定の関係を満たすピッ
チ範囲内、例えば前フレームのピッチを中心として80
%から120%の範囲内にあるピークを求め、このピー
ク位置に基づいて現在フレームのピッチを決定するよう
にしている。
【0016】上記平滑化手段3は、上記ピッチ検出部2
で検出されたフレーム毎のピッチをフレーム毎に遅延さ
せる遅延器4a及び4bと、該遅延器4a及び4bによ
りフレーム毎に遅延された各ピッチが供給され、平滑化
された値を出力する。この平滑化手段は、例えば入力さ
れた各ピッチの中央値を出力するようなメディアン(中
央値)フィルタが適用される。ここで、上記遅延器4a
及び4bにより、フレーム毎に遅延される現在ピッチP
0 、該現在フレームの前のフレームである過去フレーム
のピッチ(以下、過去ピッチという)P-1及び上記現在
フレームの後ろのフレームである未来フレームのピッチ
(以下、未来ピッチという)P1 は、メディアン選択出
力部5に供給される。そして、上記メディアン選択出力
部5は、上記現在ピッチP0 、過去ピッチP-1及び未来
ピッチP1 の内の中央値PM を選択し出力する。
で検出されたフレーム毎のピッチをフレーム毎に遅延さ
せる遅延器4a及び4bと、該遅延器4a及び4bによ
りフレーム毎に遅延された各ピッチが供給され、平滑化
された値を出力する。この平滑化手段は、例えば入力さ
れた各ピッチの中央値を出力するようなメディアン(中
央値)フィルタが適用される。ここで、上記遅延器4a
及び4bにより、フレーム毎に遅延される現在ピッチP
0 、該現在フレームの前のフレームである過去フレーム
のピッチ(以下、過去ピッチという)P-1及び上記現在
フレームの後ろのフレームである未来フレームのピッチ
(以下、未来ピッチという)P1 は、メディアン選択出
力部5に供給される。そして、上記メディアン選択出力
部5は、上記現在ピッチP0 、過去ピッチP-1及び未来
ピッチP1 の内の中央値PM を選択し出力する。
【0017】上記制御手段6は、上記現在ピッチP0 と
上記中央値PM の差を検出し、その絶対値|P0 −PM
|を出力する差分検出部11と、この差の絶対値|P0
−PM |と端子13から供給されている閾値Pt との大
小を比較する比較部12とからなる。
上記中央値PM の差を検出し、その絶対値|P0 −PM
|を出力する差分検出部11と、この差の絶対値|P0
−PM |と端子13から供給されている閾値Pt との大
小を比較する比較部12とからなる。
【0018】この比較部12での比較により、上記差の
絶対値|P0 −PM |が上記閾値Pt より大きい場合
は、異常であるとして上記切換部7を切換制御し、上記
中央値PM を代替値として出力させる。一方、上記差の
絶対値|P0 −PM |が上記閾値Pt より小さい場合
は、正常であるとして上記切換部6を切換制御し、上記
現在ピッチP0 を出力させる。
絶対値|P0 −PM |が上記閾値Pt より大きい場合
は、異常であるとして上記切換部7を切換制御し、上記
中央値PM を代替値として出力させる。一方、上記差の
絶対値|P0 −PM |が上記閾値Pt より小さい場合
は、正常であるとして上記切換部6を切換制御し、上記
現在ピッチP0 を出力させる。
【0019】次に、本第1の実施例の各部の具体的な構
成を図2に示し、動作を説明する。この図2において、
入力端子8には、上記現在ピッチP0 、過去ピッチP-1
及び未来ピッチP1 が供給される。これらの各ピッチP
0 、P-1及びP1 は、上記平滑化手段3の遅延器4a及
び4bによりフレーム毎に遅延され、乗算器9a、9b
及び9cで所定の係数が乗算され、加算器10で加算さ
れる。
成を図2に示し、動作を説明する。この図2において、
入力端子8には、上記現在ピッチP0 、過去ピッチP-1
及び未来ピッチP1 が供給される。これらの各ピッチP
0 、P-1及びP1 は、上記平滑化手段3の遅延器4a及
び4bによりフレーム毎に遅延され、乗算器9a、9b
及び9cで所定の係数が乗算され、加算器10で加算さ
れる。
【0020】例えば、上記平滑化手段3において、図示
しない中央値検出部の検出結果から上記各ピッチP1 、
P0 及びP-1の内の中央値となる一にだけ係数“1”を
乗算し、他には“0”を乗算する乗算器9a、9b及び
9cを用いれば、係数“1”が乗算されることにより得
られる中央値PM が平滑化手段3の出力となる。これに
より上記メディアンフィルタを作ることができる。そし
て、該中央値PM を上記制御手段6及び比較部7に供給
すればよい。
しない中央値検出部の検出結果から上記各ピッチP1 、
P0 及びP-1の内の中央値となる一にだけ係数“1”を
乗算し、他には“0”を乗算する乗算器9a、9b及び
9cを用いれば、係数“1”が乗算されることにより得
られる中央値PM が平滑化手段3の出力となる。これに
より上記メディアンフィルタを作ることができる。そし
て、該中央値PM を上記制御手段6及び比較部7に供給
すればよい。
【0021】上記制御手段6は、減算器である差分検出
部11と比較器である比較部12により構成されてい
る。該差分検出部11では、上記平滑化手段3の平滑化
出力である例えば上記中央値PM と、遅延器15によっ
て遅延されタイミングをとられた上記現在ピッチP0 と
が供給され、両者の差の絶対値を検出する。そして、検
出した|P0 −PM |を上記比較部12に供給する。上
記比較部12には、入力端子13を介して予め定められ
た閾値Pt が供給されている。この閾値Pt は、固定も
しくは上記平滑化出力(例えば中央値PM )により定め
られる。つまり、上記比較部12は、上記差分検出部1
1から供給された上記差の絶対値|P0 −PM |と上記
閾値Pt とを比較している。この比較の結果、上記差の
絶対値|P0 −PM |が上記閾値Pt より大きい場合
は、上記ピッチ検出部2により検出されたピッチが異常
であるという判断をする。一方、上記差の絶対値|P0
−PM|が上記閾値Pt より小さい場合は、上記ピッチ
検出部2により検出されたピッチが異常でないという判
断をする。これら異常の有無の判断は、比較部12の出
力として、上記切換部7の切換を制御する。上記切換部
7は、固定接点7a、7b及び可動接片7cからなる。
該固定接点7aには、上記平滑化出力(例えば中央値P
M )が供給され、該固定接点7bには、上記遅延器15
によって遅延された現在ピッチP0 が供給される。ま
た、該可動接片7cは、出力端子14に接続されてい
る。したがって、上記切換部7は、上記制御手段6の比
較部12からの異常の有無の判断による制御により、可
動接片7cを固定接点7aもしくは7bに接触させ、出
力端子14から上記平滑化出力(例えば中央値PM )も
しくは上記現在ピッチP0 を出力する。
部11と比較器である比較部12により構成されてい
る。該差分検出部11では、上記平滑化手段3の平滑化
出力である例えば上記中央値PM と、遅延器15によっ
て遅延されタイミングをとられた上記現在ピッチP0 と
が供給され、両者の差の絶対値を検出する。そして、検
出した|P0 −PM |を上記比較部12に供給する。上
記比較部12には、入力端子13を介して予め定められ
た閾値Pt が供給されている。この閾値Pt は、固定も
しくは上記平滑化出力(例えば中央値PM )により定め
られる。つまり、上記比較部12は、上記差分検出部1
1から供給された上記差の絶対値|P0 −PM |と上記
閾値Pt とを比較している。この比較の結果、上記差の
絶対値|P0 −PM |が上記閾値Pt より大きい場合
は、上記ピッチ検出部2により検出されたピッチが異常
であるという判断をする。一方、上記差の絶対値|P0
−PM|が上記閾値Pt より小さい場合は、上記ピッチ
検出部2により検出されたピッチが異常でないという判
断をする。これら異常の有無の判断は、比較部12の出
力として、上記切換部7の切換を制御する。上記切換部
7は、固定接点7a、7b及び可動接片7cからなる。
該固定接点7aには、上記平滑化出力(例えば中央値P
M )が供給され、該固定接点7bには、上記遅延器15
によって遅延された現在ピッチP0 が供給される。ま
た、該可動接片7cは、出力端子14に接続されてい
る。したがって、上記切換部7は、上記制御手段6の比
較部12からの異常の有無の判断による制御により、可
動接片7cを固定接点7aもしくは7bに接触させ、出
力端子14から上記平滑化出力(例えば中央値PM )も
しくは上記現在ピッチP0 を出力する。
【0022】具体的には、上記比較部12で上記閾値P
t よりも上記差の絶対値|P0 −PM |が大きいとき
(異常時)に、上記可動接片7cを上記固定接点7aに
接触させて、出力端子14からピッチの代替値である平
滑化出力(例えば中央値PM )を出力する。また、上記
比較部12で上記閾値Pt よりも上記差の絶対値|P0
−PM |が小さいとき(正常時)に、上記可動接片7c
を上記固定接点7bに接触させて、出力端子14から現
在ピッチP0 を出力する。
t よりも上記差の絶対値|P0 −PM |が大きいとき
(異常時)に、上記可動接片7cを上記固定接点7aに
接触させて、出力端子14からピッチの代替値である平
滑化出力(例えば中央値PM )を出力する。また、上記
比較部12で上記閾値Pt よりも上記差の絶対値|P0
−PM |が小さいとき(正常時)に、上記可動接片7c
を上記固定接点7bに接触させて、出力端子14から現
在ピッチP0 を出力する。
【0023】以上より、本発明に係るピッチ抽出装置の
第1の実施例は、現在ピッチを過去ピッチ及び未来ピッ
チで平滑化し、その平滑化出力(例えばメディアンフィ
ルタによる中央値出力)と現在ピッチとの差を予め定め
られた閾値と比較し、求めたピッチが異常であるか否か
を判断し、その判断に応じて上記平滑化出力と現在ピッ
チとを切り換え出力する。つまり、異常時には、上記平
滑化出力を代替値として出力することができる。
第1の実施例は、現在ピッチを過去ピッチ及び未来ピッ
チで平滑化し、その平滑化出力(例えばメディアンフィ
ルタによる中央値出力)と現在ピッチとの差を予め定め
られた閾値と比較し、求めたピッチが異常であるか否か
を判断し、その判断に応じて上記平滑化出力と現在ピッ
チとを切り換え出力する。つまり、異常時には、上記平
滑化出力を代替値として出力することができる。
【0024】ここで、上記平滑化手段には、上述したよ
うなメディアンフィルタの他に、一般の補間フィルタ、
例えばFIR(非巡回形)フィルタ等のような線形平滑
化フィルタを適用してもよい。
うなメディアンフィルタの他に、一般の補間フィルタ、
例えばFIR(非巡回形)フィルタ等のような線形平滑
化フィルタを適用してもよい。
【0025】次に、本発明に係るピッチ抽出装置の第2
の実施例を説明する。この第2の実施例は、検出したピ
ッチを異常と判断したときに、平滑化出力そのものを代
替値とするのではなく、該平滑化出力をさらに線形平滑
化フィルタで平滑化した値を代替値とする。図3に、こ
の第2の実施例の機能ブロック図を示すが、平滑化手段
としては、メディアンフィルタを適用している。
の実施例を説明する。この第2の実施例は、検出したピ
ッチを異常と判断したときに、平滑化出力そのものを代
替値とするのではなく、該平滑化出力をさらに線形平滑
化フィルタで平滑化した値を代替値とする。図3に、こ
の第2の実施例の機能ブロック図を示すが、平滑化手段
としては、メディアンフィルタを適用している。
【0026】この第2の実施例は、図3に示すように、
入力端子21を介して、図示しないピッチ検出部(図1
のピッチ検出部2)から供給されるフレーム毎の現在ピ
ッチP0 、過去ピッチP-1及び未来ピッチP1 から中央
となる値を選択出力するメディアンフィルタ22と、こ
のメディアンフィルタ22からの中央値Pm を線形平滑
化する線形平滑化フィルタ25と、上記現在ピッチP0
と上記線形平滑フィルタ25からの平滑化したピッチ値
(以下、平滑ピッチ値という)Pmtとを切換選択して出
力端子35から出力する切換部33と、上記メディアン
フィルタ22からの中央値Pm0と上記現在ピッチP0 と
に基づいて上記切換部33を切換制御する制御手段29
とを有する。
入力端子21を介して、図示しないピッチ検出部(図1
のピッチ検出部2)から供給されるフレーム毎の現在ピ
ッチP0 、過去ピッチP-1及び未来ピッチP1 から中央
となる値を選択出力するメディアンフィルタ22と、こ
のメディアンフィルタ22からの中央値Pm を線形平滑
化する線形平滑化フィルタ25と、上記現在ピッチP0
と上記線形平滑フィルタ25からの平滑化したピッチ値
(以下、平滑ピッチ値という)Pmtとを切換選択して出
力端子35から出力する切換部33と、上記メディアン
フィルタ22からの中央値Pm0と上記現在ピッチP0 と
に基づいて上記切換部33を切換制御する制御手段29
とを有する。
【0027】上記メディアンフィルタ22は、図示しな
いピッチ検出部で検出されたフレーム毎のピッチをフレ
ーム毎に遅延させる遅延器23a及び23bと、該遅延
器23a及び23bによりフレーム毎に遅延された現在
ピッチP0 、過去ピッチP-1及び未来ピッチP1 から中
央値Pm を選択出力するメディアン選択出力部24とか
らなる。
いピッチ検出部で検出されたフレーム毎のピッチをフレ
ーム毎に遅延させる遅延器23a及び23bと、該遅延
器23a及び23bによりフレーム毎に遅延された現在
ピッチP0 、過去ピッチP-1及び未来ピッチP1 から中
央値Pm を選択出力するメディアン選択出力部24とか
らなる。
【0028】上記線形平滑化フィルタ25は、上記メデ
ィアンフィルタ22からの中央値Pm を所定時間毎に遅
延させる遅延器26a及び26bと、該遅延器26a及
び26bにより遅延された中央ピッチ値の各値Pm1、P
m0及びPm(-1) に所定の係数を乗算する乗算器27a、
27b及び27cと、該乗算器27a、27b及び27
cからの各乗算値を加算する加算器28とからなる。
ィアンフィルタ22からの中央値Pm を所定時間毎に遅
延させる遅延器26a及び26bと、該遅延器26a及
び26bにより遅延された中央ピッチ値の各値Pm1、P
m0及びPm(-1) に所定の係数を乗算する乗算器27a、
27b及び27cと、該乗算器27a、27b及び27
cからの各乗算値を加算する加算器28とからなる。
【0029】上記切換部33は、遅延器34a及び34
bにより遅延され、タイミングを合わされた現在ピッチ
P0 が供給される固定接点33aと、上記線形平滑フィ
ルタ25からの平滑ピッチ値Pmtが供給される固定接点
33bと、出力端子35に接続された可動接片33cと
からなる。
bにより遅延され、タイミングを合わされた現在ピッチ
P0 が供給される固定接点33aと、上記線形平滑フィ
ルタ25からの平滑ピッチ値Pmtが供給される固定接点
33bと、出力端子35に接続された可動接片33cと
からなる。
【0030】上記制御手段29は、上記メディアンフィ
ルタ22からの中央値Pm が上記線形平滑化フィルタ2
5の遅延器26aにより遅延された中央ピッチ値Pm0と
該中央ピッチ値Pm0の遅延タイミングに合うように上記
遅延器34a及び34bにより遅延された現在ピッチP
0 との差を検出し、その絶対値|P0 −Pm0|を出力す
る差分検出部11と、この差の絶対値|P0 −Pm0|と
端子32から供給されている閾値Pt との大小を比較す
る比較部31とからなる。
ルタ22からの中央値Pm が上記線形平滑化フィルタ2
5の遅延器26aにより遅延された中央ピッチ値Pm0と
該中央ピッチ値Pm0の遅延タイミングに合うように上記
遅延器34a及び34bにより遅延された現在ピッチP
0 との差を検出し、その絶対値|P0 −Pm0|を出力す
る差分検出部11と、この差の絶対値|P0 −Pm0|と
端子32から供給されている閾値Pt との大小を比較す
る比較部31とからなる。
【0031】この比較部31での比較により、上記差の
絶対値|P0 −Pm0|が上記閾値Pt より大きい場合
は、異常であるとして上記切換部33を切換制御する。
すなわち、上記比較部31で上記閾値Pt よりも上記差
の絶対値|P0 −Pm0|が大きいとき(異常時)に、上
記可動接片33cを上記固定接点33aに接触させて、
出力端子35からピッチの代替値である上記平滑ピッチ
値Pmtを出力する。また、上記比較部31で上記閾値P
t よりも上記差の絶対値|P0 −Pm0|が小さいとき
(正常時)に、上記可動接片33cを上記固定接点33
bに接触させて、出力端子33から現在ピッチP0 を出
力する。
絶対値|P0 −Pm0|が上記閾値Pt より大きい場合
は、異常であるとして上記切換部33を切換制御する。
すなわち、上記比較部31で上記閾値Pt よりも上記差
の絶対値|P0 −Pm0|が大きいとき(異常時)に、上
記可動接片33cを上記固定接点33aに接触させて、
出力端子35からピッチの代替値である上記平滑ピッチ
値Pmtを出力する。また、上記比較部31で上記閾値P
t よりも上記差の絶対値|P0 −Pm0|が小さいとき
(正常時)に、上記可動接片33cを上記固定接点33
bに接触させて、出力端子33から現在ピッチP0 を出
力する。
【0032】以上より、本発明に係るピッチ抽出装置の
第2の実施例は、メディアンフィルタにより出力された
中央ピッチ値と現在ピッチとの差を予め定められた閾値
と比較し、求めたピッチが異常であるか否かを判断し、
その判断に応じて、上記中央ピッチ値をさらに平滑化し
た平滑ピッチ値と現在ピッチとを切り換え出力する。つ
まり、異常時には、上記中央ピッチ値をさらに平滑化し
た値を代替値として出力することができる。
第2の実施例は、メディアンフィルタにより出力された
中央ピッチ値と現在ピッチとの差を予め定められた閾値
と比較し、求めたピッチが異常であるか否かを判断し、
その判断に応じて、上記中央ピッチ値をさらに平滑化し
た平滑ピッチ値と現在ピッチとを切り換え出力する。つ
まり、異常時には、上記中央ピッチ値をさらに平滑化し
た値を代替値として出力することができる。
【0033】次に、本発明に係るピッチ抽出装置の第3
の実施例を説明する。この第3の実施例は、上述したメ
ディアンフィルタを異常検出のみに使用し、異常時には
現在ピッチを入力する線形平滑化フィルタの出力を代替
値とする。図4に、この第3の実施例の機能ブロック図
を示す。
の実施例を説明する。この第3の実施例は、上述したメ
ディアンフィルタを異常検出のみに使用し、異常時には
現在ピッチを入力する線形平滑化フィルタの出力を代替
値とする。図4に、この第3の実施例の機能ブロック図
を示す。
【0034】この第3の実施例は、図4に示すように、
入力端子41を介して、図示しないピッチ検出部から供
給されるフレーム毎の現在ピッチP0 、過去ピッチP-1
及び未来ピッチP1 から中央となる値を選択出力するメ
ディアンフィルタ42と、上記現在ピッチP0 を線形平
滑化する線形平滑フィルタ45と、上記現在ピッチP0
と上記線形平滑フィルタ45からの平滑値P0tとを切換
選択して出力端子56から出力する切換部54と、上記
メディアンフィルタ42からの中央ピッチ値Pm と上記
現在ピッチP0 とに基づいて上記切換部54を切換制御
する制御手段49とを有する。
入力端子41を介して、図示しないピッチ検出部から供
給されるフレーム毎の現在ピッチP0 、過去ピッチP-1
及び未来ピッチP1 から中央となる値を選択出力するメ
ディアンフィルタ42と、上記現在ピッチP0 を線形平
滑化する線形平滑フィルタ45と、上記現在ピッチP0
と上記線形平滑フィルタ45からの平滑値P0tとを切換
選択して出力端子56から出力する切換部54と、上記
メディアンフィルタ42からの中央ピッチ値Pm と上記
現在ピッチP0 とに基づいて上記切換部54を切換制御
する制御手段49とを有する。
【0035】上記メディアンフィルタ42は、遅延器4
3a及び43bと、該遅延器43a及び43bによりフ
レーム毎に遅延された現在ピッチP0 、過去ピッチP-1
及び未来ピッチP1 から中央ピッチ値Pm を選択出力す
るメディアン選択出力部44とからなる。
3a及び43bと、該遅延器43a及び43bによりフ
レーム毎に遅延された現在ピッチP0 、過去ピッチP-1
及び未来ピッチP1 から中央ピッチ値Pm を選択出力す
るメディアン選択出力部44とからなる。
【0036】上記線形平滑化フィルタ45は、遅延器4
6a及び46bと、該遅延器46a及び46bにより遅
延された現在ピッチP0 の各値P01、P00及びP0(-1)
に所定の係数を乗算する乗算器47a、47b及び47
cと、該乗算器47a、47b及び47cからの各乗算
値を加算する加算器48とからなる。
6a及び46bと、該遅延器46a及び46bにより遅
延された現在ピッチP0 の各値P01、P00及びP0(-1)
に所定の係数を乗算する乗算器47a、47b及び47
cと、該乗算器47a、47b及び47cからの各乗算
値を加算する加算器48とからなる。
【0037】上記切換部54は、遅延器55a及び55
bにより遅延され、タイミングを合わされた現在ピッチ
P0 が供給される固定接点54aと、上記線形平滑フィ
ルタ25からの平滑値P0tが供給される固定接点54b
と、出力端子56に接続された可動接片54cとからな
る。
bにより遅延され、タイミングを合わされた現在ピッチ
P0 が供給される固定接点54aと、上記線形平滑フィ
ルタ25からの平滑値P0tが供給される固定接点54b
と、出力端子56に接続された可動接片54cとからな
る。
【0038】上記制御手段49は、上記メディアンフィ
ルタ42からの中央値Pm と該中央値Pm の遅延タイミ
ングに合うように上記遅延器55a及び55bにより遅
延された現在ピッチP0 との差を検出し、その絶対値|
P0 −Pm |を出力する差分検出部50と、この差の絶
対値|P0 −Pm |と端子53から供給されている閾値
Pt との大小を比較する比較部52とからなる。
ルタ42からの中央値Pm と該中央値Pm の遅延タイミ
ングに合うように上記遅延器55a及び55bにより遅
延された現在ピッチP0 との差を検出し、その絶対値|
P0 −Pm |を出力する差分検出部50と、この差の絶
対値|P0 −Pm |と端子53から供給されている閾値
Pt との大小を比較する比較部52とからなる。
【0039】この比較部49での比較により、上記差の
絶対値|P0 −Pm |が上記閾値Pt より大きい場合
は、異常であるとして上記切換部54を切換制御する。
すなわち、上記比較部49で上記閾値Pt よりも上記差
の絶対値|P0 −Pm |が大きいとき(異常時)に、上
記可動接片54cを上記固定接点54aに接触させて、
出力端子56からピッチの代替値である上記平滑ピッチ
値P0tを出力する。また、上記比較部52で上記閾値P
t よりも上記差の絶対値|P0 −Pm |が小さいとき
(正常時)に、上記可動接片54cを上記固定接点54
bに接触させて、出力端子56から現在ピッチP0 を出
力する。
絶対値|P0 −Pm |が上記閾値Pt より大きい場合
は、異常であるとして上記切換部54を切換制御する。
すなわち、上記比較部49で上記閾値Pt よりも上記差
の絶対値|P0 −Pm |が大きいとき(異常時)に、上
記可動接片54cを上記固定接点54aに接触させて、
出力端子56からピッチの代替値である上記平滑ピッチ
値P0tを出力する。また、上記比較部52で上記閾値P
t よりも上記差の絶対値|P0 −Pm |が小さいとき
(正常時)に、上記可動接片54cを上記固定接点54
bに接触させて、出力端子56から現在ピッチP0 を出
力する。
【0040】以上より、本発明に係るピッチ抽出装置の
第3の実施例は、メディアンフィルタにより出力された
中央ピッチ値と現在ピッチとの差を予め定められた閾値
と比較し、求めたピッチが異常であるか否かを判断し、
その判断に応じて、現在ピッチをさらに平滑化した値と
現在ピッチとを切り換え出力する。つまり、異常時に
は、上記現在値をさらに平滑化した値を代替値として出
力することができる。
第3の実施例は、メディアンフィルタにより出力された
中央ピッチ値と現在ピッチとの差を予め定められた閾値
と比較し、求めたピッチが異常であるか否かを判断し、
その判断に応じて、現在ピッチをさらに平滑化した値と
現在ピッチとを切り換え出力する。つまり、異常時に
は、上記現在値をさらに平滑化した値を代替値として出
力することができる。
【0041】次に、本発明に係るピッチ抽出装置を、音
声信号の合成分析符号化装置(いわゆるボコーダ)の一
種であるMBE(Multiband Excitation: マルチバンド
励起)ボコーダのピッチ抽出のために用いた具体例につ
いて、図面を参照しながら説明する。このMBEボコー
ダは、D . W . Griffin and J . S . Lim,"MultibandEx
citation Vocoder," IEEE Trans.Acoustics,Speech,and
Signal Processing,vol.36, No.8, pp.1223-1235, Au
g.1988 に開示されているものであり、従来のPARC
OR(PARtial auto-CORrelation: 偏自己相関)ボコー
ダ等では、音声のモデル化の際に有声音区間と無声音区
間とをブロックあるいはフレーム毎に切り換えていたの
に対し、MBEボコーダでは、同時刻(同じブロックあ
るいはフレーム内)の周波数軸領域に有声音(Voiced)
区間と無声音(Unvoiced)区間とが存在するという仮定
でモデル化している。
声信号の合成分析符号化装置(いわゆるボコーダ)の一
種であるMBE(Multiband Excitation: マルチバンド
励起)ボコーダのピッチ抽出のために用いた具体例につ
いて、図面を参照しながら説明する。このMBEボコー
ダは、D . W . Griffin and J . S . Lim,"MultibandEx
citation Vocoder," IEEE Trans.Acoustics,Speech,and
Signal Processing,vol.36, No.8, pp.1223-1235, Au
g.1988 に開示されているものであり、従来のPARC
OR(PARtial auto-CORrelation: 偏自己相関)ボコー
ダ等では、音声のモデル化の際に有声音区間と無声音区
間とをブロックあるいはフレーム毎に切り換えていたの
に対し、MBEボコーダでは、同時刻(同じブロックあ
るいはフレーム内)の周波数軸領域に有声音(Voiced)
区間と無声音(Unvoiced)区間とが存在するという仮定
でモデル化している。
【0042】図5は、上記MBEボコーダの全体の概略
構成を示すブロック図である。この図5において、入力
端子101には音声信号が供給されるようになってお
り、この入力音声信号は、HPF(ハイパスフィルタ)
等のフィルタ102に送られて、いわゆるDC(直流)
オフセット分の除去や帯域制限(例えば200〜340
0Hzに制限)のための少なくとも低域成分(200Hz以
下)の除去が行われる。このフィルタ102を介して得
られた信号は、ピッチ抽出部103及び窓かけ処理部1
04にそれぞれ送られる。ピッチ抽出部103では、入
力音声信号データが所定サンプル数N(例えばN=25
6)単位でブロック分割され(あるいは方形窓による切
り出しが行われ)、このブロック内の音声信号について
のピッチ抽出が行われる。このような切り出しブロック
(256サンプル)を、例えば図6のAに示すようにL
サンプル(例えばL=160)のフレーム間隔で時間軸
方向に移動させており、各ブロック間のオーバラップは
N−Lサンプル(例えば96サンプル)となっている。
また、窓かけ処理部104では、1ブロックNサンプル
に対して所定の窓関数、例えばハミング窓をかけ、この
窓かけブロックを1フレームLサンプルの間隔で時間軸
方向に順次移動させている。
構成を示すブロック図である。この図5において、入力
端子101には音声信号が供給されるようになってお
り、この入力音声信号は、HPF(ハイパスフィルタ)
等のフィルタ102に送られて、いわゆるDC(直流)
オフセット分の除去や帯域制限(例えば200〜340
0Hzに制限)のための少なくとも低域成分(200Hz以
下)の除去が行われる。このフィルタ102を介して得
られた信号は、ピッチ抽出部103及び窓かけ処理部1
04にそれぞれ送られる。ピッチ抽出部103では、入
力音声信号データが所定サンプル数N(例えばN=25
6)単位でブロック分割され(あるいは方形窓による切
り出しが行われ)、このブロック内の音声信号について
のピッチ抽出が行われる。このような切り出しブロック
(256サンプル)を、例えば図6のAに示すようにL
サンプル(例えばL=160)のフレーム間隔で時間軸
方向に移動させており、各ブロック間のオーバラップは
N−Lサンプル(例えば96サンプル)となっている。
また、窓かけ処理部104では、1ブロックNサンプル
に対して所定の窓関数、例えばハミング窓をかけ、この
窓かけブロックを1フレームLサンプルの間隔で時間軸
方向に順次移動させている。
【0043】このような窓かけ処理を数式で表すと、 xw (k,q) =x(q) w(kL-q) ・・・(1) となる。この(1)式において、kはブロック番号を、
qはデータの時間インデックス(サンプル番号)を表
し、処理前の入力信号のq番目のデータx(q) に対して
第kブロックの窓(ウィンドウ)関数w(kL-q)により窓
かけ処理されることによりデータxw (k,q) が得られる
ことを示している。ピッチ抽出部103内での図6のA
に示すような方形窓の場合の窓関数wr (r) は、 wr (r) =1 0≦r<N ・・・(2) =0 r<0,N≦r また、窓かけ処理部104での図6のBに示すようなハ
ミング窓の場合の窓関数wh (r) は、 wh (r) = 0.54 − 0.46 cos(2πr/(N-1)) 0≦r<N ・・・(3) =0 r<0,N≦r である。このような窓関数wr (r) あるいはwh (r) を
用いるときの上記(1)式の窓関数w(r) (=w(kL-
q))の否零区間は、 0≦kL−q<N これを変形して、 kL−N<q≦kL 従って、例えば上記方形窓の場合に窓関数wr (kL-q)=
1となるのは、図7に示すように、kL−N<q≦kL
のときとなる。また、上記(1)〜(3)式は、長さN
(=256)サンプルの窓が、L(=160)サンプル
ずつ前進してゆくことを示している。以下、上記(2)
式、(3)式の各窓関数で切り出された各N点(0≦r
<N)の否零サンプル列を、それぞれxwr(k,r) 、xwh
(k,r) と表すことにする。
qはデータの時間インデックス(サンプル番号)を表
し、処理前の入力信号のq番目のデータx(q) に対して
第kブロックの窓(ウィンドウ)関数w(kL-q)により窓
かけ処理されることによりデータxw (k,q) が得られる
ことを示している。ピッチ抽出部103内での図6のA
に示すような方形窓の場合の窓関数wr (r) は、 wr (r) =1 0≦r<N ・・・(2) =0 r<0,N≦r また、窓かけ処理部104での図6のBに示すようなハ
ミング窓の場合の窓関数wh (r) は、 wh (r) = 0.54 − 0.46 cos(2πr/(N-1)) 0≦r<N ・・・(3) =0 r<0,N≦r である。このような窓関数wr (r) あるいはwh (r) を
用いるときの上記(1)式の窓関数w(r) (=w(kL-
q))の否零区間は、 0≦kL−q<N これを変形して、 kL−N<q≦kL 従って、例えば上記方形窓の場合に窓関数wr (kL-q)=
1となるのは、図7に示すように、kL−N<q≦kL
のときとなる。また、上記(1)〜(3)式は、長さN
(=256)サンプルの窓が、L(=160)サンプル
ずつ前進してゆくことを示している。以下、上記(2)
式、(3)式の各窓関数で切り出された各N点(0≦r
<N)の否零サンプル列を、それぞれxwr(k,r) 、xwh
(k,r) と表すことにする。
【0044】窓かけ処理部104では、図8に示すよう
に、上記(3)式のハミング窓がかけられた1ブロック
256サンプルのサンプル列xwh(k,r) に対して179
2サンプル分の0データが付加されて(いわゆる0詰め
されて)2048サンプルとされ、この2048サンプ
ルの時間軸データ列に対して、直交変換部105により
例えばFFT(高速フーリエ変換)等の直交変換処理が
施される。
に、上記(3)式のハミング窓がかけられた1ブロック
256サンプルのサンプル列xwh(k,r) に対して179
2サンプル分の0データが付加されて(いわゆる0詰め
されて)2048サンプルとされ、この2048サンプ
ルの時間軸データ列に対して、直交変換部105により
例えばFFT(高速フーリエ変換)等の直交変換処理が
施される。
【0045】ピッチ抽出部103では、上記xwr(k,r)
のサンプル列(1ブロックNサンプル)に基づいてピッ
チ抽出が行われる。このピッチ抽出法には、時間波形の
周期性や、スペクトルの周期的周波数構造や、自己相関
関数を用いるもの等が知られているが、本実施例では、
センタクリップ波形の自己相関法を採用している。この
ときのブロック内でのセンタクリップレベルについて
は、1ブロックにつき1つのクリップレベルを設定して
もよいが、ブロックを細分割した各部(各サブブロッ
ク)の信号のピークレベル等を検出し、これらの各サブ
ブロックのピークレベル等の差が大きいときに、ブロッ
ク内でクリップレベルを段階的にあるいは連続的に変化
させるようにしている。このセンタクリップ波形の自己
相関データのピーク位置に基づいてピーク周期を決めて
いる。このとき、現在フレームに属する自己相関データ
(自己相関は1ブロックNサンプルのデータを対象とし
て求められる)から複数のピークを求めておき、これら
の複数のピークの内の最大ピークが所定の閾値以上のと
きには該最大ピーク位置をピッチ周期とし、それ以外の
ときには、現在フレーム以外のフレーム、例えば前後の
フレームで求められたピッチに対して所定の関係を満た
すピッチ範囲内、例えば前フレームのピッチを中心とし
て±20%の範囲内にあるピークを求め、このピーク位
置に基づいて現在フレームのピッチを決定するようにし
ている。
のサンプル列(1ブロックNサンプル)に基づいてピッ
チ抽出が行われる。このピッチ抽出法には、時間波形の
周期性や、スペクトルの周期的周波数構造や、自己相関
関数を用いるもの等が知られているが、本実施例では、
センタクリップ波形の自己相関法を採用している。この
ときのブロック内でのセンタクリップレベルについて
は、1ブロックにつき1つのクリップレベルを設定して
もよいが、ブロックを細分割した各部(各サブブロッ
ク)の信号のピークレベル等を検出し、これらの各サブ
ブロックのピークレベル等の差が大きいときに、ブロッ
ク内でクリップレベルを段階的にあるいは連続的に変化
させるようにしている。このセンタクリップ波形の自己
相関データのピーク位置に基づいてピーク周期を決めて
いる。このとき、現在フレームに属する自己相関データ
(自己相関は1ブロックNサンプルのデータを対象とし
て求められる)から複数のピークを求めておき、これら
の複数のピークの内の最大ピークが所定の閾値以上のと
きには該最大ピーク位置をピッチ周期とし、それ以外の
ときには、現在フレーム以外のフレーム、例えば前後の
フレームで求められたピッチに対して所定の関係を満た
すピッチ範囲内、例えば前フレームのピッチを中心とし
て±20%の範囲内にあるピークを求め、このピーク位
置に基づいて現在フレームのピッチを決定するようにし
ている。
【0046】このピッチ抽出部103ではオープンルー
プによる比較的ラフなピッチのサーチが行われ、抽出さ
れたピッチデータは高精度(ファイン)ピッチサーチ部
106に送られて、クローズドループによる高精度のピ
ッチサーチ(ピッチのファインサーチ)が行われる。
プによる比較的ラフなピッチのサーチが行われ、抽出さ
れたピッチデータは高精度(ファイン)ピッチサーチ部
106に送られて、クローズドループによる高精度のピ
ッチサーチ(ピッチのファインサーチ)が行われる。
【0047】高精度(ファイン)ピッチサーチ部106
には、ピッチ抽出部103で抽出された整数(インテジ
ャー)値の粗(ラフ)ピッチデータと、直交変換部10
5により例えばFFTされた周波数軸上のデータとが供
給されている。この高精度ピッチサーチ部106では、
上記粗ピッチデータ値を中心に、0.2〜0.5きざみで±
数サンプルずつ振って、最適な小数点付き(フローティ
ング)のファインピッチデータの値へ追い込む。このと
きのファインサーチの手法として、いわゆる合成による
分析 (Analysis by Synthesis)法を用い、合成されたパ
ワースペクトルが原音のパワースペクトルに最も近くな
るようにピッチを選んでいる。
には、ピッチ抽出部103で抽出された整数(インテジ
ャー)値の粗(ラフ)ピッチデータと、直交変換部10
5により例えばFFTされた周波数軸上のデータとが供
給されている。この高精度ピッチサーチ部106では、
上記粗ピッチデータ値を中心に、0.2〜0.5きざみで±
数サンプルずつ振って、最適な小数点付き(フローティ
ング)のファインピッチデータの値へ追い込む。このと
きのファインサーチの手法として、いわゆる合成による
分析 (Analysis by Synthesis)法を用い、合成されたパ
ワースペクトルが原音のパワースペクトルに最も近くな
るようにピッチを選んでいる。
【0048】このピッチのファインサーチについて説明
する。先ず、上記MBEボコーダにおいては、上記FF
T等により直交変換された周波数軸上のスペクトルデー
タとしてのS(j) を S(j) =H(j) |E(j) | 0<j<J ・・・(4) と表現するようなモデルを想定している。ここで、Jは
πωs =fs /2に対応し、サンプリング周波数fs =
2πωs が例えば8kHzのときには4kHzに対応する。
上記(4)式中において、周波数軸上のスペクトルデー
タS(j) が図9のAに示すような波形のとき、H(j)
は、図9のBに示すような元のスペクトルデータS(j)
のスペクトル包絡線(エンベロープ)を示し、E(j)
は、図9のCに示すような等レベルで周期的な励起信号
(エキサイテイション)のスペクトルを示している。す
なわち、FFTスペクトルS(j) は、スペクトルエンベ
ロープH(j) と励起信号のパワースペクトル|E(j) |
との積としてモデル化される。
する。先ず、上記MBEボコーダにおいては、上記FF
T等により直交変換された周波数軸上のスペクトルデー
タとしてのS(j) を S(j) =H(j) |E(j) | 0<j<J ・・・(4) と表現するようなモデルを想定している。ここで、Jは
πωs =fs /2に対応し、サンプリング周波数fs =
2πωs が例えば8kHzのときには4kHzに対応する。
上記(4)式中において、周波数軸上のスペクトルデー
タS(j) が図9のAに示すような波形のとき、H(j)
は、図9のBに示すような元のスペクトルデータS(j)
のスペクトル包絡線(エンベロープ)を示し、E(j)
は、図9のCに示すような等レベルで周期的な励起信号
(エキサイテイション)のスペクトルを示している。す
なわち、FFTスペクトルS(j) は、スペクトルエンベ
ロープH(j) と励起信号のパワースペクトル|E(j) |
との積としてモデル化される。
【0049】上記励起信号のパワースペクトル|E(j)
|は、上記ピッチに応じて決定される周波数軸上の波形
の周期性(ピッチ構造)を考慮して、1つの帯域(バン
ド)の波形に相当するスペクトル波形を周波数軸上の各
バンド毎に繰り返すように配列することにより形成され
る。この1バンド分の波形は、例えば上記図8に示すよ
うな256サンプルのハミング窓関数に1792サンプ
ル分の0データを付加(0詰め)した波形を時間軸信号
と見なしてFFTし、得られた周波数軸上のある帯域幅
を持つインパルス波形を上記ピッチに応じて切り出すこ
とにより形成することができる。
|は、上記ピッチに応じて決定される周波数軸上の波形
の周期性(ピッチ構造)を考慮して、1つの帯域(バン
ド)の波形に相当するスペクトル波形を周波数軸上の各
バンド毎に繰り返すように配列することにより形成され
る。この1バンド分の波形は、例えば上記図8に示すよ
うな256サンプルのハミング窓関数に1792サンプ
ル分の0データを付加(0詰め)した波形を時間軸信号
と見なしてFFTし、得られた周波数軸上のある帯域幅
を持つインパルス波形を上記ピッチに応じて切り出すこ
とにより形成することができる。
【0050】次に、上記ピッチに応じて分割された各バ
ンド毎に、上記H(j) を代表させるような(各バンド毎
のエラーを最小化するような)値(一種の振幅)|Am
|を求める。ここで、例えば第mバンド(第m高調波の
帯域)の下限、上限の点をそれぞれam 、bm とすると
き、この第mバンドのエラーεm は、
ンド毎に、上記H(j) を代表させるような(各バンド毎
のエラーを最小化するような)値(一種の振幅)|Am
|を求める。ここで、例えば第mバンド(第m高調波の
帯域)の下限、上限の点をそれぞれam 、bm とすると
き、この第mバンドのエラーεm は、
【0051】
【数1】 で表せる。このエラーεm を最小化するような|Am |
は、
は、
【0052】
【数2】 となり、この(6)式の|Am |のとき、エラーεm を
最小化する。このような振幅|Am |を各バンド毎に求
め、得られた各振幅|Am |を用いて上記(5)式で定
義された各バンド毎のエラーεm を求める。次に、この
ような各バンド毎のエラーεm の全バンドの総和値Σε
m を求める。さらに、このような全バンドのエラー総和
値Σεm を、いくつかの微小に異なるピッチについて求
め、エラー総和値Σεm が最小となるようなピッチを求
める。
最小化する。このような振幅|Am |を各バンド毎に求
め、得られた各振幅|Am |を用いて上記(5)式で定
義された各バンド毎のエラーεm を求める。次に、この
ような各バンド毎のエラーεm の全バンドの総和値Σε
m を求める。さらに、このような全バンドのエラー総和
値Σεm を、いくつかの微小に異なるピッチについて求
め、エラー総和値Σεm が最小となるようなピッチを求
める。
【0053】すなわち、上記ピッチ抽出部103で求め
られたラフピッチを中心として、例えば 0.25 きざみで
上下に数種類ずつ用意する。これらの複数種類の微小に
異なるピッチの各ピッチに対してそれぞれ上記エラー総
和値Σεm を求める。この場合、ピッチが定まるとバン
ド幅が決まり、上記(6)式より、周波数軸上データの
パワースペクトル|S(j) |と励起信号スペクトル|E
(j) |とを用いて上記(5)式のエラーεm を求め、そ
の全バンドの総和値Σεm を求めることができる。この
エラー総和値Σεm を各ピッチ毎に求め、最小となるエ
ラー総和値に対応するピッチを最適のピッチとして決定
するわけである。以上のようにして高精度ピッチサーチ
部106で最適のファイン(例えば 0.25 きざみ)ピッ
チが求められ、この最適ピッチに対応する振幅|Am |
が決定される。
られたラフピッチを中心として、例えば 0.25 きざみで
上下に数種類ずつ用意する。これらの複数種類の微小に
異なるピッチの各ピッチに対してそれぞれ上記エラー総
和値Σεm を求める。この場合、ピッチが定まるとバン
ド幅が決まり、上記(6)式より、周波数軸上データの
パワースペクトル|S(j) |と励起信号スペクトル|E
(j) |とを用いて上記(5)式のエラーεm を求め、そ
の全バンドの総和値Σεm を求めることができる。この
エラー総和値Σεm を各ピッチ毎に求め、最小となるエ
ラー総和値に対応するピッチを最適のピッチとして決定
するわけである。以上のようにして高精度ピッチサーチ
部106で最適のファイン(例えば 0.25 きざみ)ピッ
チが求められ、この最適ピッチに対応する振幅|Am |
が決定される。
【0054】以上ピッチのファインサーチの説明におい
ては、説明を簡略化するために、全バンドが有声音(Vo
iced)の場合を想定しているが、上述したようにMBE
ボコーダにおいては、同時刻の周波数軸上に無声音(Un
voiced)領域が存在するというモデルを採用しているこ
とから、上記各バンド毎に有声音/無声音の判別を行う
ことが必要とされる。
ては、説明を簡略化するために、全バンドが有声音(Vo
iced)の場合を想定しているが、上述したようにMBE
ボコーダにおいては、同時刻の周波数軸上に無声音(Un
voiced)領域が存在するというモデルを採用しているこ
とから、上記各バンド毎に有声音/無声音の判別を行う
ことが必要とされる。
【0055】上記高精度ピッチサーチ部106からの最
適ピッチ及び振幅|Am |のデータは、有声音/無声音
判別部107に送られ、上記各バンド毎に有声音/無声
音の判別が行われる。この判別のために、NSR(ノイ
ズtoシグナル比)を利用する。すなわち、第mバンド
のNSRは、
適ピッチ及び振幅|Am |のデータは、有声音/無声音
判別部107に送られ、上記各バンド毎に有声音/無声
音の判別が行われる。この判別のために、NSR(ノイ
ズtoシグナル比)を利用する。すなわち、第mバンド
のNSRは、
【0056】
【数3】 と表せ、このNSR値が所定の閾値(例えば0.3)より
大のとき(エラーが大きい)ときには、そのバンドでの
|Am ||E(j) |による|S(j) |の近似が良くない
(上記励起信号|E(j) |が基底として不適当である)
と判断でき、当該バンドをUV(Unvoiced、無声音)と
判別する。これ以外のときは、近似がある程度良好に行
われていると判断でき、そのバンドをV(Voiced、有声
音)と判別する。
大のとき(エラーが大きい)ときには、そのバンドでの
|Am ||E(j) |による|S(j) |の近似が良くない
(上記励起信号|E(j) |が基底として不適当である)
と判断でき、当該バンドをUV(Unvoiced、無声音)と
判別する。これ以外のときは、近似がある程度良好に行
われていると判断でき、そのバンドをV(Voiced、有声
音)と判別する。
【0057】次に、振幅再評価部108には、直交変換
部105からの周波数軸上データ、高精度ピッチサーチ
部106からのファインピッチと評価された振幅|Am
|との各データ、及び上記有声音/無声音判別部107
からのV/UV(有声音/無声音)判別データが供給さ
れている。この振幅再評価部108では、有声音/無声
音判別部107において無声音(UV)と判別されたバ
ンドに関して、再度振幅を求めている。このUVのバン
ドについての振幅|Am |UVは、
部105からの周波数軸上データ、高精度ピッチサーチ
部106からのファインピッチと評価された振幅|Am
|との各データ、及び上記有声音/無声音判別部107
からのV/UV(有声音/無声音)判別データが供給さ
れている。この振幅再評価部108では、有声音/無声
音判別部107において無声音(UV)と判別されたバ
ンドに関して、再度振幅を求めている。このUVのバン
ドについての振幅|Am |UVは、
【0058】
【数4】 にて求められる。
【0059】この振幅再評価部108からのデータは、
データ数変換(一種のサンプリングレート変換)部10
9に送られる。このデータ数変換部109は、上記ピッ
チに応じて周波数軸上での分割帯域数が異なり、データ
数(特に振幅データの数)が異なることを考慮して、一
定の個数にするためのものである。すなわち、例えば有
効帯域を3400kHzまでとすると、この有効帯域が上
記ピッチに応じて、8バンド〜63バンドに分割される
ことになり、これらの各バンド毎に得られる上記振幅|
Am |(UVバンドの振幅|Am |UVも含む)データの
個数mMX+1も8〜63と変化することになる。このため
データ数変換部109では、この可変個数mMX+1の振幅
データを一定個数NC (例えば44個)のデータに変換
している。
データ数変換(一種のサンプリングレート変換)部10
9に送られる。このデータ数変換部109は、上記ピッ
チに応じて周波数軸上での分割帯域数が異なり、データ
数(特に振幅データの数)が異なることを考慮して、一
定の個数にするためのものである。すなわち、例えば有
効帯域を3400kHzまでとすると、この有効帯域が上
記ピッチに応じて、8バンド〜63バンドに分割される
ことになり、これらの各バンド毎に得られる上記振幅|
Am |(UVバンドの振幅|Am |UVも含む)データの
個数mMX+1も8〜63と変化することになる。このため
データ数変換部109では、この可変個数mMX+1の振幅
データを一定個数NC (例えば44個)のデータに変換
している。
【0060】ここで上記MBEでは、周波数軸上の有効
帯域1ブロック分の振幅データに対して、ブロック内の
最後のデータからブロック内の最初のデータまでの値を
補間するようなダミーデータを付加してデータ個数をN
F 個に拡大した後、帯域制限型のKOS倍(例えば8倍)
のオーバーサンプリングを施すことによりKOS倍の個数
の振幅データを求め、このKOS倍の個数(( mMX+1) ×
KOS個)の振幅データを直線補間してさらに多くのNM
個(例えば2048個)に拡張し、このNM 個のデータ
を間引いて上記一定個数NC (例えば44個)のデータ
に変換する。
帯域1ブロック分の振幅データに対して、ブロック内の
最後のデータからブロック内の最初のデータまでの値を
補間するようなダミーデータを付加してデータ個数をN
F 個に拡大した後、帯域制限型のKOS倍(例えば8倍)
のオーバーサンプリングを施すことによりKOS倍の個数
の振幅データを求め、このKOS倍の個数(( mMX+1) ×
KOS個)の振幅データを直線補間してさらに多くのNM
個(例えば2048個)に拡張し、このNM 個のデータ
を間引いて上記一定個数NC (例えば44個)のデータ
に変換する。
【0061】このデータ数変換部109からのデータ
(上記一定個数NC の振幅データ)がベクトル量子化部
110に送られて、所定個数のデータ毎にまとめられて
ベクトルとされ、ベクトル量子化が施される。ベクトル
量子化部110からの量子化出力データは、出力端子1
11を介して取り出される。また、上記高精度のピッチ
サーチ部106からの高精度(ファイン)ピッチデータ
は、ピッチ符号化部115で符号化され、出力端子11
2を介して取り出される。さらに、上記有声音/無声音
判別部107からの有声音/無声音(V/UV)判別デ
ータは、出力端子113を介して取り出される。これら
の各出力端子111〜113からのデータは、所定の伝
送フォーマットの信号とされて伝送される。
(上記一定個数NC の振幅データ)がベクトル量子化部
110に送られて、所定個数のデータ毎にまとめられて
ベクトルとされ、ベクトル量子化が施される。ベクトル
量子化部110からの量子化出力データは、出力端子1
11を介して取り出される。また、上記高精度のピッチ
サーチ部106からの高精度(ファイン)ピッチデータ
は、ピッチ符号化部115で符号化され、出力端子11
2を介して取り出される。さらに、上記有声音/無声音
判別部107からの有声音/無声音(V/UV)判別デ
ータは、出力端子113を介して取り出される。これら
の各出力端子111〜113からのデータは、所定の伝
送フォーマットの信号とされて伝送される。
【0062】なお、これらの各データは、上記Nサンプ
ル(例えば256サンプル)のブロック内のデータに対
して処理を施すことにより得られるものであるが、ブロ
ックは時間軸上を上記Lサンプルのフレームを単位とし
て前進することから、伝送するデータは上記フレーム単
位で得られる。すなわち、上記フレーム周期でピッチデ
ータ、V/UV判別データ、振幅データが更新されるこ
とになる。
ル(例えば256サンプル)のブロック内のデータに対
して処理を施すことにより得られるものであるが、ブロ
ックは時間軸上を上記Lサンプルのフレームを単位とし
て前進することから、伝送するデータは上記フレーム単
位で得られる。すなわち、上記フレーム周期でピッチデ
ータ、V/UV判別データ、振幅データが更新されるこ
とになる。
【0063】次に、伝送されて得られた上記各データに
基づき音声信号を合成するための合成側(デコード側)
の概略構成について、図10を参照しながら説明する。こ
の図10において、入力端子121には上記ベクトル量子
化された振幅データが、入力端子122には上記符号化
されたピッチデータが、また入力端子123には上記V
/UV判別データがそれぞれ供給される。入力端子12
1からの量子化振幅データは、逆ベクトル量子化部12
4に送られて逆量子化され、データ数逆変換部125に
送られて逆変換され、得られた振幅データが有声音合成
部126及び無声音合成部127に送られる。入力端子
122からの符号化ピッチデータは、ピッチ復号化部1
28で復号化され、データ数逆変換部125、有声音合
成部126及び無声音合成部127に送られる。また入
力端子123からのV/UV判別データは、有声音合成
部126及び無声音合成部127に送られる。
基づき音声信号を合成するための合成側(デコード側)
の概略構成について、図10を参照しながら説明する。こ
の図10において、入力端子121には上記ベクトル量子
化された振幅データが、入力端子122には上記符号化
されたピッチデータが、また入力端子123には上記V
/UV判別データがそれぞれ供給される。入力端子12
1からの量子化振幅データは、逆ベクトル量子化部12
4に送られて逆量子化され、データ数逆変換部125に
送られて逆変換され、得られた振幅データが有声音合成
部126及び無声音合成部127に送られる。入力端子
122からの符号化ピッチデータは、ピッチ復号化部1
28で復号化され、データ数逆変換部125、有声音合
成部126及び無声音合成部127に送られる。また入
力端子123からのV/UV判別データは、有声音合成
部126及び無声音合成部127に送られる。
【0064】有声音合成部126では例えば余弦(cosin
e)波合成により時間軸上の有声音波形を合成し、無声音
合成部127では例えばホワイトノイズをバンドパスフ
ィルタでフィルタリングして時間軸上の無声音波形を合
成し、これらの各有声音合成波形と無声音合成波形とを
加算部129で加算合成して、出力端子130より取り
出すようにしている。この場合、上記振幅データ、ピッ
チデータ及びV/UV判別データは、上記分析時の1フ
レーム(Lサンプル、例えば160サンプル)毎に更新
されて与えられるが、フレーム間の連続性を高める(円
滑化する)ために、上記振幅データやピッチデータの各
値を1フレーム中の例えば中心位置における各データ値
とし、次のフレームの中心位置までの間(合成時の1フ
レーム)の各データ値を補間により求める。すなわち、
合成時の1フレーム(例えば上記分析フレームの中心か
ら次の分析フレームの中心まで)において、先端サンプ
ル点での各データ値と終端(次の合成フレームの先端)
サンプル点での各データ値とが与えられ、これらのサン
プル点間の各データ値を補間により求めるようにしてい
る。
e)波合成により時間軸上の有声音波形を合成し、無声音
合成部127では例えばホワイトノイズをバンドパスフ
ィルタでフィルタリングして時間軸上の無声音波形を合
成し、これらの各有声音合成波形と無声音合成波形とを
加算部129で加算合成して、出力端子130より取り
出すようにしている。この場合、上記振幅データ、ピッ
チデータ及びV/UV判別データは、上記分析時の1フ
レーム(Lサンプル、例えば160サンプル)毎に更新
されて与えられるが、フレーム間の連続性を高める(円
滑化する)ために、上記振幅データやピッチデータの各
値を1フレーム中の例えば中心位置における各データ値
とし、次のフレームの中心位置までの間(合成時の1フ
レーム)の各データ値を補間により求める。すなわち、
合成時の1フレーム(例えば上記分析フレームの中心か
ら次の分析フレームの中心まで)において、先端サンプ
ル点での各データ値と終端(次の合成フレームの先端)
サンプル点での各データ値とが与えられ、これらのサン
プル点間の各データ値を補間により求めるようにしてい
る。
【0065】以下、有声音合成部126における合成処
理を詳細に説明する。上記V(有声音)と判別された第
mバンド(第m高調波の帯域)における時間軸上の上記
1合成フレーム(Lサンプル、例えば160サンプル)
分の有声音をVm (n) とするとき、この合成フレーム内
の時間インデックス(サンプル番号)nを用いて、 Vm (n) =Am (n) cos(θm (n)) 0≦n<L ・・・(9) と表すことができる。全バンドの内のV(有声音)と判
別された全てのバンドの有声音を加算(ΣVm (n) )し
て最終的な有声音V(n) を合成する。
理を詳細に説明する。上記V(有声音)と判別された第
mバンド(第m高調波の帯域)における時間軸上の上記
1合成フレーム(Lサンプル、例えば160サンプル)
分の有声音をVm (n) とするとき、この合成フレーム内
の時間インデックス(サンプル番号)nを用いて、 Vm (n) =Am (n) cos(θm (n)) 0≦n<L ・・・(9) と表すことができる。全バンドの内のV(有声音)と判
別された全てのバンドの有声音を加算(ΣVm (n) )し
て最終的な有声音V(n) を合成する。
【0066】この(9)式中のAm (n) は、上記合成フ
レームの先端から終端までの間で補間された第m高調波
の振幅である。最も簡単には、フレーム単位で更新され
る振幅データの第m高調波の値を直線補間すればよい。
すなわち、上記合成フレームの先端(n=0)での第m
高調波の振幅値をA0m、該合成フレームの終端(n=
L:次の合成フレームの先端)での第m高調波の振幅値
をALmとするとき、 Am (n) = (L-n)A0m/L+nALm/L ・・・(10) の式によりAm (n) を計算すればよい。
レームの先端から終端までの間で補間された第m高調波
の振幅である。最も簡単には、フレーム単位で更新され
る振幅データの第m高調波の値を直線補間すればよい。
すなわち、上記合成フレームの先端(n=0)での第m
高調波の振幅値をA0m、該合成フレームの終端(n=
L:次の合成フレームの先端)での第m高調波の振幅値
をALmとするとき、 Am (n) = (L-n)A0m/L+nALm/L ・・・(10) の式によりAm (n) を計算すればよい。
【0067】次に、上記(9)式中の位相θm (n) は、 θm (0) =mωO1n+n2 m(ωL1−ω01)/2L+φ0m+Δωn ・・・(11) により求めることができる。この(11)式中で、φ0mは
上記合成フレームの先端(n=0)での第m高調波の位
相(フレーム初期位相)を示し、ω01は合成フレーム先
端(n=0)での基本角周波数、ωL1は該合成フレーム
の終端(n=L:次の合成フレーム先端)での基本角周
波数をそれぞれ示している。上記(11)式中のΔωは、
n=Lにおける位相φLmがθm (L) に等しくなるような
最小のΔωを設定する。
上記合成フレームの先端(n=0)での第m高調波の位
相(フレーム初期位相)を示し、ω01は合成フレーム先
端(n=0)での基本角周波数、ωL1は該合成フレーム
の終端(n=L:次の合成フレーム先端)での基本角周
波数をそれぞれ示している。上記(11)式中のΔωは、
n=Lにおける位相φLmがθm (L) に等しくなるような
最小のΔωを設定する。
【0068】以下、任意の第mバンドにおいて、それぞ
れn=0、n=LのときのV/UV判別結果に応じた上
記振幅Am (n) 、位相θm (n) の求め方を説明する。第
mバンドが、n=0、n=LのいずれもV(有声音)と
される場合に、振幅Am (n) は、上述した(10)式によ
り、伝送された振幅値A0m、ALmを直線補間して振幅A
m (n) を算出すればよい。位相θm (n) は、n=0でθ
m (0) =φ0mからn=Lでθm (L) がφLmとなるように
Δωを設定する。
れn=0、n=LのときのV/UV判別結果に応じた上
記振幅Am (n) 、位相θm (n) の求め方を説明する。第
mバンドが、n=0、n=LのいずれもV(有声音)と
される場合に、振幅Am (n) は、上述した(10)式によ
り、伝送された振幅値A0m、ALmを直線補間して振幅A
m (n) を算出すればよい。位相θm (n) は、n=0でθ
m (0) =φ0mからn=Lでθm (L) がφLmとなるように
Δωを設定する。
【0069】次に、n=0のときV(有声音)で、n=
LのときUV(無声音)とされる場合に、振幅Am (n)
は、Am (0) の伝送振幅値A0mからAm (L) で0となる
ように直線補間する。n=Lでの伝送振幅値ALmは無声
音の振幅値であり、後述する無声音合成の際に用いられ
る。位相θm (n) は、θm (0) =φ0mとし、かつΔω=
0とする。
LのときUV(無声音)とされる場合に、振幅Am (n)
は、Am (0) の伝送振幅値A0mからAm (L) で0となる
ように直線補間する。n=Lでの伝送振幅値ALmは無声
音の振幅値であり、後述する無声音合成の際に用いられ
る。位相θm (n) は、θm (0) =φ0mとし、かつΔω=
0とする。
【0070】さらに、n=0のときUV(無声音)で、
n=LのときV(有声音)とされる場合には、振幅Am
(n) は、n=0での振幅Am (0) を0とし、n=Lで伝
送された振幅値ALmとなるように直線補間する。位相θ
m (n) については、n=0での位相θm (0) として、フ
レーム終端での位相値φLmを用いて、 θm (0) =φLm−m(ωO1+ωL1)L/2 ・・・(12) とし、かつΔω=0とする。
n=LのときV(有声音)とされる場合には、振幅Am
(n) は、n=0での振幅Am (0) を0とし、n=Lで伝
送された振幅値ALmとなるように直線補間する。位相θ
m (n) については、n=0での位相θm (0) として、フ
レーム終端での位相値φLmを用いて、 θm (0) =φLm−m(ωO1+ωL1)L/2 ・・・(12) とし、かつΔω=0とする。
【0071】上記n=0、n=LのいずれもV(有声
音)とされる場合に、θm (L) がφLmとなるようにΔω
を設定する手法について説明する。上記(11)式で、n
=Lと置くことにより、 θm (L) =mωO1L+L2 m(ωL1−ω01)/2L+φ0m+ΔωL =m(ωO1+ωL1)L/2+φ0m+ΔωL =φLm となり、これを整理すると、Δωは、 Δω=(mod2π((φLm−φ0m) − mL(ωO1+ωL1)/2)/L ・・・(13) となる。この(13)式でmod2π(x) とは、xの主値を−
π〜+πの間の値で返す関数である。例えば、x=1.3
πのときmod2π(x) =−0.7π、x=2.3πのときmod2
π(x) =0.3π、x=−1.3πのときmod2π(x) =0.7
π、等である。
音)とされる場合に、θm (L) がφLmとなるようにΔω
を設定する手法について説明する。上記(11)式で、n
=Lと置くことにより、 θm (L) =mωO1L+L2 m(ωL1−ω01)/2L+φ0m+ΔωL =m(ωO1+ωL1)L/2+φ0m+ΔωL =φLm となり、これを整理すると、Δωは、 Δω=(mod2π((φLm−φ0m) − mL(ωO1+ωL1)/2)/L ・・・(13) となる。この(13)式でmod2π(x) とは、xの主値を−
π〜+πの間の値で返す関数である。例えば、x=1.3
πのときmod2π(x) =−0.7π、x=2.3πのときmod2
π(x) =0.3π、x=−1.3πのときmod2π(x) =0.7
π、等である。
【0072】ここで、図11のAは、音声信号のスペクト
ルの一例を示しており、バンド番号(ハーモニクスナン
バ)mが8、9、10の各バンドがUV(無声音)とさ
れ、他のバンドはV(有声音)とされている。このV
(有声音)のバンドの時間軸信号が上記有声音合成部1
26により合成され、UV(無声音)のバンドの時間軸
信号が無声音合成部127で合成されるわけである。
ルの一例を示しており、バンド番号(ハーモニクスナン
バ)mが8、9、10の各バンドがUV(無声音)とさ
れ、他のバンドはV(有声音)とされている。このV
(有声音)のバンドの時間軸信号が上記有声音合成部1
26により合成され、UV(無声音)のバンドの時間軸
信号が無声音合成部127で合成されるわけである。
【0073】以下、無声音合成部127における無声音
合成処理を説明する。ホワイトノイズ発生部131から
の時間軸上のホワイトノイズ信号波形を、所定の長さ
(例えば256サンプル)で適当な窓関数(例えばハミ
ング窓)により窓かけをし、STFT処理部132によ
りSTFT(ショートタームフーリエ変換)処理を施す
ことにより、図11のBに示すようなホワイトノイズの周
波数軸上のパワースペクトルを得る。このSTFT処理
部132からのパワースペクトルをバンド振幅処理部1
33に送り、図11のCに示すように、上記UV(無声
音)とされたバンド(例えばm=8、9、10)につい
て上記振幅|Am |UVを乗算し、他のV(有声音)とさ
れたバンドの振幅を0にする。このバンド振幅処理部1
33には上記振幅データ、ピッチデータ、V/UV判別
データが供給されている。バンド振幅処理部133から
の出力は、ISTFT処理部134に送られ、位相は元
のホワイトノイズの位相を用いて逆STFT処理を施す
ことにより時間軸上の信号に変換する。ISTFT処理
部134からの出力は、オーバーラップ加算部135に
送られ、時間軸上で適当な(元の連続的なノイズ波形を
復元できるように)重み付けをしながらオーバーラップ
及び加算を繰り返し、連続的な時間軸波形を合成する。
オーバーラップ加算部135からの出力信号が上記加算
部129に送られる。
合成処理を説明する。ホワイトノイズ発生部131から
の時間軸上のホワイトノイズ信号波形を、所定の長さ
(例えば256サンプル)で適当な窓関数(例えばハミ
ング窓)により窓かけをし、STFT処理部132によ
りSTFT(ショートタームフーリエ変換)処理を施す
ことにより、図11のBに示すようなホワイトノイズの周
波数軸上のパワースペクトルを得る。このSTFT処理
部132からのパワースペクトルをバンド振幅処理部1
33に送り、図11のCに示すように、上記UV(無声
音)とされたバンド(例えばm=8、9、10)につい
て上記振幅|Am |UVを乗算し、他のV(有声音)とさ
れたバンドの振幅を0にする。このバンド振幅処理部1
33には上記振幅データ、ピッチデータ、V/UV判別
データが供給されている。バンド振幅処理部133から
の出力は、ISTFT処理部134に送られ、位相は元
のホワイトノイズの位相を用いて逆STFT処理を施す
ことにより時間軸上の信号に変換する。ISTFT処理
部134からの出力は、オーバーラップ加算部135に
送られ、時間軸上で適当な(元の連続的なノイズ波形を
復元できるように)重み付けをしながらオーバーラップ
及び加算を繰り返し、連続的な時間軸波形を合成する。
オーバーラップ加算部135からの出力信号が上記加算
部129に送られる。
【0074】このように、各合成部126、127にお
いて合成されて時間軸上に戻された有声音部及び無声音
部の各信号は、加算部129により適当な固定の混合比
で加算して、出力端子130より再生された音声信号を
取り出す。
いて合成されて時間軸上に戻された有声音部及び無声音
部の各信号は、加算部129により適当な固定の混合比
で加算して、出力端子130より再生された音声信号を
取り出す。
【0075】以上のようにMBEでは、高精度のピッチ
トラックが要求されており、そのため上述したようなク
リッピングレベルを所定のサンプル列毎に段階的もしく
は連続的に変化させた後のセンタクリップ波形から自己
相関を求め、ピッチを抽出したり、あるいは現在フレー
ムに属する自己相関データから複数のピークを検出し、
これらの複数のピークの内の最大ピークが所定の閾値以
上のときに該最大ピーク等からピッチを求めている。こ
のとき、突発的に発生する整数倍又は整数分の1等の誤
ったピッチの検出やピッチの取りこぼしを回避するため
に、本発明に係るピッチ抽出装置でピッチ抽出時の異常
状態を検出し、異常状態のときには、音声情報から得ら
れた代替値を出力することにより、上記高精度のピッチ
トラックが可能となる。
トラックが要求されており、そのため上述したようなク
リッピングレベルを所定のサンプル列毎に段階的もしく
は連続的に変化させた後のセンタクリップ波形から自己
相関を求め、ピッチを抽出したり、あるいは現在フレー
ムに属する自己相関データから複数のピークを検出し、
これらの複数のピークの内の最大ピークが所定の閾値以
上のときに該最大ピーク等からピッチを求めている。こ
のとき、突発的に発生する整数倍又は整数分の1等の誤
ったピッチの検出やピッチの取りこぼしを回避するため
に、本発明に係るピッチ抽出装置でピッチ抽出時の異常
状態を検出し、異常状態のときには、音声情報から得ら
れた代替値を出力することにより、上記高精度のピッチ
トラックが可能となる。
【0076】なお、本発明に係るピッチ抽出装置は、上
記実施例にのみ限定されるものでない。また、上述した
MBEで図5に示した音声分析側(エンコード側)の構
成や図10に示した音声合成側( デコード側) の構成につ
いては、各部をハードウェア的に記載しているが、いわ
ゆるDSP(ディジタル信号プロセッサ)等を用いてソ
フトウェアプログラムにより実現することも可能であ
る。
記実施例にのみ限定されるものでない。また、上述した
MBEで図5に示した音声分析側(エンコード側)の構
成や図10に示した音声合成側( デコード側) の構成につ
いては、各部をハードウェア的に記載しているが、いわ
ゆるDSP(ディジタル信号プロセッサ)等を用いてソ
フトウェアプログラムにより実現することも可能であ
る。
【0077】
【発明の効果】本発明に係るピッチ抽出装置は、ピッチ
検出手段が入力音声信号の一定時間のフレーム毎のピッ
チを検出し、平滑化手段が現在フレームのピッチを前後
のフレームのピッチで平滑化し、切換手段が上記現在フ
レームのピッチと上記検出されたピッチに基づいて求め
られた代替ピッチとを切換選択して出力し、制御手段が
上記平滑化手段からの出力と上記現在フレームのピッチ
とに基づいて上記切換手段を切換制御することによっ
て、異常状態を検出し、異常状態のときには、代替とな
るピッチを出力することでより確実なピッチ抽出が行え
る。また、異常の検出と代替値の発生を独立に行うこと
でより本来のピッチに即したピッチ軌跡の追跡が行え
る。特に、MBE等の高精度のピッチトラックが要求さ
れる音声の分析、合成系で有効である。
検出手段が入力音声信号の一定時間のフレーム毎のピッ
チを検出し、平滑化手段が現在フレームのピッチを前後
のフレームのピッチで平滑化し、切換手段が上記現在フ
レームのピッチと上記検出されたピッチに基づいて求め
られた代替ピッチとを切換選択して出力し、制御手段が
上記平滑化手段からの出力と上記現在フレームのピッチ
とに基づいて上記切換手段を切換制御することによっ
て、異常状態を検出し、異常状態のときには、代替とな
るピッチを出力することでより確実なピッチ抽出が行え
る。また、異常の検出と代替値の発生を独立に行うこと
でより本来のピッチに即したピッチ軌跡の追跡が行え
る。特に、MBE等の高精度のピッチトラックが要求さ
れる音声の分析、合成系で有効である。
【図1】本発明に係るピッチ抽出装置の第1の実施例の
機能ブロック図である。
機能ブロック図である。
【図2】本発明に係るピッチ抽出装置の第1の実施例の
要部の具体例を示す機能ブロック図である。
要部の具体例を示す機能ブロック図である。
【図3】本発明に係るピッチ抽出装置の第2の実施例の
機能ブロック図である。
機能ブロック図である。
【図4】本発明に係るピッチ抽出装置の第3の実施例の
機能ブロック図である。
機能ブロック図である。
【図5】本発明に係るピッチ抽出装置が適用される装置
の具体例としての音声信号の合成分析符号化装置の分析
側(エンコード側)の概略構成を示す機能ブロック図で
ある。
の具体例としての音声信号の合成分析符号化装置の分析
側(エンコード側)の概略構成を示す機能ブロック図で
ある。
【図6】窓かけ処理を説明するための図である。
【図7】窓かけ処理と窓関数との関係を説明するための
図である。
図である。
【図8】直交変換(FFT)処理対象としての時間軸デ
ータを示す図である。
ータを示す図である。
【図9】周波数軸上のスペクトルデータ、スペクトル包
絡線(エンベロープ)及び励起信号のパワースペクトル
を示す図である。
絡線(エンベロープ)及び励起信号のパワースペクトル
を示す図である。
【図10】本発明に係るピッチ抽出装置が適用される装置
の具体例としての音声信号の合成分析符号化装置の合成
側(デコード側)の概略構成を示す機能ブロック図であ
る。
の具体例としての音声信号の合成分析符号化装置の合成
側(デコード側)の概略構成を示す機能ブロック図であ
る。
【図11】音声信号を合成する際の無声音合成を説明する
ための図である。
ための図である。
【図12】自己相関法によるピッチの抽出を説明するため
の図である。
の図である。
【図13】ピッチ軌跡上の誤りを説明するための図であ
る。
る。
2・・・・・ピッチ検出部 3・・・・・平滑化手段 6・・・・・制御手段 7・・・・・切換部
Claims (2)
- 【請求項1】 入力音声信号の一定時間のフレーム毎の
ピッチを検出するピッチ検出手段と、 このピッチ検出手段により検出された現在フレームのピ
ッチを前後のフレームのピッチで平滑化する平滑化手段
と、 上記現在フレームのピッチと上記検出されたピッチに基
づいて求められた代替ピッチとを切換選択して出力する
切換手段と、 上記平滑化手段からの出力と上記現在フレームのピッチ
とに基づいて上記切換手段を切換制御する制御手段とを
有することを特徴とするピッチ抽出装置。 - 【請求項2】 上記平滑化手段として現在フレームのピ
ッチの値、過去フレームのピッチの値及び未来フレーム
のピッチの値の内の中央値を出力する回路を用いること
を特徴とする請求項1記載のピッチ抽出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP10534392A JPH05281996A (ja) | 1992-03-31 | 1992-03-31 | ピッチ抽出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP10534392A JPH05281996A (ja) | 1992-03-31 | 1992-03-31 | ピッチ抽出装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH05281996A true JPH05281996A (ja) | 1993-10-29 |
Family
ID=14405097
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP10534392A Pending JPH05281996A (ja) | 1992-03-31 | 1992-03-31 | ピッチ抽出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH05281996A (ja) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1996036041A2 (en) * | 1995-05-10 | 1996-11-14 | Philips Electronics N.V. | Transmission system and method for encoding speech with improved pitch detection |
JP2005195968A (ja) * | 2004-01-08 | 2005-07-21 | Roland Corp | ピッチ変換装置 |
JP2011197564A (ja) * | 2010-03-23 | 2011-10-06 | Yamaha Corp | 電子音楽装置及びプログラム |
JP2021502596A (ja) * | 2017-11-10 | 2021-01-28 | フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | ピッチラグの選択 |
US11127408B2 (en) | 2017-11-10 | 2021-09-21 | Fraunhofer—Gesellschaft zur F rderung der angewandten Forschung e.V. | Temporal noise shaping |
US11217261B2 (en) | 2017-11-10 | 2022-01-04 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Encoding and decoding audio signals |
US11315583B2 (en) | 2017-11-10 | 2022-04-26 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoders, audio decoders, methods and computer programs adapting an encoding and decoding of least significant bits |
US11315580B2 (en) | 2017-11-10 | 2022-04-26 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio decoder supporting a set of different loss concealment tools |
US11462226B2 (en) | 2017-11-10 | 2022-10-04 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Controlling bandwidth in encoders and/or decoders |
US11545167B2 (en) | 2017-11-10 | 2023-01-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Signal filtering |
US11562754B2 (en) | 2017-11-10 | 2023-01-24 | Fraunhofer-Gesellschaft Zur F Rderung Der Angewandten Forschung E.V. | Analysis/synthesis windowing function for modulated lapped transformation |
-
1992
- 1992-03-31 JP JP10534392A patent/JPH05281996A/ja active Pending
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1996036041A2 (en) * | 1995-05-10 | 1996-11-14 | Philips Electronics N.V. | Transmission system and method for encoding speech with improved pitch detection |
JP2005195968A (ja) * | 2004-01-08 | 2005-07-21 | Roland Corp | ピッチ変換装置 |
JP4565846B2 (ja) * | 2004-01-08 | 2010-10-20 | ローランド株式会社 | ピッチ変換装置 |
JP2011197564A (ja) * | 2010-03-23 | 2011-10-06 | Yamaha Corp | 電子音楽装置及びプログラム |
JP2021502596A (ja) * | 2017-11-10 | 2021-01-28 | フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | ピッチラグの選択 |
US11127408B2 (en) | 2017-11-10 | 2021-09-21 | Fraunhofer—Gesellschaft zur F rderung der angewandten Forschung e.V. | Temporal noise shaping |
US11217261B2 (en) | 2017-11-10 | 2022-01-04 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Encoding and decoding audio signals |
US11315583B2 (en) | 2017-11-10 | 2022-04-26 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoders, audio decoders, methods and computer programs adapting an encoding and decoding of least significant bits |
US11315580B2 (en) | 2017-11-10 | 2022-04-26 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio decoder supporting a set of different loss concealment tools |
US11380341B2 (en) | 2017-11-10 | 2022-07-05 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Selecting pitch lag |
US11380339B2 (en) | 2017-11-10 | 2022-07-05 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoders, audio decoders, methods and computer programs adapting an encoding and decoding of least significant bits |
US11386909B2 (en) | 2017-11-10 | 2022-07-12 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoders, audio decoders, methods and computer programs adapting an encoding and decoding of least significant bits |
US11462226B2 (en) | 2017-11-10 | 2022-10-04 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Controlling bandwidth in encoders and/or decoders |
US11545167B2 (en) | 2017-11-10 | 2023-01-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Signal filtering |
US11562754B2 (en) | 2017-11-10 | 2023-01-24 | Fraunhofer-Gesellschaft Zur F Rderung Der Angewandten Forschung E.V. | Analysis/synthesis windowing function for modulated lapped transformation |
US12033646B2 (en) | 2017-11-10 | 2024-07-09 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Analysis/synthesis windowing function for modulated lapped transformation |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3277398B2 (ja) | 有声音判別方法 | |
JP3475446B2 (ja) | 符号化方法 | |
JP3840684B2 (ja) | ピッチ抽出装置及びピッチ抽出方法 | |
EP0766230B1 (en) | Method and apparatus for coding speech | |
JPH05281996A (ja) | ピッチ抽出装置 | |
JPH0754440B2 (ja) | 音声分析合成装置 | |
JP2779325B2 (ja) | ボコーダーにおける前処理の相関関係式を用いたピッチ検索時間短縮方法 | |
JP3297751B2 (ja) | データ数変換方法、符号化装置及び復号化装置 | |
US6115685A (en) | Phase detection apparatus and method, and audio coding apparatus and method | |
JP3218679B2 (ja) | 高能率符号化方法 | |
JP3362471B2 (ja) | 音声信号の符号化方法及び復号化方法 | |
JP3223564B2 (ja) | ピッチ抽出方法 | |
JP3271193B2 (ja) | 音声符号化方法 | |
JP3398968B2 (ja) | 音声分析合成方法 | |
JP3218681B2 (ja) | 背景雑音検出方法及び高能率符号化方法 | |
JP3321933B2 (ja) | ピッチ検出方法 | |
JPH0651800A (ja) | データ数変換方法 | |
JPH11219199A (ja) | 位相検出装置及び方法、並びに音声符号化装置及び方法 | |
JP3221050B2 (ja) | 有声音判別方法 | |
JPH05265489A (ja) | ピッチ抽出方法 | |
JP3297750B2 (ja) | 符号化方法 | |
JP2585214B2 (ja) | ピッチ抽出方法 | |
JP2003216189A (ja) | 符号化装置及び復号装置 | |
JPH06202695A (ja) | 音声信号処理装置 | |
JPH07104793A (ja) | 音声信号の符号化装置及び復号化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20020305 |