JP4641620B2

JP4641620B2 - ピッチ検出の精密化

Info

Publication number: JP4641620B2
Application number: JP2000548869A
Authority: JP
Inventors: エフジジ，エルカン
Original assignee: NXP BV
Current assignee: NXP BV
Priority date: 1998-05-11
Filing date: 1999-04-29
Publication date: 2011-03-02
Anticipated expiration: 2019-04-29
Also published as: WO1999059138A8; EP0993674B1; WO1999059138A2; WO1999059138A3; EP0993674A2; DE69932786D1; DE69932786T2; US6885986B1; JP2002515609A

Description

【０００１】
本発明は、オーディオ等価信号の連続的なピッチ周期／周波数を決定する方法であって、
上記オーディオ等価信号を相互に重なり合い、若しくは、隣接したピッチ検出セグメントに分割するステップと、
上記ピッチ検出セグメント毎に、上記ピッチ周期／周波数の初期値を決定するステップと、
上記決定された初期値に基づいて、上記ピッチ周期／周波数の正確な値を決定するステップとを有する方法に関する。
【０００２】
本発明は、相互に重なり合い、若しくは、隣接したピッチ検出セグメントの系列を形成するセグメンテーション手段と、
上記ピッチ検出セグメント毎に、ピッチ周期／周波数の初期値を決定するピッチ検出手段と、
上記決定された初期値に基づいて、上記ピッチ周期／周波数の正確な値を決定するピッチ精密化手段とを有し、オーディオ等価信号の連続的なピッチ周期／周波数を決定する装置に関する。
【０００３】
本発明は、未加工初期ピッチ値を精密化することにより、オーディオ等価信号のピッチ周期／周波数を正確に決定することに関する。正確に決定されたピッチ値は、音声符号化、音声分析及び音声合成のような種々のアプリケーションに使用される。ピッチ精密化方法自体は、文献：Daniel W. Griffin and Jae S. Lim, “Mixed Excitation Vocoder”, IEEE Transactions on Acoustics, Speech and Signal Processing, Vol.36, No.8, August 1988, pages 1223-1235によって公知である。この方法によれば、音声信号は、時間窓で信号を重み付けし、所望のセグメントを選択するため上記時間窓を移動させることにより、ピッチ検出セグメントの系列に分割される。セグメントは、約１０乃至４０ミリ秒の間隔を有する。ピッチ検出セグメントのフーリエ変換は、スペクトル包絡と励振スペクトルの積としてモデル化される。励振スペクトルは、基本周波数と、周波数依存型の２分有声音／無声音混合関数とによって指定される。ピッチ検出セグメントの初期ピッチ周期は、１０ｋＨｚサンプリングレートに対し２０乃至１００サンプルの全ての整数ピッチ周期について誤差規準を計算することによって決定される。誤差条件は、モデル化された合成スペクトルを実際のセグメントのスペクトルとの比較を含む。誤差規準を最小化するピッチ周期は初期ピッチ周期として選択される。精密化された正確なピッチ値は、最良整数ピッチ周期推定値を初期の粗いピッチ周期推定値として使用することによって決定される。次に、誤差規準は、連続的な精密評価グリッドを用いてこの推定値に局所最小化される。最終的なピッチ周期推定値は、この局所最小化の際に最小誤差を生ずるピッチ周期として選択される。
【０００４】
ピッチの正確な推定値を得るため、連続的に精密化されるグリッドに基づく数回の反復が必要とされる。その上、誤差条件の計算は計算量が膨大である。従来の方法は、粗い評価と精密な評価の両方で同一の固定的に選択された検出セグメントの間隔を使用する。セグメントの間隔は、特に、高いピッチの声の場合に、数ピッチ周期に達する。その結果として、このような間隔内でのピッチの変化はにじみ、或いは、平均化され、ピッチが検出できる正確さが制限される。
【０００５】
本発明の目的は、オーディオ等価信号の連続的なピッチ周期／周波数を決定する上記のタイプの方法及び装置であって、妥当な計算量でピッチを正確に決定することができる方法及び装置を提供することである。
【０００６】
上記目的を達成するため、本発明の方法は、上記ピッチ周期／周波数の正確な値を決定するステップは、
上記オーディオ等価信号に関して時間窓の列を配置し、
上記各時間窓の関連した窓関数に応じて上記信号を重み付けすることにより、
各ピッチ精密化セグメントが少なくとも１個のピッチ検出セグメントと関連しているピッチ精密化セグメントの系列を形成するステップと、
関連したピッチ検出セグメントの初期的に決定されたピッチ周波数に実質的に対応した周波数をもつ周波数成分を抽出するため各ピッチ精密化セグメントをフィルタリングすることによりフィルタ処理された信号を形成するステップと、
上記フィルタ処理された信号から上記連続的なピッチ周期／周波数を決定するステップとを有する。
【０００７】
本発明によれば、ピッチの粗い推定値を決定するため適当な技術が使用される。初期推定値を作成した後、信号は、信号に出現する最低の高調波を抽出するためフィルタ処理される。このフィルタ処理は、決定された粗いピッチ値に追従する。例えば、帯域通過フィルタは、信号がフィルタを通過するときに、信号の対応した部分のピッチ周波数周辺の帯域を通すため絶えず調整される。かくして、フィルタ処理された信号が獲得され、この信号ではピッチ周波数成分が非常に支配的である。適当な技術を用いることにより、ピッチの正確な推定値がフィルタ処理された信号に基づいて作成される。ピッチ検出の推定は、それ自体は簡単であり、例えば、ピーク検出又はゼロ交差検出に基づいて行われる。
【０００８】
初期の粗い推定は、あらゆるピッチ周波数を検出することができるように、かなり大きいピッチ検出セグメント、例えば、４０ミリ秒のピッチ検出セグメントを用いて行われる。粗い推定の後に続く精密化の一部として、新しいピッチ精密化セグメントが作成される。精密化セグメントの間隔は、原理的に、粗い推定を行うため使用されたピッチ検出セグメントの間隔とは無関係である。特に、ピッチ検出セグメントが非常に大きい場合、ピッチ精密化セグメントの間隔は、ピッチの著しいボケ／平均化を回避するように選択される。かくして、フィルタ処理は、ピッチの進みを正確に追うように調整され、その結果として、正確にフィルタ処理された信号が得られる。
【０００９】
従属請求項２に記載された本発明の一実施例によれば、フィルタ処理は、初期的に推定されたピッチ周波数でのサイン関数／コサイン関数の対による畳み込みに基づいて行われ、フィルタ処理されたセグメントは初期的に推定されたピッチ周波数を用いて作成されたサイン関数又はコサイン関数によって表現される。かくして、雑音のような望ましくない信号成分は伝搬されない。
【００１０】
従属請求項３に記載された本発明の一実施例によれば、補間がサンプリングされた信号の解像度を高めるため使用される。
【００１１】
従属請求項４に記載された本発明の一実施例によれば、ピッチ精密化セグメントは、粗いピッチ推定値に依存する周期に亘り時間窓を移動させることにより作成される。例えば、ピッチ精密化セグメントを形成するための時間窓の変位は、初期推定値を用いて測定された最低ピッチに対応し、一方、ピッチ検出セグメントは、例えば、４０ミリ秒の固定変位で選択された。このようにして、特に、高いピッチの声の場合に、ピッチの進みは非常に正確に追従され得る。
【００１２】
従属請求項５に記載された本発明の一実施例によれば、変位は、信号の一部に対し初期的に決定されたピッチ周期に対応する。初期ピッチ値の変化が出現するとき、非対称性窓が使用される。或いは、計算オーバーヘッドを回避するため、対称性窓が、例えば、関連した初期ピッチ周期の平均に亘って移動させられてもよい。
【００１３】
上記目的を達成するため、本発明による装置は、上記ピッチ精密化手段が、
上記オーディオ等価信号に関して時間窓の列を配置し、上記各時間窓の関連した窓関数に応じて上記信号を重み付けすることにより、各ピッチ精密化セグメントが少なくとも１個のピッチ検出セグメントと関連しているピッチ精密化セグメントの系列を形成するセグメンテーション手段と、
関連したピッチ検出セグメントの初期的に決定されたピッチ周波数に実質的に対応した周波数をもつ周波数成分を抽出するため各ピッチ精密化セグメントをフィルタリングすることによりフィルタ処理された信号を形成するフィルタリング手段と、
上記フィルタ処理された信号から上記連続的なピッチ周期／周波数を決定する手段とを有することを特徴とする。
【００１４】
本発明の上記局面及び他の局面は、添付図面に記載された実施例を参照して、明瞭にされ、解明される。
【００１５】
［ピッチ精密化］
図１には、本発明に従ってピッチを正確に決定する方法が示されている。ステップ１１０において、このピッチの未加工値が得られる。原理的に、適当な技術を用いてこの未加工値が獲得される。好ましくは、同じ技術が２分有声決定を行うため使用され、この２分有声決定は、音声信号の中の有声部分（すなわち、識別可能な周期的信号を有する部分）と、無声のセグメントとを示す。有声セグメントだけが更に分析されるべきである。ピッチは、例えば、ボイスマークを信号に付加することによって手動で示される。好ましくは、局部周期長、すなわち、ピッチ値は、自動的に決定される。従来の殆どの自動ピッチ検出方法は、例えば、文献：D.J.Hermes, “Measurement of pitch by subharmonic summation”, Journal of the Acoustical Society of America, Vol.83(1988), No.1, pages 257-264に記載されているような信号のスペクトル内のピーク間の距離の決定に基づく。典型的に、従来のピッチ検出アルゴリズムは、約２０乃至５０ミリ秒のセグメントを分析する。これらのセグメントは、ピッチ検出セグメントと称される。
【００１６】
未加工ピッチ値に基づいて、より正確な決定が行われる。ステップ１２０において、入力信号は、ピッチ精密化セグメントと呼ばれるセグメントの系列に分割される。後で詳述するように、このセグメントの系列は、時間窓の列を信号に関して配置し、この信号をそれぞれの時間窓の窓関数を用いて重み付けすることにより得られる。
【００１７】
ステップ１３０において、各ピッチ検出セグメントは、そのセグメント中の(１次高調波とも称される)基本周波数成分を獲得するためフィルタ処理される。フィルタリングは、例えば、１次高調波付近の帯域通過フィルタを使用して行われる。信号に１次高調波が存在しない場合（例えば、信号が電話回線を経由して供給され、最低周波数が失われた場合）、出現した最初の高調波が抽出され、ピッチの表現を検出するために使用される。殆どのアプリケーションにおいて、１個の高調波、好ましくは、より低い高調波の中の１個の高調波を正確に検出するだけで十分である。好ましくは、フィルタリングは、後述するように、入力信号のサイン／コサイン対との畳み込みによって行われる。
【００１８】
ステップ１４０において、フィルタ処理されたピッチ精密化セグメントの連結が行われる。フィルタ処理されたピッチ検出セグメントは、各セグメントを元の時点に配置し、セグメントを足し合わせることにより連結される(セグメントは重なり合うかもしれない)。この連結によって、フィルタ処理された信号が獲得される。ステップ１５０において、ピッチ周期／周波数に対する正確な値がフィルタ処理された信号から獲得される。原理的に、ピッチ周期は、フィルタ処理された信号の最大振幅及び／又は最小振幅の間の時間間隔として決定され得る。ゼロ交差を決定する方が簡単であるため、ピッチ間隔はフィルタ処理された信号の連続的なゼロ交差に基づいて決定される点が有利である。一般的に、フィルタ処理された信号は、例えば、８又は１６ＫＨｚでサンプリングされたデジタルサンプルにより形成される。好ましくは、所望の振幅（例えば、最大振幅又はゼロ交差）が信号中に発生する時点を決定する精度は、補間により高められる。任意の従来の補間技術（例えば、最大振幅を決定するための放物線補間、または、ゼロ交差の時点を決定するための線形補間）が使用される。このようにして、サンプリングレートを上回る精度が達成される。
【００１９】
上記のような正確なピッチを決定する方法は、オーディオ等価信号を符号化する他の方法、或いは、このような信号を操作する他の方法のため使用され得ることが解る。例えば、ピッチ検出は、特に、東洋の言語用の音声認識システム、或いは、ピッチ同期操作（例えば、ピッチ調節又は延長）が行える音声合成システムで使用される。
【００２０】
［セグメンテーション］
分析セグメントのシーケンスは、相互に重なり合う、或いは、隣接した時間窓の列を信号に関して配置することにより形成される。各時間窓はそれぞれの窓関数と関連付けられる。信号は、窓の列中のそれぞれの窓の関連した窓関数に応じて重み付けされる。このように、各窓は対応したセグメントを作成する。原理的に、窓関数は矩形状でも構わない。これにより、入力信号は重なり合わない近傍セグメントに効率的に切り分けられる。このために、セグメントを形成するため使用される窓関数は、直線的な矩形波であり、
W（ｔ）＝１０≦ｔ＜Ｌの場合
W（ｔ）＝０それ以外の場合
と表わされる。窓の変位（すなわち、窓の重なり合い）よりも幅が広い窓を使用することが好ましい。好ましくは、各窓は次の窓の中心まで延びる。かくして、音声信号の各時点は、（典型的に）２個の窓で覆われる。窓関数は、窓内で位置の関数として変化し、窓の縁付近で零に漸近する。好ましくは、窓関数は、信号内の同じ点を覆う２個の窓関数の和が時点とは無関係であるという意味で「自己相補的」である。このような窓の一例が図２に示されている。自己相補的関数は以下の式で記述することができる。
【００２１】
W（ｔ）＋W（ｔ−Ｌ）＝一定０≦ｔ＜Lの場合
この条件は、例えば、
W（ｔ）＝1/2−Ａ（ｔ）ｃｏｓ［２πｔ／Ｌ＋Φ（ｔ）］
の場合に成立し、式中、Ａ（ｔ）及びΦ（ｔ）はｔの周期関数であり、その周期はＬである。典型的な窓関数は、
Ａ（ｔ）＝１／２かつ Φ（ｔ）＝０
のときに獲得される。このような自己相補的な窓関数の周知例は、ハミング若しくはハニング窓である。変位よりも幅の広い窓を使用することにより、重なり合うセグメントが得られる。
【００２２】
図２には、オーディオ等価信号１０の周期的区分に対するセグメンテーション技術が例示されている。この区分内で、信号は、間隔Ｌ（ピッチ周期）の連続的な周期１１ａ、１１ｂ、１１ｃの後に繰り返し現れる。音声信号の場合に、この間隔は、女声に対して平均的に約５ミリ秒、男声に対して平均的に約１０ミリ秒である。時間窓の列１２ａ、１２ｂ、１２ｃは、信号１０に対して配置される。図２において、重なり合う時間窓が使用され、時間窓の中心は時点ｔ_i（ｉ＝１，２，３，．．．）に置かれる。図示された各窓は、先行の窓の中心から始まり、後続の窓の中心で終わる２周期Ｌに亘り広がる。その結果として、各時点は２個の窓により覆われる。各時間窓１２ａ、１２ｂ、１２ｃは、それぞれの窓関数Ｗ（ｔ）１３ａ、１３ｂ、１３ｃと関連する。信号セグメントの１番目の列１４ａ、１４ｂ、１４ｃは、それぞれの窓１２ａ、１２ｂ、１２ｃの窓関数に応じて信号１０を重み付けすることにより形成される。この重み付けは、各窓内のオーディオ等価信号１００を、その窓の窓関数によって乗算することを意味する。セグメント信号Ｓｉ（ｔ）は次式によって獲得される。
【００２３】
Ｓ_i（ｔ）＝Ｗ（ｔ）Ｘ（ｔ−ｔ_i）
図２に示された窓１２は、声帯が励振された時点の中心に配置されている。このような時点の周辺、特に、先鋭的に画成された終端点では、信号振幅が（特に、高い周波数側で）より大きくなる傾向がある。後で詳述するように、ピッチ精密化セグメントは、ピッチ及び／又は間隔操作のために使用してもよい。強度が周期の短い区間に集中している信号の場合、このような区間の周辺に窓の中心を配置することにより、信号が最も忠実に再生される。殆どの場合に、音声再生に優れた知覚的品質を得るために、声帯の励振の瞬間に対応した時点の周辺に、或いは、音声信号中でその事について検出可能な場所に窓を配置する必要が無いことは、欧州特許出願EP-A 0527527及び欧州特許出願EP-A 0527529により公知である。むしろ、優れた結果は、適切な窓の幅と、規則的な隙間とを用いることによって得られる。窓が声帯の励振の時点に関して任意のところに配置され、連続的な窓の位置が緩やかに変化されるとしても、良質の可聴信号が得られる。このような技術に対し、窓は、絶対的な位相基準を用いることなく、局部的な周期長さずつ離間させて漸進的に配置される。
【００２４】
簡単なシステムの場合、時間窓は一定時間オフセットを用いて移動させてもよい。このようなオフセットは、好ましくは、ピッチ変化のボケを防止するため十分に短くなるように選択される。殆どの音声の場合に、実質的に１０ミリ秒の固定変位は、多量にボケを生じさせること無く、セグメントを正確にフィルタ処理させることができる。有利的には、未加工ピッチ検出の結果は、ピッチ精密化セグメントに対する固定変位を決定するため使用される。好ましくは、この変位は、実質的に、検出された最低ピッチ周期に対応する。そこで、検出された最低ピッチが１０ミリ秒のピッチ周期に対応した１００Ｈｚである男声の場合に、１０ミリ秒の固定変位が使用される。最低ピッチが１８０Ｈｚの女声の場合に、この変位は約５．６ミリ秒である。かくして、各ピッチ精密化セグメントは、重なり合うセグメントの２個のピッチ周期を十分に覆うことができる最小固定サイズに保たれ、同時に、セグメントが３個以上のピッチ周期を不必要に覆うことを防ぐ。
【００２５】
好ましくは、窓は局部ピッチ周期の範囲で移動する。この場合、「狭い」ピッチ精密化セグメントが得られる（矩形状窓の場合に、セグメントの幅は局部ピッチ周期に実質的に一致し、重なり合うセグメントの場合に、セグメントの幅は局部ピッチ周期の２倍でもよい）。かくして、ピッチ精密化セグメントの間隔はピッチ同期的であり、セグメント間隔はピッチ周期に追従する。信号のピッチと、信号の周期的部分と非周期的部分の間の比のようなその他の面は、急速に変化するので、狭いピッチ精密化セグメントを使用することにより、正確なピッチ検出が可能になる。
【００２６】
所望のタイプの重なり合う時間窓を使用することにより、例えば、１０ミリ秒の固定変位は、セグメントを２倍の長さ（例えば、２０ミリ秒以上の信号）に伸長させる。
【００２７】
好ましくは、ピッチ精密化セグメントが、以下に詳述するように、間隔又はピッチ操作のような他の演算のために使用される場合、窓関数の自己相補性を保存することが望ましい。ピッチ精密化セグメントの変位が未加工ピッチ周期に追従する場合、自己相補性の保存は、別々に伸長された左右の部分（左部分はｔ＜０、右部分はｔ＞０）を備えた窓関数を使用することにより実現され得る。
【００２８】
Ｓ_i（ｔ）＝Ｗ（ｔ／Ｌ_i）Ｘ（ｔ＋ｔ_i）（−Ｌ_i＜ｔ＜０）
Ｓ_i（ｔ）＝Ｗ（ｔ／Ｌ_i＋１）Ｘ（ｔ＋ｔ_i）（０＜ｔ＜Ｌ_i＋１）
好ましくは、ピッチ検出セグメントがピッチ精密化セグメントよりも長い場合、ピッチ精密化セグメントが２個のピッチ検出セグメントに重なるときに、別々の伸長が行われる。このような時点で、別々の伸長は、最適な結果を得るため使用される。しかし、さらに簡単なシステムの場合に、（窓の伸長に関連した）変位は、関連した未加工ピッチ周期の平均に対応するように選択される。好ましくは、このような状況において、加重平均が使用され、関連したピッチ周期の重みは、関連したピッチ検出セグメントとの重なり合いに対応する。
【００２９】
［フィルタリング］
好ましい一実施例において、ピッチ検出セグメントは、入力信号のサイン／コサイン対との畳み込みを用いてフィルタ処理される。サイン／コサイン対の変調周波数は、信号の対応した部分の未加工ピッチ値に設定される。畳み込み技術は信号処理の分野で周知である。簡単に説明すると、サイン及びコサインは、セグメントに関して配置される。セグメント中の各サンプルに対し、サンプルの値は対応した時間におけるサインの値によって乗算される。全ての獲得された積（乗算結果）は相互に減算され、周波数域でのピッチ周波数成分の虚数部が得られる。同様に、セグメント中の各サンプルに対し、サンプルの値が対応した時間でのコサインの値によって乗算される。全ての獲得された積（乗算結果）は相互に加算され、周波数域でのピッチ周波数成分の実数部が得られる。ピッチ周波数成分の振幅は、実数部と虚数部の平方和の平方根として与えられる。位相は、虚数部を実数部で除算した値のアークタンジェント（位相が所望のレンジ内に収まり、かつ、実数部が零に一致する場合にも処理できるような補正が加えられた）として与えられる。
【００３０】
以下のＣ言語のコードは畳み込みを実現するコードである。
void CalculateAmplitudeAndPhase(double pitchFreq, double sampleRate, double samples[], long numSamples, double *ampl, double *phase)
{
double a = 2.0 * PI / (sanpleRate / pitchFreq);
double real = 0.0; double imag = 0.0;
unsigned i;
for (i=0; i<numSamples; i++){
real += samples[i] * cos(i*a);
imag -= samples[i] * sin(i*a);
}
*ampl = sqrt( real * real + imag * imag );
*phase = real > 0.0 ? atan( imag / real ): real < 0.0 ? atan ( imag / real ) + PI :
imag >= 0.0 ? 0.5 * PI : 1.5 * PI;
}
畳み込み演算の結果に基づいて、ピッチ精密化セグメントに対応したフィルタ処理されたピッチ精密化セグメントが作成される。これは、未加工ピッチ値に設定された変調周波数と、決定された位相及び振幅とを用いてコサイン(又はサイン)生成することにより行われる。コサインは、フィルタ処理されたピッチ検出セグメントを窓処理するため、それぞれの窓に加重される。
【００３１】
本発明による１次高調波フィルタリングの結果が図３に示されている。図３Ａには、女性により発声された単語”(t)went(y)”の入力信号波形の一部が示されている。図３Ｂには畳み込み技術を用いて測定された未加工ピッチ値が示されている。図３Ｃ及び３Ｄは、それぞれ、図３Ａの入力信号の１次高調波フィルタリングを実行した後の波形及びスペクトル線が示されている。
【００３２】
本発明のピッチ精密化技術は、ピッチの正確な測定を必要とする種々のアプリケーションに使用される。図４には、オーディオ等価信号を符号化するためこの技術が使用されている一例が示されている。ステップ４１０において、オーディオ等価入力信号のピッチ周期の進み（又は、等価的にピッチ周波数）が検出される。この信号は、例えば、例えば、複数音の音声合成に使用されるような音声信号、又は、音声信号断片部分を表現する。この技術は音声信号を目的としているが、音楽のようなその他のオーディオ等価信号にも適用される。このような信号の場合に、ピッチ周波数は支配的な周期的周波数成分と関連する。以下では、音声信号に絞って説明する。
【００３３】
ステップ４１２において、信号は、相互に重なり合う分析セグメント又は隣接した分析セグメントの系列に分割される。この分析セグメントは上述のピッチ精密化セグメントと対応している点が有利である。このセグメントを形成するため、時間窓の列は入力信号に関して配置される。各時間窓は、窓関数と関連付けられる。それぞれの窓の窓関数に応じて信号を重み付けすることにより、セグメントが作成される。
【００３４】
以下のステップでは、各分析セグメントは、セグメント内の複数の高調波周波数の位相値を（好ましくは、振幅値と同時に）決定するため同期的に分析される。高調波周波数は、１次高調波と称されるピッチ周波数を含む。このセグメントに関連したピッチ周波数は、ステップ４１０で既に決定されている。位相は、セグメント内の所定の時点（例えば、セグメントの開始又は中心）に対して決定される。最高品質の符号化を実現するため、できるだけ多数の高調波が（信号の帯域幅内で）分析される。しかし、例えば、帯域フィルタ処理された信号は、所望の周波数範囲内の高調波を考慮すべき場合に限り必要とされる。同様に、より低品質の出力信号が許容される場合、一部の高調波は無視してもよい。また、一部の高調波に対し、雑音値が高調波の部分集合に対し決定されている場合には、振幅だけが決定される。特に、下方の高調波の場合に、信号は主として周期的になる傾向があり、これらの高調波に対する推定雑音値を使用することが可能である。その上、雑音値は振幅よりも緩やかに変化する。このため、高調波の部分集合だけに対し（例えば、連続した高調波の一つ置きに）雑音値を決定できるようになる。雑音値が決定されていないこれらの高調波に対し、（例えば、補間により）雑音値が推定され得る。高品質符号化を実現するため、雑音値が所望の周波数範囲内の全ての高調波に対し計算される。全ての雑音値を表現するため非常に多量の記憶容量又は伝送能力が必要とされる場合、雑音値は、相対的に遅い雑音値の変化に基づいて効率的に圧縮され得る。任意の適当な圧縮技術が使用される。
【００３５】
ステップ４１４において、１番目のセグメントが選択され、セグメントポインタ(S-PTR=0)により指定される。セグメントは、ステップ４１６において、(例えば、主記憶装置又は補助記憶装置から)獲得される。ステップ４１８において、分析されるべき１次高調波が選択される（h=1）。ステップ４２０において、高調波の位相（並びに、好ましくは、振幅）が決定される。原理的に、位相を決定する任意の方法が使用され得る。次のステップ４２２において、選択された高調波周波数に対し、周期的信号成分及び非周期的信号成分（雑音）の、その周波数で選択された分析セグメントに対する寄与度を示す測定量(雑音値)が決定される。この測定量は、成分又はその他の適当な測定量(例えば、一方又は両方の成分の絶対値)の間の比でも構わない。この測定量は、関連した周波数毎に、セグメント内の周波数の位相を後続セグメント（又は、交互に先行セグメント）内の同じ周波数の位相と比較することにより決定される。信号が雑音の寄与度の非常に少ない周期的信号によって著しく支配されている場合、位相は実質的に同一である。これに対し、雑音によって支配された信号の場合、位相はランダム（不規則）に変化する。そのため、位相の比較によって、周期的成分及び非周期的成分の入力信号に対する寄与度の指標が得られる。この測定量も３個以上のセグメントからの位相情報に基づいていることが解る（例えば、両方の隣接セグメントからの位相情報が現在セグメントの位相と比較される）。また、周波数成分の振幅のような他の情報を、隣接した高調波の情報と共に考慮してもよい。
【００３６】
ステップ４２４において、選択された分析セグメントの符号化は、選択された各周波数成分毎に、振幅値及び雑音値（雑音係数と呼ばれる場合もある）を記憶することにより行われる。雑音値は位相値から獲得されるので、雑音値を記憶する代わりに位相値を記憶してもよいことが解る。
【００３７】
ステップ４２６において、全ての所望の高調波が符号化されたかどうかが検査され、未だ検査されていないものがある場合、符号化されるべき次の高調波がステップ４２８で選択される。全ての高調波が符号化された後、ステップ４３０において、全ての分析セグメントが処理されたかどうかが検査される。未だ処理されていない分析セグメントがある場合、ステップ４３２において、次のセグメントNEXT SEGMENTが符号化のため選択される。
【００３８】
符号化されたセグメントは後段で使用される。例えば、符号化されたセグメントは、元の入力信号を再生するため、電気通信ネットワークを介して転送され、復号化される。このような転送は符号化中に実時間で行われる。符号化されたセグメントは、好ましくは、音声合成（テキストから音声への変換）システムで使用される。このようなアプリケーションの場合に、符号化されたセグメントは、例えば、ハードディスク若しくはCD-ROMのような補助記憶装置に記憶される。音声合成の場合に、典型的に、文は、連結されるべき音声断片部分（例えば、複数音）と、連結の系列とを示す表現に変換される。また、この表現は、文の望ましい韻律を示す。記憶された符号化セグメントに対し得られる間隔及びピッチのような情報に対し、この表現は、関連したセグメントのピッチ及び間隔が操作されるべき態様を指定する。関連した断片部分は、記憶装置から獲得され、復号化される（すなわち、典型的にはデジタル形式の音声信号に変換される）。ピッチ及び／又は間隔は、適当な技術（例えば、PSOLA/PIOLA操作技術）を用いて操作される。
【００３９】
本発明による符号化は音声合成システム（テキストから音声への変換）に使用される。このようなシステムでは、符号化された断片部分の復号化に続いて、PSOLA又はPIOLAのようなセグメンテーション技術を用いて出力信号断片部分の更なる操作が行われる。これらの技術は、局部ピッチ周期の実質的に2倍の間隔をもつ重なり合う窓を使用する。符号化がこのようなアプリケーションにおいて後段で使用するため行われる場合に、好ましくは、音声合成中に音声の韻律を操作するため使用される窓と同じ窓が予めこの段で使用される。かくして、復号化により得られた信号セグメントはそのまま保たれ、付加的なセグメンテーションを韻律操作のため行う必要が無い。
【００４０】
［高調波の雑音値の決定］
正確なピッチ周波数が決定された後、正確に決定されたピッチ周期から獲得されるような基本周波数（ピッチ周波数）の複数の高調波に対し位相値が決定される。好ましくは、離散フーリエ変換（ＤＦＴ）のような周波数域への変換は、高調波の位相を決定するため使用され、正確に決定されたピッチ周波数は変換用の基本周波数として使用される。この変換によって高調波に対する振幅値が得られ、後段の合成／復号化のため使用される点が有利である。位相値は各高調波に対する雑音値を推定するため使用される。入力信号が周期的又は略周期的であるとき、各高調波は連続的な周期の間で小さい位相差又は位相差ゼロを示す。入力信号が非周期的であるとき、所定の高調波に対する連続的な周期間の位相差は不規則である。かくして、位相差は、入力信号中に出現する周期的成分及び非周期的成分の測定量である。信号の実質的に非周期的な部分に関し、位相差のランダムな挙動に起因して、雑音成分の絶対測定量は個別の高調波に対し獲得されない。例えば、所定の高調波周波数で、信号が非周期的成分によって支配されている場合、２個の連続した周期の位相は略一致する。しかし、数個の高調波を平均的に考慮した場合、非常に周期的な信号は殆ど位相差を生じないが、非常に非周期的な信号は非常に大きい位相差（平均として、位相差π）を示す。好ましくは、位相差の絶対値を獲得し、２πで除算することによって、１〜０の雑音係数が各高調波に対し得られる。有声音（非常に周期的な信号）の場合に、この係数は、微少又は０であり、有声摩擦音のような周期性の少ない信号の場合、雑音係数は０よりもはるかに大きい。好ましくは、雑音係数は、周波数の関数として、位相差の１次又は２次微係数のような微係数に依存して決定される。かくして、非常にロバスト性のある結果が獲得される。位相の微分成分を用いることによって雑音による影響を受けないスペクトルが除去される。雑音係数は識別性を高めるためスケーリングされる。
【００４１】
図５には、有声音フレーム中の全ての高調波に対する（２次微係数に基づく）雑音係数の一例が示されている。この有声音フレームは、男性によって発声され、１６ＫＨｚでサンプリングされた単語”(kn)o(w)”を記録したものである。図５Ａには、個々の高調波の振幅を表現するスペクトルが示されている。このスペクトルは、本発明による正確なピッチ周波数決定方法によって決定された１３５．４１Ｈｚの基本周波数のＤＦＴで決定される。１６ＫＨｚのサンプリングレートが使用され、５９個の高調波が得られる。３５番目から３８番目まで一部の高調波の振幅値は非常に小さいことがわかる。図５Ｂには、本発明による方法を用いて各高調波に対し見つけられた雑音係数が示されている。相対的に高い雑音度が３２番目の高調波と３９番目の高調波の間の領域で生じることが非常に明瞭に示されている。このように、本発明の方法によれば、入力信号中の雑音を含む成分と殆ど雑音を含まない成分とを明瞭に識別される。また、雑音係数は、周波数に依存して著しく変化することもわかる。要求に応じて、識別性は、高調波の振幅を考慮することによって更に高められ、ここで、高調波の比較的小さい振幅は高レベルの雑音度を表わす。例えば、ある高調波に対し、２個の連続した周期の間の差が、その周波数で顕著な雑音のランダムな挙動に起因して小さい場合、雑音係数は、振幅が小さいときには、好ましくは、０付近から、例えば、０．５（若しくは、それ以上）までの範囲に補正される。その理由は、小さい振幅は、その周波数で、非周期的成分の寄与度が周期的成分の寄与度と同等、或いは、それ以上であることを意味するからである。
【００４２】
上記の分析は、好ましくは、信号の有声音部分（すなわち、識別可能な周期的成分を備えた有声音部分）だけに対して行われる。無声音部分では、雑音係数は全ての周波数成分に対し１に設定され、この値１は最大雑音寄与度を意味する。出力信号を合成するため使用される合成のタイプに依存して、入力信号の無声音部分に対する情報を取得することも要求される。好ましくは、これは、有声音部分に関して説明した分析方法と同じ分析方法を用いて行われ、例えば、５ミリ秒の固定長の分析窓が使用され、信号はＤＦＴを用いて分析される。無声音部分の合成のためには、振幅だけを計算すればよく、雑音値が固定されているので、位相情報は必要とされない。
【００４３】
［合成］
好ましくは、信号セグメントは、各高周波の分析中に獲得された振幅情報から作成される。これは、離散フーリエ逆変換（逆ＤＦＴ）のような周波数域から時間域への適当な変換を用いることにより行われる。好ましくは、いわゆる三角関数合成が使用される。本技術によれば、所定の振幅を有するサインが高調波毎に発生させられ、全てのサインは一つに加算される。これは、一般的に、各高調波毎に、その高調波の周波数とその高調波に対し決定された振幅とをもつ１個ずつのサインを加算することによってデジタル的に行われることに注意する必要がある。並列アナログ信号を発生させ、それらのアナログ信号を加算する必要がない。分析により獲得されるような各高調波に対する振幅は、その周波数での周期的成分と非周期的成分の結合強度を表現する。かくして、再合成信号は、両方の成分の強度を表現する。
【００４４】
周期的成分に対し、原理的に、位相は高調波毎に自由に選択することができる。本発明によれば、一定の高調波に対し、セグメントが（以下に詳述するように、必要であるならば重なり合う形で）連結された場合に、制御できない位相ジャンプが出力信号に発生しないように、連続的な信号セグメントのための初期位相が選択される。例えば、セグメントは、ピッチ周期の複数倍（例えば、２倍）に対応した区間を有し、セグメントの開始時（並びに、セグメントは高調波周期の整数倍だけ持続するので、セグメントの終了時）、所定の高調波の位相が一致するよう選択される。連続したセグメントの連結中に位相ジャンプを回避することによって、従来のPIOLA/PSOLA技術に基づく複数音の音声合成よりも出力信号の自然さが改善される。これらの技術を用いると、複音のような記録された実際の音声断片部分を連結することにより妥当な品質の合成音声が獲得される。これらの技術を用いる場合、自然さのレベルの高い出力が断片部分内で獲得され得る。これらの音声断片部分は、所望の出力を生成するため順番に選択され、連結される。例えば、テキスト入力(文)は、複数音の系列に書き換えられ、続いて、この書き換えに対応した音声断片部分（複数音）が獲得される。一般的に、記録された音声断片部分は、発話されるべき文の所望の韻律に対応したピッチ周波数及び／又は間隔をもたない。この操作は、基本音声信号をセグメントに分割することにより行われる。セグメントは、窓の列を信号に沿って配置することにより形成される。連続的な窓は、一般的に、局部ピッチ周期に類似した間隔に亘り移動させられる。欧州特許出願EP-A 0527527及びEP-A 0527529に記載されたPIOLAシステムと称されるシステムの場合、局部ピッチ周期は自動的に検出され、窓は検出されたピッチ間隔に応じて移動する。欧州特許出願EP-A 0363233に記載されたいわゆるPSOLAシステムの場合、窓は、手動で決定された場所、いわゆるボイスマーカーの周辺に中心が配置される。ボイスマーカーは、声帯の最強度の励振の周期的な時点に対応する。出力信号は信号セグメントを連結することにより生成される。拡張された出力信号はセグメントを繰り返すことにより獲得され、短縮された出力信号はセグメントを抑止することにより得ることができる。出力信号のピッチは、セグメント間の重なり合いを増大又は減少させることにより、上昇又は下降させられる。継続中の音声に適用した場合、ピッチ変化の範囲があまり広くない限り、上記の方法で操作された音声の品質は非常に高い。しかし、音声が複音のようなかなり短い音声断片部分から構築される場合には複雑化する。有声音声部分の高調波位相の挙動は非常に異なり、連続した断片部分の間の境界で滑らかな推移を生じさせることは困難であり、合成された音声の自然さが失われる。このようなシステムの場合に、本発明による符号化技術は有利的に適用することができる。制御できない位相を備えた実際のオーディオ等価断片部分に基づいて動作させないことにより、代わりの断片部分が本発明に従って符号化された断片部分から作成される。上記の三角関数合成のような任意の適当な技術を使用して、当該周波数成分の位相は完全に制御することが可能であり、その結果として、断片部分境界での制御できない位相推移は、回避され得る。
【００４５】
１個のセグメント内で、全ての高調波が同じ位相で始まる必要はない。実際上、多数の高調波の初期位相は、０から２πまでの範囲に適度に分布することが好ましい。例えば、初期値は、以下のような（きわめて任意的な）値：
２π（ｋ−０．５）／ｋ
に設定され、式中、ｋは高調波番号であり、時点ゼロは窓の中間で選択される。スペクトル全体への非零値の分布は、合成された信号のエネルギーを時間的に拡散し、合成された波形に高ピークが生じることを防止する。
【００４６】
非周期的成分は、高調波の初期位相の所望の初期値に加算された乱数部分を用いて表現される。高調波毎に、不規則性の量は分析によって決定されたような高調波に対する雑音係数により決定される。顕著な非周期的成分が観察されない場合、雑音は加算されず（すなわち、乱数部分は使用されない）、一方、非周期的成分が支配的であるならば、高調波の初期位相は、（完全に非周期的信号の場合に、−πから＋πまでの範囲内の最大位相変化まで）不規則な変化の影響を著しく受ける。０は雑音無しを表わし、１は完全に非周期的を表わす上記のような不規則な雑音係数が定義された場合、乱数部分は、不規則な雑音係数を−πから＋πまでの範囲内の乱数で乗算することにより得られる。繰り返し性の無い雑音信号の発生は、発生された音声の認知される自然さを著しく改善する。変化中の音声入力信号が本発明に従って分析、再合成される試験によって、元の入力信号と出力信号との間で殆ど差が検出できないことが判明した。この試験において、信号のピッチ又は間隔の操作は行われていない。
【００４７】
［間隔又はピッチの操作］
図２において、分析セグメントＳ_i（ｔ）は、信号１０をそれぞれの窓関数Ｗ（ｔ）を用いて重み付けすることにより獲得された。分析セグメントは、符号化形式で記憶された。合成の場合に、分析セグメントは上述の通り再作成される。復号化されたセグメントをそのまま重ね合わせることにより、元の入力信号と類似した信号が制御された位相挙動を伴って再作成される。好ましくは、セグメントは、後述の重ね合わせ及び加算技術を用いて復号化された音声断片部分の系列の間隔又はピッチの操作が行えるように保たれる。
【００４８】
図６には、各信号セグメントを系統的に持続若しくは繰り返すことにより、延長されたオーディオ信号を形成することが示されている。信号セグメントは、好ましくは、図４のステップ４１２で獲得されたものと同じセグメントである（符号化と復号化が行われている）。図６Ａには、信号セグメント１４ａ乃至１４ｆからなる１番目の系列１４が示されている。図６Ｂは、間隔が１．５倍に延長された信号を示す図である。これは、１番目のシーケンス１４の全てのセグメントを持続し、系列中の一つおきのセグメント（例えば、奇数セグメント又は偶数セグメント）を系統的に繰り返すことにより獲得される。図６Ｃの信号は、シーケンス１４の各セグメントを３回ずつ繰り返すことによって３倍に延長されている。信号は逆の技術（すなわち、系統的にセグメントを抑制／飛び越しする技術）を用いて短縮され得ることがわかる。
【００４９】
延長技術は、識別可能な周期的成分を含まないオーディオ等価入力信号の一部分を延長するため使用することが可能である。音声信号の場合に、このような一部分の一例は無声音区間（ストレッチ）、すなわち、”ssss”のような摩擦音を含む区間であり、この区間では、声帯は励振されない。音楽の場合に、非周期的部分の一例は雑音部分である。周期的部分と同じような方法で実質的に非周期的部分の間隔を延長するため、窓が信号に関して漸進的に配置される。窓は手動で決められた位置に配置してもよい。或いは、連続的な窓が、非周期的部分を囲む周期的部分のピッチ周期から獲得された時間的距離の全体を移動する。例えば、最後の周期的セグメントに対し使用された変位と同じ変位（すなわち、最後のセグメントの周期に対応する変位）を選択してもよい。この変位は、最後の先行の周期的セグメントと最初の後続の周期的セグメントの変位を補間することにより決めても構わない。或いは、音声の場合には、好ましくは、性別に応じた一定変位を選択してもよく、例えば、男声に対し１０ミリ秒の変位を使用し、女声に対し５ミリ秒の変位を使用する。
【００５０】
信号を延長する場合、原理的に、窓を重なり合わない形で互いに隣接させて配置することにより作成された重なり合いの無いセグメントを使用することができる。同じ技術が信号のピッチを変更するためにも使用される場合、例えば、図２に示された窓のように、重なり合う窓を使用する方が好ましい。窓関数は自己相補的である点が有利である。窓関数の自己相補的な特性は、獲得されたときと同じ時間的関係でセグメントを重ね合わせることにより、確実に元の信号が得られることである。出力信号Ｙ（ｔ）を得るため、復号化されたセグメントＳ_i（ｔ）が重ね合わされる。（例えば、有声音の会話又は音楽のような）局部的に周期的な信号のピッチ変化は、セグメントを重ね合わせる前に、元の位置ｔ_i（ｉ＝１，２，３．．）とは異なる新しい位置Ｔ_iにセグメントを配置することにより獲得できる。例えば、ピッチが増大した出力信号を形成するため、セグメントは、元の信号から獲得されたようなセグメントの距離よりも相互の中心間距離が圧縮されるように重ね合わされる。セグメントの長さは同じ長さに保たれる。最後に、セグメント信号は重ね合わされた出力信号Ｙを獲得すべく加算される。
【００５１】
Ｙ（ｔ）＝Σ_iＳ_i（ｔ−Ｔ_i）
（図２の例の場合に、窓が２周期の幅であるとき、和は −Ｌ＜ｔ−Ｔ_i＜Ｌであるインデックスｉに制限される。）この構造の性質によって、出力信号Ｙ（ｔ）は、入力信号１０が周期的である場合に周期的になるが、出力の周期は、以下の倍率だけ、すなわち、重ね合わせのため配置されたセグメント間の相互圧縮／拡張距離と同じ量だけ入力周期と異なる。
【００５２】
（ｔ_i−ｔ_i−１）／（Ｔ_i−Ｔ_i−１）
セグメント距離が変化しない場合、出力信号Ｙ（ｔ）は、入力オーディオ等価信号Ｘ（ｔ）を生成する。セグメントの時間的位置を変更することにより、異なる局部周期を有するという点で入力信号とは異なる出力信号が得られるが、スペクトルの包絡は略同一に保たれる。認知実験は、ピッチが１オクターブ以上変更されても、非常に優れた認知音声品質が得られることを示した。
【００５３】
ピッチを上昇させることの副作用として信号が短くなることがわかった。これは、上述の通り信号を延長することにより補償される。
【００５４】
間隔／ピッチ操作方法は、周期的信号を、異なる周期と略同じスペクトル包絡とを備えた新しい周期的信号に変換する。この方法は、例えば、有声音会話信号又は音楽信号のような局部的に決定された周期を有する信号に均等に好適である。これらの信号に対し、周期長Ｌは時間的に変化し、すなわち、ｉ番目の周期は周期固有の長さＬ_iを有する。この場合、窓の長さは、周期長が変化すると共に、時間的に変更されるべきであり、窓関数Ｗ（ｔ）は、このような窓を覆うため局部周期に対応した倍率Ｌ_iによって時間的に伸長されるべきである。
【００５５】
Ｓ_i（ｔ）＝Ｗ（ｔ／Ｌ_i）Ｘ（ｔ−ｔ_i）
自己相補的な重なり合う窓の場合に、窓関数の自己相補性を保存することが望ましい。これは、別々に伸長された左右の部分（左部分はｔ＜０、右部分はｔ＞０）を備えた窓関数を使用することにより実現され得る。
【００５６】
Ｓ_i（ｔ）＝Ｗ（ｔ／Ｌ_i）Ｘ（ｔ＋ｔ_i）（−Ｌ_i＜ｔ＜０）
Ｓ_i（ｔ）＝Ｗ（ｔ／Ｌ_i＋１）Ｘ（ｔ＋ｔ_i）（０＜ｔ＜Ｌ_i＋１）
式中、各部は固有の倍率Ｌ_i並びにＬ_i＋１によって伸長される。これらの倍率は、対応した左側の重なり合い窓及び右側の重なり合い窓の係数に固有である。
【００５７】
実験によって、上記の方法で操作された局部的に周期的な入力オーディオ等価信号断片部分は、人間の聴覚には入力オーディオ等価信号と同じ品質であり、かつ、入力オーディオ等価信号とは異なるピッチ及び／又は間隔を有する出力信号を生じることがわかった。ここで、本発明の符号化方法を適用することにより、位相ジャンプは、音声断片部分間で変化が生じる高調波周波数に対し発生しないことが保証される。かくして、特に、比較的短い音声断片部分の連結に基づく音声合成の場合に、品質が改良される。試験を行うことによって、高調波に対する位相が制御されたセグメントを使用することに起因した音声合成の改良は、信号を伸長するためセグメントが繰り返されるときに、より一層顕著であることがわかった。セグメントの繰り返しは、たとえセグメント自体が非常に非周期的であるとしても、周期的な要素を含むように観察される信号を発生させる。非周期的セグメントに対し、連続的なセグメントの位相が実質的に不規則に変化することを保証することにより、繰り返しは回避される。
【００５８】
符号化及び合成方法の完全な実装が実現され、数通りの他のボコーダー実現例、特に、典型的なLPCボコーダーと比較された。ピッチ及び間隔を操作する場合に、新規の合成技術の優位性が示された。試験システムによって、元のピッチ及び間隔の輪郭形状を操作することができた。新規の方法に従って新しいピッチ列を用いて合成された音声は、最初に記録された音声断片部分にそのまま作用する従来のPSOLA操作後の音声よりも非常に良質に聞こえる。また、無声音会話部分を実質的に伸長させることによって、新規の方法を適用する際により良好な結果が得られる。これらの試験中に、繰り返された各セグメントは新しい乱数を用いて合成され、雑音信号に周期性を導入するアーティファクトが回避される。
【００５９】
上記の符号化及び合成方法は、適当な装置及びシステムに組み込まれ得る。かかる装置は、従来のコンピュータ技術を用いて構築され、本発明による方法のステップを実行するようにプログラミングされる。典型的に、本発明による符号器は、アナログオーディオ入力信号をデジタル信号に変換するＡ／Ｄ変換器を具備する。デジタル信号は、主記憶装置若しくは補助記憶装置に保存される。ＤＳＰのようなプロセッサは、符号化を行うようにプログラミングされる。このようにプログラミングされたプロセッサは、信号中の連続的なピッチ周期／周波数を決定する役割を果たす。また、プロセッサは、時間窓の列を信号に関して配置し、それぞれの時間窓の関連した窓関数に応じて信号を重み付けすることによって、相互に重なり合い、或いは、隣接した精密化／分析セグメントの系列を形成する。プロセッサは、セグメントに対応した信号部分に対し検出されたピッチ周期に対応する周波数成分を抽出するため、各精密化セグメントをフィルタ処理する。好ましくは、プロセッサは、サイン／コサイン関数の対による畳み込みを用いてフィルタリングを行い、対応した窓化処理されたサイン／コサイン関数を再作成するようプログラミングされる。必要に応じて、別個のデジタル又はアナログ帯域通過フィルタを用いてもよい。符号化のため、プロセッサは、各精密化セグメントの複数の周波数成分に対し振幅値及び位相値を決定するようプログラミングしてもよく、ここで、この周波数成分には、分析セグメントに対応したピッチ周波数の複数の高調波周波数が含まれる。符号器のプロセッサは、分析セグメントの周波数成分に対する位相値を、少なくとも１個の先行又は後続の分析セグメントに対する対応した位相値と比較することにより、その周波数で周期的成分及び非周期的成分が分析セグメントに寄与する度合いを表現する各周波数成分に対する雑音値を決定する。最後に、プロセッサは、各分析セグメント毎の各周波数成分に対する振幅値及び雑音値を用いてオーディオ等価信号を表現する。プロセッサは、符号化された信号を符号器の記憶媒体（例えば、ハードディスク、ＣＤ−ＲＯＭ、若しくは、フロッピーディスク）に保存し、又は、符号化された信号を、モデムのような符号器の通信手段を用いて他の装置に転送する。符号化された信号は、復号器によって取得若しくは受信され、この復号器は（典型的に、プロセッサの制御下で）信号を復号化する。復号器は、選択された符号化信号断片部分毎に、符号化信号断片部分を時間域に変換することによって、対応した信号断片部分を作成する。ここで、符号化された周波数成分毎に、非周期的信号成分は、周波数成分に対するそれぞれの雑音値に従って加算される。信号を再生するため、復号器は、Ｄ／Ａ変換器及び増幅器を具備する。復号器は、音声合成器のような合成器（シンセサイザ）の一部分でもよい。合成器は、例えば、テキスト的に表現された文を再生するため必要とされるような符号化された音声断片部分を選択し、断片部分を復号化し、断片部分を連結する。また、信号の間隔及び韻律が操作され得る。
【図面の簡単な説明】
【図１】本発明による１次高調波フィルタリング技術を用いてピッチ値を正確に決定する方法を説明する図である。
【図２】信号のセグメンテーションを表わす図である。
【図３】１次高調波フィルタリングの結果を示す図である。
【図４】本発明による符号化方法の概要図である。
【図５】本発明による分析を用いて雑音値を示す図である。
【図６】合成された信号の拡張を説明する図である。

Claims

オーディオ等価信号を相互に重なり合い、若しくは、隣接したピッチ検出セグメントに分割するステップと、
上記ピッチ検出セグメント毎に、ピッチ周期／周波数の初期値を決定するステップと、
上記決定された初期値に基づいて、上記ピッチ周期／周波数の正確な値を決定するステップとを有し、オーディオ等価信号の連続的なピッチ周期／周波数を決定する方法であって、
上記ピッチ周期／周波数の正確な値を決定するステップは、
上記オーディオ等価信号に関して時間窓の列を配置し、上記各時間窓の関連した窓関数に応じて上記信号を重み付けすることにより、各ピッチ精密化セグメントが少なくとも１個のピッチ検出セグメントと関連しているピッチ精密化セグメントの系列を形成するステップと、
関連したピッチ検出セグメントの初期的に決定されたピッチ周波数に実質的に対応した周波数をもつ周波数成分を抽出するため各ピッチ精密化セグメントをフィルタリングすることによりフィルタ処理された信号を形成するステップと、
上記フィルタ処理された信号から上記連続的なピッチ周期／周波数を決定するステップとを有し、
上記ピッチ精密化セグメントをフィルタリングするステップは、
同一の変調周波数を備えたサイン関数とコサイン関数に振幅値及び位相値を与えて、初期的に推定された上記ピッチ周波数に実質的に対応した変調周波数を備えたサイン関数とコサイン関数の対を用いて上記ピッチ検出セグメントを畳み込むステップと、
決定された振幅及び位相を備えた窓型にされたサイン関数とコサイン関数を発生させることにより、フィルタ処理されたピッチ検出セグメントを形成するステップとを有し、
上記フィルタ処理されたピッチ検出セグメントを形成するステップは、上記フィルタ処理されたピッチ検出セグメントの系列を連結するステップを有する
ことを特徴とする連続的なピッチ周期／周波数を決定する方法。
上記フィルタ処理された信号はデジタルサンプルの時系列として表現され、
上記フィルタ処理された信号の連続的なピッチ周期／周波数を決定するステップは、
上記デジタルサンプルの時系列が、極大値若しくは極小値であるか、又は、零値と交差するような所定の条件を満たす連続的な時点を推定するステップと、
上記推定された時点の周辺で複数のサンプルを補間することにより上記各時点をより正確に決定するステップとを有することを特徴とする請求項１記載の連続的なピッチ周期／周波数を決定する方法。
上記オーディオ等価信号に関して時間窓の列を配置するステップは、直前の時間窓に関して、実質的に、上記関連したピッチ検出セグメントの初期的に決定されたピッチ周波数に応じた時間間隔を有する各時間窓を移動させるステップを有することを特徴とする請求項１記載の連続的なピッチ周期／周波数を決定する方法。
上記連続した各時間窓を移動させるステップは、実質的に、上記関連したピッチ検出セグメントの初期的に決定されたピッチ周期の量だけ上記時間窓を移動させることを特徴とする請求項３記載の連続的なピッチ周期／周波数を決定する方法。
相互に重なり合い、若しくは、隣接したピッチ検出セグメントの系列を形成するセグメンテーション手段と、
上記ピッチ検出セグメント毎に、ピッチ周期／周波数の初期値を決定するピッチ検出手段と、
上記決定された初期値に基づいて、上記ピッチ周期／周波数の正確な値を決定するピッチ精密化手段とを有し、オーディオ等価信号の連続的なピッチ周期／周波数を決定する装置であって、
上記ピッチ精密化手段は、
上記オーディオ等価信号に関して時間窓の列を配置し、上記各時間窓の関連した窓関数に応じて上記信号を重み付けすることにより、各ピッチ精密化セグメントが少なくとも１個のピッチ検出セグメントと関連しているピッチ精密化セグメントの系列を形成するセグメンテーション手段と、
関連したピッチ検出セグメントの初期的に決定されたピッチ周波数に実質的に対応した周波数をもつ周波数成分を抽出するため各ピッチ精密化セグメントをフィルタリングすることによりフィルタ処理された信号を形成するフィルタリング手段と、
上記フィルタ処理された信号から上記連続的なピッチ周期／周波数を決定する手段とを有し、
上記フィルタリング手段は、
同一の変調周波数を備えたサイン関数とコサイン関数に振幅値及び位相値を与えて、初期的に推定された上記ピッチ周波数に実質的に対応した変調周波数を備えたサイン関数とコサイン関数の対を用いて上記ピッチ検出セグメントを畳み込む手段と、
決定された振幅及び位相を備えた窓型にされたサイン関数とコサイン関数を発生させることにより、フィルタ処理されたピッチ検出セグメントを形成する手段とを有し、
上記フィルタ処理されたピッチ検出セグメントを形成する手段は、上記フィルタ処理されたピッチ検出セグメントの系列を連結する手段とを有する
することを特徴とする装置。