JPH11513821A

JPH11513821A - 逆変換狭帯域／広帯域音声合成

Info

Publication number: JPH11513821A
Application number: JP9516706A
Authority: JP
Inventors: フリード，エイドリアン
Original assignee: THE REGENTS OF THE UNIVERSITY OF CARIFORNIA
Current assignee: THE REGENTS OF THE UNIVERSITY OF CARIFORNIA
Priority date: 1995-10-23
Filing date: 1996-10-22
Publication date: 1999-11-24
Also published as: DE69629934T2; EP0860003A4; EP0860003B1; DE69629934D1; US5686683A; AU7518196A; EP0860003A1; WO1997015915A1

Abstract

(57)【要約】複雑かつ現実的な音声を合成するための加算的音声合成処理を、効率的な計算により実現することを可能にする。本発明の一局面において、所与の部分音のエネルギーを、異なるチャネルに対応する別々の変換合計に配給することにより、ポリフォニック化が効率的に達成される。本発明の別の局面において、部分音毎に対してあるいは変換合計に対して音声の位相をランダムに乱すことにより、ノイズ(87)が投入される。後者の場合、スペクトルの各領域に存在するエネルギー量によって決定される程度まで、スペクトルの異なる領域において位相が乱される。本発明のさらに別の局面において、音声を表す変換合計(83)を変換領域中において処理することにより、変換領域外ならばより大きなコストでしか実現可能でない効果が、優れた経済性で達成される。フーリエ変換の他の変換を用いても効果的である。例えば、ハートレー変換を用いることで同等な結果が生成される一方、フーリエ変換の約２倍の速度で変換を計算することを可能にする。

Description

【発明の詳細な説明】逆変換狭帯/広帯域音声合成発明の背景１．発明の分野本発明は、コンピュータ制御された音声合成に関し、特に、逆変換技術を用いた加算的合成に関する。２．従来技術音声合成におけるコンピュータの応用は長年にわたって研究および実践されている。単純な音のコンピュータ合成は簡単であるのに対し、人間の声、ピアノの和音、鳥の鳴き声等の複雑で現実的な音声の合成は課題であり続けている。複合音を合成する周知技術の１つは、加算的今成(additive synthesis)に関するものである。従来の加算的合成の場合、一群の正弦波部分音(sinusoidal part ials)を加算することによって複合音を生成する。複雑で現実的な音声を１つ生成するのに、１０００個もの正弦波部分音を加算する必要があり得る。正弦波部分音は、それぞれ、少なくとも周波数および振幅、さらに可能であれば位相、によって指定されなければならない。加算的合成によって複雑で現実的な音声を生成する際の計算上の課題が相当なものであることは明らかである。また、複雑で現実的な音声をリアルタイムで生成するために加算的合成を用いるとき、その最大の利点が得られる。即ち、合成システムは、それぞれが多数の部分音のパラメータを指定する一連のレコードを受け入れ、これらのレコードから、ユーザが感じる程の遅延を伴わずに、複雑で面白い現実的な音声を生成する能力を有するべきである。加算的合成に関して、２つの方法が行われている。第１の方法（時間領域または波テーブル(wavetable)法）では、複数の発振器(oscillator)を含むバンクの等価物を用いて正弦波部分音を直接生成している。全ての部分音の周波数および振幅の値を、発振器バンク内の発振器に与え、得られる部分音を加算することによって最終的な音を生成している。適切な時間内に音声を生成し得るように、部分音をそれぞれ独立して直接計算するという要件によって、１つの音声に含まれ得る部分音の数が制限される。第２の方法（周波数領域法）では、周波数領域において部分音を指定および加算し、これにより、最終的な音のスペクトル即ち周波数領域表現を生成する。次に、逆フーリエ変換を用いて最終的な音の時間領域表現を計算し、ここから音声が生成される。ＩＦＦＴ加算的合成技術の１つが、本願に参考として援用される米国特許第5, 401,897号に記載されている。ここに記載されている加算的音声合成処理の場合、連続する周波数スペクトルの逆フーリエ変換を行うことによってサンプルブロックを求める。これらのサンプルブロックを時間重畳(time-superimposed)および加算することによって、１つの音波を表すサンプルシーケンスを形成する。後者のプロシージャは、オーバーラップ加算(overlap-add)として知られている。スタジオ品質の音声再生を達成するためには、出力サンプルを44.1または48KH zのレートで生成する。すなわち20マイクロ秒毎に１サンプルである。しかし、人間の耳は１秒の数百分の１未満しか離れていないような聴覚的イベント(audit ory event)を容易には区別できないので、連続周波数スペクトルを記述する制御情報を含むパラメータセットを、例えば200Hzの低い周波数（更新周波数(update frequency)）で供給し得る。次に、所与のサンプルに対応する瞬間を囲む２つの連続するパラメータセットの間で補間を行うことにより、サンプルを計算する。このようにして、値の突然変化が連続すること（ノイズまたはクリック音が更新周波数で起こる結果となる）を回避する。図１を特に参照し、合成される音声の連続的スペクトルを記述する制御情報をテーブルTAB1に格納する。各部分音は、周波数（f_i）、振幅（Ai）、および位相（Φ_i）のパラメータで記述される。さらに、合成された信号中に導入するべきスペクトルノイズエネルギーの記述（ノイズ成分B_i）も、テーブルTAB3に格納する。ウィンドーイング関数(windowing function)を用いた周知の短項(short-term) フーリエ技術に従って、スペクトルを構成する。任意の数の適切なウィンドーイング関数、例えばハニングウィンドーイング関数(Hanning windowing function) を用い得る。時間領域ウィンドーイング関数にゼロパディング(zero-padded)を施し、離散フーリエ変換を用いて変換することにより、改善された周波数解像度を有する、オーバーサンプリング(oversample)された「周波数領域ウィンドウ」を生成し、これをテーブルTAB2に格納する。図１中の段階１０において、周波数fiに従って決定される周波数領域ウィンドウをサンプリングする。次に、サンプル値に、位相ファクタe^j ^Φiに従って重み付けされた振幅A_iを乗算し、指定された部分音を表すパターン（図１中において曲線12Mで示される）を生成する。得られた値を、構築中のスペクトルを表すために用いられる別々の(discrete)周波数「容器(bin)」に加算する。周波数f_iは、スペクトル表現中の周波数容器の周波数境界に対して値を位置合わせするために用いられる。１つのレコード中の全ての部分音が加算されるまで、連続的な部分音のそれぞれのスペクトル表現S_iを、累積された部分音の前回の和S_i-1に加算する。得られたスペクトルは、多数の正弦波部分音からなる。しかし、周期的成分に加えて、非周期的成分（すなわちノイズ）の存在は、大部分の面白い現実的な音声（楽音を含む）の作成にとって基本的なものである。従って、テーブルTAB3に格納されたノイズ記述から生成されるノイズ成分B_iを、段階４０中のスペクトルに加算する。ノイズ記述は、例えば、ホワイトノイズのスペクトル密度を選択されたフィルタの周波数応答を用いて畳み込み(convolve)、その結果を表にする(t abulate)ことによって得ることができる。ノイズ成分B_iをスペクトルに加算することが、複雑かつ現実的な音声のスペクトル表現を構築する際の最後の工程である。続く工程により、そのスペクトル表現を時間表現に変換する。スペクトルが形成されると、段階５０において離散逆フーリエ変換を行う。スペクトルの逆フーリエ変換をとることにより、サンプリングシーケンスを得ることが可能になる。音声を表している最終信号を生成するために、IFFT段階５０によって計算された連続するサンプルブロックを、テーブルTAB4中に格納された重み付け曲線を用いて整形する(shape)。整形されたサンプルブロックを次に、図２に略図示するように、段階７０においてオーバーラップさせかつ加算する。連続するブロックの重畳により、ブロックの境界における計算エラーの影響を緩和する。重み付け曲線を形成するために、所定の数のサンプルによって置換され(displ ace)、自身に加算された時に、オーバーラップ区間(overlap interval)を通じて一定値が得られるような特性を有する関数を選択する。関数は例えば、三角形関数(triangular function)または台形関数(trapezoidal function)であってもよい。選択された関数のサンプル値を、周波数領域ウィンドウの対応するサンプル値で除算する。結果をテーブルTAB4に格納し、段階７０（図２）で行われるオーバーラップ−加算演算の準備として、連続するサンプルブロックを乗算するために用いられる。オーバーラップ−加算演算により、音波を表すサンプリングシーケンスが生成される。このサンプリングシーケンスに対してフィルタリング、平滑化、D/Aコンバータ７５におけるアナログ信号への変換、および増幅を行うことにより、音声トランスデューサ（スピーカなど）に入力されるための適切な連続的な(continuous)電気的信号が得られる。テーブルTAB1に格納される部分音パラメータセットの生成は、上述の特許中には具体的には述べられていないが、典型的には制御構造９０を用いて達成される。制御構造９０は、各ブロックが様々な部分音をその振幅および位相について指定しているような、データのブロックを生成する。遷移がより滑らかに起こるようなより多くの数のデータセットを生成するために、補間器１００がしばしば用いられる。補間器は、音声出力中のアーチファクトを最小限にするように設計される。補間器１００は、レート制御器８０によって決定されるレートで動作する。このレートは、少なくとも部分的には、制御構造９０の動作速度およびD/Aコンバータ７５のサンプルレートによって支配される。加算的音声合成に関連する他の特許は、米国特許第4,856,068号、米国特許第4 ,885,790号、米国特許第4,937,873号、米国特許第5,029,509号、米国特許第5,05 4,072号、および米国特許第5,327,518号を含む。これらの全てを参考のために本明細書において援用する。しかし、上述したタイプの従来技術における加算合成方法は、いくつかの点において制約が残っている。音声信号のスペクトル表現を生成するために、離散フーリエ変換のみを用いている。離散フーリエ変換の効率的な計算に関して、多くの研究がなされている。しかしながら、計算の複雑さにより、リアルタイムで計算し得る部分音の数に相当な程度の制約が加わっている。上述の計算的複雑さに一部起因して、従来の方法において、典型的には単一の複合音のみが生成される。すなわち、従来の方法は、異なる音声の同時生成は含まなかった（ポリフォニックまはたマルチチャネル音声）。また、従来技術において用いられるノイズ生成法は典型的には、生成されている音とは実質的に独立に包絡線関数によって整形された広帯域ノイズを加えることに限定されている。このノイズ合成方法は、ピッチに同期したノイズが必要とされる状況においてはうまく機能しない。さらに、従来の方法は典型的には、合成中にリアルタイムで変化する値ではなく、前もって格納され分析されたパラメータによって記述される音声を生成かつ演奏することに限定されている。これらの方法は典型的には、音声表現の中間処理には関わらないものであった。発明の要旨一般に言って、本発明は前述の欠点を克服し、複雑、現実的かつ制御可能な音声の加算的音声合成処理を、効率的な計算により実現することを可能にする。本発明の一局面において、所与の部分音のエネルギーを、異なるチャネルに対応する別々の変換合計(transform sums)に配給する(dose)ことにより、ポリフォニック化が効率的に達成される。本発明の別の局面において、部分音毎に対してあるいは変換合計に対して音声の位相をランダムに乱す(perturb)ことにより、ノイズが投入(inject)される。後者の場合、スペクトルの各領域に存在するエネルギー量によって決定される程度まで、スペクトルの異なる領域において位相が乱される。本発明のさらに別の局面において、音声を表す変換合計を変換領域中において処理することにより、変換領域外ならばより大きなコスト(expense)によってしか実現可能でない効果が、優れた経済性で達成される。フーリエ変換の他の変換を用いても効果的である。例えば、ハートレー変換(Hartley transform)を用いることで同等な結果が生成される一方、より大きな機械効率に適したより規則的な構造が生成される。図面の簡単な説明図１は、従来の音声合成処理の、ブロック図／信号図の組み合わせ図である。図２は、図１の演算に続いて行われる、従来のオーバーラップ−加算演算を示す信号図である。図３は、本発明による逆変換加算的音声合成システムの全体ブロック図である。図４は、図３の音声合成システムの１つのチャネルに対応する単純化ブロック図である。図５は、本発明の一実施態様における、図３の音声合成システムの広帯域合成部のブロック図である。図６は、本発明の別の実施態様における、図３の音声合成システムの広帯域合成部のブロック図である。図７は、第１の実施態様における、図３の音声合成システムの複数のチャネルに対応する単純化ブロック図である。図８は、第２の実施態様における、図３の音声合成システムの複数のチャネルに対応する単純化ブロック図である。図９は、図３の音声合成システムの１つのチャネルに対応するブロック図であり、変換領域中において音声出力信号のプリフィルタリングを行う様子を示している。好適な実施態様の説明以下の説明において、音声合成自体と、所望の音声を生成するための音声合成制御に用いるパラメータを生成する際の特徴的な問題とを、明確に区別している。音声合成における適切なパラメータは、「音声合成のための制御構造」の名称を有し同時継続中の米国出願シリアルNo.08/551,890（弁理士登録番号028726-00 7）（本願と同日に出願され、本明細書中において参考のために援用する）に記載されたものなどの、適切な制御構造によって生成され利用可能になるものとする。好ましくは、制御構造は、キーボード、フットペダルその他の入力装置からのユーザの入力に対して、ほとんど知覚できないほどの遅延でもって応答するようなリアルタイム動作が可能である。次に、図３を参照し、そのような制御構造９１を示す。制御構造９１は、音声合成システムの様々なブロックに対しパラメータを与える。このシステムのアーキテタチャは、様々な用途に適した極めて多機能な音声合成システムを実現するように設計される。従って、より単純な音声合成システムにおいては省略可能な機能を有するようなブロックも設けられている。図３において、そのようなブロックは破線１３の右側に示している。従って、図３中の残りのブロックの機能を先に説明する。米国特許第5,401,897号の従来技術による逆変換加算的音声合成システム、および他の従来の加算的音声合成システムにおいて、周波数スペクトルは、スペクトル包絡線に分割された(grouped)別々の(discrete)スペクトル成分を加算することによって得られる。各スペクトル包絡線は、正弦波成分またはスペクトルノイズ帯域に対応する。ノイズ帯域は統計学的に独立である。すなわち、正弦波成分を生成するメカニズムとは無関係な、独立に規定されるメカニズムによって生成される。一方、本発明の逆変換加算的音声合成システムの場合、部分音は正弦波である必要はなく、様々な形態の狭帯域成分をとり得る。従って、本発明の説明の便宜のために「スペクトル」および「スペクトルの」の用語を用いるが、必ずしも正弦波成分での表現を意味するものではなく、時間領域以外の領域での音声の表現を意味するものとして広く用いられることが理解されるべきである。さらに、広帯域成分は、狭帯域成分から独立して定められるのではなく、広帯域成分生成メカニズムが狭帯域成分生成メカニズム内に包含されるように生成されてもよい。結果的に、図３のブロック８９および８７は、正弦波部分音およびノイズ帯域を生成する従来技術のメカニズムと表面的に対応すると考えられ得るが、これらは、より広義に、狭帯域合成（８９）および広帯域合成（８７）を行うものとして考えられるべきである。狭帯域合成ブロック８９および広帯域合成ブロック８７は、制御構造９１からの制御信号によって制御される。狭帯域成分および広帯域成分は、変換合計および混合(sum-and-mix block)ブロック８３において加算される。変換合計および混合ブロック８３は、制御構造９１からの制御信号によって制御される。変換合計および混合ブロック８３は、別々の変換合計間における、所与の部分音のエネルギーの選択的な分配(selecti ve distribution)、即ち「配給(dosing)」を可能にする。この特徴は、図７および図８に関連して以下により詳細に説明するように、ポリフォニック効果のための能力を提供する。変換合計および混合ブロックは、制御構造９１にも信号を与える。例えば、１つ以上の変換合計において見られるスペクトル表現を用いて、ある信号のスペクトルまたは他の性質をリアルタイムで視覚的に表示することにより、大きな利点が得られる。その信号の変換領域表現が既に作成されているので、表示用にデータをフォーマットするために必要な追加的な処理は最低限で済む。個々の部分音の大きさ(magnitudes)および周波数に加えて、変換合計（例えば、構築されたスペクトル）を表示してもよい。さらに、１つ以上の変換合計において見られるスペクトル表現を、制御構造９１に対するリアルタイムのフィードバックとして用いることにより、同じ変換合計のさらなる生成、または次の変換合計の生成に影響を与えることも可能である。変換領域フィルタリングブロック７９は、変換合計および混合ブロックから変換合計を受け取り、変換領域内にある変換合計に対して様々なタイプの処理を行うように設計されている。変換領域フィルタリングブロック７９は、制御構造７９からの制御信号によって制御され、制御構造７９に信号を与える。変換領域は、時間領域または信号領域の場合にはより大きな困難および高いコストによってしか行うことができないような様々なタイプの処理を、容易に行うことを可能にする。変換領域処理は、公知の知覚的メカニズムの使用、ならびに、合成音を聴く環境による制限への適合化を可能にする。一例に過ぎないが、変換領域処理を用いて、自動利得制御または周波数依存利得制御を行うことが可能である。同様に、聴覚的知覚のシミュレーションを用いて、音声表現を合成する前にそれを実効的に「聴」いてこの音声表現を変更することにより、邪魔な(objectional)音声を除去し、あるいは、制御パラメータ空間を知覚的に直交化する(orthogonalize) ことが可能である。変換領域処理の後、逆変換／オーバーラップ加算演算のバンク７３を用いて音声表現を合成して、各変換合計の変換を行う。図３に示される各逆変換ＩＴは、上記した従来の逆フーリエ変換にほぼ対応する。但し、この逆変換はフーリエ逆変換でなくてもよく、ハートレー逆変換または他の適切な逆変換であり得る。当業者は、容易に本発明の実施を公知の変換のうち任意のもの（例えば、フーリエ、ハートレー、ウェーブレット(wavelet)、ハー(Haar)、ウォルシュ(Walsh)、ザク(Zak)など）に容易に適合化することができるであろう。計算される変換の数（変換数）は利用可能な計算パワーによってのみ制限される。逆変換／オーバーラップ加算バンク７３によって生成した時間サンプリングされた信号を、出力マトリクス混合ブロック７１に入力する。出力マトリクス混合ブロックは従来の方法で実現され、ある数の出力信号を生成するために用いられる。この数は、計算される変換の数と同じであっても、異なっていてもよい。この出力信号を、デジタルからアナログに変換して、適切な音声トランスデューサに出力する。上記の音声合成システムは、パラメータ的記述から音声を生成する。柔軟性および一般性を高めるために、破線１３の右側にあるブロックを追加してもよい。これらのブロックによって、格納された音声、リアルタイム音声、あるいはその両方をシステムに入力することが可能になる。変換コード化された音声信号は、ブロック８５に格納される。制御構造９１の制御下において、これらの信号を取り出し、変換デコードブロック８１において変換デコードし、そして、１つ以上の変換合計に加算することが可能である。格納される信号は、例えば、予め格納された音声を表すものであり得る。リアルタイム信号は、ブロック７５に入力され得る。ブロック７５において、リアルタイム信号は前方変換される(forward transformed)。その後、ブロック７７は、入力信号の変換フィルタリングを行う。その後、フィルタリングされ、変換された信号を、制御構造９１の制御下で、１つ以上の変換合計に加算する。さらに、リアルタイム信号およびその変換結果(transform)は、分析およびシステム識別(system identification)を行うブロック７２に入力され得る。システム識別は、信号のパラメータ表現を導出することを含む。分析したスペクトルの結果を、制御構造９１にフィードバックし、これを、以降のスペクトル構築、または現スペクトルの改変の際に用いることが可能である。追加的な音声入力なしにパラメータ的記述から単音(monophonic)音声を生成する場合を想定することにより、本発明の逆変換加算的音声合成システムをより詳細に理解し得るであろう。図４を参照して、制御構造１９１はユーザ入力（例えばコンピュータキーボードもしくはその他のコンピュータ入力装置、または楽器から）を受け取り、これに応答して２つの信号の集合(set)１９２および１８４を生成する。第１の信号集合１９２は、生成すべき音声の狭帯域特性を、数個の所定の部分音の振幅Ａ_i ⁿ、位相Φ_iｎ、およびノイズ成分Ｎ_i ⁿを用いて記述する。個々の部分音を下付添字「ｉ」によって表しており、部分音の連続的な集合を上付添字「ｎ」によって表している。第２の信号集合１８４は、生成すべき音声の広帯域特性を、１つ以上のノイズ振幅ａ_j ⁿ、および対応する周波数帯域ｂ_j ⁿを用いて記述する。ノイズ成分の数は、部分音の数とは独立に指定し得る。好適な実施態様において、ノイズ成分の数は典型的には１２から２０の間である。さらなる信号Ｂは、グローバルなノイズ性(noisiness)パラメータである。パラメータＮ_i ⁿおよびＢは、以下により詳細に述べるように、音声の位相を、部分音毎に対してあるいは変換合計に対してランダムに乱すことによりノイズを投入するために用いられる。信号の２つの集合１９２および１８４は、補間ブロック１８１に入力される。補間ブロック１８１は、信号の集合１７４および１９４をより高速なレートで出力する。第１の信号集合１７４は、生成すべき音声の狭帯域特性を、所定の部分おり、部分音の連続的な集合を上付添字「ｍ」によって（上付添字「ｎ」によって表わされる部分音の連続的な集合に比較してレートが乗算されている）。第２の信号集合１９４は、生成すべき音声の広帯域ノイズ特性を、補間されたノイズ補間器１８１は、レート制御器１７６によって決定されたレートで動作する。このレートは、少なくとも部分的には、制御構造９１の動作速度およびD/Aコンバータ１７７のサンプルレートによって支配される。信号１７４および１９４を、スペクトル構築ブロック１８３に入力する。スペクトルは単に、所定数の周波数「容器」の各々内のエネルギーを表す一群の数である。スペクトル構築ブロックにおいて、従来の逆変換加算的音声合成システムと同様に、スペクトル内の各容器に適切に位置合わせして、周波数領域ウィンドウをサンプリングし、スケール化し、加算する。下記により詳しく説明するようにノイズをスペクトルに加算する。スペクトルを次に変換領域フィルタリングブロック１８５に入力する。このブロックにおいて、スペクトルをフィルタリングまたは前述の任意の方法で処理する。フィルタリングされたスペクトルを次に、逆変換ブロック１７３の後オーバーラップ−加算ブロック１７５により、時間サンプリングされた指定音声の表現に再構築する。これらのブロックの動作は当該分野において周知である。音声の視覚的表示を生成することにより、音声生成処理の理解を深め得る。そのような表示は例えばグラフィックイコライザにより通常生成される。しかし図４において、生成するべき音声に関連する情報を、実際の音声サンプルが生成される以前に表示し得る（制御指定フェーズ中において制御構造１９１の出力を表示するか、あるいは変換領域において変換領域フィルタリングブロック１８５の出力を表示するかによる）ことに留意されたい。後者は聞こえるべきスペクトルに関する情報を表すのに対して、前者は聞こえている音声を制御する処理に関する情報を特に表す。図４における信号１９４は、生成すべき音声の広帯域ノイズ特性を、補間されており、周波数帯域的にノイズをスペクトルに投入するために用い得る。これは、部分音に基づいて狭帯域スペクトルを構築することとは独立に行われる。特に、に変換し、周波数帯域内に含まれるスペクトル内の各周波数容器内に加算する。このノイズ投入方法は当該分野において、例えば、米国特許第5,029,509号、およびLemkeら、Synthesis Of Time-dependent Signals For Simulation Experime nts（VDI Zeitschrift、1978年５月、vol.120（no.10）：475-82）から公知である。しかしノイズを部分音と関連させるか同期させる場合には、図５に示すように、別のノイズ投入方法を達成してもよい。部分音を、周波数Ｆ_i、振幅（Ａ_i）、および位相（Φ_i）を用いて指定する。周波数は、サンプリングブロック１１０において、格納された周波数領域ウィンドウ２０１のうちどのサンプルを選択してスペクトルに加算するかを決定する。振幅および位相を用いて、選択されたサブロック１３０において形成されたスペクトルに加算する前に、ブロック１２５内のサンプルを位置合わせする。しかし、位相をランダムに乱すことにより、部分音帯域内のスペクトルにノイズ性を付与する。この目的において、偽ランダム位相生成器１９３を用いて、各部分音に対して異なるランダム位相を生成する。その部分音に対するランダム位（これはゼロであってもよい）によって乗算する。次に、得られた量を、加算器１９７を用いて元の位相に加算する。異なるランダム位相を用いて各部分音の位相を乱すので、規則的な区間をおいて位相を乱すことに起因するクリックノイズが回避される。他の場合において、以前に構築されたスペクトル中に、そのノイズ自身を用いてノイズ包絡線を記述することにより、ノイズを投入することが望ましいことがあり得る。このノイズ投入方法（これは実は変換領域フィルタリングの特定例であるが）は、図６に示すようにして達成され得る。予め計算された変換合計をブロック１３０から、新しい変換合計を保持するブロック１３１に書き込む。古い変換合計の各容器内の振幅を矩形−極性コンバータ(rectangular to polar conv erter)２０３において計算し、ユーザ指定の「グローバルノイズ性」パラメータＢで（増幅器１９６において）乗算する。結果として、元のスペクトルと同じ形状を有するノイズ包絡線が得られる。この性質から、得られるノイズを「再帰的ノイズ」と呼ぶことができる。前のノイズ投入技術と同様に、偽ランダム位相生成器１９３を用いてスペクトルの位相をランダムに乱す。ただし図６において、単一のランダム値を極性−矩形コンバータ(polar to rectangular converter)２０５に入力することにより、新しい変換合計の各容器内の位相に加算する。ランダム、偽ランダム、およびノイズ信号を説明する際、当業者であれば、これらの信号の統計的分布および／またはスペクトルを用いることにより、そのような信号を用いて生成された音声に対してさらなる制御可能性を達成し得るであろう。前述のノイズ投入技術は、単一のスペクトルに対してノイズを加算するように説明した。関連する複数のスペクトルを作成することにより、多数の有用な効果を達成することができる。図７を参照して、点線１１５の左側のブロックは、図５において同様な番号を付したブロックに対応する。ただし、単一の部分音の振算器１２０に適用することにより、ブロック１３０において左チャネル出力OUT_L に対応する変換合計を作成する。点線１１５の左側の乗算、位置合わせ、および変換合計ブロック（それぞれブロック１２０、１２５、および１３０）を点線の右側においてそれぞれブロック１２０’、１２５’、および１３０’として繰り１２０’に適用することにより、ブロック１３０’において右チャネル出力OUT_R に対応する変換合計を作成する。周波数領域ウィンドウ格納およびサンプリングブロック２０１および１１０、ならびにノイズ投入メカニズムの要素１９３、１９５および１９７は、両チャネルによって共有されることに留意されたい。しかし、様々なフェージング(phasi ng)効果を達成するために加算器１９７’を設ける。加算器１９７’は、右側チャネルの位相を、パラメータΦ_i(mod)に応じて左側チャネルの位相に対して変調するために用いられる。従来の出力信号を混合する方法とは対照的に、図７のシステムは、各部分音の貢献度を、多数の出力間において効率的に分配することを可能にすることにより、加算的合成の実際的用途を大きく拡張する。例えば、複数のスピーカを用いて、ピアノのような広帯域フィールドを作成し、その中において従来のパンニング技術を用いた場合よりも効果的に空間内に分配された点から異なる周波数が開始するようにし得る。また、信号を周波数によりフィルタリングし、特定の周波数範囲に対して最適化されたスピーカに回すことにより、クロスオーバネットワークの必要を無くすことができる。図７のシステムにおいて、クロスオーバフィルタは必要なく、部分音は合成段階において単純にその周波数に応じて重み付けされる。さらに、図７の加算器１９７’に対応する加算器を用いることにより、各出力チャネルに回す際に、各部分音を効率的かつ個別に位相変調してもよい。この能力を用いて、特殊なフェージング効果を作成したり、スピーカの位相応答を補正したり、音声の空間的認知性を操作してもよい。図７において、２つの音声チャネルのノイズ成分は同じであり、第２の音声チャネルの位相は第１の音声チャネルの位相からのオフセットとして指定される。より一般的な場合においては、各チャネルの位相を独立に指定し、異なるチャネルにおけるノイズを独立に指定するか、あるいは所望であれば（制限する場合において完全に相関する程度まで）、様々な度合いに相関させてもよい。図８を参照して、偽ランダム位相生成器および増幅器ブロック（それぞれブロック１９３および１９５）を、それぞれブロック１９３’および１９５’として繰り返している。さらに相関器２２０および増幅器２２１を設けている。相関器２２０は、偽ランダム位相生成器１９３および１９３’によって生成された偽ランダム位相を受け取り、これらの偽ランダム位相を、増幅器２２１に入力される相関制御信号Corrによって制御されるとおりに様々な度合いに相関させる。増幅器２２１の出力は、ゼロから１の範囲を有するものとする。増幅器２２１の出力に応答して、相関器２２０は非相関（ゼロ）から適度に相関、高度に相関、完全に相関（１）までの範囲にあり得る、２つの偽ランダム位相を出力する。２つの偽ランダム位相を、各増幅器１９５および１９５’に入力し、これらの各出力信号を用いて位上述の処理において典型的には、D/A変換によって音声サンプルがアナログ音声信号に変換された後、例えば「負の」周波数からのエネルギーのフォールドオーバー(foldover)によって発生するアーチファクトを除去するために、比較的高価なアナログフィルタを用いて、得られた音声信号を依然としてフィルタリングしなければならない。この代替法は、D/A変換の前に、補間デジタルフィルタを用いてサンプルストリームをより高いサンプルレートにアップサンプル(upsampl e)すなわちレート変換することである。次に、より高速なD/Aコンバータを用いてより高いレートの信号を変換しなければならないが、最終フィルタリングに必要なアナログフィルタは非常に単純かつ安価なものでよい。そのようなアプローチの１つの問題は、アップサンプリングにより数ミリセカンドの追加的な遅延が起こり得ることである。リアルタイム環境においては、この追加的な置換は容認可能でないことがある。本発明のさらなる特徴は、変換領域フィルタリングを用いて、追加的な遅延を起こすことなしにアップサンプリングと同じ効果を達成する。図９を参照して、スペクトルS_nが変換領域にまだある間に、ゼロパディングブロック３０１においてスペクトルにゼロパディングを行い、その後、上述したよりも大きな逆変換をＩＦＦＴブロック３０３で行う。処理遅延を回避するために、ＩＦＦＴブロック３０３は、専用のＩＦＦＴ集積回路によって実現し得る。次にブロック３０５でオーバーラップ−加算演算を行うことによりサンプルストリームを生成し、このサンプルストリームをD/Aコンバータ３０７によって上述したよりも高いレートで変換する。レート変換ブロック３１１は逆変換およびデジタル変換のタイミングを制御する。D/Aコンバータ３０７によって生成され得られた音声信号が44KHz の周波数より上に大きなエネルギー(Significant energy)を有すことがないように、ゼロパディングを行う。次に、安価なアナログフィルタ３０９を用いて音声信号をフィルタリングし、オーディオスピーカに印加する。上述の音声合成方法は、複雑かつ現実的な音声をリアルタイムで合成かつ制御することを可能にする。モデリングおよび合成される音声においてしばしば最も問題になる部分である、ノイズをスペクトル中に投入するための様々な代替方法が提供される。これらの方法は計算的に効率がよく、かつ、従来の方法における多くの人為的(artificial)制約の多くを回避するものである。また、変換領域フィルタリングの様々な応用例が提供され、ある場合においては外部ハードウェア部材を合成段階に移すことを可能にし、別の場合においては全く新しいタイプの音声合成のリアルタイム制御を行うことを可能にする。また、効率的な計算でポリフォニック化が提供される。本発明の趣旨またはその本質的特徴から逸脱することなく、本発明を他の特定の形態で実施できることが当業者には理解される。従って、ここに開示されている実施形態は、あらゆる点において、制限的ではなく例示的なものとみなされる。本発明の範囲は、上記の説明ではなく添付の請求項によって示されるものであり、その均等物の意味および範囲に入るあらゆる変更がその中に包含されることが意図されている。

───────────────────────────────────────────────────── フロントページの続き (81)指定国ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＫＥ，ＬＳ，ＭＷ，ＳＤ，ＳＺ，ＵＧ)，ＵＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ，ＴＭ)，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＵ，ＣＺ，ＤＥ，ＤＫ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＥ，ＨＵ，ＩＬ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＵＡ，ＵＧ，ＵＳ，ＵＺ，ＶＮ

Claims

【特許請求の範囲】１．音声の時間サンプリングされた表現を生成する方法であって、複数の連続する瞬間の各々において、該音声を、各々が複数のパラメータを用いてパラメータ的に規定された複数の部分音の合計として指定する工程；該部分音の各々について、該パラメータのうち少なくとも１つに基づいて、変換された関数から値を選択する工程；乱数を発生する工程；該パラメータのうち少なくとも１つに基づいて該乱数をスケール化することにより、スケール化乱数を生成する工程；該スケール化乱数を用いて該パラメータのうち少なくとも１つを変化させる工程；該変換された関数から選択された該値を、該パラメータのうち少なくとも１つに基づいてスケール化することにより、スケール化値を生成する工程；該スケール化値を、該音声を表す値のアレイに加算する工程；該値のアレイに逆離散数学的変換を適用することにより、ある時間区間にわたって該音声の時間サンプリングされた表現を生成する工程；および該音声の時間サンプリングされた表現を、隣接する時間区間にわたって混合(b lend)することにより、該音声の該時間サンプリングされた表現を生成する工程を包含する方法。２．音声の時間サンプリングされた表現を生成する方法であって、複数の連続する瞬間の各々において、該音声を、各々が複数のパラメータを用いてパラメータ的に規定された複数の部分音の合計として指定する工程；該部分音の各々について、該パラメータのうち少なくとも１つに基づいて、変換された関数から値を選択する工程；該変換された関数から選択された該値を、該パラメータのうち少なくとも１つに基づいてスケール化することにより、スケール化値を生成する工程；該スケール化値を、該音声を表すベクトルのアレイ中に格納された値に加算する工程であって、各ベクトルは複数の値を含んでいる工程；乱数を発生する工程；該複数のベクトルの各１つについて、該ベクトルのうち該１つの大きさ(magnitude)を決定する工程；該大きさをスケール化することによりスケール化大きさを生成する工程；および該ベクトルのうち該１つに、該スケール化大きさおよび該乱数によって決定されるベクトルを加算する工程；該ベクトルのアレイに逆離散数学的変換を適用することにより、ある時間区間にわたって該音声の時間サンプリングされた表現を生成する工程；ならびに該音声の時間サンプリングされた表現を、隣接する時間区間にわたって混合することにより、該音声の該時間サンプリングされた表現を生成する工程を包含する方法。３．音声の視覚的表現(visual representaion)を生成する方法であって、複数の連続する瞬間の各々において、該音声を、各々が複数のパラメータを用いてパラメータ的に規定された複数の部分音の合計として指定する工程；該部分音の各々について、該パラメータのうち少なくとも１つに基づいて、変換された関数から値を選択する工程；該変換された関数から選択された該値を、該パラメータのうち少なくとも１つに基づいてスケール化することにより、スケール化値を生成する工程；該スケール化値を、該音声を表す値のアレイに加算する工程；および該値のアレイに基づいて、該音声の図表現(graphical representaion)を生成する工程を包含する方法。４．音声の視覚的表現を生成する方法であって、複数の連続する瞬間の各々において、該音声を、各々が複数のパラメータを用いてパラメータ的に規定された複数の部分音の合計として指定する工程；該部分音の各々について、該パラメータのうち少なくとも１つに基づいて、変換された関数から値を選択する工程；該変換された関数から選択された該値を、該パラメータのうち少なくとも１つに基づいてスケール化することにより、スケール化値を生成する工程；該スケール化値を、該音声を表す値のアレイに加算する工程；および該複数のパラメータに基づいて、該音声の図表現を生成する工程を包含する方法。５．音声の時間サンプリングされた表現を生成する方法であって、複数の連続する瞬間の各々において、該音声を、各々が複数のパラメータを用いてパラメータ的に規定された複数の部分音の合計として指定する工程；該部分音の各々について、該パラメータのうち少なくとも１つに基づいて、変換された関数から値を選択する工程；該変換された関数から選択された該値を、該パラメータのうち少なくとも１つに基づいてスケール化することにより、スケール化値を生成する工程；該スケール化値を、該音声を表す値のアレイに加算する工程；該値のアレイ中の選択された値を、所定のアルゴリズムに従って変化させる工程；該値のアレイに逆離散数学的変換を適用することにより、ある時間区間にわたって該音声の時間サンプリングされた表現を生成する工程；および該音声の時間サンプリングされた表現を、隣接する時間区間にわたって混合することにより、該音声の該時間サンプリングされた表現を生成する工程を包含する方法。６．前記所定のアルゴリズムは自動利得制御アルゴリズムである、請求項５に記載の方法。７．前記所定のアルゴリズムは周波数依存利得制御アルゴリズムである、請求項５に記載の方法。８．前記所定のアルゴリズムは聴覚(auditory perception)のモデルである、請求項５に記載の方法。９．前記所定のアルゴリズムの結果を用いて前記音声を改変する工程をさらに包含する、請求項５に記載の方法。１０．前記所定のアルゴリズムの結果を用いて後に続く音声に影響を与える工程をさらに包含する、請求項５に記載の方法。１１．ポリフォニック音声のマルチチャネル時間サンプリングされた表現を生成する方法であって、複数の連続する瞬間の各々において、該ポリフォニック音声の各声(voice)を、各々が複数のパラメータを用いてパラメータ的に規定された複数の部分音の合計として指定する工程；該部分音の各々について、該パラメータのうち少なくとも１つに基づいて、変換された関数から値を選択する工程；該変換された関数から選択された該値を、該パラメータのうち少なくとも１つに基づいてスケール化することにより、スケール化値を生成する工程；乱数を発生する工程；該パラメータのうち少なくとも１つに基づいて該乱数をスケール化することにより、スケール化乱数を生成する工程；該スケール化乱数を用いて該パラメータのうち少なくとも１つを変化させる工程；該スケール化値を、ベクトルの複数のアレイのうちの１つ中に格納された値に加算する工程であって、各アレイは該ポリフォニック音声の各声を表している工程；該ベクトルの複数のアレイの各々に逆離散数学的変換を適用することにより、ある時間区間にわたって該ポリフォニック音声の各声の時間サンプリングされた表現を生成する工程；および該ポリフォニック音声の各声の時間サンプリングされた表現を、隣接する時間区間にわたって混合することにより、該ポリフォニック音声の該マルチチャネル時間サンプリングされた表現を生成する工程を包含する方法。１２．ポリフォニック音声のマルチチャネル時間サンプリングされた表現を生成する方法であって、複数の連続する瞬間の各々において、該ポリフォニック音声の各声を、各々が複数のパラメータを用いてパラメータ的に規定された複数の部分音の合計として指定する工程；該部分音の各々について、該パラメータのうち少なくとも１つに基づいて、変換された関数から値を選択する工程；該変換された関数から選択された該値を、該パラメータのうち少なくとも１つに基づいてスケール化することにより、スケール化値を生成する工程；および該スケール化値を、ベクトルの複数のアレイのうちの１つ中に格納された値に加算する工程であって、各アレイは該ポリフォニック音声の各声を表している工程；該ベクトルの複数のアレイの各々に逆離散数学的変換を適用することにより、ある時間区間にわたって該ポリフォニック音声の各声の時間サンプリングされた表現を生成する工程；ならびに該ポリフォニック音声の各声の時間サンプリングされた表現を、隣接する時間区間にわたって混合することにより、該ポリフォニック音声の該マルチチャネル時間サンプリングされた表現を生成する工程を包含する方法。