JPH1152987A - Speech synthesis device with speaker adaptive function - Google Patents

Speech synthesis device with speaker adaptive function

Info

Publication number
JPH1152987A
JPH1152987A JP9205773A JP20577397A JPH1152987A JP H1152987 A JPH1152987 A JP H1152987A JP 9205773 A JP9205773 A JP 9205773A JP 20577397 A JP20577397 A JP 20577397A JP H1152987 A JPH1152987 A JP H1152987A
Authority
JP
Japan
Prior art keywords
parameter
voice
data
memory
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9205773A
Other languages
Japanese (ja)
Other versions
JP3914612B2 (en
Inventor
Nobuo Nukaga
信尾 額賀
Yoshinori Kitahara
義典 北原
Shunichi Yajima
俊一 矢島
Keiko Fujita
啓子 藤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP20577397A priority Critical patent/JP3914612B2/en
Publication of JPH1152987A publication Critical patent/JPH1152987A/en
Application granted granted Critical
Publication of JP3914612B2 publication Critical patent/JP3914612B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To make it possible to imitate a speech of a specific person by having a parameter adding part for determining a parameter expressing a feature of user's speech, and synthesizing speech by using the determined parameter. SOLUTION: A character string input device 1 inputs a character string and forwards it to a memory 10. Next, a synthetic parameter calculation part 2 calculates a parameter expressing a feature of the input character string. A parameter adding part 3 reads out a parameter difference value accumulated in the memory 10 or in a parameter difference valve accumulation device 9 and a synthetic parameter calculated by a synthetic parameter calculation means 2 from the memory 10, and sums up the difference value and the synthetic parameter and forwards the added parameter to the memory 10. And, a speech synthesis part 4 operates speech synthesis from the parameter outputted from a synthetic parameter calculation part 2 and forwards the speech waveform to the memory 10. Moreover, a speech input device 6 inputs user's speech and forwards it to the memory 10.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、文字列より合成し
た音声の出力様態を、別途音声入力した話者の音声の出
力様態に変更できる音声合成装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a speech synthesizer capable of changing an output mode of a speech synthesized from a character string into an output mode of a speaker's voice input separately.

【0002】[0002]

【従来の技術】これまでの音声合成装置は、韻律的特徴
を表す音源モデルと、音韻的特徴を表す声道モデルとか
ら算出される合成パラメータを用いて、文字列から音声
を合成する方式が一般的であった。音声の特徴を表す合
成パラメータとしては、基本周波数、音素継続時間長、
パワー、スペクトルパラメータ等がある。
2. Description of the Related Art A conventional speech synthesizer uses a method of synthesizing a speech from a character string using synthesis parameters calculated from a sound source model representing a prosodic feature and a vocal tract model representing a phonemic feature. Was common. The synthesis parameters representing the characteristics of the speech include a fundamental frequency, a phoneme duration,
There are power, spectral parameters, etc.

【0003】該音声合成装置を用いる場合、人間が発声
する音声を模擬するためには、韻律の特徴を表すパラメ
ータを生成する音源モデルと、声道の伝達特性を模擬す
る声道モデルを精密に構成する必要がある。音源モデル
及び声道モデルは、話者の個人性を担っている情報であ
り、両者をできるだけ肉声に近づけることで、該話者の
音声に近づけることができる。音源モデルのうち、基本
周波数を指定するモデルとしては、例えば、文献「藤
崎、須藤:”日本語単語アクセントの基本周波数パタン
とその生成機構”、日本音響学会誌27、pp.445
−453、1971」で提案されているモデル等があ
る。一方、音声のスペクトル情報もしくはフォルマント
と呼ばれる周波数軸上の特定の周波数のエネルギー分布
は、音韻性を決める声道モデルのパラメータとなる。
In the case of using the speech synthesizer, in order to simulate a voice uttered by a human, a sound source model for generating a parameter representing a characteristic of a prosody and a vocal tract model for simulating a transfer characteristic of a vocal tract are precisely formed. Must be configured. The sound source model and the vocal tract model are information that is responsible for the speaker's personality, and by bringing both of them closer to the real voice as much as possible, the sound source model and the vocal tract model can be closer to the voice of the speaker. Among the sound source models, models that specify the fundamental frequency include, for example, a document “Fujisaki, Sudo:“ Basic frequency pattern of Japanese word accent and its generation mechanism ”, Journal of the Acoustical Society of Japan 27, pp. 445.
-453, 1971 ". On the other hand, the spectral information of speech or the energy distribution of a specific frequency on a frequency axis called a formant is a parameter of a vocal tract model that determines phonological properties.

【0004】[0004]

【発明が解決しようとする課題】さて、該音声合成装置
を用いて特定の個人の音声を合成するためには、該個人
の音声から分析抽出したパラメータを利用してモデルを
構築する必要がある。
In order to synthesize speech of a specific individual using the speech synthesizer, it is necessary to construct a model using parameters analyzed and extracted from the speech of the individual. .

【0005】しかし、これまでの音声合成装置における
音源モデル及び声道モデルは、システムの基準音声を元
に設計されているため、文字列のみから不特定の話者の
合成音を実現することは不可能であった。
However, since the sound source model and the vocal tract model in the conventional speech synthesizer are designed based on the reference speech of the system, it is not possible to realize a synthesized speech of an unspecified speaker only from a character string. It was impossible.

【0006】更には、音声の基本周波数等の音源モデル
は肉声の基本周波数を生成ルールで近似するため、モデ
ル化の対象とはならない細かいピッチの揺らぎ等が表現
できない場合があるという問題があった。
Furthermore, since a sound source model such as a fundamental frequency of a voice approximates a fundamental frequency of a real voice by a generation rule, there is a problem that a fine pitch fluctuation which is not an object of modeling may not be expressed. .

【0007】そこで本発明では、上述した問題点を解決
するために、文字列に対して算出されたシステムの基準
合成パラメータと、該個人の発声した音声を分析して得
られた分析パラメータとの差分値を求め、該差分値を文
字列と共に伝送することにより、特定の個人の音声を模
擬することが可能な音声合成装置を提供することを目的
とする。
Therefore, in the present invention, in order to solve the above-mentioned problem, the reference synthesis parameter of the system calculated for the character string and the analysis parameter obtained by analyzing the voice uttered by the individual are analyzed. An object of the present invention is to provide a speech synthesizer capable of simulating a specific individual's voice by obtaining a difference value and transmitting the difference value together with a character string.

【0008】[0008]

【課題を解決するための手段】上記目的を達成するため
に本発明の音声合成装置は、利用者の音声を入力する手
段と、入力音声を分析するパラメータ分析部と、文字列
に対する合成パラメータを算出するパラメータ算出部
と、入力音声から得られたパラメータとシステムの固有
のモデルから算出されたパラメータとを比較するパラメ
ータ比較部と、パラメータ比較部により演算された差分
値を格納するパラメータ差分値蓄積手段を備え、利用者
の音声をシステムの基準合成パラメータと差分値に分け
る機能を有する。更に、本発明の音声合成装置は、文字
列に対してシステムのモデルから算出された基準合成パ
ラメータとパラメータ差分値を加算して、利用者の音声
の特徴を表すパラメータを求めるパラメータ加算部を有
し、パラメータ加算部によって求められたパラメータを
用いて音声合成を行うことで、利用者の音声の特徴を持
った音声が合成可能であることを特徴とする。
In order to achieve the above object, a voice synthesizing apparatus according to the present invention comprises a means for inputting a user's voice, a parameter analyzer for analyzing the input voice, and a synthesis parameter for a character string. A parameter calculation unit for calculating, a parameter comparison unit for comparing a parameter obtained from the input voice with a parameter calculated from a unique model of the system, and a parameter difference value storage for storing a difference value calculated by the parameter comparison unit Means for dividing a user's voice into a reference synthesis parameter of the system and a difference value. Further, the speech synthesis apparatus of the present invention has a parameter addition unit that adds a parameter difference value and a reference synthesis parameter calculated from a model of the system to a character string to obtain a parameter representing a feature of a user's voice. Then, by performing voice synthesis using the parameters obtained by the parameter adding unit, a voice having characteristics of the user's voice can be synthesized.

【0009】また、本発明の音声合成装置で算出される
差分値と文字列から構成されるデータを、電気的格納媒
体及び通信手段に因って異なった時空間に存在する音声
合成装置の間を伝達する手段を提供することを特徴とす
る。この特徴により、前記差分値により簡便に個人情報
に適応した音声を合成することが可能になる。
Further, the data composed of the difference value and the character string calculated by the speech synthesizer of the present invention is transferred between the speech synthesizers existing in different time and space due to the electric storage medium and the communication means. Is provided. With this feature, it is possible to easily synthesize a speech adapted to personal information by the difference value.

【0010】[0010]

【発明の実施の形態】以下、本発明の実施例を図面を用
いて説明する。
Embodiments of the present invention will be described below with reference to the drawings.

【0011】まず、図1及び図2を用いて、本発明の実
施の形態を説明する。図1は、本発明の請求項1の構成
を示すブロック図である。図1において、1は文字列を
入力しメモリ10に転送するための文字列入力装置、2
は該文字列から音声の特徴を表すパラメータを算出しメ
モリ10に転送する合成パラメータ算出部、3はメモリ
10もしくはパラメータ差分値蓄積装置9に蓄積された
パラメータ差分値と、合成パラメータ算出手段2により
算出された合成パラメータをメモリ10より読み出し、
該差分値と該合成パラメータを加算して、加算したパラ
メータをメモリ10に転送するパラメータ加算部、4は
合成パラメータ算出部2より出力されたパラメータから
音声合成を行い音声波形をメモリ10に転送する音声合
成部、5は音声合成部4によって合成された音声を出力
する音声出力装置、6は利用者の音声を入力しメモリ1
0に転送するための音声入力装置、7は音声入力装置6
から入力された音声データをメモリ10より読み出しパ
ラメータの分析を行う音声パラメータ分析部、8は合成
パラメータ算出手段2により算出された合成パラメータ
と音声パラメータ分析手段7により計算された音声パラ
メータをメモリ10より読み出し、パラメータの差分値
を計算しパラメータ差分値蓄積装置9もしくはメモリ1
0に転送するパラメータ比較部、9はパラメータ比較部
8により計算された差分値を格納するパラメータ差分値
蓄積装置である。図2は、合成パラメータ算出部におけ
る手順を示すフローである。また、メモリ10のデータ
構造を図7に示す。
First, an embodiment of the present invention will be described with reference to FIGS. FIG. 1 is a block diagram showing the configuration of claim 1 of the present invention. In FIG. 1, reference numeral 1 denotes a character string input device for inputting a character string and transferring the character string to a memory 10;
Is a synthesis parameter calculation unit that calculates a parameter representing a feature of a voice from the character string and transfers the parameter to the memory 10, 3 is a parameter difference value stored in the memory 10 or the parameter difference value storage device 9, The calculated synthesis parameters are read from the memory 10,
The parameter addition unit 4 adds the difference value and the synthesis parameter and transfers the added parameter to the memory 10. The parameter addition unit 4 synthesizes speech from the parameter output from the synthesis parameter calculation unit 2 and transfers the speech waveform to the memory 10. A voice synthesizing unit, 5 is a voice output device for outputting a voice synthesized by the voice synthesizing unit 4, and 6 is a memory for inputting a user's voice.
0 is a voice input device for transferring to 0, 7 is a voice input device 6
A voice parameter analysis unit which reads voice data input from the memory 10 from the memory 10 and analyzes the parameters; a memory parameter analysis unit 8 which reads the synthesis parameters calculated by the synthesis parameter calculation means 2 and the voice parameters calculated by the voice parameter analysis means 7 from the memory 10 It reads out, calculates a parameter difference value, and stores the parameter difference value storage device 9 or the memory 1
A parameter comparison unit 9 for transferring the parameter value to 0 is a parameter difference value storage device for storing the difference value calculated by the parameter comparison unit 8. FIG. 2 is a flowchart illustrating a procedure in the synthesis parameter calculation unit. FIG. 7 shows the data structure of the memory 10.

【0012】まず、利用者が文字列入力装置1を用いて
文字を入力する。文字列入力装置1は、キーボードだけ
ではなく、文字列が入力できる装置であれば、持ち運び
可能な記録媒体読み込み装置、通信線を介した文字列伝
送手段、音声認識装置等であっても良い。ここでは、例
として「今日の話題」という文字列を入力したとする。
該文字列はメモリ10の1000に格納される。次に合
成パラメータ算出部では、メモリ10の1000より文
字列を読み出し、該文字列を音素に分割する(ステップ
S101)。文字列から音素に分割する方法は、例え
ば、宮崎らの方法(「日本文音声出力のための言語処理
方式」情報処理学会論文誌、Vol.27、No.1
1、pp.1053−1061、1986)を利用す
る。勿論、該計算方法は一例であり、他の音素を分割す
る方法を用いてもよい。このようにして、「今日の話
題」という文字列は、「ky/o/o/n/o/w/a
/d/a/i」という音素に分割され、該音素分割デー
タはメモリ10の1001に格納される。ここで、「k
y」「w」「a」等は音素を示す記号である。勿論、該
音素記号データは一例であり、他の音素記号表現を用い
てもよい。また、求める単位は音素単位に限らず、音素
を2分割した単位や音節でも良い。次に音素に分割され
た音素分割データをメモリ10の1001より読み出
し、音素毎の継続時間長の計算(ステップS102)を
行って、継続時間長データをメモリ10の1002へ転
送する。音素毎の継続時間長の計算方法は、例えば、匂
坂らの方法(「規則による音声合成のための音韻時間長
制御」電子通信学会論文誌、Vol.J67−A、N
o.7、pp.629−636、1984)を利用す
る。勿論、該計算方法は一例であり、他の音素継続時間
長の計算方法を用いてもよい。このような方法で、先の
音素分割データ「ky/o/o/n/o/w/a/d/
a/i」から、例えば、ミリ秒単位の継続時間長データ
「50/150/120/40/150/20/200
/40/180/170」が計算結果として求められ、
メモリ10の1002に格納される。勿論、該継続時間
長は一例であり、秒単位等の継続時間長データを用いて
もよい。次に、メモリ10の1000と1001から、
文字列と音素分割データを読み出し、音の高さを指定す
るアクセントの付与(ステップS103)を行い、アク
セントデータをメモリ10の1003へ転送する。文字
列へのアクセント付与の方法は、例えば、匂坂らの方法
(「日本語単語連鎖のアクセント規則」電子通信学会論
文誌、Vol.J66−D、No.7、pp.849−
856、1983)を利用する。勿論、該計算方法は一
例であり、他のアクセント付与方法を用いてもよい。こ
のようにして、文字列「今日の話題」はアクセントデー
タ「kyo’ono,wadai.」に変換され、メモ
リ10の1003に格納される。ここで、「’」が付さ
れている音節はアクセント核のある音節、「,」は句の
区切れ、「.」は文の終端を表す記号である。勿論、該
記号は一例であり、他の記号を用いてもよい。次に、メ
モリ10の1001と1002より、音素分割データと
アクセントデータを読み出し、基本周波数の計算(ステ
ップS104)を行い、基本周波数データをメモリ10
の1004に転送する。基本周波数の計算方法は、例え
ば、藤崎らの方法(「日本語単語アクセントの基本周波
数パタンとその生成機構」日本音響学会誌27、pp.
445−453、1971)を利用する。勿論、該計算
方法は一例であり、他の基本周波数の計算方法を用いて
もよい。このようにして、文字列「今日の話題」は、
(F0,F1,...,Fi,...,Fp)という基
本周波数データに変換され、メモリ10の1004に格
納される。ここで、Fiは基本周波数を表す数値であ
り、例えば、10ミリ秒単位で求められた値である。ま
た、pは基本周波数を表す値の数である。勿論、基本周
波数を表す該方法は一例であり、基本周波数の値を求め
ることができる方法であるならば、一定の時間間隔では
ない時間単位で基本周波数を求める方法、基本周波数を
求めるモデルのパラメータの組で表す方法等でも良い。
次に、音素継続時間長データをメモリ10の1002よ
り読み出し、パワー計算(ステップS105)を行い、
パワーデータをメモリ10の1005に転送する。パワ
ー計算の方法は、例えば、三村らの方法(「統計的手法
を用いた音声パワーの分析と制御」日本音響学会誌、4
9巻、pp.253−259、1993)を利用する。
勿論、該計算方法は一例であり、他のパワー計算方法を
利用してもよい。このようにして、文字列「今日の話
題」は、(P0,P1,...,Pi,...,Pq)
というパワーデータに変換され、メモリ10の1005
に格納される。ここで、Piはパワーを表す値でありd
B値で格納される。qはパワーデータの個数である。勿
論、パワー値を表す該方法は一例であり、他のパワー値
表現方法を利用してもよい。次に、音素分割データをメ
モリ10の1001より読み出し、ケプストラムを計算
(ステップS106)し、ケプストラムデータをメモリ
10の1006に転送する。ケプストラムデータを求め
る方法は、例えば、音素毎の代表波形をケプストラム分
析した結果を用いる方法を利用する。勿論、該計算方法
は一例であり、他のケプストラム分析の方法を利用して
もよい。このようにして、文字列「今日の話題」は、
(C0,C1,...,Ci,...Cr)というケプ
ストラムデータに変換され、メモリ10の1006に格
納される。ここで、rはケプストラムデータの数、Ci
はケプストラム係数を表すベクトルデータで、(c
1,...,ci,...,cs)で表される。sはケ
プストラム係数の次数を示す。勿論、ケプストラムデー
タを表す該方法は一例であり、他の表現方法を用いても
よい。
First, a user inputs characters using the character string input device 1. The character string input device 1 may be a portable recording medium reading device, a character string transmission unit via a communication line, a voice recognition device, or the like, as long as the device can input a character string in addition to the keyboard. Here, it is assumed that a character string “Today's topic” is input as an example.
The character string is stored in the memory 1000 at 1000. Next, the synthesis parameter calculation unit reads a character string from the memory 1000 and divides the character string into phonemes (step S101). A method of dividing a character string into phonemes is described in, for example, the method of Miyazaki et al. (“Language processing system for Japanese sentence speech output” Transactions of Information Processing Society of Japan, Vol. 27, No. 1).
1, pp. 1053-1061, 1986). Of course, the calculation method is an example, and a method of dividing another phoneme may be used. Thus, the character string “today ’s topic” is “ky / o / o / n / o / w / a”.
/ D / a / i ”, and the phoneme division data is stored in 1001 of the memory 10. Here, "k
“y”, “w”, “a”, etc. are symbols indicating phonemes. Of course, the phoneme symbol data is an example, and other phoneme symbol expressions may be used. The unit to be obtained is not limited to a phoneme unit, but may be a unit obtained by dividing a phoneme into two or a syllable. Next, the phoneme divided data divided into phonemes is read from 1001 of the memory 10, the duration of each phoneme is calculated (step S102), and the duration data is transferred to 1002 of the memory 10. The method of calculating the duration time for each phoneme is described in, for example, the method of Sakasaka et al. (“Phonological time length control for speech synthesis by rules”, IEICE Transactions, Vol. J67-A, N
o. 7, pp. 629-636, 1984). Of course, the calculation method is an example, and another calculation method of the phoneme duration may be used. In this way, the phoneme division data “ky / o / o / n / o / w / a / d /
From “a / i”, for example, the duration time data “50/150/120/40/150/20/200” in millisecond units
/ 40/180/170 "is obtained as the calculation result,
It is stored in 1002 of the memory 10. Of course, the duration is an example, and duration data in seconds or the like may be used. Next, from 1000 and 1001 of the memory 10,
The character string and the phoneme division data are read, an accent for designating the pitch of the sound is given (step S103), and the accent data is transferred to 1003 of the memory 10. The method of adding an accent to a character string is described, for example, by the method of Sakasaka et al. (“Accent Rules for Japanese Word Chains” IEICE Transactions, Vol. J66-D, No. 7, pp. 849-
856, 1983). Of course, the calculation method is an example, and another accenting method may be used. In this way, the character string “today's topic” is converted into accent data “kyo'ono, wadai.” And stored in 1003 of the memory 10. Here, syllables with “′” are syllables with accent nuclei, “,” is a phrase delimiter, and “.” Is a symbol indicating the end of a sentence. Of course, this symbol is an example, and other symbols may be used. Next, the phoneme divided data and the accent data are read from 1001 and 1002 of the memory 10 and the fundamental frequency is calculated (step S104).
To 1004. The calculation method of the fundamental frequency is described in, for example, the method of Fujisaki et al.
445-453, 1971). Of course, the calculation method is an example, and another calculation method of the fundamental frequency may be used. In this way, the string "today's topic"
The data is converted into basic frequency data (F0, F1,..., Fi,..., Fp) and stored in the memory 1004. Here, Fi is a numerical value representing the fundamental frequency, for example, a value obtained in units of 10 milliseconds. P is the number of values representing the fundamental frequency. Of course, the method of representing the fundamental frequency is merely an example, and if the method is capable of finding the value of the fundamental frequency, the method of finding the fundamental frequency in a time unit other than a fixed time interval, and the parameters of the model for finding the fundamental frequency May be used.
Next, the phoneme duration data is read from the memory 1002 in the memory 10 and the power is calculated (step S105).
The power data is transferred to 1005 of the memory 10. The method of power calculation is described in, for example, the method of Mimura et al. (“Analysis and Control of Speech Power Using Statistical Method”, Journal of the Acoustical Society of Japan, 4
9 pp. 253-259, 1993).
Of course, the calculation method is an example, and another power calculation method may be used. In this way, the character string "today's topic" is (P0, P1, ..., Pi, ..., Pq)
1005 of the memory 10
Is stored in Here, Pi is a value representing power and d
Stored as B value. q is the number of power data. Of course, the method of expressing the power value is an example, and another power value expressing method may be used. Next, the phoneme division data is read from the memory 1001, the cepstrum is calculated (Step S 106), and the cepstrum data is transferred to the memory 1006. As a method for obtaining cepstrum data, for example, a method using a result of cepstrum analysis of a representative waveform for each phoneme is used. Of course, the calculation method is an example, and another cepstrum analysis method may be used. In this way, the string "today's topic"
It is converted into cepstrum data (C0, C1,..., Ci,... Cr) and stored in 1006 of the memory 10. Here, r is the number of cepstrum data, Ci
Is vector data representing cepstrum coefficients, (c
1,. . . , Ci,. . . , Cs). s indicates the order of the cepstrum coefficient. Of course, the method of representing cepstrum data is merely an example, and other expressions may be used.

【0013】このようにして、音声の特徴を表すパラメ
ータである、音素継続時間長データ、基本周波数デー
タ、パワーデータ、ケプストラムデータがメモリ10の
1002、1004、1005、1006にそれぞれ格
納される。なお、本実施例では、音声の特徴を表すパラ
メータとして、音素継続時間長データ、基本周波数デー
タ、パワーデータ、ケプストラムデータを用いたが、音
声の特徴を表すパラメータであれば、フォルマント周波
数、線形予測分析の結果得られる線形予測係数、メル尺
度に変換したメルケプストラム等のパラメータであって
も良い。
In this way, the phoneme duration data, the fundamental frequency data, the power data, and the cepstrum data, which are parameters representing the characteristics of speech, are stored in the memory 1002, 1004, 1005, and 1006, respectively. In the present embodiment, phoneme duration data, fundamental frequency data, power data, and cepstrum data are used as parameters representing voice characteristics. However, if parameters represent voice characteristics, the formant frequency, linear prediction It may be a parameter such as a linear prediction coefficient obtained as a result of the analysis or a mel cepstrum converted to a mel scale.

【0014】続いて、利用者は、音声入力装置6を用い
て、「今日の話題」と発声し音声を装置内に取り込む。
例えば、音声はサンプリング周波数16キロヘルツ、量
子化ビット数16ビット、モノラル音声で取り込む。次
に音声入力装置6は、音声データをメモリ10の100
7に転送する。次に、音声パラメータ分析手段7は、メ
モリ10の1007より音声データを読み出し、基本周
波数の分析を行い、基本周波数データ(F’0,F’
1,...,F’i,...,F’k)をメモリ10の
1009に転送する。ここで、F’iは基本周波数の値
であり、kは基本周波数データの値の数である。基本周
波数の分析の方法は、例えば、LPC分析の残差信号の
自己相関関数より基本周波数を求める方法を利用する。
勿論、該計算方法は一例であり、他の基本周波数分析方
法を利用してもよい。ここでは、基本周波数の分析間隔
は、文字列「今日の話題」から基本周波数データを求め
た時の基本単位と等しくする。例えば、10ミリ秒単位
で基本周波数データを分析する。勿論、該分析方法は一
例であり、後に説明する基本周波数の差分値を計算でき
る方法であるならば、他の基本周波数分析の方法及び基
本周波数のデータ構造を利用してもよい。このようにし
て、音声「今日の話題」の基本周波数データがメモリ1
0の1009に格納される。次に、メモリ10の100
7より音声データを読み出し、音素継続時間長の分析を
行い、音素継続時間長データをメモリ10の1008に
転送する。音素継続時間長の分析は、例えば、中川らの
方法(「HMM法とベイズ確率を用いた連続音声のセグ
メンテーション」電子情報通信学会論文誌、Vol.J
72−D−II、pp.1−10、1989)を利用す
る。勿論、該計算方法は一例であり、他の音素継続時間
長の分析方法を利用してもよい。このようにして、音声
「今日の話題」の音素継続時間長データ「80/140
/150/30/150/50/180/50/180
/180」がメモリ10の1008に格納される。ここ
では、文字列「今日の話題」から計算した音素継続時間
長と同じく時間長データの単位はミリ秒としたが、勿
論、該単位は一例であり、後に説明する音素継続時間長
データの差分値を計算できる方法であるならば、他の音
素継続時間長計算方法及びデータ表現方法を用いてもよ
い。次に、メモリ10の1007より音声データを読み
出し、パワーの分析を行い、パワー値をメモリ10の1
010に転送する。パワーの分析は、例えば、ケプスト
ラム分析の結果得られたケプストラムパラメータの0次
項を利用する。勿論、該計算方法は一例であり、他のパ
ワーデータ計算方法を用いてもよい。このようにして、
音声「今日の話題」のパワーデータ(P’0,P’
1,...,P’i,...,P’j)がメモリ10の
1010に格納される。ここで、P’iはパワーデータ
であり、jはパワーデータの個数である。勿論、該表現
方法は一例であり、後に説明するパワーデータの差分値
が計算できる方法であれば、他のパワーデータ表現方法
を利用してもよい。次に、メモリ10の1007より音
声データを読み出し、ケプストラム分析を行い、ケプス
トラムパラメータデータをメモリ10の1011に転送
する。ケプストラム分析の単位時間は、例えば、メモリ
10の1006に格納されているケプストラムパラメー
タと等しくする。このようにして、音声「今日の話題」
のケプストラムデータ(C’0,C’1,...,C’
i,...C’m)に変換され、メモリ10の1006
に格納される。ここで、mはケプストラムデータの数、
C’iはケプストラム係数を表すベクトルデータで、
(c’1,...,c’i,...,c’n)で表され
る。nはケプストラム係数の次数を示す。勿論、ケプス
トラムデータを表す該方法は一例であり、後に説明する
ケプストラムの差分値を求めることが出来るならば、他
の表現方法を用いてもよい。
Subsequently, the user uses the voice input device 6 to say "today's topic" and capture the voice into the device.
For example, audio is captured as monaural audio with a sampling frequency of 16 kHz and a quantization bit number of 16 bits. Next, the voice input device 6 stores the voice data in the memory 10
Transfer to 7. Next, the voice parameter analysis means 7 reads out the voice data from the memory 1007 of the memory 10, analyzes the fundamental frequency, and obtains the fundamental frequency data (F'0, F ').
1,. . . , F'i,. . . , F′k) to the memory 1009. Here, F′i is the value of the fundamental frequency, and k is the number of values of the fundamental frequency data. As a method of analyzing the fundamental frequency, for example, a method of obtaining the fundamental frequency from the autocorrelation function of the residual signal of the LPC analysis is used.
Of course, the calculation method is an example, and another fundamental frequency analysis method may be used. Here, the fundamental frequency analysis interval is set equal to the basic unit when the fundamental frequency data is obtained from the character string “today's topic”. For example, the fundamental frequency data is analyzed in units of 10 milliseconds. Of course, the analysis method is merely an example, and any other fundamental frequency analysis method and data structure of the fundamental frequency may be used as long as the method can calculate a difference value of the fundamental frequency described later. In this way, the fundamental frequency data of the voice "today's topic" is stored in the memory 1
0 is stored in 1009. Next, 100 of the memory 10
7, the voice data is read out, the phoneme duration is analyzed, and the phoneme duration data is transferred to 1008 of the memory 10. The analysis of the phoneme duration is performed, for example, according to the method of Nakagawa et al. (“Segmentation of continuous speech using HMM method and Bayesian probability” Transactions of the Institute of Electronics, Information and Communication Engineers, Vol. J.
72-D-II pp. 1-10, 1989). Of course, the calculation method is an example, and another analysis method of the phoneme duration may be used. In this way, the phoneme duration data “80/140” of the voice “Today's topic”
/ 150/30/150/50/180/50/180
/ 180 ”is stored in 1008 of the memory 10. Here, the unit of the time length data is milliseconds as in the phoneme duration calculated from the character string “today's topic”. However, the unit is, of course, an example, and the difference of the phoneme duration is described later. Other phoneme duration calculation methods and data representation methods may be used as long as the value can be calculated. Next, audio data is read from the memory 1007 of the memory 10, the power is analyzed, and the power value is stored in the memory 10.
010. The power analysis uses, for example, the zero-order term of the cepstrum parameter obtained as a result of the cepstrum analysis. Of course, the calculation method is an example, and another power data calculation method may be used. In this way,
Power data of voice "Today's topic"(P'0, P '
1,. . . , P'i,. . . , P′j) are stored in 1010 of the memory 10. Here, P′i is power data, and j is the number of power data. Of course, the expression method is merely an example, and any other power data expression method may be used as long as a difference value of power data described later can be calculated. Next, voice data is read from 1007 of the memory 10, cepstrum analysis is performed, and cepstrum parameter data is transferred to 1011 of the memory 10. The unit time of the cepstrum analysis is, for example, equal to the cepstrum parameter stored in 1006 of the memory 10. In this way, the audio "Today's topic"
Cepstrum data (C′0, C′1,..., C ′)
i,. . . C′m) and 1006 of the memory 10
Is stored in Here, m is the number of cepstrum data,
C′i is vector data representing a cepstrum coefficient,
(C'1, ..., c'i, ..., c'n). n indicates the order of the cepstrum coefficient. Of course, the method of representing cepstrum data is merely an example, and other expression methods may be used as long as a difference value of cepstrum described later can be obtained.

【0015】以上の手順で、音素継続時間長、基本周波
数、パワー、ケプストラムのデータがメモリ10の10
08、1009、1010、1011に格納される。
According to the above procedure, the phoneme duration, fundamental frequency, power, and cepstrum data are stored in the memory 10.
08, 1009, 1010, and 1011.

【0016】続いて、パラメータ比較手段8では、合成
パラメータ算出手段2で算出された合成パラメータと音
声パラメータ分析手段7で分析された分析パラメータを
メモリ10の1002、1004、1005、1006
及び1008、1009、1010、1011より読み
出し、対応するパラメータの比較を行う。ここで、対応
するパラメータとは、合成パラメータにおける基本周波
数と分析パラメータにおける基本周波数、合成パラメー
タにおける音素継続時間長と分析パラメータにおける音
素継続時間長、合成パラメータにおけるパワーデータと
分析パラメータにおけるパワーデータ、合成パラメータ
におけるケプストラムデータと分析パラメータにおける
ケプストラムデータである。
Subsequently, in the parameter comparing means 8, the synthesized parameters calculated by the synthesized parameter calculating means 2 and the analysis parameters analyzed by the voice parameter analyzing means 7 are stored in the memory 10 in 1002, 1004, 1005, 1006.
And 1008, 1009, 1010, and 1011, and the corresponding parameters are compared. Here, the corresponding parameters are the fundamental frequency in the synthesis parameter and the fundamental frequency in the analysis parameter, the phoneme duration in the synthesis parameter and the phoneme duration in the analysis parameter, the power data in the synthesis parameter and the power data in the analysis parameter, and the synthesis. It is a cepstrum data in a parameter and a cepstrum data in an analysis parameter.

【0017】まず、図4を用いて、図1のパラメータ比
較手段8における音素継続時間に関するパラメータ差分
値を算出する実施方法を説明する。図4は、「今日の話
題(キョウオノワダイ)」という文字列に対して実施し
た具体例である。401は図2の音素継続時間長計算手
順103の結果求められる合成パラメータである。合成
パラメータ401はシステム固有のパラメータ値であ
り、401の形式で格納されている。合成パラメータ4
01は、音素記号402と継続長403の組合せで定義
されており、音素記号毎に異なる値を持っている。継続
長403の単位はミリ秒である。例えば、404に示す
ように「オ(o)」という音素は150ミリ秒という継
続長が決まっている。このようにして、「今日の話題」
という文字列に対する合成パラメータ401を求める。
405は、「今日の話題」という文字列の内容を利用者
が発声した音声を分析した結果を示す分析パラメータ表
である。音素記号406及び継続長407は、合成パラ
メータ401と同じである。404の「オ」に対応する
分析パラメータにおける「オ」408は、合成パラメー
タ401とは異なる値を示している。これは、利用者の
発声とシステムで想定した合成パラメータとが異なって
いることを意味しており、利用者の個人性と解釈するこ
とも可能である。421は前記手順で求められた分析パ
ラメータであり、422は合成パラメータである。42
3は分析パラメータ421と合成パラメータ422の差
分値424を計算する差分器である。該実施例では、差
分器423では、音素記号402と音素記号406の対
応する項目の継続長の差分が計算され、409で示すパ
ラメータ差分値表として格納される。例えば一つ目の
「o」に対しては、408の値より404の値を減じ
る。結果として、差分値「30」が差分継続長として4
12に格納される。上記の方法を用いてパラメータ差分
値409を求める。このようにして、「30/−10/
30/−10/0/30/−20/10/0/10」が
メモリ10の1012に格納される。
First, a method of calculating the parameter difference value relating to the phoneme duration in the parameter comparing means 8 of FIG. 1 will be described with reference to FIG. FIG. 4 is a specific example implemented for the character string “Today's topic (Kyo-Onawadai)”. Reference numeral 401 denotes synthesis parameters obtained as a result of the phoneme duration calculation procedure 103 in FIG. The synthesis parameter 401 is a parameter value unique to the system, and is stored in the format of 401. Synthesis parameter 4
01 is defined by a combination of a phoneme symbol 402 and a duration 403, and has a different value for each phoneme symbol. The unit of the duration 403 is millisecond. For example, as shown at 404, the phoneme “o” has a continuation length of 150 milliseconds. In this way, "Today's topic"
Is obtained for the character string.
Reference numeral 405 denotes an analysis parameter table indicating a result of analyzing a voice uttered by the user with respect to the content of the character string “today's topic”. The phoneme symbol 406 and the duration 407 are the same as the synthesis parameter 401. “O” 408 in the analysis parameter corresponding to “O” in 404 indicates a value different from that of the synthesis parameter 401. This means that the utterance of the user is different from the synthesis parameter assumed in the system, and can be interpreted as the personality of the user. 421 is an analysis parameter obtained by the above procedure, and 422 is a synthesis parameter. 42
Reference numeral 3 denotes a differentiator for calculating a difference value 424 between the analysis parameter 421 and the synthesis parameter 422. In this embodiment, the difference unit 423 calculates the difference between the continuation lengths of the corresponding items of the phoneme symbol 402 and the phoneme symbol 406 and stores the difference as a parameter difference value table 409. For example, the value of 404 is subtracted from the value of 408 for the first “o”. As a result, the difference value “30” becomes 4 as the difference continuation length.
12 is stored. The parameter difference value 409 is obtained using the above method. Thus, "30 / -10 /
30 / −10 / 0/30 / −20 / 10/0/10 ”is stored in 1012 of the memory 10.

【0018】以下、同様にして、基本周波数、パワー、
ケプストラムパラメータに関する差分値を計算する。
Hereinafter, similarly, the fundamental frequency, power,
Compute the difference value for the cepstrum parameter.

【0019】このようにして、音素継続時間長、基本周
波数、パワー、ケプストラムの差分値がメモリ10の1
012、1013、1014、1015に格納された。
ここで、メモリ10に格納された差分値を、パラメータ
差分値蓄積装置9である記憶媒体に格納して保存するこ
とや、後述の実施例で示す方法で該差分値を利用するこ
ともできる。
In this manner, the difference between the phoneme duration, the fundamental frequency, the power, and the cepstrum is stored in the memory 10 as 1
012, 1013, 1014, and 1015.
Here, the difference value stored in the memory 10 can be stored and stored in a storage medium that is the parameter difference value accumulating device 9, or the difference value can be used by a method described in an embodiment described later.

【0020】ここで、図3を用いて、差分値データより
合成パラメータを求める原理を説明する。301は図1
の音声入力装置6により入力された利用者の音声デー
タ、302は音声データ301を分析し音声の特徴を表
す分析パラメータを出力する音声パラメータ分析部、3
03は図1の文字列入力装置1により入力された文字列
データ、304は文字列データ303より合成パラメー
タを算出する合成パラメータ算出部、305は前記分析
パラメータと合成パラメータと比較しパラメータ差分値
306を計算するパラメータ比較部、307は文字列デ
ータ303より算出された合成パラメータとパラメータ
差分値306から合成パラメータを計算するパラメータ
加算部、308はパラメータ加算手段307により出力
された合成パラメータから音声を合成する音声合成部で
ある。ここでは、パラメータ比較部305とパラメータ
加算部307は同一の合成パラメータを用いているが、
異なるパラメータを用いてもよい。上記の原理を用い
て、利用者の音声301の音声の特徴を持った音声30
9を合成することが可能である。
Here, the principle of obtaining the synthesis parameter from the difference value data will be described with reference to FIG. 301 is FIG.
The voice data 302 of the user input by the voice input device 6 is a voice parameter analysis unit that analyzes the voice data 301 and outputs an analysis parameter representing a feature of the voice.
Reference numeral 03 denotes character string data input by the character string input device 1 of FIG. 307 is a parameter addition unit that calculates a synthesis parameter from the synthesis parameter calculated from the character string data 303 and the parameter difference value 306, and 308 synthesizes speech from the synthesis parameter output by the parameter addition unit 307. This is a speech synthesis unit that performs Here, the parameter comparison unit 305 and the parameter addition unit 307 use the same combined parameter,
Different parameters may be used. Using the above principle, the voice 30 having the voice characteristics of the user's voice 301
9 can be synthesized.

【0021】上記原理を用いて、パラメータ差分値より
合成パラメータを計算する。本実施例では、これから説
明する方法で合成パラメータを計算する。仮に、合成パ
ラメータpと合成パラメータqからパラメータ差分値d
を求める演算をfdとすると、d=fd(p,q)が成
り立つ。ここで、差分値dから合成パラメータpを求め
るパラメータ加算方法fsが、以下の関係を満たすよう
な演算fsをパラメータ加算方法を利用する。すなわ
ち、p=fs(fd(p,q))を満たすfsを採用す
る。例えば、前記例ではパラメータ比較方法にパラメー
タの差を用いたので、パラメータ加算方法にはパラメー
タの和を用いることにより、該関係を満たすことができ
る。勿論、該関係は一例であり、差分値より話者の音声
の特徴を表すパラメータを算出することができるパラメ
ータ加算方法を利用してもよい。このようにして算出さ
れた合成パラメータは、メモリ10の1002、100
4、1005、1006へ転送される。続いて、音声合
成部4は、メモリ10の1002、1004、100
5、1006から合成パラメータを読み出し、合成フィ
ルタを駆動することにより音声合成を行い、音声データ
を生成する。音声合成の方法は、例えば、文献「古
井:”ディジタル音声処理”、p.22、東海大学出版
会、1985」に示されている方法を利用する。勿論、
該音声合成方法は一例であり、他の音声合成方法を利用
してもよい。このようにして、生成された音声データは
メモリ10の1016に格納される。次に、音声出力装
置5を通じて、メモリ10の1016に格納されている
音声データを出力する。以上の手続きを以って、目的の
音声を合成する。
Using the above principle, a composite parameter is calculated from the parameter difference value. In the present embodiment, the synthesis parameters are calculated by a method described below. Suppose that the parameter difference value d is obtained from the synthesis parameter p and the synthesis parameter q.
Let f = d (p, q), where fd is the calculation to obtain. Here, the parameter addition method fs for obtaining the synthesis parameter p from the difference value d uses an operation fs that satisfies the following relationship. That is, fs that satisfies p = fs (fd (p, q)) is adopted. For example, in the above example, since the parameter difference is used for the parameter comparison method, the relationship can be satisfied by using the sum of the parameters for the parameter addition method. Of course, the relationship is merely an example, and a parameter addition method that can calculate a parameter representing the feature of the speaker's voice from the difference value may be used. The synthesis parameters calculated in this way are stored in the memory 10 at 1002, 100
4, 1005, and 1006. Subsequently, the voice synthesizing unit 4 stores the data in the memory 1002, 1004, 100
5, a synthesis parameter is read out from 1006, and voice synthesis is performed by driving a synthesis filter to generate voice data. As the speech synthesis method, for example, a method described in the document “Furui:“ Digital Speech Processing ”, p. 22, Tokai University Press, 1985” is used. Of course,
The speech synthesis method is an example, and another speech synthesis method may be used. The audio data generated in this way is stored in the memory 1016. Next, the audio data stored in 1016 of the memory 10 is output through the audio output device 5. According to the above procedure, a desired voice is synthesized.

【0022】さて、上記の実施例は、利用者が「今日の
話題」という文字列を入力し、「今日の話題」という音
声を入力した場合の差分値を計算する例であったが、例
えば、複数の文字列に対して発声した音声に関して分析
を行った結果得られた複数の差分値に関して、差分値の
平均を計算した平均差分値もしくは、差分値に関する平
均値と分散値といった値も、差分値として利用しても良
い。また、差分値は、基準パラメータとの異なりを示す
値であれば、基準パラメータとの比等を利用しても一向
に構わない。
The above embodiment is an example in which a user inputs a character string "today's topic" and calculates a difference value when a user inputs a voice "today's topic". For a plurality of difference values obtained as a result of performing analysis on voices uttered for a plurality of character strings, an average difference value obtained by calculating an average of the difference values, or a value such as an average value and a variance value regarding the difference value, It may be used as a difference value. Further, the difference value may be any value that indicates a difference from the reference parameter, for example, by using a ratio with the reference parameter.

【0023】また、上記音声合成装置は、差分値及び合
成音声を出力できればよく、例えば、文字列入力装置及
び音声入力装置を備える計算機装置に蓄えられ、該計算
機装置のCPUが読み出されて実行されるプログラムで
も良い。
The voice synthesizer only needs to be able to output the difference value and the synthesized voice. For example, the voice synthesizer is stored in a computer device having a character string input device and a voice input device, and the CPU of the computer device is read and executed. It may be a program to be performed.

【0024】次に、図5を用いて、本発明の他の実施形
態を説明する。50はメールを送信する側のシステム、
60はメールを受信する側のシステム、56はメール送
信側システムの通信装置、66はメール受信側システム
の通信装置、58は通信装置56と通信装置66が通信
可能な通信路である。メールの送信者が、メール送信側
システム50を利用して、例えば、「今日の会議は、延
期になりました。」という内容のメールをメールの受信
者に送信する場合、メールの送信者は、まず、CPU5
5に対してメール送信プログラムをメモリ54より読み
出して実行するように指示した後、文字入力装置51よ
り、「今日の会議は、延期になりました。」という文字
列を入力する。ここで、メール送信プログラムは、実行
される前に、固定ディスク等の記録媒体から転送されて
メモリ54に格納されているものとする。勿論、実行さ
れる前にメモリ54に格納されていれば、他のプログラ
ム格納方法を利用してもよい。入力された文字列は、メ
モリ54に転送された後、表示装置53に表示される。
続いて、利用者は音声入力装置52を用いて、「今日の
会議は、延期になりました。」という音声を入力する。
入力された音声は、メモリ54に転送される。続いて、
メール送信プログラムは、上述の機能を持つ音声合成プ
ログラムをメモリ54より読み出し、実行を開始する。
ここで、音声合成プログラムは、実行される前に、固定
ディスク等の記録媒体から転送されてメモリ54に格納
されているものとする。勿論、実行される前にメモリ5
4に格納されていれば、他のプログラム格納方法を利用
してもよい。次に、音声合成プログラムは、入力された
文字列をメモリ54より読み出し、音声合成のためのシ
ステムの基準合成パラメータの生成して、メモリ54に
転送する。次に、CPU55は入力された音声をメモリ
54より読み出し、音声の特徴を表す分析パラメータを
生成して、メモリ54に転送する。次に、音声合成プロ
グラムは、メモリ54に格納されている基準合成パラメ
ータと分析パラメータの比較を行い、パラメータの差分
値を算出し、メモリ54に転送する。次に、メール送信
プログラムは、メモリ54より、「今日の会議は、延期
になりました。」という文字列と、音声合成プログラム
により算出された差分値を読み出して、例えば、該メー
ルには差分値が含まれている旨のデータを結合し、1つ
のメールデータとした後に、メモリ54に転送する。図
6にメールデータの一例を示す。507はメールデー
タ、501はメールデータの宛て先を示す情報、502
はメールを送信する利用者の情報、503はメールのタ
イトル、504はメールの本文の内容であり、本実施例
では、文字列「今日の会議は、延期になりました。」、
505はメールに差分値が添付されている旨を示す差分
値情報有無フラグ、506はメール送信者の音声から算
出した差分値である。メール送信プログラムは、該メー
ルデータをメモリ54より読み出し、通信装置56を用
いて、通信装置66にデータを送信する。上記の結果、
「今日の会議は、延期になりました。」という文字列と
送信者の音声の特徴を担った差分値及び、差分値データ
が付加されている旨を示す付加データから構成されるメ
ールデータが、メール受信側システムに送信された。
Next, another embodiment of the present invention will be described with reference to FIG. 50 is the system that sends the mail,
Reference numeral 60 denotes a mail receiving side system, 56 denotes a mail transmitting side system communication device, 66 denotes a mail receiving side system communication device, and 58 denotes a communication path through which the communication device 56 and the communication device 66 can communicate. When the sender of the mail uses the mail sender system 50 to send, for example, an e-mail with the content “Today's meeting has been postponed” to the e-mail recipient, the e-mail sender is First, CPU5
After instructing 5 to read and execute the mail transmission program from the memory 54, the character input device 51 inputs a character string "Today's meeting has been postponed." Here, it is assumed that the mail transmission program is transferred from a recording medium such as a fixed disk and stored in the memory 54 before being executed. Of course, other program storage methods may be used as long as they are stored in the memory 54 before execution. The input character string is displayed on the display device 53 after being transferred to the memory 54.
Subsequently, the user uses the voice input device 52 to input a voice saying "Today's meeting has been postponed."
The input voice is transferred to the memory 54. continue,
The mail transmission program reads the speech synthesis program having the above-described functions from the memory 54 and starts execution.
Here, it is assumed that the speech synthesis program is transferred from a recording medium such as a fixed disk and stored in the memory 54 before being executed. Of course, the memory 5
4, other program storage methods may be used. Next, the speech synthesis program reads the input character string from the memory 54, generates a reference synthesis parameter of the system for speech synthesis, and transfers the generated reference synthesis parameter to the memory 54. Next, the CPU 55 reads the input voice from the memory 54, generates an analysis parameter representing a feature of the voice, and transfers the analysis parameter to the memory 54. Next, the speech synthesis program compares the reference synthesis parameter stored in the memory 54 with the analysis parameter, calculates a parameter difference value, and transfers the parameter difference value to the memory 54. Next, the mail transmission program reads the character string “Today's meeting has been postponed.” And the difference value calculated by the voice synthesis program from the memory 54, and, for example, reads the difference After combining the data indicating that the value is included into one mail data, the mail data is transferred to the memory 54. FIG. 6 shows an example of the mail data. 507, mail data; 501, information indicating the destination of the mail data;
Is the information of the user who sends the mail, 503 is the title of the mail, and 504 is the content of the body of the mail. In this embodiment, the character string "Today's meeting has been postponed."
Reference numeral 505 denotes a difference value information presence / absence flag indicating that the difference value is attached to the mail, and 506 denotes a difference value calculated from the voice of the mail sender. The mail transmission program reads the mail data from the memory 54, and transmits the data to the communication device 66 using the communication device 56. As a result of the above,
E-mail data consisting of a character string “Today's meeting has been postponed”, a difference value bearing the characteristics of the sender's voice, and additional data indicating that difference value data has been added , Sent to the recipient system.

【0025】一方、メール受信者は、CPU65に対し
て、メール受信プログラムをメモリ64より読み出し、
実行するように指示を与える。ここで、メール受信プロ
グラムは、実行される前に、固定ディスク等の記録媒体
から転送されてメモリ54に格納されているものとす
る。勿論、実行される前にメモリ54に格納されていれ
ば、他のプログラム格納方法を利用してもよい。メール
受信プログラムは、通信装置66に蓄積されているメー
ルデータの存在を検査し、メールが到着している場合に
は、メールデータをメモリ64に読み込む。メール受信
プログラムは、メモリ64よりメールデータを読み出
し、差分値データが付加されている旨を示す付加デー
タ、図6では差分値情報有無フラグ505を参照し、差
分値が付加されているかどうかを検査し、付加されてい
る場合には、文字列と差分値を分割するプログラムを実
行し、文字列と差分値をメモリ64に転送し、受信した
文字列を表示装置63に表示する。メール受信プログラ
ムは、メールに差分値データが付加されている場合に
は、その差分値に基づき音声を合成する機能を持つ音声
合成プログラムをメモリ64より読み出し実行する。こ
こで、音声合成プログラムは、実行される前に、固定デ
ィスク等の記録媒体から転送されてメモリ54に格納さ
れているものとする。勿論、実行される前にメモリ54
に格納されていれば、他のプログラム格納方法を利用し
てもよい。例えば、装置中に備え付けの半導体メモリ、
外付けの光ディスク、DVD、磁気ディスク、更にネッ
トワークコンピューティングのように、通信手段により
接続されている他のシステムから読み出してもよい。通
信手段も有線である必要はなく、無線、光、赤外線等の
通信手段でも良い。こうして目盛り54に読み出された
音声合成プログラムは、文字列と差分値をメモリ64よ
り読み出し、文字列「今日の会議は、延期になりまし
た。」から、音声合成のためのシステムの基準合成パラ
メータを算出し、基準パラメータと該差分値を加算する
ことにより合成パラメータを算出し、メモリ64に転送
する。次に、音声合成プログラムは、該合成パラメータ
をメモリ64より読み出して音声合成を行った後、音声
データをメモリ64に転送する。次に、メール受信プロ
グラムは、音声データをメモリ64より読み出し、音声
出力装置62より音声を出力する。
On the other hand, the mail receiver reads the mail receiving program from the memory 64 to the CPU 65,
Give instructions to run. Here, it is assumed that the mail receiving program is transferred from a recording medium such as a fixed disk and stored in the memory 54 before being executed. Of course, other program storage methods may be used as long as they are stored in the memory 54 before execution. The mail receiving program checks the presence of mail data stored in the communication device 66, and reads the mail data into the memory 64 when mail has arrived. The mail receiving program reads out the mail data from the memory 64, and refers to the additional data indicating that the difference value data has been added, and in FIG. 6, the difference value information presence / absence flag 505 to check whether the difference value has been added. If it is added, a program for dividing the character string and the difference value is executed, the character string and the difference value are transferred to the memory 64, and the received character string is displayed on the display device 63. When the difference value data is added to the mail, the mail receiving program reads out from the memory 64 a voice synthesizing program having a function of synthesizing voice based on the difference value, and executes it. Here, it is assumed that the speech synthesis program is transferred from a recording medium such as a fixed disk and stored in the memory 54 before being executed. Of course, the memory 54
Otherwise, another program storage method may be used. For example, a semiconductor memory provided in the device,
Data may be read from an external optical disk, DVD, magnetic disk, or another system connected by communication means such as network computing. The communication means does not need to be wired, and may be a communication means such as wireless, light, or infrared. The speech synthesis program thus read out on the scale 54 reads out the character string and the difference value from the memory 64, and reads the character string "Today's meeting has been postponed." A parameter is calculated, a composite parameter is calculated by adding the reference parameter and the difference value, and the calculated parameter is transferred to the memory 64. Next, the voice synthesizing program reads out the synthesis parameters from the memory 64 to perform voice synthesis, and then transfers the voice data to the memory 64. Next, the mail receiving program reads the voice data from the memory 64 and outputs the voice from the voice output device 62.

【0026】尚、上記の実施例は、メール送受信プログ
ラムと音声合成プログラムは、それぞれ別個のプログラ
ムとして説明したが、メール送受信プログラムの一部で
ある音声合成プログラムとして構成してもよい。
In the above embodiment, the mail sending / receiving program and the speech synthesizing program are described as separate programs. However, the mail sending / receiving program and the speech synthesizing program may be configured as a speech synthesizing program which is a part of the mail sending / receiving program.

【0027】ここでは、メール送信者により入力された
文字列と該文字列に対応する音声の差分値を算出した
が、メール送信者が既に該メールシステムを利用したこ
とがある場合、音声入力を行わず、計算済みの差分値を
メモリより検索し、文字列に付加する方法を採っても良
い。また、受信側システムでは、メールに差分値が付加
されていない場合があるとしても、メールの送信者情報
から、メモリに格納されている差分値情報を検索し、送
信者の差分値情報とする方法を採ることにより、送信者
の音声の特徴を持った音声を合成することが可能であ
る。
Here, the difference value between the character string input by the mail sender and the voice corresponding to the character string is calculated. However, if the mail sender has already used the mail system, the voice input is performed. Alternatively, a method may be employed in which the calculated difference value is searched from the memory and added to the character string. Further, even if the difference value is not added to the mail, the receiving system searches the sender information of the mail for the difference value information stored in the memory and sets the difference value information of the sender. By adopting the method, it is possible to synthesize a speech having characteristics of the sender's speech.

【0028】[0028]

【発明の効果】以上のように、本発明装置を利用すれ
ば、音声で合成すべき内容を、特定の個人の特徴パラメ
ータに適応することが可能となるので、特定の個人の音
声で出力することが望ましいシステム、特に、電子メー
ルの読み上げシステム等に優れた効果を発揮する。
As described above, if the apparatus of the present invention is used, the contents to be synthesized by voice can be adapted to the characteristic parameters of a specific individual, so that the specific personal voice is output. This is an excellent effect for a system where it is desirable, especially an electronic mail reading system.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の構成を示すブロック図である。FIG. 1 is a block diagram showing a configuration of the present invention.

【図2】本発明における合成パラメータ算出部の処理手
順の実施例を示す図である。
FIG. 2 is a diagram illustrating an example of a processing procedure of a synthesis parameter calculation unit according to the present invention.

【図3】本発明の原理を示す図である。FIG. 3 is a diagram showing the principle of the present invention.

【図4】本発明におけるパラメータ比較手段の具体例を
示す音素継続長のパラメータ差分値を説明する図であ
る。
FIG. 4 is a diagram illustrating a parameter difference value of a phoneme duration, showing a specific example of a parameter comparison unit according to the present invention.

【図5】本発明の構成を示すブロック図である。FIG. 5 is a block diagram showing a configuration of the present invention.

【図6】本発明におけるメールデータの例である。FIG. 6 is an example of mail data in the present invention.

【図7】本発明におけるメモリのデータ構造を示す図で
ある。
FIG. 7 is a diagram showing a data structure of a memory according to the present invention.

【符号の説明】 1…文字列入力装置、2…合成パラメータ算出部、3…
パラメータ加算部、4…音声合成部、5…音声出力装
置、6…音声入力装置、7…音声パラメータ分析部、8
…パラメータ比較部、9…パラメータ差分値蓄積装置、
10…メモリ、50…送信側システム、51…文字入力
装置、52…音声入力装置、53…表示装置、54…メ
モリ、55…CPU、56…通信装置、58…通信路、
60…受信側システム、61…文字入力装置、62…音
声出力装置、63…表示装置、64…メモリ、65…C
PU、66…通信装置、301…利用者の音声、302
…音声パラメータ分析部、303…文字列、304…合
成パラメータ算出部、305…パラメータ比較部、30
6…パラメータ差分値、307…パラメータ加算部、3
08…音声合成部、309…利用者の音声の特徴を持っ
た音声、401…合成パラメータ表、402…音素記
号、403…継続長、404…「o」に対する継続長、
405…分析パラメータ表、406…音素記号、407
…分析継続長、408…「o」に対する継続長、409
…パラメータ差分値表、410…音素記号、411…差
分継続長、412…「o」に対する継続長、421…分
析パラメータ、422…合成パラメータ、423…差分
器、424…パラメータ差分値、501…宛て先、50
2…送信者情報、503…タイトル、504…メール本
文、505…差分値情報有無フラグ、506…差分値、
507…メールデータ。
[Explanation of Signs] 1 ... Character string input device, 2 ... Synthesis parameter calculation unit, 3 ...
Parameter addition section, 4 ... Speech synthesis section, 5 ... Speech output device, 6 ... Speech input device, 7 ... Speech parameter analysis section, 8
... parameter comparison unit, 9 ... parameter difference value storage device,
Reference Signs List 10: memory, 50: transmitting system, 51: character input device, 52: voice input device, 53: display device, 54: memory, 55: CPU, 56: communication device, 58: communication channel,
60 receiving system, 61 character input device, 62 voice output device, 63 display device, 64 memory, 65 C
PU, 66: communication device, 301: user's voice, 302
... Voice parameter analysis unit, 303, character string, 304, synthesis parameter calculation unit, 305, parameter comparison unit, 30
6 parameter difference value, 307 parameter addition unit, 3
08: voice synthesis unit, 309: voice having the characteristics of the user's voice, 401: synthesis parameter table, 402: phoneme symbol, 403: duration, 404: duration for "o",
405: analysis parameter table, 406: phoneme symbol, 407
… Analysis continuation length, 408… continuation length for “o”, 409
... Parameter difference value table, 410: Phoneme symbol, 411, Difference duration, 412, Duration of “o”, 421, Analysis parameter, 422, Synthesis parameter, 423, Difference device, 424, Parameter difference value, 501 Destination, 50
2 ... sender information, 503 ... title, 504 ... mail text, 505 ... difference value information presence / absence flag, 506 ... difference value,
507 ... Mail data.

───────────────────────────────────────────────────── フロントページの続き (72)発明者 藤田 啓子 東京都国分寺市東恋ケ窪一丁目280番地 株式会社日立製作所中央研究所内 ──────────────────────────────────────────────────続 き Continued on the front page (72) Inventor Keiko Fujita 1-280 Higashi Koigakubo, Kokubunji-shi, Tokyo Inside the Hitachi, Ltd. Central Research Laboratory

Claims (6)

【特許請求の範囲】[Claims] 【請求項1】文字列を入力する文字列入力部と、該文字
列から音声の特徴を表すパラメータを算出する合成パラ
メータ算出部と、該パラメータから音声を合成する音声
合成部と、該音声合成部により合成された音声を出力す
る音声出力部から成る音声合成装置において、音声を入
力する音声入力装置と、該入力音声を分析し音声の特徴
を表すパラメータを算出する音声パラメータ分析部と、
前記合成パラメータ算出部及び前記音声パラメータ分析
部により出力されたパラメータを比較し差分値を出力す
るパラメータ比較部と、該差分値と前記合成パラメータ
算出部により生成されたパラメータを加算するパラメー
タ加算部を備え、該パラメータ加算部により出力された
パラメータから音声を合成する音声合成部を備えたこと
を特徴とする音声合成装置。
1. A character string input unit for inputting a character string, a synthesis parameter calculation unit for calculating a parameter representing a characteristic of voice from the character string, a voice synthesis unit for synthesizing voice from the parameter, and the voice synthesis unit A voice synthesizing device including a voice output unit that outputs a voice synthesized by the unit, a voice input device that inputs a voice, a voice parameter analysis unit that analyzes the input voice and calculates a parameter representing a characteristic of the voice,
A parameter comparison unit that compares the parameters output by the synthesis parameter calculation unit and the voice parameter analysis unit and outputs a difference value; and a parameter addition unit that adds the difference value and the parameter generated by the synthesis parameter calculation unit. And a voice synthesizing unit for synthesizing voice from the parameters output by the parameter adding unit.
【請求項2】入力された文字列データを音声で出力する
場合の音声の特徴を表す第1のパラメータを算出する合
成パラメータ算出部と、別途入力された該文字列の音声
データの特徴を表わす第2のパラメータを算出する音声
パラメータ分析部と、上記第1のパラメータと上記第2
のパラメータとの差分を演算する比較部と、該差分に基
づいて該文字列の音声を合成する手段とを備えることを
特徴とする音声合成装置。
2. A synthesizing parameter calculating section for calculating a first parameter representing a characteristic of a voice when the input character string data is output as a voice, and representing a characteristic of the voice data of the character string separately input. A voice parameter analysis unit for calculating a second parameter, the first parameter and the second
And a means for synthesizing the speech of the character string based on the difference.
【請求項3】文字列から音声の特徴を表すパラメータを
算出する合成パラメータ算出部と、該パラメータから音
声を合成して音声データを生成する音声合成部とからな
る音声合成プログラムにおいて、音声を分析し音声の特
徴を表すパラメータを算出する音声パラメータ分析部
と、前記合成パラメータ算出部及び前記音声パラメータ
分析部により出力されたパラメータを比較して差分値を
出力するパラメータ比較部と、該差分値と前記合成パラ
メータ算出部により生成されたパラメータを加算するパ
ラメータ加算部を備え、該パラメータ加算部により出力
されたパラメータから音声を合成して音声データを生成
する機能を備えたことを特徴とする音声合成プログラム
を記録した記録媒体。
3. A speech synthesis program comprising: a synthesis parameter calculation unit for calculating a parameter representing a feature of speech from a character string; and a speech synthesis unit for synthesizing speech from the parameter to generate speech data. A voice parameter analysis unit that calculates a parameter representing a feature of the voice, a parameter comparison unit that compares the parameters output by the synthesis parameter calculation unit and the voice parameter analysis unit and outputs a difference value, Voice synthesis, comprising: a parameter addition unit that adds a parameter generated by the synthesis parameter calculation unit; and a function of generating voice data by synthesizing voice from the parameter output by the parameter addition unit. A recording medium on which a program is recorded.
【請求項4】テキストデータを音声出力する装置により
読みだされ実行されるプログラムを保持したコンピュー
タ可読な記憶媒体であって、該記憶媒体は、 該文字列データを分析して、予め備えた標準的な音声出
力時の合成パラメータを得るステップと、 該文字列を読み上げた入力音声から、該音声を再合成す
るに必要な特徴パラメータを得るステップと、 上記合成パラメータと上記特徴パラメータとの差分パラ
メータを得るステップと、 該差分パラメータを他のシステムへ送信するステップ
と、 その受信した差分パラメータのもとになった文字列の音
声を出力するステップと、 を有するプログラムを保持することを特徴とする記憶媒
体。
4. A computer-readable storage medium holding a program read and executed by a device for outputting text data by voice, wherein the storage medium analyzes the character string data and stores a standard data provided in advance. Obtaining a synthetic parameter at the time of typical voice output; obtaining a characteristic parameter necessary for resynthesizing the voice from the input voice read out of the character string; and a difference parameter between the synthetic parameter and the characteristic parameter. , A step of transmitting the difference parameter to another system, and a step of outputting a voice of a character string based on the received difference parameter. Storage medium.
【請求項5】所定の基準値に設定されている音声の基準
パラメータを記憶するメモリと、音声を入力する音声入
力装置と、入力された音声のパラメータと上記基準パラ
メータの差を示す差分情報を作成して上記テキストデー
タとともに外部へ送信し、かつ、外部から受信したテキ
ストデータとともに送信された差分情報に基づいて上記
メモリに記憶された上記基準パラメータを変更して得た
合成音声パラメータで、上記受信したテキストデータの
合成音声データを作成する演算制御部と、上記合成音声
データに従って合成音声を出力する音声出力装置とから
構成されるメール送受信装置。
5. A memory for storing a reference parameter of a voice set to a predetermined reference value, a voice input device for inputting a voice, and difference information indicating a difference between the parameter of the input voice and the reference parameter. Created and transmitted to the outside together with the text data, and, based on the difference information transmitted together with the text data received from the outside, the synthesized speech parameters obtained by changing the reference parameters stored in the memory, A mail transmitting / receiving device comprising: an arithmetic control unit for generating synthesized voice data of received text data; and a voice output device for outputting a synthesized voice in accordance with the synthesized voice data.
【請求項6】所定のテキストデータに対して基準値に設
定されている音声の基準パラメータを記憶するメモリ
と、入力された音声のパラメータと上記基準パラメータ
の差を示す差分情報を作成して上記テキストデータとと
もに外部へ送信し、かつ、外部から受信したテキストデ
ータとともに送信された差分情報に基づいて上記メモリ
に記憶された上記基準パラメータを変更して得た合成音
声パラメータで、上記受信したテキストデータの合成音
声データを作成する演算制御部と、上記合成音声データ
に従って合成音声を出力する音声出力装置とから構成さ
れるメール送受信装置。
6. A memory for storing a reference parameter of a voice set to a reference value for predetermined text data, and difference information indicating a difference between an input voice parameter and the reference parameter are created. The synthesized speech parameter transmitted to the outside together with the text data, and obtained by changing the reference parameter stored in the memory based on the difference information transmitted together with the text data received from the outside, An e-mail transmitting / receiving apparatus comprising: an arithmetic control unit that generates synthesized voice data of the above; and a voice output device that outputs a synthesized voice according to the synthesized voice data.
JP20577397A 1997-07-31 1997-07-31 Communications system Expired - Fee Related JP3914612B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP20577397A JP3914612B2 (en) 1997-07-31 1997-07-31 Communications system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP20577397A JP3914612B2 (en) 1997-07-31 1997-07-31 Communications system

Publications (2)

Publication Number Publication Date
JPH1152987A true JPH1152987A (en) 1999-02-26
JP3914612B2 JP3914612B2 (en) 2007-05-16

Family

ID=16512439

Family Applications (1)

Application Number Title Priority Date Filing Date
JP20577397A Expired - Fee Related JP3914612B2 (en) 1997-07-31 1997-07-31 Communications system

Country Status (1)

Country Link
JP (1) JP3914612B2 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001080020A1 (en) * 2000-04-17 2001-10-25 Kenichi Ohmae Apparatus for transmitting and receiving voice message, method of manufacture thereof, relay device, method of transmitting, receiving and relaying, and recording medium
US6549887B1 (en) 1999-01-22 2003-04-15 Hitachi, Ltd. Apparatus capable of processing sign language information
JP2003189000A (en) * 2001-12-14 2003-07-04 Matsushita Electric Works Ltd Talking system
JP2006030609A (en) * 2004-07-16 2006-02-02 Yamaha Corp Voice synthesis data generating device, voice synthesizing device, voice synthesis data generating program, and voice synthesizing program
JP2007140002A (en) * 2005-11-17 2007-06-07 Oki Electric Ind Co Ltd Voice synthesizer, voice synthesizing method, and computer program
WO2010137385A1 (en) 2009-05-28 2010-12-02 インターナショナル・ビジネス・マシーンズ・コーポレーション Device for learning amount of movement of basic frequency for adapting to speaker, basic frequency generation device, amount of movement learning method, basic frequency generation method, and amount of movement learning program
JP2021511533A (en) * 2018-01-11 2021-05-06 ネオサピエンス株式会社Neosapience, Inc. Text-to-speech synthesis methods using machine learning, devices and computer-readable storage media

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6549887B1 (en) 1999-01-22 2003-04-15 Hitachi, Ltd. Apparatus capable of processing sign language information
WO2001080020A1 (en) * 2000-04-17 2001-10-25 Kenichi Ohmae Apparatus for transmitting and receiving voice message, method of manufacture thereof, relay device, method of transmitting, receiving and relaying, and recording medium
JP2003189000A (en) * 2001-12-14 2003-07-04 Matsushita Electric Works Ltd Talking system
JP2006030609A (en) * 2004-07-16 2006-02-02 Yamaha Corp Voice synthesis data generating device, voice synthesizing device, voice synthesis data generating program, and voice synthesizing program
JP2007140002A (en) * 2005-11-17 2007-06-07 Oki Electric Ind Co Ltd Voice synthesizer, voice synthesizing method, and computer program
US7739113B2 (en) 2005-11-17 2010-06-15 Oki Electric Industry Co., Ltd. Voice synthesizer, voice synthesizing method, and computer program
JP4539537B2 (en) * 2005-11-17 2010-09-08 沖電気工業株式会社 Speech synthesis apparatus, speech synthesis method, and computer program
WO2010137385A1 (en) 2009-05-28 2010-12-02 インターナショナル・ビジネス・マシーンズ・コーポレーション Device for learning amount of movement of basic frequency for adapting to speaker, basic frequency generation device, amount of movement learning method, basic frequency generation method, and amount of movement learning program
JP2021511533A (en) * 2018-01-11 2021-05-06 ネオサピエンス株式会社Neosapience, Inc. Text-to-speech synthesis methods using machine learning, devices and computer-readable storage media

Also Published As

Publication number Publication date
JP3914612B2 (en) 2007-05-16

Similar Documents

Publication Publication Date Title
US11062694B2 (en) Text-to-speech processing with emphasized output audio
Tokuda et al. Speech synthesis based on hidden Markov models
US7460997B1 (en) Method and system for preselection of suitable units for concatenative speech
US20160379638A1 (en) Input speech quality matching
US7739113B2 (en) Voice synthesizer, voice synthesizing method, and computer program
JP2826215B2 (en) Synthetic speech generation method and text speech synthesizer
US20050119890A1 (en) Speech synthesis apparatus and speech synthesis method
JP2001215993A (en) Device and method for interactive processing and recording medium
US11763797B2 (en) Text-to-speech (TTS) processing
WO2000058943A1 (en) Speech synthesizing system and speech synthesizing method
CN114203147A (en) System and method for text-to-speech cross-speaker style delivery and for training data generation
JP5198046B2 (en) Voice processing apparatus and program thereof
JP4829477B2 (en) Voice quality conversion device, voice quality conversion method, and voice quality conversion program
JP2012141354A (en) Method, apparatus and program for voice synthesis
JPH05197398A (en) Method for expressing assembly of acoustic units in compact mode and chaining text-speech synthesizer system
JP3914612B2 (en) Communications system
Sawada et al. The nitech text-to-speech system for the blizzard challenge 2016
JP2001034280A (en) Electronic mail receiving device and electronic mail system
KR101097186B1 (en) System and method for synthesizing voice of multi-language
KR102277205B1 (en) Apparatus for converting audio and method thereof
Takaki et al. Overview of NIT HMM-based speech synthesis system for Blizzard Challenge 2012
JP2021148942A (en) Voice quality conversion system and voice quality conversion method
JP2021099454A (en) Speech synthesis device, speech synthesis program, and speech synthesis method
JP2001092482A (en) Speech synthesis system and speech synthesis method
KR100806287B1 (en) Method for predicting sentence-final intonation and Text-to-Speech System and method based on the same

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20040615

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040708

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20040713

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20040820

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20060427

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070205

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100209

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110209

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110209

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120209

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120209

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130209

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130209

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees