JP3414326B2 - Speech synthesis dictionary registration apparatus and method - Google Patents

Speech synthesis dictionary registration apparatus and method

Info

Publication number
JP3414326B2
JP3414326B2 JP18848199A JP18848199A JP3414326B2 JP 3414326 B2 JP3414326 B2 JP 3414326B2 JP 18848199 A JP18848199 A JP 18848199A JP 18848199 A JP18848199 A JP 18848199A JP 3414326 B2 JP3414326 B2 JP 3414326B2
Authority
JP
Japan
Prior art keywords
kanji
dictionary
word
reading
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP18848199A
Other languages
Japanese (ja)
Other versions
JP2001013981A (en
Inventor
敬子 稲垣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP18848199A priority Critical patent/JP3414326B2/en
Publication of JP2001013981A publication Critical patent/JP2001013981A/en
Application granted granted Critical
Publication of JP3414326B2 publication Critical patent/JP3414326B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Document Processing Apparatus (AREA)

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【発明の属する技術分野】本発明は、音声合成装置に関
し、特に、テキストに基づいて合成音声を生成する音声
合成装置において、発音情報を生成するための単語の発
音情報を記憶する辞書情報を登録する辞書登録装置及び
方法に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a voice synthesizing apparatus, and more particularly to a voice synthesizing apparatus for generating synthetic speech based on text, which registers dictionary information for storing pronunciation information of words for generating pronunciation information. Dictionary registration device and method.

【0002】[0002]

【従来の技術】従来、テキスト音声合成用の言語辞書に
は、単語の読み、アクセント情報、品詞情報等が登録さ
れている。これらの情報を言語辞書を登録するには、す
べて人手で入力されている。
2. Description of the Related Art Conventionally, a word dictionary, accent information, part-of-speech information, etc. are registered in a text-to-speech language dictionary. All of this information is entered manually to register the language dictionary.

【0003】言語辞書の拡充は、音声合成装置の読み付
け精度をあげるために不可欠な作業である。そのため、
辞書登録装置の簡易化、自動化などの研究が多数行われ
ている。例えば特開平7−152392号公報には、入
力された文字列から単語を同定し、単語ごとの発音、ア
クセント型、文法情報等を設定する単語辞書の登録機構
として、「表記」に対する「読み」から、または「読
み」と「アクセント」とから、音韻変化情報を半自動的
に生成する単語辞書登録機構を備えることで、辞書登録
の簡易化を図る音声合成装置の構成が提案されている。
Expanding the language dictionary is an essential task for improving the reading accuracy of the speech synthesizer. for that reason,
Many studies have been conducted on the simplification and automation of dictionary registration devices. For example, Japanese Unexamined Patent Publication No. 7-152392 discloses a word dictionary registration mechanism for identifying words from an input character string and setting pronunciation, accent type, grammatical information, etc. for each word. There has been proposed a configuration of a speech synthesizer that simplifies the dictionary registration by providing a word dictionary registration mechanism that semi-automatically generates phoneme change information from "or" or "reading" and "accent".

【0004】また特開平1−303498号公報には、
音声合成に供される単語情報のアクセント辞書への登録
が指示されたとき、登録対象とする単語の読みに対して
与えるアクセント型を順次異ならせて上記読みの情報と
共に、音声合成装置に順に出力する手段と、この音声合
成装置にて音声合成されて順次出力される合成音声のモ
ニタ結果に従って前記単語の読みに対して前記アクセン
ト辞書に登録するアクセント型を決定する手段とを備え
たアクセント辞書登録装置が提案されている。このアク
セント辞書作成装置は、登録対象とする単語の合成音声
を自動的にアクセントを異ならせて順に出力させ、この
合成音声のモニタ結果に従ってアクセント情報を特定す
ることにより、単語に関する正しいアクセントを簡易
に、且つ正確に特定し、効率よく辞書登録できるように
している。
Further, Japanese Patent Laid-Open No. 1-303498 discloses that
When it is instructed to register the word information used for speech synthesis in the accent dictionary, the accent type given to the reading of the word to be registered is sequentially changed, and the reading information is output to the speech synthesizer in order. And an accent dictionary registration means for deciding an accent type to be registered in the accent dictionary with respect to the reading of the word in accordance with the monitor result of the synthesized speech which is synthesized by the speech synthesizer and sequentially output. A device has been proposed. This accent dictionary creating device automatically outputs the synthesized speech of the word to be registered with different accents in order, and specifies the accent information according to the monitor result of the synthesized speech, thereby simplifying the correct accent of the word. In addition, it is possible to accurately specify and register efficiently in the dictionary.

【0005】また音声合成用の言語辞書に未登録語を登
録する辞書登録装置について特開平8−320864号
公報には、単語の表記の入力に対応して辞書を検索し単
語の読み、アクセント型、文法情報を推定して候補を表
示し、候補から選択あるいは修正入力をもとに自動的に
辞書登録し、単語の表記の読み、アクセント型、文法情
報などを簡易に辞書登録可能とする音声合成用の辞書登
録装置の構成が提案されている。この辞書登録装置は、
単語の入力に対応して辞書を検索し、単語の表記の読
み、アクセント型、文法情報などを推定して候補を表示
し、候補から選択あるいは修正入力を基に自動的に辞書
登録し、単語の表記の読み、アクセント型、文法情報な
どを簡易に辞書登録可能にしている。
Regarding a dictionary registration device for registering an unregistered word in a language dictionary for speech synthesis, Japanese Patent Laid-Open No. 320208/1996 discloses a dictionary search corresponding to an input of a word, reading the word, accent type , Voice that estimates grammatical information, displays candidates, and automatically registers in the dictionary based on selection or correction input from the candidates, and can easily read dictionary of word notation, accent type, grammatical information, etc. in dictionary A configuration of a dictionary registration device for composition has been proposed. This dictionary registration device
The dictionary is searched according to the input of the word, the word notation, the accent type, the grammatical information, etc. are estimated to display the candidate, and the dictionary is automatically registered based on the selection or correction input from the candidate. You can easily register the reading of the notation, accent type, grammar information, etc. in the dictionary.

【0006】上記したように、従来の装置では、最終的
には、自動で抽出された候補の見直しや修正を人手作業
で行う必要がある。
As described above, in the conventional apparatus, it is finally necessary to manually review and correct the automatically extracted candidates.

【0007】[0007]

【発明が解決しようとする課題】ところで、音声合成用
の単語辞書の読み情報は、例えば国語辞典などに単語の
読みとして記載されている振り仮名ではなく、発声内容
そのものを登録する必要がある。例えば、国語辞典で
「音声」の振り仮名は、「おんせい」と記述されてい
る。
By the way, as the reading information of the word dictionary for speech synthesis, it is necessary to register the utterance content itself, not the furigana written as a word reading in a Japanese dictionary, for example. For example, in the Japanese dictionary, the furigana of "voice" is described as "onsei".

【0008】しかしながら、実際に、人が「音声」と発
声する時の記述は、「おんせい」というよりは、むしろ
「おんせー」に近い。これは、通常、日本語では、単漢
字の読みで「え段に続く”い”」や「お段に続く”
う”」、「おお」や「いい」のように同じ母音が連続す
る場合、後続の母音がなくなり、代わりに、先行する母
音が長音化されるという現象・傾向があるためである。
However, actually, the description when a person says "voice" is closer to "onse" rather than "onsei". In Japanese, this is usually read in single kanji as "edan sequel" i "" or "odan sequel".
This is because when the same vowel sounds such as "u", "oh", and "good", there is no subsequent vowel, and instead, the preceding vowel becomes a longer sound.

【0009】合成音声用の辞書には、合成音声の発声内
容そのものを記述する必要があるため、「声」のよう
に、振り仮名では「せい」と書くが、実際には、先行母
音が長音化した形で発声する場合には、「せー」が登録
されていた。
Since it is necessary to describe the utterance content itself of the synthetic voice in the dictionary for the synthetic voice, the pronunciation is written as "sei" like "voice", but in reality, the preceding vowel is a long sound. In the case of uttering in the converted form, "se" was registered.

【0010】しかしながら、音声合成用の辞書を人手で
作成する場合、前述したように、発音時に起こる音韻変
化を反映させた読みを全て付与することは困難であり、
入力誤りも多くなる。
However, when a dictionary for voice synthesis is manually created, it is difficult to add all the readings that reflect the phoneme changes that occur during pronunciation, as described above.
There are many input errors.

【0011】そこで、従来は、音声の読みを登録する時
には、読み情報を合成音声に変換し、正しく読み情報を
付与することができたかを確認する機能を具備したり、
複数の読みを自動で作成し、それらを全て合成音声で聴
かせて最も自然である読みを選択させていた。
Therefore, conventionally, when registering a voice reading, it is provided with a function of converting the read information into a synthetic voice and confirming whether or not the reading information can be correctly added.
Multiple readings were created automatically, and all of them were made to be heard by synthetic speech, and the most natural reading was selected.

【0012】しかしながらこのような方法をもってして
も、最終的な判断は人手作業で行われるため、作業者に
よるばらつき、さらには、合成音声の音質や、発声速度
によっても選択結果に違いが見られる。
However, even with such a method, the final judgment is made manually, so that the selection result varies depending on the variation among operators, the sound quality of the synthesized voice, and the utterance speed. .

【0013】したがって本発明は、上記問題点に鑑みて
なされたものであって、その目的は、合成音声用の単語
辞書を作成する際に、発声内容そのものを記述した読み
を登録するのではなく、国語辞典等で用いられているよ
うな振り仮名形式の読みを、登録する単語の漢字毎に入
力することにより、音声合成用の読みを自動登録する音
声合成用辞書登録装置及び方法を提供することにある。
Therefore, the present invention has been made in view of the above problems, and its purpose is not to register a reading describing the utterance content itself when creating a word dictionary for synthetic speech. Provide a voice synthesis dictionary registration device and method for automatically registering a pronunciation for voice synthesis by inputting a pronunciation in a furigana format as used in a Japanese dictionary for each kanji of a word to be registered. Especially.

【0014】[0014]

【課題を解決するための手段】前記目的を達成する本発
明の音声合成用辞書登録装置は、入力されたテキストを
解析するテキスト解析手段と、前記テキスト解析手段の
結果から単語辞書を参照して読み情報を生成する読み情
報生成手段と、前記読み情報生成手段によって生成され
た読み情報に基づき前記単語辞書を参照して、音声合成
を行う音声波形生成手段と、を備えた音声合成装置の前
記単語辞書を作成する装置であって、前記単語辞書に、
単語の読みを国語辞典に記載されている標準の振り仮名
で登録する振り仮名登録手段と、前記登録する単語に漢
字が含まれている場合には、前記振り仮名に漢字区切り
を挿入する漢字区切り挿入手段と、前記漢字区切りを挿
入した前記振り仮名と、前記登録する単語とから音声合
成用の読み情報を生成する辞書情報登録手段と、を備え
る。
Means for Solving the Problems A speech synthesis dictionary registration device of the present invention which achieves the above object refers to a text analysis means for analyzing input text and a word dictionary from the result of the text analysis means. The above-mentioned voice synthesizing apparatus comprising: a reading information generating unit that generates reading information; and a voice waveform generating unit that performs voice synthesis by referring to the word dictionary based on the reading information generated by the reading information generating unit. A device for creating a word dictionary, wherein:
A furigana registration means for registering the reading of a word with a standard furigana described in a Japanese dictionary, and a kanji delimiter for inserting a kanji delimiter in the furigana if the registered word contains kanji An insertion unit, a dictionary information registration unit that generates reading information for voice synthesis from the furigana in which the Chinese character delimiter is inserted, and the word to be registered are provided.

【0015】本発明は、前記漢字区切り挿入手段のかわ
りに、単漢字の読みが登録されている単漢字辞書と、前
記単漢字辞書を用いて前記振り仮名登録手段によって登
録された振り仮名に漢字区切りを自動で挿入する漢字区
切り自動挿入手段を備えた構成としてもよい。
According to the present invention, instead of the kanji delimiter insertion means, a single kanji dictionary in which readings of single kanji are registered, and kanji in the kana kana registered by the kana kana registration means using the single kanji dictionary. It may be configured to include a kanji delimiter automatic insertion means for automatically inserting a delimiter.

【0016】[0016]

【発明の実施の形態】本発明の実施の形態について説明
する。本発明は、その好ましい実施の形態において、入
力されたテキストを解析するテキスト解析手段(2)
と、テキスト解析手段(2)の結果から単語辞書(5)
を参照して読み情報を生成する読み情報生成手段(3)
と、読み情報生成手段(3)によって生成された読み情
報に基づき単語辞書(5)を参照して、音声合成を行う
音声波形生成手段(4)と、を備えた音声合成装置
(9)の単語辞書(5)を作成するための装置であっ
て、単語辞書(6)に、単語の読みを国語辞典等に記載
されている標準の振り仮名で登録する振り仮名登録手段
(10)と、該単語に漢字が含まれている場合には、前
記振り仮名に漢字区切りを挿入する漢字区切り挿入手段
(11)と、漢字区切りを挿入した前記振り仮名と、前
記登録する単語とから音声合成用の読み情報を生成して
単語辞書に登録する辞書情報登録手段(12)と、を備
える。
BEST MODE FOR CARRYING OUT THE INVENTION Embodiments of the present invention will be described. The present invention, in its preferred embodiment, is a text analysis means (2) for analyzing an input text.
And a word dictionary (5) from the result of the text analysis means (2)
Reading information generating means for generating reading information by referring to (3)
And a speech waveform generation means (4) for performing speech synthesis by referring to the word dictionary (5) based on the reading information generated by the reading information generation means (3). A device for creating a word dictionary (5), and a furigana registration means (10) for registering the reading of a word in the word dictionary (6) with a standard furigana described in a Japanese dictionary or the like, When the word contains a kanji character, a kanji delimiter insertion means (11) for inserting a kanji delimiter in the furigana, the furigana in which the kanji delimiter is inserted, and the registered word are used for voice synthesis. Dictionary information registration means (12) for generating reading information of and registering it in the word dictionary.

【0017】本発明の実施の形態においては、単語辞書
(6)に、単語の読みを国語辞典に記載されている標準
の振り仮名で登録する振り仮名登録手段(10)と、単
漢字の読みが登録されている単漢字辞書(21)と、前
記単漢字辞書(21)を用いて前記振り仮名登録手段に
よって登録された振り仮名に漢字区切りを自動で挿入す
る漢字区切り自動挿入手段(22)と、前記漢字区切り
を挿入した前記振り仮名と、前記登録する単語とから音
声合成用の読み情報を生成する辞書情報登録手段(1
2)と、を備えた構成としてもよい。
In the embodiment of the present invention, a furigana registration means (10) for registering the reading of a word in the word dictionary (6) with a standard furigana written in a Japanese dictionary, and a reading of a single kanji character. A single kanji dictionary (21) in which is registered, and a kanji delimiter automatic insertion means (22) for automatically inserting a kanji delimiter in the furigana registered by the furigana registration means using the single kanji dictionary (21). And dictionary information registration means (1) for generating reading information for voice synthesis from the furigana in which the Kanji delimiter is inserted and the word to be registered.
2) and may be provided.

【0018】本発明の実施の形態において、振り仮名登
録手段(10)と、漢字区切り挿入手段(11)と、辞
書情報登録手段(12)は、漢字区切り自動挿入手段
(22)は、コンピュータ上で実行されるプログラムに
よりその処理・機能が実現される。この場合、該プログ
ラムを記録した記録媒体、もしくは通信媒体から該プロ
グラムを読み出してコンピュータで実行することで本発
明を実施することができる。
In the embodiment of the present invention, the furigana registration means (10), the kanji delimiter insertion means (11), the dictionary information registration means (12), the kanji delimiter automatic insertion means (22) are on a computer. The processing and functions are realized by the program executed in. In this case, the present invention can be implemented by reading the program from a recording medium recording the program or a communication medium and executing the program on a computer.

【0019】入力テキスト情報から音声合成するために
用いられる音声合成用の単語辞書に単語を登録する本発
明の方法は、その好ましい実施の形態において、(a)
登録する単語の読みとして、国語辞典等に記載される振
り仮名に相当する、標準の読み情報を入力し、前記単語
と前記振り仮名情報を辞書の形式で前記単語辞書に登録
するステップと、(b)前記単語が複数の漢字を含む場
合、前記単語の読みを個々の漢字の読みに分割するため
に、各漢字の読みの境界に、漢字区切り記号を挿入し、
前記漢字区切り記号が付された単語の読み情報を対応す
る漢字と共に出力するステップと、(c)前記単語の読
み情報を前記漢字区切り記号毎に分割し、漢字毎に予め
定められた所定の変換規則に該当する場合には該変換規
則に従い音声合成用の固有の読み情報を生成して前記単
語辞書に登録するステップと、を含む。
In a preferred embodiment, the method of the present invention for registering a word in a word dictionary for speech synthesis used for speech synthesis from input text information is (a)
As the reading of the word to be registered, a step of inputting standard reading information corresponding to a furigana written in a Japanese dictionary or the like, and registering the word and the furigana information in the dictionary in the dictionary format, ( b) If the word contains more than one kanji, insert kanji delimiters at the boundaries of each kanji reading to divide the reading of the word into individual kanji readings,
Outputting the reading information of the word to which the kanji delimiter is added together with the corresponding kanji; and (c) dividing the reading information of the word into the kanji delimiters and performing a predetermined conversion for each kanji. If the rule is met, a step of generating peculiar reading information for voice synthesis according to the conversion rule and registering it in the word dictionary.

【0020】また本発明においては、単漢字の読みが予
め登録されている単漢字辞書を備え、(a)登録する単
語の読みとして、国語辞典等に記載される振り仮名に相
当する、標準の読み情報を入力し、前記単語と前記振り
仮名情報を辞書の形式で前記単語辞書に登録するステッ
プと、(b)前記単語が複数の漢字を含む場合、前記単
漢字辞書を参照して、単漢字の読みと、前記単語の振り
仮名情報を用いて、前記単語の各漢字の読みの境界の前
記振り仮名の読みに、漢字区切り記号を自動で挿入し、
前記漢字区切り記号が付された単語の読み情報を対応す
る漢字と共に出力するステップと、(c)前記単語の読
み情報を前記漢字区切り記号毎に分割し、漢字毎に予め
定められた所定の変換規則に該当する場合には、該変換
規則に従い音声合成用の固有の読み情報を生成して前記
単語辞書に登録するステップと、を含む。
Further, in the present invention, a single-kanji dictionary in which readings of single-kanji are registered in advance is provided, and (a) as a reading of a word to be registered, a standard kanji corresponding to a furigana written in a Japanese dictionary or the like Inputting the reading information and registering the word and the furigana information in the word dictionary in the form of a dictionary; (b) if the word includes a plurality of kanji, refer to the single kanji dictionary and Using kanji reading and furigana information of the word, a kanji delimiter is automatically inserted in the furigana reading at the boundary of each kanji reading of the word,
Outputting the reading information of the word to which the kanji delimiter is added together with the corresponding kanji; and (c) dividing the reading information of the word into the kanji delimiters and performing a predetermined conversion for each kanji. If the rule is satisfied, a step of generating peculiar reading information for voice synthesis according to the conversion rule and registering the reading information in the word dictionary is included.

【0021】[0021]

【実施例】本発明の実施例について図面を参照して説明
する。図1は、本発明の第1の実施例の構成を示す図で
ある。
Embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a diagram showing a configuration of a first exemplary embodiment of the present invention.

【0022】図1を参照すると、本発明の第1の実施例
に係る装置は、テキストを入力する入力端子1と、単語
辞書6の品詞情報を用いて入力テキストを形態素毎に分
割するテキスト解析手段2と、テキスト解析手段の結果
を基に、単語辞書6に記憶されている読み情報を用いて
入力テキストに対する読み情報を生成する読み情報生成
手段3と、読み情報生成手段3で生成されたテキストの
読み情報を基に、音声素片データ7と、韻律パタンデー
タ8を用いて合成音声を生成する音声波形生成手段4と
を備えた音声合成装置9と、単語辞書6に辞書情報を登
録するための振り仮名登録手段10と、漢字区切り挿入
手段11と、辞書情報登録手段12と、振り仮名入力端
子13と、漢字区切り入力端子14と、辞書情報入力端
子15とを備えて構成されている。
Referring to FIG. 1, the apparatus according to the first embodiment of the present invention uses an input terminal 1 for inputting a text and a text analysis for dividing an input text into morphemes using part-of-speech information of a word dictionary 6. Based on the result of the means 2 and the text analysis means, the reading information generation means 3 for generating the reading information for the input text using the reading information stored in the word dictionary 6 and the reading information generation means 3 are generated. Based on the reading information of the text, a voice synthesis device 9 having a voice segment data 7 and a voice waveform generation means 4 for generating a synthetic voice using the prosodic pattern data 8 and dictionary information are registered in the word dictionary 6. To provide a furigana registration means 10, a kanji delimiter insertion means 11, a dictionary information registration means 12, a furigana input terminal 13, a kanji delimiter input terminal 14, and a dictionary information input terminal 15. It has been made.

【0023】振り仮名入力端子13からは、単語辞書6
に登録する単語の読みを国語辞書にあるような振り仮名
形式で入力する。
From the furigana input terminal 13, the word dictionary 6
Input the pronunciation of the word to be registered in to in the furigana format as in a Japanese dictionary.

【0024】入力された振り仮名は、振り仮名登録手段
10を通して漢字区切り挿入手段11に、登録する単語
と振り仮名情報を辞書の形式で登録し、漢字区切り挿入
手段11へ出力する。
The input furigana is registered in the kanji delimiter insertion means 11 through the furigana registration means 10 in the dictionary format of the word to be registered and furigana information, and output to the kanji delimiter insertion means 11.

【0025】漢字区切り入力端子14は、単語と振り仮
名情報を用いて、振り仮名情報に漢字区切りを挿入し、
辞書情報登録手段12へ出力する。
The kanji delimiter input terminal 14 uses a word and furigana information to insert a kanji delimiter into the furigana information,
It is output to the dictionary information registration means 12.

【0026】辞書情報登録手段13では、単語と振り仮
名に漢字区切りを挿入したものを単語辞書6の読み情報
に変換して登録する。
The dictionary information registration means 13 converts the words and the kana characters into which kanji characters are inserted into the reading information of the word dictionary 6 and registers them.

【0027】また、辞書情報入力端子15からは、単語
辞書6に登録する品詞情報、アクセント情報が入力さ
れ、辞書情報登録手段12において、これらをまとめ
て、単語辞書6のデータ形式にする。
Further, from the dictionary information input terminal 15, part-of-speech information and accent information to be registered in the word dictionary 6 are input, and the dictionary information registration means 12 puts them together into the data format of the word dictionary 6.

【0028】次に、図1を参照して、本発明の一実施例
の動作について説明する。
Next, the operation of the embodiment of the present invention will be described with reference to FIG.

【0029】音声合成装置9で用いる単語辞書6に単語
を登録する場合、振り仮名入力端子10から登録する単
語の振り仮名が、振り仮名登録手段10へ入力される。
When registering a word in the word dictionary 6 used in the speech synthesizer 9, the furigana of the word to be registered is input from the furigana input terminal 10 to the furigana registration means 10.

【0030】例えば、「東京」を辞書に登録する場合に
は、「とうきょう」が入力される。
For example, when "Tokyo" is registered in the dictionary, "Tokyo" is input.

【0031】振り仮名登録手段10では、「東京」の読
みとして「とうきょう」を登録し、漢字区切り挿入手段
11へ出力する。
The furigana registration means 10 registers "Tokyo" as a reading of "Tokyo" and outputs it to the kanji delimiter insertion means 11.

【0032】漢字区切り挿入手段11では、漢字区切り
入力端子14を通して、「とうきょう」に漢字区切りを
挿入する。漢字区切りは、複数の漢字からなる単語の読
みを個々の漢字の読みに分割するために挿入する記号
で、例えば、"#"を用いて表される。
The Kanji delimiter inserting means 11 inserts a Kanji delimiter into "Tokyo" through the Kanji delimiter input terminal 14. The kanji delimiter is a symbol inserted to divide the reading of a word consisting of a plurality of kanji into the readings of each kanji, and is represented by using "#", for example.

【0033】「東京」を例に漢字区切りを挿入すると、
「とう#きょう」のようになる。すなわち「東」と
「京」の読みの境界に挿入する。
When a kanji delimiter is inserted in "Tokyo" as an example,
It looks like "Today # today". That is, it is inserted at the boundary between the readings of “east” and “Kyo”.

【0034】漢字区切りが付された単語の読み情報は、
対応する漢字と共に、辞書情報登録手段12へ出力され
る。
The reading information of words with kanji delimiters is
It is output to the dictionary information registration means 12 together with the corresponding kanji.

【0035】辞書情報登録手段18では、単語の読み情
報を漢字区切り毎に分割し、漢字毎に、以下に一例を示
す規則(変換規則)に従い音声合成用の読み情報を生成
する。
The dictionary information registration means 18 divides the reading information of a word into Kanji delimiters, and generates reading information for speech synthesis for each Kanji according to a rule (conversion rule) shown below as an example.

【0036】規則1: 「え段」と「い」→「い」を長
音化記号に変換する。
Rule 1: "Edan" and "I" → "I" are converted into phonographic symbols.

【0037】規則2: 「お段」と「う」→「う」を長
音化記号に変換する。
Rule 2: “Odan” and “U” → “U” are converted into phonographic symbols.

【0038】規則3: 同じ母音の連続 → 後続母音
を長音化記号に変換する。
Rule 3: Continuation of the same vowel → convert subsequent vowels into prolongation symbols.

【0039】例えば、「東京」の読み「とう#きょう」
では、まず、「東」の読み「とう」と、「京」の読み
「きょう」に分割される。
[0039] For example, reading "Tokyo""To#Kyo"
Then, first, it is divided into the reading "to" for "east" and the reading "kyo" for "kyo."

【0040】次に、「東」の読みが上記規則の(2)に
従い、「とー」に変換される。
Next, the reading of "east" is converted into "to" according to (2) of the above rule.

【0041】続いて、「京」も規則(2)に従い「きょ
ー」に変換される。
Subsequently, "Kyo" is also converted into "Kyo" according to rule (2).

【0042】最後に、分割した読みを、つなぎあわせ
て、「とーきょー」という合成音声用の読み情報を生成
する。
Finally, the divided readings are joined together to generate the reading information for the synthetic voice "TOKYO".

【0043】このように、漢字毎の読みに分割した後
も、分割された漢字毎に、上記規則を適用するため、
「子牛」を「こーし」にしたり、大岡山を「おーーかや
ま」とする変換誤りは起こらず、単漢字の読みのみを長
音化させることができる。
In this way, even after dividing into kanji readings, the above rule is applied to each divided kanji.
There is no conversion error in which "veal" is changed to "koshi" or Ookayama is changed to "oo kayama", and only the reading of single kanji can be lengthened.

【0044】図2は、本発明の第1の実施例を説明する
ための図であり、振り仮名登録手段10から入力した単
語の読みが、漢字区切り挿入手段11において、漢字区
切りを挿入され、辞書情報挿入手段12において、変換
規則に従い音韻を変化させ、合成音声用の読みを生成す
るまでの例を示している。
FIG. 2 is a diagram for explaining the first embodiment of the present invention, in which the reading of the word input from the furigana registration means 10 is inserted into the kanji delimiter insertion means 11 to insert a kanji delimiter. In the dictionary information insertion means 12, an example is shown in which the phoneme is changed according to the conversion rule and the reading for synthetic speech is generated.

【0045】例えば、「大物」を使って処理の流れを説
明する。
For example, the flow of processing will be described using the "large item".

【0046】まず、振り仮名登録入力端子13より「大
物」の読みを入力する。
First, the reading of "large item" is input from the furigana registration input terminal 13.

【0047】振り仮名登録手段10では、単語の表記
「大物」とその読みとして、「おおもの」が登録され
る。
In the furigana registration means 10, "Omono" is registered as the word notation "large" and its reading.

【0048】次に、漢字区切り入力端子14から漢字区
切り”#”が挿入され、漢字区切り挿入手段11では、
「大物」の読みとして、「おお#もの」が登録される。
Next, a kanji delimiter "#" is inserted from the kanji delimiter input terminal 14, and the kanji delimiter insertion means 11
"Oh #mono" is registered as the reading of "big game".

【0049】辞書情報登録手段12では、「おお#も
の」をそれぞれ「大」の読みと「物」の読みに漢字区切
りの前後で分離し、音韻変化規則にマッチする読みは、
規則に従って変換する。この場合、「大」の読み「お
お」が、前述の規則3にマッチするため、「おー」に変
換する。
The dictionary information registration means 12 separates "Oh #mono" into "Oh" and "Omono" readings before and after the kanji delimiter, and the readings that match the phoneme change rule are:
Convert according to the rules. In this case, since the reading "O" of "Large" matches the above-mentioned rule 3, it is converted into "O".

【0050】辞書情報登録手段12では、単語を、一
旦、単漢字毎の読みに分離し、規則により読みを変換さ
せた後、再び読みをつなぎあわせる。この時には、漢字
区切りは、挿入しない。
In the dictionary information registration means 12, words are once separated into readings for each single Chinese character, the readings are converted according to rules, and then the readings are connected again. At this time, the kanji delimiter is not inserted.

【0051】このようにして、「大物」の合成音声用辞
書の読み「おーもの」を生成することができる。
In this way, it is possible to generate the reading "Ohmono" of the synthetic voice dictionary for "large".

【0052】次に、本発明の第2の実施例について説明
する。図3は、本発明の第2の実施例の構成を示す図で
ある。図3を参照すると、本発明の第2の実施例は、図
1を参照して説明した前記第1の実施例の漢字区切り挿
入手段11のかわりに、単漢字辞書21と漢字区切り自
動挿入手段22とを備えている。
Next, a second embodiment of the present invention will be described. FIG. 3 is a diagram showing the configuration of the second exemplary embodiment of the present invention. Referring to FIG. 3, in the second embodiment of the present invention, instead of the Kanji delimiter inserting means 11 of the first embodiment described with reference to FIG. 1, a single Kanji dictionary 21 and a Kanji delimiter automatic inserting means are provided. 22 and 22.

【0053】単漢字辞書21には、単漢字の読みが登録
されており、漢字区切り自動挿入手段22において、単
漢字の読みと、振り仮名登録手段10で登録された単語
の振り仮名を用いて、振り仮名に漢字区切りを自動で挿
入する。
The reading of single kanji is registered in the single kanji dictionary 21, and the kanji segment automatic insertion means 22 uses the reading of single kanji and the furigana of the word registered by the furigana registration means 10. , Automatically insert kanji delimiters in furigana.

【0054】漢字区切りの挿入された振り仮名は、前記
第1の実施例と同様に、辞書登録手段12において、音
声合成用の読み情報に変換される。
The furigana in which the kanji delimiters are inserted is converted into reading information for voice synthesis in the dictionary registration means 12, as in the first embodiment.

【0055】図4は、本発明の第2の実施例における単
漢字辞書21の一例を示す図である。図4に示すよう
に、単漢字辞書21には、各単漢字につき音読みと訓読
みがそれぞれ登録されている。
FIG. 4 is a diagram showing an example of the single-kanji dictionary 21 in the second embodiment of the present invention. As shown in FIG. 4, in the single-kanji dictionary 21, on-reading and kun-reading are registered for each single kanji.

【0056】訓読みの場合には、送り仮名を()で括っ
て示されている。
In the case of kun reading, the sending kana is enclosed by ().

【0057】「英語」の登録を例に、振り仮名に漢字区
切りを自動で挿入する方法について説明する。
Taking the registration of "English" as an example, a method of automatically inserting a kanji delimiter in a furigana will be described.

【0058】まず、振り仮名登録動作録手段10によ
り、「英語」の振り仮名「えいご」が登録される。
First, the furigana registration action recording means 10 registers the furigana "Eigo" of "English".

【0059】漢字区切り自動挿入手段22では、「英
語」を単漢字に分離し、それぞれの読み情報の中から、
振り仮名にマッチする読みを探索する。この場合、
「英」の読みとして、音読み「えい」と、「語」の読み
「ご」がそれぞれ選択される。
The kanji character automatic insertion means 22 separates "English" into single kanji characters, and from each reading information,
Search for Yomi that matches the furigana. in this case,
As the reading of “English”, the reading “on” of “on” and the reading “go” of “word” are selected.

【0060】次に、選択結果と「英語」の振り仮名「え
いご」との対応をとり、「英語」の振り仮名「えいご」
が「英(えい)」と「語(ご)」という単漢字の読みに
分離できることを判定し、その間に、漢字区切りを挿入
し、最終的に「えい#ご」という読み生成する。
Next, the selection result is associated with the "English" furigana "Eigo", and the "English" furigana "Eigo" is used.
Determines that it can be separated into the readings of single kanji, "English" and "word," and inserts a kanji delimiter between them to finally generate the reading of "ei #go".

【0061】漢字区切りが付加された読みは、辞書情報
登録手段12で、音声合成用の読み「えーご」に変換さ
れる。
The reading added with the kanji delimiter is converted by the dictionary information registration means 12 into the reading "Ego" for voice synthesis.

【0062】このように、辞書に登録する単語に対し、
国語辞典にあるような振り仮名を読み情報として入力
し、読み情報に対し手動または自動で漢字区切りを挿入
することで、音声合成用の読み情報を自動的に生成する
ことができる。
Thus, for words registered in the dictionary,
It is possible to automatically generate the reading information for speech synthesis by inputting a furigana as in a Japanese dictionary as the reading information and manually or automatically inserting a kanji delimiter in the reading information.

【0063】[0063]

【発明の効果】以上説明したように、本発明によれば、
登録したい単語に国語辞典にあるような振り仮名をつ
け、漢字区切りを挿入することで、音声合成用の読み情
報を自動生成することを可能としたものであり、振り仮
名と発声内容の違いによる読み情報の入力誤りをなくす
ことができ、登録作業を容易化、及び効率化する、とい
う効果を奏する。
As described above, according to the present invention,
By adding furigana to the words you want to register and inserting kanji delimiters, it is possible to automatically generate reading information for voice synthesis, depending on the difference between furigana and utterance content. It is possible to eliminate the input error of the reading information, and it is possible to facilitate the registration work and improve the efficiency.

【図面の簡単な説明】[Brief description of drawings]

【図1】本発明の第1の実施例の構成を示す図である。FIG. 1 is a diagram showing a configuration of a first exemplary embodiment of the present invention.

【図2】本発明の第1の実施例を説明するための図であ
り、単語の読み情報の一例である。
FIG. 2 is a diagram for explaining the first embodiment of the present invention and is an example of word reading information.

【図3】本発明の第2の実施例の構成を示す図である。FIG. 3 is a diagram showing a configuration of a second exemplary embodiment of the present invention.

【図4】本発明の第2の実施例における単漢字辞書の一
例を示す図である。
FIG. 4 is a diagram showing an example of a single-kanji dictionary according to the second embodiment of the present invention.

【符号の説明】[Explanation of symbols]

1 テキスト入力端子 2 テキスト解析手段 3 読み情報生成手段 4 音声波形生成手段 5 合成音声出力端子 6 単語辞書 7 音声素片データ 8 韻律パタンデータ 9 音声合成装置 10 振り仮名登録手段 11 漢字区切り挿入手段 12 辞書情報登録手段 13 振り仮名入力端子 14 漢字区切り入力端子 15 辞書情報入力端子 21 単漢字辞書 22 漢字区切り自動挿入手段 1 Text input terminal 2 Text analysis means 3 reading information generation means 4 Voice waveform generation means 5 Synthetic voice output terminal 6 word dictionary 7 Speech segment data 8 Prosody pattern data 9 Speech synthesizer 10 Furigana registration means 11 Kanji character insertion means 12 Dictionary information registration means 13 Furigana input terminal 14 Kanji separated input terminal 15 Dictionary information input terminal 21 Single Kanji dictionary 22 Automatic Kanji character insertion means

Claims (5)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】入力されたテキスト情報を解析するテキス
ト解析手段と、 前記テキスト解析手段から出力される解析結果から単語
辞書を参照して読み情報を生成する読み情報生成手段
と、 前記読み情報生成手段によって生成された読み情報に基
づき前記単語辞書を参照して、音声合成を行う音声波形
生成手段と、 を備えた音声合成装置における前記単語辞書を作成する
装置であって、 前記単語辞書に、単語の読みを、国語辞典に記載されて
いる、標準の振り仮名で登録する振り仮名登録手段と、 単漢字の読みが登録されている単漢字辞書と、 前記単漢字辞書を用いて、前記振り仮名登録手段によっ
て登録された振り仮名に漢字区切りを自動で挿入する漢
字区切り自動挿入手段と、 前記漢字区切りを挿入した前記振り仮名と、前記登録す
る単語とから音声合成用の読み情報を生成して前記単語
辞書に登録する辞書情報登録手段と、 を備えたことを特徴とする音声合成用辞書登録装置。
1. A text analysis unit for analyzing input text information, a reading information generation unit for generating reading information by referring to a word dictionary from an analysis result output from the text analysis unit, and the reading information generation. A device for creating the word dictionary in a voice synthesizing device comprising: a voice waveform generating unit for performing voice synthesis by referring to the word dictionary based on the reading information generated by the means; Using the standard kana kana registration means for registering the reading of words in standard kana kana, the single kanji dictionary in which the reading of single kanji is registered, and the single kanji dictionary A kanji delimiter automatic insertion means for automatically inserting a kanji delimiter in the furigana registered by the kana registration means, the furigana in which the kanji delimiter is inserted, and the registration unit A dictionary registration device for voice synthesis, comprising: dictionary information registration means for generating reading information for voice synthesis from words and registering it in the word dictionary.
【請求項2】入力テキスト情報から音声合成するための
音声合成用の単語辞書に単語を登録する装置であって、 登録する単語の読みとして、国語辞典に記載される振り
仮名に相当する、標準の読み情報を入力し、前記単語と
前記振り仮名情報を辞書の形式で前記単語辞書に登録す
る手段と、 単漢字の読みが予め登録されている単漢字辞書と、 前記単語が複数の漢字を含む場合、前記単漢字辞書を参
照して、単漢字の読みと、前記単語の振り仮名情報を用
いて、前記単語の各漢字の読みの境界の前記振り仮名の
読みに、漢字区切り記号を自動で挿入し、前記漢字区切
り記号が付された単語の読み情報を対応する漢字と共に
出力する手段と、 前記単語の読み情報を漢字区切り記号毎に分割し、漢字
毎に予め定められた所定の変換規則に該当する場合に
は、該変換規則に従い音声合成用の固有の読み情報を生
成して前記単語辞書に登録する手段と、 を備えたことを特徴とする音声合成用辞書登録装置。
2. A device for registering a word in a word dictionary for voice synthesis for voice-synthesizing from input text information, the standard being equivalent to a furigana written in a Japanese dictionary as a reading of the registered word. Inputting the reading information of, and registering the word and the furigana information in the word dictionary in the form of a dictionary, a single kanji dictionary in which readings of single kanji are registered in advance, and the word includes a plurality of kanji. When including, the kanji delimiter is automatically added to the reading of the single kanji by referring to the single kanji dictionary and the reading of the single kanji and the reading of the kana in the boundary of the reading of each kanji of the word. Means for outputting the reading information of the word to which the Kanji delimiter is added together with the corresponding Kanji, and the reading information of the word is divided for each Kanji delimiter, and a predetermined conversion predetermined for each Kanji Applies to the rules In this case, a unit for generating peculiar reading information for voice synthesis according to the conversion rule and registering it in the word dictionary.
【請求項3】入力テキスト情報から音声合成するために
用いられる音声合成用の単語辞書に単語を登録する方法
であって、 単漢字の読みが予め登録されている単漢字辞書を備え、 (a)登録する単語の読みとして、国語辞典に記載され
る振り仮名に相当する、標準の読み情報を入力し、前記
単語と前記振り仮名情報を辞書の形式で前記単語辞書に
登録するステップと、 (b)前記単語が複数の漢字を含む場合、前記単漢字辞
書を参照して、単漢字の読みと、前記単語の振り仮名情
報を用いて、前記単語の各漢字の読みの境界の前記振り
仮名の読みに、漢字区切り記号を自動で挿入し、前記漢
字区切り記号が付された単語の読み情報を対応する漢字
と共に出力するステップと、 (c)前記単語の読み情報を前記漢字区切り記号毎に分
割し、漢字毎に予め定められた所定の変換規則に該当す
る場合には、該変換規則に従い音声合成用の固有の読み
情報を生成して前記単語辞書に登録するステップと、 を含むことを特徴とする音声合成用辞書の登録方法。
3. A method of registering a word in a word dictionary for voice synthesis used for voice-synthesizing from input text information, comprising a single-kanji dictionary in which readings of single-kanji are registered in advance. ) As the reading of the word to be registered, a step of inputting standard reading information corresponding to a furigana written in a Japanese dictionary and registering the word and the furigana information in the dictionary format in the dictionary, b) When the word includes a plurality of kanji, refer to the single kanji dictionary to read the single kanji and use the furigana information of the word, and use the furigana of the boundary of each kanji of the word. A kanji delimiter is automatically inserted in the reading of, and the reading information of the word with the kanji delimiter is output together with the corresponding kanji, and (c) the reading information of the word for each of the kanji delimiters. Split and han When it corresponds to a predetermined conversion rule predetermined for each character, a step of generating peculiar reading information for speech synthesis according to the conversion rule and registering it in the word dictionary is included. How to register a voice synthesis dictionary.
【請求項4】入力テキスト情報から音声合成するための
音声合成用の単語辞書に単語をコンピュータで登録する
装置であって、 単漢字の読みが予め登録されている単漢字辞書を備え、 (a)登録する単語の読みとして、国語辞典に記載され
る振り仮名に相当する、標準の読み情報を入力し、前記
単語と前記振り仮名情報を辞書の形式で前記単語辞書に
登録する処理と、 (b)前記単語が複数の漢字を含む場合、前記単漢字辞
書を参照して、単漢字の読みと、前記単語の振り仮名情
報を用いて、前記単語の各漢字の読みの境界の前記振り
仮名の読みに、漢字区切り記号を自動で挿入し、前記漢
字区切り記号が付された単語の読み情報を対応する漢字
と共に出力する処理と、 (c)前記単語の読み情報を漢字区切り記号毎に分割
し、漢字毎に予め定められた所定の変換規則に該当する
場合には該変換規則に従い音声合成用の固有の読み情報
を生成して前記単語辞書に登録する処理と、 の前記(a)乃至(c)の各処理を前記コンピュータで
実行させるためのプログラムを記録した記録媒体。
4. An apparatus for registering words in a word dictionary for speech synthesis for synthesizing speech from input text information by a computer, comprising a single Kanji dictionary in which readings of single Kanji are registered in advance. ) As a reading of the word to be registered, a process of inputting standard reading information corresponding to the furigana written in a Japanese dictionary and registering the word and the furigana information in the dictionary in the dictionary format, b) When the word includes a plurality of kanji, refer to the single kanji dictionary to read the single kanji and use the furigana information of the word, and use the furigana of the boundary of each kanji of the word. The kanji delimiter is automatically inserted into the reading of No. and the reading information of the word with the kanji delimiter is output together with the corresponding kanji. (C) The reading information of the word is divided for each kanji delimiter. Each kanji A predetermined conversion rule defined for the above, a process of generating peculiar reading information for voice synthesis according to the conversion rule and registering it in the word dictionary; and (a) to (c) above. A recording medium recording a program for causing the computer to execute processing.
【請求項5】前記変換規則が、 「え段」に続く「い」の「い」を長音化記号に変換し、 「お段」と「う」の「う」を長音化記号に変換し、 同じ母音が連続する場合、後続母音を長音化記号に変換
する、 という規則を少なくとも含む、ことを特徴とする請求項
2記載の音声合成用辞書登録装置。
5. The conversion rule converts the "i" of "i" following the "edan" into a syllabary symbol, and converts the "u" of "odan" and "u" into a syllabic symbol. , claims the same vowels when continuously converts subsequent vowels prolonged sound of symbols including at least a rule that, it is characterized by
2. The voice synthesis dictionary registration device described in 2 .
JP18848199A 1999-07-02 1999-07-02 Speech synthesis dictionary registration apparatus and method Expired - Fee Related JP3414326B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP18848199A JP3414326B2 (en) 1999-07-02 1999-07-02 Speech synthesis dictionary registration apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP18848199A JP3414326B2 (en) 1999-07-02 1999-07-02 Speech synthesis dictionary registration apparatus and method

Publications (2)

Publication Number Publication Date
JP2001013981A JP2001013981A (en) 2001-01-19
JP3414326B2 true JP3414326B2 (en) 2003-06-09

Family

ID=16224495

Family Applications (1)

Application Number Title Priority Date Filing Date
JP18848199A Expired - Fee Related JP3414326B2 (en) 1999-07-02 1999-07-02 Speech synthesis dictionary registration apparatus and method

Country Status (1)

Country Link
JP (1) JP3414326B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006194952A (en) * 2005-01-11 2006-07-27 Nissan Motor Co Ltd Registering method for sentence analysis dictionary for voice synthesis and voice reading device using the method
JP6142632B2 (en) * 2013-04-02 2017-06-07 富士通株式会社 Word dictionary registration computer program, speech synthesizer, and word dictionary registration registration method

Also Published As

Publication number Publication date
JP2001013981A (en) 2001-01-19

Similar Documents

Publication Publication Date Title
US6778962B1 (en) Speech synthesis with prosodic model data and accent type
US6801897B2 (en) Method of providing concise forms of natural commands
KR100859532B1 (en) Automatic speech translation method and apparatus based on corresponding sentence pattern
WO2004066271A1 (en) Speech synthesizing apparatus, speech synthesizing method, and speech synthesizing system
JP2004326367A (en) Text analysis device, text analysis method and text audio synthesis device
JP3414326B2 (en) Speech synthesis dictionary registration apparatus and method
JP3371761B2 (en) Name reading speech synthesizer
JPH06282290A (en) Natural language processing device and method thereof
JP6197523B2 (en) Speech synthesizer, language dictionary correction method, and language dictionary correction computer program
JP6232724B2 (en) Speech synthesis apparatus and language dictionary registration method
JP2002123281A (en) Speech synthesizer
JP6340839B2 (en) Speech synthesizer, synthesized speech editing method, and synthesized speech editing computer program
JP3958908B2 (en) Transcription text automatic generation device, speech recognition device, and recording medium
WO2022196087A1 (en) Information procesing device, information processing method, and information processing program
JP2004258561A (en) Program and device for inputting data for singing synthesis
JPH08185197A (en) Japanese analyzing device and japanese text speech synthesizing device
JP5125404B2 (en) Abbreviation determination device, computer program, text analysis device, and speech synthesis device
JP2003005776A (en) Voice synthesizing device
JP2006098552A (en) Speech information generating device, speech information generating program and speech information generating method
JPS62119591A (en) Sentence reciting apparatus
JP2728440B2 (en) Audio output device
JP2016122033A (en) Symbol string generation device, voice synthesizer, voice synthesis system, symbol string generation method, and program
JP2023006055A (en) Program, information processing device, and method
JP4208819B2 (en) Speech synthesis dictionary registration method and apparatus
JP2022141520A (en) Voice synthesis symbol editing device, method and program

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20030304

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080404

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090404

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100404

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110404

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120404

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120404

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130404

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130404

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140404

Year of fee payment: 11

LAPS Cancellation because of no payment of annual fees