JP4407510B2 - 音声合成装置及び音声合成プログラム - Google Patents

音声合成装置及び音声合成プログラム Download PDF

Info

Publication number
JP4407510B2
JP4407510B2 JP2004378901A JP2004378901A JP4407510B2 JP 4407510 B2 JP4407510 B2 JP 4407510B2 JP 2004378901 A JP2004378901 A JP 2004378901A JP 2004378901 A JP2004378901 A JP 2004378901A JP 4407510 B2 JP4407510 B2 JP 4407510B2
Authority
JP
Japan
Prior art keywords
reading
text
pictogram
deleted
emoticons
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004378901A
Other languages
English (en)
Other versions
JP2006184642A (ja
Inventor
英樹 小島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2004378901A priority Critical patent/JP4407510B2/ja
Publication of JP2006184642A publication Critical patent/JP2006184642A/ja
Application granted granted Critical
Publication of JP4407510B2 publication Critical patent/JP4407510B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Transfer Between Computers (AREA)

Description

本発明は、テキストを読み上げる音声合成装置に関する。特に、顔文字や絵文字、記号等を含むテキストを読み上げる音声合成装置に関する。
従来の顔文字や絵文字、記号等を含むテキストを読み上げる音声合成装置として、特許文献1には、テキストに含まれる絵文字を読むのに、テキストから絵文字を抽出し、絵文字とその読みが対に記憶されている絵文字読み表を用いて、抽出された絵文字をその読みに置き換えてテキストを変換し、音声合成する装置が開示されている。
特開平11−305987号公報
図13〜図17を用いて、従来の音声合成装置の具体的な問題点について説明する。
特許文献1に開示されているテキスト音声変換装置は、図13の様な構成であり、処理の流れは、図14のフローチャートのようになる。
まず、テキストをテキスト入力装置901が入力し(S901)、入力されたテキストから絵文字抽出装置902が、絵文字読み表903を参照して、絵文字読み表903に登録されている絵文字部分を抽出し(S902)、絵文字読み変換装置904は、抽出された絵文字を絵文字読み表903に従って、絵文字をその読みに変換する(S903)。絵文字部分の抽出は、単純に絵文字表に登録されている絵文字と同じ文字列がテキストに存在するか文字列チェックを行うだけである。文字列チェックは、単純な文字列検索でもよいし、1文字ずつ合っているかチェックしてもよい。
S902とS903の処理を全ての絵文字について処理が終わるまで繰り返す(S904:No)。そして、全ての絵文字について処理が終わる(S904:Yes)絵文字部分を変換したテキストを入力して音声合成用の読みのテキストに変換し(S905)、音声合成装置905が、テキストを音声合成して読み上げる(S906)。音声合成装置には、絵文字以外の表記を読みに変換するための言語辞書や読みのテキストから音声を合成するための音声辞書は明記されていないが、実際には、使用している。
上記の方法を用いると、例えば、図15のように、テキストに「☆」や「(^#^)」が現れた場合、それぞれ「ほしまーく」や「にこにこ」と読むように絵文字読み表がなっている場合、図16の様なメールの「重要点には☆を付けてね(^#^)」という文章を読み上げると、読み上げ合成音は「ジュウヨウテンニハ ホシマークヲ ツケテネ ニコニコ」と正しく読みあげることが出来る。
しかし、前述の文章を、図17のように、「重要点には☆マークを付けてね (^#^)ニコニコ」と書く人もおり、このように書かれている場合は、読み上げ合成音は、「ジュウヨウテンニハ ホシマークマークヲ ツケテネ ニコニコニコニコ」と読んでしまい、絵文字部分の読みと絵文字前後の文字の読みが重複してしまう。しかし、実際には、このような場合でも、「☆マーク」は「ホシマーク」、「(^#^)ニコニコ」は「ニコニコ」と読むことが望ましい。
以上のように、従来の音声合成装置には、記号や顔文字等の前後にその読みの一部または全部が書かれている場合、読みの一部または全部が重複して読み上げられてしまうという問題点がある。
本発明は、このような問題に鑑み、音声合成する際に、テキストに含まれる記号や絵文字、顔文字の前後にそれらの読みの一部または全部を表す言葉があった場合でも、その重複部分を削除し、記号や絵文字、顔文字が前後にある読みと重複しないように読み上げる音声合成装置を提供することを目的としている。
上記の目的を達成するために、本発明は、言語辞書に表記と読みを、記号、絵文字、顔文字も含めて、対にして登録しておき、テキストを入力した際に、記号、絵文字、顔文字を検索して、それらの前後にそれらの読みの一部または全部と一致する語があればテキストから削除し、削除したテキストを入力にして、言語辞書を用いて、音声合成するための読みのテキストに変換し、それを入力にして音声合成することにより、記号、絵文字、顔文字を重複せずに読み上げる。
本発明にかかる第一の音声合成装置は、テキストを読み上げる音声合成装置において、予め、表記とその読みが対にして登録されている言語辞書を備え、テキストを入力するテキスト入力部と、前記言語辞書に基づき、テキストに絵文字、顔文字または記号がある場合に、テキストに含まれる絵文字、顔文字、記号の直前または直後に、これらの絵文字、顔文字、記号の読みの一部または読み全体と重複する記述があるか否かをチェックし、重複部分がある場合は、重複部分を前記入力したテキストから削除する絵文字抽出・重複削除部と、前記言語辞書を用いて、前記重複部分削除済みのテキストを音声合成のための読みに変換するテキスト変換部と、前記読みを入力にして、音声を合成する音声合成部を備えたことを特徴とする。
また、第2の音声合成装置は、前記第1の音声合成装置が、前記言語辞書は、予め、表記と読みと品詞情報を組にして登録されており、更に、テキストを入力して、前記言語辞書を用いて、形態素解析を行う形態素解析部を備え、前記絵文字抽出・重複削除部は、前記形態素解析結果を用いて、前記言語辞書に基づき、絵文字、顔文字、記号の直前または直後の文字列とのつながりをチェックし、絵文字、顔文字、記号につながる文字列の場合のみ、絵文字、顔文字、記号の読みの一部または読み全体と重複があるか否かをチェックし、重複部分がある場合は、重複部分を前記入力したテキストから削除するようにしても良い。
第3の音声合成装置は、前記の音声合成装置において、前記言語辞書に登録されている表記は、絵文字、顔文字、記号以外の表記のみであり、更に、予め、絵文字、顔文字、記号とその読みと削除すべき文字列が組にして登録されている絵文字辞書を備え、前記絵文字抽出・重複削除部は、前記絵文字辞書に基づき、重複チェックを行い、重複部分を削除する際に、当該絵文字、顔文字または記号に対応する削除すべき文字列のみ削除することが好ましい。
第4の音声合成装置は、前記第3の音声合成装置において、前記絵文字辞書は、予め、絵文字、顔文字、記号とその読みと削除すべき文字列と削除すべき文字列の位置が組にして登録されており、前記絵文字抽出・重複削除部は、重複部分がある場合は、当該絵文字、顔文字または記号に対応する削除すべき文字列が、前記削除すべき文字列の位置にある場合のみ削除することが好ましい。
第5の音声合成装置は、前記第4の音声合成装置において、前記絵文字辞書は、予め、絵文字、顔文字、記号とその読みと削除すべき文字列と削除すべき文字列の位置と削除後の読みが組にして登録されており、前記絵文字抽出・重複削除部は、重複部分がある場合は、当該絵文字、顔文字または記号に対応する削除すべき文字列が、前記削除すべき文字列の位置にある場合のみ削除し、当該絵文字、顔文字または記号の削除すべき読みに対応する削除後の読みに変換することが好ましい。
本発明の第1の発明によれば、絵文字、顔文字、記号を含むテキストを読み上げる音声合成装置において、テキストに含まれる絵文字、顔文字、記号の直前または直後にある、これらの絵文字、顔文字、記号の読みの一部または読み全体と重複する文字列を削除して、絵文字、顔文字、記号を重複して読み上げることをなくす事が出来る。
本発明の第2の発明によれば、絵文字、顔文字、記号を含むテキストを読み上げる音声合成装置において、テキストに含まれる絵文字、顔文字、記号の直前または直後にある、これらの絵文字、顔文字、記号の読みの一部または読み全体と重複する記述が、絵文字、顔文字、記号と関連する記述か否かを判断することが可能となり、絵文字、顔文字、記号と関連する重複する文字列のみを削除して、絵文字、顔文字、記号を重複して読み上げることなく、重複しない記述を削除することなく読むことが出来る。
本発明の第3の発明によれば、絵文字、顔文字、記号を含むテキストを読み上げる音声合成装置において、絵文字、顔文字、記号の直前または直後にある対応する削除すべき文字列のみ削除可能となり、絵文字、顔文字、記号を重複して読み上げることなく、削除すべき文字列のみ削除して読むことが出来る。
本発明の第4の発明によれば、絵文字、顔文字、記号を含むテキストを読み上げる音声合成装置において、絵文字辞書にある絵文字、顔文字、記号に対応する削除すべき文字列は、それに対応する前後指定の位置にある時のみ削除されるため、絵文字、顔文字、記号を重複して読み上げることなく、指定された位置の削除すべき文字列のみ削除して読むことが出来る。
本発明の第5の発明によれば、絵文字、顔文字、記号を含むテキストを読み上げる音声合成装置において、絵文字辞書にある文字列絵文字、顔文字、記号に対応する削除すべき位置にある削除すべき文字列のみ削除して、更に絵文字、顔文字、記号を指定された読みに変換することにより、テキスト作成者の意図により近い形でして読み上げることが出来る。
[第1の実施形態]
図1は、本発明の第1の実施形態にかかる音声合成装置の基本構成を機能的に示したブロック図である。図2は、本発明の第1の実施形態にかかる音声合成装置の処理の流れを表すフローチャートである。
本実施形態にかかる音声合成装置は、携帯電話やPDA、パーソナルコンピュータ、カーナビゲーション等に組み込まれて使用される。特に、顔文字や絵文字等は、電子メールで多用されることが多く、メールの読み上げに音声合成装置が使用されることが多い。
本実施形態の音声合成装置は、絵文字、顔文字、記号を含むテキストを入力した場合に、絵文字、顔文字、記号の前後に、その絵文字、顔文字、記号の読みの一部または全部が、漢字または平仮名、カタカナで書かれていると、重複する読みの部分を削除して、音声合成することにより、読みを重複することなく、音声を出力することが出来る様にした構成である。
図1から図4に基づいて、本発明の音声合成装置の基本的な実施形態について説明する。
まず、テキスト入力部101がテキストを入力する(S101)。テキストは、予め、記憶装置に蓄えられたテキストを入力してもよいし、他のパーソナルコンピュータやサーバから回線経由でテキストを入力してもよい。テキストの入力の形態は、テキスト入力部101で読み込むことが出来れば、特に限定しない。
まず、テキストに絵文字・顔文字・記号の少なくともいずれか1つが含まれているかチェックする(S102)。いずれも無い場合(S102:No)は、S107に進む。
テキストに絵文字・顔文字・記号の少なくともいずれか1つが含まれている場合(S102:Yes)、絵文字抽出・削除部102は、言語辞書を参照しながら、言語辞書に登録されている絵文字・顔文字・記号のいずれかを、入力されたテキストから1つずつ抽出する(S103)。言語辞書には、一般の言葉と絵文字・顔文字・記号が表記として、その読みと対にして、予め登録されている。抽出は、言語辞書に登録されている絵文字・顔文字・記号などが入力されたテキストに含まれているかどうかを文字列検索すればよい。検索方法はどのような形でもよい。
そして、抽出した絵文字・顔文字・記号の前後の重複する読みを検出する(S104)。次に、検出された重複する読みの部分をテキストから削除する(S105)。図3の例では、「☆」と「(^#^)」が抽出され、その読みは、それぞれ「ホシマーク」、「ニコニコ」であり、「☆」に関しては、その読みである「ホシマーク」の一部と同じ「マーク」が「☆」の後に続くため、絵文字抽出・削除部102により、テキストから「マーク」が削除され、「(^#^)」に関しては、その読みである「ニコニコ」の全部と同じ「ニコニコ」が「(^#^)」の後に続くため、絵文字抽出・削除部102により、テキストから「ニコニコ」が削除される。
S103からS105までの処理を、全ての絵文字・顔文字・記号について行うまで、繰り返す(S106)。
具体的な重複する読みの検出は、絵文字・顔文字・記号の読みと直前または直後にある文字列とを比較して行う。例えば「重要点に☆マークを付けてね。」というテキストがある場合、「☆」を「ホシマーク」と読むとする。「☆」の直後の文字列と比較する場合、「☆」の読みの「ホシマーク」という文字列を後ろから1文字、2文字、3文字、4文字、5文字取って、「ク」、「ーク」、「マーク」、「シマーク」、「ホシマーク」という文字列を作り、それぞれが順番に、「☆」の直後の文字列と等しいか比べる。そして、一致するものの中で最も長い文字列が削除すべき文字列となる。
ここでは、1文字も比較したが、記号の後に続く記号に関係のないテキストの始まりが同じ文字で始まる場合もあるので、2文字以上で比較する方が好ましい。また、通常、上の行のテキストからのつながりでない限り、「ー(長音)」や「ッ(促音)」で始まる文字列が重複することはないと思われるため、比較する文字列が長音や促音で始まる場合は、文字列の重複チェックを省くようにしてもよい。
また、直前の文字列の重複チェックは、「☆」の読みの「ホシマーク」という文字列を前から1文字、2文字、3文字、4文字、5文字取って、「☆」の直前の文字列が、「ホ」、「ホシ」、「ホシマ」、「ホシマー」、「ホシマーク」のいずれかと一致するかチェックする。一致する文字列の最も長い文字列が重複する文字列と見なす。
前後に来る文字列が、漢字の場合は、漢字の文字列を、言語辞書を用いて読みに変えてから、重複チェックを行う。例えば、「☆」の読みが「ホシジルシ」の場合、「☆印」というテキストがあると、「印」は、「イン」、「シルシ」または「ジルシ」と読むので、漢字の読みの長さで区切って比較する。つまり、「印」の読みの「イン」は2文字なので、「イン」と「☆」の読みの最後の2文字の「ルシ」を比較し、次に、「印」の読みの「シルシ」と「☆」の読みの最後の3文字の「ジルシ」、「印」の読みの「ジルシ」と「☆」の読みの最後の3文字の「ジルシ」を比較し、「ジルシ」が一致するため、重複する文字列として、「印」を削除することになる。重複する読みの検出の例をあげたが、ここにあげた検出方法に特定するものではなく、他の方法を用いてもよい。
重複する読みの部分が絵文字抽出・削除部102により全て削除された結果、テキストは「重要点には☆を付けてね (^#^)」と変換される。この例では、この時点で絵文字、顔文字、記号は、読みに変換されていないが、テキスト読み変換部での処理を減らすために、この時点で読みに変換しておいてもよい。この時点で絵文字、顔文字、記号を読みに変換すると、入力されたテキストは「重要点にはホシマークを付けてね ニコニコ」となる。
テキスト中の全ての絵文字・顔文字・記号が抽出される(S106:Yes)か、絵文字・顔文字・記号が無かった場合(S102:No)は、絵文字抽出・削除部102により、読みの重複部分が削除されたテキストが、テキスト読み変換部103で、音声合成の基になる読みのテキストに変換される(S107)。
具体的には、テキスト読み変換部103が、言語辞書を参照しながら、仮名漢字・絵文字、顔文字、記号を読みに変換する。図2の言語辞書には、仮名漢字・数字等の読みの対応は図示していないが、含まれているものとする。図2の例では、テキストは「ジュウヨウテンニハ ホシマークヲ ツケテネ ニコニコ」と変換される。
読みに変換されたテキストは、音声合成部105が、音声辞書106を参照しながら、合成音声の波形を作り出し、スピーカ等の音声出力装置により、合成音声として出力される(S108)。合成音声の出力先は、特にスピーカに限定せず、音声ファイルとして記録媒体等に出力してもよい。
本実施形態では、テキスト全体を一括入力して処理したが、例えば、句点や読点単位に区切って入力して処理してもよい。また、絵文字、顔文字、記号の読みは、他の一般の言葉の読みと同じ言語辞書に持たせたが、別の辞書に持たせてもよい。
本実施形態の発明によれば、絵文字、顔文字、記号を含むテキストを読み上げる音声合成装置において、テキストに含まれる絵文字、顔文字、記号の直前または直後にある、これらの絵文字、顔文字、記号の読みの一部または読み全体と重複する文字列を削除して、絵文字、顔文字、記号を重複して読み上げることをなくすことが出来る。
[第2の実施形態]
以下、本発明の第2の実施形態にかかる音声合成装置について、図5から図7を参照しながら説明する。なお、第1の実施形態で説明した構成等については、同じ参照符号を付記し、その説明を省略する。
本実施形態にかかる音声合成装置と第1の実施形態で説明した音声合成装置との差異は、形態素解析を行って、絵文字、顔文字、記号の直前または直後にある記述が、絵文字、顔文字、記号の読みの一部または全部を表す文字列であるのか、絵文字、顔文字、記号と関係のあるテキストの文字列なのかを判定する点にある。
ここで、本実施形態の音声合成装置の処理のフローチャートを、図6に示す。
まず、テキスト入力部101は、形態素解析を行う関係上、テキストの入力を1文章ずつ行っている(S201)。もちろん、一括して全文を入力した後、該当する絵文字・顔文字・記号を含む文章のみ形態素解析することも出来る。テキストが終わりの場合(S202:Yes)は、処理を終了する。
テキストが終了でない場合(S202:No)は、絵文字抽出・重複削除部102は、入力した文章に絵文字・顔文字または記号が含まれているか、文字列チェックを行う(S203)。入力した文章に絵文字・顔文字または記号が含まれていない場合(S203:No)は、S210に進む。入力した文章に絵文字・顔文字または記号が含まれている場合(S203:Yes)は、形態素解析部107が、入力した文章の形態素解析を行う(S204)。言語辞書には、形態素解析を行うために、表記とその読みと品詞情報が組にして、予め、登録されている。
次に、絵文字抽出・重複削除部102は、文章から絵文字・顔文字・記号を抽出し(S205)、抽出した絵文字・顔文字・記号の前後にある絵文字・顔文字・記号と読みが重複する文字列を検出する(S206)。そして、絵文字抽出・重複削除部102は、形態素解析の結果に基づいて、絵文字・顔文字・記号の直前または直後の重複する読みが、当該絵文字・顔文字または記号の読みと関係があるかどうかを判定する(S207)。関係ある場合は、重複部分をテキストから削除する(S208)。関係ない場合は、S209に進む。
そして、入力した文章の中の全ての絵文字・顔文字・記号を抽出していない場合(S209:No)は、S205に戻る。入力した文章の中の全ての絵文字・顔文字・記号を抽出した場合(S209:Yes)は、テキスト読み変換部107は、入力された文章を音声合成のための読みに変換し(S210)、音声合成部105が、音声辞書に基づいて、変換した読みのテキストから音声を合成する(S211)。そして、S201に戻り、テキストの次の1文章の処理に移る。
具体的に例を挙げて説明する。ここでは、「☆」の読みを、「ホシジルシ」とする。
図7に示すように、同じ「☆印」という文字列を含んでいても、形態素解析の例1の「☆印鑑を持参のこと。」と形態素解析の例2の「重要な所に☆印を付ける。」とでは、例1では、「☆」と「印」は関連がなく、例2では関連があるため、変換の仕方を変える必要がある。
形態素解析の例1では、「☆印鑑を持参のこと。」を形態素解析部107で形態素解析すると、図7のように、「☆・印鑑・を・持参・の・こと。」のように分解される(S204)。絵文字・顔文字・または記号を抽出すると、「☆」が抽出され(S205)、「☆」の読みと、「☆」の前後にある文字列の読みと重複することを検出すると、「印」が検出される(S206)。形態素解析の結果は、「☆・印鑑・を・持参・の・こと。」であり、「☆」の後の「印」は、「印鑑」の「印」であることがわかる(S207:No)ので、絵文字抽出・重複削除部102は、「印」を削除せず、S209に移る。ここでは、全ての絵文字・顔文字・記号を抽出した(S209:Yes)ので、テキスト読み変換部104は、記号の読みの変換を、「☆」に対してのみ行う。「ホシジルシ インカンヲ ジサンノ コト」のように読みのテキストに変換され(S210)、音声合成される(S211)。
これに対して、形態素解析の例2では、「重要な所に☆印を付ける。」を形態素解析すると、「重要・な・所・に・☆・印・を・付け・る。」のように分解される(S204)。絵文字・顔文字・または記号を抽出すると、「☆」が抽出され(S205)、「☆」の前後の重複する読みを検出すると、「印」が検出される(S206)。形態素解析の結果、「印」が独立した語であることがわかる(S207)ので、絵文字抽出・重複削除部102は、「印」が「☆」と結びついたものと見なし(S207:Yes)、「☆印」について、「印」を重複したものとして削除し(S208)、テキストは「重要な所に☆を付ける。」となり、全ての絵文字・顔文字・記号を抽出した(S209:Yes)ので、テキスト読み変換部104は、削除後のテキストを読みのテキストに変換すると、「ジュウヨウナ トコロニ ホシジルシヲ ツケル」のように変換され(S210)、音声合成される(S211)。
本実施形態のように、形態素解析をする場合は、文字のつながりが分かるので、必ずしも1文字単位に重複チェックを行う必要はない。分解された文字列単位で比較すればよい。例えば、「重要な所に☆星印を付ける。」というテキストがあり、形態素解析されて、「重要・な・所・に・☆・星印・を・付け・る。」となった場合、「☆」の読みの「ホシジルシ」と、「星印」の読みの「ホシジルシ」を「ホ」、「ホシ」、「ホシジ」、「ホシジル」、「ホシジルシ」と順番に比較しなくても、「星印」の読みの「ホシジルシ」とだけ比較すればよい。この方がより効率的に重複チェックが可能である。
本実施形態では、絵文字、顔文字、記号の読みをテキスト読み変換部104で行ったが、絵文字抽出・重複削除部102で絵文字・顔文字または記号を抽出した際または読みが重複する文字列を削除した際に、抽出した絵文字・顔文字または記号をその読みに変換してもよい。テキストは、1文章ずつ(句点や読点単位)入力したが、一括入力してもよい。形態素解析は、絵文字、顔文字、記号を検出する毎に行ったが、1文章毎に行ってもよい。また、絵文字、顔文字、記号の読みは、他の言葉の読みと同じ言語辞書に持たせたが、別の辞書に持たせてもよい。
以上のように、本実施形態の場合、形態素解析を行うことにより、テキストに含まれる絵文字、顔文字、記号の直前または直後にある、これらの絵文字、顔文字、記号の読みの一部または読み全体と重複する記述が、絵文字、顔文字、記号と関連する記述か否かを判断することが可能となり、絵文字、顔文字、記号と関連する文字列のみを削除して、絵文字、顔文字、記号を重複して読み上げることなく、重複しない文字列を削除することなく読むことが出来、重複する記述が、絵文字、顔文字、記号と関連する記述ではない場合は、削除しない。
第1または第2の実施形態では、絵文字・顔文字・記号に関しては、言語辞書にそれらとその読みが対にして登録されていた。しかし、本実施形態では、図9に示すように、絵文字・顔文字・記号とそのデフォルトの読みと削除すべき文字列が組になって、予め絵文字辞書に登録されている。辞書を分けたのは、削除すべき文字列が加わったため、他の一般の言葉とその読みとは、フォーマットが異なるためであるが、必ずしも分けなくてもよい。
第1または第2の実施形態との動作上の差異は、言語辞書と絵文字辞書を分けたことにより、絵文字抽出・重複削除部102が、絵文字・顔文字・記号を検出するのに、絵文字辞書108を参照するようになったことと、絵文字・顔文字・記号の前後の文字列の重複する読みが、絵文字辞書に登録してある検出した絵文字・顔文字・記号に対応する削除すべき文字列であるかどうか判定して、一致する場合のみ削除することと、テキスト読み変換部104がテキストを変換する際に、絵文字辞書108を参照することの3点である。
本実施形態では、削除すべき文字列が全て登録されているため、重複チェックは、抽出した絵文字・顔文字・記号の前後の文字列が、当該絵文字・顔文字・記号の組に登録されている削除文字列と一致するかどうかを判定しさえすればよいので、容易に高速に行える。
フローチャートでいえば、S104またはS206の抽出した絵文字・顔文字・記号の前後の重複する読みを検出する際に、前後の文字列が、抽出した絵文字・顔文字・記号に対応する削除すべき文字であるかどうかをチェックすることにより検出することである。
第1または第2の実施形態によれば、絵文字・顔文字・記号の直前または直後にそれらの読みの一部がある場合は、その読みが実際には絵文字・顔文字・記号の一部でない場合でも削除されるという問題がある。例えば、「☆ホシの容疑者」という例の場合、ここでの「ホシ」は犯人を意味するが、第1または第2の実施形態によれば、「ホシ」は「☆」の読みの一部であるため削除されて、「ホシマーク ノ ヨウギシャ」と読まれてしまう。
つまり、絵文字抽出・重複削除部102において、絵文字辞書(第1の実施形態では言語辞書)に登録されている絵文字・顔文字・記号から抽出した場合、それらの直前または直後の文字が削除すべき文字列と同じであった場合のみ削除し、削除すべき文字列と同じではない場合は削除しない。もちろん、削除すべき文字が形態素解析の結果、絵文字・顔文字・記号に関連する記述でない時は、削除はしない。
本実施形態では、削除すべき文字列を図9のように並べて書いた(図9では、記号の「☆」とそのデフォルトの読みである「ホシマーク」、その削除すべき文字列「マーク」、「印」、「じるし」が1つの組、顔文字の「(^#^)」とそのデフォルトの読みである「ニコニコ」、その削除すべき文字列「にこにこ」、「ニコニコ」が1つの組である)が、絵文字、顔文字、記号との対応がつけば、どのような登録の仕方をしてもよい。また、絵文字辞書は、辞書として外部記憶装置に持たず、表としてメモリやプログラム内に持ってもよい。
以上のように、本実施形態によれば、絵文字、顔文字、記号を含むテキストを読み上げる音声合成装置において、絵文字、顔文字、記号の直前または直後にある対応する削除すべき文字列のみ削除可能となり、絵文字、顔文字、記号を重複して読み上げることなく、削除すべき文字列のみ削除して読むことが出来る。
[第4の実施形態]
以下、本発明の第4の実施形態にかかる音声合成装置について説明する。なお、本実施形態の音声合成装置において、第3の実施形態で説明した構成や処理の流れについては、全く同じであるため、ブロック図とフローチャートは省略し、動作の異なる部分以外はその説明を省略する。
第3の実施形態では、絵文字・顔文字・記号に関しては、辞書にそれらとその読みと削除すべき文字列が組にして登録されていた。しかし、本実施形態では、図10に示すように、絵文字・顔文字・記号とその本来の読みと削除すべき文字列と前後指定が組になって、予め絵文字辞書に登録されている。前後指定とは、前指定ならば、削除すべき文字列が、検出した絵文字・顔文字・記号の直前にある場合、後指定ならば、直後にある場合、前後指定ならば、直前または直後にある場合に削除することを示す。
図10では、前後指定を前・後・前後としているが、指定の仕方は、前を1、後を2、前後を3としても良いし、前・後・前後の区別がつけば、どのような指定の仕方をしてもよい。
第3の実施形態との動作上の差異は、絵文字抽出・重複削除部102が、重複する読みが、絵文字辞書に登録してある検出した絵文字・顔文字・記号に対応する削除すべき文字列であるかどうかだけ判定するのではなく、削除すべき文字列が前後指定された位置にあるかどうかを含めて判定し、削除すべき文字列と前後指定が一致する場合のみ削除することである。これにより、更に重複チェックが高速に可能となる。
フローチャートでいえば、S104またはS206の抽出した絵文字・顔文字・記号の前後の重複する読みを検出する際に、前後の文字列が、抽出した絵文字・顔文字・記号に対応する削除すべき文字であるかどうかと、削除すべき文字列が前後指定された位置にあるかどうかを、一致しているかチェックすることにより検出する。
第3の実施形態によれば、絵文字・顔文字・記号の直前または直後に削除すべき文字列がある場合は、その読みが実際には絵文字・顔文字・記号の一部でない場合でも削除されるという問題がある。例えば、「要チェックマーク☆を付ける。」とかある場合、第3の実施形態によれば、「☆」の前に削除すべき文字の「マーク」があるため、テキストは、「要チェック☆を付ける。」になってしまう。しかし、本実施形態では、図10にあるように、「マーク」の前後指定は、「後」になっているため、「☆」の前にある「マーク」は削除されず、テキストは、「要チェックマーク☆を付ける。」のままになる。もちろん、「重要点には☆マークを付けてね。」の場合は、「マーク」が「☆」の直後にあるので、削除されて「重要点には☆を付けてね。」と変換される。
つまり、絵文字抽出・重複削除部102において、絵文字辞書に登録されている絵文字・顔文字・記号から抽出した場合、前後指定で指定された位置に削除すべき文字列があった場合のみ削除し、前後指定で指定された位置に削除すべき文字列がない場合は削除しない。もちろん、形態素解析部107を含む場合、削除すべき文字が形態素解析の結果、絵文字・顔文字・記号に関連する記述でない時は、削除はしない。
以上のように、本実施形態によれば、絵文字、顔文字、記号を含むテキストを読み上げる音声合成装置において、絵文字辞書にある絵文字、顔文字、記号に対応する削除すべき文字列は、それに対応する前後指定の位置にある時のみ削除されるため、絵文字、顔文字、記号を重複して読み上げることなく、指定された位置の削除すべき文字列のみ削除して読むことが出来る。
[第5の実施形態]
以下、本発明の第5の実施形態にかかる音声合成装置について説明する。なお、本実施形態の音声合成装置において、第3または第4の実施形態で説明した構成等については、全く同じであるため図を省略し、動作の異なる部分以外はその説明を省略する。
第4の実施形態では、絵文字・顔文字・記号に関しては、辞書にそれらとその読みと削除すべき文字列とその前後指定が組にして登録されていた。しかし、本実施形態では、図11に示すように、絵文字・顔文字・記号とそのデフォルトの読みと削除すべき文字列と前後指定と削除後の読み(対応する削除すべき文字列が削除された場合の絵文字・顔文字または記号の読み)が組になって、予め絵文字辞書に登録されている。削除後の読みとは、削除すべき文字を削除した後の絵文字・顔文字・記号の読みを削除した文字列に応じた読みである。削除後の読みを追加したのは、テキストの作成者が使用した絵文字・顔文字・記号をどう読ませたいかが削除すべき読みに含まれていることが多いため、削除すべき読みに併せて読みを変えることを意図している。
なお、図11の本来の読みは、絵文字・顔文字・記号の直前または直後の文字列を削除しなかった時の読みである。
図11では、例えば「☆マーク」は「マーク」を削除して「ホシマーク」と読むが、「☆印」や「☆じるし」の時は、「印」や「じるし」を削除して、「ホシジルシ」と読むことを示している。こうすることにより、テキストの作成者の意図通り、絵文字・顔文字・記号を読むことが出来る。
ここで注意すべき点は、第1ないし第4の実施形態では、絵文字・顔文字・記号の読みが固定であったため、絵文字・顔文字・記号の読みへの変換は、絵文字抽出・重複削除部102で行っても、テキスト読み変換部104で行っても問題なかったが、本実施形態では、削除すべき文字列を削除した場合、削除した文字列により、削除後の読みが決定するため、少なくとも、絵文字抽出・重複削除部102で文字列を削除した場合は、削除後の読みに変換しておかないと、削除した読みに合わせた変換が出来ない点である。そのため、図12のフローチャートでは、重複部分が、絵文字・顔文字・記号の読みと関係がある場合(S507:Yes)は、重複部分をテキストから削除するだけでなく、当該絵文字・顔文字・記号を削除後の読みに変換し(S509)、関係がない場合(S507:No)は、絵文字・顔文字・記号を本来の読みに変換する(S508)。
第4の実施形態によれば、絵文字・顔文字・記号の前後指定で指定された位置に削除すべき文字列がある場合は、その読みが絵文字辞書108にある当該絵文字・顔文字・記号の読みに固定的に変換されるという問題がある。例えば、「☆印を付ける。」がある場合、第4の実施形態によれば、テキストは全て「☆を付ける。」になってしまい、「ホシマークヲ ツケル」に変換されてしまう。しかし、テキスト作成者は、「ホシジルシヲ ツケル」と読んで欲しいのは明白なので、図11の絵文字辞書のようにすることにより、「印」を削除し、削除後の読みを「ホシジルシ」に変換することにより、「ホシジルシヲ ツケル」と読むことが可能となり、よりテキスト作成者の意図に近い形で絵文字・顔文字・記号を読む事が出来る様になる。
第5の実施形態によれば、絵文字、顔文字、記号を含むテキストを読み上げる音声合成装置において、絵文字辞書にある文字列絵文字、顔文字、記号に対応する削除すべき位置にある削除すべき文字列のみ削除して、更に絵文字、顔文字、記号を指定された読みに変換することにより、テキスト作成者の意図により近い形でして読み上げることが出来る。
なお、上述した各実施形態にかかる音声合成装置は、ハードウェアとして実施可能であるだけでなく、コンピュータのソフトウェアとしても実施可能である。例えば、実施の形態1において図1に示したテキスト入力部101、絵文字抽出・重複削除部102、テキスト読み変換部103、および音声合成部104の機能をコンピュータに実行させるプログラムを作成し、当該プログラムをコンピュータのメモリに読み込ませて実行させれば、図1に示した音声合成装置を実現することができる。なお、実施の形態2以降の装置についても同様に、コンピュータのソフトウェア(プログラム)により実現可能である。
なお、本発明の実施の形態にかかる音声合成装置を実現するプログラムは、図18に示すように、CD−ROMやCD−RW、DVD−R、DVD−RAM、DVD−RW992−1等やフレキシブルディスク992−2等の可搬型記録媒体だけでなく、通信回線の先に備えられた他の記憶装置991や、コンピュータ993のハードディスクやRAM等の記録媒体994のいずれに記憶されるものであっても良く、プログラム実行時には、プログラムはローディングされ、主メモリ上で実行される。
以上の実施例を含む実施形態に関して、さらに以下の付記を開示する。
(付記1) テキストを読み上げる音声合成装置において、
表記とその読みが対にして登録されている言語辞書と、
テキストを入力するテキスト入力部と、
前記言語辞書に登録されている絵文字、顔文字または記号がテキストに含まれている場合に、当該絵文字、顔文字、記号の直前または直後に、当該絵文字、顔文字、記号の読みの一部または読み全体と重複する記述があるか否かをチェックし、重複部分がある場合は、前記入力したテキストから当該重複部分を削除する絵文字抽出・重複削除部と、
前記言語辞書を用いて、前記重複部分削除済みのテキストを音声合成のための読みに変換するテキスト変換部と、
前記読みを入力にして、音声を合成する音声合成部を備えたことを特徴とする音声合成装置。
(付記2) 前記言語辞書は、表記と読みと品詞情報を組にして登録されており、
更に、テキストを入力して、前記言語辞書を用いて、形態素解析を行う形態素解析部を備え、
前記絵文字抽出・重複削除部は、前記形態素解析結果を用いて、前記言語辞書に基づき、絵文字、顔文字、記号とそれらの直前または直後の文字列とのつながりをチェックし、絵文字、顔文字、記号につながる文字列の場合のみ、絵文字、顔文字、記号の読みの一部または読み全体と重複があるか否かをチェックし、重複部分がある場合は、重複部分を前記入力したテキストから削除することを特徴とする付記1に記載の音声合成装置。
(付記3) 前記言語辞書に登録されている表記は、絵文字、顔文字、記号以外の表記のみであり、
更に、予め、絵文字、顔文字、記号とその読みと削除すべき文字列が組にして登録されている絵文字辞書を備え、
前記絵文字抽出・重複削除部は、前記絵文字辞書に基づき、重複チェックを行い、重複部分を削除する際に、当該絵文字、顔文字または記号に対応する削除すべき文字列のみ削除することを特徴とする付記1または2に記載の音声合成装置。
(付記4) 前記絵文字辞書は、予め、絵文字、顔文字、記号とその読みと削除すべき文字列と削除すべき文字列の位置が組にして登録されており、
前記絵文字抽出・重複削除部は、重複部分がある場合は、当該絵文字、顔文字または記号に対応する削除すべき文字列が、前記削除すべき文字列の位置にある場合のみ削除することを特徴とする付記3に記載の音声合成装置。
(付記5)前記絵文字抽出・重複削除部は、重複部分のチェックまたは重複部分の削除後に、当該絵文字、顔文字または記号を読みに変換することを特徴とする付記1ないし4に記載の音声合成装置。
(付記6) 前記絵文字辞書は、予め、絵文字、顔文字、記号とその読みと削除すべき文字列と削除すべき文字列の位置と削除後の読みが組にして登録されており、
前記絵文字抽出・重複削除部は、重複部分がある場合は、当該絵文字、顔文字または記号に対応する削除すべき文字列が、前記削除すべき文字列の位置にある場合のみ削除し、当該絵文字、顔文字または記号の削除すべき読みに対応する削除後の読みに変換することを特徴とする付記4に記載の音声合成装置。
(付記7) 絵文字、顔文字、記号を含むテキストを読み上げる音声合成装置を実現するために、コンピュータにロードされて実行されるプログラムであって、
テキストを入力するステップと、
予め表記とその読みが対にして登録されている言語辞書を用いて、テキストに含まれる絵文字、顔文字、記号の直前または直後に、これらの絵文字、顔文字、記号の読みの一部または読み全体と重複する記述があるか否かをチェックし、重複部分がある場合は、重複部分を前記入力したテキストから削除する絵文字抽出・重複削除ステップと、
前記言語辞書を用いて、前記重複部分削除済みのテキストを音声合成のための読みに変換するステップと、
前記読みを入力にして、音声を合成するステップを備えたことを特徴とする音声合成プログラム。
(付記8) 絵文字、顔文字、記号を含むテキストを読み上げる音声合成装置を実現するために、コンピュータにロードされて実行されるプログラムであって、
前記言語辞書は、予め、表記と読みと品詞情報を組にして登録されており、
更に、テキストを入力して、前記言語辞書を用いて、形態素解析を行うステップを備え、
前記絵文字抽出・重複削除ステップは、前記形態素解析結果を用いて、絵文字、顔文字、記号の直前または直後の文字列とのつながりをチェックし、絵文字、顔文字、記号につながる文字列の場合のみ、絵文字、顔文字、記号の読みの一部または読み全体と重複があるか否かをチェックし、重複部分がある場合は、重複部分を前記入力したテキストから削除するステップであることを特徴とする付記6に記載の音声合成プログラム。
第1の実施形態にかかる音声合成装置の概略構成を示すブロック図である。 第1の実施形態にかかる音声合成装置のフローチャートを示す図である。 第1の実施形態にかかる音声合成装置のテキストの読みの重複の削除を示す図である。 第1の実施形態にかかる音声合成装置のテキストの変換例を示す図である。 第2の実施形態にかかる音声合成装置の概略構成を示すブロック図である。 第2の実施形態にかかる音声合成装置のフローチャートを示す図である。 第2の実施形態にかかる形態素解析の例を示す図である。 第3の実施形態にかかる音声合成装置の概略構成を示すブロック図である。 第3の実施形態にかかる音声合成装置における絵文字辞書の内容の例である。 第4の実施形態にかかる音声合成装置における絵文字辞書の内容の例である。 第5の実施形態にかかる音声合成装置における絵文字辞書の内容の例である。 第5の実施形態にかかる音声合成装置のフローチャートを示す図である。 従来の音声合成装置の概略構成を示すブロック図である。 従来の音声合成装置のフローチャートを示す図である。 従来の音声合成装置で使用する絵文字読み表である。 従来の音声合成装置で読み上げた例を示す図である。 従来の音声合成装置で読み上げた例の問題点を示す図である。 コンピュータ環境の例示図
符号の説明
101 テキスト入力部
102 絵文字抽出・重複削除部
103 言語辞書
104 テキスト読み変換部
105 音声合成部
106 音声辞書
107 形態素解析部
108 絵文字辞書
901 テキスト入力装置
902 絵文字抽出装置
903 絵文字読み表
904 絵文字読み変換装置
905 音声合成装置
991 回線先の記憶装置
992 CD−ROM、CD−RW、DVD−R、DVD−RAM、DVD−RWやフレキシブルディスク等の可搬型記録媒体
992−1 CD−ROM、CD−RW、DVD−R、DVD−RAM、DVD−RW
992−2 フレキシブルディスク
993 コンピュータ
994 コンピュータ上のRAM/ハードディスク等の記録媒体

Claims (5)

  1. テキストを読み上げる音声合成装置において、
    表記とその読みと品詞情報を組にして登録されている言語辞書と、
    テキストを入力するテキスト入力部と、
    前記言語辞書を用いて、前記テキストの形態素解析を行う形態素解析部と、
    前記言語辞書に登録されている絵文字、顔文字または記号が前記テキストに含まれている場合に、前記形態素解析結果を用いて、前記絵文字、前記顔文字、前記記号とそれらの直前または直後の文字列とのつながりをチェックし、前記絵文字、前記顔文字、前記記号につながる文字列の場合、前記絵文字、前記顔文字、前記記号の読みの一部または読み全体と重複する記述があるか否かをチェックし、重複部分がある場合のみ、前記入力したテキストから当該重複部分を削除し、それ以外の場合は削除しない絵文字抽出・重複削除部と、
    前記言語辞書を用いて、前記重複部分削除済みのテキストを音声合成のための読みに変換するテキスト変換部と、
    前記読みを入力にして、音声を合成する音声合成部を備えたことを特徴とする音声合成装置。
  2. 前記言語辞書に登録されている表記は、絵文字、顔文字、記号以外の表記のみであり、
    更に、予め、前記絵文字、前記顔文字、前記記号とその読みと削除すべき文字列が組にして登録されている絵文字辞書を備え、
    前記絵文字抽出・重複削除部は、前記絵文字辞書に基づき、重複チェックを行い、重複部分を削除する際に、前記絵文字、前記顔文字または前記記号に対応する削除すべき文字列のみ削除し、それ以外の場合は削除しないことを特徴とする請求項1に記載の音声合成装置。
  3. 前記絵文字辞書は、予め、絵文字、顔文字、記号とその読みと削除すべき文字列と削除すべき文字列の位置が組にして登録されており
    前記絵文字抽出・重複削除部は、重複部分がある場合は前記絵文字、前記顔文字または前記記号に対応する削除すべき文字列が、前記削除すべき文字列の位置にある場合のみ削除し、それ以外の場合は削除しないことを特徴とする請求項に記載の音声合成装置。
  4. 前記絵文字辞書は、予め、絵文字、顔文字、記号とその読みと削除すべき文字列と削除すべき文字列の位置と削除後の読みが組にして登録されており、
    前記絵文字抽出・重複削除部は、重複部分がある場合は、前記絵文字、前記顔文字または前記記号に対応する削除すべき文字列が、前記削除すべき文字列の位置にある場合のみ削除し、前記絵文字、前記顔文字または前記記号の削除すべき読みに対応する削除後の読みに変換し、それ以外の場合は削除しないことを特徴とする請求項に記載の音声合成装置。
  5. テキストを読み上げる音声合成装置を実現するために、コンピュータにロードされて実行されるプログラムであって、
    テキストを入力するステップと、
    予め表記とその読みと品詞情報を組にして登録されている言語辞書を用いて、形態素解析を行うステップと、
    前記言語辞書に登録されている絵文字、顔文字または記号が前記テキストに含まれている場合に、前記形態素解析結果を用いて、前記絵文字、前記顔文字、前記記号とそれらの直前または直後の文字列とのつながりをチェックし、前記絵文字、前記顔文字、前記記号につながる文字列の場合のみ、前記絵文字、前記顔文字、前記記号の読みの一部または読み全体と重複する記述があるか否かをチェックし、重複部分がある場合は、前記重複部分を前記入力したテキストから削除し、それ以外の場合は削除しない絵文字抽出・重複削除ステップと、
    前記言語辞書を用いて、前記重複部分削除済みのテキストを音声合成のための読みに変換するステップと、
    前記読みを入力にして、音声を合成するステップを前記コンピュータに実行させる音声合成プログラム。
JP2004378901A 2004-12-28 2004-12-28 音声合成装置及び音声合成プログラム Expired - Fee Related JP4407510B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004378901A JP4407510B2 (ja) 2004-12-28 2004-12-28 音声合成装置及び音声合成プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004378901A JP4407510B2 (ja) 2004-12-28 2004-12-28 音声合成装置及び音声合成プログラム

Publications (2)

Publication Number Publication Date
JP2006184642A JP2006184642A (ja) 2006-07-13
JP4407510B2 true JP4407510B2 (ja) 2010-02-03

Family

ID=36737796

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004378901A Expired - Fee Related JP4407510B2 (ja) 2004-12-28 2004-12-28 音声合成装置及び音声合成プログラム

Country Status (1)

Country Link
JP (1) JP4407510B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4930584B2 (ja) * 2007-03-20 2012-05-16 富士通株式会社 音声合成装置、音声合成システム、言語処理装置、音声合成方法及びコンピュータプログラム
JP7179512B2 (ja) * 2018-07-10 2022-11-29 Line株式会社 情報処理方法、情報処理装置、及びプログラム

Also Published As

Publication number Publication date
JP2006184642A (ja) 2006-07-13

Similar Documents

Publication Publication Date Title
JP4872323B2 (ja) Htmlメール生成システム、通信装置、htmlメール生成方法、及び記録媒体
JP3372532B2 (ja) 感情情報抽出方法および感情情報抽出プログラムの計算機読み取り可能な記録媒体
JP2009258293A (ja) 音声認識語彙辞書作成装置
JP5160594B2 (ja) 音声認識装置および音声認識方法
JP4407510B2 (ja) 音声合成装置及び音声合成プログラム
JP6619932B2 (ja) 形態素解析装置およびプログラム
JP6249760B2 (ja) テキスト読み上げ装置
JP3589972B2 (ja) 音声合成装置
JP2002207728A (ja) 表音文字生成装置及びそれを実現するためのプログラムを記録した記録媒体
JP5379416B2 (ja) 言語処理装置および言語処理方法
JP2003178087A (ja) 外国語電子辞書検索装置および方法
JP4677869B2 (ja) 音声出力機能付き情報表示制御装置およびその制御プログラム
JP3958908B2 (ja) 書き起こしテキスト自動生成装置、音声認識装置および記録媒体
JP3284976B2 (ja) 音声合成装置及びコンピュータ可読記録媒体
JP4941495B2 (ja) ユーザ辞書作成システム、方法、及び、プログラム
JP2010211004A (ja) 辞書作成装置、辞書作成システム、辞書作成方法および辞書作成プログラム
JP2006098552A (ja) 音声情報生成装置、音声情報生成プログラム及び音声情報生成方法
JP5542368B2 (ja) 文字列入力装置、文字列入力方法、およびプログラム
JP2003202893A (ja) 統計的言語モデルを作成するためのコーパス処理装置及び方法並びにプログラム
JP2004118461A (ja) 言語モデルのトレーニング方法、かな漢字変換方法、言語モデルのトレーニング装置、かな漢字変換装置、コンピュータプログラムおよびコンピュータ読み取り可能な記録媒体
JP2008083410A (ja) 音声認識装置及びその方法
JPH10149355A (ja) 音声出力付き仮名漢字変換方式
JP3069532B2 (ja) かな漢字変換方法およびその装置並びにかな漢字変換方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2004013850A (ja) ユーザ固有の表意文字に対応したテキスト表示/読上げ装置及び方法
JP4319851B2 (ja) 読み上げ装置、読み上げ方法及び読み上げ処理用プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060404

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20070531

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20070606

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20080722

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090406

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090421

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090529

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091020

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091102

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121120

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121120

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131120

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees