JP3997278B2 - Telephone device, speech synthesis system, phoneme information registration device, phoneme information registration / speech synthesis device - Google Patents

Telephone device, speech synthesis system, phoneme information registration device, phoneme information registration / speech synthesis device Download PDF

Info

Publication number
JP3997278B2
JP3997278B2 JP2001133731A JP2001133731A JP3997278B2 JP 3997278 B2 JP3997278 B2 JP 3997278B2 JP 2001133731 A JP2001133731 A JP 2001133731A JP 2001133731 A JP2001133731 A JP 2001133731A JP 3997278 B2 JP3997278 B2 JP 3997278B2
Authority
JP
Japan
Prior art keywords
phoneme
information
storage means
information storage
speech
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001133731A
Other languages
Japanese (ja)
Other versions
JP2002330194A (en
JP2002330194A5 (en
Inventor
誠 河田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kenwood KK
Original Assignee
Kenwood KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kenwood KK filed Critical Kenwood KK
Priority to JP2001133731A priority Critical patent/JP3997278B2/en
Publication of JP2002330194A publication Critical patent/JP2002330194A/en
Publication of JP2002330194A5 publication Critical patent/JP2002330194A5/ja
Application granted granted Critical
Publication of JP3997278B2 publication Critical patent/JP3997278B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide a portable telephone set having easy registration capability of characteristic parameters of user's voice on a voice element basis. SOLUTION: When a call is incoming while the portable telephone set is standing by, followed by an off-hook operation by the user, a control unit 24 controls a baseband signal processing unit 3 and a radio unit 2 to transmit a reception response signal to a radio base station to transfer to a communication mode so as to communicate with the opposite party. Thereafter the control unit 24 controls a voice analysis unit 11 to analyze the voice signal input from a transmission microphone 8 for communication, so that characteristic parameters are obtained on a voice element basis. The control unit 24 then inputs the characteristic parameters analyzed by the voice analysis unit 11, to store into a voice element information internal storage 12 and a portable voice element information external storage 13. When the user operates on-hook, the control unit 24 controls the baseband signal processing unit 3 and the radio unit 2 to transmit an on-hook signal so as to terminate the call, and then controls the voice analysis unit 11 to terminate the voice analysis.

Description

【0001】
【発明の属する技術分野】
本発明は電話装置、音声合成システム、音素情報登録装置に係り、とくに、電話での通話中に送話者の音素別の特徴パラメータの登録を可能にした電話装置、音声合成システム、音素情報登録装置に関する。
【0002】
【従来の技術】
予め、自分の声をPARCOR方式等の所定の方式で分析した音素別の特徴パラメータを登録しておき、該音素別の特徴パラメータを用いて音声合成により、所望の文字列を音声で読み上げさせることができるようにした音声合成システムがある。かかる音声合成システムは種々の場面で利用でき、例えば、自分の不在時に自分の声によりインタフォーンで「ただいま留守にしています」の如く訪問客に応答させたり、障害で発話が困難になった場合に、文字入力した会話文を自分の声で読み上げさせて人と会話をしたり、遠く離れた人に送ったメッセージ文データを、送り主の声で音声合成出力させたりすることができる。また、本の文章データを自分の声で読み上げさせることもできる。
【0003】
【発明が解決しようとする課題】
ところが、自分の声について音素別の特徴パラメータの登録をするには、パーソナルコンピュータなどによる音声認識装置を用い、マイクに向かって長時間にわたり種々の言葉の発話をしながら決められた手順で登録作業をしなければならず、作業が非常に面倒であった。
本発明は上記した従来技術の問題に鑑み、自分の声の音素別の特徴パラメータの登録を簡単に行える電話装置、音声合成システム、音素情報登録装置、音素情報登録・音声合成装置を提供することを、その目的とする。
【0004】
【課題を解決するための手段】
請求項1に係る本発明の電話装置は、通話時、音声信号を回線を介して局側と送受信する電話装置において、通話中に当該電話装置に入力された音声信号に基づき、音素の切り出し、音素の特徴パラメータの抽出と音素の種類の判別をし、音素別の特徴パラメータを電話装置に接続された音素情報外部記憶手段に記憶させる音声分析・登録手段を備えたこと、を特徴としており、音素情報登録モードのオン・オフ操作を行う操作手段を装備し、音声分析・登録手段は、音素情報登録モードオンの場合に、通話中に当該電話装置に入力された音声信号に基づき、音素の切り出し、音素の特徴パラメータの抽出と音素の種類の判別をし、音素別の特徴パラメータを音素情報外部記憶手段に記憶させるようにしても良い。
請求項1の変形として、話者識別情報を記憶した話者識別情報記憶手段を装備し、音声分析・登録手段は、音素別の特徴パラメータに対応付けて話者識別情報を音素情報外部記憶手段に記憶させるようにしても良い。
【0005】
請求項4に係る本発明の他の電話装置では、音素別の特徴パラメータを記憶する音素情報記憶手段と、通話中に当該電話装置に入力された音声信号に基づき、音素の切り出し、音素の特徴パラメータの抽出と音素の種類の判別をし、音素別の特徴パラメータを音素情報記憶手段に記憶させる音声分析・登録手段と、音素情報の転送要求に基づき、音素情報記憶手段に記憶された音素別の特徴パラメータを音素情報記憶手段から読み出し電話装置に接続された音素情報外部記憶手段に書き込む転送手段と、を備えたことを特徴としており、音素情報登録モードのオン・オフ操作を行う操作手段を装備し、音声分析・登録手段は、音素情報登録モードオンの場合に、通話中に当該電話装置に入力された音声信号に基づき、音素の切り出し、音素の特徴パラメータの抽出と音素の種類の判別をし、音素別の特徴パラメータを音素情報記憶手段に記憶させるようにしても良い。
請求項4の変形として、話者識別情報を記憶した話者識別情報記憶手段を装備し、音声分析・登録手段は、音素別の特徴パラメータに対応付けて話者識別情報を音素情報記憶手段に記憶させるようにし、転送手段は音素情報の転送要求に基づき、音素情報記憶手段から音素別の特徴パラメータと対応する話者識別情報を読み出し音素情報外部記憶手段に書き込むようにしたり、或いは、話者識別情報を記憶した話者識別情報記憶手段を装備し、転送手段は音素情報の転送要求に基づき、音素情報記憶手段に記憶された音素別の特徴パラメータと話者識別情報記憶手段に記憶された話者識別情報を読み出し対応付けて音素情報外部記憶手段に書き込むようにして良い。
【0006】
請求項8に係る本発明の更に他の電話装置では、通話時、音声信号を回線を介して局側と送受信し、メール受信時には受信メールを受信メール情報記憶手段に記憶する電話装置において、通話中に当該電話装置に入力された音声信号に基づき、音素の切り出し、音素の特徴パラメータの抽出と音素の種類の判別をし、音素別の特徴パラメータを電話装置に接続された音素情報外部記憶手段に記憶させる音声分析・登録手段と、所望受信メールの音声読み上げが指示されると、受信メール情報記憶手段の中の所望受信メールを対象に、電話装置に接続された音素情報外部記憶手段中の音素別の特徴パラメータを用いて音声合成により受信メール本文を表す音声出力を行う音声合成手段と、を備えたことを特徴としており、音素情報登録モードのオン・オフ操作を行う操作手段を装備し、音声分析・登録手段は、音素情報登録モードオンの場合に、通話中に当該電話装置に入力された音声信号に基づき、音素の切り出し、音素の特徴パラメータの抽出と音素の種類の判別をし、音素別の特徴パラメータを音素情報外部記憶手段に記憶させるようにしても良い。
請求項8の変形として、音素情報外部記憶手段中の音素別の特徴パラメータを用いて音声合成する代わりに、音素別の特徴パラメータを記憶する音素情報記憶手段と、転送要求に従い、電話装置に接続された音素情報外部記憶手段から音素別の特徴パラメータを読み出し音素情報記憶手段に記憶させる転送手段を装備し、音声合成手段は、所望受信メールの音声読み上げが指示されると、受信メール情報記憶手段の中の所望受信メールを対象に、音素情報記憶手段中の音素別の特徴パラメータを用いて音声合成により受信メール本文を表す音声出力を行うようにしても良い。
【0007】
請求項10に係る本発明の電話装置では、話者識別情報を記憶した話者識別情報記憶手段と、通話中に当該電話装置に入力された音声信号に基づき、音素の切り出し、音素の特徴パラメータの抽出と音素の種類の判別をし、音素別の特徴パラメータを話者識別情報記憶手段の話者識別情報と対応付けて電話装置に接続された音素情報外部記憶手段に記憶させる音声分析・登録手段と、所望受信メールの音声読み上げが指示されると、受信メール情報記憶手段の中の所望受信メールを対象に、電話装置に接続された音素情報外部記憶手段の内、話者識別情報が所望受信メールの送信元識別情報と一致する音素別の特徴パラメータを用いて音声合成により受信メール本文を表す音声出力を行う音声合成手段と、を備えたことを特徴としており、音素情報登録モードのオン・オフ操作を行う操作手段を装備し、音声分析・登録手段は、音素情報登録モードオンの場合に、通話中に当該電話装置に入力された音声信号に基づき、音素の切り出し、音素の特徴パラメータの抽出と音素の種類の判別をし、音素別の特徴パラメータを話者識別情報記憶手段の話者識別情報と対応付けて音素情報外部記憶手段に記憶させるようにしても良い。
請求項1の変形として、音素情報外部記憶手段中の音素別の特徴パラメータを用いて音声合成する代わりに、音素別の特徴パラメータを記憶する音素情報記憶手段と、転送要求に従い、電話装置に接続された音素情報外部記憶手段から音素別の特徴パラメータと対応する話者識別情報を読み出し音素情報記憶手段に記憶させる転送手段を装備し、音声合成手段は、所望受信メールの音声読み上げが指示されると、受信メール情報記憶手段の中の所望受信メールを対象に、音素情報記憶手段の内、話者識別情報が所望受信メールの送信元識別情報と一致する音素別の特徴パラメータを用いて音声合成により受信メール本文を表す音声出力を行うようにしても良い。
【0008】
請求項12に係る本発明の電話装置では、音素別の特徴パラメータを記憶する音素情報記憶手段と、通話中に当該電話装置に入力された音声信号に基づき、音素の切り出し、音素の特徴パラメータの抽出と音素の種類の判別をし、音素別の特徴パラメータを音素情報記憶手段に記憶させる音声分析・登録手段と、音素情報の転送要求に基づき、音素情報記憶手段から音素別の特徴パラメータを読み出し電話装置に接続された音素情報外部記憶手段に書き込む転送手段と、所望受信メールの音声読み上げが指示されると、受信メール情報記憶手段の中の所望受信メールを対象に、電話装置に接続された音素情報外部記憶手段の音素別の特徴パラメータを用いて音声合成により本文を表す音声出力を行う音声合成手段と、を備えたことを特徴としており、音素情報登録モードのオン・オフ操作を行う操作手段を装備し、音声分析・登録手段は、音素情報登録モードオンの場合に、通話中に当該電話装置に入力された音声信号に基づき、音素の切り出し、音素の特徴パラメータの抽出と音素の種類の判別をし、音素別の特徴パラメータを音素情報記憶手段に記憶させるようにしても良い。
素情報外部記憶手段中の音素別の特徴パラメータを用いて音声合成する代わりに、音素情報の第1転送要求に基づき、音素情報記憶手段に記憶された音素別の特徴パラメータを読み出し電話装置に接続された音素情報外部記憶手段に書き込んだり、音素情報の第2転送要求に基づき、電話装置に接続された音素情報外部記憶手段から音素別の特徴パラメータを読み出し音素情報記憶手段に書き込む転送手段を装備し、音声合成手段は、所望受信メールの音声読み上げが指示されると、受信メール情報記憶手段の中の所望受信メールを対象に、音素情報記憶手段の音素別の特徴パラメータを用いて音声合成により本文を表す音声出力を行うようにしても良い。
請求項1の変形として、話者識別情報を記憶した話者識別情報記憶手段を装備し、音声分析・登録手段は、音素別の特徴パラメータを話者識別情報記憶手段に記憶された話者識別情報と対応付けて音素情報記憶手段に記憶させ、転送手段は、音素情報記憶手段に記憶された音素別の特徴パラメータと対応する話者識別情報を読み出し電話装置に接続された音素情報外部記憶手段に書き込み、音声合成手段は、所望受信メールの音声読み上げが指示されると、受信メール情報記憶手段の中の所望受信メールを対象に、電話装置に接続された音素情報外部記憶手段の内、話者識別情報が所望受信メールの送信元識別情報と一致する音素別の特徴パラメータを用いて音声合成により受信メール本文を表す音声出力を行うようにしても良い。或いは、話者識別情報を記憶した話者識別情報記憶手段を装備し、音声分析・登録手段は、音素別の特徴パラメータを音素情報記憶手段に記憶させ、転送手段は、音素情報記憶手段に記憶された音素別の特徴パラメータと話者識別情報記憶手段に記憶された話者識別情報を対応付けて電話装置に接続された音素情報外部記憶手段に書き込み、音声合成手段は、所望受信メールの音声読み上げが指示されると、受信メール情報記憶手段の中の所望受信メールを対象に、電話装置に接続された音素情報外部記憶手段の内、話者識別情報が所望受信メールの送信元識別情報と一致する音素別の特徴パラメータを用いて音声合成により受信メール本文を表す音声出力を行うようにしても良い。
【0009】
請求項16に係る本発明の電話装置では、話者識別情報を記憶した話者識別情報記憶手段と、音素別の特徴パラメータを記憶する音素情報記憶手段と、通話中に当該電話装置に入力された音声信号に基づき、音素の切り出し、音素の特徴パラメータの抽出と音素の種類の判別をし、音素別の特徴パラメータを話者識別情報記憶手段に記憶された話者識別情報と対応付けて音素情報記憶手段に記憶させる音声分析・登録手段と、音素情報の第1転送要求に基づき、音素情報記憶手段に記憶された音素別の特徴パラメータと話者識別情報記憶手段に記憶された話者識別情報を読み出し対応付けて電話装置に接続された音素情報外部記憶手段に書き込み、音素情報の第2転送要求に基づき、電話装置に接続された音素情報外部記憶手段に記憶された音素別の特徴パラメータと対応する話者識別情報を読み出し音素情報記憶手段に書き込む転送手段と、所望受信メールの音声読み上げが指示されると、受信メール情報記憶手段の中の所望受信メールを対象に、音素情報記憶手段の内、話者識別情報が所望受信メールの送信元識別情報と一致する音素別の特徴パラメータを用いて音声合成により本文を表す音声出力を行う音声合成手段と、を備えたことを特徴としており、音素情報登録モードのオン・オフ操作を行う操作手段を装備し、音声分析・登録手段は、音素情報登録モードオンの場合に、通話中に当該電話装置に入力された音声信号に基づき、音素の切り出し、音素の特徴パラメータの抽出と音素の種類の判別をし、音素別の特徴パラメータを話者識別情報記憶手段に記憶された話者識別情報と対応付けて音素情報記憶手段に記憶させるようにしても良い。
請求項16の変形として、音声分析・登録手段は、音素別の特徴パラメータを音素情報記憶手段に記憶させ、転送手段は、第1転送要求に基づき、音素情報記憶手段に記憶された音素別の特徴パラメータと話者識別情報記憶手段に記憶された話者識別情報を読み出し、対応付けて電話装置に接続された音素情報外部記憶手段に書き込むようにしても良い。
【0010】
請求項18に係る本発明の電話装置では、通話時、音声信号を回線を介して局側と送受信する電話装置において、音素別の特徴パラメータを記憶する音素情報記憶手段と、通話中に当該電話装置に入力された音声信号に基づき、音素の切り出し、音素の特徴パラメータの抽出と音素の種類の判別をし、音素別の特徴パラメータを音素情報記憶手段に記憶させる音声分析・登録手段と、1または複数のメッセージ文を記憶したメッセージ記憶手段と、所望メッセージ文の音声読み上げが指示されると、メッセージ記憶手段の中の所望メッセージ文を対象に、音素情報記憶手段の音素別の特徴パラメータを用いて音声合成によりメッセージ文を表す音声出力を行う音声合成手段と、を備えたことを特徴としており、音素情報登録モードのオン・オフ操作を行う操作手段を装備し、音声分析・登録手段は、音素情報登録モードオンの場合に、通話中に当該電話装置に入力された音声信号に基づき、音素の切り出し、音素の特徴パラメータの抽出と音素の種類の判別をし、音素別の特徴パラメータを音素情報記憶手段に記憶させるようにしても良い。
請求項18の変形として、音声分析・登録手段は、音素別の特徴パラメータを電話装置に接続された音素情報外部記憶手段に記憶させ、音声合成手段は、音素情報外部記憶手段の音素別の特徴パラメータを用いて音声合成によりメッセージ文を表す音声出力を行うようにしたり、或いは、音声分析・登録手段は音素別の特徴パラメータを音素情報記憶手段に記憶させるが、転送手段が転送要求に従い、音素情報記憶手段の音素別の特徴パラメータを電話装置に接続された音素情報外部記憶手段に記憶させ、音声合成手段は、音素情報外部記憶手段の音素別の特徴パラメータを用いて音声合成によりメッセージ文を表す音声出力を行うようにしても良い。また、音声分析・登録手段は音素別の特徴パラメータを音素情報記憶手段に記憶させ、転送手段が第1転送要求に従い、音素情報記憶手段の音素別の特徴パラメータを電話装置に接続された音素情報外部記憶手段に記憶させ、第2転送要求に従い、電話装置に接続された音素情報外部記憶手段に記憶された音素別の特徴パラメータを音素情報記憶手段に記憶させ、音声合成手段は、音素情報記憶手段の音素別の特徴パラメータを用いて音声合成によりメッセージ文を表す音声出力を行うようにしても良い。
【0011】
請求項22に係る本発明の音声合成システムでは、通話時、音声信号を回線を介して局側と送受信する電話装置と、文字情報記憶手段に記憶された文字情報を、所定の記憶手段に記憶された音素別の特徴パラメータを用いて音声合成し、音声出力する音声合成装置と、を備えた音声合成システムにおいて、電話装置は、当該電話装置に入力された音声信号に基づき、音素の切り出し、音素の特徴パラメータの抽出と音素の種類の判別をし、音素別の特徴パラメータを電話装置に接続された音素情報外部記憶手段に記憶させる音声分析・登録手段を備え、音声合成装置は、音声合成装置に接続された音素情報外部記憶手段の音素別の特徴パラメータを用いて、文字情報記憶手段に記憶された文字情報を音声合成して音声出力するようにしたこと、を特徴としており、電話装置は、音素情報登録モードのオン・オフ操作を行う操作手段を装備し、音声分析・登録手段は、音素情報登録モードオンの場合に、通話中に当該電話装置に入力された音声信号に基づき、音素の切り出し、音素の特徴パラメータの抽出と音素の種類の判別をし、音素別の特徴パラメータを音素情報外部記憶手段に記憶させるようにしても良い。
請求項22の変形として、電話装置に音素別の特徴パラメータを記憶する音素情報記憶手段を装備し、音声分析・登録手段は、音素別の特徴パラメータを音素情報記憶手段に記憶させ、転送手段が音素情報の転送要求に基づき、音素情報記憶手段に記憶された音素別の特徴パラメータを読み出し電話装置に接続された音素情報外部記憶手段に書き込むようにしたり、音声合成装置に音素別の特徴パラメータを記憶する音素情報記憶手段を備え、転送手段が音素情報の転送要求に基づき、音声合成装置に接続された音素情報外部記憶手段から音素別の特徴パラメータを読み出し音素情報記憶手段に記憶させるようにしても良い。
【0012】
請求項26に係る本発明の音素情報登録装置では、無線基地局と移動電話装置からの電波を受信し、当該移動電話装置で通話中の音声信号を取り出す受信手段と、受信手段で取り出された音声信号に基づき、音素の切り出し、音素の特徴パラメータの抽出と音素の種類の判別をし、音素別の特徴パラメータを音素情報外部記憶手段に記憶させる音声分析・登録手段と、を備えたことを特徴としており、音素情報登録モードのオン・オフ操作を行う操作手段を備えるとともに、音声分析・登録手段は、音素情報登録モードがオン時に、音素別の特徴パラメータを音素情報外部記憶手段に記憶させるようにしても良い。
請求項26の変形として、話者識別情報を記憶した話者識別情報記憶手段を備え、音声分析・登録手段は、音素別の特徴パラメータに対応付けて話者識別情報を音素情報外部記憶手段に記憶させるようにしても良い。
【0013】
請求項29に係る本発明の音素情報登録装置では、無線基地局と移動電話装置からの電波を受信し、当該移動電話装置で通話中の音声信号を取り出す受信手段と、音素別の特徴パラメータを記憶する音素情報記憶手段と、受信手段で取り出された音声信号に基づき、音素の切り出し、音素の特徴パラメータの抽出と音素の種類の判別をし、音素別の特徴パラメータを音素情報記憶手段に記憶させる音声分析・登録手段と、音素情報の転送要求に基づき、音素情報記憶手段の音素別の特徴パラメータを読み出し音素情報外部記憶手段に書き込む転送手段と、を備えたことを特徴としており、音素情報登録モードのオン・オフ操作を行う操作手段を備えるとともに、音声分析・登録手段は、音素情報登録モードがオン時に、音素別の特徴パラメータを音素情報記憶手段に記憶させ、転送手段は音素情報の転送要求に基づき、音素情報記憶手段の音素別の特徴パラメータを読み出し音素情報外部記憶手段に書き込むようにしても良い。
請求項26の変形として、話者識別情報を記憶した話者識別情報記憶手段を備え、音声分析・登録手段は、音素別の特徴パラメータに対応付けて話者識別情報も音素情報記憶手段に記憶させるようにし、転送手段は音素情報の転送要求に基づき、音素情報記憶手段の音素別の特徴パラメータと対応する話者識別情報を読み出し音素情報外部記憶手段に書き込むようにしても良い。或いは、話者識別情報を記憶した話者識別情報記憶手段を備え、音声分析・登録手段は、音素別の特徴パラメータを音素情報記憶手段に記憶させ、転送手段は音素情報の転送要求に基づき、音素情報記憶手段の音素別の特徴パラメータと話者識別情報記憶手段の話者識別情報を読み出し対応付けて音素情報外部記憶手段に書き込むようにしても良い。
【0014】
請求項33記載の音素情報登録・音声合成装置は、無線基地局と移動電話装置からの電波を受信し、当該移動電話装置で通話中の音声信号を取り出す受信手段と、音素別の特徴パラメータを記憶する音素情報記憶手段と、受信手段で取り出された音声信号に基づき、音素の切り出し、音素の特徴パラメータの抽出と音素の種類の判別をし、音素別の特徴パラメータを音素情報記憶手段に記憶させる音声分析・登録手段と、1または複数の文字情報を記憶した文字情報記憶手段と、所望文字情報の音声読み上げが指示されると、文字情報記憶手段の中の所望文字情報を対象に、音素情報記憶手段の音素別の特徴パラメータを用いて音声合成により文字文を表す音声出力を行う音声合成手段と、を備えたことを特徴としており、音素情報登録モードのオン・オフ操作を行う操作手段を備えるとともに、音声分析・登録手段は、音素情報登録モードがオン時に、音素別の特徴パラメータを音素情報記憶手段に記憶させるようにしても良い。
請求項33の変形として、音声分析・登録手段は音素別の特徴パラメータを音素情報外部記憶手段に記憶させ、音声合成手段は、音素情報外部記憶手段中の音素別の特徴パラメータを用いて音声合成により文字情報を表す音声出力を行うようにするか、或るいは、転送手段が音素情報の転送要求に基づき、音素情報記憶手段に記憶された音素別の特徴パラメータを読み出し、音素情報外部記憶手段に書き込み、音声合成手段は、音素情報外部記憶手段中の音素別の特徴パラメータを用いて音声合成により文字情報を表す音声出力を行うようにしても良い。また、転送手段が音素情報の第1転送要求に基づき、音素情報記憶手段に記憶された音素別の特徴パラメータを読み出し、音素情報外部記憶手段に書き込み、音素情報の第2転送要求に基づき、音素情報外部記憶手段に記憶された音素別の特徴パラメータを読み出し、音素情報記憶手段に書き込むようにしても良い。
【0015】
請求項37記載の音声合成システムは、文字情報記憶手段に記憶された文字情報を、所定の記憶手段に記憶された音素別の特徴パラメータを用いて音声合成し、音声出力する音声合成装置と、音素別の特徴パラメータの登録を行う音素情報登録装置とを備えた音声合成システムにおいて、音素情報登録装置は、無線基地局と移動電話装置からの電波を受信し、当該移動電話装置で通話中の音声信号を取り出す受信手段と、受信手段で取り出された音声信号に基づき、音素の切り出し、音素の特徴パラメータの抽出と音素の種類の判別をし、音素別の特徴パラメータを音素情報登録装置に接続された音素情報外部記憶手段に記憶させる音声分析・登録手段と、を備え、音声合成装置は、音声合成装置に接続された音素情報外部記憶手段の音素別の特徴パラメータを用いて、文字情報記憶手段に記憶された文字情報を音声合成して音声出力するようにしたこと、を特徴としており、音素情報登録モードのオン・オフ操作を行う操作手段を備えるとともに、音声分析・登録手段は、音素情報登録モードがオン時に、音素別の特徴パラメータを音素情報外部記憶手段に記憶させるようにしても良い。
請求項37の変形として、音素情報登録装置に音素別の特徴パラメータを記憶する音素情報記憶手段を装備し、音声分析・登録手段は、受信手段で取り出された音声信号に基づき、音素の切り出し、音素の特徴パラメータの抽出と音素の種類の判別をし、音素別の特徴パラメータを音素情報記憶手段に記憶させ、転送手段が音素情報の転送要求に基づき、音素情報記憶手段に記憶された音素別の特徴パラメータを読み出し音素情報登録装置に接続された音素情報外部記憶手段に書き込むようにしても良い。或いは、音声合成装置に音素別の特徴パラメータを記憶する音素情報記憶手段を装備し、転送手段が音素情報の転送要求に基づき、音声合成装置に接続された音素情報外部記憶手段から音素別の特徴パラメータを読み出し音素情報記憶手段に書き込むようにしても良い。または、音素情報登録装置に音素別の特徴パラメータを記憶する音素情報記憶手段を装備し、音声分析・登録手段は、受信手段で取り出された音声信号に基づき、音素の切り出し、音素の特徴パラメータの抽出と音素の種類の判別をし、音素別の特徴パラメータを音素情報記憶手段に記憶させ、転送手段が音素情報の転送要求に基づき、音素情報記憶手段に記憶された音素別の特徴パラメータを読み出し音素情報登録装置に接続された音素情報外部記憶手段に書き込むようにし、かつ、音声合成装置に音素別の特徴パラメータを記憶する音素情報記憶手段を装備し、転送手段が音素情報の転送要求に基づき、音声合成装置に接続された音素情報外部記憶手段から音素別の特徴パラメータを読み出し音素情報記憶手段に書き込むようにしても良い。
【0016】
【発明の実施の形態】
次に、本発明の一つの実施の形態を図1を参照して説明する。図1は本発明に係るTDMAでセルラ方式の携帯電話の構成を示すブロック図である。
携帯電話100の内、1は送受共用のアンテナ、2は無線部(RF部)であり、送信時には後述するベースバンド信号処理部から入力した無線基地局宛の送信ディジタルベースバンド信号のディジタル変調、所望チャネル周波数への周波数変換、電力増幅を行ってアンテナ1へ出力し、外部の無線基地局へTDMA信号を送信させ、受信時にはアンテナ1が受波した無線基地局からの自局宛のTDMA信号の低雑音増幅、周波数変換、ディジタル復調を行って受信ディジタルベースバンド信号をベースバンド信号処理部へ出力する。3はベースバンド信号処理部であり、TDMA方式に従って受信ディジタルベースバンド信号から自局宛の制御チャネルのデータや通話チャネルのデータを抽出し、制御チャネルのデータはコントロール部へ出力し、通話チャネルの高能率符号化受話音声信号の場合には復号してディジタル受話音声信号に変換して出力する。また、ベースバンド信号処理部3は、TDMA方式に従って、コントロール部から送信用の制御データを入力すると、該制御データを含む所定の制御チャネルの送信ディジタルベースバンド信号を作成し、自局に割り当てられたタイムスロットのタイミングで無線部2へ出力したり、コントロール部から送信用の情報データを入力すると、該情報データを含む所定の通話チャネルの送信ディジタルベースバンド信号を作成し、自局に割り当てられたタイムスロットのタイミングで無線部2へ出力したりする。更に、ベースバンド信号処理部3は、通話時、外部から入力したディジタル送話音声信号を符号化して高能率符号化受話音声信号に変換し、該符号化受話音声信号を所定の通話チャネルに含む送信ディジタルベースバンド信号を作成し、自局に割り当てられたタイムスロットのタイミングで無線部2へ出力する。
【0017】
4はベースバンド信号処理部3から出力されたディジタル受話音声信号と後述する音声読み上げ部から出力されたディジタル読み上げ音声信号とを加算する加算部、5は加算部4の出力をアナログの音声信号に変換するD/A変換部、6は音声信号の電力増幅を行うアンプ部、7はアンプ部6の出力で駆動される受話スピーカ、8は送話マイク、9は送話マイク8で入力されたアナログの送話音声信号を増幅するアンプ部、10はアンプ部9の出力をディジタル送話音声信号に変換してベースバンド信号処理部3へ出力するA/D変換部である。
【0018】
11は音素情報自動登録モードがオン状態での通話時、ディジタル送話音声信号を入力し、音声分析を行って音素別の特徴パラメータを抽出して出力する音声分析部である。この音声分析部11は具体的には、図2に示す如く、ディジタル送話音声信号を入力し、音素毎に切り出しを行う音素切り出し回路11a、この音素切り出し回路11aで切り出された各音素毎のディジタル送話音声信号に対し、特徴パラメータの抽出を行う特徴抽出回路11b、音素毎の特徴パラメータから音素の種類を判別する音素判別回路11c、音素毎に特徴パラメータと音素の種類を対応付けた音素情報(音素別の特徴パラメータ)を出力する出力回路11dから構成されている。
【0019】
12は複数人分の音素情報を、話者識別情報としての電話番号と対応付けて記憶可能な音素情報内部記憶部、13は1人分の音素情報を話者識別情報としての電話番号と対応付けて記憶可能な可搬形音素情報外部記憶部であり、ここではオスコネクタ14を有する半導体メモリカードにより構成されているものとする。音素情報内部記憶部12は図3に示す如く第1記憶領域PAと第2記憶領域PBを有し、第1記憶領域PAには一人分の音素別の特徴パラメータと話者識別情報としての電話番号を対応付けて記憶可能である。第2記憶領域PBにはN人分の音素別の特徴パラメータと話者識別情報としての電話番号を対応付けて記憶可能である。第2記憶領域PBはN個の記憶領域PB1 〜PBN に分かれ、各記憶領域PBi には、話者識別情報としての電話番号と音素別の特徴パラメータを対応付けて記憶可能である。可搬形音素情報外部記憶部13は図4に示す話者識別情報としての電話番号と音素別の特徴パラメータを対応付けて記憶可能である。
【0020】
15は可搬形音素情報外部記憶部13のオスコネクタ14と着脱自在に接続可能なメスコネクタであり、後述するコントロール部と接続されている。16は文字情報記憶部であり、受信メール情報記憶領域QAとメッセージ記憶領域QBを有し、前者の受信メール情報記憶領域QAには、複数の受信メールについて、送信元識別情報としての送信元アドレス(ここでは送信元電話番号とする)、件名、本文を含む受信メール情報を記憶可能である。受信メール情報記憶領域QAは図5に示す如く、W個の記憶領域QA1 〜QAW に分かれ、各記憶領域QAj には1通の受信メールについての送信元電話番号、件名(文字列)、メール本文(文字列)を記憶可能である。メッセージ記憶領域QBは図5に示す如く、V個の記憶領域QB1 〜QBV に分かれ、各記憶領域QBk には1つのメッセージ文(文字列)を記憶可能である。17は音声読み上げ部であり、文字情報記憶部16に記憶された、1または複数の文字情報(1または複数の受信メールと1または複数のメッセージ)の内、ユーザ所望の受信メール(またはメッセージ)について、音素情報内部記憶部12に記憶された内、当該所望受信メールの送信人の音素情報(または自局のユーザの音素情報)を用いて、音声合成により件名とメール本文(またはメッセージ文)のディジタル読み上げ音声信号を作成して出力する。この音声読み上げ部17は具体的には図6に示す如く、文字情報記憶部16の受信メール情報記憶領域QA(またはメッセージ記憶領域QB)の内、ユーザ所望の受信メールの件名とメール本文の文字列(またはユーザ所望のメッセージ文の文字列)について、音素列に変換する音素列変換回路17a、音素情報内部記憶部12に記憶された内、当該所望受信メールの送信人の音素情報(または自局のユーザの音素情報)を用いて音素列データを音声合成によりディジタル読み上げ音声信号に変換して出力する音声合成回路17bとから構成されている。
【0021】
18はディジタルメロディ着信音信号とディジタル読み上げ音声信号を加算する加算部、19は加算部18の出力をアナログ音声信号に変換するD/A変換部、20はD/A変換部19の出力を電力増幅するアンプ部、21はアンプ部20の出力で駆動される拡声スピーカである。
【0022】
22は表示部であり、ユーザが発信のためにダイヤルした電話番号を表示したり、着信があったときに相手の電話番号を表示したり、ユーザの選択した所望受信メールの送信元電話番号、件名、メール本文を表示したりする。23は操作部であり、電源オン/オフ操作、オンフック/オフフック操作、ダイヤル発信操作、文字入力操作(メール送信のための送信先アドレスとしての送信先電話番号の入力操作、送信メールの件名と本文の入力操作を含む)、メール送信指示操作、受信メール中の所望受信メールの選択操作、音素情報自動登録モードのオン/オフ操作、所望受信メールの音声読み上げの指示操作、可搬形音素情報外部記憶部13から音素情報内部記憶部12の第2領域PBへの音素情報の転送指示操作(第2転送指示操作)、音素情報内部記憶部12の第1領域PAから可搬形音素情報外部記憶部13への音素情報の転送指示操作(第1転送指示操作)などを行う。
【0023】
24はマイコン構成のコントロール部であり、操作部23の操作に従い各部を制御し、待ち受け処理、着信通話接続処理、発信通話接続処理、メールの作成及びメール発信処理、メールの受信処理、各種表示処理(ダイヤル発信電話番号、着信電話番号、所望受信メールの送信元電話番号と件名と本文など)を行うほか、音素情報自動登録モードオン状態の下での通話中、音声分析部11にディジタル送話音声信号に対する音素別の特徴パラメータの分析をさせ、該分析した音素別の特徴パラメータと話者識別情報(ここでは自局の電話番号とする)の音素情報内部記憶部12と可搬形音素情報外部記憶部13への登録処理をしたり、可搬形音素情報内部記憶部13から音素情報内部記憶部12への音素情報の転送処理、音素情報内部記憶部12から可搬形音素情報外部記憶部13への音素情報の転送処理をする。
【0024】
また、コントロール部24はユーザが音声読み上げ用に選択した任意の受信メールの件名と本文につき、音素情報内部記憶部12または可搬形音素情報外部記憶部13のいずれかに話者識別情報が受信メールの送信元識別情報と一致する音素情報が存在するとき、該音素情報を用いて音声読み上げ部17により、所望受信メールの件名と本文のディジタル読み上げ音声信号を生成させる。
【0025】
図7〜図12はコントロール部24の制御処理を示すフローチャート、図13は携帯電話間での音素情報の交換方法の説明図であり、以下、これらの図を参照して図1の携帯電話の動作を説明する。
図13に示す如く、ユーザA、Bが各々、図1に示す携帯電話と同じタイプの携帯電話を有しているものとし、符号100A(電話番号090−△△××−○○×△。該電話番号が話者識別情報として携帯電話100Aのコントロール部26の内蔵メモリ(図示せず)に記憶されている)、100B(電話番号090−□□○×−○○□○。該電話番号が話者識別情報として携帯電話100Bのコントロール部24の内蔵メモリ(図示せず)に記憶されている)で区別する。また、各携帯電話100A、100Bには各々、可搬形音素情報外部記憶部が付属しているものとし、符号13A、13Bで区別する。ここでは、携帯電話100Aと可搬形音素情報外部記憶部13Aを中心にして説明する。
【0026】
最初、携帯電話100Aは音素情報自動登録モードがオフしているものとし、コントロール部24の内蔵メモリ(図示せず)に記憶された音素情報自動登録モードフラグSFは0になっているものとする。また、コントロール部26の内蔵メモリには、携帯電話100Aの電話番号(090−△△××−○○×△)が記憶済であるとし、また、文字情報記憶部16には、既に記憶領域QA1 〜QA9 まで9通分の受信メール情報(送信元電話番号、件名、メール本文)が記憶されているものとする。音素情報内部記憶部12はいずれの記憶領域も空であるとする。
【0027】
(1)待ち受け
操作部23でユーザAが電源オン操作をすると、コントロール部24は待ち受けのため無線部2とベースバンド信号処理部3を制御し、無線部2により無線基地局から送信された待ち受け用の制御チャネルを含む所定の周波数かつTDMAタイムスロットのTDM信号を受信させて受信ディジタルベースバンド信号をベースバンド信号処理部3に出力させ、また、ベースバンド信号処理部3を制御し、待ち受け用の制御チャネルの制御データを抽出してコントロール部24へ出力させる(図7のステップS10)。そして、制御チャネルで自局の呼び出しがされたか、すなわち着信があったかチエックする(ステップS11)。ここでは、NOであったとすると、ユーザが他にとくに操作をしなければステップS10に戻り、同様の処理を繰り返す。
【0028】
(2)着信通話時の音素情報自動登録
ユーザAが、通話をしている間の自分の音声の音素情報を可搬形音素情報外部記憶部13Aに登録したい場合、可搬形音素情報外部記憶部13Aのオスコネクタ14を携帯電話100Aのメスコネクタ15に結合しておく。ここでは、可搬形音素情報外部記憶部13Aの記憶内容は空であるとする。操作部23で音素情報自動登録モードのオン操作をすると、コントロール部24は内蔵メモリの音素情報自動登録モードフラグSFを1とし、音素情報自動登録モードをオンする(図9のステップS40、S41)。
この状態で着信があるとコントロール部24はステップS11でYESと判断し、通話呼び出しであれば、無線部2とベースバンド信号処理部3を制御し、無線基地局との間で所定の制御データを所定の制御チャネルで送受させて、無線基地局宛てに着信第1応答信号を返すとともに無線基地局から指定された通話チャネルでの無線回線を確立する(ステップS12、S13)。そして、ディジタルメロディ通話着信音を生成して加算部18へ出力し、拡声スピーカ21からメロディ通話着信音を出力させる(ステップS14)。ユーザがオフフック操作をすると、ディジタルメロディ通話着信音の出力を止め、無線部2とベースバンド信号処理部3を制御し、無線基地局宛てに着信第2応答信号を返して通話状態へ移行させる(ステップS15〜S17)。
【0029】
通話状態では、無線基地局から送信された自局宛の情報チャネルの下りTDMAタイムスロット信号が無線部2で受信され、ベースバンド信号処理部3で情報チャネルに含まれる高能率符号化受話音声信号が抽出されて復号処理がされ、また通話チャネルに付随する付随制御チャネルの制御データがコントロール部24ヘ出力される。復号で得られたディジタル受話音声信号はD/A変換部5へ出力されてアナログ化され、アンプ部6で電力増幅後、受話スピーカ7から音響再生される。反対に、ユーザAが送話マイク8に向かって話すと、送話マイク8からアナログの送話音声信号が出力され、アンプ部9で増幅される。そして、A/D変換部10でディジタル送話音声信号に変換されたのちベースバンド信号処理部3へ出力される。ベースバンド信号処理部3ではディジタル送話音声信号を高能率符号化し、該高能率符号化送話音声信号を情報データとする通話チャネルの上りTDMAタイムスロット信号が作成されて、所定のタイミングで無線部2へ出力される。無線部2は上りTDMAタイムスロット信号を無線基地局側へ送信させる。
【0030】
通話状態に入ると、コントロール部24はまず音素情報自動登録モードがオンかチェックし(ステップS18)、NOであれば、オンフック操作がされるかまたは相手側から通話チャネルに付随する付随制御チャネルで切断信号が受信されると、通話終了処理をし、最初の待ち受け状態に戻る(ステップS19、S20)。但し、ここでは、音素情報自動登録モードがオンしているので、まず、音素情報内部記憶部12の第1記憶領域PAに話者識別情報としての自局の電話番号090−△△××−○○×△が登録されているかチェックし(ステップS21)、NOなので、第1記憶領域PAをクリアし、自局の電話番号を話者識別情報として記憶させる(ステップS22)。次に、可搬形音素情報外部記憶部が接続されているかチェックし(図8のステップS30)、13Aが接続されていてYESなので可搬形音素情報外部記憶部13Aの中に話者識別情報としての自局の電話番号が登録されているかチェックし(ステップS31)、ここでもNOなので、可搬形音素情報外部記憶部13Aの記憶領域をクリアし、自局の電話番号090−△△××−○○×△を話者識別情報として記憶させる(ステップS32)。
【0031】
続いて、音声分析部11に対し音声分析開始制御をする。音声分析部11は音声分析を開始すると、A/D変換部10から出力されたディジタル送話音声信号に対し、音素毎に切り出しを行い、切り出された各音素毎のディジタル送話音声信号に対し、特徴パラメータを抽出するとともに音素毎の特徴パラメータから音素の種類を判別し、音素毎に音素の種類と特徴パラメータを対応付けた音素情報(音素別の特徴パラメータ)をコントロール部24へ出力する。コントロール部24は、音素別の特徴パラメータを音素情報内部記憶部12の第1領域PAと可搬形音素情報外部記憶部13Aに、音素の種類と特徴パラメータを対応付けて書き込んでいく(ステップS33)。但し、記憶領域PAと可搬形音素情報外部記憶部13Aの中に同じ音素についての特徴パラメータが書き込み済であるときは、上書きする。
【0032】
その後、ユーザAがオンフック操作をするか、または相手側から切断信号を含む制御データが受信されると、コントロール部24は音声分析部11に対し音声分析終了制御をして音声分析を終了させ、無線部2とベースバンド信号処理部3を制御し、無線基地局との間で所定の制御データを情報チャネルに付随する付随制御チャネルで送受させて、終話処理をする(ステップS34〜S36)。
【0033】
(3)発信通話時の音素情報自動登録
その後の音素情報自動登録モードオン状態での待ち受け中に、ユーザAが通話発信のためオフフック操作とダイヤル操作による通話発信操作を行うとコントロール部24は無線部2とベースバンド信号処理部3を制御し、無線基地局側に発信要求と相手先電話番号を含む制御データを所定の制御チャネルで送信させ、また、無線基地局側から指定された通話チャネルでの無線回線を確立する(ステップS23、S24)。相手側が電話に出ず、ユーザAがオフフック操作したときは、コントロール部24は無線部2とベースバンド信号処理部3を制御し、無線基地局側に通話チャネルに付随する付随制御チャネルで切断信号を送信させて待ち受け状態に戻る(ステップS25、S26)。相手側が電話に出て通話チャネルに付随する付随制御チャネルで接続信号が受信されたときは、通話チャネルでの無線回線の接続状態を維持し、通話状態に移行する(ステップS27、S28)。
【0034】
通話状態では、着信通話時と同様にして相手側からの受話音声が受話スピーカ7から出力され、送話マイク8から入力されたユーザAの送話音声信号が相手側へ送信される。
通話状態に入ると、コントロール部24は音素情報自動登録モードがオンなので(ステップS18でYES)、音素情報内部記憶部12の第1記憶領域PAに自局の電話番号が登録されているかチェックし(ステップS21)、YESであれば、可搬形音素情報外部記憶部が接続されているかチェックし(図8のステップS30)、13Aが接続されていてYESであれば更に可搬形音素情報情報外部記憶部13Aの中に自局の電話番号が登録されているかチェックする(ステップS31)。
【0035】
ここでもYESであれば、音声分析部11に対し音声分析開始制御をする。音声分析部11は音声分析を開始すると、A/D変換部10から出力されたディジタル送話音声信号に対し、音素毎に切り出しを行い、切り出された各音素毎のディジタル送話音声信号に対し、特徴パラメータを抽出するとともに音素毎の特徴パラメータから音素の種類を判別し、音素毎に特徴パラメータと音素の種類を対応付けた音素情報(音素別の特徴パラメータ)をコントロール部24へ出力する。コントロール部24は、音素別の特徴パラメータを音素情報内部記憶部12の第1領域PAと可搬形音素情報外部記憶部13Aに、音素の種類と特徴パラメータを対応付けて書き込んでいく(ステップS33)。但し、記憶領域PAと可搬形音素情報外部記憶部13Aの中に同じ音素についての特徴パラメータが書き込み済であるときは、上書きする。
【0036】
その後、ユーザAがオンフック操作をするか、または相手側から切断信号を含む制御データが受信されると、コントロール部24は音声分析部11に対し音声分析終了制御をして音声分析を終了させ、無線部2とベースバンド信号処理部3を制御し、無線基地局との間で所定の制御データを情報チャネルに付随する付随制御チャネルで送受させて、終話処理をする(ステップS34〜S36)。
【0037】
このように、事前に音素情報自動登録モードをオンしておけば、ユーザAが携帯電話100Aで通話する度に、自動的にユーザAの音声の音素別の特徴パラメータが音素情報内部記憶部12と可搬形音素情報外部記憶部13Aの中に登録されていくため、音素情報の登録のために特別な作業をしなくて済む。
【0038】
なお、ユーザAが音素情報外部記憶部13Aを携帯電話100Aに装着せずに、音素情報自動登録モードオン状態で通話をしていた場合、ユーザAの音素情報は携帯電話100Aの音素情報内部記憶部12に記憶され(ステップS37)、ユーザAがオンフック操作をするか、または相手側から切断信号を含む制御データが受信されると、コントロール部24は音声分析部11に対し音声分析終了制御をして音声分析を終了させ、無線部2とベースバンド信号処理部3を制御し、無線基地局との間で所定の制御データを情報チャネルに付随する付随制御チャネルで送受させて、終話処理をする(ステップS38、S35、S36)。
このあと、ユーザAが音素情報内部記憶部12に記憶された自身の音声の音素情報を可搬形音素情報外部記憶部13Aに転送させたい場合、まず可搬形音素情報外部記憶部13Aを携帯電話100Aに装着して接続し、操作部23で音素情報内部記憶部12から可搬形音素情報内部記憶部13Aへの転送指示操作(第1転送指示操作)をする。
すると、コントロール部24は可搬形音素情報外部記憶部13Aの記憶内容をクリアしたのち、音素情報内部記憶部12の第1記憶領域PAに対応付けて記憶された電話番号と音素別の特徴パラメータを読み出し、可搬形音素情報外部記憶部13Aへ書き込むことで転送を行う(図9のステップS44、S45)。
【0039】
携帯電話100AをユーザA以外の者に使わせたいときは、音素情報自動登録モードのオフ操作をする。すると、コントロール部24は音素情報自動登録モードをオフするので(図9のステップS42、S43)、通話が開始しても送話音声の音素情報の登録処理はされない(図7のステップS18でNO)。
【0040】
(4)音素情報の交換
ユーザBも携帯電話100Bにより、音素情報自動登録モードオン状態で通話することで、自身の声の音素別の特徴パラメータを携帯電話100Bの音素情報内部記憶部12や可搬形音素情報外部記憶部13Bに記憶させることができる。音素情報内部記憶部12だけに登録していたときは、可搬形音素情報外部記憶部13Bを装着して接続し、操作部23で音素情報内部記憶部12からの自身の音素情報の可搬形音素情報外部記憶部13Bへの転送指示操作(第1転送指示操作)をする。コントロール部24は音素情報内部記憶部12の内、第1記憶領域PAに記憶された音素情報と対応する電話番号を読み出し、可搬形音素情報外部記憶部13Bの中に記憶させる。
【0041】
ユーザAがユーザBから受信したメールを、ユーザBの音声で読み上げさせたい場合、事前にユーザBから該ユーザBの音素情報と話者電話番号が登録された可搬形音素情報外部記憶部13Bを借り、携帯電話100Aに装着して接続した状態で、ユーザBから受信したメールの音声読み上げを指示するか、または、事前にユーザBの音素情報と話者電話番号が登録された可搬形音素情報外部記憶部13Bを一時的に携帯電話100Aに装着して、該可搬形音素情報外部記憶部13Bの記憶内容を携帯電話100Aの中に転送させておき(このあと可搬形音素情報外部記憶部13Bは外してユーザBに返して良い)、ユーザBから受信したメールの音声読み上げを指示する。
【0042】
可搬形音素情報外部記憶部13Bから携帯電話100Aへの音素情報と話者電話番号の転送の仕方は次の通りである。可搬形音素情報外部記憶部13Bを携帯電話100Aのメスコネクタ15に装着して接続し、操作部23で可搬形音素情報外部記憶部13Bから音素情報内部記憶部12への転送指示操作(第2転送指示操作)をする。すると、コントロール部24は、可搬形音素情報外部記憶部13Bの音素情報を対応する電話番号とともに読み出し、音素情報内部記憶部12の第2記憶領域PBの内、同一の電話番号が登録された記憶領域PBi が存在するときは、記憶領域PBi の音素情報をクリアしたのち、可搬形音素情報外部記憶部13Bから読み出した音素情報を記憶領域PBi を書き込み、同一の電話番号が登録された記憶領域PBi が存在しないときは、空きの記憶領域へ電話番号と音素情報を対応付けて書き込む(図9のステップS46、S47)。
反対に、ユーザBがユーザAから受信したメールを、ユーザAの音声で読み上げさせたい場合、事前にユーザAから該ユーザAの音素情報が登録された可搬形音素情報外部記憶部13Aを借り、同様の操作で携帯電話100Bの中にユーザAの音素情報と対応する電話番号を転送させておく。
【0043】
(5)ユーザBからユーザAへのメールの送信
ユーザBがユーザAにメールを送信したい場合、携帯電話100Bの操作部23でメールの宛て先(ここではユーザAの電話番号とする)、件名、本文を入力してメール作成操作をしたのち、メール送信操作をする。コントロール部24はユーザの作成したメールの情報を内蔵メモリ(図示せず)に記憶したのち(ステップS48、S49)、メール送信操作に従い、無線部2とベースバンド信号処理部3を制御し、送信メール情報(宛て先、件名、本文)を所定の制御チャネルで無線基地局側に送信させる(ステップS50、S51)。
送信メール情報は移動通信網を経由して無線基地局から待ち受け用の制御チャネルにより携帯電話100Aあてに送信される。携帯電話100Aのコントロール部24はベースバンド信号処理部3から入力した待ち受け用の制御チャネルの制御データに自機宛のメール情報の着信があると、受信メール情報(宛て先、件名、本文)を文字情報記憶部16の空きの記憶領域QA10(若し、空きの記憶領域がないときは、一番古い受信メール情報の記憶された記憶領域)に記憶させるとともに、一定時間だけ所定のディジタルメール着信音信号を発生して、加算部18へ出力し、拡声スピーカ21からメール着信音を出力させる(図7のステップS11でYES、S12、図10のステップS60、S61)。
【0044】
(6)ユーザAの側での受信メールの音声読み上げ
ユーザAが今回、ユーザBから受信したメールをユーザBの声で読み上げさせたい場合、操作部23で所望受信メールの選択操作をする。すると、コントロール部24は、文字情報記憶部16から所望受信メールの送信元電話番号、件名、本文を表示部22に表示させる(図11のステップS70、S71)。ここで、クリア操作をすると、メール表示を消し、待ち受け状態に戻るが(ステップS73、S74)、音声読み上げを指示すると、コントロール部24は、音素情報内部記憶部12の第2記憶領域PB中に所望メールの送信元電話番号と同じ電話番号が対応付けて登録された音素情報が存在するかチェックする(ステップS72、S75)。NOであれば、或る1つの可搬形音素情報外部記憶部13X(XはA、B、・・)が接続されているかチェックし、YESであれば所望メールの送信元電話番号と同じ電話番号の登録された音素情報が存在するかチェックする(ステップS77、S78)。ステップS75とS78のいずれかでYESであれば、音声読み上げ部17を制御し、文字情報記憶部16の内の所望受信メールの件名と本文について、音素情報内部記憶部12(または可搬形音素情報外部記憶部13X)の内、所望メールの送信元電話番号と同じ電話番号に対応付けて登録された音素情報を用いて、音声合成によりディジタル読み上げ音声信号を生成して出力させる(ステップS76またはS79)。ディジタル読み上げ音声信号は加算部18と加算部4へ出力され、拡声スピーカ21と受話スピーカ7から音声出力される。
これにより、ユーザAはユーザBからのメールの内容をユーザBの声で聴くことができ、実感が湧く。
【0045】
(7)ユーザAからBへのメールの送信
ユーザAがBにメールを送信したい場合、携帯電話100Aの操作部23でメールの宛て先(ここではユーザBの電話番号とする)、件名、本文を入力してメール作成操作をしたのち、メール送信操作をする。コントロール部24はユーザの作成したメールの情報を内蔵メモリ(図示せず)に記憶したのち(図9のステップS48、S49)、メール送信操作に従い、無線部2とベースバンド信号処理部3を制御し、送信メール情報(宛て先、件名、本文)を所定の制御チャネルで無線基地局側に送信させる(ステップS50、S51)。
送信メール情報は移動通信網を経由して無線基地局から待ち受け用の制御チャネルにより携帯電話100Bあてに送信される。携帯電話100Bのコントロール部24はベースバンド信号処理部3から入力した待ち受け用の制御チャネルの制御データに自機宛のメール情報の着信があると、文字情報記憶部16に記憶させるとともに、一定時間だけ所定のディジタルメール着信音信号を発生して、加算部18へ出力し、拡声スピーカ21からメール着信音を出力させる(図7のステップS11、S12、図10のステップS60、S61)。
【0046】
(8)ユーザBの側での受信メールの音声読み上げ
ユーザBが今回、ユーザAから受信したメールをユーザAの声で読み上げさせたい場合、携帯電話100Bの操作部23で所望受信メールの選択操作をする。すると、コントロール部24は、文字情報記憶部16から所望受信メールの送信元電話番号、件名、本文を表示部22に表示させる(図11のステップS70、S71)。ここで、音声読み上げを指示すると、コントロール部24は、音素情報内部記憶部12の第2記憶領域PB中に所望メールの送信元電話番号と同じ電話番号の登録された音素情報が存在するかチェックする(ステップS72、S75)。NOであれば、可搬形音素情報外部記憶部13X(X=A、B、・・)が接続されているかチェックし、YESであれば所望メールの送信元電話番号と同じ電話番号の登録された音素情報が存在するかチェックする(ステップS77、S78)。ステップS75とS78のいずれかでYESであれば、音声読み上げ部17を制御し、文字情報記憶部16の内の所望メールの件名とメール本文について、音素情報内部記憶部12(または可搬形音素情報外部記憶部13X)の内、所望メールの送信元電話番号と電話番号に対応付けて登録された音素情報を用いて、音声合成によりディジタル読み上げ音声信号を生成して出力させる。ディジタル読み上げ音声信号は加算部18と加算部4へ出力され、拡声スピーカ21と受話スピーカ7から音声出力される。
これにより、ユーザBはユーザAからのメールの内容をユーザAの声で聴くことができ、実感が湧く。
【0047】
(9)メッセージ文の入力と読み上げ
ユーザAが高齢、風邪等で声を出しにくくなったときに、携帯電話100Aで近くの人に音声でメッセージを伝えたい場合、予め、操作部23で所望メッセージ文の文字入力をしておく。コントロール部24は文字入力されたメッセージ文を文字情報記憶部16のメッセージ記憶領域QBの空きの記憶領域QBi (空きがないときは一番古いメッセージ文の記憶された記憶領域QBi )に記憶させる(図12のステップS80、S81)。
以下では、文字情報記憶部16のメッセージ記憶領域QBの記憶領域QB1 、QB2 ・・に既に「新聞をとって下さい」、「犬を散歩に連れていって下さい」、・・・などの多数のメッセージ文が記憶済であるとする。
【0048】
ユーザAが近くに居る人に「新聞をとって下さい」と伝えたい場合、操作部23で所望メッセージの選択操作をする。すると、コントロール部24は、文字情報記憶部16の内、所望メッセージを表示部22に表示させる(ステップS82、S83)。ここで、クリア操作をすると、メッセージ表示を消し、待ち受け状態に戻るが(ステップS84、S85)、音声読み上げを指示すると、コントロール部24は、音素情報内部記憶部12の中に自局(携帯電話100A)の電話番号に対応付けて登録された音素情報が存在するかチェックする(ステップS86、S87)。NOであれば、可搬形音素情報外部記憶部13X(X=A、B、・・)が接続されているかチェックし(ステップS88)、YESであれば自局の電話番号の登録された音素情報が存在するかチェックする(ステップS89)。ステップS87とS89のいずれかでYESであれば、音声読み上げ部17を制御し、文字情報記憶部16の内の所望メッセージについて、音素情報内部記憶部12(または音素情報外部記憶部13X)の内、携帯電話100Aの電話番号に対応付けて登録された音素情報を用いて、音声合成によりディジタル読み上げ音声信号を生成して出力させる。ディジタル読み上げ音声信号は加算部18へ出力され、拡声スピーカ21と受話スピーカ7から音声出力される(ステップS90)。
これにより、ユーザAは声が出にくくても、人に自分の声で所望のメッセージを伝えることができる。
【0049】
この実施の形態によれば、事前に携帯電話100AのユーザAが操作部23で音素情報自動登録モードをオンにしておくと、ユーザAが携帯電話100Aで通話をしている間に、送話者であるユーザAの音声信号に基づき音素別の特徴パラメータが分析され、音素情報内部記憶部12(音素情報外部記憶部13Aが装着されているときは音素情報内部記憶部12と音素情報外部記憶部13A)に自動的に記憶される。よって、ユーザは音素情報の登録のために何ら特別な作業をしなくても、自身の声の音素別の特徴パラメータを音素情報内部記憶部12(音素情報外部記憶部13Aが装着されているときは音素情報内部記憶部12と音素情報外部記憶部13A)に登録させることができる。若し、通話時に音素情報外部記憶部13Aを装着していなくても、後から音素情報内部記憶部12から音素情報外部記憶部13Aへ転送することもでき、利便性が高い。音素情報には、話者識別情報としての携帯電話100Aの電話番号が自動的に対応付けて登録されるので、音素情報を利用する側の音声合成機能付き機器では誰の音素情報であるか容易に判る。
【0050】
そして、他の携帯電話100BのユーザBの音素情報が登録された音素情報外部記憶部13Bを携帯電話100Aに装着して接続し、当該音素情報外部記憶部13Bから音素情報と対応する話者識別情報を読み出し、音素情報内部記憶部12に転送しておくと、ユーザBから受信したメールが有るとき、操作部23でユーザBから受信したメールの音声読み上げを指示すれば、音素情報内部記憶部12に記憶されたユーザBの音素情報を用いて音声合成により所望メールの件名と本文の読み上げ音声信号が生成され、拡声スピーカ21と受話スピーカ7から音響出力されるので、実感のこもったメールの内容が判る。
なお、可搬形音素情報外部記憶部13BからユーザBの音素情報を音素情報内部記憶部12に転送してなくても、ユーザBの音素情報が登録された可搬形音素情報外部記憶部13Bが携帯電話100Aに装着して接続してあれば、操作部23でユーザBから受信したメールの音声読み上げを指示すると、可搬形音素情報外部記憶部13Bに記憶されたユーザBの音素情報を用いて音声合成により所望メールの件名と本文の読み上げ音声信号が生成されて、拡声スピーカ21と受話スピーカ7から音響出力される。
【0051】
また、ユーザAが声を出しにくいとき、操作部23で所望メッセージの音声読み上げを指示すれば、音素情報内部記憶部12または可搬形音素情報外部記憶部13Aに記憶されたユーザAの音素情報を用いて音声合成により所望メッセージの読み上げ音声信号が生成され、拡声スピーカ21から音響出力されるので、近くにいる人に自分の音声で所望事項を伝言することができる。
【0052】
なお、上記した実施の形態では、携帯電話100Aで所望受信メールの音声読み上げを指示したとき、コントロール部24は、音素情報内部記憶部12と可搬形音素情報外部記憶部13Xの内、話者識別情報としての電話番号が送信元識別情報としての電話番号と一致する音素情報を用いて音声合成するようにしたが、音声読み上げに用いる音素情報を任意に選択可能として、音素情報内部記憶部12と可搬形音素情報外部記憶部13Xに記憶された内、ユーザの選択した或る所望の話者識別情報としての電話番号に対応付けられた音素情報を用いて音声合成するようにしても良い。同様に、携帯電話100Aで所望メッセージ文の音声読み上げを指示したとき、コントロール部24は、音素情報内部記憶部12と可搬形音素情報外部記憶部13Xの内、話者識別情報が自局の電話番号と一致する音素情報を用いて音声合成するようにしたが、音声読み上げに用いる音素情報を選択可能として、音素情報内部記憶部12と可搬形音素情報外部記憶部13Xに記憶された内、ユーザの選択した音素情報を用いて音声合成するようにしても良い。
【0053】
図14は本発明の第2の実施の形態に係る音声合成システムの構成図であり、図1、図13と同じ構成部分には同一の符号が付してある。
図14では図1、図13と同様の携帯電話100X(X=A、B、・・)を用いて可搬形音素情報外部記憶部13Xに登録した音素情報を音声合成装置200で所望メッセージ文の音声読み上げに用いるようにしてある。
図14において、音声合成装置200の内、212はN人分の音素情報を、話者識別情報としての電話番号と対応付けて記憶可能な音素情報内部記憶部であり、N個の記憶領域PB1 〜PBN に分かれ(図3参照)、各記憶領域PBi には、話者識別情報としての電話番号と音素別の特徴パラメータを対応付けて記憶可能である。
【0054】
15は可搬形音素情報外部記憶部13のオスコネクタ14と着脱自在に接続可能なメスコネクタであり、後述するコントロール部と接続されている。216は文字情報記憶部であり、V個の記憶領域QB1 〜QBV に分かれ、各記憶領域QBj には1つのメッセージ文(文字列)を記憶可能である。17は音声読み上げ部であり、文字情報記憶部216の内、ユーザ所望のメッセージについて、音素情報内部記憶部212に記憶された内、ユーザ所望の音素情報を用いて、音声合成によりメッセージ文のディジタル読み上げ音声信号を作成して出力する。この音声読み上げ部17は図6と全く同一の構成を有する。
【0055】
19はディジタル読み上げ音声信号をアナログ音声信号に変換するD/A変換部、20はD/A変換部19の出力を電力増幅するアンプ部、21は外部に設けられてアンプ部20の出力で駆動される拡声スピーカである。222は表示部であり、ユーザの選択した所望メッセージや話者識別情報(ここでは電話番号)を表示したり、ユーザの文字入力したメッセージ文を表示したりする。223は操作部であり、所望メッセージや話者識別情報の選択操作、メッセージ文の文字入力操作などを行う。
【0056】
224はマイコン構成のコントロール部であり、操作部223の操作に従い各部を制御し、メッセージ文の作成処理、各種表示処理を行うほか、可搬形音素情報外部記憶部13から音素情報内部記憶部212への音素情報の転送処理を行うほか、ユーザが音声読み上げ用に選択した任意のメッセージ文につき、音素情報内部記憶部212または可搬形音素情報外部記憶部13の内、ユーザの選択した話者識別番号に対応する音素情報を用いて音声読み上げ部17により、所望メッセージ文のディジタル読み上げ音声信号を生成させる。
図14の携帯電話100A、100B、可搬形音素情報外部記憶部13、13A、可搬形音素情報外部記憶部13Bは図1、図13と同様に構成されている。
【0057】
図15はコントロール部224の制御処理を示すフローチャートであり、以下、これらの図を参照して図14の音声合成システムの動作を説明する。
(1)音素情報の転送
ユーザAが自身の声の音素情報を音声合成装置200に組み込んでおきたい場合、携帯電話100Aで自身の声の音素情報と話者識別情報を登録した可搬形音素情報外部記憶部13Aを音声合成装置200のメスコネクタ15に装着して接続し、操作部223で可搬形音素情報外部記憶部13Aから音素情報内部記憶部212への転送指示操作をする。すると、コントロール部224は、可搬形音素情報外部記憶部13Aに記憶された音素情報と電話番号を読み出し、音素情報内部記憶部212の内、同一の電話番号が登録された記憶領域PBi が存在するときは、可搬形音素情報外部記憶部13Aから読み出した音素情報を上書きし、同一の電話番号が登録された記憶領域PBi が存在しないときは、空きの記憶領域へ電話番号と音素情報を対応付けて書き込む(図15のステップS100、S101)。
【0058】
同様に、ユーザBが自身の声の音素情報を音声合成装置200に組み込んでおきたい場合、携帯電話100Bで自身の声の音素情報と話者識別情報を登録した可搬形音素情報記憶部13Bを音声合成装置200のメスコネクタ15に装着して接続し、操作部223で可搬形音素情報外部記憶部13Bから音素情報内部記憶部212への転送指示操作をする。すると、コントロール部224は、可搬形音素情報外部記憶部13Bの音素情報を電話番号とともに読み出し、音素情報内部記憶部212の内、同一の電話番号が登録された記憶領域PBi が存在するときは、可搬形音素情報外部記憶部13Bから読み出した音素情報を上書きし、同一の電話番号が登録された記憶領域PBi が存在しないときは、空きの記憶領域へ電話番号と音素情報を対応付けて書き込む(図15のステップS100、S101)。
【0059】
(2)メッセージ文の入力と読み上げ
以下では、ユーザAとBの音素情報が話者識別情報としての電話番号と対応付けて音素情報内部記憶部212の中に記憶済であるとする。可搬形音素情報外部記憶部13Xは音声合成装置200から外してあっても良い。
ユーザA(B)が高齢、風邪等で声を出しにくくなったときに、音声合成装置200で近くの人に自身の声でメッセージを伝えたい場合、予め、操作部223で所望メッセージ文の文字入力をしておく。コントロール部224は文字入力されたメッセージ文を文字情報記憶部216の空きの記憶領域QBi (空きがないときは一番古いメッセージ文の記憶された記憶領域QBi )に記憶させる(図15のステップS102、S103)。
以下では、文字情報記憶部216の記憶領域QB1 、QB2 ・・に既に「新聞をとって下さい」、「犬を散歩に連れていって下さい」、・・・などの多数のメッセージ文が記憶済であるとする。
【0060】
ユーザA(B)が近くに居る人に「新聞をとって下さい」と伝えたい場合、操作部223で所望メッセージの選択操作をする。すると、コントロール部224は、文字情報記憶部216の内、所望メッセージを表示部222に表示させる(ステップS104、S105)。ここで、クリア操作をすると、メッセージ表示を消し、待ち受け状態に戻るが(ステップS106、S107)、音声読み上げの指示操作をすると、音素情報の話者の選択操作待ちとなり(ステップS108、S109)、ここでユーザA(B)の話者識別情報である携帯電話100A(100B)の電話番号の入力操作をすると、コントロール部224は、音素情報内部記憶部212の中にユーザA(B)の電話番号に対応付けて登録された音素情報が存在するかチェックする(ステップS110)。NOであれば、可搬形音素情報外部記憶部13X(X=A、B、・・)が接続されているかチェックし(ステップS111)、YESであればユーザA(B)の電話番号の登録された音素情報が存在するかチェックする(ステップS112)。ステップS110とS112のいずれかでYESであれば、音声読み上げ部17を制御し、文字情報記憶部216の内の所望メッセージについて、音素情報内部記憶部212(または音素情報外部記憶部13X)の内、携帯電話100Aの電話番号に対応付けて登録された音素情報を用いて、音声合成によりディジタル読み上げ音声信号を生成して出力させる。ディジタル読み上げ音声信号はD/A変換部19へ出力され、拡声スピーカ21から音声出力される(ステップS113)。
これにより、ユーザA(B)は声が出にくくても、人に自分の声で所望のメッセージを伝えることができる。
【0061】
なお、音素情報の選択操作で他の人の電話番号の入力操作をすれば、ユーザA(B)が例えばユーザB(A)の声で「新聞をとって下さい」と伝えることもできる。
【0062】
この実施の形態によれば、事前にユーザXが携帯電話100Xを用いて音素情報を登録した可搬形音素情報外部記憶部13Xを音声合成装置200に装着し、音声合成装置200の中に転送してユーザXの音素情報を組み込んでおくか、可搬形音素情報外部記憶部13Xを音声合成装置200に装着して接続したままで、声の出しにくい或るユーザYが操作部223で所望のメッセージ文を選択するとともに所望の話者Zの音素情報を選択して音声読み上げを指示すると、音素情報内部記憶部212または可搬形音素情報外部記憶部13Xに記憶された話者Zの音素情報を用いて音声合成により所望メッセージ文の読み上げ音声信号が生成され、拡声スピーカ21から音響出力されるので、話者Zの音声により所望のメッセージ文を伝言できる。
なお、図14の例において、拡声スピーカ21は音声合成装置200の中に内蔵しても良い。
【0063】
図16は本発明の第3の実施の形態に係る音素情報登録・音声合成装置の構成図であり、図1と同じ構成部分には同一の符号が付してある。
300は音素情報登録・音声合成装置であり、ここでは一例として図1に示す携帯電話100の送信電波を受信し、携帯電話100で通話中のユーザの送話音声信号を取り出し、音声分析により音素別の特徴パラメータを検出し、音素情報内部記憶部や可搬形音素情報外部記憶部に登録したり、音素情報内部記憶部や可搬形音素情報外部記憶部に登録された音素別の特徴パラメータを用いて、音声合成により所望のメッセージ文の音声出力を行う。
【0064】
音素情報登録・音声合成装置300の内、301は受信用のアンテナ、302は無線部(RF部)であり、待機状態では無線基地局から発射された待ち受け用の制御チャネルのTDMA信号波の低雑音増幅、周波数変換、ディジタル復調を行って受信ディジタルベースバンド信号をベースバンド信号処理部へ出力し、音素情報登録・音声合成装置300と対を成す或る携帯電話100宛の通話着信があると、無線基地局が指定した通話チャネル(上り)のTDMA信号波の低雑音増幅、周波数変換、ディジタル復調を行って受信ディジタルベースバンド信号をベースバンド信号処理部へ出力する。303はベースバンド信号処理部であり、TDMA方式に従って受信ディジタルベースバンド信号から制御チャネルのデータや通話チャネルのデータを抽出し、制御チャネルの制御データはコントロール部へ出力し、通話チャネルの高能率符号化送話音声信号の場合には復号してディジタル送話音声信号に変換して出力する。
【0065】
11は音素情報自動登録モードがオン状態での通話時、ディジタル送話音声信号を入力し、音声分析を行って音素別の特徴パラメータを抽出して出力する音声分析部である。この音声分析部11は図2と全く同一の構成を有する。
【0066】
12は音素情報内部記憶部であり、複数人分の音素情報を、話者識別情報としての電話番号と対応付けて記憶可能である(図3参照)。13は1人分の音素情報を話者識別情報としての電話番号と対応付けて記憶可能な可搬形音素情報外部記憶部である(図4参照)。15は可搬形音素情報外部記憶部13のオスコネクタ14と着脱自在に接続可能なメスコネクタであり、後述するコントロール部と接続されている。316は文字情報記憶部であり、V個の記憶領域QB1 〜QBV に分かれ、各記憶領域QBv には1つのメッセージ文(文字列)を記憶可能である。17は音声読み上げ部であり、文字情報記憶部316の内、ユーザ所望のメッセージについて、音素情報内部記憶部12に記憶された内、ユーザ所望の話者の音素情報を用いて、音声合成によりメッセージ文のディジタル読み上げ音声信号を作成して出力する(図5参照)。
【0067】
19はディジタル読み上げ音声信号をアナログ音声信号に変換するD/A変換部、20はD/A変換部19の出力を電力増幅するアンプ部、21は外部に設けられてアンプ部20の出力で駆動される拡声スピーカである。322は表示部であり、ユーザの選択した所望メッセージや話者識別情報(ここでは電話番号)を表示したり、ユーザの文字入力したメッセージ文を表示したりする。323は操作部であり、音素情報自動登録モードのオン/オフ操作、メッセージ文の文字入力操作、所望メッセージの選択操作、所望メッセージの音声読み上げの指示操作及び音声読み上げに用いる音素情報の選択操作、可搬形音素情報外部記憶部13から音素情報内部記憶部12の第2記憶領域PBへの音素情報の転送指示操作(第2転送指示操作)、音素情報内部記憶部12の第1記憶領域PAから可搬形音素情報外部記憶部13への音素情報の転送指示操作(第1転送指示操作)などを行う。
【0068】
324はマイコン構成のコントロール部であり、操作部323の操作に従い各部を制御し、メッセージ文の作成処理、各種表示処理を行うほか、可搬形音素情報外部記憶部13から音素情報内部記憶部12への音素情報の転送処理をしたり、音素情報内部記憶部12から可搬形音素情報外部記憶部13への音素情報の転送処理をしたり、ユーザが音声読み上げ用に選択した任意のメッセージ文につき、音素情報内部記憶部12または可搬形音素情報外部記憶部13の内、ユーザの選択した話者識別番号に対応する音素情報を用いて音声読み上げ部17により、所望メッセージのディジタル読み上げ音声信号を生成させる。
【0069】
図17〜図20はコントロール部324の制御処理を示すフローチャート、図21は音素情報登録・音声合成装置間での音素情報の交換方法の説明図であり、以下、これらの図を参照して図16の音素情報登録・音声合成装置の動作を説明する。
図21に示す如く、ユーザAの近くに携帯電話100A(電話番号090−△△××−○○×△)と対で使用する音素情報登録・音声合成装置300Aが設置されており、ユーザBの近くに携帯電話100B(電話番号090−□□○×−○○□○)と対で使用する音素情報登録・音声合成装置300Bが設置されているものとする。音素情報登録・音声合成装置300Aは図16と同様に構成されており、コントロール部324の内蔵メモリ(図示せず)には、携帯電話100Aの電話番号が登録されているものとする。音素情報登録・音声合成装置300Bも図16と同様に構成されており、コントロール部324の内蔵メモリ(図示せず)には、携帯電話100Bの電話番号が登録されているものとする。音素情報登録・音声合成装置300A、300Bには各々、可搬形音素情報外部記憶部13A、13Bが付属する。ここでは、携帯電話100Aと音素情報登録・音声合成装置300Aと可搬形音素情報外部記憶部13Aを中心にして説明する。
【0070】
なお、音素情報登録・音声合成装置300Aは音素情報自動登録モードがオフしているものとし、コントロール部324の内蔵メモリに記憶された音素情報自動登録モードフラグSFは0になっているものとする。
【0071】
(1)着信通話時の音素情報の登録
電源オンで、コントロール部324は音素情報自動登録モードがオンしているかチェックし、NOであれば、操作部323での操作を待つ(図17のステップS200)。
ユーザAが携帯電話100Aで通話をしている間の自分の音声の音素情報を音素情報登録・音声合成装置300Aの音素情報内部記憶部12と可搬形音素情報外部記憶部13Aに登録したい場合、可搬形音素情報外部記憶部13Aのオスコネクタ14を音素情報登録・音声合成装置300Aのメスコネクタ15に結合して接続しておく。ここでは、音素情報内部記憶部12と可搬形音素情報外部記憶部13Aの記憶内容は空であるとする。操作部323で音素情報自動登録モードのオン操作をすると、コントロール部324は内蔵メモリの音素情報自動登録モードフラグSFを1とし、音素情報自動登録モードをオンする(図19のステップS240、S241)。
【0072】
音素情報自動登録モードがオンになると、コントロール部324は無線部302とベースバンド信号処理部303を制御し、無線部302により携帯電話100Aが待ち受けを行っている所定の制御チャネル(無線基地局から携帯電話100Aへの下り)のTDMA信号を受信させて受信ディジタルベースバンド信号を出力させ、ベースバンド信号処理部303により待ち受け用の制御チャネルの制御データを抽出させてコントロール部324へ出力させる(図17のステップS200でYES、S201)。
【0073】
コントロール部324は、制御データに基づき無線基地局から携帯電話100A宛の通話着信があったかチェックする(ステップS202)。YESであれば、携帯電話100Aからの着信第1応答を受け付けた無線基地局側は、空きの通話チャネルの指定をするので、コントロール部324は一定時間内に携帯電話100Aに対する通話チャネルの指定がされたかチェックし(ステップS203)、ここでもYESであれば、無線部302とベースバンド信号処理部303を制御し、無線部302により無線基地局から指定された通話チャネル(携帯電話100Aから無線基地局への上り)のTDMA信号を受信させて受信ディジタルベースバンド信号を出力させ、ベースバンド信号処理部303により通話チャネルに付随する付随制御チャネルの制御データを抽出させてコントロール部324へ出力させる(ステップS204)。
【0074】
コントロール部324は制御データから、ステップS204のあと一定時間内に携帯電話100Aでのオフフックに伴い送信される着信第2応答が受信されたかチェックし(ステップS205)、YESであれば携帯電話100Aで通話が開始したと判断し、ベースバンド信号処理部303を制御し、上りの情報チャネルでの情報データに含まれる高能率符号化送話音声信号の復号をさせて、携帯電話100Aから送信されたディジタル送話音声信号の出力を開始させる(ステップS206)。そして、まず、音素情報内部記憶部12の第1記憶領域PAに自局の電話番号090−△△××−○○×△が登録されているかチェックし(ステップS207)、NOなので、第1記憶領域PAをクリアし、自局の電話番号を話者識別情報として記憶させる(ステップS208)。次に、可搬形音素情報外部記憶部が接続されているかチェックし(図18のステップS230)、13Aが接続されていてYESなので可搬形音素情報外部記憶部13Aの中に自局の電話番号が登録されているかチェックし(ステップS231)、ここでもNOなので、可搬形音素情報外部記憶部13Aをクリアし、自局の電話番号090−△△××−○○×△を話者識別情報として記憶させる(ステップS232)。
【0075】
続いて、音声分析部11に対し音声分析開始制御をする。音声分析部11は音声分析を開始すると、ベースバンド信号処理部303から出力されたディジタル送話音声信号に対し、音素毎に切り出しを行い、切り出された各音素毎のディジタル送話音声信号に対し、特徴パラメータを抽出するとともに音素毎の特徴パラメータから音素の種類を判別し、音素毎に特徴パラメータと音素の種類を対応付けた音素情報(音素別の特徴パラメータ)をコントロール部324へ出力する。コントロール部324は、音素別の特徴パラメータを音素情報内部記憶部12の第1領域PAと可搬形音素情報外部記憶部13Aに、音素の種類と特徴パラメータを対応付けて書き込んでいく(ステップS233)。但し、記憶領域PAと可搬形音素情報外部記憶部13Aの中に同じ音素についての特徴パラメータが書き込み済であるときは、上書きする。
【0076】
その後、ユーザAまたは相手側がオンフック操作をして終話になり、ベースバンド信号処理部303から通話チャネルに付随した付随制御チャネルの制御データが入力されなくなると、コントロール部324は終話したと判断し、音声分析部11に対し音声分析終了制御をして音声分析を終了させる(ステップS234、S235)。
なお、若し、可搬形音素情報外部記憶部13Aが接続されていなかった場合はコントロール部324は音素別の特徴パラメータを音素情報内部記憶部12にだけ書き込んでいく(ステップS230でNO、S236)。その後、ユーザAまたは相手側がオンフック操作をして終話になり、ベースバンド信号処理部303から通話チャネルに付随した付随制御チャネルのデータが入力されなくなると、コントロール部324は終話したと判断し、音声分析部11に対し音声分析終了制御をして音声分析を終了させる(ステップS237、S235)。
【0077】
(2)発信通話時の音素情報の登録
これと異なり、音素情報自動登録モードオン状態での待ち受け中に、ユーザAが携帯電話100Aで通話発信操作をすると、無線基地局側が空きの通話チャネルの指定をする。コントロール部324は待ち受け中、ベースバンド信号処理部303から入力する制御データに基づき携帯電話100Aに対する通話チャネルの指定がされたかチェックしており(ステップS209)、YESになると、無線部302とベースバンド信号処理部303を制御し、無線部302により無線基地局から指定された情報チャネル(無線基地局から携帯電話100Aへの下り)のTDMA信号を受信させて受信ディジタルベースバンド信号を出力させ、ベースバンド信号処理部303により通話チャネルに付随する付随制御チャネルの制御データを抽出させてコントロール部324へ出力させる(ステップS210)。
【0078】
コントロール部324は、ステップS210のあと、制御データをチェックして一定時間内に無線基地局から携帯電話100A宛の接続信号が送信されたかチェックする(ステップS211)。携帯電話100Aから通話発信した相手側が一定時間内にオフフックすると、無線基地局から携帯電話100A宛の接続信号が送信されるので、コントロール部324はステップS211でYESと判断し、今度は無線部302とベースバンド信号処理部303を制御し、無線基地局から指定された通話チャネルの上りを受信させる(ステップS212)。そして、ベースバンド信号処理部303を制御し、上りの通話チャネルでの情報データに含まれる高能率符号化送話音声信号の復号をさせて、携帯電話100Aから送信されたディジタル送話音声信号の出力を開始させる(ステップS206)。あとは、着信通話時と同様にして、ユーザAの音声の分析をし、音素情報内部記憶部12と可搬形音素情報外部記憶部13A(または音素情報内部記憶部12)に登録させていく(ステップS207、S208、図18のステップS230〜S235または、ステップS230、S236、S237)。
【0079】
(3)音素情報の転送
音素情報内部記憶部12だけに登録していたときは、可搬形音素情報外部記憶部13Aを装着して接続し、操作部323で音素情報内部記憶部12から音素情報の可搬形音素情報外部記憶部13Aへの転送指示操作(第1転送指示操作)をする。コントロール部324は音素情報内部記憶部12の内、第1記憶領域PAに記憶された音素情報と対応する電話番号を読み出し、可搬形音素情報外部記憶部13Aの中に記憶させる(図19のステップS244、S245)。
この可搬形音素情報外部記憶部13AをユーザBに貸し、図21の携帯電話100Bの中に音素情報と話者識別情報を取り込ませれば、ユーザAから受信したメールの音声読み上げができ、図14の音声合成装置200の中に取り込ませれば、ユーザAの声による所望メッセージ文の音声出力ができる。
【0080】
携帯電話100AをユーザA以外の者に使わせたいときは、音素情報登録・音声合成装置300Aの操作部323で音素情報自動登録モードのオフ操作をする。すると、コントロール部324は音素情報自動登録モードをオフするので(図19のステップS242、S243)、通話が開始しても送話音声の音素情報の登録処理はされない(図17のステップS200でNO)。
【0081】
(4)音素情報の交換
ユーザBも音素情報登録・音声合成装置300Bの近くで携帯電話100Bで通話することで、自身の声の音素別の特徴パラメータを音素情報登録・音声合成装置300Bの音素情報内部記憶部12や可搬形音素情報外部記憶部13Bに記憶させることができる。音素情報内部記憶部12だけに登録していたときは、可搬形音素情報外部記憶部13Bを装着し、操作部323で音素情報内部記憶部12からの自身の音素情報の可搬形音素情報外部記憶部13Bへの転送指示操作(第1転送指示操作)をする。コントロール部324は音素情報内部記憶部12の内、第1記憶領域PAに記憶された音素情報と対応する電話番号を読み出し、可搬形音素情報外部記憶部13Bの中に記憶させる。
【0082】
ユーザAが所望メッセージを、ユーザBの音声で読み上げさせたい場合、事前にユーザBから該ユーザBの音素情報と話者電話番号が登録された可搬形音素情報外部記憶部13Bを借り、音素情報登録・音声合成装置300Aに装着して接続した状態で、ユーザBの音素情報によるメッセージの音声読み上げを指示するか、または、事前にユーザBの音素情報と話者電話番号が登録された可搬形音素情報外部記憶部13Bを一時的に音素情報登録・音声合成装置300Aに装着して接続し、該可搬形音素情報外部記憶部13Bの記憶内容を音素情報登録・音声合成装置300Aに転送させておき(このあと可搬形音素情報外部記憶部13Bは外してユーザBに返して良い)、ユーザBの音素情報によるメッセージの音声読み上げを指示する。
【0083】
可搬形音素情報外部記憶部13Bから音素情報登録・音声合成装置300Aへの音素情報と話者電話番号の転送の仕方は次の通りである。可搬形音素情報外部記憶部13Bを音素情報登録・音声合成装置300Aのメスコネクタ15に装着して接続し、操作部323で可搬形音素情報外部記憶部13Bから音素情報内部記憶部12への転送指示操作(第2転送指示操作)をする。すると、コントロール部324は、可搬形音素情報外部記憶部13Bの音素情報を電話番号とともに読み出し、音素情報内部記憶部12の第2記憶領域PBの内、同一の電話番号が登録された記憶領域PBi が存在するときは、記憶領域PBi の音素情報をクリアしたのち、可搬形音素情報外部記憶部13Bから読み出した音素情報を記憶領域PBi に書き込み、同一の電話番号が登録された記憶領域PBi が存在しないときは、空きの記憶領域へ電話番号と音素情報を対応付けて書き込む(図19のステップS246、S247)。
反対に、ユーザBが所望メッセージを、ユーザAの音声で読み上げさせたい場合、事前にユーザAから該ユーザAの音素情報が登録された可搬形音素情報外部記憶部13Aを借り、同様の操作で音素情報登録・音声合成装置300Bの中にユーザAの音素情報を転送させておく。
【0084】
(5)メッセージ文の入力と読み上げ
以下では、ユーザAとBの音素情報が話者識別情報としての電話番号と対応付けて音素情報登録・音声合成装置300Aの音素情報内部記憶部12の中に記憶済であるとする。可搬形音素情報外部記憶部13Xは音素情報登録・音声合成装置300Aから外してあっても良い。
ユーザA(B)が高齢、風邪等で声を出しにくくなったときに、音素情報登録・音声合成装置300Aで近くの人に自身の声でメッセージを伝えたい場合、予め、操作部323で所望メッセージ文の文字入力をしておく。コントロール部324は文字入力されたメッセージ文を文字情報記憶部316の空きの記憶領域QBi (空きがないときは一番古いメッセージ文の記憶された記憶領域QBi )に記憶させる(図20のステップS280、S281)。
以下では、文字情報記憶部316の記憶領域QB1 、QB2 ・・に既に「新聞をとって下さい」、「犬を散歩に連れていって下さい」、・・・などの多数のメッセージ文が記憶済であるとする。
【0085】
ユーザA(B)が近くに居る人に「新聞をとって下さい」と伝えたい場合、操作部323で所望メッセージの選択操作をする。すると、コントロール部324は、文字情報記憶部316の内、所望メッセージを表示部322に表示させる(ステップS282、S283)。ここで、クリア操作をすると、メッセージ表示を消し、待ち受け状態に戻るが(ステップS284、S285)、音声読み上げの指示操作をすると、音素情報の話者の選択操作待ちとなり(ステップS286、S287)、ここでユーザA(B)の話者識別情報である携帯電話100A(100B)の電話番号の入力操作をすると、コントロール部324は、音素情報内部記憶部12の中にユーザA(B)の電話番号に対応付けて登録された音素情報が存在するかチェックする(ステップS288)。NOであれば、可搬形音素情報外部記憶部13X(X=A、B、・・)が接続されているかチェックし(ステップS289)、YESであればユーザA(B)の電話番号の登録された音素情報が存在するかチェックする(ステップS290)。ステップS288とS290のいずれかでYESであれば、音声読み上げ部17を制御し、文字情報記憶部316の内の所望メッセージについて、音素情報内部記憶部12(または音素情報外部記憶部13X)の内、携帯電話100Aの電話番号に対応付けて登録された音素情報を用いて、音声合成によりディジタル読み上げ音声信号を生成して出力させる。ディジタル読み上げ音声信号はD/A変換部19へ出力され、拡声スピーカ21から音声出力される(ステップS291)。
これにより、ユーザA(B)は声が出にくくても、人に自分の声で所望のメッセージを伝えることができる。
【0086】
なお、音素情報の選択操作で他の人の電話番号の入力操作をすれば、ユーザA(B)が例えばユーザB(A)の声で「新聞をとって下さい」と伝えることもできる。
【0087】
この実施の形態によれば、携帯電話100AのユーザAが音素情報登録・合成装置300Aの操作部323で音素情報自動登録モードをオンにしておくと、携帯電話100AのユーザAが通話をしている間に、音素情報登録・合成装置300Aで携帯電話100Aの送話者の音声信号に基づき音素別の特徴パラメータが分析され、音素情報内部記憶部12(音素情報外部記憶部13Aが装着されているときは音素情報内部記憶部12と音素情報外部記憶部13A)に自動的に記憶される。よって、ユーザAは音素情報の登録のために何ら特別な作業をしなくても、自身の声の音素別の特徴パラメータを音素情報内部記憶部12(音素情報外部記憶部13Aが装着されているときは音素情報内部記憶部12と音素情報外部記憶部13A)に登録させることができる。若し、通話時に音素情報外部記憶部13Aを装着していなくても、後から音素情報内部記憶部12から音素情報外部記憶部13Aへ転送することもでき、利便性が高い。音素情報には、話者識別情報としての携帯電話100Aの電話番号が自動的に対応付けて登録されるので、音素情報を利用する側の音声合成機能付き機器では誰の音素情報であるか容易に判る。
【0088】
また、他の携帯電話100BのユーザBが対応する音素情報登録・合成装置300BでユーザAの音素情報を登録させた音素情報外部記憶部13Bを音素情報登録・合成装置300Aに装着して接続し、当該音素情報外部記憶部13Bから音素情報と対応する個人識別情報を読み出し、音素情報内部記憶部12に転送することもできる。
そして、声の出しにくい或るユーザYが操作部323で所望のメッセージ文を選択するとともに所望の話者Zの音素情報を選択して音声読み上げを指示すると、音素情報内部記憶部12または可搬形音素情報外部記憶部13Xに記憶された話者Zの音素情報を用いて音声合成により所望メッセージ文の読み上げ音声信号が生成され、拡声スピーカ21から音響出力されるので、話者Zの音声により所望のメッセージ文を伝言できる。
なお、図16の例において、拡声スピーカ21は音素情報登録・合成装置300の中に内蔵しても良い。
【0089】
【発明の効果】
本発明によれば、ユーザが電話で通話をしている間に、当該電話(または音素情報登録装置或いは音素情報登録・音声合成装置)により、ユーザの音声信号に基づき音素別の特徴パラメータが分析され、当該電話(または音素情報登録装置或いは音素情報登録・音声合成装置)に装備された音素情報記憶手段または、当該電話(または音素情報登録装置或いは音素情報登録・音声合成装置)に接続された音素情報外部記憶手段に自動的に記憶される。このため、ユーザは音素情報の登録のために何ら特別な作業をしなくても、自身の声の音素別の特徴パラメータを登録させることができ、当該電話(または音素情報登録装置或いは音素情報登録・音声合成装置)が音声合成機能を有するとき、音素情報記憶手段または音素情報外部記憶手段に記憶されたユーザの音素情報に基づきメッセージ文等の所望の文字情報を、音声合成によりユーザの音声で読み上げさせることも簡単にできる。
【0090】
電話(または音素情報登録装置或いは音素情報登録・音声合成装置)に装備された音素情報記憶手段に登録された音素別の特徴パラメータを、後から音素情報外部記憶手段に転送することもでき、他のユーザの音素別の特徴パラメータが記憶された音素情報外部記憶手段を音声合成機能を有する電話または音声合成装置に接続し、音素情報外部記憶手段に記憶された当該他のユーザの音素別の特徴パラメータをそのまま用いるか、または、音声合成機能を有する電話または音声合成装置に装備された音素情報記憶手段に音素情報外部記憶手段から当該他のユーザの音素別の特徴パラメータを転送することで、メール、メッセージ文等の所望の文字情報を、音声合成により当該他のユーザの音声で読み上げさせることも簡単にできる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態に係る携帯電話の構成を示すブロック図である。
【図2】図1中の音声分析部の具体的構成を示すブロック図である。
【図3】図1中の音素情報内部記憶部の記憶内容の説明図である。
【図4】図1中の可搬形音素情報外部記憶部の記憶内容の説明図である。
【図5】図1中の文字情報記憶部の記憶内容の説明図である。
【図6】図1中の音声読み上げ部の具体的構成を示すブロック図である。
【図7】図1中のコントロール部の制御処理を示すフローチャートである。
【図8】図1中のコントロール部の制御処理を示すフローチャートである。
【図9】図1中のコントロール部の制御処理を示すフローチャートである。
【図10】図1中のコントロール部の制御処理を示すフローチャートである。
【図11】図1中のコントロール部の制御処理を示すフローチャートである。
【図12】図1中のコントロール部の制御処理を示すフローチャートである。
【図13】第1の実施の形態の携帯電話間での音素情報の交換方法の説明図である。
【図14】本発明の第2の実施の形態に係る音声合成システムの構成を示すブロック図である。
【図15】図14中のコントロール部の制御処理を示すフローチャートである。
【図16】本発明の第3の実施の形態に係る音素情報登録・音声合成装置の構成を示すブロック図である。
【図17】図16中のコントロール部の制御処理を示すフローチャートである。
【図18】図16中のコントロール部の制御処理を示すフローチャートである。
【図19】図16中のコントロール部の制御処理を示すフローチャートである。
【図20】図16中のコントロール部の制御処理を示すフローチャートである。
【図21】第3の実施の形態の音素情報登録・音声合成装置の使用方法の説明図である。
【符号の説明】
1、301 アンテナ 2、302 RF部
3、303 ベースバンド信号処理部
8 送話マイク 11 音声分析部
12、212 音素情報内部記憶部
13、13A、13B 可搬形音素情報外部記憶部
16、216、316 文字情報記憶部
17 音声読み上げ部 21 拡声スピーカ
23、223、323 操作部 24、224、324 コントロール部
100、100A、100B 携帯電話
200、200A、200B 音声合成装置
300、300A、300B 音素情報登録・音声合成装置
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a telephone device, a speech synthesis system, and a phoneme information registration device, and more particularly, a telephone device, a speech synthesis system, and a phoneme information registration that enable registration of feature parameters for each phoneme of a speaker during a telephone call. Relates to the device.
[0002]
[Prior art]
Registering phoneme-specific feature parameters obtained by analyzing one's own voice by a predetermined method such as the PARCOR method, and reading out a desired character string by speech synthesis using the phoneme-specific feature parameters. There is a speech synthesis system that can do this. Such a speech synthesis system can be used in various situations. For example, when you are absent, you can use your voice to respond to the visitor as if you are away, or it is difficult to speak due to a problem. In addition, it is possible to have a conversation with a person by reading out a conversation sentence in which characters are input, and to synthesize and output a message sentence data sent to a distant person with a voice of the sender. You can also read the text data of a book with your own voice.
[0003]
[Problems to be solved by the invention]
However, in order to register phoneme-specific feature parameters for one's own voice, a speech recognition device such as a personal computer is used, and registration is performed according to a predetermined procedure while speaking various words into the microphone for a long time. The work was very troublesome.
The present invention provides a telephone device, a speech synthesis system, a phoneme information registration device, a phoneme information registration / speech synthesis device that can easily register feature parameters for each phoneme of one's voice in view of the above-described problems of the prior art. Is the purpose.
[0004]
[Means for Solving the Problems]
The telephone device of the present invention according to claim 1 is ,sound Voice signal via the line station side And send and receive During a call To the telephone device Based on the input speech signal, the phoneme is extracted, the phoneme feature parameters are extracted and the phoneme type is determined, and the phoneme-specific feature parameters are connected to the telephone device. Sound It is characterized by having voice analysis / registration means to be stored in the elementary information external storage means, and equipped with operation means for turning on / off the phoneme information registration mode, and the voice analysis / registration means is a phoneme information registration During a call when mode is on To the telephone device Based on the input speech signal, the phoneme is extracted, the phoneme feature parameters are extracted, and the phoneme type is determined. The sound You may make it memorize | store in a raw information external storage means.
As a modification of claim 1, speaker identification information storage means storing speaker identification information is provided, and the speech analysis / registration means associates the speaker identification information with the feature parameter for each phoneme. The sound You may make it memorize | store in a raw information external storage means.
[0005]
In another telephone device of the present invention according to claim 4, phoneme information storage means for storing a characteristic parameter for each phoneme, and during a call To the telephone device Based on the input speech signal, the phoneme is extracted, the feature parameter of the phoneme is extracted, the type of the phoneme is determined, and the phoneme information storage unit stores the feature parameter for each phoneme. Based on the transfer request, the characteristic parameters for each phoneme stored in the phoneme information storage means are read from the phoneme information storage means and connected to the telephone device. Sound A transfer means for writing into the elementary information external storage means, and equipped with an operating means for turning on / off the phoneme information registration mode, and the speech analysis / registration means is turned on in the phoneme information registration mode. If during a call To the telephone device Based on the input speech signal, the phoneme may be cut out, the phoneme feature parameter may be extracted and the phoneme type may be determined, and the phoneme feature parameter may be stored in the phoneme information storage unit.
As a modification of claim 4, a speaker identification information storage means storing speaker identification information is provided, and the speech analysis / registration means associates the speaker identification information with the phoneme-specific feature parameter in the phoneme information storage means. Based on the phoneme information transfer request, the transfer means reads speaker identification information corresponding to the phoneme-specific feature parameter from the phoneme information storage means. Beep The phoneme information is stored in the phoneme information external storage means, or the speaker identification information storage means for storing the speaker identification information is provided. The transfer means is based on the phoneme information transfer request and stores the phoneme information stored in the phoneme information storage means. Read and associate another feature parameter with speaker identification information stored in speaker identification information storage means Sound It may be written in the raw information external storage means.
[0006]
In still another telephone device of the present invention according to claim 8, ,sound Voice signal via the line station side And send and receive When a mail is received, the telephone device that stores the received mail in the received mail information storage means To the telephone device Based on the input speech signal, the phoneme is extracted, the phoneme feature parameters are extracted and the phoneme type is determined, and the phoneme-specific feature parameters are connected to the telephone device. Sound When the voice analysis / registration means to be stored in the raw information external storage means and the voice reading of the desired received mail are instructed, the desired received mail in the received mail information storage means is connected to the telephone device. Sound And a voice synthesis means for outputting a voice representing the text of the received mail by voice synthesis using a phoneme-specific feature parameter in the elementary information external storage means, and an on / off operation of the phoneme information registration mode. If the phoneme information registration mode is on, the voice analysis / registration means To the telephone device Based on the input speech signal, the phoneme is extracted, the phoneme feature parameters are extracted, and the phoneme type is determined. The sound You may make it memorize | store in a raw information external storage means.
As a modification of claim 8 ,sound Instead of synthesizing speech using phoneme-specific feature parameters in the phoneme information external storage means, phoneme information storage means for storing phoneme-specific feature parameters and connected to the telephone device according to the transfer request Sound A transfer means for reading out phoneme-specific feature parameters from the elementary information external storage means and storing them in the phoneme information storage means is provided, and the voice synthesizing means, when instructed to read out a desired received mail, For the desired received mail, a voice output representing the text of the received mail may be performed by voice synthesis using the phoneme-specific characteristic parameters in the phoneme information storage means.
[0007]
In the telephone device of the present invention according to claim 10, speaker identification information storage means for storing speaker identification information and To the telephone device Based on the input speech signal, phonemes are extracted, phoneme feature parameters are extracted and phoneme types are identified, and phoneme-specific feature parameters are associated with speaker identification information in speaker identification information storage means. Connected to Sound When the voice analysis / registration means to be stored in the raw information external storage means and the voice reading of the desired received mail are instructed, the desired received mail in the received mail information storage means is connected to the telephone device. Sound Speech synthesis means for performing speech output representing speech body text by speech synthesis using feature parameters for each phoneme whose speaker identification information matches the sender identification information of the desired received mail among the elementary information external storage means; Equipped with operation means for turning on / off the phoneme information registration mode, the voice analysis / registration means can be used during a call when the phoneme information registration mode is on. To the telephone device Based on the input speech signal, the phoneme is extracted, the phoneme feature parameter is extracted and the phoneme type is identified, and the phoneme-specific feature parameter is associated with the speaker identification information in the speaker identification information storage means. Sound You may make it memorize | store in a raw information external storage means.
Claim 1 0 As a variant of ,sound Instead of synthesizing speech using phoneme-specific feature parameters in the phoneme information external storage means, phoneme information storage means for storing phoneme-specific feature parameters and connected to the telephone device according to the transfer request Sound Equipped with transfer means for reading the speaker identification information corresponding to the phoneme-specific feature parameter from the elementary information external storage means and storing it in the phoneme information storage means, and the speech synthesis means is instructed to read out the desired received mail. Received by means of speech synthesis for desired received mail in the received mail information storage means using phoneme-specific feature parameters whose speaker identification information matches the sender identification information of the desired received mail in the phoneme information storage means Voice output representing the mail text may be performed.
[0008]
In the telephone device according to the twelfth aspect of the present invention, phoneme information storage means for storing a characteristic parameter for each phoneme, and during a call To the telephone device Based on the input speech signal, the phoneme is extracted, the feature parameter of the phoneme is extracted, the type of the phoneme is determined, and the phoneme information storage unit stores the feature parameter for each phoneme. Based on the transfer request, feature parameters for each phoneme are read from the phoneme information storage means and connected to the telephone device. Sound When the transfer means for writing to the raw information external storage means and the voice reading of the desired received mail are instructed, the telephone device is connected to the desired received mail in the received mail information storage means Sound A speech synthesis means for outputting speech representing the text by speech synthesis using the phoneme-specific feature parameters of the elementary information external storage means, and an operation for turning on / off the phoneme information registration mode. If the phoneme information registration mode is on, the voice analysis / registration means To the telephone device Based on the input speech signal, the phoneme may be cut out, the phoneme feature parameter may be extracted and the phoneme type may be determined, and the phoneme feature parameter may be stored in the phoneme information storage unit.
sound Instead of synthesizing speech using the phoneme-specific feature parameters in the phoneme information external storage means, based on the first transfer request of phoneme information, the phoneme-specific feature parameters stored in the phoneme information storage means are read out and connected to the telephone device Is Sound Connected to the telephone device based on the second transfer request of the phoneme information, Sound It is equipped with a transfer means that reads out the feature parameters for each phoneme from the elementary information external storage means and writes them into the phoneme information storage means, and the speech synthesis means, when the voice reading of the desired received mail is instructed, For the desired received mail, voice output representing the text may be performed by voice synthesis using the phoneme-specific feature parameters of the phoneme information storage means.
Claim 1 2 As a modification of the above, the speaker identification information storage means storing the speaker identification information is provided, and the speech analysis / registration means corresponds to the speaker identification information stored in the speaker identification information storage means with the feature parameter for each phoneme. The phoneme information storage means stores the information, and the transfer means reads out the speaker identification information corresponding to the phoneme-specific feature parameter stored in the phoneme information storage means and is connected to the telephone device. Sound The voice synthesizing means is connected to the telephone device for the desired received mail in the received mail information storing means when the voice reading of the desired received mail is instructed to be read out. Sound Of the elementary information external storage means, voice output representing the received mail text may be performed by speech synthesis using the feature parameter for each phoneme whose speaker identification information matches the sender identification information of the desired received mail. Alternatively, the speaker identification information storage means storing the speaker identification information is provided, the speech analysis / registration means stores the phoneme-specific characteristic parameters in the phoneme information storage means, and the transfer means stores in the phoneme information storage means. The phoneme-specific feature parameter and the speaker identification information stored in the speaker identification information storage means are associated with each other and connected to the telephone device. Sound The voice synthesizing means is connected to the telephone device for the desired received mail in the received mail information storing means when the voice reading of the desired received mail is instructed to be read out. Sound Of the elementary information external storage means, voice output representing the received mail text may be performed by speech synthesis using the feature parameter for each phoneme whose speaker identification information matches the sender identification information of the desired received mail.
[0009]
In the telephone device according to the sixteenth aspect of the present invention, speaker identification information storage means for storing speaker identification information, phoneme information storage means for storing characteristic parameters for each phoneme, and during a call To the telephone device Based on the input speech signal, the phoneme is extracted, the phoneme feature parameter is extracted and the phoneme type is determined, and the phoneme-specific feature parameter is associated with the speaker identification information stored in the speaker identification information storage means. The speech analysis / registration means to be stored in the phoneme information storage means, and the phoneme-specific feature parameters stored in the phoneme information storage means and the talk stored in the speaker identification information storage means based on the first transfer request for phoneme information. The user identification information is read out and associated with the telephone device. Sound Based on the second transfer request for phoneme information, the phone information is connected to the telephone device. Sound A transfer means for reading speaker identification information corresponding to the feature parameter for each phoneme stored in the elementary information external storage means and writing it to the phoneme information storage means; For the desired received mail, the voice output representing the text by speech synthesis using the phoneme-specific feature parameters in which the speaker identification information matches the sender identification information of the desired received mail in the phoneme information storage means. Voice synthesizing means, and equipped with operation means for turning on / off the phoneme information registration mode, and the voice analysis / registration means is in a call when the phoneme information registration mode is on. In To the telephone device Based on the input speech signal, the phoneme is extracted, the phoneme feature parameter is extracted and the phoneme type is determined, and the phoneme-specific feature parameter is associated with the speaker identification information stored in the speaker identification information storage means. Then, it may be stored in the phoneme information storage means.
Claim 16 As a modification of the above, the speech analysis / registration unit stores the phoneme-specific feature parameters in the phoneme information storage unit, and the transfer unit stores the phoneme-specific feature parameters stored in the phoneme information storage unit based on the first transfer request. The speaker identification information stored in the speaker identification information storage means is read out and associated with the telephone device. Sound You may make it write in a raw information external storage means.
[0010]
In the telephone device of the present invention according to claim 18, ,sound Voice signal via the line station side And send and receive A phoneme information storage means for storing characteristic parameters for each phoneme, and during a call To the telephone device One or more speech analysis / registration means for cutting out phonemes, extracting feature parameters of phonemes and determining phoneme types based on the input speech signals, and storing the phoneme information storage means in the phoneme information storage means When the message storage means storing the message sentence and the reading out of the desired message sentence are instructed, the desired message sentence in the message storage means is used as a target, and the voice-specific feature parameter of the phoneme information storage means is used for speech. Voice synthesizing means for outputting speech representing a message sentence by synthesis, equipped with operation means for performing on / off operation of phoneme information registration mode, and speech analysis / registration means for phoneme information During enrollment when enrollment mode is on To the telephone device Based on the input speech signal, the phoneme may be cut out, the phoneme feature parameter may be extracted and the phoneme type may be determined, and the phoneme feature parameter may be stored in the phoneme information storage unit.
As a modification of claim 18, the voice analysis / registration means is connected to the telephone device with the feature parameter for each phoneme. Sound Stored in the raw information external storage means, the speech synthesis means ,sound Using the feature parameter for each phoneme of the elemental information external storage means, voice output representing a message sentence is performed by voice synthesis, or the voice analysis / registration means stores the feature parameter for each phoneme in the phoneme information storage means. However, the transfer means is connected to the telephone device according to the transfer request and the phoneme-specific characteristic parameters of the phoneme information storage means. Sound Stored in the raw information external storage means, the speech synthesis means ,sound Speech output representing a message sentence may be performed by speech synthesis using the feature parameter for each phoneme in the elementary information external storage means. The voice analysis / registration means stores the phoneme-specific feature parameters in the phoneme information storage means, and the transfer means connects the phoneme-specific feature parameters of the phoneme information storage means to the telephone device in accordance with the first transfer request. Sound Stored in the external information storage means and connected to the telephone device in accordance with the second transfer request. Sound The phoneme information storage means stores the phoneme information feature parameters stored in the phoneme information external storage means, and the speech synthesis means uses the phoneme feature parameters of the phoneme information storage means to output a voice message that represents a message sentence by speech synthesis. May be performed.
[0011]
In the speech synthesis system of the present invention according to claim 22, ,sound Voice signal via the line station side And send and receive A speech synthesizer, and a speech synthesizer for synthesizing the character information stored in the character information storage means using the feature parameters for each phoneme stored in the predetermined storage means and outputting the speech In the system, the telephone device To the telephone device Based on the input speech signal, the phoneme is extracted, the phoneme feature parameters are extracted and the phoneme type is determined, and the phoneme-specific feature parameters are connected to the telephone device. Sound Speech analysis / registration means for storing in the elementary information external storage means, and the speech synthesizer is connected to the speech synthesizer. Sound Using the feature parameters for each phoneme of the elementary information external storage means, the character information stored in the character information storage means is synthesized by voice and output as a voice. Equipped with operation means to turn on / off the mode, and the voice analysis / registration means is in the middle of a call when the phoneme information registration mode is on. To the telephone device Based on the input speech signal, the phoneme is extracted, the phoneme feature parameters are extracted, and the phoneme type is determined. The sound You may make it memorize | store in a raw information external storage means.
As a modification of claim 22, the telephone device is equipped with phoneme information storage means for storing the phoneme-specific feature parameters, the speech analysis / registration means stores the phoneme-specific feature parameters in the phoneme information storage means, and the transfer means Based on the phoneme information transfer request, the phoneme-specific feature parameters stored in the phoneme information storage means are read out and connected to the telephone device. Sound The phoneme information is stored in the phoneme information external storage means, or the phoneme synthesis device is provided with phoneme information storage means for storing the feature parameters for each phoneme, and the transfer means is connected to the voice synthesizer based on the phoneme information transfer request. Sound The feature parameters for each phoneme may be read from the elementary information external storage means and stored in the phoneme information storage means.
[0012]
In the phoneme information registration device of the present invention according to claim 26, With wireless base stations Receiving radio waves from a mobile phone device and talking on the mobile phone device sound of Based on the voice signal extracted by the receiving means for extracting the voice signal, and by extracting the phoneme, extracting the feature parameter of the phoneme, and determining the type of the phoneme, the feature parameter for each phoneme The sound Voice analysis / registration means to be stored in the elementary information external storage means, and includes operation means for performing on / off operation of the phoneme information registration mode. Feature parameters for each phoneme when registration mode is on The sound You may make it memorize | store in a raw information external storage means.
As a modification of claim 26, there is provided speaker identification information storage means for storing speaker identification information, and the speech analysis / registration means associates the speaker identification information with the feature parameter for each phoneme. The sound You may make it memorize | store in a raw information external storage means.
[0013]
In the phoneme information registration device of the present invention according to claim 29, With wireless base stations Receiving radio waves from a mobile phone device and talking on the mobile phone device sound of A receiving means for extracting a voice signal, a phoneme information storing means for storing a feature parameter for each phoneme, and extracting a phoneme, extracting a feature parameter of the phoneme, and determining a phoneme type based on the speech signal extracted by the receiving means. Then, based on the phoneme information storage means, the voice analysis / registration means for storing the phoneme-specific feature parameters in the phoneme information storage means, and the phoneme-information feature parameters of the phoneme information storage means are read out. Beep And a transfer means for writing to the elementary information external storage means, and has an operation means for turning on / off the phoneme information registration mode, and the speech analysis / registration means has the phoneme information registration mode on. Sometimes, the phoneme-specific feature parameters are stored in the phoneme information storage means, and the transfer means reads the phoneme-specific feature parameters of the phoneme information storage means based on the phoneme information transfer request. Beep You may make it write in a raw information external storage means.
As a modification of claim 26, there is provided speaker identification information storage means for storing speaker identification information, and the speech analysis / registration means also stores speaker identification information in the phoneme information storage means in association with the feature parameter for each phoneme. The transfer means reads out the speaker identification information corresponding to the feature parameter for each phoneme in the phoneme information storage means based on the transfer request for the phoneme information. Beep You may make it write in a raw information external storage means. Alternatively, it comprises speaker identification information storage means for storing speaker identification information, the speech analysis / registration means stores phoneme-specific feature parameters in the phoneme information storage means, and the transfer means is based on a transfer request for phoneme information. Read and associate the feature parameters for each phoneme in the phoneme information storage means with the speaker identification information in the speaker identification information storage means Sound You may make it write in a raw information external storage means.
[0014]
The phoneme information registration / speech synthesizer according to claim 33, With wireless base stations Receiving radio waves from a mobile phone device and talking on the mobile phone device sound of A receiving means for extracting a voice signal, a phoneme information storing means for storing a feature parameter for each phoneme, and extracting a phoneme, extracting a feature parameter of the phoneme, and determining a phoneme type based on the speech signal extracted by the receiving means. When a voice analysis / registration unit that stores phoneme-specific feature parameters in the phoneme information storage unit, a character information storage unit that stores one or more character information, and voice reading of desired character information are instructed, A voice synthesizing unit for outputting desired voice information in the information storage unit by using the phoneme-specific feature parameter of the phoneme information storage unit to output a voice that represents a character sentence. The phoneme information registration mode is turned on / off, and the voice analysis / registration unit is configured to perform a phoneme-specific feature parameter when the phoneme information registration mode is on. The chromatography data may also be stored in the phoneme-information storage unit.
As a modification of claim 33, the voice analysis / registration means is a feature parameter for each phoneme. The sound Stored in the raw information external storage means, the speech synthesis means ,sound The speech information representing the character information is output by speech synthesis using the feature parameter for each phoneme in the elementary information external storage means, or the transfer means is based on the phoneme information transfer request, and the phoneme information storage means Read out feature parameters for each phoneme stored in ,sound Write to the raw information external storage means, the speech synthesis means ,sound Speech output representing character information may be performed by speech synthesis using the feature parameters for each phoneme in the elementary information external storage means. Further, the transfer means reads the feature parameter for each phoneme stored in the phoneme information storage means based on the first transfer request for phoneme information. ,sound Based on the second transfer request for phoneme information ,sound The feature parameter for each phoneme stored in the elementary information external storage means may be read out and written in the phoneme information storage means.
[0015]
A speech synthesizer according to claim 37, comprising: a speech synthesizer for synthesizing character information stored in the character information storage unit using a feature parameter for each phoneme stored in a predetermined storage unit, and outputting the speech; In a speech synthesis system provided with a phoneme information registration device that registers feature parameters for each phoneme, the phoneme information registration device includes: With wireless base stations Receiving radio waves from a mobile phone device and talking on the mobile phone device sound of Based on the voice signal extracted by the receiving means that extracts the voice signal, and by extracting the phoneme, extracting the feature parameter of the phoneme and determining the type of the phoneme, and connecting the feature parameter for each phoneme to the phoneme information registration device Is Sound Speech analysis / registration means for storing in the elementary information external storage means, and the speech synthesizer is connected to the speech synthesizer. Sound Using the feature parameter for each phoneme of the elementary information external storage means, the character information stored in the character information storage means is synthesized by voice and output as speech. The voice analysis / registration means includes an operation means for performing an off operation, and the phoneme information registration mode is turned on when the phoneme information registration mode is on. The sound You may make it memorize | store in a raw information external storage means.
As a modification of claim 37, the phoneme information registration device is equipped with a phoneme information storage means for storing a characteristic parameter for each phoneme, and the speech analysis / registration means extracts a phoneme based on the speech signal extracted by the reception means, Extract phoneme feature parameters and determine phoneme type, store phoneme feature parameters in phoneme information storage means, and transfer means stores phoneme information stored in phoneme information storage means based on phoneme information transfer request The feature parameters are read out and connected to the phoneme information registration device. Sound You may make it write in a raw information external storage means. Alternatively, the speech synthesizer is equipped with phoneme information storage means for storing the characteristic parameters for each phoneme, and the transfer means is connected to the speech synthesizer based on the phoneme information transfer request. Sound The feature parameters for each phoneme may be read from the elementary information external storage means and written to the phoneme information storage means. Alternatively, the phoneme information registration device is equipped with phoneme information storage means for storing the feature parameters for each phoneme, and the speech analysis / registration means extracts phonemes based on the speech signal extracted by the reception means, Extraction and discrimination of phoneme type, phoneme-specific feature parameters are stored in phoneme information storage means, and transfer means reads phoneme-specific feature parameters stored in phoneme information storage means based on a phoneme information transfer request Connected to the phoneme information registration device. Sound The phoneme information is stored in the phoneme information external storage means, and the phonetic synthesizer is provided with phoneme information storage means for storing the characteristic parameters for each phoneme. The transfer means is connected to the voice synthesizer based on the phoneme information transfer request. Sound The feature parameters for each phoneme may be read from the elementary information external storage means and written to the phoneme information storage means.
[0016]
DETAILED DESCRIPTION OF THE INVENTION
Next, one embodiment of the present invention will be described with reference to FIG. FIG. 1 is a block diagram showing the configuration of a TDMA cellular phone according to the present invention.
Among the mobile phone 100, 1 is an antenna for transmission and reception, and 2 is a radio unit (RF unit). At the time of transmission, digital modulation of a transmission digital baseband signal addressed to a radio base station input from a baseband signal processing unit described later, Frequency conversion to a desired channel frequency, power amplification, output to antenna 1, TDMA signal transmitted to external radio base station, TDMA signal addressed to own station from radio base station received by antenna 1 at reception The received digital baseband signal is output to the baseband signal processing unit by performing low noise amplification, frequency conversion, and digital demodulation. Reference numeral 3 denotes a baseband signal processing unit which extracts control channel data and speech channel data addressed to the own station from the received digital baseband signal according to the TDMA system, and outputs the control channel data to the control unit. In the case of a highly efficient encoded received voice signal, it is decoded and converted into a digital received voice signal and output. Further, when the baseband signal processing unit 3 inputs control data for transmission from the control unit according to the TDMA system, the baseband signal processing unit 3 creates a transmission digital baseband signal of a predetermined control channel including the control data and is assigned to the own station. When the data is output to the radio unit 2 at the timing of the time slot or information information for transmission is input from the control unit, a transmission digital baseband signal of a predetermined call channel including the information data is created and assigned to the own station. Or output to the radio unit 2 at the timing of the time slot. Further, the baseband signal processing unit 3 encodes a digital transmission voice signal input from the outside during a call and converts it into a high-efficiency encoded reception voice signal, and includes the encoded reception voice signal in a predetermined communication channel. A transmission digital baseband signal is created and output to the radio unit 2 at the timing of the time slot assigned to the own station.
[0017]
4 is an adder for adding a digital received voice signal output from the baseband signal processing unit 3 and a digital read-out voice signal output from a voice reading unit to be described later, and 5 is an output of the adding unit 4 to an analog voice signal. A D / A converter for conversion, 6 an amplifier for amplifying the power of the audio signal, 7 a reception speaker driven by the output of the amplifier 6, 8 for a transmission microphone, and 9 for input by a transmission microphone 8 An amplifier unit 10 that amplifies the analog transmission voice signal is an A / D conversion unit that converts the output of the amplifier unit 9 into a digital transmission voice signal and outputs it to the baseband signal processing unit 3.
[0018]
Reference numeral 11 denotes a voice analysis unit that inputs a digital transmission voice signal, extracts a characteristic parameter for each phoneme, and outputs it during a call when the phoneme information automatic registration mode is on. Specifically, as shown in FIG. 2, the voice analysis unit 11 inputs a digital transmission voice signal, cuts out each phoneme, and cuts out each phoneme. A feature extraction circuit 11b that extracts feature parameters from a digital transmitted speech signal, a phoneme discrimination circuit 11c that determines the type of phoneme from the feature parameter for each phoneme, and a phoneme that associates the feature parameter and the phoneme type for each phoneme The output circuit 11d outputs information (feature parameters for each phoneme).
[0019]
12 is a phoneme information internal storage unit capable of storing phoneme information for a plurality of people in association with telephone numbers as speaker identification information, and 13 is a phone number corresponding to phone numbers as speaker identification information. It is a portable phoneme information external storage unit that can be attached and stored here, and is here constituted by a semiconductor memory card having a male connector 14. The phoneme information internal storage unit 12 has a first storage area PA and a second storage area PB, as shown in FIG. 3, and the first storage area PA is a phoneme feature parameter for each phoneme and speaker identification information. Numbers can be stored in association with each other. In the second storage area PB, the characteristic parameters for N phonemes can be stored in association with telephone numbers as speaker identification information. The second storage area PB has N storage areas PB 1 ~ PB N Divided into each storage area PB i Can store a telephone number as speaker identification information and a characteristic parameter for each phoneme in association with each other. The portable phoneme information external storage unit 13 can store the telephone number as the speaker identification information shown in FIG. 4 and the feature parameter for each phoneme in association with each other.
[0020]
A female connector 15 is detachably connected to the male connector 14 of the portable phoneme information external storage unit 13 and is connected to a control unit to be described later. Reference numeral 16 denotes a character information storage unit having a received mail information storage area QA and a message storage area QB. The former received mail information storage area QA has a sender address as sender identification information for a plurality of received mails. It is possible to store received mail information including a subject name and a body text (here, a sender telephone number). The received mail information storage area QA has W storage areas QA as shown in FIG. 1 ~ QA W Each storage area QA j Can store the sender telephone number, subject (character string), and mail text (character string) for one received mail. The message storage area QB has V storage areas QB as shown in FIG. 1 ~ QB V Each storage area QB k Can store one message sentence (character string). Reference numeral 17 denotes a voice reading unit, which is user-desired received mail (or message) among one or more pieces of character information (one or more received mails and one or more messages) stored in the character information storage unit 16. The phoneme information stored in the phoneme information internal storage unit 12 uses the phoneme information of the sender of the desired received mail (or the phoneme information of the user of the local station), and the subject and the mail text (or message text) by speech synthesis. A digital read-out voice signal is generated and output. Specifically, as shown in FIG. 6, the voice reading unit 17 includes the subject of the received mail and the text of the mail text in the received mail information storage area QA (or message storage area QB) of the character information storage section 16. The phoneme string conversion circuit 17a for converting the string (or the character string of the message text desired by the user) into the phoneme string conversion circuit 17a and the phoneme information internal storage unit 12, stored in the phoneme information (or personal A speech synthesis circuit 17b that converts the phoneme string data into a digital read-out speech signal by speech synthesis using the station user's phoneme information).
[0021]
18 is an adder for adding the digital melody ringing tone signal and the digital read-out voice signal, 19 is a D / A converter for converting the output of the adder 18 into an analog voice signal, and 20 is an electric power for the output of the D / A converter 19. An amplifier unit 21 for amplifying is a loudspeaker driven by the output of the amplifier unit 20.
[0022]
Reference numeral 22 denotes a display unit that displays a telephone number dialed by the user for outgoing calls, displays a telephone number of the other party when an incoming call is received, a transmission source telephone number of a desired received mail selected by the user, Display the subject and email text. Reference numeral 23 denotes an operation unit, which is a power on / off operation, an on-hook / off-hook operation, a dialing operation, a character input operation (an operation for inputting a destination telephone number as a destination address for mail transmission, a subject and a body of a transmitted mail) Input operation), mail transmission instruction operation, selection operation of the desired received mail in the received mail, on / off operation of the phoneme information automatic registration mode, instruction operation for reading out the speech of the desired received mail, portable phoneme information external storage A phoneme information transfer instruction operation (second transfer instruction operation) from the unit 13 to the second region PB of the phoneme information internal storage unit 12, and a portable phoneme information external storage unit 13 from the first region PA of the phoneme information internal storage unit 12. A phoneme information transfer instruction operation (first transfer instruction operation) or the like is performed.
[0023]
Reference numeral 24 denotes a control unit having a microcomputer configuration, which controls each unit according to the operation of the operation unit 23, and performs standby processing, incoming call connection processing, outgoing call connection processing, mail creation and mail transmission processing, mail reception processing, and various display processing. (Dialing phone number, incoming phone number, sender phone number of the desired received mail, subject and text, etc.), and during the call with the phoneme information automatic registration mode on, digital speech transmission to the voice analysis unit 11 The phoneme-specific feature parameter for the speech signal is analyzed, and the phoneme-information internal storage unit 12 for the phoneme-specific feature parameter and speaker identification information (here, the phone number of the own station) is analyzed and the portable phoneme information is external. Registration processing in the storage unit 13, transfer processing of phoneme information from the portable phoneme information internal storage unit 13 to the phoneme information internal storage unit 12, phoneme information internal storage unit The transfer processing of phonemes information from 2 to portable phoneme information external storage unit 13.
[0024]
Also, the control unit 24 receives the speaker identification information from either the phoneme information internal storage unit 12 or the portable phoneme information external storage unit 13 for the subject and body of any received mail selected by the user for speech reading. When there is phoneme information that matches the sender identification information, the speech-to-speech unit 17 uses the phoneme information to generate a digitally read-out speech signal of the subject and text of the desired received mail.
[0025]
7 to 12 are flowcharts showing the control processing of the control unit 24, and FIG. 13 is an explanatory diagram of a method for exchanging phoneme information between mobile phones. Hereinafter, referring to these drawings, the mobile phone of FIG. The operation will be described.
As shown in FIG. 13, it is assumed that users A and B each have a mobile phone of the same type as the mobile phone shown in FIG. 1, and reference numeral 100A (telephone number 090-ΔΔXXX-XXX). The telephone number is stored as speaker identification information in a built-in memory (not shown) of the control unit 26 of the mobile phone 100A), 100B (phone number 090- □□ ○ × − ○○ □ ○. Is stored as speaker identification information in a built-in memory (not shown) of the control unit 24 of the mobile phone 100B. Each mobile phone 100A, 100B is assumed to have a portable phoneme information external storage unit, and is distinguished by reference numerals 13A, 13B. Here, description will be made centering on the mobile phone 100A and the portable phoneme information external storage unit 13A.
[0026]
First, it is assumed that the phoneme information automatic registration mode is off in the mobile phone 100A, and the phoneme information automatic registration mode flag SF stored in the built-in memory (not shown) of the control unit 24 is set to 0. . Further, it is assumed that the telephone number (090-ΔΔ ×× -XXX) has been stored in the built-in memory of the control unit 26, and the character information storage unit 16 has already stored a storage area. QA 1 ~ QA 9 It is assumed that nine pieces of received mail information (sender telephone number, subject, mail text) are stored. It is assumed that the phoneme information internal storage unit 12 is empty in any storage area.
[0027]
(1) Standby
When the user A performs a power-on operation on the operation unit 23, the control unit 24 controls the radio unit 2 and the baseband signal processing unit 3 for standby, and a standby control channel transmitted from the radio base station by the radio unit 2 The TDM signal of a predetermined frequency including TDMA time slot is received and the received digital baseband signal is output to the baseband signal processing unit 3, and the baseband signal processing unit 3 is controlled to control the standby control channel. The control data is extracted and output to the control unit 24 (step S10 in FIG. 7). Then, it is checked whether the local station has been called on the control channel, that is, whether there has been an incoming call (step S11). Here, if it is NO, if the user does not perform any other operation, the process returns to step S10 and the same processing is repeated.
[0028]
(2) Automatic registration of phoneme information during incoming calls
When the user A wants to register phoneme information of his / her voice during the phone call in the portable phoneme information external storage unit 13A, the male connector 14 of the portable phoneme information external storage unit 13A is connected to the female connector of the mobile phone 100A. 15 is connected. Here, it is assumed that the storage content of the portable phoneme information external storage unit 13A is empty. When the operation unit 23 turns on the phoneme information automatic registration mode, the control unit 24 sets the phoneme information automatic registration mode flag SF in the built-in memory to 1 and turns on the phoneme information automatic registration mode (steps S40 and S41 in FIG. 9). .
If there is an incoming call in this state, the control unit 24 determines YES in step S11. If the call is a call, the control unit 24 controls the radio unit 2 and the baseband signal processing unit 3, and performs predetermined control data with the radio base station. Are transmitted / received through a predetermined control channel, a first incoming response signal is returned to the radio base station, and a radio channel is established on the communication channel designated by the radio base station (steps S12 and S13). Then, a digital melody call ringtone is generated and output to the adder 18 and the melody call ringtone is output from the loudspeaker 21 (step S14). When the user performs an off-hook operation, the output of the digital melody call ringtone is stopped, the radio unit 2 and the baseband signal processing unit 3 are controlled, and the incoming second response signal is returned to the radio base station to shift to the call state ( Steps S15 to S17).
[0029]
In the call state, the downlink TDMA time slot signal of the information channel addressed to the own station transmitted from the radio base station is received by the radio unit 2, and the high-efficiency encoded received voice signal included in the information channel is received by the baseband signal processing unit 3. Is extracted and decoded, and the control data of the accompanying control channel associated with the call channel is output to the control unit 24. The digital reception voice signal obtained by the decoding is output to the D / A converter 5 and converted into an analog signal. After the power is amplified by the amplifier 6, the sound is reproduced from the reception speaker 7. On the contrary, when the user A speaks to the transmission microphone 8, an analog transmission voice signal is output from the transmission microphone 8 and amplified by the amplifier unit 9. Then, after being converted into a digital transmission voice signal by the A / D converter 10, it is output to the baseband signal processor 3. The baseband signal processing unit 3 performs high-efficiency encoding on the digital transmission voice signal, creates an uplink TDMA time slot signal of the communication channel using the high-efficiency encoded transmission voice signal as information data, and wirelessly transmits it at a predetermined timing. Is output to the unit 2. The radio unit 2 transmits an uplink TDMA time slot signal to the radio base station side.
[0030]
When entering the call state, the control unit 24 first checks whether the phoneme information automatic registration mode is on (step S18). If NO, the on-hook operation is performed or the other party uses the associated control channel associated with the call channel. When the disconnection signal is received, a call termination process is performed, and the initial standby state is restored (steps S19 and S20). However, here, since the phoneme information automatic registration mode is on, first, the phone number 090-ΔΔxxx of the own station as speaker identification information is stored in the first storage area PA of the phoneme information internal storage unit 12. It is checked whether or not XX is registered (step S21). Since NO, the first storage area PA is cleared and the telephone number of the own station is stored as speaker identification information (step S22). Next, it is checked whether or not the portable phoneme information external storage unit is connected (step S30 in FIG. 8). Since 13A is connected and YES, it is determined as speaker identification information in the portable phoneme information external storage unit 13A. It is checked whether or not the telephone number of the own station is registered (step S31). Since the answer is NO again, the storage area of the portable phoneme information external storage unit 13A is cleared, and the telephone number of the own station 090-ΔΔXXX. ○ × Δ is stored as speaker identification information (step S32).
[0031]
Subsequently, voice analysis start control is performed on the voice analysis unit 11. When the voice analysis unit 11 starts voice analysis, the voice analysis unit 11 cuts out the digital transmission voice signal output from the A / D conversion unit 10 for each phoneme, and outputs the digital transmission voice signal for each extracted phoneme. The feature parameter is extracted, the phoneme type is determined from the feature parameter for each phoneme, and phoneme information (feature parameter for each phoneme) in which the phoneme type and the feature parameter are associated with each phoneme is output to the control unit 24. The control unit 24 writes the phoneme-specific feature parameters in the first area PA of the phoneme information internal storage unit 12 and the portable phoneme information external storage unit 13A in association with the phoneme type and the feature parameters (step S33). . However, when the feature parameter for the same phoneme has been written in the storage area PA and the portable phoneme information external storage unit 13A, it is overwritten.
[0032]
Thereafter, when the user A performs an on-hook operation or control data including a disconnection signal is received from the other party, the control unit 24 performs voice analysis end control on the voice analysis unit 11 to end the voice analysis, The wireless unit 2 and the baseband signal processing unit 3 are controlled, and predetermined control data is transmitted / received to / from the wireless base station through an accompanying control channel associated with the information channel, and the call termination process is performed (steps S34 to S36). .
[0033]
(3) Automatic registration of phoneme information during outgoing calls
When the user A performs a call transmission operation by an off-hook operation and a dial operation for transmitting a call while waiting in the subsequent phoneme information automatic registration mode on state, the control unit 24 controls the radio unit 2 and the baseband signal processing unit 3. Then, the control data including the transmission request and the destination telephone number is transmitted to the radio base station side through a predetermined control channel, and the radio channel is established on the communication channel designated by the radio base station side (step S23, S24). When the other party does not answer the call and the user A performs an off-hook operation, the control unit 24 controls the radio unit 2 and the baseband signal processing unit 3, and the radio base station side uses the associated control channel associated with the call channel to disconnect the signal. To return to the standby state (steps S25 and S26). When the other party answers the call and a connection signal is received on the associated control channel associated with the call channel, the connection state of the wireless line in the call channel is maintained, and the call state is entered (steps S27 and S28).
[0034]
In the call state, the reception voice from the other party is output from the reception speaker 7 as in the case of the incoming call, and the transmission voice signal of the user A input from the transmission microphone 8 is transmitted to the other party.
When the call state is entered, since the phoneme information automatic registration mode is on (YES in step S18), the control unit 24 checks whether or not the own phone number is registered in the first storage area PA of the phoneme information internal storage unit 12. (Step S21) If YES, it is checked whether the portable phoneme information external storage unit is connected (Step S30 in FIG. 8). If 13A is connected and YES, the portable phoneme information information external storage is further stored. It is checked whether the telephone number of the own station is registered in the part 13A (step S31).
[0035]
If YES here as well, the voice analysis start control is performed on the voice analysis unit 11. When the voice analysis unit 11 starts voice analysis, the voice analysis unit 11 cuts out the digital transmission voice signal output from the A / D conversion unit 10 for each phoneme, and outputs the digital transmission voice signal for each extracted phoneme. The feature parameter is extracted, the phoneme type is determined from the feature parameter for each phoneme, and phoneme information (feature parameter for each phoneme) in which the feature parameter is associated with each phoneme is output to the control unit 24. The control unit 24 writes the phoneme-specific feature parameters in the first area PA of the phoneme information internal storage unit 12 and the portable phoneme information external storage unit 13A in association with the phoneme type and the feature parameters (step S33). . However, when the feature parameter for the same phoneme has been written in the storage area PA and the portable phoneme information external storage unit 13A, it is overwritten.
[0036]
Thereafter, when the user A performs an on-hook operation or control data including a disconnection signal is received from the other party, the control unit 24 performs voice analysis end control on the voice analysis unit 11 to end the voice analysis, The wireless unit 2 and the baseband signal processing unit 3 are controlled, and predetermined control data is transmitted / received to / from the wireless base station through an accompanying control channel associated with the information channel, and the call termination process is performed (steps S34 to S36) .
[0037]
As described above, if the phoneme information automatic registration mode is turned on in advance, each time the user A makes a call on the mobile phone 100A, the feature parameter for each phoneme of the user A's voice automatically becomes the phoneme information internal storage unit 12. Are registered in the portable phoneme information external storage unit 13A, so that no special work is required for registering phoneme information.
[0038]
Note that when the user A makes a phone call in the phoneme information automatic registration mode on state without attaching the phoneme information external storage unit 13A to the mobile phone 100A, the phoneme information of the user A is stored in the phoneme information internal storage of the mobile phone 100A. When the user A performs an on-hook operation or control data including a disconnection signal is received from the other party, the control unit 24 controls the voice analysis unit 11 to perform voice analysis end control. Then, the voice analysis is terminated, the radio unit 2 and the baseband signal processing unit 3 are controlled, and predetermined control data is transmitted to and received from the radio base station through the associated control channel attached to the information channel, thereby terminating the call processing. (Steps S38, S35, S36).
Thereafter, when the user A wants to transfer the phoneme information of his / her speech stored in the phoneme information internal storage unit 12 to the portable phoneme information external storage unit 13A, first, the portable phoneme information external storage unit 13A is connected to the mobile phone 100A. The operation unit 23 performs a transfer instruction operation (first transfer instruction operation) from the phoneme information internal storage unit 12 to the portable phoneme information internal storage unit 13A.
Then, the control unit 24 clears the stored content of the portable phoneme information external storage unit 13A, and then stores the phone number and the characteristic parameter for each phoneme stored in association with the first storage area PA of the phoneme information internal storage unit 12. Transfer is performed by reading and writing to the portable phoneme information external storage unit 13A (steps S44 and S45 in FIG. 9).
[0039]
When it is desired to use the mobile phone 100A by a person other than the user A, the phoneme information automatic registration mode is turned off. Then, since the control unit 24 turns off the phoneme information automatic registration mode (steps S42 and S43 in FIG. 9), the phoneme information registration processing of the transmitted voice is not performed even if the call is started (NO in step S18 in FIG. 7). ).
[0040]
(4) Exchange of phoneme information
The user B also makes a call with the mobile phone 100B while the phoneme information automatic registration mode is on, so that the phoneme information internal storage unit 12 or the portable phoneme information external storage unit 13B of the mobile phone 100B can be obtained. Can be memorized. When only the phoneme information internal storage unit 12 has been registered, the portable phoneme information external storage unit 13B is attached and connected, and the portable phoneme of the phoneme information from the phoneme information internal storage unit 12 by the operation unit 23 is connected. A transfer instruction operation (first transfer instruction operation) to the information external storage unit 13B is performed. The control unit 24 reads out the phone number corresponding to the phoneme information stored in the first storage area PA in the phoneme information internal storage unit 12, and stores it in the portable phoneme information external storage unit 13B.
[0041]
When the user A wants to read out the mail received from the user B with the voice of the user B, the portable phoneme information external storage unit 13B in which the phoneme information of the user B and the speaker phone number are registered in advance from the user B In the state of borrowing and attaching to the mobile phone 100A and instructing connection, the voice reading of the mail received from the user B is instructed, or the portable phoneme information in which the phoneme information of the user B and the speaker phone number are registered in advance The external storage unit 13B is temporarily attached to the mobile phone 100A, and the storage contents of the portable phoneme information external storage unit 13B are transferred into the mobile phone 100A (the portable phoneme information external storage unit 13B thereafter). Can be removed and returned to the user B), and an instruction to read out the voice of the mail received from the user B is given.
[0042]
The phoneme information and the speaker phone number are transferred from the portable phoneme information external storage unit 13B to the mobile phone 100A as follows. The portable phoneme information external storage unit 13B is mounted and connected to the female connector 15 of the mobile phone 100A, and the operation unit 23 performs a transfer instruction operation from the portable phoneme information external storage unit 13B to the phoneme information internal storage unit 12 (second operation). (Transfer instruction operation). Then, the control unit 24 reads the phoneme information in the portable phoneme information external storage unit 13B together with the corresponding phone number, and stores the same phone number registered in the second storage area PB of the phoneme information internal storage unit 12. Region PB i When there is a storage area PB i Phoneme information read out from the portable phoneme information external storage unit 13B is stored in the storage area PB. i And the storage area PB in which the same telephone number is registered i Is not stored, the telephone number and the phoneme information are written in association in a free storage area (steps S46 and S47 in FIG. 9).
On the other hand, when the user B wants to read the mail received from the user A with the voice of the user A, the user A borrows the portable phoneme information external storage unit 13A in which the phoneme information of the user A is registered in advance, The phone number corresponding to the phoneme information of the user A is transferred to the mobile phone 100B by the same operation.
[0043]
(5) Transmission of mail from user B to user A
When user B wants to send an email to user A, he / she enters the email address (here, user A's phone number), subject, and text in the operation unit 23 of the mobile phone 100B, and then creates an email. Send mail. After storing the mail information created by the user in a built-in memory (not shown) (steps S48 and S49), the control unit 24 controls the wireless unit 2 and the baseband signal processing unit 3 according to the mail transmission operation, and transmits the information. The mail information (address, subject, text) is transmitted to the radio base station side through a predetermined control channel (steps S50 and S51).
The transmitted mail information is transmitted from the radio base station to the mobile phone 100A via the mobile communication network through the standby control channel. The control unit 24 of the mobile phone 100A receives incoming mail information (destination, subject, text) when incoming mail information addressed to the own device is received in the control data of the standby control channel input from the baseband signal processing unit 3. Empty storage area QA of the character information storage unit 16 Ten (If there is no free storage area, the oldest received mail information is stored in the storage area), and a predetermined digital mail ringing tone signal is generated for a certain period of time. The mail ringtone is output from the loudspeaker 21 (YES in step S11 in FIG. 7, S12, steps S60 and S61 in FIG. 10).
[0044]
(6) Read aloud received mail on user A side
When the user A wants to read out the mail received from the user B this time with the voice of the user B, the operation unit 23 selects the desired received mail. Then, the control unit 24 causes the display unit 22 to display the transmission source telephone number, subject, and text of the desired received mail from the character information storage unit 16 (steps S70 and S71 in FIG. 11). Here, when the clear operation is performed, the mail display is turned off and the standby state is restored (steps S73, S74). It is checked whether there is phoneme information registered in association with the same telephone number as the sender telephone number of the desired mail (steps S72 and S75). If NO, check whether a certain portable phoneme information external storage unit 13X (X is A, B,...) Is connected. If YES, the same telephone number as the sender telephone number of the desired mail Is registered (step S77, S78). If YES in any one of steps S75 and S78, the voice reading unit 17 is controlled, and the phoneme information internal storage unit 12 (or portable phoneme information) is selected for the subject and the body of the desired received mail in the character information storage unit 16. Using the phoneme information registered in association with the same telephone number as the sender telephone number of the desired mail in the external storage unit 13X), a digital read-out voice signal is generated and output by voice synthesis (step S76 or S79). ). The digital read-out voice signal is output to the adder 18 and the adder 4 and is output from the loudspeaker 21 and the receiving speaker 7 as voice.
Thereby, the user A can hear the content of the mail from the user B with the voice of the user B, and a feeling is realizable.
[0045]
(7) Mail transmission from user A to B
If user A wants to send an email to B, he / she enters the email address (here, the phone number of user B), subject, and body text on the operation unit 23 of the mobile phone 100A, and then creates the email. Perform sending operation. The control unit 24 stores the mail information created by the user in a built-in memory (not shown) (steps S48 and S49 in FIG. 9), and then controls the radio unit 2 and the baseband signal processing unit 3 according to the mail transmission operation. Then, the transmission mail information (address, subject, text) is transmitted to the radio base station side through a predetermined control channel (steps S50 and S51).
The transmitted mail information is transmitted from the radio base station to the mobile phone 100B via the mobile communication network through the standby control channel. The control unit 24 of the mobile phone 100B stores the mail information addressed to itself in the control data of the standby control channel input from the baseband signal processing unit 3 and stores it in the character information storage unit 16 for a certain period of time. Only a predetermined digital mail ringing tone signal is generated and output to the adder 18, and the mail ringing tone is output from the loudspeaker 21 (steps S11 and S12 in FIG. 7, steps S60 and S61 in FIG. 10).
[0046]
(8) Read out the received mail on the user B side
When the user B wants to read out the mail received from the user A this time with the voice of the user A, the user B performs an operation of selecting a desired received mail with the operation unit 23 of the mobile phone 100B. Then, the control unit 24 causes the display unit 22 to display the transmission source telephone number, subject, and text of the desired received mail from the character information storage unit 16 (steps S70 and S71 in FIG. 11). Here, when the voice reading is instructed, the control unit 24 checks whether there is registered phoneme information having the same telephone number as the transmission source telephone number of the desired mail in the second storage area PB of the phoneme information internal storage unit 12. (Steps S72 and S75). If NO, check whether the portable phoneme information external storage unit 13X (X = A, B,...) Is connected. If YES, the same telephone number as the sender telephone number of the desired mail is registered. It is checked whether phoneme information exists (steps S77 and S78). If YES in any of steps S75 and S78, the speech reading unit 17 is controlled, and the phoneme information internal storage unit 12 (or the portable phoneme information) is selected for the subject and the mail text of the desired mail in the character information storage unit 16. Using the phoneme information registered in association with the sender telephone number of the desired mail in the external storage unit 13X), a digital read-out voice signal is generated and output by voice synthesis. The digital read-out voice signal is output to the adder 18 and the adder 4 and is output from the loudspeaker 21 and the receiving speaker 7 as voice.
Thereby, the user B can listen to the content of the mail from the user A with the voice of the user A, and the feeling is real.
[0047]
(9) Message text input and reading
When it is difficult for the user A to speak aloud due to his / her old age, a cold, etc., when he / she wants to convey a message by voice to a nearby person using the mobile phone 100 </ b> A, the desired message text is input in advance using the operation unit 23. The control unit 24 converts the message text inputted with characters into an empty storage area QB of the message storage area QB of the character information storage section 16 i (When there is no space, the storage area QB where the oldest message sentence is stored i (Steps S80 and S81 in FIG. 12).
In the following, the storage area QB of the message storage area QB of the character information storage unit 16 1 , QB 2 Suppose that you have already memorized many message sentences such as “Please take a newspaper”, “Please take your dog for a walk”, etc.
[0048]
When the user A wants to tell a person nearby that “Please take a newspaper”, the operation unit 23 selects a desired message. Then, the control unit 24 causes the display unit 22 to display a desired message in the character information storage unit 16 (steps S82 and S83). Here, when the clear operation is performed, the message display is turned off and the standby state is restored (steps S84 and S85). However, when the voice reading is instructed, the control unit 24 stores the own phone (cell phone) in the phoneme information internal storage unit 12. 100A) is checked whether there is phoneme information registered in association with the telephone number (steps S86 and S87). If NO, check whether portable phoneme information external storage unit 13X (X = A, B,...) Is connected (step S88), and if YES, phoneme information in which the phone number of the own station is registered Is checked (step S89). If YES in either step S87 or S89, the speech reading unit 17 is controlled, and the desired message in the character information storage unit 16 is stored in the phoneme information internal storage unit 12 (or the phoneme information external storage unit 13X). Using the phoneme information registered in association with the telephone number of the mobile phone 100A, a digital read-out voice signal is generated and output by voice synthesis. The digital read-out voice signal is output to the adder 18 and is output as voice from the loudspeaker 21 and the reception speaker 7 (step S90).
Thereby, even if it is difficult for the user A to speak, the user A can convey a desired message to his / her own voice.
[0049]
According to this embodiment, if the user A of the mobile phone 100A turns on the phoneme information automatic registration mode on the operation unit 23 in advance, while the user A is talking on the mobile phone 100A, The phoneme-specific feature parameters are analyzed based on the voice signal of the user A who is a user, and the phoneme information internal storage unit 12 (when the phoneme information external storage unit 13A is attached, the phoneme information internal storage unit 12 and the phoneme information external storage) Automatically stored in section 13A). Therefore, even if the user does not perform any special work for registering phoneme information, when the phoneme information internal storage unit 12 (phoneme information external storage unit 13A is attached) Can be registered in the phoneme information internal storage unit 12 and the phoneme information external storage unit 13A). Even if the phoneme information external storage unit 13A is not attached during a call, it can be transferred later from the phoneme information internal storage unit 12 to the phoneme information external storage unit 13A, which is highly convenient. Since the phone number of the mobile phone 100A as speaker identification information is automatically associated and registered in the phoneme information, it is easy to determine who is the phoneme information in the device with the speech synthesis function on the side using the phoneme information. I understand.
[0050]
Then, the phoneme information external storage unit 13B in which the phoneme information of the user B of the other mobile phone 100B is registered is attached to the mobile phone 100A and connected, and the speaker identification corresponding to the phoneme information from the phoneme information external storage unit 13B is connected. If the information is read out and transferred to the phoneme information internal storage unit 12 and there is a mail received from the user B, the phoneme information internal storage unit can be provided if the operation unit 23 instructs to read out the voice of the mail received from the user B. The phonetic information of the user B stored in 12 is used to generate a speech signal for reading the subject and body of the desired mail by voice synthesis, and the sound is output from the loudspeaker 21 and the receiving speaker 7, so I understand the contents.
Even if the phoneme information of the user B is not transferred to the phoneme information internal storage unit 12 from the portable phoneme information external storage unit 13B, the portable phoneme information external storage unit 13B in which the phoneme information of the user B is registered is portable. If it is attached to the telephone 100A and connected, when the operation unit 23 instructs to read out the voice of the mail received from the user B, the voice using the phoneme information of the user B stored in the portable phoneme information external storage unit 13B is used. By synthesizing, a subject voice of the desired mail and a text-to-speech audio signal are generated and output from the loudspeaker 21 and the reception speaker 7 as sound.
[0051]
Further, when the user A is difficult to speak, if the operation unit 23 instructs to read out a desired message, the phoneme information of the user A stored in the phoneme information internal storage unit 12 or the portable phoneme information external storage unit 13A is stored. By using the voice synthesis, a read-out voice signal of the desired message is generated and is output as sound from the loudspeaker 21. Therefore, it is possible to transmit a desired item with a person's own voice to a nearby person.
[0052]
In the above-described embodiment, when the mobile phone 100A instructs to read out the desired received mail, the control unit 24 identifies the speaker among the phoneme information internal storage unit 12 and the portable phoneme information external storage unit 13X. Speech synthesis is performed using phoneme information in which the phone number as information matches the phone number as source identification information. However, the phoneme information used for speech reading can be arbitrarily selected. You may make it synthesize | combine using the phoneme information matched with the telephone number as a certain desired speaker identification information which the user selected among the memorize | stored portable phoneme information external storage parts 13X. Similarly, when the mobile phone 100A instructs to read out a desired message sentence, the control unit 24 has the phone identification information stored in the phoneme information internal storage unit 12 and the portable phoneme information external storage unit 13X. The speech synthesis is performed using the phoneme information that matches the number, but the phoneme information used for speech reading can be selected and stored in the phoneme information internal storage unit 12 and the portable phoneme information external storage unit 13X. Voice synthesis may be performed using the selected phoneme information.
[0053]
FIG. 14 is a block diagram of a speech synthesis system according to the second embodiment of the present invention. The same components as those in FIGS. 1 and 13 are denoted by the same reference numerals.
In FIG. 14, the phonetic information registered in the portable phoneme information external storage unit 13X using the mobile phone 100X (X = A, B,...) Similar to that in FIGS. It is used for reading aloud.
In FIG. 14, among the speech synthesizer 200, 212 is a phoneme information internal storage unit that can store phoneme information for N people in association with telephone numbers as speaker identification information, and N storage areas PB 1 ~ PB N (See FIG. 3), each storage area PB i Can store a telephone number as speaker identification information and a characteristic parameter for each phoneme in association with each other.
[0054]
A female connector 15 is detachably connected to the male connector 14 of the portable phoneme information external storage unit 13 and is connected to a control unit to be described later. Reference numeral 216 denotes a character information storage unit, and V storage areas QB 1 ~ QB V Each storage area QB j Can store one message sentence (character string). Reference numeral 17 denotes a speech-to-speech unit. The user-desired message in the character information storage unit 216 is stored in the phoneme information internal storage unit 212. Create and output a speech signal. The voice reading unit 17 has the same configuration as that shown in FIG.
[0055]
Reference numeral 19 denotes a D / A converter that converts a digital read-out voice signal into an analog voice signal, 20 denotes an amplifier that amplifies the output of the D / A converter 19, and 21 is provided outside and is driven by the output of the amplifier 20. Is a loudspeaker. A display unit 222 displays a desired message selected by the user and speaker identification information (in this case, a telephone number), and displays a message text in which the user has input characters. An operation unit 223 performs a selection operation of a desired message and speaker identification information, a character input operation of a message sentence, and the like.
[0056]
Reference numeral 224 denotes a microcomputer-configured control unit that controls each unit according to the operation of the operation unit 223 to perform message sentence creation processing and various display processing, and from the portable phoneme information external storage unit 13 to the phoneme information internal storage unit 212. In addition to the phoneme information transfer process, the speaker identification number selected by the user in the phoneme information internal storage unit 212 or the portable phoneme information external storage unit 13 for any message sentence selected by the user for speech reading. The speech-to-speech unit 17 generates a digital speech-to-speech signal of a desired message sentence using the phoneme information corresponding to
The mobile phones 100A and 100B, the portable phoneme information external storage units 13 and 13A, and the portable phoneme information external storage unit 13B in FIG. 14 are configured in the same manner as in FIGS.
[0057]
FIG. 15 is a flowchart showing the control processing of the control unit 224. Hereinafter, the operation of the speech synthesis system of FIG. 14 will be described with reference to these drawings.
(1) Transfer of phoneme information
When the user A wants to incorporate phoneme information of his / her voice into the speech synthesizer 200, the portable phoneme information external storage unit 13A in which the phoneme information and speaker identification information of his / her voice are registered by the mobile phone 100A is synthesized. Attach and connect to the female connector 15 of the apparatus 200, and the operation unit 223 performs a transfer instruction operation from the portable phoneme information external storage unit 13 A to the phoneme information internal storage unit 212. Then, the control unit 224 reads the phoneme information and the phone number stored in the portable phoneme information external storage unit 13A, and the storage area PB in which the same phone number is registered in the phoneme information internal storage unit 212. i Is overwritten with the phoneme information read from the portable phoneme information external storage unit 13A, and the storage area PB in which the same telephone number is registered i Is not stored, the telephone number and the phoneme information are written in association in a free storage area (steps S100 and S101 in FIG. 15).
[0058]
Similarly, when the user B wants to incorporate phoneme information of his / her voice into the speech synthesizer 200, the portable phoneme information storage unit 13B in which the phoneme information of his / her voice and the speaker identification information are registered in the mobile phone 100B is installed. Attach and connect to the female connector 15 of the speech synthesizer 200, and the operation unit 223 performs a transfer instruction operation from the portable phoneme information external storage unit 13B to the phoneme information internal storage unit 212. Then, the control unit 224 reads the phoneme information in the portable phoneme information external storage unit 13B together with the phone number, and the storage area PB in which the same phone number is registered in the phoneme information internal storage unit 212. i Is overwritten with the phoneme information read from the portable phoneme information external storage unit 13B, and the storage area PB in which the same telephone number is registered i Is not stored, the telephone number and the phoneme information are written in association in a free storage area (steps S100 and S101 in FIG. 15).
[0059]
(2) Message text input and reading
In the following, it is assumed that the phoneme information of the users A and B is stored in the phoneme information internal storage unit 212 in association with the telephone number as the speaker identification information. The portable phoneme information external storage unit 13X may be removed from the speech synthesizer 200.
When it is difficult for the user A (B) to speak a voice due to his / her old age, a cold, etc., when the voice synthesizer 200 wants to convey a message to his / her own voice by using the voice synthesizer 200, the character of the desired message sentence is previously displayed on the operation unit 223 Keep typing. The control unit 224 converts the message text inputted with characters into an empty storage area QB of the character information storage unit 216. i (When there is no space, the storage area QB where the oldest message sentence is stored i (Steps S102 and S103 in FIG. 15).
In the following, the storage area QB of the character information storage unit 216 1 , QB 2 Suppose that you have already memorized many message sentences such as “Please take a newspaper”, “Please take your dog for a walk”, etc.
[0060]
When the user A (B) wants to tell a nearby person to “take a newspaper”, the operation unit 223 selects a desired message. Then, the control unit 224 causes the display unit 222 to display a desired message in the character information storage unit 216 (Steps S104 and S105). Here, when the clear operation is performed, the message display is turned off and the standby state is restored (steps S106 and S107). However, when the operation for instructing the speech reading is performed, the phoneme information speaker selection operation is waited (steps S108 and S109). Here, when the input operation of the telephone number of the mobile phone 100A (100B), which is the speaker identification information of the user A (B), is performed, the control unit 224 causes the phoneme information internal storage unit 212 to store the telephone of the user A (B). It is checked whether or not phoneme information registered in association with the number exists (step S110). If NO, it is checked whether the portable phoneme information external storage unit 13X (X = A, B,...) Is connected (step S111). If YES, the telephone number of the user A (B) is registered. It is checked whether the phoneme information exists (step S112). If YES in any of steps S110 and S112, the voice reading unit 17 is controlled, and the desired message in the character information storage unit 216 is stored in the phoneme information internal storage unit 212 (or the phoneme information external storage unit 13X). Using the phoneme information registered in association with the telephone number of the mobile phone 100A, a digital read-out voice signal is generated and output by voice synthesis. The digital read-out voice signal is output to the D / A converter 19 and output from the loud speaker 21 (step S113).
Thereby, even if it is difficult for the user A (B) to speak, a user can transmit a desired message with his / her own voice.
[0061]
In addition, if another person's telephone number is input by the phoneme information selection operation, the user A (B) can also say, for example, “Please take a newspaper” in the voice of the user B (A).
[0062]
According to this embodiment, the portable phoneme information external storage unit 13X in which the user X has registered phoneme information using the mobile phone 100X in advance is mounted on the speech synthesizer 200 and transferred to the speech synthesizer 200. A user Y who is difficult to make a voice while the phoneme information of the user X is incorporated or the portable phoneme information external storage unit 13X is mounted and connected to the speech synthesizer 200 is displayed on the operation unit 223. When a sentence is selected and the phoneme information of the desired speaker Z is selected and speech reading is instructed, the phoneme information of the speaker Z stored in the phoneme information internal storage unit 212 or the portable phoneme information external storage unit 13X is used. Then, a speech signal for reading out the desired message sentence is generated by voice synthesis, and the sound is output from the loudspeaker 21, so that the desired message sentence can be transmitted by the voice of the speaker Z .
In the example of FIG. 14, the loudspeaker 21 may be built in the speech synthesizer 200.
[0063]
FIG. 16 is a block diagram of a phoneme information registration / speech synthesizer according to the third embodiment of the present invention. The same components as those in FIG.
Reference numeral 300 denotes a phoneme information registration / speech synthesizer. Here, as an example, the phoneme information registration / speech synthesizer receives a transmission radio wave from the mobile phone 100 shown in FIG. Detects another feature parameter, registers it in the phoneme information internal storage unit or the portable phoneme information external storage unit, or uses the phoneme-specific feature parameter registered in the phoneme information internal storage unit or the portable phoneme information external storage unit Then, a desired message sentence is output by voice synthesis.
[0064]
Among the phoneme information registration / speech synthesizer 300, 301 is a receiving antenna and 302 is a radio unit (RF unit). In a standby state, the TDMA signal wave of the standby control channel emitted from the radio base station is low. When there is an incoming call addressed to a certain mobile phone 100 that performs noise amplification, frequency conversion, digital demodulation, outputs a received digital baseband signal to the baseband signal processing unit, and forms a pair with the phoneme information registration / speech synthesizer 300 Then, low noise amplification, frequency conversion and digital demodulation of the TDMA signal wave of the speech channel (uplink) designated by the radio base station are performed, and the received digital baseband signal is output to the baseband signal processing unit. A baseband signal processing unit 303 extracts control channel data and speech channel data from the received digital baseband signal in accordance with the TDMA method, and outputs control channel control data to the control unit. In the case of a voiced voice signal, it is decoded and converted into a digital voice signal and output.
[0065]
Reference numeral 11 denotes a voice analysis unit that inputs a digital transmission voice signal, extracts a characteristic parameter for each phoneme, and outputs it during a call when the phoneme information automatic registration mode is on. The voice analysis unit 11 has the same configuration as that shown in FIG.
[0066]
Reference numeral 12 denotes a phoneme information internal storage unit which can store phoneme information for a plurality of persons in association with telephone numbers as speaker identification information (see FIG. 3). Reference numeral 13 denotes a portable phoneme information external storage unit that can store phoneme information for one person in association with a telephone number as speaker identification information (see FIG. 4). A female connector 15 is detachably connected to the male connector 14 of the portable phoneme information external storage unit 13 and is connected to a control unit to be described later. Reference numeral 316 denotes a character information storage unit, and V storage areas QB 1 ~ QB V Each storage area QB v Can store one message sentence (character string). Reference numeral 17 denotes a speech reading unit. A message desired by the user in the character information storage unit 316 is stored in the phoneme information internal storage unit 12 and the message is generated by speech synthesis using the phoneme information of the speaker desired by the user. Create and output a digital speech signal for the sentence (see FIG. 5).
[0067]
Reference numeral 19 denotes a D / A converter that converts a digital read-out voice signal into an analog voice signal, 20 denotes an amplifier that amplifies the output of the D / A converter 19, and 21 is provided outside and is driven by the output of the amplifier 20. Is a loudspeaker. Reference numeral 322 denotes a display unit that displays a desired message and speaker identification information (in this case, a telephone number) selected by the user, or a message text in which the user has input characters. 323 is an operation unit for turning on / off the phoneme information automatic registration mode, inputting a message text, selecting a desired message, instructing to read out a desired message, and selecting a phoneme information used for reading out the voice, Phoneme information transfer instruction operation from the portable phoneme information external storage unit 13 to the second storage area PB of the phoneme information internal storage part 12 (second transfer instruction operation), from the first storage area PA of the phoneme information internal storage part 12 A phoneme information transfer instruction operation (first transfer instruction operation) to the portable phoneme information external storage unit 13 is performed.
[0068]
Reference numeral 324 denotes a control unit having a microcomputer configuration, which controls each unit according to the operation of the operation unit 323 to perform message sentence creation processing and various display processing, and from the portable phoneme information external storage unit 13 to the phoneme information internal storage unit 12. Phoneme information transfer processing, phoneme information transfer processing from the phoneme information internal storage unit 12 to the portable phoneme information external storage unit 13, or for any message sentence selected by the user for reading aloud, Using the phoneme information corresponding to the speaker identification number selected by the user in the phoneme information internal storage unit 12 or the portable phoneme information external storage unit 13, the voice reading unit 17 generates a digital read-out voice signal of a desired message. .
[0069]
FIGS. 17 to 20 are flowcharts showing the control process of the control unit 324, and FIG. 21 is an explanatory diagram of a phoneme information exchange method between phoneme information registration / speech synthesizers. The operation of the 16 phoneme information registration / speech synthesizer will be described.
As shown in FIG. 21, a phoneme information registration / speech synthesizer 300 </ b> A used in a pair with a mobile phone 100 </ b> A (telephone number 090-ΔΔ ×× XXX) is installed near the user A. It is assumed that a phoneme information registration / speech synthesizer 300B used in a pair with the mobile phone 100B (phone number 090- □□ ○ × − ○○ □ ○) is installed near the phone. The phoneme information registration / speech synthesizer 300A is configured in the same manner as in FIG. 16, and the telephone number of the mobile phone 100A is registered in the built-in memory (not shown) of the control unit 324. The phoneme information registration / speech synthesizer 300B is configured in the same manner as in FIG. 16, and the telephone number of the mobile phone 100B is registered in the built-in memory (not shown) of the control unit 324. The phoneme information registration / speech synthesizers 300A and 300B are accompanied by portable phoneme information external storage units 13A and 13B, respectively. Here, description will be made centering on the mobile phone 100A, the phoneme information registration / speech synthesizer 300A, and the portable phoneme information external storage unit 13A.
[0070]
It is assumed that the phoneme information registration / speech synthesizer 300A is off in the phoneme information automatic registration mode, and the phoneme information automatic registration mode flag SF stored in the built-in memory of the control unit 324 is 0. .
[0071]
(1) Registration of phoneme information during incoming calls
When the power is turned on, the control unit 324 checks whether the phoneme information automatic registration mode is on. If NO, the control unit 324 waits for an operation on the operation unit 323 (step S200 in FIG. 17).
When the user A wants to register phoneme information of his / her voice while making a call with the mobile phone 100A in the phoneme information internal storage unit 12 and the portable phoneme information external storage unit 13A of the phoneme information registration / speech synthesizer 300A. The male connector 14 of the portable phoneme information external storage unit 13A is coupled and connected to the female connector 15 of the phoneme information registration / speech synthesizer 300A. Here, it is assumed that the storage contents of the phoneme information internal storage unit 12 and the portable phoneme information external storage unit 13A are empty. When the operation unit 323 is turned on in the phoneme information automatic registration mode, the control unit 324 sets the phoneme information automatic registration mode flag SF in the built-in memory to 1 and turns on the phoneme information automatic registration mode (steps S240 and S241 in FIG. 19). .
[0072]
When the phoneme information automatic registration mode is turned on, the control unit 324 controls the radio unit 302 and the baseband signal processing unit 303, and a predetermined control channel (from the radio base station) on which the mobile phone 100A is waiting by the radio unit 302 is controlled. The TDMA signal (downward to the mobile phone 100A) is received and the received digital baseband signal is output, and the control data of the standby control channel is extracted by the baseband signal processing unit 303 and output to the control unit 324 (see FIG. 17 in step S200, S201).
[0073]
The control unit 324 checks whether there is an incoming call addressed to the mobile phone 100A from the radio base station based on the control data (step S202). If YES, the radio base station side that has received the first incoming call response from the mobile phone 100A specifies an empty call channel, so that the control unit 324 specifies the call channel for the mobile phone 100A within a predetermined time. The wireless unit 302 and the baseband signal processing unit 303 are controlled, and if the answer is YES, the communication channel designated by the wireless base station from the wireless base station (from the mobile phone 100A to the wireless base station) is checked. The TDMA signal (up to the station) is received and the received digital baseband signal is output, and the control data of the accompanying control channel associated with the speech channel is extracted by the baseband signal processing unit 303 and output to the control unit 324 ( Step S204).
[0074]
The control unit 324 checks from the control data whether the second incoming call response transmitted along with the off-hook at the mobile phone 100A is received within a certain time after step S204 (step S205). It is determined that the call has started, the baseband signal processing unit 303 is controlled, and the high-efficiency encoded transmission voice signal included in the information data on the uplink information channel is decoded and transmitted from the mobile phone 100A. Output of the digital transmission voice signal is started (step S206). First, it is checked whether or not the own telephone number 090-ΔΔxxx-XXX is registered in the first storage area PA of the phoneme information internal storage unit 12 (step S207). The storage area PA is cleared, and the telephone number of the own station is stored as speaker identification information (step S208). Next, it is checked whether the portable phoneme information external storage unit is connected (step S230 in FIG. 18). Since 13A is connected and YES, the phone number of the local station is stored in the portable phoneme information external storage unit 13A. It is checked whether it is registered (step S231), and since NO is again here, the portable phoneme information external storage unit 13A is cleared, and its own telephone number 090-ΔΔXXX-XXX is used as speaker identification information. Store (step S232).
[0075]
Subsequently, voice analysis start control is performed on the voice analysis unit 11. When the voice analysis unit 11 starts voice analysis, the voice analysis unit 11 cuts out the digital transmission voice signal output from the baseband signal processing unit 303 for each phoneme, and the digital transmission voice signal for each extracted phoneme. The feature parameter is extracted, the phoneme type is determined from the feature parameter for each phoneme, and phoneme information (feature parameter for each phoneme) in which the feature parameter and the phoneme type are associated with each phoneme is output to the control unit 324. The control unit 324 writes the phoneme-specific feature parameters in the first area PA of the phoneme information internal storage unit 12 and the portable phoneme information external storage unit 13A in association with the phoneme type and the feature parameters (step S233). . However, when the feature parameter for the same phoneme has been written in the storage area PA and the portable phoneme information external storage unit 13A, it is overwritten.
[0076]
Thereafter, when the user A or the other party performs an on-hook operation to end the call and the control data of the accompanying control channel associated with the call channel is not input from the baseband signal processing unit 303, the control unit 324 determines that the call has ended. Then, the voice analysis end control is performed on the voice analysis unit 11 to end the voice analysis (steps S234 and S235).
If the portable phoneme information external storage unit 13A is not connected, the control unit 324 writes the feature parameters for each phoneme only in the phoneme information internal storage unit 12 (NO in step S230, S236). . After that, when the user A or the other party performs an on-hook operation to end the call and the baseband signal processing unit 303 stops inputting the data of the accompanying control channel associated with the call channel, the control unit 324 determines that the call has ended. Then, the voice analysis end control is performed on the voice analysis unit 11 to end the voice analysis (steps S237 and S235).
[0077]
(2) Registration of phoneme information during outgoing calls
In contrast, when the user A performs a call outgoing operation on the mobile phone 100A while waiting in the phoneme information automatic registration mode on state, the wireless base station side designates an empty call channel. While waiting, the control unit 324 checks whether a call channel is designated for the mobile phone 100A based on the control data input from the baseband signal processing unit 303 (step S209). If YES, the wireless unit 302 and the baseband are checked. The signal processing unit 303 is controlled to receive the TDMA signal of the information channel designated by the radio unit 302 from the radio base station (downlink from the radio base station to the mobile phone 100A) and to output the received digital baseband signal. The band signal processing unit 303 extracts the control data of the accompanying control channel associated with the call channel and outputs the extracted control data to the control unit 324 (step S210).
[0078]
After step S210, the control unit 324 checks the control data to check whether a connection signal addressed to the mobile phone 100A is transmitted from the radio base station within a predetermined time (step S211). If the other party calling from the mobile phone 100A goes off-hook within a certain time, a connection signal addressed to the mobile phone 100A is transmitted from the wireless base station, so the control unit 324 determines YES in step S211, and this time the wireless unit 302 The baseband signal processing unit 303 is controlled to receive the uplink of the communication channel designated from the radio base station (step S212). Then, the baseband signal processing unit 303 is controlled to decode the high-efficiency encoded transmission voice signal included in the information data in the uplink communication channel, so that the digital transmission voice signal transmitted from the mobile phone 100A is decoded. Output is started (step S206). After that, the user A's voice is analyzed in the same manner as when an incoming call is made, and registered in the phoneme information internal storage unit 12 and the portable phoneme information external storage unit 13A (or the phoneme information internal storage unit 12) ( Steps S207 and S208, Steps S230 to S235 in FIG. 18, or Steps S230, S236, and S237).
[0079]
(3) Transfer of phoneme information
When only the phoneme information internal storage unit 12 is registered, the portable phoneme information external storage unit 13A is attached and connected, and the phoneme information internal storage unit 12 stores the phoneme information from the phoneme information internal storage unit 12 via the operation unit 323. A transfer instruction operation (first transfer instruction operation) to the unit 13A is performed. The control unit 324 reads the phone number corresponding to the phoneme information stored in the first storage area PA in the phoneme information internal storage unit 12 and stores it in the portable phoneme information external storage unit 13A (step in FIG. 19). S244, S245).
If the portable phoneme information external storage unit 13A is lent to the user B and the phoneme information and the speaker identification information are taken into the mobile phone 100B of FIG. 21, the voice of the mail received from the user A can be read out. Can be output into the voice synthesizer 200, the desired message can be output as voice by the voice of the user A.
[0080]
When it is desired to use the mobile phone 100A by a person other than the user A, the phoneme information automatic registration mode is turned off by the operation unit 323 of the phoneme information registration / speech synthesizer 300A. Then, since the control unit 324 turns off the phoneme information automatic registration mode (steps S242 and S243 in FIG. 19), the phoneme information registration process for the transmitted voice is not performed even if the call is started (NO in step S200 in FIG. 17). ).
[0081]
(4) Exchange of phoneme information
The user B also makes a call with the mobile phone 100B in the vicinity of the phoneme information registration / speech synthesizer 300B, so that the phoneme information internal storage unit 12 or the The portable phoneme information can be stored in the external storage unit 13B. When only the phoneme information internal storage unit 12 is registered, the portable phoneme information external storage unit 13B is mounted, and the portable phoneme information external storage of its own phoneme information from the phoneme information internal storage unit 12 is performed by the operation unit 323. A transfer instruction operation (first transfer instruction operation) to the unit 13B is performed. The control unit 324 reads the phone number corresponding to the phoneme information stored in the first storage area PA in the phoneme information internal storage unit 12, and stores it in the portable phoneme information external storage unit 13B.
[0082]
When the user A wants to read out the desired message in the voice of the user B, the user B borrows the portable phoneme information external storage unit 13B in which the phoneme information of the user B and the speaker phone number are registered in advance from the user B. In the state of being attached to and connected to the registration / speech synthesizer 300A, the user B is instructed to read out a message using the phoneme information, or the user B's phoneme information and speaker phone number are registered in advance. The phoneme information external storage unit 13B is temporarily attached to and connected to the phoneme information registration / speech synthesizer 300A, and the storage content of the portable phoneme information external storage unit 13B is transferred to the phoneme information registration / speech synthesizer 300A. Every other time (the portable phoneme information external storage unit 13B may be removed and then returned to the user B), and the voice reading of the message based on the phoneme information of the user B is instructed.
[0083]
The method of transferring phoneme information and the speaker phone number from the portable phoneme information external storage unit 13B to the phoneme information registration / speech synthesizer 300A is as follows. The portable phoneme information external storage unit 13B is mounted and connected to the female connector 15 of the phoneme information registration / speech synthesizer 300A, and transferred from the portable phoneme information external storage unit 13B to the phoneme information internal storage unit 12 by the operation unit 323. An instruction operation (second transfer instruction operation) is performed. Then, the control unit 324 reads the phoneme information in the portable phoneme information external storage unit 13B together with the phone number, and the storage region PB in which the same phone number is registered in the second storage region PB of the phoneme information internal storage unit 12. i When there is a storage area PB i Phoneme information read out from the portable phoneme information external storage unit 13B is stored in the storage area PB. i Storage area PB in which the same telephone number is registered i Is not stored, the telephone number and the phoneme information are written in association in a free storage area (steps S246 and S247 in FIG. 19).
On the other hand, when the user B wants to read out the desired message in the voice of the user A, the portable phoneme information external storage unit 13A in which the phoneme information of the user A is registered in advance is borrowed from the user A, and the same operation is performed. The phoneme information of the user A is transferred into the phoneme information registration / speech synthesizer 300B.
[0084]
(5) Message text input and reading
In the following, it is assumed that the phoneme information of the users A and B is stored in the phoneme information internal storage unit 12 of the phoneme information registration / speech synthesizer 300A in association with the telephone number as the speaker identification information. The portable phoneme information external storage unit 13X may be removed from the phoneme information registration / speech synthesizer 300A.
When it is difficult for the user A (B) to speak aloud due to an elderly person, a cold, or the like, if the phoneme information registration / speech synthesizer 300A wants to convey a message with his / her voice to a nearby person, the operation unit 323 may Enter the message text. The control unit 324 converts the message text inputted with characters into an empty storage area QB of the character information storage unit 316. i (When there is no space, the storage area QB where the oldest message sentence is stored i (Steps S280 and S281 in FIG. 20).
In the following, the storage area QB of the character information storage unit 316 1 , QB 2 Suppose that you have already memorized many message sentences such as “Please take a newspaper”, “Please take your dog for a walk”, etc.
[0085]
When the user A (B) wants to tell a nearby person “please take a newspaper”, the operation unit 323 selects a desired message. Then, the control unit 324 causes the display unit 322 to display a desired message in the character information storage unit 316 (steps S282 and S283). Here, when the clear operation is performed, the message display is turned off and the standby state is restored (steps S284 and S285). Here, when an operation of inputting the telephone number of the mobile phone 100A (100B) which is the speaker identification information of the user A (B) is performed, the control unit 324 stores the phone A of the user A (B) in the phoneme information internal storage unit 12. It is checked whether or not phoneme information registered in association with the number exists (step S288). If NO, it is checked whether the portable phoneme information external storage unit 13X (X = A, B,...) Is connected (step S289). If YES, the telephone number of the user A (B) is registered. It is checked whether the phoneme information exists (step S290). If YES in either step S288 or S290, the speech reading unit 17 is controlled, and the desired message in the character information storage unit 316 is stored in the phoneme information internal storage unit 12 (or the phoneme information external storage unit 13X). Then, using the phoneme information registered in association with the telephone number of the mobile phone 100A, a digital read-out voice signal is generated and output by voice synthesis. The digital read-out voice signal is output to the D / A converter 19 and output from the loud speaker 21 (step S291).
Thereby, even if it is difficult for the user A (B) to speak, a user can transmit a desired message with his / her own voice.
[0086]
In addition, if another person's telephone number is input by the phoneme information selection operation, the user A (B) can also say, for example, “Please take a newspaper” in the voice of the user B (A).
[0087]
According to this embodiment, when user A of mobile phone 100A turns on phoneme information automatic registration mode using operation unit 323 of phoneme information registration / synthesis apparatus 300A, user A of mobile phone 100A makes a call. The phoneme information registration / synthesizing device 300A analyzes the phoneme-specific feature parameters based on the voice signal of the sender of the mobile phone 100A, and the phoneme information internal storage unit 12 (phoneme information external storage unit 13A is mounted). Is automatically stored in the phoneme information internal storage unit 12 and the phoneme information external storage unit 13A). Therefore, even if the user A does not perform any special work for registering the phoneme information, the phoneme information internal storage unit 12 (the phoneme information external storage unit 13A is installed) for each phoneme-specific feature parameter of his / her voice. Can be registered in the phoneme information internal storage unit 12 and the phoneme information external storage unit 13A). Even if the phoneme information external storage unit 13A is not attached during a call, it can be transferred later from the phoneme information internal storage unit 12 to the phoneme information external storage unit 13A, which is highly convenient. Since the phone number of the mobile phone 100A as speaker identification information is automatically associated and registered in the phoneme information, it is easy to determine who is the phoneme information in the device with the speech synthesis function on the side using the phoneme information. I understand.
[0088]
Also, the phoneme information external storage unit 13B in which the phoneme information registration / synthesis device 300B corresponding to the user B of the other mobile phone 100B registers the phoneme information of the user A is attached to the phoneme information registration / synthesis device 300A and connected. The phoneme information external storage unit 13B can also read out the personal identification information corresponding to the phoneme information and transfer it to the phoneme information internal storage unit 12.
Then, when a certain user Y who is difficult to speak out selects a desired message sentence with the operation unit 323 and selects the phoneme information of the desired speaker Z and instructs to read out the speech, the phoneme information internal storage unit 12 or the portable type A speech signal for reading out a desired message sentence is generated by speech synthesis using the phoneme information of the speaker Z stored in the phoneme information external storage unit 13X, and is output acoustically from the loudspeaker 21. Can be messaged.
In the example of FIG. 16, the loudspeaker 21 may be incorporated in the phoneme information registration / synthesis apparatus 300.
[0089]
【The invention's effect】
According to the present invention, while the user is making a phone call, the phone (or phoneme information registration device or phoneme information registration / speech synthesizer) analyzes the feature parameters for each phoneme based on the user's voice signal. Connected to the phone (or phoneme information registration device or phoneme information registration / speech synthesis device) or the phone (or phoneme information registration device or phoneme information registration / speech synthesis device). Sound It is automatically stored in the raw information external storage means. For this reason, even if the user does not perform any special work for registering phoneme information, the user can register the feature parameters for each phoneme of his / her voice, and the phone (or phoneme information registration device or phoneme information registration). -When the speech synthesizer has a speech synthesis function, the phoneme information storage means or Sound User information stored in the raw information external storage means Phoneme information Based on the above, it is possible to easily read out desired text information such as a message sentence by a user's voice by voice synthesis.
[0090]
If the phoneme (or phoneme information registration device or phoneme information registration / speech synthesizer) is equipped with the phoneme information storage means, Sound It can also be transferred to the elementary information external storage means, and the feature parameters for each phoneme of other users are stored. Sound The basic information external storage means is connected to a telephone or speech synthesizer having a speech synthesis function ,sound The phoneme information storage means provided in the phone or the speech synthesizer having the speech synthesis function, using the feature parameters of the other users stored in the elementary information external storage means as they are, Sound It is also possible to easily read out the desired character information such as e-mail, message sentence, etc. by the voice of the other user by voice synthesis by transferring the characteristic parameter of the other user's phoneme from the elementary information external storage means. it can.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a mobile phone according to a first embodiment of the present invention.
FIG. 2 is a block diagram showing a specific configuration of a voice analysis unit in FIG.
FIG. 3 is an explanatory diagram of storage contents of a phoneme information internal storage unit in FIG. 1;
FIG. 4 is an explanatory diagram of storage contents of the portable phoneme information external storage unit in FIG. 1;
FIG. 5 is an explanatory diagram of stored contents of a character information storage unit in FIG. 1;
6 is a block diagram showing a specific configuration of a speech reading unit in FIG. 1. FIG.
FIG. 7 is a flowchart showing a control process of a control unit in FIG.
FIG. 8 is a flowchart showing control processing of a control unit in FIG. 1;
FIG. 9 is a flowchart showing a control process of a control unit in FIG. 1;
FIG. 10 is a flowchart showing a control process of a control unit in FIG.
FIG. 11 is a flowchart showing a control process of a control unit in FIG. 1;
12 is a flowchart showing control processing of a control unit in FIG.
FIG. 13 is an explanatory diagram of a method of exchanging phoneme information between mobile phones according to the first embodiment.
FIG. 14 is a block diagram showing a configuration of a speech synthesis system according to a second embodiment of the present invention.
15 is a flowchart showing a control process of a control unit in FIG. 14;
FIG. 16 is a block diagram illustrating a configuration of a phoneme information registration / speech synthesis device according to a third embodiment of the present invention;
FIG. 17 is a flowchart showing a control process of the control unit in FIG. 16;
FIG. 18 is a flowchart showing control processing of the control unit in FIG. 16;
FIG. 19 is a flowchart showing control processing of the control unit in FIG. 16;
20 is a flowchart showing a control process of a control unit in FIG.
FIG. 21 is an explanatory diagram of a method of using the phoneme information registration / speech synthesis device according to the third embodiment;
[Explanation of symbols]
1, 301 Antenna 2, 302 RF section
3, 303 Baseband signal processor
8 Speaking microphone 11 Voice analysis part
12, 212 Phoneme information internal storage
13, 13A, 13B Portable phoneme information external storage
16, 216, 316 Character information storage unit
17 Voice reading part 21 Loudspeaker
23, 223, 323 Operation unit 24, 224, 324 Control unit
100, 100A, 100B mobile phone
200, 200A, 200B Speech synthesizer
300, 300A, 300B Phoneme information registration / speech synthesizer

Claims (40)

通話時、入力された音声信号を回線を介して局側と送受信する電話装置において、
通話中に当該電話装置に入力された音声信号に基づき、音素の切り出し、音素の特徴パラメータの抽出と音素の種類の判別をし、音素別の特徴パラメータを電話装置に接続された音素情報外部記憶手段に記憶させる音声分析・登録手段を備えたこと、
を特徴とする電話装置。
During a call, the telephone apparatus to send and receive the station side through the input to the line of the audio signal,
Based on the voice signal inputted during a call to the telephone device, phoneme cut, and the determination of the kind of extraction and phoneme phoneme feature parameters, connected phoneme information outside the phonemewise feature parameters to the telephone device Provided with voice analysis / registration means to be stored in the storage means;
A telephone device characterized by.
音素情報登録モードのオン・オフ操作を行う操作手段を備えるとともに、
音声分析・登録手段は、音素情報登録モードオンの場合に、通話中に当該電話装置に入力された音声信号に基づき、音素の切り出し、音素の特徴パラメータの抽出と音素の種類の判別をし、音素別の特徴パラメータを音素情報外部記憶手段に記憶させるようにしたこと、
を特徴とする請求項1記載の電話装置。
With operation means for turning on / off the phoneme information registration mode,
The voice analysis / registration means, when the phoneme information registration mode is on, based on a voice signal input to the telephone device during a call, extracts a phoneme, extracts a phoneme characteristic parameter, and determines a phoneme type, it has to be stored in the phoneme information external storage means phonemewise feature parameters,
The telephone device according to claim 1.
話者識別情報を記憶した話者識別情報記憶手段を備え、
音声分析・登録手段は、音素別の特徴パラメータに対応付けて話者識別情報を音素情報外部記憶手段に記憶させるようにしたこと、
を特徴とする請求項1記載の電話装置。
Comprising speaker identification information storage means for storing speaker identification information;
Voice analysis and registration means, it has to be stored in the phoneme information external memory speaker identification information in association with the phoneme feature parameters,
The telephone device according to claim 1.
通話時、入された音声信号を回線を介して局側と送受信する電話装置において、
音素別の特徴パラメータを記憶する音素情報記憶手段と、
通話中に当該電話装置に入力された音声信号に基づき、音素の切り出し、音素の特徴パラメータの抽出と音素の種類の判別をし、音素別の特徴パラメータを音素情報記憶手段に記憶させる音声分析・登録手段と、
音素情報の転送要求に基づき、音素情報記憶手段に記憶された音素別の特徴パラメータを音素情報記憶手段から読み出し電話装置に接続された音素情報外部記憶手段に書き込む転送手段と、
を備えたことを特徴とする電話装置。
During a call, the telephone apparatus to send and receive the station side through the input to the line of the audio signal,
Phoneme information storage means for storing characteristic parameters for each phoneme;
Based on the voice signal input to the telephone device during a call, the phoneme is extracted, the phoneme feature parameters are extracted and the phoneme type is discriminated, and the phoneme information storage means stores the phoneme feature parameters. Registration means;
Based on the transfer request phoneme information, and transfer means for writing the connected phoneme information external storage unit in the read telephone apparatus phonemewise feature parameters stored in the phoneme-information storage means from the phoneme-information storage means,
A telephone device characterized by comprising:
音素情報登録モードのオン・オフ操作を行う操作手段を備えるとともに、
音声分析・登録手段は、音素情報登録モードがオンの場合に、通話中に当該電話装置に入力された音声信号に基づき、音素の切り出し、音素の特徴パラメータの抽出と音素の種類の判別をし、音素別の特徴パラメータを音素情報記憶手段に記憶させるようにしたこと、
を特徴とする請求項4記載の電話装置。
With operation means for turning on / off the phoneme information registration mode,
When the phoneme information registration mode is on, the speech analysis / registration means extracts phonemes, extracts phoneme feature parameters, and determines phoneme types based on a speech signal input to the telephone device during a call. , Phoneme-specific feature parameters are stored in the phoneme information storage means,
The telephone device according to claim 4.
話者識別情報を記憶した話者識別情報記憶手段を備え、
音声分析・登録手段は、音素別の特徴パラメータに対応付けて話者識別情報も音素情報記憶手段に記憶させるようにし、
転送手段は音素情報の転送要求に基づき、音素情報記憶手段から音素別の特徴パラメータと対応する話者識別情報を読み出し音素情報外部記憶手段に書き込むようにしたこと、
を特徴とする請求項4記載の電話装置。
Comprising speaker identification information storage means for storing speaker identification information;
The voice analysis / registration means stores the speaker identification information in the phoneme information storage means in association with the feature parameter for each phoneme,
Transfer means based on the transfer request phoneme information, it has to write to speaker identification information Shi read out phoneme information external storage means corresponding to the phonemewise feature parameters from the phoneme information storage means,
The telephone device according to claim 4.
話者識別情報を記憶した話者識別情報記憶手段を備え、
転送手段は音素情報の転送要求に基づき、音素情報記憶手段に記憶された音素別の特徴パラメータと話者識別情報記憶手段に記憶された話者識別情報を読み出し対応付けて音素情報外部記憶手段に書き込むようにしたこと、
を特徴とする請求項4記載の電話装置。
Comprising speaker identification information storage means for storing speaker identification information;
Transfer means based on the transfer request phoneme information, the phoneme information of phoneme stored in the storage means, wherein the parameter and speaker identification information read out speaker identification information stored in the storage means corresponding with and phoneme information external storage unit To write to,
The telephone device according to claim 4.
通話時、音声信号を回線を介して局側と送受信し、メール受信時には受信メールを受信メール情報記憶手段に記憶する電話装置において、
通話中に当該電話装置に入力された音声信号に基づき、音素の切り出し、音素の特徴パラメータの抽出と音素の種類の判別をし、音素別の特徴パラメータを電話装置に接続された音素情報外部記憶手段に記憶させる音声分析・登録手段と、
所望受信メールの音声読み上げが指示されると、受信メール情報記憶手段の中の所望受信メールを対象に、電話装置に接続された音素情報外部記憶手段中の音素別の特徴パラメータを用いて音声合成により受信メール本文を表す音声出力を行う音声合成手段と、
を備えたことを特徴とする電話装置。
During a call, the audio signal transmitting and receiving the office side through the line, the telephone apparatus stores the received mail to the received mail information storage means at the time of receiving mail,
Based on the voice signal inputted during a call to the telephone device, phoneme cut, and the determination of the kind of extraction and phoneme phoneme feature parameters, connected phoneme information outside the phonemewise feature parameters to the telephone device Voice analysis / registration means to be stored in the storage means;
Desired the incoming mail text-to-speech is indicated to the subject a desired received mail in the received mail information storage means, sound using the phonemewise feature parameters in connected phoneme information external storage means to the telephone device Speech synthesis means for performing speech output representing the received mail text by synthesis;
A telephone device characterized by comprising:
通話時、音声信号を回線を介して局側と送受信し、メール受信時には受信メールを受信メール情報記憶手段に記憶する電話装置において、
通話中に当該電話装置に入力された音声信号に基づき、音素の切り出し、音素の特徴パラメータの抽出と音素の種類の判別をし、音素別の特徴パラメータを電話装置に接続された音素情報外部記憶手段に記憶させる音声分析・登録手段と、
音素別の特徴パラメータを記憶する音素情報記憶手段と、
音素情報の転送要求に従い、電話装置に接続された音素情報外部記憶手段から音素別の特徴パラメータを読み出し音素情報記憶手段に記憶させる転送手段と、
所望受信メールの音声読み上げが指示されると、受信メール情報記憶手段の中の所望受信メールを対象に、音素情報記憶手段中の音素別の特徴パラメータを用いて音声合成により受信メール本文を表す音声出力を行う音声合成手段と、
を備えたことを特徴とする電話装置。
During a call, the audio signal transmitting and receiving the office side through the line, the telephone apparatus stores the received mail to the received mail information storage means at the time of receiving mail,
Based on the voice signal inputted during a call to the telephone device, phoneme cut, and the determination of the kind of extraction and phoneme phoneme feature parameters, connected phoneme information outside the phonemewise feature parameters to the telephone device Voice analysis / registration means to be stored in the storage means;
Phoneme information storage means for storing characteristic parameters for each phoneme;
According transfer request phoneme information, and transfer means for storing phoneme data storing means reads the phonemewise feature parameters from the connected phoneme information external storage unit to the telephone device,
When an instruction to read out the desired received mail is given, the voice representing the received mail text by speech synthesis using the phoneme-specific feature parameters in the phoneme information storage means for the desired received mail in the received mail information storage means Speech synthesis means for performing output,
A telephone device characterized by comprising:
通話時、音声信号を回線を介して局側と送受信し、メール受信時には送信元識別情報と本文を含む受信メール情報を受信メール情報記憶手段に記憶する電話装置において、
話者識別情報を記憶した話者識別情報記憶手段と、
通話中に当該電話装置に入力された音声信号に基づき、音素の切り出し、音素の特徴パラメータの抽出と音素の種類の判別をし、音素別の特徴パラメータを話者識別情報記憶手段の話者識別情報と対応付けて電話装置に接続された音素情報外部記憶手段に記憶させる音声分析・登録手段と、
所望受信メールの音声読み上げが指示されると、受信メール情報記憶手段の中の所望受信メールを対象に、電話装置に接続された音素情報外部記憶手段の内、話者識別情報が所望受信メールの送信元識別情報と一致する音素別の特徴パラメータを用いて音声合成により受信メール本文を表す音声出力を行う音声合成手段と、
を備えたことを特徴とする電話装置。
During a call, the audio signal transmitting and receiving the office side through the line, the telephone apparatus stores the received mail information including the transmission source identification information and body received mail information storage means at the time of receiving mail,
Speaker identification information storage means for storing speaker identification information;
Based on the audio signal input to the telephone device during a call, the phoneme is extracted, the phoneme feature parameters are extracted and the phoneme type is determined, and the phoneme-specific feature parameters are identified by the speaker identification information storage means. a speech analysis and registration means for storing the connected phoneme information external storage unit to the telephone device in association with information,
Desired the incoming mail text-to-speech is indicated to the subject a desired received mail in the received mail information storage means, among the connected phoneme information external storage unit to the telephone device, speaker identification information is desired incoming mail Speech synthesis means for performing speech output representing a received mail body by speech synthesis using a phoneme-specific feature parameter that matches the sender identification information of
A telephone device characterized by comprising:
通話時、音声信号を回線を介して局側と送受信し、メール受信時には送信元識別情報と本文を含む受信メール情報を受信メール情報記憶手段に記憶する電話装置において、
話者識別情報を記憶した話者識別情報記憶手段と、
通話中に当該電話装置に入力された音声信号に基づき、音素の切り出し、音素の特徴パラメータの抽出と音素の種類の判別をし、音素別の特徴パラメータを話者識別情報記憶手段の話者識別情報と対応付けて電話装置に接続された音素情報外部記憶手段に記憶させる音声分析・登録手段と、
音素別の特徴パラメータと対応する話者識別情報を記憶する音素情報記憶手段と、
音素情報の転送要求に従い、電話装置に接続された音素情報外部記憶手段から音素別の特徴パラメータと対応する話者識別情報を読み出し、音素情報記憶手段に記憶させる転送手段と、
所望受信メールの音声読み上げが指示されると、受信メール情報記憶手段の中の所望受信メールを対象に、音素情報記憶手段の内、話者識別情報が所望受信メールの送信元識別情報と一致する音素別の特徴パラメータを用いて音声合成により本文を表す音声出力を行う音声合成手段と、
を備えたことを特徴とする電話装置。
During a call, the audio signal transmitting and receiving the office side through the line, the telephone apparatus stores the received mail information including the transmission source identification information and body received mail information storage means at the time of receiving mail,
Speaker identification information storage means for storing speaker identification information;
Based on the audio signal input to the telephone device during a call, the phoneme is extracted, the phoneme feature parameters are extracted and the phoneme type is determined, and the phoneme-specific feature parameters are identified by the speaker identification information storage means. a speech analysis and registration means for storing the connected phoneme information external storage unit to the telephone device in association with information,
Phoneme information storage means for storing speaker identification information corresponding to the feature parameter for each phoneme;
According transfer request phoneme information, it reads the speaker identification information corresponding to the phonemewise feature parameters from the connected phoneme information external storage unit to the telephone device, a transfer means for storing phoneme data storing means,
When voice reading of the desired received mail is instructed, the speaker identification information in the phoneme information storage means matches the sender identification information of the desired received mail for the desired received mail in the received mail information storage means. Speech synthesis means for performing speech output representing the text by speech synthesis using feature parameters for each phoneme;
A telephone device characterized by comprising:
通話時、音声信号を回線を介して局側と送受信し、メール受信時には受信メール情報を受信メール情報記憶手段に記憶する電話装置において、
音素別の特徴パラメータを記憶する音素情報記憶手段と、
通話中に当該電話装置に入力された音声信号に基づき、音素の切り出し、音素の特徴パラメータの抽出と音素の種類の判別をし、音素別の特徴パラメータを音素情報記憶手段に記憶させる音声分析・登録手段と、
音素情報の転送要求に基づき、音素情報記憶手段から音素別の特徴パラメータを読み出し電話装置に接続された音素情報外部記憶手段に書き込む転送手段と、
所望受信メールの音声読み上げが指示されると、受信メール情報記憶手段の中の所望受信メールを対象に、電話装置に接続された音素情報外部記憶手段の音素別の特徴パラメータを用いて音声合成により本文を表す音声出力を行う音声合成手段と、
を備えたことを特徴とする電話装置。
During a call, the audio signal transmitting and receiving the office side through the line, the telephone apparatus stores the received mail information to the received mail information storage means at the time of receiving mail,
Phoneme information storage means for storing characteristic parameters for each phoneme;
Based on the voice signal input to the telephone device during a call, the phoneme is extracted, the phoneme feature parameters are extracted and the phoneme type is discriminated, and the phoneme information storage means stores the phoneme feature parameters. Registration means;
Based on the transfer request phoneme information, and transfer means for writing the phoneme of connected phoneme information external storage unit to the telephone device reads the characteristic parameters from the phonemic information storage means,
Desired the incoming mail text-to-speech is indicated to the subject a desired received mail in the received mail information storage means, speech synthesis using phoneme-specific characteristic parameters of phoneme information external storage means connected to the telephone device Voice synthesis means for outputting a voice representing the body,
A telephone device characterized by comprising:
通話時、音声信号を回線を介して局側と送受信し、メール受信時には受信メール情報を受信メール情報記憶手段に記憶する電話装置において、
音素別の特徴パラメータを記憶する音素情報記憶手段と、
通話中に当該電話装置に入力された音声信号に基づき、音素の切り出し、音素の特徴パラメータの抽出と音素の種類の判別をし、音素別の特徴パラメータを音素情報記憶手段に記憶させる音声分析・登録手段と、
音素情報の第1転送要求に基づき、音素情報記憶手段に記憶された音素別の特徴パラメータを読み出し電話装置に接続された音素情報外部記憶手段に書き込んだり、音素情報の第2転送要求に基づき、電話装置に接続された音素情報外部記憶手段から音素別の特徴パラメータを読み出し音素情報記憶手段に書き込む転送手段と、
所望受信メールの音声読み上げが指示されると、受信メール情報記憶手段の中の所望受信メールを対象に、音素情報記憶手段の音素別の特徴パラメータを用いて音声合成により本文を表す音声出力を行う音声合成手段と、
を備えたことを特徴とする電話装置。
During a call, the audio signal transmitting and receiving the office side through the line, the telephone apparatus stores the received mail information to the received mail information storage means at the time of receiving mail,
Phoneme information storage means for storing characteristic parameters for each phoneme;
Based on the voice signal input to the telephone device during a call, the phoneme is extracted, the phoneme feature parameters are extracted and the phoneme type is discriminated, and the phoneme information storage means stores the phoneme feature parameters. Registration means;
Based on the first transfer request phoneme information, write to the connected phoneme information external storage unit to the telephone device reads the phonemewise feature parameters stored in the phoneme-information storage unit, based on the second transfer request phoneme information a transfer means for writing the phoneme information storage means reading the phonemewise feature parameters from the connected phoneme information external storage unit to the telephone device,
When a voice reading of the desired received mail is instructed, the desired received mail in the received mail information storage means is targeted, and voice output representing the text is performed by speech synthesis using the phoneme-specific feature parameters of the phoneme information storage means. Speech synthesis means;
A telephone device characterized by comprising:
通話時、音声信号を回線を介して局側と送受信し、メール受信時には本文と送信元識別情報を含む受信メール情報を受信メール情報記憶手段に記憶する電話装置において、
話者識別情報を記憶した話者識別情報記憶手段と、
音素別の特徴パラメータを記憶する音素情報記憶手段と、
通話中に当該電話装置に入力された音声信号に基づき、音素の切り出し、音素の特徴パラメータの抽出と音素の種類の判別をし、音素別の特徴パラメータを話者識別情報記憶手段に記憶された話者識別情報と対応付けて音素情報記憶手段に記憶させる音声分析・登録手段と、
音素情報の転送要求に基づき、音素情報記憶手段に記憶された音素別の特徴パラメータと対応する話者識別情報を読み出し電話装置に接続された音素情報外部記憶手段に書き込む転送手段と、
所望受信メールの音声読み上げが指示されると、受信メール情報記憶手段の中の所望受信メールを対象に、電話装置に接続された音素情報外部記憶手段の内、話者識別情報が所望受信メールの送信元識別情報と一致する音素別の特徴パラメータを用いて音声合成により受信メール本文を表す音声出力を行う音声合成手段と、
を備えたことを特徴とする電話装置。
During a call, the audio signal transmitted and received and the station side through the line, at the time of the mail received by the telephone apparatus stores the received mail information containing the body and the source identification information to the received mail information storage means,
Speaker identification information storage means for storing speaker identification information;
Phoneme information storage means for storing characteristic parameters for each phoneme;
Based on the voice signal input to the telephone device during a call, the phoneme is extracted, the phoneme feature parameter is extracted and the phoneme type is determined, and the phoneme-specific feature parameter is stored in the speaker identification information storage means. Speech analysis / registration means for storing in phoneme information storage means in association with speaker identification information;
Based on the transfer request phoneme information, and transfer means for writing the phoneme information external storage means connected to the telephone device reads the speaker identification information corresponding to the stored phoneme feature parameter phoneme information storage means,
Desired the incoming mail text-to-speech is indicated to the subject a desired received mail in the received mail information storage means, among the connected phoneme information external storage unit to the telephone device, speaker identification information is desired incoming mail Speech synthesis means for performing speech output representing a received mail body by speech synthesis using a phoneme-specific feature parameter that matches the sender identification information of
A telephone device characterized by comprising:
通話時、音声信号を回線を介して局側と送受信し、メール受信時には本文と送信元識別情報を含む受信メール情報を受信メール情報記憶手段に記憶する電話装置において、
話者識別情報を記憶した話者識別情報記憶手段と、
音素別の特徴パラメータを記憶する音素情報記憶手段と、
通話中に当該電話装置に入力された音声信号に基づき、音素の切り出し、音素の特徴パラメータの抽出と音素の種類の判別をし、音素別の特徴パラメータを音素情報記憶手段に記憶させる音声分析・登録手段と、
音素情報の転送要求に基づき、音素情報記憶手段に記憶された音素別の特徴パラメータと話者識別情報記憶手段に記憶された話者識別情報を読み出し対応付けて電話装置に接続された音素情報外部記憶手段に書き込む転送手段と、
所望受信メールの音声読み上げが指示されると、受信メール情報記憶手段の中の所望受信メールを対象に、電話装置に接続された音素情報外部記憶手段の内、話者識別情報が所望受信メールの送信元識別情報と一致する音素別の特徴パラメータを用いて音声合成により受信メール本文を表す音声出力を行う音声合成手段と、
を備えたことを特徴とする電話装置。
During a call, the audio signal transmitted and received and the station side through the line, at the time of the mail received by the telephone apparatus stores the received mail information containing the body and the source identification information to the received mail information storage means,
Speaker identification information storage means for storing speaker identification information;
Phoneme information storage means for storing characteristic parameters for each phoneme;
Based on the voice signal input to the telephone device during a call, the phoneme is extracted, the phoneme feature parameters are extracted and the phoneme type is discriminated, and the phoneme information storage means stores the phoneme feature parameters. Registration means;
Based on the transfer request phoneme information, the phoneme information of phoneme stored in the storage means, wherein the parameter and speaker identification information connected phoneme information to read association with the telephone apparatus stored speaker identification information in the storage means Transfer means for writing to external storage means;
Desired the incoming mail text-to-speech is indicated to the subject a desired received mail in the received mail information storage means, among the connected phoneme information external storage unit to the telephone device, speaker identification information is desired incoming mail Speech synthesis means for performing speech output representing a received mail body by speech synthesis using a phoneme-specific feature parameter that matches the sender identification information of
A telephone device characterized by comprising:
通話時、音声信号を回線を介して局側と送受信し、メール受信時には本文と送信元識別情報を含む受信メール情報を受信メール情報記憶手段に記憶する電話装置において、
話者識別情報を記憶した話者識別情報記憶手段と、
音素別の特徴パラメータを記憶する音素情報記憶手段と、
通話中に当該電話装置に入力された音声信号に基づき、音素の切り出し、音素の特徴パラメータの抽出と音素の種類の判別をし、音素別の特徴パラメータを話者識別情報記憶手段に記憶された話者識別情報と対応付けて音素情報記憶手段に記憶させる音声分析・登録手段と、
音素情報の第1転送要求に基づき、音素情報記憶手段に記憶された音素別の特徴パラメータと話者識別情報記憶手段に記憶された話者識別情報を読み出し対応付けて電話装置に接続された音素情報外部記憶手段に書き込み、音素情報の第2転送要求に基づき、電話装置に接続された音素情報外部記憶手段に記憶された音素別の特徴パラメータと対応する話者識別情報を読み出し音素情報記憶手段に書き込む転送手段と、
所望受信メールの音声読み上げが指示されると、受信メール情報記憶手段の中の所望受信メールを対象に、音素情報記憶手段の内、話者識別情報が所望受信メールの送信元識別情報と一致する音素別の特徴パラメータを用いて音声合成により本文を表す音声出力を行う音声合成手段と、
を備えたことを特徴とする電話装置。
During a call, the audio signal transmitted and received and the station side through the line, at the time of the mail received by the telephone apparatus stores the received mail information containing the body and the source identification information to the received mail information storage means,
Speaker identification information storage means for storing speaker identification information;
Phoneme information storage means for storing characteristic parameters for each phoneme;
Based on the voice signal input to the telephone device during a call, the phoneme is extracted, the phoneme feature parameter is extracted and the phoneme type is determined, and the phoneme-specific feature parameter is stored in the speaker identification information storage means. Speech analysis / registration means for storing in phoneme information storage means in association with speaker identification information;
Based on the first transfer request phoneme information, the phoneme-information storage means stored phoneme feature parameter and speaker identification information connected sound to the telephone device in association reads the stored speaker identification information in the storage means writing the elementary information external storage unit, on the basis of the second transfer request phoneme information, phoneme information read out speaker identification information corresponding to the phonemewise feature parameters stored in the connected phoneme information external storage unit to the telephone device Transfer means for writing to the storage means;
When voice reading of the desired received mail is instructed, the speaker identification information in the phoneme information storage means matches the sender identification information of the desired received mail for the desired received mail in the received mail information storage means. Speech synthesis means for performing speech output representing the text by speech synthesis using feature parameters for each phoneme;
A telephone device characterized by comprising:
通話時、音声信号を回線を介して局側と送受信し、メール受信時には本文と送信元識別情報を含む受信メール情報を受信メール情報記憶手段に記憶する電話装置において、
話者識別情報を記憶した話者識別情報記憶手段と、
通話中に当該電話装置に入力された音声信号に基づき、音素の切り出し、音素の特徴パラメータの抽出と音素の種類の判別をし、音素別の特徴パラメータを音素情報記憶手段に記憶させる音声分析・登録手段と、
音素情報の第1転送要求に基づき、音素情報記憶手段に記憶された音素別の特徴パラメータと話者識別情報記憶手段に記憶された話者識別情報を読み出し、対応付けて電話装置に接続された音素情報外部記憶手段に書き込み、音素情報の第2転送要求に基づき、電話装置に接続された音素情報外部記憶手段に記憶された音素別の特徴パラメータと対応する話者識別情報を読み出し、音素情報記憶手段に書き込む転送手段と、
所望受信メールの音声読み上げが指示されると、受信メール情報記憶手段の中の所望受信メールを対象に音素情報記憶手段の内、話者識別情報が所望受信メールの送信元識別情報と一致する音素別の特徴パラメータを用いて音声合成により受信メール本文を表す音声出力を行う音声合成手段と、
を備えたことを特徴とする電話装置。
During a call, the audio signal transmitted and received and the station side through the line, at the time of the mail received by the telephone apparatus stores the received mail information containing the body and the source identification information to the received mail information storage means,
Speaker identification information storage means for storing speaker identification information;
Based on the voice signal input to the telephone device during a call, the phoneme is extracted, the phoneme feature parameters are extracted and the phoneme type is discriminated, and the phoneme information storage means stores the phoneme feature parameters. Registration means;
Based on the first transfer request for phoneme information, the phoneme-specific feature parameters stored in the phoneme information storage means and the speaker identification information stored in the speaker identification information storage means are read out and associated with each other and connected to the telephone device . writing the phoneme information external storage means, on the basis of the second transfer request phoneme information, it reads the speaker identification information corresponding to the phonemewise feature parameters stored in the phoneme information external storage means connected to the telephone device, Transfer means for writing to the phoneme information storage means;
When a voice reading of the desired received mail is instructed, the phoneme whose speaker identification information matches the sender identification information of the desired received mail in the phoneme information storage means for the desired received mail in the received mail information storage means Speech synthesis means for performing speech output representing the received mail text by speech synthesis using another feature parameter;
A telephone device characterized by comprising:
通話時、音声信号を回線を介して局側と送受信する電話装置において、
音素別の特徴パラメータを記憶する音素情報記憶手段と、
通話中に当該電話装置に入力された音声信号に基づき、音素の切り出し、音素の特徴パラメータの抽出と音素の種類の判別をし、音素別の特徴パラメータを音素情報記憶手段に記憶させる音声分析・登録手段と、
1または複数の文字情報を記憶した文字情報記憶手段と、
所望文字情報の音声読み上げが指示されると、文字情報記憶手段の中の所望文字情報を対象に、音素情報記憶手段の音素別の特徴パラメータを用いて音声合成により文字文を表す音声出力を行う音声合成手段と、
を備えたことを特徴とする電話装置。
During a call, a voice signal in a telephone system for the station side and the transmission and reception through the line,
Phoneme information storage means for storing characteristic parameters for each phoneme;
Based on the voice signal input to the telephone device during a call, the phoneme is extracted, the phoneme feature parameters are extracted and the phoneme type is discriminated, and the phoneme information storage means stores the phoneme feature parameters. Registration means;
Character information storage means for storing one or more character information;
When the reading of desired character information is instructed to be read out, the desired character information in the character information storage means is targeted, and the speech output representing the character sentence is performed by speech synthesis using the phoneme-specific feature parameters of the phoneme information storage means. Speech synthesis means;
A telephone device characterized by comprising:
通話時、音声信号を回線を介して局側と送受信する電話装置において、
通話中に当該電話装置に入力された音声信号に基づき、音素の切り出し、音素の特徴パラメータの抽出と音素の種類の判別をし、音素別の特徴パラメータを電話装置に接続された音素情報外部記憶手段に記憶させる音声分析・登録手段と、
1または複数の文字情報を記憶した文字情報記憶手段と、
所望文字情報の音声読み上げが指示されると、文字情報記憶手段の中の所望文字情報を対象に、電話装置に接続された音素情報外部記憶手段中の音素別の特徴パラメータを用いて音声合成により文字情報を表す音声出力を行う音声合成手段と、
を備えたことを特徴とする電話装置。
During a call, a voice signal in a telephone system for the station side and the transmission and reception through the line,
Based on the voice signal inputted during a call to the telephone device, phoneme cut, and the determination of the kind of extraction and phoneme phoneme feature parameters, connected phoneme information outside the phonemewise feature parameters to the telephone device Voice analysis / registration means to be stored in the storage means;
Character information storage means for storing one or more character information;
When reading voice of the desired text information is instructed, targeting desired character information in the character information storage unit, the speech synthesized using phonemewise feature parameters in connected phoneme information external storage means to the telephone device Voice synthesis means for performing voice output representing character information,
A telephone device characterized by comprising:
通話時、音声信号を回線を介して局側と送受信する電話装置において、
音素別の特徴パラメータを記憶する音素情報記憶手段と、
通話中に当該電話装置に入力された音声信号に基づき、音素の切り出し、音素の特徴パラメータの抽出と音素の種類の判別をし、音素別の特徴パラメータを音素情報記憶手段に記憶させる音声分析・登録手段と、
音素情報の転送要求に基づき、音素情報記憶手段に記憶された音素別の特徴パラメータを読み出し、電話装置に接続された音素情報外部記憶手段に書き込む転送手段と、
1または複数の文字情報を記憶した文字情報記憶手段と、
所望文字情報の音声読み上げが指示されると、文字情報記憶手段の中の所望文字情報を対象に、電話装置に接続された音素情報外部記憶手段中の音素別の特徴パラメータを用いて音声合成により文字情報を表す音声出力を行う音声合成手段と、
を備えたことを特徴とする電話装置。
During a call, a voice signal in a telephone system for the station side and the transmission and reception through the line,
Phoneme information storage means for storing characteristic parameters for each phoneme;
Based on the voice signal input to the telephone device during a call, the phoneme is extracted, the phoneme feature parameters are extracted and the phoneme type is discriminated, and the phoneme information storage means stores the phoneme feature parameters. Registration means;
Based on the transfer request phoneme information, reads the phonemewise feature parameters stored in the phoneme-information storage means, a transfer means for writing the connected phoneme information external storage unit to the telephone device,
Character information storage means for storing one or more character information;
When reading voice of the desired text information is instructed, targeting desired character information in the character information storage unit, the speech synthesized using phonemewise feature parameters in connected phoneme information external storage means to the telephone device Voice synthesis means for performing voice output representing character information,
A telephone device characterized by comprising:
通話時、音声信号を回線を介して局側と送受信する電話装置において、
音素別の特徴パラメータを記憶する音素情報記憶手段と、
通話中に当該電話装置に入力された音声信号に基づき、音素の切り出し、音素の特徴パラメータの抽出と音素の種類の判別をし、音素別の特徴パラメータを音素情報記憶手段に記憶させる音声分析・登録手段と、
音素情報の第1転送要求に基づき、音素情報記憶手段に記憶された音素別の特徴パラメータを読み出し、電話装置に接続された音素情報外部記憶手段に書き込み、音素情報の第2転送要求に基づき、電話装置に接続された音素情報外部記憶手段に記憶された音素別の特徴パラメータを読み出し、音素情報記憶手段に書き込む転送手段と、
1または複数の文字情報を記憶した文字情報記憶手段と、
所望文字情報の音声読み上げが指示されると、文字情報記憶手段の中の所望文字情報を対象に、音素情報記憶手段中の音素別の特徴パラメータを用いて音声合成により文字情報を表す音声出力を行う音声合成手段と、
を備えたことを特徴とする電話装置。
During a call, a voice signal in a telephone system for the station side and the transmission and reception through the line,
Phoneme information storage means for storing characteristic parameters for each phoneme;
Based on the voice signal input to the telephone device during a call, the phoneme is extracted, the phoneme feature parameters are extracted and the phoneme type is discriminated, and the phoneme information storage means stores the phoneme feature parameters. Registration means;
Based on the first transfer request phoneme information, it reads the phonemewise feature parameters stored in the phoneme-information storage unit, writing the connected phoneme information external storage unit to the telephone device, based on the second transfer request phoneme information reads the phonemewise feature parameters stored in the phoneme information external storage means connected to the telephone device, a transfer means for writing the phoneme information storage means,
Character information storage means for storing one or more character information;
When voice reading of desired character information is instructed, voice output representing character information by voice synthesis is performed on the desired character information in the character information storage means using the feature parameter for each phoneme in the phoneme information storage means. Speech synthesis means to perform,
A telephone device characterized by comprising:
通話時、音声信号を回線を介して局側と送受信する電話装置と、文字情報記憶手段に記憶された文字情報を、所定の記憶手段に記憶された音素別の特徴パラメータを用いて音声合成し、音声出力する音声合成装置と、を備えた音声合成システムにおいて、
電話装置は、当該電話装置に入力された音声信号に基づき、音素切り出し、音素の特徴パラメータの抽出と音素の種類の判別をし、音素別の特徴パラメータを電話装置に接続された音素情報外部記憶手段に記憶させる音声分析・登録手段を備え、
音声合成装置は、音声合成装置に接続された音素情報外部記憶手段の音素別の特徴パラメータを用いて、文字情報記憶手段に記憶された文字情報を音声合成して音声出力するようにしたこと、
を特徴とする音声合成システム。
During a call, a telephone device for transmitting and receiving the station side via the line the audio signal, the character information stored in the character information storage unit, using the phonemewise feature parameters stored in the predetermined storage means speech synthesis In a speech synthesis system comprising a speech synthesizer that outputs speech,
Telephone apparatus, based on the voice signal inputted to the telephone apparatus, phonemes cut, and the determination of the kind of extraction and phoneme phoneme feature parameters, connected phoneme information outside the phonemewise feature parameters to the telephone device Voice analysis / registration means to be stored in the storage means,
Speech synthesizer, using the phonemewise feature parameters of the connected phoneme information external storage unit in the speech synthesis device, it has to be voice output character information stored in the character information storage means to the speech synthesis ,
Speech synthesis system characterized by
通話時、音声信号を回線を介して局側と送受信する電話装置と、文字情報記憶手段に記憶された文字情報を、所定の記憶手段に記憶された音素別の特徴パラメータを用いて音声合成し、音声出力可能な音声合成装置とを備えた音声合成システムにおいて、
電話装置は、音素別の特徴パラメータを記憶する音素情報記憶手段と、
当該電話装置に入力された音声信号に基づき、音素の切り出し、音素の特徴パラメータの抽出と音素の種類の判別をし、音素別の特徴パラメータを音素情報記憶手段に記憶させる音声分析・登録手段と、
音素情報の転送要求に基づき、音素情報記憶手段に記憶された音素別の特徴パラメータを読み出し電話装置に接続された音素情報外部記憶手段に書き込む転送手段と、
を備え、
音声合成装置は、音声合成装置に接続された音素情報外部記憶手段の音素別の特徴パラメータを用いて、文字情報記憶手段に記憶された文字情報を音声合成して音声出力するようにしたこと、
を特徴とする音声合成システム。
During a call, a telephone device for transmitting and receiving the station side via the line the audio signal, the character information stored in the character information storage unit, using the phonemewise feature parameters stored in the predetermined storage means speech synthesis In a speech synthesis system including a speech synthesizer capable of outputting speech,
The telephone device includes a phoneme information storage unit that stores a feature parameter for each phoneme,
A voice analysis / registration means for extracting a phoneme, extracting a phoneme feature parameter and determining a phoneme type based on a voice signal input to the telephone device, and storing the phoneme feature parameter in a phoneme information storage means; ,
Based on the transfer request phoneme information, and transfer means for writing the connected phoneme information external storage unit to the telephone device reads the phonemewise feature parameters stored in the phoneme-information storage means,
With
Speech synthesizer, using the phonemewise feature parameters of the connected phoneme information external storage unit in the speech synthesis device, it has to be voice output character information stored in the character information storage means to the speech synthesis ,
Speech synthesis system characterized by
通話時、音声信号を回線を介して局側と送受信する電話装置と、文字情報記憶手段に記憶された文字情報を、音素情報記憶手段に記憶された音素別の特徴パラメータを用いて音声合成し、音声出力する音声合成装置と、を備えた音声合成システムにおいて、
電話装置は、当該電話装置に入力された音声信号に基づき、音素の切り出し、音素の特徴パラメータの抽出と音素の種類の判別をし、音素別の特徴パラメータを電話装置に接続された音素情報外部記憶手段に記憶させる音声分析・登録手段を備え、
音声合成装置は、転送要求に基づき音声合成装置に接続された音素情報外部記憶手段から音素別の特徴パラメータを読み出し音素情報記憶手段に記憶させる転送手段を備えたこと、
を特徴とする音声合成システム。
During a call, a telephone device for transmitting and receiving the station side via the line the audio signal, the character information stored in the character information storage unit, using the phonemewise feature parameters stored in the phoneme-information storage unit speech synthesis In a speech synthesis system comprising a speech synthesizer that outputs speech,
Telephone apparatus, based on the voice signal inputted to the telephone apparatus, excision of phonemes, the determination of the kind of extraction and phoneme phoneme feature parameters, phoneme information phonemes another feature parameters connected to the telephone device Voice analysis / registration means to be stored in external storage means,
Speech synthesizer, further comprising a transfer means for storing phoneme data storing means reads the phonemewise feature parameters from phoneme information external storage means connected to the speech synthesizer based on the transfer request,
Speech synthesis system characterized by
通話時、音声信号を回線を介して局側と送受信する電話装置と、文字情報記憶手段に記憶された文字情報を、音素情報記憶手段に記憶された音素別の特徴パラメータを用いて音声合成し、音声出力可能な音声合成装置とを備えた音声合成システムにおいて、
電話装置は、音素別の特徴パラメータを記憶する音素情報記憶手段と、
当該電話装置に入力された音声信号に基づき、音素の切り出し、音素の特徴パラメータの抽出と音素の種類の判別をし、音素別の特徴パラメータを音素情報記憶手段に記憶させる音声分析・登録手段と、
音素情報の転送要求に基づき、音素情報記憶手段に記憶された音素別の特徴パラメータを読み出し電話装置に接続された音素情報外部記憶手段に書き込む転送手段と、
を備え、
音声合成装置は、音素情報の転送要求に基づき音声合成装置に接続された音素情報外部記憶手段から音素別の特徴パラメータを読み出し音素情報記憶手段に記憶させる転送手段を備えたこと、
を特徴とする音声合成システム。
During a call, a telephone device for transmitting and receiving the station side via the line the audio signal, the character information stored in the character information storage unit, using the phonemewise feature parameters stored in the phoneme-information storage unit speech synthesis In a speech synthesis system equipped with a speech synthesizer capable of outputting speech,
The telephone device includes a phoneme information storage unit that stores a feature parameter for each phoneme,
A voice analysis / registration means for extracting a phoneme, extracting a phoneme feature parameter and determining a phoneme type based on a voice signal input to the telephone device, and storing the phoneme feature parameter in a phoneme information storage means; ,
Based on the transfer request phoneme information, and transfer means for writing the connected phoneme information external storage unit to the telephone device reads the phonemewise feature parameters stored in the phoneme-information storage means,
With
Speech synthesizer, further comprising a transfer means for storing phoneme data storing means reads the phonemewise feature parameters from the connected phoneme information external storage means to the speech synthesizer based on the transfer request phoneme information,
Speech synthesis system characterized by
無線基地局と移動電話装置からの電波を受信し、当該移動電話装置で通話中の音声信号を取り出す受信手段と、
受信手段で取り出された音声信号に基づき、音素の切り出し、音素の特徴パラメータの抽出と音素の種類の判別をし、音素別の特徴パラメータを音素情報外部記憶手段に記憶させる音声分析・登録手段と、
を備えたことを特徴とする音素情報登録装置。
A receiving unit that receives radio waves from the mobile telephone device and the base station, taking out the audio signals during a call in the mobile telephone device,
Based on the audio signal extracted by the receiving means, phoneme cut, phonemes of the extraction and phoneme discrimination of kind of the characteristic parameters, the speech analysis and registration means for storing phoneme another feature parameters to phoneme information external storage unit When,
A phoneme information registration device comprising:
音素情報登録モードのオン・オフ操作を行う操作手段を備えるとともに、
音声分析・登録手段は、音素情報登録モードがオン時に、音素別の特徴パラメータを音素情報外部記憶手段に記憶させるようにしたこと、
を特徴とする請求項26記載の音素情報登録装置。
With operation means for turning on / off the phoneme information registration mode,
Voice analysis and registration means, that the phoneme information registration mode is in the ON state, and so as to store the phonemes another feature parameters to phoneme information external storage unit,
The phoneme information registration device according to claim 26.
話者識別情報を記憶した話者識別情報記憶手段を備え、
音声分析・登録手段は、音素別の特徴パラメータに対応付けて話者識別情報を音素情報外部記憶手段に記憶させるようにしたこと、
を特徴とする請求項26記載の音素情報登録装置。
Comprising speaker identification information storage means for storing speaker identification information;
Voice analysis and registration means, it has to be stored in the phoneme information external memory speaker identification information in association with the phoneme feature parameters,
The phoneme information registration device according to claim 26.
無線基地局と移動電話装置からの電波を受信し、当該移動電話装置で通話中の音声信号を取り出す受信手段と、
音素別の特徴パラメータを記憶する音素情報記憶手段と、
受信手段で取り出された音声信号に基づき、音素の切り出し、音素の特徴パラメータの抽出と音素の種類の判別をし、音素別の特徴パラメータを音素情報記憶手段に記憶させる音声分析・登録手段と、
音素情報の転送要求に基づき、音素情報記憶手段の音素別の特徴パラメータを読み出し音素情報外部記憶手段に書き込む転送手段と、
を備えたことを特徴とする音素情報登録装置。
A receiving unit that receives radio waves from the mobile telephone device and the base station, taking out the audio signals during a call in the mobile telephone device,
Phoneme information storage means for storing characteristic parameters for each phoneme;
Based on the speech signal extracted by the receiving means, a speech analysis / registration means for cutting out phonemes, extracting feature parameters of phonemes and determining the types of phonemes, and storing the phoneme information storage means in the phoneme information storage means;
Based on the transfer request phoneme information, and transfer means for writing the phoneme information external memory Shi read out the phonemewise feature parameters of a phoneme information storage means,
A phoneme information registration device comprising:
音素情報登録モードのオン・オフ操作を行う操作手段を備えるとともに、
音声分析・登録手段は、音素情報登録モードがオン時に、音素別の特徴パラメータを音素情報記憶手段に記憶させるようにしたこと、
を特徴とする請求項29記載の音素情報登録装置。
With operation means for turning on / off the phoneme information registration mode,
The voice analysis / registration means stores the feature parameter for each phoneme in the phoneme information storage means when the phoneme information registration mode is on,
30. The phoneme information registration apparatus according to claim 29.
話者識別情報を記憶した話者識別情報記憶手段を備え、
音声分析・登録手段は、音素別の特徴パラメータに対応付けて話者識別情報を音素情報記憶手段に記憶させるようにし、
転送手段は音素情報の転送要求に基づき、音素情報記憶手段に記憶された音素別の特徴パラメータと対応する話者識別情報を読み出し音素情報外部記憶手段に書き込むようにしたこと、
を特徴とする請求項29記載の音素情報登録装置。
Comprising speaker identification information storage means for storing speaker identification information;
The speech analysis / registration means stores the speaker identification information in the phoneme information storage means in association with the feature parameter for each phoneme,
Transfer means based on the transfer request phoneme information, it has to write to the phoneme information phoneme feature parameter stored in the storage means and Shi read out the corresponding speaker identification information phoneme information external storage unit,
30. The phoneme information registration apparatus according to claim 29.
話者識別情報を記憶した話者識別情報記憶手段を備え、
転送手段は音素情報の転送要求に基づき、音素情報記憶手段に記憶された音素別の特徴パラメータと話者識別情報記憶手段に記憶された話者識別情報を読み出し対応付けて音素情報外部記憶手段に書き込むようにしたこと、
を特徴とする請求項29記載の音素情報登録装置。
Comprising speaker identification information storage means for storing speaker identification information;
Transfer means based on the transfer request phoneme information, the phoneme information of phoneme stored in the storage means, wherein the parameter and speaker identification information read out speaker identification information stored in the storage means corresponding with and phoneme information external storage unit To write to,
30. The phoneme information registration apparatus according to claim 29.
無線基地局と移動電話装置からの電波を受信し、当該移動電話装置で通話中の音声信号を取り出す受信手段と、
音素別の特徴パラメータを記憶する音素情報記憶手段と、
受信手段で取り出された音声信号に基づき、音素の切り出し、音素の特徴パラメータの抽出と音素の種類の判別をし、音素別の特徴パラメータを音素情報記憶手段に記憶させる音声分析・登録手段と、
1または複数の文字情報を記憶した文字情報記憶手段と、
所望文字情報の音声読み上げが指示されると、文字情報記憶手段の中の所望文字情報を対象に、音素情報記憶手段の音素別の特徴パラメータを用いて音声合成により文字文を表す音声出力を行う音声合成手段と、
を備えたことを特徴とする音素情報登録・音声合成装置。
A receiving unit that receives radio waves from the mobile telephone device and the base station, taking out the audio signals during a call in the mobile telephone device,
Phoneme information storage means for storing characteristic parameters for each phoneme;
Based on the speech signal extracted by the receiving means, a speech analysis / registration means for cutting out phonemes, extracting feature parameters of phonemes and determining the types of phonemes, and storing the phoneme information storage means in the phoneme information storage means;
Character information storage means for storing one or more character information;
When the reading of desired character information is instructed to be read out, the desired character information in the character information storage means is targeted, and the speech output representing the character sentence is performed by speech synthesis using the phoneme-specific feature parameters of the phoneme information storage means. Speech synthesis means;
A phoneme information registration / speech synthesizer characterized by comprising:
無線基地局と移動電話装置からの電波を受信し、当該移動電話装置で通話中の音声信号を取り出す受信手段と、
受信手段で取り出された音声信号に基づき、音素の切り出し、音素の特徴パラメータの抽出と音素の種類の判別をし、音素別の特徴パラメータを音素情報外部記憶手段に記憶させる音声分析・登録手段と、
1または複数の文字情報を記憶した文字情報記憶手段と、
所望文字情報の音声読み上げが指示されると、文字情報記憶手段の中の所望文字情報を対象に、音素情報外部記憶手段中の音素別の特徴パラメータを用いて音声合成により文字情報を表す音声出力を行う音声合成手段と、
を備えたことを特徴とする音素情報登録・音声合成装置。
A receiving unit that receives radio waves from the mobile telephone device and the base station, taking out the audio signals during a call in the mobile telephone device,
Based on the audio signal extracted by the receiving means, phoneme cut, phonemes of the extraction and phoneme discrimination of kind of the characteristic parameters, the speech analysis and registration means for storing phoneme another feature parameters to phoneme information external storage unit When,
Character information storage means for storing one or more character information;
Desired the voice of the character information reading is instructed, the sound representing the object desired character information in the character information storage means, the character information by speech synthesis by using phonemic another feature parameters in phoneme information external storage unit Speech synthesis means for performing output,
A phoneme information registration / speech synthesizer characterized by comprising:
無線基地局と移動電話装置からの電波を受信し、当該移動電話装置で通話中の音声信号を取り出す受信手段と、
音素別の特徴パラメータを記憶する音素情報記憶手段と、
受信手段で取り出された音声信号に基づき、音素の切り出し、音素の特徴パラメータの抽出と音素の種類の判別をし、音素別の特徴パラメータを音素情報記憶手段に記憶させる音声分析・登録手段と、
音素情報の転送要求に基づき、音素情報記憶手段に記憶された音素別の特徴パラメータを読み出し、音素情報外部記憶手段に書き込む転送手段と、
1または複数の文字情報を記憶した文字情報記憶手段と、
所望文字情報の音声読み上げが指示されると、文字情報記憶手段の中の所望文字情報を対象に、音素情報外部記憶手段中の音素別の特徴パラメータを用いて音声合成により文字情報を表す音声出力を行う音声合成手段と、
を備えたことを特徴とする音素情報登録・音声合成装置。
A receiving unit that receives radio waves from the mobile telephone device and the base station, taking out the audio signals during a call in the mobile telephone device,
Phoneme information storage means for storing characteristic parameters for each phoneme;
Based on the speech signal extracted by the receiving means, a speech analysis / registration means for cutting out phonemes, extracting feature parameters of phonemes and determining the types of phonemes, and storing the phoneme information storage means in the phoneme information storage means;
Based on the transfer request phoneme information, reads the phonemewise feature parameters stored in the phoneme-information storage means, a transfer means for writing the phoneme information external storage unit,
Character information storage means for storing one or more character information;
Desired the voice of the character information reading is instructed, the sound representing the object desired character information in the character information storage means, the character information by speech synthesis by using phonemic another feature parameters in phoneme information external storage unit Speech synthesis means for performing output,
A phoneme information registration / speech synthesizer characterized by comprising:
無線基地局と移動電話装置からの電波を受信し、当該移動電話装置で通話中の音声信号を取り出す受信手段と、
音素別の特徴パラメータを記憶する音素情報記憶手段と、
受信手段で取り出された音声信号に基づき、音素の切り出し、音素の特徴パラメータの抽出と音素の種類の判別をし、音素別の特徴パラメータを音素情報記憶手段に記憶させる音声分析・登録手段と、
音素情報の第1転送要求に基づき、音素情報記憶手段に記憶された音素別の特徴パラメータを読み出し、音素情報外部記憶手段に書き込み、音素情報の第2転送要求に基づき、音素情報外部記憶手段に記憶された音素別の特徴パラメータを読み出し、音素情報記憶手段に書き込む転送手段と、
1または複数の文字情報を記憶した文字情報記憶手段と、
所望文字情報の音声読み上げが指示されると、文字情報記憶手段の中の所望文字情報を対象に、音素情報記憶手段中の音素別の特徴パラメータを用いて音声合成により文字情報を表す音声出力を行う音声合成手段と、
を備えたことを特徴とする音素情報登録・音声合成装置。
A receiving unit that receives radio waves from the mobile telephone device and the base station, taking out the audio signals during a call in the mobile telephone device,
Phoneme information storage means for storing characteristic parameters for each phoneme;
Based on the speech signal extracted by the receiving means, a speech analysis / registration means for cutting out phonemes, extracting feature parameters of phonemes and determining the types of phonemes, and storing the phoneme information storage means in the phoneme information storage means;
Based on the first transfer request phoneme information, reads the phoneme information phonemewise feature parameters stored in the memory means, writing the phoneme information external storage means, on the basis of the second transfer request phoneme information, phoneme information external storage Transfer means for reading out the characteristic parameters for each phoneme stored in the means and writing them in the phoneme information storage means;
Character information storage means for storing one or more character information;
When voice reading of desired character information is instructed, voice output representing character information by voice synthesis is performed on the desired character information in the character information storage means using the feature parameter for each phoneme in the phoneme information storage means. Speech synthesis means to perform,
A phoneme information registration / speech synthesizer characterized by comprising:
文字情報記憶手段に記憶された文字情報を、所定の記憶手段に記憶された音素別の特徴パラメータを用いて音声合成し、音声出力する音声合成装置と、音素別の特徴パラメータの登録を行う音素情報登録装置とを備えた音声合成システムにおいて、
音素情報登録装置は、無線基地局と移動電話装置からの電波を受信し、当該移動電話装置で通話中の音声信号を取り出す受信手段と、
受信手段で取り出された音声信号に基づき、音素の切り出し、音素の特徴パラメータの抽出と音素の種類の判別をし、音素別の特徴パラメータを音素情報登録装置に接続された音素情報外部記憶手段に記憶させる音声分析・登録手段と、
を備え、
音声合成装置は、音声合成装置に接続された音素情報外部記憶手段の音素別の特徴パラメータを用いて、文字情報記憶手段に記憶された文字情報を音声合成して音声出力するようにしたこと、
を特徴とする音声合成システム。
A speech synthesizer for synthesizing and outputting character information stored in the character information storage means using the feature parameters for each phoneme stored in the predetermined storage means, and a phoneme for registering the feature parameters for each phoneme In a speech synthesis system equipped with an information registration device,
Phoneme information registration device includes a receiving means for receiving radio waves from the mobile telephone device and the base station, taking out the audio signals during a call in the mobile telephone device,
Based on the audio signal extracted by the receiving means, phoneme cut, phonemes of the extraction and phoneme discrimination of kind of the characteristic parameter, connected phoneme information external memory phoneme information registration apparatus phonemewise feature parameters Voice analysis / registration means to be stored in
With
Speech synthesizer, using the phonemewise feature parameters of the connected phoneme information external storage unit in the speech synthesis device, it has to be voice output character information stored in the character information storage means to the speech synthesis ,
Speech synthesis system characterized by
文字情報記憶手段に記憶された文字情報を、所定の記憶手段に記憶された音素別の特徴パラメータを用いて音声合成し、音声出力する音声合成装置と、音素別の特徴パラメータの登録を行う音素情報登録装置とを備えた音声合成システムにおいて、
音素情報登録装置は、無線基地局と移動電話装置からの電波を受信し、当該移動電話装置で通話中の音声信号を取り出す受信手段と、
音素別の特徴パラメータを記憶する音素情報記憶手段と、
受信手段で取り出された音声信号に基づき、音素の切り出し、音素の特徴パラメータの抽出と音素の種類の判別をし、音素別の特徴パラメータを音素情報記憶手段に記憶させる音声分析・登録手段と、
音素情報の転送要求に基づき、音素情報記憶手段に記憶された音素別の特徴パラメータを読み出し音素情報登録装置に接続された音素情報外部記憶手段に書き込む転送手段と、
を備え、
音声合成装置は、音声合成装置に接続された音素情報外部記憶手段の音素別の特徴パラメータを用いて、文字情報記憶手段に記憶された文字情報を音声合成して音声出力するようにしたこと、
を特徴とする音声合成システム。
A speech synthesizer for synthesizing and outputting character information stored in the character information storage means using the feature parameters for each phoneme stored in the predetermined storage means, and a phoneme for registering the feature parameters for each phoneme In a speech synthesis system equipped with an information registration device,
Phoneme information registration device includes a receiving means for receiving radio waves from the mobile telephone device and the base station, taking out the audio signals during a call in the mobile telephone device,
Phoneme information storage means for storing characteristic parameters for each phoneme;
Based on the speech signal extracted by the receiving means, a speech analysis / registration means for cutting out phonemes, extracting feature parameters of phonemes and determining the types of phonemes, and storing the phoneme information storage means in the phoneme information storage means;
Based on the transfer request phoneme information, and transfer means for writing the connected phoneme information external memory phoneme information registration device read a phonemewise feature parameters stored in the phoneme-information storage means,
With
Speech synthesizer, using the phonemewise feature parameters of the connected phoneme information external storage unit in the speech synthesis device, it has to be voice output character information stored in the character information storage means to the speech synthesis ,
Speech synthesis system characterized by
文字情報記憶手段に記憶された文字情報を、所定の記憶手段に記憶された音素別の特徴パラメータを用いて音声合成し、音声出力する音声合成装置と、音素別の特徴パラメータの登録を行う音素情報登録装置とを備えた音声合成システムにおいて、
音素情報登録装置は、無線基地局と移動電話装置からの電波を受信し、当該移動電話装置で通話中の音声信号を取り出す受信手段と、
受信手段で取り出された音声信号に基づき、音素の切り出し、音素の特徴パラメータの抽出と音素の種類の判別をし、音素別の特徴パラメータを音素情報登録装置に接続された音素情報外部記憶手段に記憶させる音声分析・登録手段と、
を備え、
音声合成装置は、転送要求に基づき音声合成装置に接続された音素情報外部記憶手段から音素別の特徴パラメータを読み出し音素情報記憶手段に記憶させる転送手段を備えたこと、
を特徴とする音声合成システム。
A speech synthesizer for synthesizing and outputting character information stored in the character information storage means using the feature parameters for each phoneme stored in the predetermined storage means, and a phoneme for registering the feature parameters for each phoneme In a speech synthesis system equipped with an information registration device,
Phoneme information registration device includes a receiving means for receiving radio waves from the mobile telephone device and the base station, taking out the audio signals during a call in the mobile telephone device,
Based on the audio signal extracted by the receiving means, phoneme cut, phonemes of the extraction and phoneme discrimination of kind of the characteristic parameter, connected phoneme information external memory phoneme information registration apparatus phonemewise feature parameters Voice analysis / registration means to be stored in
With
Speech synthesizer, further comprising a transfer means for storing phoneme data storing means reads the phonemewise feature parameters from phoneme information external storage means connected to the speech synthesizer based on the transfer request,
Speech synthesis system characterized by
文字情報記憶手段に記憶された文字情報を、音素情報記憶手段に記憶された音素別の特徴パラメータを用いて音声合成し、音声出力する音声合成装置と、音素別の特徴パラメータの登録を行う音素情報登録装置とを備えた音声合成システムにおいて、
音素情報登録装置は、無線基地局と移動電話装置からの電波を受信し、当該移動電話装置で通話中の音声信号を取り出す受信手段と、
音素別の特徴パラメータを記憶する音素情報記憶手段と、
受信手段で取り出された音声信号に基づき、音素の切り出し、音素の特徴パラメータの抽出と音素の種類の判別をし、音素別の特徴パラメータを音素情報記憶手段に記憶させる音声分析・登録手段と、
音素情報の転送要求に基づき、音素情報記憶手段に記憶された音素別の特徴パラメータを読み出し音素情報登録装置に接続された音素情報外部記憶手段に書き込む転送手段と、
を備え、
音声合成装置は、音素情報の転送要求に基づき音声合成装置に接続された音素情報外部記憶手段から音素別の特徴パラメータを読み出し音素情報記憶手段に記憶させる転送手段を備えたこと、
を特徴とする音声合成システム。
A speech synthesizer that synthesizes speech using the feature parameters for each phoneme stored in the phoneme information storage means and outputs the speech, and a phoneme for registering the feature parameters for each phoneme. In a speech synthesis system equipped with an information registration device,
Phoneme information registration device includes a receiving means for receiving radio waves from the mobile telephone device and the base station, taking out the audio signals during a call in the mobile telephone device,
Phoneme information storage means for storing characteristic parameters for each phoneme;
Based on the speech signal extracted by the receiving means, a speech analysis / registration means for cutting out phonemes, extracting feature parameters of phonemes and determining the types of phonemes, and storing the phoneme information storage means in the phoneme information storage means;
Based on the transfer request phoneme information, and transfer means for writing the connected phoneme information external memory phoneme information registration device read a phonemewise feature parameters stored in the phoneme-information storage means,
With
Speech synthesizer, further comprising a transfer means for storing phoneme data storing means reads the phonemewise feature parameters from the connected phoneme information external storage means to the speech synthesizer based on the transfer request phoneme information,
Speech synthesis system characterized by
JP2001133731A 2001-04-27 2001-04-27 Telephone device, speech synthesis system, phoneme information registration device, phoneme information registration / speech synthesis device Expired - Fee Related JP3997278B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001133731A JP3997278B2 (en) 2001-04-27 2001-04-27 Telephone device, speech synthesis system, phoneme information registration device, phoneme information registration / speech synthesis device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001133731A JP3997278B2 (en) 2001-04-27 2001-04-27 Telephone device, speech synthesis system, phoneme information registration device, phoneme information registration / speech synthesis device

Publications (3)

Publication Number Publication Date
JP2002330194A JP2002330194A (en) 2002-11-15
JP2002330194A5 JP2002330194A5 (en) 2005-04-07
JP3997278B2 true JP3997278B2 (en) 2007-10-24

Family

ID=18981535

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001133731A Expired - Fee Related JP3997278B2 (en) 2001-04-27 2001-04-27 Telephone device, speech synthesis system, phoneme information registration device, phoneme information registration / speech synthesis device

Country Status (1)

Country Link
JP (1) JP3997278B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019193121A (en) * 2018-04-25 2019-10-31 京セラ株式会社 Electronic apparatus and processing system

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010050996A (en) * 2009-10-13 2010-03-04 Kyocera Corp Mobile terminal

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0876783A (en) * 1994-06-28 1996-03-22 Omron Corp Voice processor and portable apparatus
JPH0990979A (en) * 1995-09-27 1997-04-04 Nippon Telegr & Teleph Corp <Ntt> Sound information describing method and sound information recognizing method
JPH09292971A (en) * 1996-04-26 1997-11-11 Sony Corp Translation device
JPH1075303A (en) * 1996-08-29 1998-03-17 Nec Corp Device for registering word of voice recognition object
JPH11231895A (en) * 1998-02-17 1999-08-27 Nippon Telegr & Teleph Corp <Ntt> Method and device speech recognition
JP3685648B2 (en) * 1999-04-27 2005-08-24 三洋電機株式会社 Speech synthesis method, speech synthesizer, and telephone equipped with speech synthesizer
JP2000322088A (en) * 1999-05-14 2000-11-24 Hitachi Ltd Speech recognition microphone and speech recognition system and speech recognition method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019193121A (en) * 2018-04-25 2019-10-31 京セラ株式会社 Electronic apparatus and processing system
JP7037426B2 (en) 2018-04-25 2022-03-16 京セラ株式会社 Electronic devices and processing systems

Also Published As

Publication number Publication date
JP2002330194A (en) 2002-11-15

Similar Documents

Publication Publication Date Title
EP1592211B1 (en) A communication terminal apparatus and a communication processing program
RU2376727C2 (en) Device, system and method of sound communication with possibility of noiseless selection and transmission of audio messages
CN102047647A (en) Method and system for transcribing telephone conversation to text
JP2002247144A (en) Portable telephone system and its call receiving method
JP3997278B2 (en) Telephone device, speech synthesis system, phoneme information registration device, phoneme information registration / speech synthesis device
JP2002118689A (en) Function of automatically reproducing voice in response to calling party at other end in transmission through cellular phone
JP3741025B2 (en) Telephone system, telephone and computer program
US7209877B2 (en) Method for transmitting character message using voice recognition in portable terminal
JP3640689B2 (en) Communication terminal
JP2003188948A (en) Portable terminal device
JPH0630105A (en) Portable telephone set
JP2006295468A (en) Mobile communication terminal device
JP3090341U (en) Mobile terminal equipment with conversation log recording / display function
JP2004229213A (en) Portable communication terminal
JP2003110732A (en) Originating terminal, terminating terminal, mediate server and message output method
KR20070071881A (en) Communication method of mobile phone for deaf mutism
JP2007179305A (en) Message converting server and system, and information processor
JP2000181818A (en) Portable telephone terminal with electronic mail receiving function
JP2000216875A (en) Telephone system and voice response method
JP3495626B2 (en) Communication terminal
JP2002051116A (en) Mobile communication device
KR100413270B1 (en) Method and cellular-phone for the deaf to communicate
JP3372896B2 (en) Communication terminals and exchanges
KR100689464B1 (en) Apparatus And Method For Controlling A Ring Sound
JPH10233843A (en) Telephone set

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040430

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040430

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060914

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070614

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070706

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100817

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110817

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110817

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120817

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120817

Year of fee payment: 5

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120817

Year of fee payment: 5

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120817

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130817

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees