JP4729171B2 - 電子書籍装置および音声再生システム - Google Patents
電子書籍装置および音声再生システム Download PDFInfo
- Publication number
- JP4729171B2 JP4729171B2 JP2000402269A JP2000402269A JP4729171B2 JP 4729171 B2 JP4729171 B2 JP 4729171B2 JP 2000402269 A JP2000402269 A JP 2000402269A JP 2000402269 A JP2000402269 A JP 2000402269A JP 4729171 B2 JP4729171 B2 JP 4729171B2
- Authority
- JP
- Japan
- Prior art keywords
- book
- data
- image
- voice
- readers
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000009826 distribution Methods 0.000 claims abstract description 93
- 238000003860 storage Methods 0.000 claims description 29
- 230000005540 biological transmission Effects 0.000 claims description 25
- 230000008929 regeneration Effects 0.000 claims description 4
- 238000011069 regeneration method Methods 0.000 claims description 4
- 230000000875 corresponding effect Effects 0.000 claims 13
- 230000001276 controlling effect Effects 0.000 claims 6
- 230000002596 correlated effect Effects 0.000 claims 4
- 238000012545 processing Methods 0.000 description 49
- 238000004891 communication Methods 0.000 description 44
- 238000000034 method Methods 0.000 description 40
- 230000008569 process Effects 0.000 description 39
- 238000013500 data storage Methods 0.000 description 30
- 230000004044 response Effects 0.000 description 16
- 230000015572 biosynthetic process Effects 0.000 description 12
- 238000003786 synthesis reaction Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 238000003825 pressing Methods 0.000 description 8
- 239000004973 liquid crystal related substance Substances 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000010295 mobile communication Methods 0.000 description 5
- 238000001308 synthesis method Methods 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 235000016496 Panda oleosa Nutrition 0.000 description 2
- 240000000220 Panda oleosa Species 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 230000010355 oscillation Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010011469 Crying Diseases 0.000 description 1
- 241000238631 Hexapoda Species 0.000 description 1
- 241000556720 Manga Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
Description
【発明の属する技術分野】
本発明は、書籍データに対応した書籍内容を希望するキャラクタ画像の音声で再生する電子書籍装置および音声再生システムに関する。
【0002】
【従来の技術】
近年、文字や音声や画像等の電子化が進み、これらのデータを組み合わせた所謂マルチメディアデータをインターネット等を介してPC(パーソナルコンピュータ)等の端末に配信したり、これらのマルチメディアデータを再生する携帯型の端末が開発されている。こうした携帯型の端末には電子化された書籍データを再生する電子書籍装置がある。
【0003】
電子書籍装置は電子化された書籍データを記憶する記憶媒体、液晶表示部、読みたい書籍データの選択やページ捲り等を手動操作する操作入力部、電子書籍装置の各部を制御する制御部等を備え、操作入力部により所望の書籍データが選択されると、制御部は記憶媒体から選択された書籍データを読み出して、その書籍データの1ページ目のデータを液晶表示部に表示する。また操作入力部においてページ捲りが指示されると液晶表示部に表示されている書籍データを次ページに切り替えて表示する。
【0004】
上述の電子書籍装置は従来の紙の書籍と比較して、資源の消費を抑えることができ、また一つの装置で複数の書籍データを記憶できるので携帯に便利である。更に書籍の管理が容易である。このように様々な利点を持つことから、近年電子書籍装置の開発が急速に進められている。
【0005】
【発明が解決しようとする課題】
しかしながら、上述の電子書籍装置は従来の紙の書籍と同様に文字データやイメージデータを表示することによる視覚からの読書を提供するだけなので表現力に乏しい。そのため、文字と音声や画像とを組み合わせたより豊かな表現力の実現が望まれる。
【0006】
また、書籍といっても物語や小説のように主に文字で構成されるものから漫画のように画像と文字とが混在するものがある。漫画の場合は1ページ内に文字も画像も数多く表示されるため、携帯型の電子書籍装置では表示画面の大きさによる制約等によって文字や画像を見にくいという問題があった。
【0007】
一方、携帯電話端末の普及やその他の携帯端末の普及に伴い、使用者は上述の携帯型の電子書籍装置を含め、多くの携帯機器を携帯して利用することが多い。そのため携帯する各機器それぞれの機能を同時に使用する場合における操作性や携帯時の利便性を向上することが望まれ、上述の電子書籍装置についても更なる開発の余地を残している。
【0008】
本発明の課題は、書籍データに対応した書籍内容を希望する有名人、声優等の人物の音声で再生可能な電子書籍装置および音声再生システムを提供することである。
【0009】
また、本発明の課題は、書籍データ、この書籍データに対応した書籍内容を読み上げてくれるキャラクタ画像、およびこのキャラクタ画像の音声データをいつでもどこにいても入手し、この入手した書籍データに対応した書籍内容を希望する有名人、声優等の人物の音声で再生可能な電子書籍装置および音声再生システムを提供することである。
【0010】
また、本発明の課題は、使用者にとって快適な音声で書籍データを読み上げて再生することが可能な電子書籍装置および音声再生システムを提供することである。
【0011】
【課題を解決するための手段】
本発明は、このような課題を達成するために、次のような特徴を備えている。なお、次に示す手段の説明中、括弧書きにより実施の形態に対応する構成を一例として例示する。符号等は、後述する図面参照符号等である。
【0012】
請求項1記載の発明は、外部の配信元とネットを介して接続される電子書籍装置において、前記外部の配信元に対して、希望する書籍と、前記希望する書籍に関連する書籍データに対応した書籍内容を読み上げる、前記希望する書籍に登場し、台詞を有する複数のキャラクタに対応付けられる複数の朗読者と、を要求する要求手段と、前記書籍データと、前記書籍内容に対応した、前記複数の朗読者の音声からなる音声データとを前記外部の配信元から受信する受信手段と、前記書籍内容が前記複数のキャラクタに対応付けられた前記複数の朗読者の音声で再生されるように制御する制御手段と、を備えることを特徴とする。
【0013】
請求項1記載の発明に係る電子書籍装置によれば、外部の配信元にて提供された複数の書籍の中から希望する書籍を指定した後、この指定された書籍に係る書籍データに対応した書籍内容を読み上げる複数の朗読者を指定すると、これに応答して、この指定された書籍データ、および、この朗読者に対応づけられた音声データを外部の配信元から受信することができ、この受信された書籍データに対応した書籍内容を前記音声データに対応する音声で再生させることができる。
【0014】
従って、希望する朗読者の音声で、希望する書籍に係る書籍データ読み上げ再生してくれるので、読書を視覚及び聴覚によって楽しむことができる。
【0015】
また請求項2記載の発明は、外部の配信元とネットを介して接続される電子書籍装置において、前記外部の配信元に対して、希望する書籍に関連する書籍データと、前記書籍データに対応した書籍内容を読み上げるのに利用可能な、前記希望する書籍に登場し、台詞を有する複数のキャラクタに対応した複数の朗読者の画像と、前記複数の朗読者の前記画像に関連する音声データとの配信を要求する配信要求手段と、前記書籍データと、前記複数の朗読者の画像と、前記音声データとを前記外部の配信元から受信する受信手段と、前記書籍データが前記複数のキャラクタに対応付けられた前記複数の朗読者の音声で再生されるように前記書籍データと前記画像の表示を制御する制御手段と、を備えることを特徴とする。
【0016】
請求項2記載の電子書籍装置によれば、外部の配信元へ書籍に係る書籍データ、この書籍データに対応した書籍内容を読み上げる朗読者の画像、および、この朗読者の画像の音声データの配信を要求すると、この要求に応じて、外部の配信元から配信された書籍データ、朗読者の画像、および、音声データを受信することができ、この受信された書籍データと朗読者の画像とを表示させた後に、受信された書籍データを音声データに従った音声で再生させることができる。
【0017】
従って、配信された書籍データと朗読者の画像とを見ながら、配信された書籍データを希望する朗読者の画像の音声で聞くことができる。
【0018】
請求項3記載の発明は、外部の配信元とネットを介して接続される電子書籍装置において、前記外部の配信元に対して、希望する書籍に対応する書籍データと、前記書籍データに対応した書籍内容を読み上げるのに利用可能な、前記希望する書籍に登場し、台詞を有する複数のキャラクタに対応付けられる複数の朗読者の画像と、前記書籍内容と前記複数の朗読者の音声とに対応した音声データとの配信を要求する配信要求手段と、前記書籍データと、前記複数の朗読者の画像と、前記音声データとを前記外部の配信元から受信する受信手段と、前記書籍データと、前記複数の朗読者の画像と、前記音声データとを記憶する記憶手段と、前記書籍内容と前記複数の朗読者の画像とを表示させるよう制御する表示制御手段と、前記書籍内容が前記複数のキャラクタに対応付けられた前記複数の朗読者の音声で再生されるように制御する音声再生制御手段と、を備えることを特徴とする。
【0019】
請求項3記載の発明の電子書籍装置によれば、書籍データ、この書籍データに対応した書籍内容を読み上げる朗読者の画像、この朗読者の画像に対応づけられた音声データの配信を外部の配信元にネットを介して要求すると、この要求に応答して、配信元から配信された書籍データ、朗読者の画像および音声データを受信することができ、この受信された書籍データに対応した書籍内容と朗読者の画像とを表示部に表示させることができる。また、同時に、受信した書籍データに対応した書籍内容を朗読者の画像に対応づけられた音声データに従った音声で再生させることができる。
【0020】
従って、使用者は、受信した書籍データに対応した書籍内容と朗読者の画像とを表示部で見ながら、受信した書籍データに対応した書籍内容を朗読者の画像に対応づけられた音声データに従った音声で聞くことができる。
【0021】
請求項4記載の発明は、請求項1又は請求項2に記載の電子書籍装置において、更に、前記複数の朗読者と前記希望する書籍に登場し、台詞を有する前記複数のキャラクタとの関係を対応づけて記憶する記憶手段を備えることを特徴とする。
【0022】
請求項4記載の発明に係る電子書籍装置によれば、書籍に登場する複数の登場人物の朗読者の画像に対応する書籍データ部分を、登場人物に対応づけた朗読者の画像の音声データに従った音声で再生させることができる。
【0023】
従って、書籍に登場する複数の登場人物毎に割り当てられた各朗読者の画像に対応する書籍データ部分を、各登場人物に対応づけた朗読者の画像の音声で聞くことができる。
【0024】
請求項5記載の発明は、請求項1から請求項3のいずれかに記載の電子書籍装置において、前記外部の配信元は、前記音声データを更新する更新手段を備えていることを特徴とする。
【0025】
請求項5記載の発明に係る電子書籍装置によれば、外部の配信元において、朗読者の画像とこの朗読者の画像の音声データとを更新してくれるので、新たな朗読者の画像とこの朗読者の画像の音声データとの配信を受けることができ、例えば、常に、新たにテレビや映画等に登場する芸能人等の音声を新鮮な気持ちで聞くことができる。
【0026】
請求項6記載の発明は、請求項1記載の電子書籍装置において、前記受信手段は、前記複数の朗読者の画像を受信する画像受信手段を備えており、前記制御手段は、前記書籍内容と前記複数の朗読者の画像とを表示させる第1の表示制御手段を備えることを特徴とする。
【0027】
請求項6記載の発明に係る電子書籍装置によれば、書籍データおよび音声データのほかに、指定された朗読者の画像を外部の配信元から受信することができ、これを受けて、受信された書籍データおよび朗読者の画像を表示部に表示させながら、この表示された書籍データに対応した書籍内容を受信した音声データに対応する音声で再生させることができる。
【0028】
請求項7記載の発明は、配信元装置を備えた音声再生システムにおいて、前記配信元装置は、書籍に関連する書籍データと、前記書籍データに対応した書籍内容を読み上げるのに利用可能な、前記書籍に登場し、台詞を有する複数のキャラクタに対応付けられる朗読者の画像と、前記書籍内容と前記朗読者の音声とに対応した音声データとを記憶するよう構成された記憶手段と、前記書籍内容と、前記朗読者の画像と、前記音声データとを携帯型電子書籍装置に送信する送信手段とを備えており、前記携帯型電子書籍装置は、前記書籍と前記複数のキャラクタを描写する1つ又はそれ以上の朗読者とを要求する要求手段と、前記書籍データと前記1つ又はそれ以上の朗読者の画像とを受信する受信手段と、前記書籍内容が前記複数のキャラクタに対応付けられた前記1つ又はそれ以上の朗読者の音声で再生されるように制御する制御手段と、を備えることを特徴とする。
【0029】
請求項7記載の発明の音声再生システムによれば、配信元装置は、書籍に係る書籍データ、この書籍データに対応した書籍内容を読み上げる朗読者の画像、および、この朗読者の画像に対応づけられた音声データを携帯型電子書籍装置に送信することができる一方で、携帯型電子書籍装置は、配信元装置にて提供された複数の書籍の中から希望する書籍を指定した後、この指定された書籍に係る書籍データに対応した書籍内容を読み上げる複数の朗読者の画像の中から希望する朗読者の画像を指定すると、この指定された書籍データ、および、この朗読者の画像に対応づけられた音声データを外部の配信元から受信することができ、この受信された書籍データに対応した書籍内容を音声データに対応する音声で再生させることができる。
【0030】
請求項8記載の発明は、携帯型電子書籍装置と配信元装置とを備えた音声再生システムにおいて、前記配信元装置は、書籍に係る書籍データと、前記書籍データに対応した書籍内容を読み上げるのに利用可能な、前記書籍に登場し、台詞を有する複数のキャラクタに対応付けられる朗読者の画像と、前記朗読者の音声データとを記憶する記憶手段と、前記書籍データと、前記画像と、前記音声データとを送信する送信手段とを備えており、前記携帯型電子書籍装置は、前記書籍データと、1つ又はそれ以上の前記朗読者の画像と、1つ又はそれ以上の朗読者の音声データとを要求する要求手段と、前記書籍データと、前記1つ又はそれ以上の前記朗読者の前記画像と、前記1つ又はそれ以上の前記朗読者の前記音声データとを受信する受信手段と、前記書籍データと前記1つ又はそれ以上の前記朗読者の前記画像とを表示し、前記書籍内容が前記複数のキャラクタに対応付けられた前記1つ又はそれ以上の前記朗読者の音声で再生されるように制御する制御手段と、を備えることを特徴とする。
【0031】
請求項8記載の発明に係る音声再生システムによれば、配信元装置は、書籍に係る書籍データ、この書籍データに対応した書籍内容を読み上げる朗読者の画像、および、この朗読者の画像に対応づけられた音声データを携帯型電子書籍装置に送信することができる一方で、携帯型電子書籍装置は、配信元装置へ書籍に係る書籍データ、この書籍データに対応した書籍内容を読み上げる朗読者の画像、および、この朗読者の画像の音声データの配信を要求すると、この要求に応じて、外部の配信元装置から配信された書籍データ、朗読者の画像、および、音声データを受信することができ、この受信された書籍データと朗読者の画像とを表示させた後に、書籍データを音声データに従った音声で再生させることができる。
【0032】
請求項9記載の発明は、書籍に関連する書籍データと、前記書籍データに対応した書籍内容を読み上げるのに利用可能な、前記書籍に登場し、台詞を有する複数のキャラクタに対応した複数の朗読者の画像と、前記書籍内容と前記複数の朗読者の音声とに対応付けられる音声データとを記憶する記憶手段と、携帯型電子書籍装置から前記書籍に登場する各キャラクタを表示するために前記複数の朗読者の中から希望する朗読者を指定する要求を受信する受信手段と、前記書籍データと、前記希望する朗読者の画像と、前記希望する朗読者の音声データとを前記携帯型電子書籍装置へ送信する送信手段と、を備えることを特徴とする。
【0033】
請求項9記載の発明に係る配信装置によれば、配信装置は、書籍に係る書籍データ、この書籍データに対応した書籍内容を読み上げる朗読者の画像、および、この朗読者の画像に対応づけられた音声データを記憶している。書籍に係る書籍データ、この書籍データに対応した書籍内容を読み上げる朗読者の画像、この朗読者の画像に対応づけられた音声データの配信を受信すると、この要求に応答して、書籍データ、朗読者の画像および音声データを送信することができる。
【0034】
請求項10記載の発明は、請求項7又は請求項8に記載の音声再生システムにおいて、前記記憶手段は、前記音声データと前記書籍のキャラクタとの関係を対応づけて記憶することを特徴とする。
【0035】
請求項10記載の発明に係る音声再生システムによれば、複数の朗読者の画像の音声データと書籍に登場する複数の登場人物のキャラクタとの関係を対応づけて記憶し、この記憶された複数の登場人物のキャラクタ画像に対応する書籍データ部分を、対応づけた朗読者の画像の音声データに従った音声で再生させることができる。
【0036】
請求項11記載の発明は、請求項7記載の音声再生システムにおいて、前記制御手段は、前記書籍内容と前記朗読者の画像とを表示させる第1の表示制御手段を備えることを特徴とする。
【0037】
請求項11記載の発明に係る音声再生システムによれば、書籍の内容と朗読者の画像とを表示させながら音声データに対応する音声で再生させることができる。
【0038】
【発明の実施の形態】
以下、図を参照して本発明に係る電子書籍装置、および音声再生システムの実施の形態を詳細に説明する。
〔第1の実施の形態〕
まず構成を説明する。図1はこの発明の音声再生システムの使用状態例、音声再生システムと外部機器との通信の様子を模式的に示す図であり、図2は音声再生システムを構成する電子書籍装置と携帯機器との間のデータ通信の様子を模式的に示す図であり、図3は電子書籍装置の構成、外部の書籍データ配信センターに設置されたホストサーバの構成、及び携帯機器の構成を示すブロック図であり、図4(A)は電子書籍装置の内部RAMのメモリ構成を示す図であり、図4(B)は外部の配信センターのROMのメモリ構成を示す図である。
【0039】
図1および図3に示すように、本実施の形態における音声再生システム100は携帯型の電子書籍装置1及び携帯機器20により構成される。図1及び図2に示すように電子書籍装置1は、蝶番状部材(図示省略)を介して開閉自在に連結される表示パネル1A,1Bにより構成されている。表示パネル1Aには例えば液晶ディスプレイにより構成される表示部4が備えられる。また、表示パネル1Bにも同様の表示部4が備えられ、更に通話用のマイク1Cが備えられる。そして、表示パネル1A,1Bの内部には図3に示す電子書籍装置1の電子回路が内蔵されている。また図示せぬが表示パネル1A,1Bの表面や側面または裏面の所定位置には後述する入力部3(ダイヤル部3d、オートダイヤルスイッチ3Sを含む)、後述する回転スイッチ11、電源スイッチ、その他のスイッチが設けられるとともに携帯機器20に対してデータ送信するためのデータ送信窓が設けられる。裏面には電池パックやスピーカ1E等が設けられている。
【0040】
携帯機器20は図1及び図2に示すように機器本体20Aとイヤホン28とによって概略構成され、機器本体20A内部には図3に示す携帯機器20の電子回路が内蔵される。また図示せぬが機器本体20Aの所定位置には後述する操作入力部22が設けられるとともに電子書籍装置1から送信されるデータを受信するためのデータ受信窓が設けられる。また、規格品のイヤホンプラグを着脱可能に接続するイヤホンジャック等が設けられている。この携帯機器20は電子書籍装置1から無線送信される音声データ(通話音声データ及び書籍の読み上げ音声データを含む)を受信し、イヤホンまたはヘッドホン(以下、単にイヤホン28という。)から音声を出力する。
【0041】
本発明の電子書籍装置1は、書籍データを音声に変換して読み上げ再生する書籍データ読み上げ機能、外部との通話及びデータ通信を行う電話機能、及びカレンダー情報を表示する時計機能を備える。以下の説明において「書籍データ」といった場合は書籍に含まれる文字データ、イメージデータ、書籍に関連するデータ、読み上げ音声再生用データを含む。書籍に関連するデータとは、例えば書籍名、著作者名、出版社名等といった書籍の内容以外の情報である。読み上げ音声再生用データとは、電子書籍装置1の後述する読み上げ音声生成部13において読み上げ音声データを生成する際に必要な各種データである。例えば、漫画タイプ、小説タイプといった書籍の種類や、擬音(爆発音や風音等)の再生情報(以下、擬音データと呼ぶ。)、登場人物の音声タイプを設定した登場人物別音声テーブル等を含む。
【0042】
書籍モードにおいて、電子書籍装置1は入力部3の操作により使用者から選択された書籍データに含まれる文字データ及びイメージデータを表示部4に表示するとともに、前記書籍データの文字データを音声に変換(テキスト音声合成)し、電子書籍装置1本体に設けられるスピーカ1Eまたは携帯機器20に設けられるイヤホン28から出力する。イヤホン28から出力する場合は前記書籍データに基づく読み上げ音声データ(詳細については後述する)を送信部16を介して携帯機器20に送信する。携帯機器20は受信部26において受信した読み上げ音声データをイヤホン28から出力する。
【0043】
また、電話モードにおいて電子書籍装置1は、図1に示すように、携帯電話やPHS(Personal Handyphone System)等の移動体通信端末の基地局43を介して移動体通信網に通信接続し、相手先の移動体通信端末44と通話したり、更に公衆回線網等のネットワーク回線40を介して相手先の固定電話と通話できる。また、ネットワーク40からアクセス可能な書籍データ配信サイトのホストサーバ30(書籍データ配信センターHS)にアクセスして所望の書籍データをダウンロードしたり、外部のPC(パーソナルコンピュータ)との間で電子メールを送受信できる。
【0044】
更に、書店やコンビニエンスストア等に設置された書籍データ配信端末42と電子書籍装置1を有線または無線で接続し、書籍データ配信端末42に蓄積されている書籍データをダウンロードしたり、書籍データ配信端末42を介してアクセス可能なホストサーバ30に蓄積された書籍データをダウンロードすることも可能である。また、電子書籍装置1において書籍データを音声に変換して読み上げ再生しているとき(書籍モード実行中)に電話の着信を検出すると、その旨を所定の着信音(アラーム音や着信メロディ等を含む)や音声やメッセージ表示または振動により報知するとともに書籍データの読み上げ再生を停止する。通話が終了すると、読み上げ再生を停止した位置から書籍データの読み上げを再開する。更に、時計モードにおいて、電子書籍装置1は現在時刻や日付等のカレンダー情報を表示部4に表示する。
【0045】
次に、電子書籍装置1と携帯機器20との間のデータ通信の概要を図2を参照して説明する。電子書籍装置1は通話時には通話音声データを送信部16(図3参照)から携帯機器20へ送信する。また、書籍データ読み上げ再生中には読み上げ音声データを送信部16から携帯機器20へ送信する。携帯機器20は受信部26において受信した通話音声データや読み上げ音声データをイヤホン28から出力する。また、電子書籍装置1において電話の着信があると送信部16から携帯機器20に対して着信報知指示データを送信する。携帯機器20は受信部26において受信した着信報知指示データに従って着信を音や振動により報知する。また、書籍データの読み上げ再生中における電話の着信時には、電子書籍装置1は携帯機器20に対して再生停止指示データを送信する。携帯機器20は受信した再生停止指示データに従って読み上げ音声の再生を停止する。
【0046】
次に図3を参照して、電子書籍装置1の回路構成、書籍データ配信センターHSに設置されたホストサーバ30の回路構成、及び携帯機器20の回路構成を説明する。図3に示すように電子書籍装置1は、CPU(Central Processing Unit)2、入力部3、表示部4、表示駆動回路5、ROM(Read Only Memory)6、内部RAM(Random Access Memory)7、外部RAM8、通信I/F(InterFace)部9、アンテナ部10、回転スイッチ部11、計時部12、読み上げ音声生成部13、音声入力部14、音声出力部15、及び送信部16から構成される。
【0047】
電子書籍装置1のCPU2は、入力部3から供給されるキー操作信号に基づき、ROM6の所定の記憶領域に格納されている各種制御プログラムを読み出して内部RAM7に一時格納し、当該プログラムに基づく各種処理を実行して電子書籍装置1の各部を集中制御する。すなわち、CPU2は、前記読み出した所定プログラムに基づいて各種処理を実行し、その処理結果を内部RAM7に格納するとともに、表示駆動回路5において当該処理結果に基づいて表示データを生成し表示部4に表示させる。
【0048】
また、CPU2はモードスイッチの押下操作(モード設定処理)に応じて、電話モード、時計モード、或いは書籍モードに対応する処理プログラムをROM6から読み出し、各モードに対応した処理を実行する。例えば、電話処理、時計処理、書籍処理(図5参照)、書籍データのダウンロード処理(図5参照)等を実行する。
【0049】
入力部3は、電話モード、時計モード、及び書籍モードのいずれかにモードを切り替える際に押圧操作されるモードスイッチ、ダイヤル操作や各種処理の実行指示を入力操作するためのダイヤル部3d、各種選択操作を入力するためのカーソルスイッチ、書籍データ読み上げ開始を指示するプレイスイッチ,読み上げ停止を指示するストップスイッチ、音量調節スイッチ等を備える。更に、書籍データの早送りや巻き戻しを指示するスイッチや、意図的にページ捲りまたはコマ送りを指示するページ移行キーやコマ移行キーを設けるようにしてもよい。また、前記ダイヤル部3dのファンクションキーには、予め設定されている番号へ自動発呼する際に操作されるオートダイヤルスイッチ3Sや確認の際に押下操作されるOKキー等が含まれる。オートダイヤルスイッチ3Sは、書籍データ配信センターHSのホストサーバ30にアクセスする際に押下操作されるスイッチであり、このオートダイヤルスイッチ3Sが押下操作されると、通信I/F部9に備えられた電話自動発信部によって自動的にホストサーバ30へ回線を接続する。
【0050】
表示部4は液晶ディスプレイ等により構成され、CPU2からの表示指示に従って表示駆動回路5において生成された表示データを表示する。例えば、書籍モードでは書籍データに含まれる文字データやイメージデータ、書籍名や著作者名等の書籍に関連するデータ等を表示し、電話モードにおいては相手先の電話番号等を表示し、時計モードにおいては現在時刻や日付、曜日等の時計情報を表示する。また、外部から受信した電子メールの内容を表示する。書籍モード中に電話の着信がある場合はCPU2から入力される着信報知指示データに基づいて電話の着信がある旨を表示する。
【0051】
ROM6は電子書籍装置1の基本プログラムや各種処理プログラム、データ、処理に必要なデータ等を記憶している。処理プログラムには、例えばモード設定処理、電話処理、時計処理、書籍処理、書籍データの読み上げ再生処理(図7参照)、書籍データ選択処理(図6参照)、及び書籍データ等のダウンロード処理(図5参照)を含む。これらの各処理プログラムは、読み取り可能なプログラムコードの形態でROM6に格納され、CPU2はこのプログラムコードにしたがった動作を逐次実行する。また、ROM6は、外部から配信される音声データを使用しないで、外部から配信される書籍データを読み上げるため、複数の音声波形データを蓄積した音声データROM6Aを備える。
【0052】
この音声データROM6Aには、外部の書籍データ配信センターHSにおける音声データROM内の音声データと同様、読み上げ音声生成部13の採用する音声合成方式に適した音声波形データ(アナログデータまたはPCM(Pulse CodeModulation)データ)が記憶されている。例えば、録音編集方式では人が発生した音声波形をそのまま、あるいは波形符号化して蓄積する。波形の単位は単語としても文節としてもよい。またパラメータ編集方式では人が発声した音声波形を分析してパラメータに変換された形で蓄積する。また、規則合成方式では文字列あるいは音素記号列から音声学的・言語学的規則に基づいて切りだされた音節、音素、1ピッチ間の波形のような基本的な小さな単位の特徴パラメータを蓄積する。また、人間の音声以外にも動物の泣き声や自然界に存在する音(風音、爆発音等;擬音)の波形データを蓄積している。
【0053】
読み上げ音声生成部13は、書籍データのテキスト(文字)部分を音声データに変換するため、例えば、規則合成方式を用いたテキスト音声合成システムによって構成される。規則合成方式を用いたテキスト音声合成システムは、文章解析部と音声合成規則部と音声合成部とにより構成される。
【0054】
文章解析部は単語を複数記憶した辞書を備える。辞書には読み仮名、文法情報、アクセント等の情報が蓄えられている。ここでは文章中の単語の文法的接続関係をチェック(構文解析)しながら、文章の頭から順に辞書に登録されている単語と照合を取り、単語の系列に区分化し、区分化された単語について読み仮名、文法情報、アクセント等の情報を取得する。
【0055】
音声合成規則部は、語の連なりによって生じる語の連濁、鼻音化、無声化等の読みの変化(音韻規則)や、アクセントの移動、消失、生起といった変化(韻律規則)を解析し、発音記号とアクセントを決定して音声合成制御パラメータを決定する。音声合成制御パラメータは例えば文節のまとまりやポーズ(間)といった合成単位(CVC単位等)や声の高さ、ストレス、イントネーションである。こうして音声合成の制御パラメータが定まると、音声合成部はROM6の音声データROM6Aに蓄えられている合成単位と制御パラメータとに基づいて音声波形を合成する。
【0056】
次に、図4を参照して内部RAM7のメモリ構成、及び外部RAM8のメモリ構成を説明する。内部RAM7は指定された処理プログラム、入力指示、入力データ及び処理結果等を一時格納するワークメモリのほかに、図4(A)に示すように表示レジスタ7a、モードデータ記憶領域7b、書籍データNo.記憶領域7c、書籍データ記憶領域7d、メールデータ記憶領域7e、送信者ID記憶領域7f、声優または有名人等のキャラクタ画像を記憶するキャラクタ画像記憶領域7g、このキャラクタ画像自身の音声データを記憶する音声データ記憶領域7hのほかに、ダイヤルデータ、着信レジスタ、計時レジスタを含む記憶領域7iを有する。
【0057】
表示レジスタ7aには、表示駆動回路5において生成される表示部4に表示するための表示データが確保される。モードデータ記憶領域7bには、モードスイッチの操作によって設定されたモード設定データが格納される。電子書籍装置1において選択可能なモードには、電話モード、時計モード、及び書籍モードがある。上記3つのモードのうち何れかのモードに対応するモードスイッチが押下操作されると、CPU2は、押下されたスイッチに対応するモードを内部RAM7のモードデータ記憶領域7bに設定し、モードに対応する処理プログラムをROM6から読み出して実行開始する。
【0058】
書籍データNo.記憶領域7cには、再生するために選択された書籍データの固有番号(以下、書籍データNo.と呼ぶ。)が格納される。書籍データ記憶領域7dには、選択された書籍データNo.に対応する書籍データが外部RAM8から読み出されて記憶される。メールデータ記憶領域7eには、外部から受信した電子メールの内容(文字データ、イメージデータ等)が格納される。
【0059】
送信者ID記憶領域7fには、自己の電子書籍装置1の送信者IDが格納される。送信者IDは、例えば、ホストサーバ30から与えられるIDコードや登録コード、または個々の電子書籍装置1に個別に付与されている個別コード(シリアルナンバー等)である。書籍データをダウンロードする際に、ホストサーバ30に対して配信を要求するデータとともに送信者IDを通信I/F部9から送信する。
【0060】
記憶領域7iのうち、ダイヤルデータ記憶領域部分には、登録された電話番号データが格納される。例えば、書籍データ配信センターHSのホストサーバ30へ通信接続するための電話番号データや、相手先の電話番号データが登録されて記憶されている。記憶領域7iのうち、計時レジスタ部分には、計時部12において計時される時間データや日付データが、逐次更新記憶される。記憶領域7iのうち、着信レジスタ部分には、書籍データを読み上げ再生中に電話を着信した場合において、読み上げ再生を停止した位置についての情報が記憶される。
【0061】
外部RAM8は電子書籍装置1本体に固定的に設けられる、若しくは着脱自在に設けられる磁気的、光学的記録媒体、若しくは半導体メモリで構成される。特に、電子書籍装置1の携帯性を考慮した場合は小型・可搬の半導体メモリにより構成されるメモリカードを利用することが好適である。そして外部RAM8には、外部から受信した書籍データを複数記憶する領域である書籍データ記憶領域8aが設けられる。書籍データ記憶領域8aには複数の書籍データ及び書籍データNo.が記憶される。
【0062】
外部RAM8に記憶されている書籍データは、例えば書籍データ配信センターHSからダウンロードしたものや、PC等の外部機器を利用して書き込まれたものである。使用者は外部RAM8に記憶されている複数の書籍データの中から、所望の書籍データを選択して再生することができる。
【0063】
通信I/F部9は、例えば携帯電話やPHS等の外部との通話及びデータ通信が可能な移動体通信ユニットにより構成される。通信I/F部9は通話音声データや電子メールを外部と送受信したり、書籍データ配信センターHSにアクセスして所望の書籍データをダウンロードするために各種データを送受信する。また、アンテナ部10において電話の着信を検出すると着信検出信号をCPU2へ出力する。
【0064】
通信I/F部9において電話の着信を検出した後に、ダイヤル部3dに設けられた通話スイッチが操作されると、CPU2は通話処理を開始する。また、ダイヤル部3dの操作によって通話相手が指定されるとその相手先に対して発呼信号を送信し、相手の応答があると通話処理を開始する。
【0065】
また、ダイヤル部3dに設けられたオートダイヤルスイッチ3Sが操作されると、通信I/F部9の電話自動発信部は書籍データ配信センターHSに設置されているホストサーバ30へ自動的に回線を接続する。通信I/F部9はホストサーバ30とデータ通信を行う。
【0066】
図3に示す音声再生システム100において、書籍データ配信センターHSと電子書籍装置1との間で送受信されるデータには、例えば、ホストサーバ30から配信される書籍データ、及び電子書籍装置1から書籍データ配信センターHSへ送信される書籍データ配信要求データが含まれる。通信I/F部9は前記書籍データ配信要求データをホストサーバ30へ送信する際、電子書籍装置1の送信者IDをともに送信する。
【0067】
なお、通信I/F部9として、携帯電話やPHS等の移動体通信ユニットを電子書籍装置1本体に直接搭載せずに、電子書籍装置1本体を携帯電話やPHSに接続するためのコネクタやケーブルを備えたり、外部のデータ通信端末(例えばモデムやTA(TerminalAdapter)を備えたPCや書籍データ配信端末等)に接続するための赤外線通信ユニットや無線通信ユニット等の通信インターフェイスを備えて構成するようにしてもよい。
【0068】
回転スイッチ部11は、使用者の指によって操作され、回転操作と押圧操作とをひとつのボタンで入力する機構である。回転操作では回転操作方向に連動して表示画面をスクロールしたり、カーソル位置を移動することができ、押圧操作では反転表示項目(カーソル位置)の選択を確定することができる。例えば、登録したダイヤル番号の選択や書籍データの選択等の選択・確定操作を容易に行うことができる。
【0069】
計時部12は時刻や日付を計時し、計時された時間データ等はCPU2を介して内部RAM7の計時レジスタ7hに送られて順次更新セットされる。例えば、所定周波数の電気信号を発振する発振回路と該発振回路からの信号を分周して所定周波数の信号を得る分周回路とから構成され、その信号をカウントすることによって現在時刻を計時する構成としてもよい。音声入力部14は、マイク部1Cから入力される使用者の音声信号(アナログ信号)をデジタル信号に変換して、CPU2に出力する。音声出力部15は、通信I/F部9を介して受信した相手先の通話音声をスピーカ1E、または送信部16のいずれかに出力する。また、読み上げ音声生成部13において生成された読み上げ音声データをスピーカ1Eまたは送信部16に出力する。
【0070】
送信部16は、例えば赤外線通信ユニットまたは無線通信ユニット等の携帯機器20側に設けられる受信部26と対応した通信装置により構成され、通話音声データや読み上げ音声生成部13により生成された読み上げ音声データを携帯機器20へ送信する。また、CPU2から入力された着信報知指示データや再生停止指示データを携帯機器20へ送信する。
【0071】
次に、携帯機器20の具体的構成について図3を参照して説明する。携帯機器20は、CPU21、着信報知部23、内部RAM24、ROM25、受信部26、音声出力部27、及びイヤホン28によって構成される。CPU21は、受信部26において受信する各種指示信号(着信報知指示信号、再生停止指示信号等)に従って、携帯機器20の各部を集中制御する。すなわち、CPU21は受信部26において書籍データに基づく読み上げ音声データや通話音声データを受信すると、それらの音声データを音声出力部27へ渡し、イヤホン28から音声出力する。また、CPU21は受信部26において着信報知指示データを受信すると、着信報知部23に表示や音や振動によって電話の着信がある旨を報知させる。また再生停止指示データを受信すると読み上げ音声の出力を停止させる。
【0072】
着信報知部23は電子書籍装置1における電話の着信を報知するために、例えば所定の着信音を鳴動する着信音鳴動部や、バイブレータ等により構成される信号部や、着信の旨を表示する液晶表示部等のいずれか、またはこれらの組み合わせ手構成され、CPU21から入力される着信報知指示信号に従って着信を報知する。
【0073】
内部RAM24は受信部により受信した各種データや操作入力部3により入力されたデータを一時格納する領域であるワークメモリを有する。また、ROM25は半導体メモリ等によって構成され携帯機器20において実行される基本的な処理プログラムが格納されている。受信部26は、例えば赤外線通信ユニットまたは無線通信ユニット等の電子書籍装置1側に設けられる送信部16と対応した通信装置により構成され、読み上げ音声データ、通話音声データ、着信報知指示データ、再生停止指示データを受信して、CPU21に出力する。
【0074】
音声出力部27は増幅器等によって構成され、受信部26において受信した音声データ(読み上げ音声データ及び通話音声データ)をCPU21の指示によってイヤホン28に対して出力する。イヤホン28は音声出力部27から出力された音声を放音する。なお、電子書籍装置1を遠隔制御するための操作キー群によって構成される操作入力部22を設けるとともに、操作に応じた遠隔制御信号を電子書籍装置1側へ送信する送信部(図示省略)を設け流用にしてもよい。この場合は、電子書籍装置1にも前記遠隔制御信号を受信する受信部(図示省略)を設ける。携帯機器20の操作入力部22からの遠隔操作によって、電子書籍装置1における書籍データの表示や読み上げ音声の再生・停止等を制御するようにしてもよい。
【0075】
次に、書籍データ配信センターHSに設置されるホストサーバ30の具体的構成について説明する。ホストサーバ30は、図3に示すように、書籍データを複数記憶している書籍データROM32と、通信接続された電子書籍装置1から要求された書籍データをその要求元に配信する配信部33と、電子書籍装置1や電話端末間で各種データを転送する転送部34と、書籍データROM32に記憶されている書籍データ等の要求先への配信処理を制御するCPU31とから構成される。書籍データROM32は、図4(B)に示すように、書籍データを構成している文字データ、擬音データ、登場人物のキャラクタ画像等を記憶している書籍データ記憶領域32A、この書籍データ記憶領域32Aに記憶された書籍データを構成している文字データを読み上げる複数のキャラクタ画像A、B、C・・・Nを記憶しているキャラクタ記憶領域32B、これら各キャラクタ画像自身の音声を表わす複数の音声データa、b、c・・・nを記憶している音声データ記憶領域32Cを備えている。キャラクタ記憶領域32Bに記憶されている各キャラクタ画像は、声優または有名人等の顔画像(図9(A)を参照)、それの全身画像、動物、声を出す仮想の植物の画像のほか、有名なアニメ画像等を含む。また、音声データ記憶領域32Cに記憶されている各音声データは、前述した声優または有名人等が発声した際における音声をアナログまたはデジタル録音した音声データである。このため、複数のキャラクタ画像A、B、C・・・Nと複数の音声データa、b、c・・・nとは互いに対応づけて各記憶領域32B、32Cに記憶される。
【0076】
CPU31は通信接続された電子書籍装置1、PC、または書籍データ配信端末42から書籍データ配信の申込みを受信すると、その申込みに応答して配信可能な書籍データに関連する情報(書籍名、著作者名、出版社名等のほかに、キャラクタ画像、このキャラクタ画像自身の音声データ)を書籍データROM32から読み出して申込み元の端末に配信部33から送信する。更に電子書籍装置1、PC、または書籍データ配信端末42から書籍データの配信要求を受信すると、その配信要求に応じて書籍データ等に対する料金データを送信する。配信要求元においてその料金が承諾されると、要求された書籍データを書籍データROM32から読み出して配信部33から電子書籍装置1に向けて送信する。
【0077】
次に動作を説明する。本発明に係る電子書籍装置1は、モード設定処理において設定される各種モードに応じた処理を実行するが、電源ON時はまず時計モードに設定されており、計時部12において現在時刻を計時している。また、モードスイッチの押下操作を待機している。このモード設定処理おいて、電子書籍装置1は、モードスイッチの押下操作を待機し、押下されるとモード設定処理を開始する。CPU2は、押下されたモードスイッチの種類を判別する。ここで、電話モードに対応するモードスイッチが操作されたと判断した場合は、後述する電話処理を実行する。また、時計モードに対応するモードスイッチが操作されたと判断した場合は、後述する時計処理を実行する。書籍モードに対応するモードスイッチが操作されたと判断した場合は、後述する書籍処理を実行する。
【0078】
以下、電話モードにおける電話処理、時計モードにおける時計処理、書籍モードにおける書籍処理、所望の書籍データ選択してダウンロードする処理についてそれぞれ説明する。
(電話処理)電話の相手先へ発信する際に実行される電話処理(その1)と相手側からの呼び出しを着信する際に実行される電話処理(その2)とについて説明する。まず、電子書籍装置1を用いて、相手先へ発信して通話する電話処理(その1)の際は、電話モードスイッチを押下操作する。
【0079】
その後、ダイヤル部3dの操作によって電話番号が入力され、または、回転スイッチ部11の操作によって、内部RAM7のダイヤルデータ記憶領域に記憶されている電話番号データの中から所望の通話相手が指定され、あるいは、オートダイヤルスイッチ3Sの操作によって書籍データ配信センターHSへのダイヤル接続が指示され、その後ダイヤル部3dのダイヤルスイッチ(通話スイッチ)がONされると、通信I/F部9は、入力または選択された相手先へ信号を送信する。そして、相手先または書籍データ配信センターHSから応答があり、ダイヤル接続されると、通話処理を実行する。
【0080】
相手先への通話処理では、マイク部1Cから入力される使用者の音声を音声入力部14においてデジタル信号に変換し、所定の周波数に変調して通信I/F部9から通話相手に送信する。また、相手先からの信号を通信I/F部9において受信してCPU2に出力し、音声出力部15において音声信号に変換してスピーカ1Eに出力したり、送信部16から携帯機器20へ送信し、イヤホン28から適当な音量で出力する。また、CPU2は、通話中には、相手先の電話番号等の通話関連データ(相手先の電話番号、氏名、通話時間等)を表示部4に表示してもよい。
【0081】
電子書籍装置1を時計モードや書籍モードで使用している状態で、相手側からの呼び出しを着信すると、電話処理(その2)を開始する。通信I/F部9において着信を検出し、着信検出信号がCPU2に出力されると、現在、書籍データの再生中であるか否かを判断する。書籍データの再生中である場合は、CPU2は再生を停止させるための再生停止指示データを送信部16へ渡す。このときCPU2は書籍データの読み上げ停止位置を内部RAM7の着信レジスタ7iに記憶する。更にCPU2は着信を報知するための着信報知指示データを送信部16へ渡す。送信部16は再生停止指示データと着信報知指示データとを携帯機器20に送信する。携帯機器20は受信部26において受信した再生停止指示データと着信報知指示データとに基づいて、音声出力部27における読み上げ音声の再生を停止し、着信報知部23において着信を報知する。着信の報知は例えば所定の着信音やメッセージ音声(ROM25に着信音データやメッセージ音声データが格納されている)による報知やバイブレータ等を用いた振動による。なお、電子書籍装置1の表示部4に着信のメッセージを表示するようにしてもよい。
【0082】
その後、通話スイッチの押下操作により着信に応答すると、通話処理を開始する。そして、通話が終了すると、CPU2は内部RAM7の着信レジスタ7iから書籍データの読み上げ停止位置データを読み出し、読み上げ停止位置から書籍データの読み上げ再生を再開して通常の書籍モードに戻り、電話処理(その2)を終了する。着信時に書籍データの読み上げ再生中ではない場合は、着信を報知し、通話スイッチの押下操作により着信に応答すると、通話処理を実行し、通話が終了すると、時計モードに戻り電話処理(その2)を終了する。
【0083】
(時計処理)次に、 時計モードが設定された際に実行される時計処理を説明する。電子書籍装置1を用いて、現在の時刻や日時等のカレンダー情報を表示部4に表示させる場合には、モードスイッチの操作により時計モードを設定する。CPU2は、内部RAM7のモードデータ記憶領域7bに時計モードを設定すると、計時部12において計時されている現在時刻を参照し、内部RAM7の計時レジスタ7hに更新確保するとともに、表示駆動回路5へ出力し、表示駆動回路5において日付や現在時刻等を表示するための表示データを生成して、内部RAM7の表示レジスタ7aに記憶するとともに、表示部4に表示する。このように、モードスイッチの簡単な押下操作で時計モードに瞬時に切替え、現在の時刻や日付を表示部4に表示させることができる。
【0084】
(書籍処理)次に、図5を参照して書籍処理について説明する。図5は電子書籍装置および書籍データ配信センタの各書籍処理を説明する全体フローチャート、図6は書籍データおよびキャラクタ画像を選択するための書籍データ・キャラクタ選択処理を説明するフローチャート、、図7は書籍データの読み上げ再生処理を説明するフローチャートである。電子書籍装置1において、外部RAM8に複数の書籍データが記憶されるがこのうちのひとつの書籍データを選択しこの選択された書籍データを読み上げ再生する場合は、書籍モードに対応するモードスイッチを押下操作する。
【0085】
まず、CPU2は、外部RAM8に記憶されている複数の書籍データについて書籍に関連するデータ(書籍データNO.や書籍名)を全て読み出し、表示部4に一覧表示する(図示せず)。書籍選択画面が表示された表示部4では、「読みたい書籍は?」というメッセージとともに、「1 書籍名C」、「2 書籍名D」のように外部RAM8に記憶されている複数の書籍データについての書籍データNo.と書籍名とが一覧表示される。更に、いずれかの書籍データを選択するためのポインタが表示されている。この書籍選択画面において、入力部3カーソルスイッチの上下操作または回転スイッチ部11の回転操作によって、再生したい書籍が選択され、更にプレイスイッチがオンされると、CPU2は、選択した書籍名に対応する書籍データを外部RAM8から読み出し、内部RAM7の書籍データ記憶領域7dに格納する。そして、CPU2は読み出した書籍データのうち最初のページ(表紙等)の表示データを表示駆動回路5に渡し、表示データを生成して表示部4に表示させる。そして、CPU2は音声データROM6Aに記憶されている音声データを用いて、読み上げ音声生成部13に対して読み上げ開始指示を出力し、書籍データの読み上げ再生処理を実行する。
【0086】
以上が装置内部に記憶されている書籍データを、同じく装置内の音声データROM6Aに記憶されている音声データを用いて、読み上げ再生処理を実行した場合について説明したが、次に、図5を参照して、書籍データをダウンロードする際の書籍データ配信センターHSにおいて実行される処理について、電子書籍装置1との間で送受信されるデータ交換と合わせて説明する。まず、電子書籍装置1により書籍データ配信センターHSに対して書籍データ受信の申し込みに関するデータ及び送信者IDが送信され(ステップF1)、ホストサーバ30においてその申込みデータ及び送信者IDを受信すると(ステップF2)、ホストサーバ30のCPU31は、受信した送信者ID等をホストサーバ30のRAM31Aに記憶する。そして、ホストサーバ30のCPU31は、書籍データの選択を催促する表示(書籍選択画面)を電子書籍装置1に表示させるための書籍選択画面データ(書籍データの関連データを含む)を、前記送信元端末に返信する(ステップF3)。
【0087】
電子書籍装置1は、受信した書籍選択画面データを表示部4に表示した後、書籍選択画面にて書籍データ等の選択処理を行なう(ステップF4;図6参照)。この書籍データ等の選択処理は、電子書籍装置1において、所望の書籍データ等を書籍データ配信センターHSからダウンロードする処理である。図6はダウンロードする書籍データを選択するために電子書籍装置1において実行される書籍データ選択処理を説明するフローチャート、図8はダウンロードする書籍データを選択するための書籍選択画面である。
【0088】
書籍データをダウンロードする際は、まず、図6に示す書籍データ選択処理を実行する。電子書籍装置1においてオートダイヤルスイッチ3Sが押下操作されると、通信I/F部9に設けられた電話自動発信部は書籍データ配信センターHSへ自動的に回線を接続する。通信I/F部9は、書籍データ配信センターHSに対して書籍データ配信要求データとともに自己の電子書籍装置1の送信者IDを送信する。書籍データ配信センターHSでは、書籍データ配信要求データとともに送信者IDを受信すると、配信可能な書籍データについての関連データ(書籍名、著作者名、出版社名等)を送信する。電子書籍装置1は通信I/F部9において書籍データ配信センターHSから配信可能な書籍データについての関連データを受信すると、CPU2は、図8に示すように、当該関連データを表示部4に一覧表示した書籍選択画面を表示部4に表示する。
【0089】
この書籍選択画面の表示部4には、ダウンロードしたい書籍データの選択を促す「次の書籍データから選んで下さい」というメッセージM2とともに、配信可能な書籍データについての関連データG1,G2,G3,・・・が一覧表示される。例えば、書籍データNo.「1」の関連データG1は「書籍名A 日本国憲法」が表示され、書籍データNo.「2」の関連データG2は「書籍名B 平家物語(上)」が表示され、書籍データNo.「3」の関連データG3は「書籍名C漫画 日本の歴史(古代)」がそれぞれ表示される。また、同書籍選択画面にはポインタPが表示され、カーソルスイッチの上下操作や回転スイッチ部11の回転操作に伴って、ポインタPの表示位置が移動され、上述の関連データの中から所望の書籍データを選択することができる。
【0090】
書籍選択画面に選択可能に一覧表示されている関連データの中から、ダウンロードする書籍データが選択され、これが決定されると(ステップE2;Yes)、CPU2は選択した書籍データのNo.を内部RAM7に格納する(ステップE3)。そして、CPU2は、送信者IDとともに、選択された書籍データの配信要求を選択した書籍データNo.とともに通信I/F部9を介して書籍データ配信センターHSに自動送信する。その後、図8(B)に示すように、選択した書籍データ内の登場人物のキャラクタ画像402,403を表示部4に表示させる(ステップE4)。その後、図9(A)に示すように、表示された登場人物のキャラクタ画像402,403に対してそれぞれ割り当てられるキャラクタ画像N21〜N25が一覧表示される(ステップE5)。その後、図9(B)に示すように、表示された登場人物のキャラクタ画像402,403とこれらに対して割り当てられるキャラクタ画像N21〜N25との対応付けのための使用者に対する催促表示がなされる(ステップE6)。
【0091】
そこで、使用者による登場人物のキャラクタ画像と割り当てられるキャラクタ画像との対応付けのための選択とそれの決定が行なわれる(ステップE7)。すると、登場人物のキャラクタ画像402,403と割り当てられるキャラクタ画像N21〜N25とが対応付けて、RAM7内の各領域7g、7hにそれぞれ記憶されることとなる。例えば、使用者が、図9(A)に示す複数のキャラクタ画像N21〜N25のなかから、「オードリー・ケプバーン」という有名人の顔画像をもつキャラクタ画像N22を選択し、この選択されたキャラクタ画像N22を、図9(B)に示すように、書籍データの登場人物である「乙さん」のキャラクタ画像402に対して割り当てた場合には、これに応答して、「乙さん」のキャラクタ画像402と「オードリー・ケプバーン」という有名人のキャラクタ画像N22とは互いに対応づけて、RAM7内の各領域7g、7hにそれぞれ記憶されることとなる。同様に、登場人物である「甲くん」のキャラクタ画像403に対して「マイケル・ジョクソン」という有名人のキャラクタ画像N21を使用者が割り当てた場合には、「甲くん」のキャラクタ画像403「マイケル・ジョクソン」という有名人のキャラクタ画像N21とは互いに対応づけて、RAM7内の各領域7g、7hにそれぞれ記憶されることとなる。これにより、書籍データ・キャラクタ選択処理が終了する。
【0092】
次に、図5に戻り、書籍データ等のダウンロードが行なうのであるが、それに先だって、電子書籍装置1においてオートダイヤルスイッチ3Sが押下操作されると、通信I/F部9に設けられた電話自動発信部は書籍データ配信センターHSへ自動的に回線を接続する。通信I/F部9は、書籍データ配信センターHSに対して書籍データ配信要求データとともに自己の電子書籍装置1の送信者IDを送信する。書籍データ配信センターHSでは、書籍データ配信要求データとともに送信者IDを受信すると、配信可能な書籍データについての関連データ(書籍名等)を送信する。その後、通信I/F部9において、書籍データ配信センターHSから返信される受信確認のメッセージを受信すると、CPU2は、当該メッセージを表示部4に表示する。その後、書籍選択画面において選択された書籍データのNo.を送信者IDとともに書籍データ配信センターHSへ送信する(ステップF5)。
【0093】
ホストサーバ30では、電子書籍装置1から選択された書籍データのNo.及び送信者IDを受信すると(ステップF6)、RAM31Aに確保し、その後、図示しないホストサーバ30内のメッセージROM(図示せず)から選択書籍データのNo.を受信した旨の確認メッセージを読み出して、送信元へ返信する(ステップF7)。電子書籍装置1は、受信した確認メッセージを表示部4に表示する(ステップF8)。次に、ホストサーバ30は、電子書籍装置1に対して、書籍データ・キャラクタ画像・音声データを送信する(ステップF9)。電子書籍装置1は、送信された書籍データ・キャラクタ画像・音声データを受信し、自己のRAM7内の書籍データ記憶領域7d、キャラクタ画像記憶領域7g、音声データ記憶領域7hへのダウンロードを実行する(ステップF10)。ダウンロードが終了すると、電子書籍装置1は、ダウンロードが終了した旨のデータをホストサーバ30に送信する(ステップF11)。
【0094】
ホストサーバ30では、ダウンロードされた書籍データ等にかかった料金データを電子書籍装置1に返信する(ステップF12)。電子書籍装置1は、受信した料金データ表示部4に表示する(ステップF13)。電子書籍装置1は、この料金データの決済処理を行なう。例えば、金融機関等に対して料金データに対応した料金の支払いを依頼し、ホストサーバ30への支払いの決済をおこなう(ステップF14)。この後は、図7に示す書籍データの読み上げ再生処理を行う(ステップF14)。以下、図7を参照して書籍データ読み上げ再生処理を説明する。
【0095】
この書籍データの読み上げ再生処理において、CPU2は、内部RAM7の書籍データ記憶領域7dに記憶されている、配信された書籍データについて書籍のタイプを判断する。すなわち、漫画タイプであるかその他のタイプであるかを判断する。漫画タイプである場合は(ステップD1;Yes)、まず、書籍データ記憶領域7dから題名、著作者名、目次等のデータを読み出して表示部4に表示させる(ステップD2)。次いで、図10(A)に示すように、書籍データに含まれている登場人物のキャラクタ画像402、403や人物名データ(乙さん、甲さん)のほかに、書籍データの読み上げ者となるキャラクタ画像N21、N22を抽出して、そのキャラクタ画像402、403およびキャラクタ画像N21、N22等を表示させる(ステップD3)。
【0096】
すなわち、図10(A)は漫画タイプの書籍データの再生開始時における表示例を示している。この図に示すように「漫画 日本の歴史(古代)」として書籍の題名401が表示されるとともに、登場人物No.1の「乙さん」の画像402が表示される。同様に、登場人物No.2の「甲くん」の画像403が表示される。また、書籍データの読み上げ者として使用者が選択し、RAM7のキャラクタ記憶領域7gに記憶されているキャラクタ画像N21、N22が表示される。
【0097】
次にCPU2はページカウンタnを初期値「1」に設定する(ステップD4)とともに、コマカウンタNを初期値「1」に設定し(ステップD5)、1ページ目の1コマ目の吹き出し部分についての登場人物No.、文字データ、及びコマ内に含まれる擬音データ等を含む書籍データを書籍データ記憶領域7dから読み出し、1コマ目に含まれる登場人物の画像や背景画像を表示するとともに、吹き出し部409,410やこの吹き出し部409,410に包まれる文字データを表示する(ステップD6;図10(B)参照)。図10(B)は1ページ目の書籍データの表示例を示している。この図では2コマを1表示単位とし、1コマ目と2コマ目とが表示されている。そして、右側の1コマ目には「甲くん」のキャラクタ画像403や背景の画像406が表示されるとともに、文字データ408と文字データを包む吹き出し部409が表示されている。この1コマ目の吹き出し部409内の文字データ409は「甲くん」の登場人物No.「2」と対応付けられている。なお、コマの表示単位は2コマに限定されるものではなく、例えば、1コマ単位としたり、3コマ以上の複数コマ単位としたり、コマの大きさによって一度に表示させるコマ数を適応的に変更するようにしてもよい。
【0098】
左側の2コマ目には「乙さん」のキャラクタ画像402や背景の画像407が表示されるとともに、文字データ411と文字データを包む吹き出し部410が表示される。この吹き出し部410内の文字データ411は「乙さん」の登場人物No.「1」と対応付けられている。背景の画像(亀型石)407の吹き出し部412には文字データ413が表示される。そして「ブー」という擬音の文字415が表示されている。読み上げ音声生成部13では、RAM7の音声データ記憶領域7hに記憶されている音声データに従った音声で、吹き出し部409,410内の書籍データである文字データを読み上げる(ステップD7)。例えば、図10(B)に示す例では、1コマ目の吹き出し部409内の文字データ408に含まれる「最近秩父・・・されたね」という部分がイヤホン28から音声再生されているところを示しているが、ステップD7の処理によって、これらの文字データである言葉は、使用者が登場人物である「甲くん」のキャラクタ画像403に割り当てられたキャラクタ画像N21(「マイケル・ジョクソン」という有名人の顔画像)自身のもつ音声で読み上げられることなる。
【0099】
また、2コマ目では1コマ目と同様、「甲くん! 奈良・・・されたわ!」という部分がイヤホン28から音声再生されているところを示しており、ステップD7の処理によって、これらの文字データである言葉は、使用者が登場人物である「乙さん」のキャラクタ画像403に割り当てられたキャラクタ画像N22(「オードリー・ケプバーン」という有名人の顔画像)自身のもつ音声で読み上げられることなる。また、ステップD8の処理によって「ブー」という擬音データも対応する音で出力され、イヤホン28から出力されいるところを示している。読み上げられた音声は音声出力部15から出力される。また、音声出力部15は、RAM7の音声データ記憶領域7hに記憶されている音声データに従った音声を送信部16へ渡し、送信部16はこの音声を携帯機器20へ送信する。携帯機器20は受信部26において音声を受信し、イヤホン28から出力する。このため、使用者は、希望する有名人の音声で、「漫画 日本の歴史(古代編)」内の文章を聞くことができる。
【0100】
また、読み上げ音声生成部13は、擬音データ(風音、爆発音等)に対応した擬音を音声出力部15へ出力する。音声出力部15は擬音を送信部16へ渡し、送信部16は擬音を携帯機器20へ送信する。携帯機器20は受信部26において擬音を受信し、読み上げ音声と合わせてイヤホン28から出力する(ステップD8)。更に、CPU2は音声の読み上げと同時に読み上げられた音声に同期して吹き出し部409,410内の文字データの色を変更するように制御する(ステップD9)。例えば、図10(B)に示す例では、現在、2コマ目の吹き出し部410内の文字データ411に含まれる「奈良」という部分がイヤホン28から音声再生されているところを示しているが、ステップD9の処理によって音声の読み上げに同期して吹き出し部409,410内の文字414の色が変更されている。
【0101】
吹き出し部409,410の音声再生が終了すると、CPU2は更にNコマ目(ここでは「1」コマ目)に他の吹き出し部409,410がないか判断する(ステップD10)。他の吹き出し部がある場合(ステップD10;No)はステップD7へ移行し、ステップD7、ステップD9と同様の処理を実行して他の吹き出し部分についてテキスト(文字)部分を、キャラクタ画像に対応する音声で読み上げ再生し、擬音データを再生し、読み上げられた音声に同期した部分の色を変更する。その後、Nコマ目(ここでは「1」コマ目)に他の吹き出し部分がないと判断すると(ステップD10;Yes)、コマカウンタをインクリメントして(N+1→N;ステップD11)、1ページに含まれる全ての文字データについて読み上げ終了したか否かを判断する(ステップD12)。1ページ内の全ての文字データについて読み上げが終了していない場合は(ステップD12;No)、ステップD6、ステップD11の処理を繰り返し、読み上げる音声に同期してコマをスクロールして表示する。すなわち、次のコマが表示画面の中央に表示されるようにスクロールして表示するとともに、表示中のコマに含まれる吹き出し部分の文字を読み上げ、擬音データを再生し、また読み上げている吹き出し部分の色を変更制御する。
【0102】
そして、表示中の1ページに含まれる各コマ内の全ての文字データについて読み上げを終了すると(ステップD12;Yes)、ページカウンタnをインクリメント(n+1→n;ステップD13)し、全てのページについての読み上げが終了していなければ(ステップD14;No)、次のページにスクロール表示して、表示されている各コマの1コマ目から順次音声で読み上げる。すなわち、CPU2は内部RAM7の書籍データ記憶領域7dに格納されている書籍データに基づいてnページ目の表示データを生成し、表示部4に表示する。そしてステップD5〜D13の処理を繰り返し、nページ目に含まれるNコマの各吹き出し部分を登場人物に対応する音声で読み上げ再生し、擬音データを再生し、また、読み上げ再生中の吹き出し部分の色を変更制御する。これらの音声に同期してコマをスクロール表示する。
【0103】
その後、全てのページについて読み上げ再生を終了すると(ステップD14;Yes)、書籍データの読み上げ再生処理を終了する。一方、書籍データの読み上げ再生処理のステップD1において書籍データが漫画タイプではない場合、すなわち、例えば小説や物語のようなタイプであれば以下の処理(ステップD15〜ステップD21)を実行する。まず、書籍データ記憶領域7dから題名、著作者名、目次等のデータを読み出して表示部4に表示させる(ステップD15)。次いで、書籍データから朗読者の画像データや朗読者名データを抽出して、その画像や朗読者名を表示させる(ステップD16;図11(A)参照)。
【0104】
図11(A)は物語タイプの書籍データの再生開始時における朗読者の選択画面の表示例を示している。この図に示すように「平家物語(上)」として書籍の題名420が表示される。同時に、朗読者No.1の「琵琶法師」の画像421と朗読者No.2の「講談師」の画像422のほかに、これら各画像に使用者により割り当てられたキャラクタ画像N421、422が表示される。カーソル423の移動操作によって何れかの朗読者が選択される。すると、選択された朗読者の音声の種類とこれに割り当てられたキャラクタ画像とを内部RAM7に設定したあと、ページカウンタnを初期値「1」を設定し(ステップD17)、「1」ページ目の書籍データを表示部4に表示する。CPU2は1ページ目の書籍データに含まれる文字データ425を選択したキャラクタ画像の音声で読み上げる(ステップD18)。
【0105】
例えば、図11(A)に示す朗読者の種類のうち、朗読者No.2の「講談師」が選択されると、CPU2はこの「講談師」に割り当てられたキャラクタ画像N22の音声データを取得し、内部RAM7に設定する。そして、図11(B)に示すように書籍データの1ページ目の文字データ425を表示部4に表示させると同時に、文字データを読み上げ音声生成部13に渡し、選択されたキャラクタ画像N22の音声データに従った音声で、「講談師」として読み上げ出力する。このとき、読み上げられている音声に同期して表示されている文字426の色を変更する。すなわち、イヤホン28から「諸行」という音声を出力しているときには、表示部4に表示されている「諸行」という文字426の色が変更される。
【0106】
なお、文字データ内に含まれない擬音データを適宜挿入して再生するようにしてもよい。例えば、図11(B)に示すように、「講談師」が調子を取るために扇子を机に叩きつける音「バシッ」が読み上げ音声再生中にイヤホン28から出力されるようにしてもよいし、書籍データに擬音データの発声タイミングを設定しておき、所定のタイミングで擬音を再生し、文章の表現を言葉だけでなく、金の音や虫の鳴き声等の擬音とともに表現するようにしてもよい。その後、nページ目の全ての文字データの読み上げを終了すると(ステップD19;Yes)、ページカウンタnをインクリメントし(n+1→n;ステップD21)、全てのページの読み上げが終了したか否かを判断する。全てのページの読み上げが終了していないときは、次のページをスクロール表示してステップD20へ戻り、表示中のnページ目の文字データを読み上げる。その後、全てのページの読み上げが終了すると(ステップD21;Yes)、書籍データの再生を停止し、書籍データの読み上げ再生処理を終了する。なお、書籍データを再生している途中にストップスイッチがオンされると、書籍データの再生を停止し、書籍データの再生を終了する。
【0107】
以上のように、本発明の電子書籍装置1では、読み上げられる音声に同期して表示中のコマやページがスクロール表示されるので、使用者は意図的にページ捲りやコマ送りの操作を入力する必要がなく、電子書籍装置1において快適に読書を楽しむことができる。一方、ホストサーバ30では、新たにテレビ、映画等で有名となった俳優、芸能人、ノーベル賞受賞者、スポーツで活躍した選手等のキャラクタ画像とこのキャラクタ画像の音声データとを常に新しいものに更新し、この更新されたキャラクタ画像および音声データをRAM31Aに記憶する。この更新されたキャラクタ画像および音声データは、ホストサーバー30のホームページ等に掲載されるので、電子書籍装置1側からその更新されたキャラクタ画像および音声データを書籍データとともに要求すれば、対応する料金を支払うことを条件として、配信部33からネットを介して、電子書籍装置1へ送信してもらうことができる(ステップF16)。したがって、電子書籍装置1では、受信した書籍データ、更新されたキャラクタ画像および音声データを内部RAM7および外部RAM8に受信して格納することができる(ステップF17)。
【0108】
以上説明したように、書籍処理では、外部RAM8に記憶されている書籍データの中から所望の書籍データおよび音声データを読み出して、音声データに対応する音声で書籍データに対応する書籍内容を読み上げ再生することができる。また、外部からダウンロードした書籍データおよび音声データ等を内部RAM7等に複数記憶することができる。なお、書籍データの読み上げ再生中に電話の着信があると、CPU2は着信を報知するため着信報知指示信号を出力するとともに、書籍データの読み上げ停止指示を出力する。着信があった時点での書籍データの読み上げ位置を着信レジスタ7iに記憶し、通話が終了すると、記憶した停止位置から書籍データの読み上げを再開する。
【0109】
更に、CPU2は書籍データのタイプを判断し、タイプに応じて表示単位を変更したり読み上げる音声の種類の設定の仕方を変更したりする。例えば、漫画タイプであればコマ単位(例えば2コマ単位)で表示し、登場人物に対応づけて割り当てられたキャラクタ画像の音声で吹き出し部内の文字データを読み上げ再生する。その他のタイプであればページ単位で表示し、使用者により指定されたキャラクタ画像の音声で文字データを読み上げ再生する。読み上げ再生時には、読み上げられる音声に同期して表示中のコマやページがスクロール表示する。従って、電子書籍装置1は、所望の書籍データおよび音声データを外部からダウンロードして容易に取得することができるので、使用者は表示された書籍データを黙読し視覚的に楽しむことができるだけでなく、表示された書籍データを目で確認しながら、音声データに従って読み上げられる音声を聴取することで聴覚的にも読書を楽しむことができる。また、書籍データの読み上げ再生中に電話の着信があると、電話の着信を報知する一方で書籍データの読み上げ再生を自動的に停止するので読書中にも迅速に電話に応答できる。また、電話の着信時における書籍データの再生位置を記憶しておき、通話が終了すると自動的に前記再生位置から書籍データの再生を自動的に再開するので読書を再開するときになんら操作を必要とせず、便利である。
【0110】
また、書籍のタイプが漫画タイプである場合は登場人物の画像、この画像が発言する文字データ、及びこの文字データを包む吹き出し部をコマ単位で表示させ、表示された吹き出し部内の文字データを登場人物に対応づけて割り当てられたキャラクタ画像の音声で読み上げ、吹き出し部内の文字データの読上げが完了すると自動的に他のコマの処理に移行(スクロール表示)するように制御するので、ページを捲る操作やコマを送る操作を必要とせず、操作を簡便なものとすることができる。また登場人物毎に割り当てられたキャラクタ画像の音声で書籍データが読み上げられるので、読み上げる音声の違いから登場人物を区別でき、視覚に頼らずに読書できる。さらに、音声で読上げられている文字データを他の文字データと区別可能に表示させるので、読み上げられている箇所を容易に確認でき、例えば表示されている画像と文字とを交互に見る場合にも、画像から文字に視線を移したときにどの部分を読み上げているかを瞬時に判断できるので、快適な読書を提供できる。
【0111】
また、小説や物語タイプの書籍では読み上げ対象となる文字データをページ単位で表示させ、表示された文字データを使用者の指定したキャラクタ画像の音声で読み上げ、文字データの読上げが完了したら、次のページに移行(スクロール表示)するので、ページ捲りの操作を必要とせず、読書中の操作を簡便にできる。また登場人物に割り当てられるキャラクタ画像の選択を通じて、キャラクタ画像音声を指定できるので、その指定された音声で使用者は快適に読書できる。
【0112】
なお、本発明は、上述の実施形態の内容に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更可能である。例えば、音声認識部2Aを設け、この音声認識部2Aにて、音声入力部14から入力された音声信号について、音声スペクトラム短縮化等の分析処理を行った後に、標準パターン等とのパターンマッチングを行って音声認識を行い、その音声認識結果を出力する音声認識処理を施すことも可能である。例えば、電話モードにおいて、相手方の電話端末にダイヤルする場合に、ダイヤル部3dにおけるダイヤルキーの手動操作に代えて、予め内部RAM7のダイヤルデータ記憶領域に記憶されている電話番号データや電話番号データに対応付けられている相手の名前などをマイク部1Cから音声入力し、上述の音声認識部2Aの音声認識処理によってダイヤル先を指示することや、再生する書籍データを音声によって指示することも可能である。
【0113】
また、上述の実施の形態では読み上げる音声を書籍データとしたが、例えば通信I/F部9を介して外部から受信した電子メールの内容を、サーバ30から配信されたキャラクタ画像の音声で読み上げるようにしてもよい。この場合、CPU2は通信I/F部9において外部から送信された電子メール(文字データ)を受信して内部RAM7のメールデータ記憶領域7eに記憶しておき、入力部3の操作に従ってメールデータ記憶領域7eに記憶された電子メールの内容を、サーバ30から配信されたキャラクタ画像の音声で読み上げる構成とすれば、電子書籍装置1において書籍データを読み上げるだけでなく、外部から受信した電子メールについての読み上げ音声を聴取することも可能となる。また、この場合において、各キャラクタ画像N21〜N25毎に、電子メールの文字データ(単語、言葉、挨拶文などを含む)に対応した動作を表すキャラクタ画像を複数枚、キャラクタ画像ROM32Bに記憶しておき、このキャラクタ画像ROM32Bに記憶してある各キャラクタ画像N21〜N25毎の、複数枚のキャラクタ画像をサーバ30から配信してもらい、メールデータ記憶領域7eに記憶された電子メールの内容を、同じく配信されたキャラクタ画像の音声で読み上げる際に、当該電子メールの文字データに従った動作の各キャラクタ画像を順次読み出して表示部4に表示させてゆけば、電子メールの内容に従った動作を行うキャラクタ画像とすることができる。例えば、電子メールの文字データが「こんにちは」という挨拶文であった場合には、この「こんにちは」という文字データに従った音声で、キャラクタ画像N21等が「お辞儀」の動作を行うように表示させることができる。
【0114】
また、電子書籍装置1の2つの表示パネル1A,1Bの表示画面にタッチパネルを設け、一方の表示パネルの一部を押圧指定すると他方の表示パネルにその詳細な内容が表示されるようにしてもよい。例えば、一方の表示パネルに目次を表示しておき、その目次のうち所望のタイトル部分を押圧すると、他方の表示パネルに該タイトルの示す章の書籍データを表示するようにしてもよい。この場合は、電子書籍装置1におけるページ捲り操作が簡便化され、さらに快適な読書を楽しむことができる。また、携帯機器20をヘッドホン型書籍データ再生装置とし、それのイヤーパッド内にメモリカード(外部メモリ)を収納する部位を設けるとともに書籍データの読み上げ音声を再生するための読み上げ音声生成部13及び音声出力部15を設け、通信I/F部9を介して所望の書籍データを外部(書籍データ配信センターHSのホストサーバ30)からダウンロードして前記メモリカードに複数記憶しておき、使用者によって選択された書籍データを、選択された音声データに対応した音声で読み上げる。このようなヘッドホン型の書籍データ再生装置においても、書籍データに基づく音声の読み上げ再生中に電話の着信があると、CPU2は着信報知指示信号及び再生停止指示信号を発生して、着信を報知するとともに書籍データの読み上げ音声の再生を停止させ、電子書籍装置50の表示部4における書籍データの表示を停止させる。またこのとき再生の停止位置を内部RAM7の着信レジスタ7iに記憶する。そして通話が終了すると読み上げ音声の再生停止位置から書籍データの読み上げを再開する。
【0115】
従って、ヘッドホン型書籍データ再生装置でも、所望の書籍データを外部からダウンロードして容易に取得し、メモリカードに記憶することができる。また、使用者は書籍データに従って読み上げられる音声を聴取することで聴覚的に読書を楽しむことができる。また書籍データの読み上げ再生中に電話の着信があると、電話の着信を報知する一方で書籍データの読み上げ再生を自動的に停止するので読書中にも迅速に電話に応答できる。また、電話の着信時における書籍データの再生位置を記憶しておき、通話が終了すると自動的に前記再生位置から書籍データの再生を自動的に再開するので読書を再開するときになんら操作を必要とせず、便利である。その他、計時部12をヘッドホン型書籍データ再生装置60側に設けたり、音声入力部14や回転スイッチ部11を電子書籍装置50側に設けるといった内容の変更については、本発明の趣旨を逸脱しない範囲で適宜可能である。
【0116】
【発明の効果】
請求項1記載の発明に係る電子書籍装置によれば、外部の配信元にて提供された複数の書籍の中から希望する書籍を指定した後、この指定された書籍に係る書籍データに対応した書籍内容を読み上げる複数の朗読者を指定すると、これに応答して、この指定された書籍データ、および、この朗読者に対応づけられた音声データを外部の配信元から受信することができ、この受信された書籍データに対応した書籍内容を前記音声データに対応する音声で再生させることができる。従って、希望する朗読者の音声で、希望する書籍に係る書籍データ読み上げ再生してくれるので、読書を視覚及び聴覚によって楽しむことができる。請求項2記載の電子書籍装置によれば、外部の配信元へ書籍に係る書籍データ、この書籍データに対応した書籍内容を読み上げる朗読者の画像、および、この朗読者の画像の音声データの配信を要求すると、この要求に応じて、外部の配信元から配信された書籍データ、朗読者の画像、および、音声データを受信することができ、この受信された書籍データと朗読者の画像とを表示させた後に、受信された書籍データを音声データに従った音声で再生させることができる。従って、配信された書籍データと朗読者の画像とを見ながら、配信された書籍データを希望する朗読者の画像の音声で聞くことができる。
【0117】
請求項3記載の発明の電子書籍装置によれば、書籍データ、この書籍データに対応した書籍内容を読み上げる朗読者の画像、この朗読者の画像に対応づけられた音声データの配信を外部の配信元にネットを介して要求すると、この要求に応答して、配信元から配信された書籍データ、朗読者の画像および音声データを受信することができ、この受信された書籍データに対応した書籍内容と朗読者の画像とを表示部に表示させることができる。また、同時に、受信した書籍データに対応した書籍内容を朗読者の画像に対応づけられた音声データに従った音声で再生させることができる。従って、使用者は、受信した書籍データに対応した書籍内容と朗読者の画像とを表示部で見ながら、受信した書籍データに対応した書籍内容を朗読者の画像に対応づけられた音声データに従った音声で聞くことができる。請求項4記載の発明に係る電子書籍装置によれば、書籍に登場する複数の登場人物の朗読者の画像に対応する書籍データ部分を、登場人物に対応づけた朗読者の画像の音声データに従った音声で再生させることができる。従って、書籍に登場する複数の登場人物毎に割り当てられた各朗読者の画像に対応する書籍データ部分を、各登場人物に対応づけた朗読者の画像の音声で聞くことができる。
【0118】
請求項5記載の発明に係る電子書籍装置によれば、外部の配信元において、朗読者の画像とこの朗読者の画像の音声データとを更新してくれるので、新たな朗読者の画像とこの朗読者の画像の音声データとの配信を受けることができ、例えば、常に、新たにテレビや映画等に登場する芸能人等の音声を新鮮な気持ちで聞くことができる。請求項6記載の発明に係る電子書籍装置によれば、書籍データおよび音声データのほかに、指定された朗読者の画像を外部の配信元から受信することができ、これを受けて、受信された書籍データおよび朗読者の画像を表示部に表示させながら、この表示された書籍データに対応した書籍内容を受信した音声データに対応する音声で再生させることができる。
【0119】
請求項7記載の発明の音声再生システムによれば、配信元装置は、書籍に係る書籍データ、この書籍データに対応した書籍内容を読み上げる朗読者の画像、および、この朗読者の画像に対応づけられた音声データを携帯型電子書籍装置に送信することができる一方で、携帯型電子書籍装置は、配信元装置にて提供された複数の書籍の中から希望する書籍を指定した後、この指定された書籍に係る書籍データに対応した書籍内容を読み上げる複数の朗読者の画像の中から希望する朗読者の画像を指定すると、この指定された書籍データ、および、この朗読者の画像に対応づけられた音声データを外部の配信元から受信することができ、この受信された書籍データに対応した書籍内容を音声データに対応する音声で再生させることができる。請求項8記載の発明に係る音声再生システムによれば、配信元装置は、書籍に係る書籍データ、この書籍データに対応した書籍内容を読み上げる朗読者の画像、および、この朗読者の画像に対応づけられた音声データを携帯型電子書籍装置に送信することができる一方で、携帯型電子書籍装置は、配信元装置へ書籍に係る書籍データ、この書籍データに対応した書籍内容を読み上げる朗読者の画像、および、この朗読者の画像の音声データの配信を要求すると、この要求に応じて、外部の配信元装置から配信された書籍データ、朗読者の画像、および、音声データを受信することができ、この受信された書籍データと朗読者の画像とを表示させた後に、書籍データを音声データに従った音声で再生させることができる。
【0120】
請求項9記載の発明に係る配信装置によれば、配信装置は、書籍に係る書籍データ、この書籍データに対応した書籍内容を読み上げる朗読者の画像、および、この朗読者の画像に対応づけられた音声データを記憶している。書籍に係る書籍データ、この書籍データに対応した書籍内容を読み上げる朗読者の画像、この朗読者の画像に対応づけられた音声データの配信を受信すると、この要求に応答して、書籍データ、朗読者の画像および音声データを送信することができる。請求項10記載の発明に係る音声再生システムによれば、複数の朗読者の画像の音声データと書籍に登場する複数の登場人物のキャラクタとの関係を対応づけて記憶し、この記憶された複数の登場人物のキャラクタ画像に対応する書籍データ部分を、対応づけた朗読者の画像の音声データに従った音声で再生させることができる。
【0121】
請求項11記載の発明に係る音声再生システムによれば、書籍の内容と朗読者の画像とを表示させながら音声データに対応する音声で再生させることができる。
【図面の簡単な説明】
【図1】この発明における音声再生システムの使用状態例、音声再生システムと外部とのデータ通信の様子を模式的に示す図である。
【図2】音声再生システムを構成する電子書籍装置と携帯機器との間のデータ通信の様子を模式的に示す図である。
【図3】電子書籍装置の構成、書籍データ配信センターに設置されたホストサーバの構成、及び携帯機器の構成を示すブロック図である。
【図4】(A)は電子書籍装置の内部RAMのメモリ構成、(B)はホストサーバの内部の書籍ROMのメモリ構成を示す図である。
【図5】電子書籍装置と書籍データ配信センターのホストサーバとでそれぞれ実行される各処理の流れを示すフローチャートである。
【図6】書籍データ・キャラクタ選択処理を説明するフローチャートである。
【図7】書籍データの読み上げ再生処理を説明するフローチャートである。
【図8】(A)および(B)は 読み上げる書籍を選択するための書籍選択画面の表示例および選択後の表示例である。
【図9】(A)および(B)は書籍データの読み上げるキャラクタ画像の選択を行う際における表示部の表示例、および、登場人物とキャラクタ画像との割り当ての際における対応関係を示す表示例である。
【図10】(A)および(B)は登場人物とキャラクタ画像との割り当て後における対応関係を示す表示例、および、書籍データの読み上げ再生中における表示例である。
【図11】(A)および(B)は物語タイプにおける登場人物とキャラクタ画像との割り当て後における対応関係を示す表示例、および、その書籍データの読み上げ再生中における表示例である。
【符号の説明】
100 音声再生システム
1 電子書籍装置
1C マイク部
1E スピーカ部
2 CPU
4 表示部
6 ROM
7 内部RAM
8 外部RAM
15、27 音声出力部
20 携帯機器
HS 書籍データ配信センター
30 ホストサーバ
32A 書籍データROM
32B キャラクタROM
32C 音声データROM
33 配信部
Claims (11)
- 外部の配信元とネットを介して接続される電子書籍装置において、
前記外部の配信元に対して、希望する書籍と、前記希望する書籍に関連する書籍データに対応した書籍内容を読み上げる、前記希望する書籍に登場し、台詞を有する複数のキャラクタに対応付けられる複数の朗読者と、を要求する要求手段と、
前記書籍データと、前記書籍内容に対応した、前記複数の朗読者の音声からなる音声データとを前記外部の配信元から受信する受信手段と、
前記書籍内容が前記複数のキャラクタに対応付けられた前記複数の朗読者の音声で再生されるように制御する制御手段と、
を備えることを特徴とする電子書籍装置。 - 外部の配信元とネットを介して接続される電子書籍装置において、
前記外部の配信元に対して、希望する書籍に関連する書籍データと、
前記書籍データに対応した書籍内容を読み上げるのに利用可能な、前記希望する書籍に登場し、台詞を有する複数のキャラクタに対応した複数の朗読者の画像と、前記複数の朗読者の前記画像に関連する音声データとの配信を要求する配信要求手段と、
前記書籍データと、前記複数の朗読者の画像と、前記音声データとを前記外部の配信元から受信する受信手段と、
前記書籍データが前記複数のキャラクタに対応付けられた前記複数の朗読者の音声で再生されるように前記書籍データと前記画像の表示を制御する制御手段と、
を備えることを特徴とする電子書籍装置。 - 外部の配信元とネットを介して接続される電子書籍装置において、
前記外部の配信元に対して、希望する書籍に対応する書籍データと、
前記書籍データに対応した書籍内容を読み上げるのに利用可能な、前記希望する書籍に登場し、台詞を有する複数のキャラクタに対応付けられる複数の朗読者の画像と、前記書籍内容と前記複数の朗読者の音声とに対応した音声データとの配信を要求する配信要求手段と、
前記書籍データと、前記複数の朗読者の画像と、前記音声データとを前記外部の配信元から受信する受信手段と、
前記書籍データと、前記複数の朗読者の画像と、前記音声データとを記憶する記憶手段と、
前記書籍内容と前記複数の朗読者の画像とを表示させるよう制御する表示制御手段と、
前記書籍内容が前記複数のキャラクタに対応付けられた前記複数の朗読者の音声で再生されるように制御する音声再生制御手段と、
を備えることを特徴とする電子書籍装置。 - 請求項1又は請求項2に記載の電子書籍装置において、更に、前記複数の朗読者と前記希望する書籍に登場し、台詞を有する前記複数のキャラクタとの関係を対応づけて記憶する記憶手段を備えることを特徴とする電子書籍装置。
- 請求項1から請求項3のいずれかに記載の電子書籍装置において、前記外部の配信元は、前記音声データを更新する更新手段を備えていることを特徴とする電子書籍装置。
- 請求項1記載の電子書籍装置において、
前記受信手段は、前記複数の朗読者の画像を受信する画像受信手段を備えており、
前記制御手段は、前記書籍内容と前記複数の朗読者の画像とを表示させる第1の表示制御手段を備えることを特徴とする電子書籍装置。 - 配信元装置を備えた音声再生システムにおいて、
前記配信元装置は、
書籍に関連する書籍データと、前記書籍データに対応した書籍内容を読み上げるのに利用可能な、前記書籍に登場し、台詞を有する複数のキャラクタに対応付けられる朗読者の画像と、前記書籍内容と前記朗読者の音声とに対応した音声データとを記憶するよう構成された記憶手段と、
前記書籍内容と、前記朗読者の画像と、前記音声データとを携帯型電子書籍装置に送信する送信手段とを備えており、
前記携帯型電子書籍装置は、
前記書籍と前記複数のキャラクタを描写する1つ又はそれ以上の朗読者とを要求する要求手段と、
前記書籍データと前記1つ又はそれ以上の朗読者の画像とを受信する受信手段と、
前記書籍内容が前記複数のキャラクタに対応付けられた前記1つ又はそれ以上の朗読者の音声で再生されるように制御する制御手段と、
を備えることを特徴とする音声再生システム。 - 携帯型電子書籍装置と配信元装置とを備えた音声再生システムにおいて、
前記配信元装置は、
書籍に係る書籍データと、前記書籍データに対応した書籍内容を読み上げるのに利用可能な、前記書籍に登場し、台詞を有する複数のキャラクタに対応付けられる朗読者の画像と、前記朗読者の音声データとを記憶する記憶手段と、
前記書籍データと、前記画像と、前記音声データとを送信する送信手段とを備えており、
前記携帯型電子書籍装置は、
前記書籍データと、1つ又はそれ以上の前記朗読者の画像と、1つ又はそれ以上の朗読者の音声データとを要求する要求手段と、
前記書籍データと、前記1つ又はそれ以上の前記朗読者の前記画像と、前記1つ又はそれ以上の前記朗読者の前記音声データとを受信する受信手段と、
前記書籍データと前記1つ又はそれ以上の前記朗読者の前記画像とを表示し、前記書籍内容が前記複数のキャラクタに対応付けられた前記1つ又はそれ以上の前記朗読者の音声で再生されるように制御する制御手段と、
を備えることを特徴とする音声再生システム。 - 書籍に関連する書籍データと、前記書籍データに対応した書籍内容を読み上げるのに利用可能な、前記書籍に登場し、台詞を有する複数のキャラクタに対応付けられる複数の朗読者の画像と、前記書籍内容と前記複数の朗読者の音声とに対応した音声データとを記憶する記憶手段と、
携帯型電子書籍装置から前記書籍に登場する各キャラクタを表示するために前記複数の朗読者の中から希望する朗読者を指定する要求を受信する受信手段と、
前記書籍データと、前記希望する朗読者の画像と、前記希望する朗読者の音声データとを前記携帯型電子書籍装置へ送信する送信手段と、
を備えることを特徴とする配信装置。 - 請求項7又は請求項8に記載の音声再生システムにおいて、
前記記憶手段は、前記音声データと前記書籍のキャラクタとの関係を対応づけて記憶することを特徴とする音声再生システム。 - 請求項7記載の音声再生システムにおいて、
前記制御手段は、前記書籍内容と前記朗読者の画像とを表示させる第1の表示制御手段を備えることを特徴とする音声再生システム。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000402269A JP4729171B2 (ja) | 2000-12-28 | 2000-12-28 | 電子書籍装置および音声再生システム |
US10/023,410 US6985913B2 (en) | 2000-12-28 | 2001-12-18 | Electronic book data delivery apparatus, electronic book device and recording medium |
TW090132301A TWI254212B (en) | 2000-12-28 | 2001-12-26 | Electronic book data delivery apparatus, electronic book device |
KR1020010085702A KR20020055398A (ko) | 2000-12-28 | 2001-12-27 | 전자 서적 송출장치, 전자 서적 장치 및 기록매체 |
CNB011452153A CN100511217C (zh) | 2000-12-28 | 2001-12-28 | 电子书籍数据传递设备、电子书籍设备和记录媒介 |
HK03100655.3A HK1048541A1 (zh) | 2000-12-28 | 2003-01-24 | 電子書籍數據傳遞設備、電子書籍設備和記錄媒介 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000402269A JP4729171B2 (ja) | 2000-12-28 | 2000-12-28 | 電子書籍装置および音声再生システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002202786A JP2002202786A (ja) | 2002-07-19 |
JP4729171B2 true JP4729171B2 (ja) | 2011-07-20 |
Family
ID=18866597
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000402269A Expired - Lifetime JP4729171B2 (ja) | 2000-12-28 | 2000-12-28 | 電子書籍装置および音声再生システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4729171B2 (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4277697B2 (ja) * | 2004-01-23 | 2009-06-10 | ヤマハ株式会社 | 歌声生成装置、そのプログラム並びに歌声生成機能を有する携帯通信端末 |
US9384672B1 (en) | 2006-03-29 | 2016-07-05 | Amazon Technologies, Inc. | Handheld electronic book reader device having asymmetrical shape |
US7748634B1 (en) | 2006-03-29 | 2010-07-06 | Amazon Technologies, Inc. | Handheld electronic book reader device having dual displays |
IN2012DN01870A (ja) * | 2009-09-02 | 2015-08-21 | Amazon Tech Inc | |
US8451238B2 (en) | 2009-09-02 | 2013-05-28 | Amazon Technologies, Inc. | Touch-screen user interface |
JP5634853B2 (ja) * | 2010-12-22 | 2014-12-03 | 富士フイルム株式会社 | 電子コミックのビューワ装置、電子コミックの閲覧システム、ビューワプログラム、ならびに電子コミックの表示方法 |
JP5726647B2 (ja) * | 2011-06-14 | 2015-06-03 | アルパイン株式会社 | 電子書籍視聴システムおよび車載機 |
JP5567643B2 (ja) * | 2012-11-09 | 2014-08-06 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | コンテンツ提供装置、コンテンツ提供プログラムおよびコンテンツ提供方法 |
WO2016067745A1 (ja) * | 2014-10-31 | 2016-05-06 | ソニー株式会社 | 電子機器およびフィードバック提供方法 |
US10225218B2 (en) | 2016-09-16 | 2019-03-05 | Google Llc | Management system for audio and visual content |
JP7052474B2 (ja) * | 2018-03-27 | 2022-04-12 | コニカミノルタ株式会社 | 医用画像管理装置及びプログラム |
JP7243447B2 (ja) * | 2019-05-23 | 2023-03-22 | 富士通株式会社 | 声優評価プログラム、声優評価方法及び声優評価システム |
WO2021084718A1 (ja) * | 2019-10-31 | 2021-05-06 | 富士通株式会社 | 音声再生プログラム、音声再生方法および音声再生システム |
WO2021084720A1 (ja) * | 2019-10-31 | 2021-05-06 | 富士通株式会社 | 音声録音プログラム、音声録音方法および音声録音システム |
WO2021084719A1 (ja) * | 2019-10-31 | 2021-05-06 | 富士通株式会社 | 音声再生プログラム、音声再生方法および音声再生システム |
WO2021084721A1 (ja) * | 2019-10-31 | 2021-05-06 | 富士通株式会社 | 音声再生プログラム、音声再生方法および音声再生システム |
-
2000
- 2000-12-28 JP JP2000402269A patent/JP4729171B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2002202786A (ja) | 2002-07-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6985913B2 (en) | Electronic book data delivery apparatus, electronic book device and recording medium | |
JP4729171B2 (ja) | 電子書籍装置および音声再生システム | |
KR100549845B1 (ko) | 휴대 단말 장치 | |
JP4168621B2 (ja) | 歌唱音声合成を用いた携帯電話装置及び携帯電話システム | |
JP4075349B2 (ja) | 電子書籍装置および電子書籍データ表示制御方法 | |
JP4182618B2 (ja) | 電気音響変換装置及び耳装着型電子装置 | |
JP2000224269A (ja) | 電話機および電話システム | |
KR20010109498A (ko) | 무선단말기를 이용한 노래반주/음악연주 서비스 장치 및그 방법 | |
JP2001265566A (ja) | 電子書籍装置、及び音声再生システム | |
JPH04175049A (ja) | 音声応答装置 | |
JP2005249880A (ja) | 携帯式通信端末によるディジタル絵本システム | |
KR200260160Y1 (ko) | 키톤 갱신/출력 시스템 | |
JP2001051688A (ja) | 音声合成を用いた電子メール読み上げ装置 | |
JP3945351B2 (ja) | 携帯端末装置 | |
KR20200085433A (ko) | 탈부착형 스피커를 포함한 음성합성 시스템 및 방법 | |
JP2006017761A (ja) | 歌入着信メロディ供給機能を有するカラオケシステム | |
JP2007221775A (ja) | 携帯端末、作業支援システムおよびプログラム | |
JP2003122384A (ja) | 携帯端末装置 | |
JP4153453B2 (ja) | 音楽再生装置 | |
JP2003140677A (ja) | 読み上げシステム | |
JP2006301063A (ja) | コンテンツ提供システム、コンテンツ提供装置および端末装置 | |
JP2002118624A (ja) | 携帯移動端末における鳴動効果音声発生方式 | |
JP2004179980A (ja) | 携帯電話機 | |
WO2006107159A1 (en) | Voice processing apparatus for sounder | |
JP2002253852A (ja) | 音声認識を利用したゲームシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060911 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080930 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081007 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20081201 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20081201 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20081203 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081204 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20081215 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20081203 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20081217 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090414 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090812 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20090824 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20090911 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20100713 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20101025 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20101201 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20101206 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20101228 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20110106 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20110131 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20110203 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110418 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4729171 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140422 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |