JP5213273B2 - 電子書籍装置及び電子書籍再生方法 - Google Patents

Description

本発明は、電子書籍装置、電子書籍再生方法、及び電子書籍再生プログラムに関する。特に、文章を構成する文字列の情報を含む本文データと、前記本文データとの関連付けが可能な音データとを組み合わせて構成される電子書籍の情報を読み込んで再生する電子書籍装置に関する。

電子書籍装置に関する従来技術としては、例えば特許文献１、特許文献２、特許文献３に開示された技術が知られている。電子書籍は、例えば特許文献３に示されているように、本文データ、音声／効果音データ、画像データなどを一体化した情報コンテンツである場合が多い。

このような電子書籍を再生する場合には、一般的に紙の書籍の場合と同様に頁単位で管理し、ユーザがこの書籍を読めるように、１頁毎にコンテンツの文章や画像を可視情報として所定の画面に表示し、必要に応じて音も出力する。

特許文献１においては、電子書籍の頁めくりを自動化する技術を開示している。具体的には、ユーザが該当する１頁を読み終えるのに必要な時間の長さを電子書籍の各頁にある文章の文字数や図形数に基づいて算出し、ユーザが該当する１頁を読み終えたと推定されるタイミングで、表示する頁を次の頁に自動的に移動する（自動頁めくり）。

特許文献２においては、電子書籍の文章や画像と、画像、音楽データを関連付け、関連付けられている文章や画像を選択すると、関連付けられているコンテンツを再生することを開示している。

特許文献３においては、ユーザが読んでいると予想される位置（行など）を、下線や文字を太字にすることで表示しつつ、該当する位置に音声/効果音データや画像が指定されていた場合に、それを再生し表示することを開示している。

特開平６−２３１１８７号公報 特開平８−１０６４７２号公報 特開２００６−３３１２５７号公報

特許文献２の技術を採用すれば、電子書籍内の文章や画像に音データのコンテンツを関連付けることができる。また、特許文献１や特許文献３の技術を採用すれば、ユーザが読んでいると予想される位置を自動的に算出し、この位置をユーザに分かりやすく自動で表示することができる。また、特許文献３の技術では、到達した位置に基づいて音声／効果音を再生することができる。

音声や効果音のような音データを併用することにより、紙の書籍と比べてより豊かな表現が可能になる。すなわち、書籍の著作者が意図している情景などを音で直接的に読者に伝えることが可能になる。しかしながら、従来技術では、音データの再生を開始する位置が制御できるだけなので、著作者が意図しているであろう細かい表現や、読者の様々な状況に対して音の再生機能が十分でない。

例えば、電子書籍の文章に合わせて音楽（ＢＧＭ）のような背景音を出力しようとする場合に、該当する文章の長さと背景音の長さとが時間的に一致していない場合には、文章が想定している場面と背景音とが一致しない状況も発生するので、著作者の意図を正しく反映できない。

また、例えば、背景音等を出力する時には、読者が文章を読む速度が変化すると考えられるので、読む速度が一定であることを想定して位置を推定すると、読者が実際に注目している位置と推定した位置との間に大きなずれが発生する可能性が高い。

しかも、電子書籍に関連付けられる音データについては、実際には音声（セリフ、本文の朗読）、効果音、背景音（ＢＧＭ）など様々な種類が考えられる為、再生制御を背景音に対して最適化すると、他の音声や効果音については不適切な再生制御が行われる可能性が高い。

本発明は、上記事情に鑑みてなされたものであって、著者が意図するよう表現力豊かに音データを再生することが可能な電子書籍装置、電子書籍再生方法、及び電子書籍再生プログラムを提供することを目的とする。

本発明の電子書籍装置は、文章を構成する文字列の情報を含む本文データと、前記本文データに対応する音データと、を含む電子書籍のデータを読み込んで再生する電子書籍装置であって、前記本文データ中の注目位置を推定する注目位置推定部と、前記音データの種別として、背景音、効果音、台詞の音声、本文の朗読用音声のうち少なくとも１種類を認識し、更に前記音データの種別に基づいて、前記音データの再生停止条件、再生繰り返し回数、再生音量、前記注目位置の推定への音データ再生の影響の少なくとも１つを含む再生形態を決定する音データ再生形態決定部と、前記注目位置推定部により推定された注目位置の前記本文データに対応する前記音データを、前記音データ再生形態決定部により決定された再生形態で再生するよう制御する音データ再生制御部と、を備え、前記音データ再生形態決定部は、前記音データが対応する前記本文データの文字数に基づく読書時間と前記音データの再生時間とに基づいて、前記音データが背景音および効果音のいずれであるかを判定する。
また、本発明の電子書籍装置は、文章を構成する文字列の情報を含む本文データと、前記本文データに対応する音データと、を含む電子書籍のデータを読み込んで再生する電子書籍装置であって、前記本文データ中の注目位置を推定する注目位置推定部と、前記音データの種別として、背景音、効果音、台詞の音声、本文の朗読用音声のうち少なくとも１種類を認識し、更に前記音データの種別に基づいて、前記音データの再生停止条件、再生繰り返し回数、再生音量、前記注目位置の推定への音データ再生の影響の少なくとも１つを含む再生形態を決定する音データ再生形態決定部と、前記注目位置推定部により推定された注目位置の前記本文データに対応する前記音データを、前記音データ再生形態決定部により決定された再生形態で再生するよう制御する音データ再生制御部と、を備え、前記音データ再生制御部は、前記注目位置推定部により推定された注目位置の前記本文データに対応する前記音データが背景音であり、管理テーブルに前記注目位置の推定を停止する旨が記憶されている場合、前記注目位置推定部による前記注目位置の推定を中断させる。
また、本発明の電子書籍装置は、文章を構成する文字列の情報を含む本文データと、前記本文データに対応する音データと、を含む電子書籍のデータを読み込んで再生する電子書籍装置であって、前記本文データ中の注目位置を推定する注目位置推定部と、前記音データの種別として、背景音、効果音、台詞の音声、本文の朗読用音声のうち少なくとも１種類を認識し、更に前記音データの種別に基づいて、前記音データの再生停止条件、再生繰り返し回数、再生音量、前記注目位置の推定への音データ再生の影響の少なくとも１つを含む再生形態を決定する音データ再生形態決定部と、前記注目位置推定部により推定された注目位置の前記本文データに対応する前記音データを、前記音データ再生形態決定部により決定された再生形態で再生するよう制御する音データ再生制御部と、を備え、前記音データ再生制御部は、前記注目位置推定部により推定された注目位置の前記本文データに対応する前記音データが台詞である場合、前記注目位置推定部による前記注目位置の推定を中断させる。

この電子書籍装置によれば、様々な種別の音データが混在する電子書籍を再生する場合であっても、それぞれの音データを最適な条件で再生することが可能になる。従って、著者が意図するよう表現力豊かに音データを再生できる。
また、電子書籍データの中で種別が異なる複数の音データを区別し、再生停止条件、再生繰り返し回数、再生音量、注目位置の推定に対する音データ再生の影響に反映して、好適に再生できる。
また、電子書籍のデータから背景音または効果音を区別することができ、背景音または効果音に適した再生形態で再生を行うことができる。
また、音データが背景音であり、更に必要がある場合には、注目位置の推定を中断させることで、推定される注目位置における本文データによる観念と背景音による観念とで、ずれが生じることを回避できる。
また、音データが台詞の音声である場合には、注目位置の推定を中断させることで、推定される注目位置における本文データによる観念と台詞の音声による観念とで、ずれが生じることを回避できる。

また、本発明の電子書籍装置は、前記音データ再生形態決定部が、前記音データが対応する前記本文データに引用符号を示す文字が含まれている場合、前記音データは台詞の音声であると判定する。

この電子書籍装置によれば、電子書籍のデータから台詞の音声を区別することができ、台詞の音声に適した再生形態で再生を行うことができる。

また、本発明の電子書籍装置は、前記音データ再生形態決定部が、前記音データが対応する前記本文データに擬声語が含まれている場合、前記音データが効果音であると判定する。

この電子書籍装置によれば、電子書籍のデータから効果音を区別することができ、効果音に適した再生形態で再生を行うことができる。

また、本発明の電子書籍装置は、前記音データ再生制御部が、前記注目位置推定部により推定された同一の注目位置に対応する前記音データが複数割り当てられている場合には、複数の前記音データのうち優先順位の低い種別の音データの再生を制限する。

この電子書籍装置によれば、同時に再生されるべき音データが複数存在する場合に、優先度の低い種別の音データを小さい音量にしたり再生を中止したりすることで、好適な音データの再生を行うことができる。

また、本発明の電子書籍装置は、前記音データ再生制御部が、ページめくり指示を受け付けた場合、再生中の前記音データの種別に基づく異なる条件で、前記音データの再生を停止する。

この電子書籍装置によれば、ページめくりが発生したときに、再生されるべきでない種別の音データについては再生を停止し、再生されるべき種別の音データについては再生を継続することができる。

また、本発明の電子書籍装置は、外部装置から前記音データを受信するデータ通信部を備える。

この電子書籍装置によれば、電子書籍に音データとしてその実体の所在等を示すリンク情報だけが含まれている場合であっても、必要な音データの本体を外部装置から取得し再生することができる。

また、本発明の電子書籍再生方法は、文章を構成する文字列の情報を含む本文データと、前記本文データに対応する音データと、を含む電子書籍のデータを読み込んで再生する電子書籍装置における電子書籍再生方法であって、前記本文データ中の注目位置を推定する注目位置推定ステップと、前記音データの種別として、背景音、効果音、台詞の音声、本文の朗読用音声のうち少なくとも１種類を認識し、更に前記音データの種別に基づいて、前記音データの再生停止条件、再生繰り返し回数、再生音量、前記注目位置の推定への音データ再生の影響の少なくとも１つを含む再生形態を決定する音データ再生形態決定ステップと、前記推定された注目位置の前記本文データに対応する前記音データを、前記音データ再生形態決定部により決定された再生形態で再生するよう制御する音データ再生制御ステップと、有し、前記音データ再生形態決定ステップでは、前記音データが対応する前記本文データの文字数に基づく読書時間と前記音データの再生時間とに基づいて、前記音データが背景音および効果音のいずれであるかを判定する。
また、本発明の電子書籍再生方法は、文章を構成する文字列の情報を含む本文データと、前記本文データに対応する音データと、を含む電子書籍のデータを読み込んで再生する電子書籍装置における電子書籍再生方法であって、前記本文データ中の注目位置を推定する注目位置推定ステップと、前記音データの種別として、背景音、効果音、台詞の音声、本文の朗読用音声のうち少なくとも１種類を認識し、更に前記音データの種別に基づいて、前記音データの再生停止条件、再生繰り返し回数、再生音量、前記注目位置の推定への音データ再生の影響の少なくとも１つを含む再生形態を決定する音データ再生形態決定ステップと、前記推定された注目位置の前記本文データに対応する前記音データを、前記音データ再生形態決定部により決定された再生形態で再生するよう制御する音データ再生制御ステップと、有し、前記音データ再生制御ステップでは、前記注目位置推定部により推定された注目位置の前記本文データに対応する前記音データが背景音であり、管理テーブルに前記注目位置の推定を停止する旨が記憶されている場合、前記注目位置推定部による前記注目位置の推定を中断させる。
また、本発明の電子書籍再生方法は、文章を構成する文字列の情報を含む本文データと、前記本文データに対応する音データと、を含む電子書籍のデータを読み込んで再生する電子書籍装置における電子書籍再生方法であって、前記本文データ中の注目位置を推定する注目位置推定ステップと、前記音データの種別として、背景音、効果音、台詞の音声、本文の朗読用音声のうち少なくとも１種類を認識し、更に前記音データの種別に基づいて、前記音データの再生停止条件、再生繰り返し回数、再生音量、前記注目位置の推定への音データ再生の影響の少なくとも１つを含む再生形態を決定する音データ再生形態決定ステップと、前記推定された注目位置の前記本文データに対応する前記音データを、前記音データ再生形態決定部により決定された再生形態で再生するよう制御する音データ再生制御ステップと、有し、前記音データ再生制御ステップでは、前記注目位置推定部により推定された注目位置の前記本文データに対応する前記音データが台詞である場合、前記注目位置推定部による前記注目位置の推定を中断させる。

この電子書籍再生方法によれば、様々な種別の音データが混在する電子書籍を再生する場合であっても、それぞれの音データを最適な条件で再生することが可能になる。従って、著者が意図するよう表現力豊かに音データを再生できる。
また、電子書籍データの中で種別が異なる複数の音データを区別し、再生停止条件、再生繰り返し回数、再生音量、注目位置の推定に対する音データ再生の影響に反映して、好適に再生できる。
また、電子書籍のデータから背景音または効果音を区別することができ、背景音または効果音に適した再生形態で再生を行うことができる。
また、音データが背景音であり、更に必要がある場合には、注目位置の推定を中断させることで、推定される注目位置における本文データによる観念と背景音による観念とで、ずれが生じることを回避できる。
また、音データが台詞の音声である場合には、注目位置の推定を中断させることで、推定される注目位置における本文データによる観念と台詞の音声による観念とで、ずれが生じることを回避できる。

本発明によれば、著者が意図するよう表現力豊かに音データを再生することが可能になる。

本発明の実施形態の電子書籍装置の主要な機能に関する構成例を示すブロック図 本発明の実施形態の電子書籍装置が再生する電子書籍の構成に関する具体例を示す模式図 本発明の実施形態の電子書籍装置が再生する電子書籍の構成に関する具体例を示す模式図 本発明の実施形態の電子書籍装置が使用する音データ管理テーブル及びレジューム用データ管理テーブルの構成例を示す模式図 本発明の実施形態の電子書籍装置の動作に関する概要を示すフローチャート 本発明の実施形態の音データの種別を自動分類するための処理の一部分を示すフローチャート 本発明の実施形態の音データの種別を自動分類するための処理の一部分を示すフローチャート 本発明の実施形態の音データの種別を自動分類するための処理の対象になる電子書籍データの具体例を示す模式図 本発明の実施形態の音データの種別を自動分類するための処理の対象になる電子書籍データの具体例を示す模式図である。 本発明の実施形態の音データの再生停止位置を推定するための処理を示すフローチャート 本発明の実施形態の音データを再生制御するための処理を示すフローチャート 本発明の実施形態のページめくりの指示を受けた時の処理を示すフローチャート 本発明の実施形態のページ戻しの指示を受けた時の処理を示すフローチャート

本発明の実施形態における電子書籍装置、電子書籍再生方法、及び電子書籍再生プログラムについて、図面を参照しながら以下に説明する。

本発明の実施形態の電子書籍装置の主要な機能に関する構成例が図１に示されている。図１に示すように、この電子書籍装置１００は、文章データ記憶部１０、音データ記憶部２０、データ通信部２５、文章・音データ解析部３０、注目位置推定部４０、時計部４５、音データ再生制御部５０、ページ切り替え処理部６０、出力部７０、入力部８０、位置記憶部９０を備えている。

この電子書籍装置１００が再生対象とする電子書籍（コンテンツ）のデータについては、少なくとも文章を構成する文字列の情報を含む本文データ（又は文章データ）と、この本文データとの関連付けが可能な音データとの組み合わせで構成される。勿論、音データ以外に、画像等の付属コンテンツを含む電子書籍を再生することもできる。音データは、所定のリンク情報により、本文データの文章の所望の位置に対応付けられる。音データの本体、すなわち音響の信号を出力するために必要なデジタル音響データについては、本文データの文章の中に埋め込まれ一体化される場合もあるし、本文データの外側つまり本文データとは別に配置される場合もある。

なお、本実施形態では、「電子書籍を再生する」とは、ここでは少なくとも電子書籍に含まれる本文データの１つのページの内容を所定の画面上に文字列として可視表示すること、つまり読者が画面を見てその内容を読むことができる状態にすることを意味している。勿論、文章全体を装置の発声機能を利用して自動的に朗読する機能を有する場合には、画面表示を省略して自動的に朗読することも「電子書籍の再生」と同等の意味になる。また、再生している本文データにリンク情報により関連付けられた音データが存在する場合には、後述するように、必要に応じてその音データを読者（ユーザ）に聞こえるように音として出力する。このような動作を、本実施形態では「音データの再生」と定義する。

図１に示した文章データ記憶部１０は、再生対象となる電子書籍の本文データ（又は文章データ、リンク情報も含む）を記憶し保持する。音データ記憶部２０は、電子書籍の本文データとリンク情報で関連付けられた音データの本体の内容を記憶し保持する。具体例として、ＣＤ−ＲＯＭやＤＶＤディスクのような記録媒体や、ハードディスクのような記憶装置が文章データ記憶部１０や音データ記憶部２０として用いられる。

電子書籍に関連付けられた音データの本体の内容については、電子書籍装置１００の外側の任意の場所、例えばインターネットを介して接続可能な所定のサーバ上に配置することもできる。図１に示すデータ通信部２５は、インターネット等の通信網と接続するためのデータ通信機能を備えており、リンク情報に基づき、必要とされる音データの本体を指定された場所から取得して音データ記憶部２０上に保持する。

従って、文章データ記憶部１０が保持しているデータと音データ記憶部２０が保持しているデータとを読み込むことにより、電子書籍を再生すると共に関連付けられた音データも再生することが可能である。

文章・音データ解析部３０は、電子書籍のコンテンツ全体を解析し、文章等の本文データと音データ等の付属コンテンツとのリンク状況をチェックしたり、リンク情報により関連付けられた音データの種別を分類したりするための処理を行う。

注目位置推定部４０は、再生中の電子書籍の１ページの内容について読者が現在読んでいると推定される注目位置（文章中の文字等の位置）を推定する。例えば、読者が１文字を読むのに必要な時間Ｔｃ１が一定であると仮定すれば、該当するページを開いてからの経過時間と時間Ｔｃ１とに基づき、該当するページの何文字目が注目位置であるのかを求めることができる。勿論、個人差や状況に応じて前記時間Ｔｃ１は変動するので、実際の注目位置の推定においては様々な処理が実施される。

時計部４５は、現在の時刻の情報を出力する。この時刻情報は、注目位置推定部４０が注目位置を推定する際に利用される。

音データ再生制御部５０は、音データの再生に関する制御を実施する。すなわち、再生すべき音データの本体の情報を取得してデコードし、音響の電気信号に変換すると共に、音響出力開始や終了のタイミングを制御したり、音量制御を実施し、音響の信号を出力部７０に出力したりする。また、音データの種別に基づいて、音データの再生形態を決定する音データ再生形態決定部としての機能も有する。

ページ切り替え処理部６０は、ページ切り替えに関する処理を実施する。すなわち、電子書籍のコンテンツはページ単位で管理されているので、現在の画面に表示する特定の１ページを必要に応じて切り替える。注目位置推定部４０が読者の注目位置を推定している状態においては、現在表示している１ページの内容を読者が最後まで読み終わるタイミングを予想できるので、この読み終わるタイミングを推定してページ切り替え処理部６０が次のページに切り替える。また、読者の入力操作によるページめくりやページ戻しの指示を受けた場合には、その指示に従ってページ切り替え処理部６０はページを切り替える。

なお、前述の文章・音データ解析部３０、注目位置推定部４０、音データ再生制御部５０、ページ切り替え処理部６０の機能については、マイクロコンピュータのハードウェアとそれが実行するプログラムとにより実現される。勿論、これらの機能の一部分あるいは全体を専用の処理を実行するハードウェアに置き換えることも可能である。

出力部７０は、再生された電子書籍の文章等を画面上に可視表示するための表示装置と、音響の電気信号を音響として出力するための変換器（スピーカ等）を備える。

入力部８０は、ユーザである読者からの必要な入力操作を受け付けるための入力装置である。入力部８０の具体例としては、出力部７０の表示画面上に配置されるタッチパネルなどが想定される。入力部８０は、例えばユーザからの再生開始指示や、ページめくり指示や、ページ戻し指示や再生終了指示などを受け付ける。

位置記憶部９０は、ページ切り替え処理部６０がページ切り替えを行う際に、位置などの情報を必要に応じて保存する。

図１に示した電子書籍装置１００が扱う電子書籍に含まれる音データに関しては、「背景音」、「効果音」、「セリフ」、「本文の朗読用音声」の４種類がある。これら４種類の音データの定義については次の通りである。

背景音：バックグラウンドミュージック（ＢＧＭ）や、環境を表す音（虫の鳴き声や波の音）、音楽や映画の著作物などのように、ある程度長い時間に渡ってほぼ連続的に現れる音を表す。

効果音：例えば車のクラクション、猫の鳴き声のように物や生物が発する音や、状態や感情などを表す音を表す。背景音よりも短く、突発的に短時間だけ現れる。

セリフ（台詞の音声）：演劇や創作物の劇中で登場人物が発する言葉を人間の音声もしくはそれに近い疑似音声により表現するための音を表す。

本文の朗読用音声：電子書籍中の文章（人物が発する言葉以外）を人間の音声もしくはそれに近い疑似音声により読み上げる音を表す。

これらの４種類の音データは、電子書籍の著作者がこのコンテンツの内容をより豊かな表現力で表現するために使い分けることができる。このような著作者の表現を読者に正確に伝えるために、図１に示す電子書籍装置１００は音データの再生に関して種別に応じて様々な制御を実施する。この制御の概要が一覧として次の表１及び表２に示されている。

表１及び表２に示したように、音データの再生に関しては、「停止制御」、「位置の推定への影響」、「音の重畳」、「音量調整」、「ページ戻し」、「ページめくり」について、それぞれ音の種別に応じて特別な制御を実施する。

表１中の「停止制御」は、該当する音データの再生をどのような条件で停止するのか（再生停止条件）に関する制御である。「位置の推定への影響」は、該当する音データの再生が注目位置推定部４０の位置の推定に及ぼす影響を考慮するための制御である。「音の重畳」は、複数の種別の音データの再生が重なったタイミングで出力する場合にどのように処理するかを決定する制御である。「音量調整」は、該当する音データをどのような音量で再生するか、つまり再生音量を決定する制御である。表２中の「ページ戻し」は、ページ戻しが発生した場合に再生中の音データをどのように処理するかを決定する制御である。「ページめくり」は、ページめくり（次ページに進める動作）が発生した場合に再生中の音データをどのように処理するかを決定する制御である。

次に、電子書籍装置１００が再生対象とする電子書籍の構成に関する具体例について説明する。この具体例が図２、図３にそれぞれ示されている。図２、図３においては、電子書籍中の１ページ内の内容について、文章の本文とそれの各箇所に対応付けけられた音データとの関係が示されている。

図２に示された電子書籍においては、文章の本文の他に、それと関連付けられた「背景音１」、「背景音２」、「効果音」、「セリフ１」、「セリフ２」が含まれている。「背景音１」は、この音を再生するための文章中の開始位置と終了位置、つまり図２中の点線で囲まれた範囲を特定する情報が、文章の本文データの中に埋め込まれている背景音である。「背景音２」は、この音を再生するための文章中の開始位置と再生回数（再生繰り返し回数）とが、文章の本文データの中に埋め込まれている背景音である。「セリフ１」、「セリフ２」は、それぞれ文章中の１行の中に関連付けられたセリフである。「セリフ１」、「セリフ２」がある行には、カギ括弧（「」）でくくられた文字列がある。なお、ここでは括弧のみを例示しているが、 “”（英語）や＜＜＞＞（フランス語）等のような引用符号でもよい。「効果音」は、図２中では文章中の擬声語に関連づけられた効果音である。

図３に示された電子書籍においては、文章の本文の他に、それと関連付けられた「背景音」が含まれている。この「背景音」に関するリンク情報については、音の再生開始位置と、音再生開始後に位置の推定を一時停止（例えば１０秒間）するための指定も含まれている。この指定がある場合、電子書籍装置１００は、リンクされている背景音を通常の音量で再生を開始してから、位置の推定を一時停止して１０秒間を経過した後で、位置の推定を再開すると共に、音量を小さく変更する。

電子書籍装置１００の文章・音データ解析部３０は、再生する電子書籍中の音データを管理するために、例えば図４に示すような音データ管理テーブルを利用する。図４を参照すると、この音データ管理テーブルには、「音ファイル保存場所」、「音ファイル名」、「再生時間」、「音の分類」、「再生回数」、「再生開始後注目位置の推定を一時停止する時間」、「再生停止位置」の各項目の情報を管理する領域が設けてある。音データ管理テーブルは、例えば文章・音データ解析部３０の内部に記憶される。

これらの項目の中で、「音ファイル保存場所（フォルダ名やアドレスなど）」と「音ファイル名」は、該当する音のデータを特定するために文章中のリンク情報に必ず含まれている。「再生時間」、「音の分類」、「再生回数」、「再生開始後注目位置の推定を一時停止する時間」、「再生停止位置」の各項目の情報については、文章中のリンク情報に含めても良いが、それらの内容を後述するように電子書籍装置１００が決定することもできる。

また、文章・音データ解析部３０は、音データ管理テーブルの他に、レジューム用データ管理テーブルを利用することができる。レジューム用データ管理テーブルは、後述するページめくり、ページ戻しの操作があった場合に、ページめくり前、ページ戻し前の情報を記憶するために利用される。図４を参照すると、レジューム用データ管理テーブルには、「読んでいた位置」、「再生していた背景音」、「再生していた背景音の停止位置」、「再生していた効果音」、「再生していた効果音の停止位置」、「再生していたセリフ」、「再生していたセリフの停止位置」の各項目の情報を管理する領域が設けてある。レジューム用データ管理テーブルは、例えば位置記憶部９０に記憶される。

図１に示した電子書籍装置１００の動作に関する概要（メインルーチン）が図５に示されている。図５に示す動作について以下に説明する。

電子書籍の再生動作を開始した後、ページ切り替え入力があった場合に電子書籍装置１００の動作はステップＳ１１からＳ１２に進む。すなわち、最初のページを表示する場合や、読者の入力操作によりページめくりが行われた場合である。

ステップＳ１２では、ページ切り替え処理部６０が、ページ切り替えを行う。すなわち、電子書籍のコンテンツ上で再生すべき次のページの位置を特定する。

ステップＳ１３では、文章・音データ解析部３０は、ページ切り替え処理部６０が選択した特定ページの文章データ全体を文章データ記憶部１０から読み込む。ここで読み込まれた１ページ分の文章データは、例えば図２に示すような文章の文字列情報（可視情報）として出力部７０の表示画面上に表示（再生）される。

ステップＳ１４では、文章・音データ解析部３０は、読み込まれた文章データの内容を順番に解析し、リンク情報により関連付けられている音データの有無をチェックする。リンクされている音データが見つかった場合には、これを管理するために音データ管理テーブルに必要な情報（音ファイルの保存場所、ファイル名、再生回数、再生開始後注目位置の推定を一時停止する時間、など）を書き込む。

ステップＳ１５では、文章・音データ解析部３０はステップＳ１４でリンクされている音データが見つかった場合に、該当する音データの種別（「背景音」、「効果音」「セリフ」、「本文の朗読用音声」の区分）を分類する。具体的な処理の内容については後述する。また、一般的なリンク情報には音データの種別を表す情報は含まれていないが、リンク情報自体に音データの種別を表す情報が含まれている場合には、特別な分類処理は不要なのでステップＳ１５の処理は省略される。この分類処理の結果が、音データ管理テーブルの内容に反映される。

ステップＳ１６では、文章・音データ解析部３０は、音データ再生を停止する位置を推定する。具体的な処理の内容については後述する。また、もしもリンク情報自体に音データの再生停止位置を表す情報が含まれている場合には、ステップＳ１６の処理は不要なので、この処理の実行は省略される。該当する音データの再生回数として、１回再生や複数回再生の指定がある場合に、ステップＳ１６で音データ再生を停止する位置を推定する。この推定処理の結果は、音データ管理テーブルの内容に反映される。

ステップＳ１７では、文章・音データ解析部３０は、１ページの文章データにリンクされている全ての音データについて上記の処理が終了したか否かを識別する。未処理の音データが残っている場合はステップＳ１４に戻り、処理が完了した場合はステップＳ１８に進む。

ステップＳ１８では、注目位置推定部４０が時計部４５の出力する時刻情報を利用して、再生中のページ内における読者の現在の注目位置を推定する。つまり、ページを切り替えてからの経過時間等に基づいて注目位置（ページ内の行番号や行中で何番目の文字であるかを示す位置情報）を推定する。

ステップＳ１９では、音データ再生制御部５０は、注目位置推定部４０がステップＳ１８で推定した最新の注目位置の文章に、リンク情報により関連付けられた音データが存在するか否かを識別する。存在する場合はステップＳ２０に進み、存在しなければステップＳ２１に進む。

ステップＳ２０では、音データ再生制御部５０は、現在の注目位置の文章に関連付けられた音データを再生（音響出力）するための処理を行う。この処理の詳細については後述する。

ステップＳ２１では、音データ再生制御部５０は、注目位置推定部４０が推定した最新の注目位置が、特定の条件を満たしたか否かを音データ再生制御部５０が識別する。特定の条件を満たした場合はステップＳ２２に進み、満たしていない場合はステップＳ２３に進む。特定の条件とは、例えば、「注目位置が文章の章を跨いだ」あるいは「場面が切り替わった（例えば１行の空行で区切られた箇所を跨いだ）」かどうか、の条件である。

ステップＳ２２では、音データ再生制御部５０は、現在「背景音」の音データを再生中かどうかを識別し、再生中であればその音データの再生（音響出力）を停止する。

ステップＳ２３では、音データ再生制御部５０は、注目位置推定部４０の推定した注目位置がページの終端に到達したか否かを識別する。終端に到達してなければステップＳ１８に戻って同じページ内で音データの処理を繰り返し、終端に到達した場合はステップＳ１２に戻って再生するページを切り替える。

次に、図５のステップＳ１５に示した音データの分類に関する処理の詳細について説明する。この処理の内容が図６、図７に示されている。また、図６に示す処理の対象になる電子書籍データの具体例が図８に示されており、図７に示す処理の対象になる電子書籍データの具体例が図９に示されている。

図６に示すステップＳ３１では、文章・音データ解析部３０は、検出されたリンク情報（文章と音データを関連付けるもの）が含まれている文章中の段落の範囲を表す段落開始位置と段落終了位置を検出する。図８に示した例では、点線で示した枠で囲まれた範囲が該当する段落の範囲として検出される。

ステップＳ３２では、文章・音データ解析部３０は、ステップＳ３１で検出した段落の範囲内で、リンク情報が存在する位置の文章が１対のカギ括弧（「」）で囲まれているか否かを識別する。囲まれている場合はステップＳ３３からＳ３４に進み、囲まれていない場合は図７のステップＳ３５に進む。

図８に示した例では、下線で示した文章の範囲内にリンク情報が存在する場合を想定しており、この範囲の文章がカギ括弧（「」）で囲まれているので、ステップＳ３４に進む。

ステップＳ３４では、文章・音データ解析部３０は、該当するリンク情報の音データの種別が「セリフ」である、に判定する。そして、文章・音データ解析部３０は、その判定結果の情報を音データ管理テーブルの該当する項目に書き込む。これにより、セリフを再生する場合には、この音データに適した所望の再生形態で再生を行うことができる。

ステップＳ３５では、文章・音データ解析部３０は、検出されたリンク情報（文章と音データを関連付けるもの）が含まれている文章中の一節を抽出する。具体的には、句点である「。」から「。」までの範囲を一節として抽出する。

図９に示す例では、「効果音１」で示す位置（「ギー」の文字列の範囲）に該当するリンク情報が存在する場合を想定しているので、ステップＳ３５を実行すると、これを含む「。」から「。」までの範囲、つまり「ギー、ドアがきしむ音が突然聞こえた。」の１行が一節として抽出される。

ステップＳ３６では、ステップＳ３５で抽出した一節の文章の中に予め定めた説明文が含まれているか否かをチェックする。具体的には、「ｘｘの音」、「ｘｘの声」（ｘｘは任意の文字列を表す）のいずれかが含まれているか否かをチェックする。含まれている場合はステップＳ３７に進み、含まれていない場合はステップＳ３８に進む。

ステップＳ３７では、文章・音データ解析部３０は、該当するリンク情報の音データの種別が「効果音」である、と判定する。そして、文章・音データ解析部３０は、その判定結果の情報を音データ管理テーブルの該当する項目に書き込む。これにより、具体的な音または声を示す情報が本文データに含まれるときには、効果音であると判定し、効果音を再生する場合には、この音データに適した所望の再生形態で再生を行うことができる。なお、この場合の判定精度を更に上げるために、ステップＳ３７の後にステップＳ３８以降の処理を行ってから最終的な判定を行っても良い。

ステップＳ３８では、文章・音データ解析部３０は、該当するリンク情報の音データが関連付けられている文章の文字数を算出する。リンク情報に開始位置と終了位置が含まれている場合は、これにより該当する文字列を特定できる。

図９に示す「効果音２」のリンク情報については、下線を付けて示した文字列「バタン」の範囲に音データが関連付けてあるので、この範囲内の文字数（この場合は３）がステップＳ３８で算出される。

ステップＳ３９では、文章・音データ解析部３０は、該当するリンク情報の音データを実際に音響として再生する場合に、どれだけの時間の長さに渡って音が出力されるのかを表す再生時間を算出する。図９に示す「効果音２」の場合は、例えば２秒として算出される。

ステップＳ４０では、文章・音データ解析部３０は、該当するリンク情報に対応付けられた範囲の文字列を読者が読む場合にどれだけの長さの時間が必要なのかを表す所要時間（読書時間）を、該当する文字数等に基づいて算出する。図９に示す「効果音２」の場合は、例えば１秒として算出される。

ステップＳ４１では、文章・音データ解析部３０は、ステップＳ３９で算出された再生時間とステップＳ４０で算出された所要時間とを比較する。具体的には、再生時間と所要時間との差分の絶対値を予め定めた閾値と比較し、差が数秒程度（再生時間が所要時間と同等）以内ならステップＳ４２に進み、それよりも差が大きい場合はステップＳ４３に進む。

ステップＳ４２では、文章・音データ解析部３０は、該当するリンク情報の音データの種別が「効果音」である、と判定する。そして、文章・音データ解析部３０は、その判定結果の情報を音データ管理テーブルの該当する項目に書き込む。

ステップＳ４３では、文章・音データ解析部３０は、該当するリンク情報の音データの種別が「背景音」である、と判定する。そして、文章・音データ解析部３０は、その判定結果の情報を音データ管理テーブルの該当する項目に書き込む。

このように、読書時間と音データの再生時間を考慮して効果音か背景音かを判定可能であるので、その音データを適した再生形態で再生を行うことができる。

次に、図５のステップＳ１６に示した「音データ再生停止位置の推定」に関する処理の詳細について説明する。この処理の内容が図１０に示されている。

図１０のステップＳ５１では、文章・音データ解析部３０は、音データ管理テーブルを参照し、該当するリンク情報の音データを再生する場合の再生時間の長さを特定する。

ステップＳ５２では、文章・音データ解析部３０は、ステップＳ５１で特定した再生時間の長さに渡って該当する音データを再生した場合に、読者が読んでいる文章中の位置がどこまで進むのか（再生停止位置）を算出する。つまり、文章中の読者の注目位置が音データのリンクされている箇所の先頭にある状態から、再生時間が経過した時に、読者が注目する位置が到達する推定位置を読者の読む速度（推定値など）と再生時間とに基づいて算出する。

ステップＳ５３では、文章・音データ解析部３０は、ステップＳ５２で算出した再生停止位置の情報を、音データ管理テーブルに書き込む。図４に示した音データ管理テーブルの例では、再生停止位置として、「先頭より１０段落目の２０文字目」が書き込まれている。

次に、図５のステップＳ２０に示した「コンテンツ（音データ）の再生」に関する処理の詳細について説明する。この処理の内容が図１１に示されている。つまり、電子書籍を再生し、ある１ページの文章等を出力部７０の表示画面に表示した状態で、注目位置推定部４０が推定した現在の読者の注目位置に、リンク情報で関連付けられた音データが存在する場合に、図１１の処理が実行される。

まず、ステップＳ６１では、音データ再生制御部５０は、音データ管理テーブルの内容に基づき、該当する音データの種別が「背景音」か否かを識別する。「背景音」であればステップＳ６２に進み、それ以外ならステップＳ６９に進む。

ステップＳ６２では、音データ再生制御部５０は、現在の音の再生状況をチェックし、「背景音」が既に鳴動中（再生中）か否かを識別する。既に鳴動中ならステップＳ６３に進み、鳴動中でなければステップＳ６４に進む。

ステップＳ６３では、音データ再生制御部５０は、現在鳴動中の（先に再生を開始した）他の「背景音」の再生を停止する。従って、文章中の同じ領域に複数の「背景音」が割り当てられた場合には、先に再生を開始した「背景音」が停止してから次の「背景音」が再生され、複数の「背景音」が重なって同時に鳴動することはない。ここでは、先に再生を開始した背景音よりも、これから再生する背景音の方が、優先順位が高くなっている。

ステップＳ６４では、音データ再生制御部５０は、現在の推定注目位置にリンク情報で関連付けられた該当する音データの本体を、音データ記憶部２０から取得する。

ステップＳ６５では、音データ再生制御部５０は、音データ管理テーブルの内容に基づき、該当する音データに「注目位置の推定を一時停止する指定」（図４の音データ管理テーブルの上から６番目の項目の内容）があるか否かを識別する。指定がなければステップＳ６６に進み、指定がある場合はステップＳ６７に進む。

ステップＳ６６では、音データ再生制御部５０は、ステップＳ６４で取得した音データの本体を「背景音」として比較的小さい音量（通常より小さい音量）で再生開始する。

ステップＳ６７では、音データ再生制御部５０は、ステップＳ６４で取得した音データの本体を通常の音量で再生開始する。更に、ここで注目位置推定部４０における注目位置の推定を一時停止する。一時停止している間は、注目位置は変化しない。一時停止する時間の長さは、音データ管理テーブルの内容により指定される。これにより、推定される注目位置における本文データによる観念と背景音による観念とで、ずれが生じることを防止できる。

ステップＳ６８では、音データ再生制御部５０は、ステップＳ６７で注目位置の推定を一時停止してから指定時間を経過した時に、現在再生している「背景音」の音量を比較的小さい音量（通常より小さい音量）に変更し、注目位置推定部４０による注目位置の推定を一時停止した位置から再開する。

ステップＳ６９では、音データ再生制御部５０は、音データ管理テーブルの内容に基づき、該当する音データの種別が「効果音」か「セリフ」かを識別する。「効果音」であればステップＳ７０に進み、「セリフ」ならステップＳ７４に進む。

ステップＳ７０では、音データ再生制御部５０は、現在の推定注目位置にリンク情報で関連付けられた該当する音データの本体を音データ記憶部２０から取得する。

ステップＳ７１では、音データ再生制御部５０は、現在の音の再生状況をチェックし、「セリフ」が既に鳴動中（再生中）か否かを識別する。既に鳴動中ならステップＳ７２に進み、鳴動中でなければステップＳ７３に進む。

ステップＳ７２では、音データ再生制御部５０は、これから再生する「効果音」の音量を比較的小さい音量（通常より小さい音量）に定める。なお、ステップＳ７２を実行しない場合は再生音量として通常の音量が選択される。ここでは、効果音よりもセリフの方が優先順位が高い。

ステップＳ７３では、音データ再生制御部５０は、ステップＳ７０で取得した音データの本体を「効果音」として再生する。

ステップＳ７４では、音データ再生制御部５０は、現在の音の再生状況をチェックし、「効果音」が既に鳴動中（再生中）か否かを識別する。既に鳴動中ならステップＳ７５に進み、鳴動中でなければステップＳ７６に進む。

ステップＳ７５では、音データ再生制御部５０は、再生中の効果音の音量を比較的小さい音量（通常より小さい音量）に定める。ここでは、効果音よりもセリフの方が優先順位が高い。

ステップＳ７６では、音データ再生制御部５０は、現在の推定注目位置にリンク情報で関連付けられた該当する音データの本体を音データ記憶部２０から取得する。

ステップＳ７７では、音データ再生制御部５０は、ステップＳ７６で取得した音データの本体を「セリフ」として再生する。

ステップＳ７８では、音データ再生制御部５０は、注目位置推定部４０の推定に関する一時停止／再開を制御する。具体的には、推定した注目位置が音データに対応付けられた文章位置の最後に到達しても、ステップＳ７７で再生を開始した「セリフ」の出力が継続している場合には、ここで注目位置の推定を一時停止する。そして、「セリフ」の出力が完了した時に注目位置の推定を一時停止した位置から再開する。注目位置の推定を一時停止することで、推定される注目位置における本文データによる観念とセリフによる観念とで、ずれが生じることを防止できる。

このように、複数の音データを同時に再生する必要がある場合には、優先順位の低い種別の音データの再生を制限することで、好適な音データの再生を行うことができる。

次に、「ページめくり」、「ページ戻し」の場合の動作について説明する。「ページめくり」の場合の動作が図１２に示されており、「ページ戻し」の場合の動作が図１３に示されている。

入力部８０に対する読者の入力操作により、再生（表示）するページを現在の次のページ又は前のページに移動するための指示、すなわち「ページめくり」が発生すると、ステップＳ８１以降の処理を実施する。

ステップＳ８１では、音データ再生制御部５０は、手動で指示された「ページめくり」の周期を自動ページめくりの周期と比較して、すばやい「ページめくり」か否かを識別する。

手動で「ページめくり」を行わない場合には、注目位置推定部４０が推定した注目位置の進み具合に応じてページの終端に到達した時に自動的にページめくりが実行される。従って、自動ページめくりの周期（時間の長さ）は、読者が文字を読む速度の推定値とページ内の文字数とに応じて定まり、大きく変化することはない。一方、読者が手動で「ページめくり」を指示する時には、様々な状況が考えられる。例えば、自動ページめくりが実行される前に読者がページの最後まで読み終えた場合や、読者が各ページの内容をほとんど読まずにぱらぱらとページをめくる操作を繰り返す場合などが考えられる。このような違いを区別するために、手動ページめくりがすばやいかどうかを識別する。具体的には、前回のページめくりのタイミングから今回のページめくりのタイミングまでの経過時間を手動ページめくりの周期として検出する。そして、手動ページめくりの周期が自動ページめくりの周期と比べて所定以内（例えば１／５以内）であればステップＳ８９に進み、それより長い場合はステップＳ８２に進む。

ステップＳ８２では、音データ再生制御部５０は、自動再生停止中か否かを識別する。自動再生停止中とは、注目位置推定部４０による注目位置の推定が停止している状態である。停止中であればステップＳ８３に進み、停止中でなければステップＳ８４に進む。

ステップＳ８３では、音データ再生制御部５０は、注目位置推定部４０による注目位置の推定を再開する。つまり、手動ページめくりにより開いた新しいページの先頭の位置から読者が内容を読む状態を想定した再生制御を再開する。

ステップＳ８４では、音データ再生制御部５０は、手動ページめくりを行う直前のタイミングで読者が読んでいた位置、つまり注目位置推定部４０が最後に推定した注目位置の情報（ページ番号も含む）を、位置記憶部９０のレジューム用データ管理テーブルに記録する。また、音データ再生制御部５０は、同時に音データの再生を実行していた場合には、該当する音データを特定する情報とその再生状況（位置や時間など）を表す情報についても、位置記憶部９０のレジューム用データ管理テーブルに記録する。

ステップＳ８５では、音データ再生制御部５０は、音データの再生を実行していた場合に該当する音データの種別をチェックする。そして、この音データの種別が「背景音」の場合には、推定した注目位置がこの音データの再生停止位置を超えたか否かを識別する。再生停止位置を超えた場合はステップＳ８７に進み、超えていなければステップＳ８６に進む。

ステップＳ８６では、音データ再生制御部５０は、音データの再生を実行していた場合に該当する音データの種別をチェックする。そして、これが「効果音」又は「セリフ」の場合には、音データのリンクの位置の範囲がページを跨っているか否かを識別する。ページを跨っている場合はステップＳ８８に進み、跨っていない場合はステップＳ８７に進む。

ステップＳ８７では、音データ再生制御部５０は、再生中の音データの再生を停止する。つまり、ページの移動によって「背景音」の再生停止位置を超えた場合や、ページを跨っていない「効果音」又は「セリフ」の再生中にページが移動した場合には、音の再生を停止する。

ステップＳ８８では、音データ再生制御部５０は、再生中の音データの再生をそのまま継続する。

ステップＳ８９では、音データ再生制御部５０は、自動再生停止中か否かを識別する。停止中であればステップＳ９２に進み、停止中でなければステップＳ９０に進む。

ステップＳ９０では、音データ再生制御部５０は、ページ飛ばしの状態（読者がぱらぱらとページを連続的にめくっている状態）であると判定する。そして、音データ再生制御部５０は、再生中の音データがあれば、その再生を停止する。この場合、読者が読んでいた位置（推定した注目位置）の記録は不要なので省略される。

ステップＳ９１では、音データ再生制御部５０は、注目位置推定部４０による注目位置の推定動作を停止する。これにより、「自動再生停止中」になる。

ステップＳ９２では、音データ再生制御部５０は、今回のページめくりにより開いたページが、ステップＳ８４で記録したページ（前に読んでいたページ）と一致するか否かを識別する。一致する場合はステップＳ９３に進み、一致しない場合はステップＳ９４に進む。

ステップＳ９３では、音データ再生制御部５０は、ステップＳ８４で位置記憶部９０に記録した情報に基づき、前に読んでいたページ内の読んでいた位置から、注目位置推定部４０の位置の推定を再開する。また、その位置で音データの再生を行っていた場合には、該当する音データの再生も再開する。

ステップＳ９４では、音データ再生制御部５０は、次のページめくりの操作を待つ。

入力部８０に対する読者の入力操作により、再生（表示）するページを現在の前のページに移動するための指示、すなわち「ページ戻し」が発生すると、図１３のステップＳ１０１以降の処理を実施する。

まず、ステップＳ１０１では、音データ再生制御部５０は、音データの再生を実行している場合に該当する音データの種別をチェックする。そして「背景音」、「効果音」のいずれかを再生中の場合にはステップＳ１０２に進み、「背景音」、「効果音」のいずれも再生中でなければステップＳ１０４に進む。

ステップＳ１０２では、音データ再生制御部５０は、再生中の「背景音」又は「効果音」の再生開始位置が存在するページに今回の「ページ戻し」により到達したか否かを識別する。到達した場合はステップＳ１０３に進み、到達していない場合はステップＳ１０４に進む。

ステップＳ１０３では、音データ再生制御部５０は、再生中の「背景音」又は「効果音」に関する再生（鳴動）動作を直ちに停止する。

ステップＳ１０４では、音データ再生制御部５０は、音データの再生を実行している場合に該当する音データの種別をチェックし、それが「セリフ」である場合にはこの音データの再生を停止する。

このように、ページめくりやページ戻しが発生した場合には、再生中の音データの種別毎に異なる条件で音データの再生を停止することで、ページ変更後の場面に適した音データの再生を行うことができる。

つまり、図１に示した電子書籍装置１００においては、音データ再生形態決定部を含む音データ再生制御部５０が、音データの再生形態を、音データの種別、すなわち「背景音」、「効果音」、「セリフ」、「本文の朗読用音声」の区分に応じて決定し、注目位置推定部４０により推定された注目位置の文章データに対応する音データを、決定された再生形態で再生するよう制御する。

従って、電子書籍装置１００は、音データの種別毎に最適な条件で音を再生することができ、電子書籍の著作者は、様々な状況において複数種類の音データを使い分けることにより、音を用いて意図している状況を豊かに表現することができる。

つまり、表１に示したように、音データの種別に合わせて停止制御を行うことにより、場面の状況と一致しない音が出力されるのを防ぐことができる。また、音の再生中に、音データの種別に合わせて注目位置の推定動作を一時停止したり推定動作を再開したりすることにより、読者が実際に注目する位置と推定した位置との誤差が小さくなる。また、複数の音の重畳を行うか否かを音データの種別に応じて決定することにより、複数の音データを同時に再生する場合でも場面の状況に適した音を出力することができる。更に、音データの種別に応じて音量を調整することにより、セリフの内容を聞き取りやすくしたり、場面の状況に適した音量で音を出力することが可能になる。また、読者のページめくりやページ戻しの操作に対して、音データを再生している時には、音データの種別に応じて停止位置等を制御することにより、場面の状況と一致しない音が出力されるのを防ぐことができる。

本発明は、著者が意図するよう表現力豊かに音データを再生することが可能な電子書籍装置、電子書籍方法、及び電子書籍プログラムに有用である。

１０ 文章データ記憶部
２０ 音データ記憶部
２５ データ通信部
３０ 文章・音データ解析部
４０ 注目位置推定部
４５ 時計部
５０ 音データ再生制御部
６０ ページ切り替え処理部
７０ 出力部
８０ 入力部
９０ 位置記憶部
１００ 電子書籍装置

Claims (11)

1. 文章を構成する文字列の情報を含む本文データと、前記本文データに対応する音データと、を含む電子書籍のデータを読み込んで再生する電子書籍装置であって、
   前記本文データ中の注目位置を推定する注目位置推定部と、
   前記音データの種別として、背景音、効果音、台詞の音声、本文の朗読用音声のうち少なくとも１種類を認識し、更に前記音データの種別に基づいて、前記音データの再生停止条件、再生繰り返し回数、再生音量、前記注目位置の推定への音データ再生の影響の少なくとも１つを含む再生形態を決定する音データ再生形態決定部と、
   前記注目位置推定部により推定された注目位置の前記本文データに対応する前記音データを、前記音データ再生形態決定部により決定された再生形態で再生するよう制御する音データ再生制御部と、を備え、
   前記音データ再生形態決定部は、前記音データが対応する前記本文データの文字数に基づく読書時間と前記音データの再生時間とに基づいて、前記音データが背景音および効果音のいずれであるかを判定する電子書籍装置。
2. 文章を構成する文字列の情報を含む本文データと、前記本文データに対応する音データと、を含む電子書籍のデータを読み込んで再生する電子書籍装置であって、
   前記本文データ中の注目位置を推定する注目位置推定部と、
   前記音データの種別として、背景音、効果音、台詞の音声、本文の朗読用音声のうち少なくとも１種類を認識し、更に前記音データの種別に基づいて、前記音データの再生停止条件、再生繰り返し回数、再生音量、前記注目位置の推定への音データ再生の影響の少なくとも１つを含む再生形態を決定する音データ再生形態決定部と、
   前記注目位置推定部により推定された注目位置の前記本文データに対応する前記音データを、前記音データ再生形態決定部により決定された再生形態で再生するよう制御する音データ再生制御部と、を備え、
   前記音データ再生制御部は、前記注目位置推定部により推定された注目位置の前記本文データに対応する前記音データが背景音であり、管理テーブルに前記注目位置の推定を停止する旨が記憶されている場合、前記注目位置推定部による前記注目位置の推定を中断させる電子書籍装置。
3. 文章を構成する文字列の情報を含む本文データと、前記本文データに対応する音データと、を含む電子書籍のデータを読み込んで再生する電子書籍装置であって、
   前記本文データ中の注目位置を推定する注目位置推定部と、
   前記音データの種別として、背景音、効果音、台詞の音声、本文の朗読用音声のうち少なくとも１種類を認識し、更に前記音データの種別に基づいて、前記音データの再生停止条件、再生繰り返し回数、再生音量、前記注目位置の推定への音データ再生の影響の少なくとも１つを含む再生形態を決定する音データ再生形態決定部と、
   前記注目位置推定部により推定された注目位置の前記本文データに対応する前記音データを、前記音データ再生形態決定部により決定された再生形態で再生するよう制御する音データ再生制御部と、を備え、
   前記音データ再生制御部は、前記注目位置推定部により推定された注目位置の前記本文データに対応する前記音データが台詞である場合、前記注目位置推定部による前記注目位置の推定を中断させる電子書籍装置。
4. 請求項１−３のいずれか１項に記載の電子書籍装置であって、
   前記音データ再生形態決定部は、前記音データが対応する前記本文データに引用符号を示す文字が含まれている場合、前記音データは台詞の音声であると判定する電子書籍装置。
5. 請求項１−３のいずれか１項に記載の電子書籍装置であって、
   前記音データ再生形態決定部は、前記音データが対応する前記本文データに擬声語が含まれている場合、前記音データが効果音であると判定する電子書籍装置。
6. 請求項１−３のいずれか１項に記載の電子書籍装置であって、
   前記音データ再生制御部は、前記注目位置推定部により推定された同一の注目位置に対応する前記音データが複数割り当てられている場合には、複数の前記音データのうち優先順位の低い種別の音データの再生を制限する電子書籍装置。
7. 請求項１−３のいずれか１項に記載の電子書籍装置であって、
   前記音データ再生制御部は、ページめくり指示を受け付けた場合、再生中の前記音データの種別に基づく異なる条件で、前記音データの再生を停止する電子書籍装置。
8. 請求項１−３のいずれか１項に記載の電子書籍装置であって、更に
   外部装置から前記音データを受信するデータ通信部を備える電子書籍装置。
9. 文章を構成する文字列の情報を含む本文データと、前記本文データに対応する音データと、を含む電子書籍のデータを読み込んで再生する電子書籍装置における電子書籍再生方法であって、
   前記本文データ中の注目位置を推定する注目位置推定ステップと、
   前記音データの種別として、背景音、効果音、台詞の音声、本文の朗読用音声のうち少なくとも１種類を認識し、更に前記音データの種別に基づいて、前記音データの再生停止条件、再生繰り返し回数、再生音量、前記注目位置の推定への音データ再生の影響の少なくとも１つを含む再生形態を決定する音データ再生形態決定ステップと、
   前記推定された注目位置の前記本文データに対応する前記音データを、前記音データ再生形態決定部により決定された再生形態で再生するよう制御する音データ再生制御ステップと、有し、
   前記音データ再生形態決定ステップでは、前記音データが対応する前記本文データの文字数に基づく読書時間と前記音データの再生時間とに基づいて、前記音データが背景音および効果音のいずれであるかを判定する電子書籍再生方法。
10. 文章を構成する文字列の情報を含む本文データと、前記本文データに対応する音データと、を含む電子書籍のデータを読み込んで再生する電子書籍装置における電子書籍再生方法であって、
    前記本文データ中の注目位置を推定する注目位置推定ステップと、
    前記音データの種別として、背景音、効果音、台詞の音声、本文の朗読用音声のうち少なくとも１種類を認識し、更に前記音データの種別に基づいて、前記音データの再生停止条件、再生繰り返し回数、再生音量、前記注目位置の推定への音データ再生の影響の少なくとも１つを含む再生形態を決定する音データ再生形態決定ステップと、
    前記推定された注目位置の前記本文データに対応する前記音データを、前記音データ再生形態決定部により決定された再生形態で再生するよう制御する音データ再生制御ステップと、有し、
    前記音データ再生制御ステップでは、前記注目位置推定部により推定された注目位置の前記本文データに対応する前記音データが背景音であり、管理テーブルに前記注目位置の推定を停止する旨が記憶されている場合、前記注目位置推定部による前記注目位置の推定を中断させる電子書籍再生方法。
11. 文章を構成する文字列の情報を含む本文データと、前記本文データに対応する音データと、を含む電子書籍のデータを読み込んで再生する電子書籍装置における電子書籍再生方法であって、
    前記本文データ中の注目位置を推定する注目位置推定ステップと、
    前記音データの種別として、背景音、効果音、台詞の音声、本文の朗読用音声のうち少なくとも１種類を認識し、更に前記音データの種別に基づいて、前記音データの再生停止条件、再生繰り返し回数、再生音量、前記注目位置の推定への音データ再生の影響の少なくとも１つを含む再生形態を決定する音データ再生形態決定ステップと、
    前記推定された注目位置の前記本文データに対応する前記音データを、前記音データ再生形態決定部により決定された再生形態で再生するよう制御する音データ再生制御ステップと、有し、
    前記音データ再生制御ステップでは、前記注目位置推定部により推定された注目位置の前記本文データに対応する前記音データが台詞である場合、前記注目位置推定部による前記注目位置の推定を中断させる電子書籍再生方法。

Images