JP5634853B2 - 電子コミックのビューワ装置、電子コミックの閲覧システム、ビューワプログラム、ならびに電子コミックの表示方法 - Google Patents

Description

本発明は、マンガ、新聞、雑誌、書類、教科書、参考書などの紙ベースのコンテンツを電子化した各種のコンテンツを表示する装置、方法およびプログラムに関する。

近年の情報技術革新に伴い、雑誌やコミックなどの紙にプリントされることを前提とした書籍をデジタル化し、iPadやKindleなどの専用の電子書籍ビューワで視聴するという情報配信形態が確立されてきた。

特許文献１によると、コマの特性をスコア化し、それに合わせてズームパンなどの演出を加える。

特許文献２によると、携帯で音声広告の読み上げ音質を変える。

特許文献３によると、書誌情報に関連する曲内容情報を抽出し、曲を流す。

特許文献４によると、漫画に対するイベント（音声再生動作、振動など）を発生する。叫んでいる場合、効果音を例であげれば、音が高い、大きい、長いなど、フキダシ形状に合わせた音声再生が行われる。

特許文献５によると、タッチ部分のテキストを音声出力する。

特許文献６によると、登場人物毎に異なる声質の音声で再生したり、ユーザ好みの声質の音声で再生する。また、現在の音声再生部分を色で表示する。

特許文献７によると、吹き出し文字を音声へ変換する。

特開2007-037057号公報 特開2006-048663号公報 特開2010-068044号公報 特開2007-241942号公報 特開2007-102360号公報 特開2005-321706号公報 特開2004-194002号公報

コミックでは、各コマの背景の雰囲気やキャラクタの精神状態など擬音や吹き出し形状で表現することがよく行われている。これらの属性に従って音を再生するとコミックの興趣性も向上すると思われるが、いずれの従来技術も、コミックに画として描かれた効果音に関連する再生に言及していない。例えば、特許文献３の単なるＢＧＭの再生は、コミックの画の擬音とは関係ない。

本発明は、コミック内に描かれた擬音を再生する電子コミックビューワおよびその方法を提供する。

本発明は、表示手段と、コミックのページ毎又はコマ毎の画像と、コミックの登場人物の台詞が入る吹き出しの領域以外に描画されている擬音を示す文字に対応する第１のテキスト情報であって、画像に関連づけられた第１のテキスト情報と、ページ毎又はコマ毎の画像を表示手段の画面上でスクロール再生又はコマ再生による閲覧を可能にするための表示制御情報とを含む電子コミックの情報を取得する情報取得手段と、取得した表示制御情報に基づいてページ毎又はコマ毎の画像を表示手段の画面にスクロール再生又はコマ再生させる画像表示制御手段と、表示手段に画像が表示された際に、該画像に関連づけられた第１のテキスト情報に基づいて擬音を発生させる擬音発生手段と、を備えたことを特徴とする電子コミックのビューワ装置を提供する。

第１のテキスト情報は、擬音をそのまま文字にした情報、又は擬音を説明する情報であり、擬音発生手段は、第１のテキスト情報に基づいて擬音を音声合成し、又は擬音に対応した効果音を選択して擬音を発生させることを特徴とする。

第１のテキスト情報は、擬音の発生タイミング、又は擬音の繰り返し回数を示す情報を含み、擬音発生手段は、擬音の発生タイミング、又は擬音の繰り返し回数を示す情報に基づいて擬音の発生を制御することを特徴とする。

情報取得手段により取得される電子コミックの情報は、吹き出しに入る台詞を示す第２のテキスト情報であって、画像及び該画像内での台詞の順番に関連づけられた第２のテキスト情報と、第２のテキスト情報毎に関連づけられたコミックに登場する登場人物の属性情報とを含み、第２のテキスト情報に関連づけられた登場人物の属性情報に基づいて複数の合成音声の音質のうちから属性情報に対応する音質を選択する音質選択手段と、表示手段に画像が表示された際に、画像及び該画像内での台詞の順番に関連づけられた第２のテキスト情報に基づいて該第２のテキスト情報に対応する台詞を、音質選択手段により選択された音質の合成音声により自動的に読み上げる自動読み上げ手段と、を備えたことを特徴とする。

登場人物の属性情報は、コミックに登場する登場人物を識別するための識別情報と、登場人物の性別及び年齢のうちの少なくとも一方の情報とを含むことを特徴とする。

情報取得手段により取得される電子コミックの情報は、第２のテキスト情報毎に関連づけられ、該第２のテキスト情報に対応する台詞の読み上げ時の読み上げ速度及び音量のうちの少なくとも１つを含む自動読み上げの属性情報を含み、自動読み上げ手段は、第２のテキスト情報による読み上げ時に、該第２のテキスト情報に関連づけられた自動読み上げの属性情報に基づいて台詞の読み上げ速度及び音量のうちの少なくとも１つを制御して読み上げることを特徴とする。

情報取得手段により取得される電子コミックの情報は、吹き出しの画像内の領域を示す吹き出し領域の情報を含む吹き出し情報を含み、表示手段の画面に表示される画像中の吹き出し領域内の台詞に替えて、吹き出し情報及び第２のテキスト情報に基づいて第２のテキスト情報から生成した文字を表示させる文字表示制御手段と、を備え、文字表示制御手段は、自動読み上げ手段により現在読み上げている台詞に対応する文字を、他の吹き出しの台詞の文字と識別可能に表示させることを特徴とする。

第２のテキスト情報は、吹き出し内の原文の台詞を所定の言語に翻訳した翻訳文を示すテキスト情報であることを特徴とする。

情報取得手段により取得される電子コミックの情報は、吹き出しの画像内の領域を示す吹き出し領域の情報を含む吹き出し情報を含み、表示手段の画面に表示される画像中の吹き出し領域に、その吹き出し領域に対応する翻訳文の全文が予め設定された文字サイズで入るか否かを判別する判別手段と、吹き出し情報及び第２のテキスト情報に基づいて表示手段の画面に表示される画像中の吹き出し領域内の原文の台詞に替えて翻訳文を表示させる翻訳文表示制御手段であって、判別手段により翻訳文の全文が入ると判別されると、吹き出し領域内に翻訳文の全文を表示させ、判別手段により翻訳文の全文が入らないと判別されると、吹き出し領域内で翻訳文をスクロールさせる翻訳文表示制御手段と、を備えたことを特徴とする。

翻訳文表示制御手段は、判別手段により翻訳文の全文が入らないと判別されると、自動読み上げ手段により現在読み上げている台詞に対応する翻訳文のみをスクロールさせることを特徴とする。

本発明は、上記のビューワ装置の機能を含むユーザ端末と、ユーザ端末からの要求に応じて電子コミックの情報を提供するサーバと、からなる電子コミックの閲覧システムを含む。

本発明は、上記のビューワ装置を実現させるビューワプログラムを含む。

本発明は、上記のビューワプログラムが記録された記録媒体を含む。

本発明によると、電子コミックの進行に応じたスクロール再生またはコマ再生に連動した、擬音の再生が可能となる。

コンテンツ再生システムの概略構成図 コンテンツファイルの概念説明図 吹き出しの形状に関する情報の一例を示す図 配信処理のフローチャート 表示処理（スクロールビュー）のフローチャート 表示処理（コマビュー）のフローチャート セリフ処理のフローチャート 吹き出し内のテキスト情報（横）の表示の一例を示す図 吹き出し内のテキスト情報（縦）の表示の一例を示す図 表示中の詳細画像に対応する音声再生に関する情報の一例を示す図 吹き出し内のテキスト情報の表示の他の例（１行スクロール）を示す図 吹き出し内のテキスト情報の表示の他の例（らせん状スクロール）を示す図 吹き出し内のテキスト情報の表示の他の例（複数行スクロール）を示す図 吹き出し内のテキスト情報の表示の他の例（吹き出しの形状に合わせたらせん状スクロール）を示す図

＜第１実施形態＞
図１は本発明の好ましい実施形態に係るコンテンツ配信システムの構成を示す。このシステムは、サーバ１と電子書籍ビューワ２とを含む。サーバ１は、演算装置（ＣＰＵ）、記憶装置、入出力回路などを備えたコンピュータ（情報処理装置）で構成される。

電子書籍ビューワ２は、画像を再生可能な表示手段、通信手段、演算装置（ＣＰＵ）、記憶装置、入出力回路、操作手段、音声を再生可能な音声再生手段などを備えた情報端末であり、例えば、スマートフォンやタブレット型コンピュータで構成される。なお、サーバ１にアクセスする電子書籍ビューワ２は不特定多数であってもよいものとする。

具体的には、サーバ１は、ページ情報解析部１０、データベース（ＤＢ）１１、操作部１６、入出力部１７を備える。

ページ情報解析部１０は、ＣＰＵなどの情報処理装置で構成される。ＤＢ１１は、ハードディスクやメモリなどの記憶媒体で構成される。操作部１６は、キーボード、マウス、タッチパッドなどの操作手段である。

ＤＢ１１は、ページ番号に対応づけられたコンテンツ画像とその付帯情報を所定のファイル形式で格納するコンテンツファイルを蓄積する。コンテンツ画像は、スキャナーなどでオリジナルコンテンツを電子データ化したものである。オリジナルコンテンツは、マンガ、新聞、週刊誌の記事、オフィス文書（プレゼンテーション文書など）、教科書、参考書など、ページ単位で組まれている。また、オリジナルコンテンツ画像はページ番号と対応づけられている。

コンテンツ画像とその付帯情報の保存形式は任意であり、ＸＭＬファイルなどで保存される。オリジナルコンテンツ画像には付帯情報が記録されていてもよい。この付帯情報は、コンテンツの作者、タイトル、総ページ数、巻の番号、エピソードの番号、版権者（出版社）などが含まれうる。

コンテンツ画像は、概略画像、詳細画像（高解像度データ）を含み、それぞれ、ページ、コマあるいはアンカーポイントごとに用意される。

コンテンツ画像に付帯する付帯情報は、操作部１６から入力された情報、ページ情報解析部１０の解析結果の情報、あるいは、入出力部１７を経由して入力された情報を含む。

図２はコンテンツファイルの概念説明図である。コンテンツファイルは、ページごとの概略画像と当該ページ内の各アンカーポイントに対応する詳細画像を含むスクロールビュー用のコンテンツファイルと、ページごとの概略画像とコマごとの詳細画像を含むコマビュー用のコンテンツファイルの双方を含む。本例では、電子コミック情報を、ひとつのファイルで構成しているが、コンテンツ画像と付帯情報とを異なるファイルに分けて格納し、複数ファイルで構成してもよい。

ヘッダは、ファイルの属性（ファイル名など）を示す。

付帯情報は、検索タグ情報、吹き出し情報、テキスト情報、登場人物の情報、表示制御情報、自動読み上げの属性情報、再生エフェクト情報、ページ情報、その他情報によって構成されている。

検索タグ情報。検索タグ情報は、検索に用いるタグ情報である。例えば、ページ番号（ページ識別情報）、コマ番号（コマ識別情報）、エピソード番号（エピソード識別情報、例えば第何話であるかを示す）、タイトル、作者、出版社（版権者）、総ページ数などの情報を含んでいてもよい。

吹き出し情報。吹き出し情報は、ページ単位（又はコマ単位）のコンテンツ画像中の吹き出しに関する情報である。例えば、吹き出しのコンテンツ画像内での存在領域を示す吹き出し領域情報、吹き出しの形状、吹き出しの起点（吹き出しの頂点）の位置と向き、吹き出しの描線の属性（点線、実線など）、コンテンツ画像の要素（話者など）と吹き出しの起点との相対的位置関係（例えば吹き出しの頂点と吹き出しの頂点が指し示す話者の顔と最小間隔）、吹き出しのサイズ、吹き出しの話者の識別情報、吹き出しの属するコマなどである。吹き出し領域情報は、例えば、吹き出しの描線（枠線）のコンテンツ画像内での位置を示す情報（例えば描線上の吹き出し形状に対応する複数点の位置情報、あるいは描線全体のベクトル情報）である。吹き出し領域情報は、吹き出しの全領域（範囲）を示すビットマップ情報でもよい。また、吹き出しの特定位置（中心位置）と吹き出しのサイズによって吹き出し領域情報を表してもよい。例えば、図３（Ａ）〜（Ｄ）のような４つの吹き出し種類があれば、その各々に対応する識別情報Ａ〜Ｄを吹き出しの描線の属性として記憶する。

テキスト情報。テキスト情報は、コンテンツ画像内のテキストに関する情報である。例えば、各コマおよび各吹き出しに対応する、テキスト（文章）、文字属性情報、行数、行間隔、文字間隔、表示切り替え方法、使用言語、縦書き／横書き、読み方向の区別などである。文字属性情報には、文字サイズ（ポイント数など）、文字種別（フォント、強調文字など）がある。テキスト情報には、吹き出し内の話者の台詞が含まれる。また、吹き出し内に配置された原文の台詞に対応する各種言語の翻訳文とその使用言語（２以上の言語の翻訳文でもよい）も、このテキスト情報に含まれうる。また、吹き出し外に配置されたテキスト（ナレーション、擬音を示す文字列など）やその翻訳文とそのテキストの属性（文字サイズ、フォント、文字装飾など）と、それらの音声読み上げ属性（ボリューム、スピード、繰り返し回数、開始／停止タイミングなど）、このテキスト情報に含まれうる。表示切り替え方法には、スクロールスピード、スクロール方向、スクロールの開始、終了、一時停止、繰り返しの方法などのスクロール方法を含みうる。

登場人物の情報。登場人物の情報は、吹き出しの台詞の話者に関する情報である。例えば、話者（登場人物）のコンテンツ画像（概略画像および詳細画像）内での存在領域を示す話者領域情報（顔領域情報など）、話者の識別情報（名称など）、話者の属性（性別、年齢など）。なお、話者とは、吹き出しのセリフ（台詞）の発生源を意味し、人間だけでなく、動物、電話、パソコン、電子機器、ロボットなどの非生物が発するセリフも含む。

表示制御情報は、ページ単位又はコマ単位の表示制御に関する情報である。この情報は、画面スクロールおよび／または画面切り替えを含む。画面スクロールの情報は、詳細情報として、スクロールスピード、スクロール方向、スクロール順、スクロールの開始、終了、一時停止、繰り返しの方法などを含みうる。画面切り替えの情報は、詳細情報として、切り替え単位（コマなど）、切り替えタイミングの決定方法（手動、自動、半自動）、切り替えに付随する表示効果（ワイプ、フェードイン／フェードアウト、ディゾルブ）などを含みうる。

自動読み上げの属性情報。例えば、読み上げ速度、音量、話者の感情など。

表示制御情報は再生シナリオを含む。再生シナリオは、コンテンツ画像の部分的な表示領域の単位となる詳細画像の拡大率、前のアンカーポイントに対応する詳細画像から次のアンカーポイントに対応する詳細画像への表示切り替えの速度および表示切り替え方法（スクロール、フェードアウト／フェードインなど）、各アンカーポイントまたは各コマでの視線の停止時間すなわち各アンカーポイントに対応する詳細画像の表示時間の長さである滞在時間、コンテンツ内の概観画像および詳細画像の位置づけ（ページ、セクション）、アンカーポイントの遷移順、見出し情報などを含む。アンカーポイントは、１ページごとの画像の部分領域（典型的にはコマかコマの一部）の視線の止まる位置（アイストップ）である。

再生シナリオは、各アンカーポイントに対応する詳細画像のテキスト量に適合するような滞在時間を含む。各アンカーポイント周辺での詳細画像のテキスト量が大きければそれだけ一画面内の情報量が多くなるので、その分再生シナリオでは滞在時間が長く設定されている。

あるいは、各アンカーポイントでの詳細画像の拡大率をサーバ１にアクセスしてきた電子書籍ビューワ２か、機種ごとの画面サイズに適合するような機種ごとの滞在時間を再生シナリオに設定する。

あるいは、アンカーポイント間の表示切り替えの速度を再生シナリオに設定する。この速度は、再生状態情報として取得した、サーバ１にアクセスしてきた電子書籍ビューワ２のユーザに対応する過去の閲覧のスピードから決定してもよいし、同一の再生コンテンツを再生した複数の電子書籍ビューワ２から再生状態情報として取得した過去の閲覧のスピードを所定の算術式（平均など）に適用することで決定してもよい。

表示切り替え方法は、電子書籍ビューワ２のユーザによる操作部２７への指示に応じて決定されてもよいし、所定のデフォルトの切り替え方法としてもよいし、コンテンツ解析情報に基づいて設定されてもよい。例えば、あるコマａのコンテンツ内のキャラクタの視線方向の移動先がアンカーポイントの移動方向の先であるコマｂと一致するならば、コマａからコマｂへの表示切り替え方法をスクロールに設定する。

読み上げ音声に関する情報。例えば、読み上げ音声の内容、開始タイミング／終了タイミング、読み上げスピード、読み上げ音声ボリューム、読み上げ話者属性（性別、年齢など）。読み上げ音声の内容は、録音音声でもよいし、人工音声でもよい。読み上げ音声の内容が人工音声の場合は、これを吹き出しおよび／または付随音声の内容と共通化できる。

ページ情報。例えば、左開き／右開き、改行方向（縦書きの場合）。

付随音声に関する情報。例えば、擬音や効果音の内容（擬音を説明するテキスト情報か音声情報）、出現回数、出現コマ、ボリューム、開始タイミング／終了タイミング、繰り返し回数、スピード、音量、擬音はページ情報解析部１０によりコンテンツ画像から取得されたものでもよいし入出力部１７などから入力されたものでもよい。例えば、吹き出しに入っていない文字情報が擬音の内容となる。擬音に対応する各種言語の翻訳文も、この情報に含まれうる。

再生エフェクトに関する情報。例えば、端末振動、画面を揺らす、画面フラッシュ、画面切り替えといったエフェクトの種類と開始タイミング。

画面拡大などのレイアウト変更の可否を示す変更可否情報。

その他の情報。例えば、ページ余白の領域とその領域に配置する広告データ。その他の情報に含まれる変更可否情報は、レイアウト変更の可否など、オリジナルコンテンツからの改変の可否を示す設定情報である。例えば、翻訳文表示、吹き出し拡大、吹き出し形状変更、画像変更、台詞や擬音の音声読み上げ、ページ全体の左右反転などの可否を示す。なお、改変項目ごとに独立に改変の可否を設定可能である。例えば、翻訳文表示は許可するが、ページ全体の左右反転は禁止するといった設定が可能である。スクロール再生（スクロールビュー）は許可するが、コマ再生（コマビュー）は禁止するといった設定も可能である。あるいはその他の情報は、ページめくりに関する情報（たとえば、左開き／右開き）、改行方向（縦書きの場合）などのページ情報を含む。

ページ情報解析部１０は、ＤＢ１１に蓄積されたコンテンツ画像を解析する。解析の結果取得できた情報は、付帯情報となる。例えば、ページ解析結果に関する情報は、ページごとのコンテンツの要素（コマ、描画、描画内の登場キャラクタの種類、吹き出し、セリフ、テキスト、表、図など）のレイアウト、コンテンツの要素の読み順、キャラクタの特徴（キャラクタ名、キャラクタの視線方向、キャラクタのサイズ、位置など）、セリフなどのテキストの内容、位置、量（文字数）、ページ／セクション／章などの区切りなどを含む。

ページ情報解析部１０によるページ情報の解析および取得のためには、公知の画像解析技術、テキスト解析技術が使用される。例えば、顔、動物、建築物、自動車その他の物体のコンテンツの要素の位置、サイズ、種類は、それらの画像情報に関する特徴量に基づき自動検出されてもよい。コンテンツの要素の自動検出はマシンラーニングに基づいて行われてもよい。例えば、学習用のサンプルマンガに基づき、コマや吹き出しの外縁の検出確度、矩形以外の領域のコマや吹き出しとしての妥当性の判断閾値などを経験的に設定する。

あるいは、ＯＣＲにより、吹き出し内部のテキスト文章（セリフ）を認識し、それを囲む領域をセリフ領域と認識してもよい。読み出されたセリフの各文字は、文字の向きに応じてソートされる。例えば、セリフが縦書きなら列の先頭から最後尾にかけてソートされ、かつ右の列から左の列にかけてソートされる。

コマ番号またはセリフ番号は、所定のルールに従って決定される。例えば、コンテンツの種類がマンガの場合、コンテンツ解析情報に含まれるコマまたは吹き出しの位置が最も右上のものから最も左下のものにかけて各コマまたは吹き出しの代表点（コマまたは吹き出しの中心や重心など）を順次水平方向に走査することでページ番号またはセリフ番号が決定される。

各コマの代表点は、１ページごとのコンテンツの要素の視線の止まる位置（アンカーポイント）となり、そのアンカーポイントを起点に、コンテンツの表示単位がスクロールや切り替えによって切り替わる。

あるいは、図示は省略するが、コンテンツの作者に応じたルールに従ってページ番号またはセリフ番号が決定されることもできる。

あるいは、コンテンツ解析ルールは、コンテンツの作者や種類に応じた規定のルールだけでなく、人工知能により学習されたコンテンツの作者や種類に応じたルールでもよい。

ルール学習は、例えば次のように行う。まず、複数の基本パターンについてそれぞれ正解ルールを予め用意しておく。ページ情報解析部１０は、複数の基本パターンについてそれぞれ特徴量（コマ境界線の太さや長さなど）を抽出する。そしてページ情報解析部１０は、抽出された特徴量から、コンテンツ作成者の想定しているコマの読み進み順を推定する。ページ情報解析部１０は、基本パターンごとに推定した読み進み順と正解ルールとを比較して、コマの読み進み順を推定するパラメータを最適化する。ページ情報解析部１０は、この最適化されたパラメータに従ってマンガのコマの読み順を推定する。

説明の簡略のため、オリジナルコンテンツはマンガであり、オリジナルコンテンツ画像は、マンガの各ページに対応する画像であるとする。マンガとは、絵（実写、描画を問わない）とセリフの双方からなるコンテンツである。

再び図１を参照すると、電子書籍ビューワ２はスマートフォン、タブレットコンピュータなどの携帯型情報端末で構成され、画像を再生可能な表示手段、通信手段、操作検知手段、音声再生手段、情報処理装置などを備えている。

具体的には、電子書籍ビューワ２は、データベース（ＤＢ）２１、表示部２４、コンテンツ表示制御部２５、音声再生部２６、操作部２７、スピーカ２８、入出力部２９を備える。

表示部２４は、ＬＣＤなどの表示装置で構成される表示手段である。操作部２７は、タッチパネルなどで構成される操作検知手段である。好ましくは、操作部２７は、表示部２４に積層されており、表示部２４に対するシングルタップ、ダブルタップ、スワイプ、長押しなどの各種操作を検知できる。

音声再生部２６は、コンテンツファイルに格納された音声に関する情報（読み上げ音声に関する情報および／または付随音声に関する情報）を音声化してスピーカ２８から出力する回路である。

入出力部２９は、サーバ１の入出力部１７から出力されたコンテンツファイルを入力する手段である。典型的には、入出力部１７および入出力部２９は、通信手段であるが、コンピュータ読み取り可能な記録媒体に対する書き込み・読み出し手段であってもよい。

ＤＢ２１は、ＤＢ１１と同等の情報を格納する。すなわち、電子書籍ビューワ２が、サーバ１に電子書籍の送信を要求すると、サーバ１は、入出力部２９を介してＤＢ１１のコンテンツファイルをＤＢ２１にエクスポートし、ＤＢ２１に格納される。ただし、ＤＢ１１の情報とＤＢ２１の情報は完全に同じである必要はない。ＤＢ１１は、様々なユーザからの要求に応えるため、様々な種類のコンテンツ画像、例えば、異なる作者のマンガの各巻のコンテンツ画像を格納するライブラリである。ＤＢ２１には、電子書籍ビューワ２のユーザが閲覧したいコンテンツに関係するコンテンツファイルのみが格納されていれば足りる。

コンテンツ表示制御部２５は、表示部２４に対するコンテンツの表示制御を行う。詳細は後述する。

図４はサーバ１と電子書籍ビューワ２との間で実行される配信処理のフローチャートを示す。Ｓ１・Ｓ４は電子書籍ビューワ２が実行し、Ｓ２・Ｓ３はサーバ１が実行する。この処理をサーバ１および電子書籍ビューワ２にそれぞれ実行させるプログラムは、サーバ１および電子書籍ビューワ２にそれぞれ備えられたコンピュータ読み取り可能な記憶媒体（ＲＡＭ、ＲＯＭ、ＣＤＲＯＭなど）に記憶されている。

Ｓ１では、電子書籍ビューワ２は、入出力部２９を介して、コンテンツ要求をサーバ１に送信する。

Ｓ２では、サーバ１は、スクロールビューまたはコマビューに対応するコンテンツ要求を待機しており、入出力部１７を介して電子書籍ビューワ２からコンテンツ要求を受信すると、Ｓ３に進む。

Ｓ３では、サーバ１は、コンテンツファイルを電子書籍ビューワ２に送信する。すなわち、サーバ１は、スクロールビューに対応するコンテンツ要求があった場合は、スクロールビューに対応するコンテンツファイルを送信し、コマビューに対応するコンテンツ要求があった場合は、コマビューに対応するコンテンツファイルを送信する。

Ｓ４では、電子書籍ビューワ２は、コンテンツファイルを受信し、ＤＢ２１に格納する。そして、後述の表示処理に進む。コンテンツ画像の送信は、ページ単位あるいはコマ単位で行われてもよく、付帯情報も、送信されたコンテンツ画像の単位に対応する情報のみを送信してもよい。

図５は電子書籍ビューワ２の実行する表示処理（スクロールビュー）のフローチャートを示す。図６は電子書籍ビューワ２の実行する表示処理（コマビュー）のフローチャートを示す。図５または図６のいずれかの処理は、操作部２７からの選択に従って実行される。

図５を参照すると、Ｓ１０では、コンテンツ表示制御部２５は、ＤＢ２１のコンテンツファイルに基づき、指定されたコンテンツ画像のページの最初の順のアンカーポイントをカレントアンカーポイントに設定する。

Ｓ１１では、コンテンツ表示制御部２５は、カレントアンカーポイントを基準にして、当該ページ全体の概略画像から表示用の詳細画像を切り出し、これをカレント画像とする。詳細画像を切り出す代わりに、コンテンツファイルの詳細画像を読み出してカレント画像とすることもできる。

Ｓ１２では、コンテンツ表示制御部２５は、詳細画像を表示部２４に表示する。

Ｓ１３では、コンテンツ表示制御部２５は、ＤＢ２１のコンテンツファイルの付帯情報に基づき、カレントアンカーポイントに対応する滞在時間が経過したか否かを判断する。Ｙｅｓの場合はＳ１４に進み、Ｎｏの場合はＳ１２に戻る。

Ｓ１４では、コンテンツ表示制御部２５は、カレントアンカーポイントは、当該ページの最後のアンカーポイントであるか否かを判断する。Ｙｅｓの場合はＳ２１に進み、当該ページの表示を終了する。そして、次のページがあれば、そのページについて、Ｓ１０以降を繰り返す。Ｎｏの場合はＳ１５に進む。

Ｓ１５では、コンテンツ表示制御部２５は、カレントアンカーポイントからその次の順のアンカーポイントまでを結ぶ線分に沿って、カレントアンカーポイントを起点に所定の単位ずつ（例えば１ドットずつ）増分した位置を、仮アンカーポイントに設定する。この増分はＳ１６〜Ｓ１９のループの回数分だけ繰り返される。

Ｓ１６・Ｓ１７では、コンテンツ表示制御部２５は、当該ページ全体の画像から仮アンカーポイントを基準にして、表示用の詳細画像を切り出し、これを次の詳細画像とする。画像を切り出す代わりに、コンテンツファイルの詳細画像を用いることもできる。

Ｓ１８では、コンテンツ表示制御部２５は、現在の仮アンカーポイントに対応する詳細画像から次の仮アンカーポイントに対応する詳細画像に切り替えて表示する。この結果、画面は所定の単位ずつスクロールすることになる。

Ｓ１９では、コンテンツ表示制御部２５は、仮アンカーポイントが、カレントアンカーポイントの次のアンカーポイントに到達したか否かを判断する。Ｙｅｓの場合はＳ１２に戻り、次のアンカーポイントを新たなカレントアンカーポイントとし、そのカレントアンカーポイントに対応する詳細画像を表示する。Ｎｏの場合はＳ１６に戻り、所定の単位ずつのスクロールを継続する。

図６を参照すると、Ｓ３１では、コンテンツ表示制御部２５は、指定されたページのコンテンツ画像のコマ順序を基準にして、最初のコマをカレントコマとする。

Ｓ３２では、コンテンツ表示制御部２５は、カレントコマに対応する詳細画像をコンテンツ画像から切り出し、これをカレントコマ画像とする。詳細画像を切り出す代わりに、コンテンツファイルの詳細画像を用いることもできる。

Ｓ３３では、コンテンツ表示制御部２５は、カレントコマ画像を表示部２４に表示する。

Ｓ３４では、コンテンツ表示制御部２５は、コンテンツファイルの付帯情報に基づき、カレントコマに対応する滞在時間が経過したか否かを判断する。Ｙｅｓの場合はＳ３５に進み、Ｎｏの場合はＳ３３に戻る。

Ｓ３５では、コンテンツ表示制御部２５は、カレントコマは、当該ページの最後のコマであるか否かを判断する。Ｙｅｓの場合はＳ３６に進み、当該ページの表示を終了する。そして、次のページがあれば、そのページについて、Ｓ３１以降を繰り返す。Ｎｏの場合はＳ３７に進む。

Ｓ３７では、コンテンツ表示制御部２５は、カレントコマの次の順のコマを、新たにカレントコマに設定する。そして、Ｓ３２に戻り、カレントコマに対応する詳細画像を切り出すか、詳細画像を読み出し、これをカレントコマ画像とする。それ以降の処理は上記と同様である。

なお、Ｓ１２またはＳ３３において、画像は、操作部２７に入力される画像送り指示に従って切り替わってもよい。切り替わる単位は、アンカーポイント（Ｓ１２）かコマ（Ｓ３３）となる。また、切り替わる順序は、アンカーポイント順あるいはコマ順に従う。ただし、ユーザがページの読みとばしなどの不規則な閲覧を希望する場合もあるため、この順序を無視したコンテンツ画像の切り替わり操作が許容されてもよい。

図７は電子書籍ビューワ２の実行するセリフ処理のフローチャートを示す。この処理は、Ｓ１２またはＳ３３と並行して実行される。

Ｓ４１では、コンテンツ表示制御部２５は、ＤＢ２１のコンテンツファイルに基づき、コンテンツ画像の表示を開始する。これはＳ１２またはＳ３３と同様である。

Ｓ４２では、コンテンツ表示制御部２５は、操作部１６から、吹き出し内のセリフ表示方向として「横書き」が指示されたか、「縦書き」が指示されたかを判断する。「横書き」の指示があった場合はＳ５１に進み、「縦書き」の指示があった場合はＳ６１に進む。

Ｓ５１では、コンテンツ表示制御部２５は、表示指定のあった画像領域に対応する吹き出しの位置情報と、当該吹き出しに対応する横書きのセリフ（翻訳文）のテキスト情報に含まれるテキスト属性（サイズ、フォント、文字間隔、行間隔、行数など）と、当該吹き出しの話者である登場人物の情報を読み出す。

Ｓ５２では、コンテンツ表示制御部２５は、吹き出しの位置情報に基づき、当該吹き出し内で、テキスト属性に従い、セリフのテキスト情報を横書きに配置する。コンテンツ表示制御部２５は、テキスト属性に従った横書きの配置でテキスト情報が収まるか否かを判断し、収まらないと判断した場合は、当該吹き出し内で、テキスト情報のスクロールを開始する。スクロールの態様は任意である。例えば、図８のように、テキスト情報の文字を１行か複数行に並べ、各行の先頭の文字から末尾の文字まで順次行方向にスクロールする。スクロール方向は言語の種類に依存する。英語ならば左から右へ読むから、スクロール方向は左である。全ての文字のスクロールが終わった場合、先頭の文字からスクロールを繰り返してもよい。

Ｓ６１では、コンテンツ表示制御部２５は、表示指定のあった画像領域に対応する吹き出しの位置情報と、当該吹き出しに対応する縦書きのセリフ（原文）のテキスト情報およびテキスト属性と、当該吹き出しの話者である登場人物の情報を読み出す。

Ｓ６２では、コンテンツ表示制御部２５は、吹き出しの位置情報に基づき、当該吹き出し内で、テキスト属性に従い、セリフのテキスト情報を縦書きに配置する（図９参照）。

Ｓ７１では、音声再生部２６は、音声に関する情報に基づき、音声を再生する。

まず、音声再生部２６は、コンテンツ表示制御部２５が現在表示している詳細画像に対応するセリフと、セリフに対応する音声と、そのセリフの属するコマに対応する付随音声を判断し、音声再生に関する情報（テキスト情報、登場人物の属性情報、自動読み上げの属性情報、擬音）を付帯情報から取得する。

図１０は、表示中の詳細画像（アンカーポイント３）に対応する音声再生に関する情報の一例を示す。

音声再生部２６は、音声再生に関する情報から、セリフ音声の属性を識別し、その属性に応じた音声を、スピーカ２８から出力する。例えば、属性が、セリフ話者の年齢＝１５、セリフ話者の性別＝女を示していれば、音声再生部２６は、予め定められた十代前半の女性の音声の属性でセリフ音声を合成し、スピーカ２８から出力する。

話者に重要性がない（１回限りで登場するなど）、話者に個性がないなどの理由で、セリフ音声の属性がない場合は、デフォルトの属性でセリフ音声を合成する。

また、読み上げボリュームや読み上げスピードなどの属性がない場合は、対応するセリフの配置される吹き出しの属性や、セリフの属性に基づいてセリフ音声を合成する。

例えば、吹き出しの種類が、図３（Ｂ）のような大声のセリフを表す場合、音声再生部２６は、当該セリフの読み上げボリュームを「大」とする。あるいは、吹き出しの種類が、図３（Ｃ）のような想像または回想のセリフを表す場合、音声再生部２６は、当該セリフの読み上げボリュームを「小」とする。あるいは、吹き出しの種類が、図３（Ｂ）・図３（Ｃ）以外の場合、音声再生部２６は、当該セリフの読み上げボリュームを「中」とする。

あるいは、セリフの文字が強調文字や「！」マークを含む場合、音声再生部２６は、当該セリフの読み上げボリュームを「大」とする。

あるいは、セリフの文字間隔が「大」である場合、音声再生部２６は、当該セリフの読み上げスピードを「スロー」とし、セリフの文字間隔が「小」である場合、音声再生部２６は、当該セリフの読み上げスピードを「クイック」とする。

ここで、音声再生部２６は、吹き出しに配置するセリフの言語と同一の言語で音声化する。ただし、音声再生部２６は、吹き出しの言語とは異なる言語の指定が操作部２７からあれば、その言語で音声化する。

音声再生部２６は、取得した付帯情報に基づき、付随音声を再生する。吹き出しのセリフの表示開始／終了と当該吹き出しのセリフの読み上げの開始／終了は同期する。例えば、吹き出しに関する情報に吹き出しの読み順が含まれていれば、その順に沿って吹き出し内のセリフが読み上げられる。この際、制御部２５は、読み上げられているセリフの再生に同期して、セリフ文字に視覚的効果を付与することもできる。例えば、セリフ文字への視覚的効果として、読み上げられているセリフの個々の文字をハイライトしたり、アンダーライン・傍点・着色などの装飾を付与したり、読み上げられているセリフ部分のみをスクロールで示したり、読み上げられていないセリフの個々の文字をグレーアウトしたり、読み上げられたセリフはフェードアウトさせるなどが挙げられる。

付随音声に関する情報で、付随音声の開始／終了タイミングや繰り返し回数が指定されている場合、付随音声はそれに従って再生される。そのような指定がない場合、吹き出しのセリフの読み上げの開始／終了と、当該吹き出しの属するコマの付随音声の開始／終了も同期する。例えば、バックグラウンドの文字「わー」といった文字がある場合は、その文字が含まれている詳細画像の表示開始から終了まで、対応する歓声が再生される。

音声再生部２６は、同一の付随音声が複数のコマに渡って配置されている場合は、それらのコマの表示開始から終了までの間、当該付随音声を繰り返すなどして継続的に再生する。

このように、本願のコンテンツファイルが電子書籍ビューワ２に提供されることにより、電子書籍ビューワ２は、セリフの言語に応じたセリフ配置、スクロール、セリフの音声再生、擬音や効果音の再生が可能となる。

＜第２実施形態＞
第１実施形態の表示処理のＳ５２における吹き出し内のテキスト情報のスクロールのさせ方は、各種のものが採用できる。例えば、図１１のように、テキスト情報を１行でスクロールさせる。あるいは、図１２のように、１行目のテキストを左方向にスクロールさせるともに、そのスクロールで生じた１行目の空白に、２行目以下のテキスト情報を繰り上げるらせん状スクロールをさせる。あるいは、図１３のように、各行を同時にスクロールさせる。あるいは、図１４のように、吹き出しの形状に合わせて、らせん状スクロールをさせる。

なお、図４〜７の各処理をコンテンツ配信システム、サーバ１、電子書籍ビューワ２に実行させるためのプログラムは、ＤＢ１１，ＤＢ２１などのコンピュータ読み取り可能な記録媒体に記録されている。

１：サーバ、２：電子書籍ビューワ

Claims (10)

1. 表示手段と、
   コミックのページ毎又はコマ毎の画像と、前記コミックの登場人物の台詞が入る吹き出しの領域以外に描画されている擬音を示す文字に対応する第１のテキスト情報であって、前記画像に関連づけられた第１のテキスト情報と、前記ページ毎又はコマ毎の画像を前記表示手段の画面上でスクロール再生又はコマ再生による閲覧を可能にするための表示制御情報と、前記吹き出し内の台詞と前記吹き出し内の台詞を所定の言語に翻訳した翻訳文を示すテキスト情報を示す第２のテキスト情報であって、前記画像及び該画像内での台詞の順番に関連づけられた第２のテキスト情報と、第２のテキスト情報毎に関連づけられた前記コミックに登場する登場人物の属性情報と、前記吹き出しの前記画像内の領域を示す吹き出し領域の情報を含む吹き出し情報と、を含む電子コミックの情報を取得する情報取得手段と、
   前記取得した表示制御情報に基づいて前記ページ毎又はコマ毎の画像を前記表示手段の画面にスクロール再生又はコマ再生させる画像表示制御手段と、
   前記表示手段に画像が表示された際に、該画像に関連づけられた第１のテキスト情報に基づいて前記擬音を発生させる擬音発生手段と、
   前記表示手段の画面に表示される画像中の吹き出し領域に、その吹き出し領域に対応する翻訳文の全文が予め設定された文字サイズで入るか否かを判別する判別手段と、
   前記吹き出し情報及び第２のテキスト情報に基づいて前記表示手段の画面に表示される画像中の吹き出し領域内の台詞に替えて翻訳文を表示させる翻訳文表示制御手段であって、前記判別手段により翻訳文の全文が入ると判別されると、前記吹き出し領域内に前記翻訳文の全文を表示させ、前記判別手段により翻訳文の全文が入らないと判別されると、前記吹き出し領域内で前記翻訳文の言語の種類に依存した方向に前記翻訳文をスクロールさせる翻訳文表示制御手段と、
   を備えた電子コミックのビューワ装置。
2. 前記第１のテキスト情報は、前記擬音をそのまま文字にした情報、又は前記擬音を説明する情報であり、
   前記擬音発生手段は、前記第１のテキスト情報に基づいて前記擬音を音声合成し、又は前記擬音に対応した効果音を選択して擬音を発生させる請求項１に記載の電子コミックのビューワ装置。
3. 前記第１のテキスト情報は、擬音の発生タイミング、又は擬音の繰り返し回数を示す情報を含み、
   前記擬音発生手段は、前記擬音の発生タイミング、又は擬音の繰り返し回数を示す情報に基づいて前記擬音の発生を制御する請求項１又は２に記載の電子コミックのビューワ装置。
4. 前記第２のテキスト情報に関連づけられた登場人物の属性情報に基づいて複数の合成音声の音質のうちから前記属性情報に対応する音質を選択する音質選択手段と、
   前記表示手段に画像が表示された際に、前記画像及び該画像内での台詞の順番に関連づけられた前記第２のテキスト情報に基づいて該第２のテキスト情報に対応する台詞を、前記音質選択手段により選択された音質の合成音声により自動的に読み上げる自動読み上げ手段と、
   を備えた請求項１〜３のいずれか１項に記載の電子コミックのビューワ装置。
5. 前記登場人物の属性情報は、前記コミックに登場する登場人物を識別するための識別情報と、前記登場人物の性別及び年齢のうちの少なくとも一方の情報とを含む請求項１〜４のいずれか１項に記載の電子コミックのビューワ装置。
6. 前記情報取得手段により取得される電子コミックの情報は、前記第２のテキスト情報毎に関連づけられ、該第２のテキスト情報に対応する台詞の読み上げ時の読み上げ速度及び音量のうちの少なくとも１つを含む自動読み上げの属性情報を含み、
   前記自動読み上げ手段は、前記第２のテキスト情報による読み上げ時に、該第２のテキスト情報に関連づけられた前記自動読み上げの属性情報に基づいて台詞の読み上げ速度及び音量のうちの少なくとも１つを制御して読み上げる請求項４に記載の電子コミックのビューワ装置。
7. 前記情報取得手段により取得される電子コミックの情報は、前記吹き出しの前記画像内の領域を示す吹き出し領域の情報を含む吹き出し情報を含み、
   前記表示手段の画面に表示される画像中の吹き出し領域内の台詞に替えて、前記吹き出し情報及び第２のテキスト情報に基づいて前記第２のテキスト情報から生成した文字を表示させる文字表示制御手段と、を備え、
   前記文字表示制御手段は、前記自動読み上げ手段により現在読み上げている台詞に対応する文字を、他の吹き出しの台詞の文字と識別可能に表示させる請求項４又は６に記載の電子コミックのビューワ装置。
8. 請求項１から７のいずれか１項に記載のビューワ装置の機能を含むユーザ端末と、
   前記ユーザ端末からの要求に応じて前記電子コミックの情報を提供するサーバと、
   を備えた電子コミックの閲覧システム。
9. 請求項１から７のいずれか１項に記載のビューワ装置を実現させるビューワプログラム。
10. コミックのページ毎又はコマ毎の画像と、前記コミックの登場人物の台詞が入る吹き出しの領域以外に描画されている擬音を示す文字に対応する第１のテキスト情報であって、前記画像に関連づけられた第１のテキスト情報と、前記ページ毎又はコマ毎の画像を表示手段の画面上でスクロール再生又はコマ再生による閲覧を可能にするための表示制御情報と、前記吹き出し内の台詞と前記吹き出し内の台詞を所定の言語に翻訳した翻訳文を示すテキスト情報を示す第２のテキスト情報であって、前記画像及び該画像内での台詞の順番に関連づけられた第２のテキスト情報と、第２のテキスト情報毎に関連づけられた前記コミックに登場する登場人物の属性情報と、前記吹き出しの前記画像内の領域を示す吹き出し領域の情報を含む吹き出し情報と、を含む電子コミックの情報を取得する情報取得ステップと、
    前記取得した表示制御情報に基づいて前記ページ毎又はコマ毎の画像を前記表示手段の画面にスクロール再生又はコマ再生させる画像表示制御ステップと、
    前記表示手段に画像が表示された際に、該画像に関連づけられた第１のテキスト情報に基づいて前記擬音を発生させる擬音発生ステップと、
    前記表示手段の画面に表示される画像中の吹き出し領域に、その吹き出し領域に対応する翻訳文の全文が予め設定された文字サイズで入るか否かを判別する判別ステップと、
    前記吹き出し情報及び第２のテキスト情報に基づいて前記表示手段の画面に表示される画像中の吹き出し領域内の台詞に替えて翻訳文を表示させる翻訳文表示制御ステップであって、前記判別ステップにより翻訳文の全文が入ると判別されると、前記吹き出し領域内に前記翻訳文の全文を表示させ、前記判別ステップにより翻訳文の全文が入らないと判別されると、前記吹き出し領域内で前記翻訳文の言語の種類に依存した方向に前記翻訳文をスクロールさせる翻訳文表示制御ステップと、
    を備えた電子コミックの表示方法。

Images