JP5674450B2 - 電子コミックのビューワ装置、電子コミックの閲覧システム、ビューワプログラム、該ビューワプログラムが記録された記録媒体ならびに電子コミックの表示方法 - Google Patents

Description

本発明は、マンガ、新聞、雑誌、書類、教科書、参考書などの紙ベースのコンテンツを電子化した各種のコンテンツを表示する装置、方法およびプログラムに関する。

近年の情報技術革新に伴い、雑誌やコミックなどの紙にプリントされることを前提とした書籍をデジタル化し、iPadやKindleなどの専用の電子書籍ビューワで視聴するという情報配信形態が確立されてきた。

特許文献１によると、原稿縦書き、翻訳文横書きなら、レイアウト情報を回転し、横書きのレイアウトに変換する。

特許文献２によると、ネームが吹き出しの枠に収まらない場合には、文字の級数を下げたり、文字間隔を詰めたりする。

特許文献３によると、文字列を含むブロックの縦方向のサイズは固定し、横方向のサイズのみを拡大する。

特許文献４によると、流し込んだネームの全文字が縦横過不足無く収まるようにテキストボックスの大きさを調整する。縦組・横組、文字サイズに合わせてテキストボックスの縦横長さを調整する。

特許文献５によると、吹き出し内に記載されている台詞に対する翻訳文を、表示画面に設定されるテロップ領域に表示させる。テロップの翻訳文は複数回に分けて表示する。図１０では、コミック画像中の吹き出し位置に合わせてテロップ領域が設定されている。

特許文献６によると、画像の元位置に生じるパターンの抜けを周囲の画像の構成パターンから補って塞ぐ。

特開平6-96288号公報 特開2006-185435号公報 特開2005-056043号公報 特開2005-004738号公報 特開2009-098727号公報 特開2000-20687号公報

電子コミックのセリフの翻訳により文字数が増減することが経験的に認められるため、特許文献１のような吹き出し回転だけでは、翻訳文は押し込めない場合がある。

また、セリフのオリジナルの言語と翻訳文とでは、言語の相違に起因して、文字並び方向が異なる場合がある。この場合、特許文献５のように、日本語の配置に対応した縦長の吹き出しにそのまま横並びのスペイン語の翻訳文を押し込んでも、１行に入る文字列の制限上、読みづらくなると考えられる。

特許文献２のように、文字サイズを調整して吹き出しに押し込むことも考えられるが、文字が小さくなると読みづらくなる。特に、画面サイズの小さい携帯情報端末では、文字サイズを縮小すると、極端に読みづらくなる。

特許文献１のようにレイアウトを回転したり、特許文献３・４のように、テキストボックスの大きさを調整することも考えられるが、その場合、オリジナルのマンガの画との干渉（画の隠れ、分断、空白化など）が問題となり、単純にセリフの配置領域を回転したり大きさを変えればよいというものではない。

本発明は、電子コミックにおいて、オリジナルの言語から任意の言語に変換されたセリフの文字列を過不足なく配置する吹き出しを描画する技術を提供する。

本発明は、表示手段と、コミックのページ毎又はコマ毎の画像と、コミックの登場人物の台詞が入る吹き出しの画像内の領域を示す吹き出し領域の情報を含む吹き出し情報と、各吹き出し内の縦書きの原文の台詞を横書きの所定の言語に翻訳した翻訳文を示すテキスト情報であって、吹き出し毎に関連づけられたテキスト情報と、ページ毎又はコマ毎の画像を表示手段の画面上でスクロールビュー又はコマビューによる閲覧を可能にするための表示制御情報とを含む電子コミックの情報を取得する情報取得手段と、取得した表示制御情報に基づいてページ毎又はコマ毎の画像を表示手段の画面にスクロール再生又はコマ再生させる画像表示制御手段と、表示手段の画面に表示される画像中の吹き出し領域に、その吹き出し領域に対応する翻訳文の全文が予め設定された文字サイズで入るか否かを判別する判別手段と、取得した吹き出し情報及びテキスト情報に基づいて画面に表示される画像中の吹き出し領域内の原文の台詞に替えて翻訳文を表示させる翻訳文表示制御手段であって、判別手段により翻訳文の全文が入ると判別されると、吹き出し領域内に翻訳文の全文を表示させ、判別手段により翻訳文の全文が入らないと判別されると、吹き出し領域に対応する吹き出しを横長の吹き出しに書き替え、この横長の吹き出しの吹き出し領域内に翻訳文を表示させる翻訳文表示制御手段と、を備えたことを特徴とする電子コミックのビューワ装置を含む。

判別手段は、表示手段の画面サイズの情報を有し、該画面サイズの情報に基づいて表示手段の画面に表示される画像中の吹き出し領域であって、画面サイズに応じて表示される吹き出し領域に、その吹き出し領域に対応する翻訳文の全文が予め設定された文字サイズで入るか否かを判別することを特徴とする。

テキスト情報は、文字サイズ及びフォントを含む属性情報を有し、翻訳文表示制御手段は、翻訳文のテキスト情報と文字の属性情報とに基づいて表示用の文字を生成することを特徴とする。

文字サイズを変更させる文字サイズ変更手段を備えたことを特徴とする。

表示手段の画面に表示される画像中の吹き出し領域に、その吹き出し領域に対応する翻訳文の全文が予め設定された文字サイズと単位で入るように行数、行間隔又は文字間隔を自動的に調整する調整手段を備え、判別手段は、調整手段により調整された翻訳文の全文が、吹き出し領域に入るか否かを判別することを特徴とする。

吹き出し情報は、吹き出しの線の種類を含み、翻訳文表示制御手段は、吹き出しの書き替え時に吹き出しの線の種類に基づいて同じ種類の線を有する吹き出しに書き替えることを特徴とする。

吹き出し情報は、吹き出し口の位置情報を含み、翻訳文表示制御手段は、吹き出しの書き替え時に吹き出し口の位置情報に基づいて同じ位置に吹き出し口を有する吹き出しに書き替えることを特徴とする。

電子コミックの情報は、画像内の登場人物の領域を示す存在領域情報を有し、翻訳文表示制御手段は、吹き出しの書き替え時に存在領域情報に基づいて登場人物の領域と重ならないように吹き出しの書き替えを行うことを特徴とする。

翻訳文表示制御手段は、吹き出しの書き替えにより新たに発生する画像のない領域に、その領域の周囲の画像から類推した画像を描画することを特徴とする。

翻訳文表示制御手段は、吹き出しの書き替えにより新たに発生する画像のない領域を、白色又は地色の画像で埋めることを特徴とする。

本発明は、上記に記載のビューワ装置の機能を含むユーザ端末と、ユーザ端末からの要求に応じて電子コミックの情報を提供するサーバと、からなる電子コミックの閲覧システムを含む。

本発明は、上記に記載のビューワ装置を実現させるビューワプログラムと、そのビューワプログラムが記録された記録媒体を含む。

本発明は、表示手段を備えた電子コミックのビューワ装置が、コミックのページ毎又はコマ毎の画像と、コミックの登場人物の台詞が入る吹き出しの画像内の領域を示す吹き出し領域の情報を含む吹き出し情報と、各吹き出し内の縦書きの原文の台詞を横書きの所定の言語に翻訳した翻訳文を示すテキスト情報であって、吹き出し毎に関連づけられたテキスト情報と、ページ毎又はコマ毎の画像を表示手段の画面上でスクロールビュー又はコマビューによる閲覧を可能にするための表示制御情報とを含む電子コミックの情報を取得するステップと、取得した表示制御情報に基づいてページ毎又はコマ毎の画像を表示手段の画面にスクロール再生又はコマ再生させるステップと、表示手段の画面に表示される画像中の吹き出し領域に、その吹き出し領域に対応する翻訳文の全文が予め設定された文字サイズで入るか否かを判別するステップと、取得した吹き出し情報及びテキスト情報に基づいて画面に表示される画像中の吹き出し領域内の原文の台詞に替えて翻訳文を表示させるステップであって、翻訳文の全文が入ると判別されると、吹き出し領域内に翻訳文の全文を表示させ、翻訳文の全文が入らないと判別されると、吹き出し領域に対応する吹き出しを横長の吹き出しに書き替え、この横長の吹き出しの吹き出し領域内に翻訳文を表示させるステップと、を実行することを特徴とする電子コミックの表示方法を含む。

本発明によると、翻訳文が縦長の吹き出し内に収まらない場合、縦長の吹き出しを横長の吹き出しに書きかえ、翻訳文をその横長の吹き出しに表示する。これにより、電子コミックにおいて、オリジナルの言語から任意の言語に変換されたセリフの文字列を過不足なく吹き出しに配置することができる。

コンテンツ配信システムの概略構成図 コンテンツファイルの概念説明図 吹き出しの形状に関する情報の一例を示す図 配信処理のフローチャート 表示処理（スクロールビュー）のフローチャート 表示処理（コマビュー）のフローチャート セリフ処理のフローチャート 吹き出しの描画（横）の一例を示す図 表示中の詳細画像に対応する音声再生に関する情報の一例を示す図

図１は本発明の好ましい実施形態に係るコンテンツ配信システムの構成を示す。このシステムは、サーバ１と電子書籍ビューワ２とを含む。サーバ１は、演算装置（ＣＰＵ）、記憶装置、入出力回路などを備えたコンピュータ（情報処理装置）で構成される。

電子書籍ビューワ２は、画像を再生可能な表示手段、通信手段、演算装置（ＣＰＵ）、記憶装置、入出力回路、操作手段、音声を再生可能な音声再生手段などを備えた情報端末であり、例えば、スマートフォンやタブレット型コンピュータで構成される。なお、サーバ１にアクセスする電子書籍ビューワ２は不特定多数であってもよいものとする。

具体的には、サーバ１は、ページ情報解析部１０、データベース（ＤＢ）１１、操作部１６、入出力部１７を備える。

ページ情報解析部１０は、ＣＰＵなどの情報処理装置で構成される。ＤＢ１１は、ハードディスクやメモリなどの記憶媒体で構成される。操作部１６は、キーボード、マウス、タッチパッドなどの操作手段である。

ＤＢ１１は、ページ番号に対応づけられたコンテンツ画像とその付帯情報を所定のファイル形式で格納するコンテンツファイルを蓄積する。コンテンツ画像は、スキャナーなどでオリジナルコンテンツを電子データ化したものである。オリジナルコンテンツは、マンガ、新聞、週刊誌の記事、オフィス文書（プレゼンテーション文書など）、教科書、参考書など、ページ単位で組まれている。また、オリジナルコンテンツ画像はページ番号と対応づけられている。

コンテンツ画像とその付帯情報の保存形式は任意であり、ＸＭＬファイルなどで保存される。オリジナルコンテンツ画像には付帯情報が記録されていてもよい。この付帯情報は、コンテンツの作者、タイトル、総ページ数、巻の番号、エピソードの番号、版権者（出版社）などが含まれうる。

コンテンツ画像は、概略画像、詳細画像（高解像度データ）を含み、それぞれ、ページ、コマあるいはアンカーポイントごとに用意される。

コンテンツ画像に付帯する付帯情報は、操作部１６から入力された情報、ページ情報解析部１０の解析結果の情報、あるいは、入出力部１７を経由して入力された情報を含む。

図２はコンテンツファイルの概念説明図である。コンテンツファイルは、ページごとの概略画像と当該ページ内の各アンカーポイントに対応する詳細画像を含むスクロールビュー用のコンテンツファイルと、ページごとの概略画像とコマごとの詳細画像を含むコマビュー用のコンテンツファイルの双方を含む。本例では、電子コミック情報を、ひとつのファイルで構成しているが、コンテンツ画像と付帯情報とを異なるファイルに分けて格納し、複数ファイルで構成してもよい。

ヘッダは、ファイルの属性（ファイル名など）を示す。

付帯情報は、検索タグ情報、吹き出し情報、テキスト情報、登場人物の情報、表示制御情報、自動読み上げの属性情報、再生エフェクト情報、ページ情報、その他情報によって構成されている。

検索タグ情報。検索タグ情報は、検索に用いるタグ情報である。例えば、ページ番号（ページ識別情報）、コマ番号（コマ識別情報）、エピソード番号（エピソード識別情報、例えば第何話であるかを示す）、タイトル、作者、出版社（版権者）、総ページ数などの情報を含んでいてもよい。

吹き出し情報。吹き出し情報は、ページ単位（又はコマ単位）のコンテンツ画像中の吹き出しに関する情報である。例えば、吹き出しのコンテンツ画像内での存在領域を示す吹き出し領域情報、吹き出しの形状、吹き出しの起点（吹き出しの頂点）の位置と向き、吹き出しの描線の属性（点線、実線など）、コンテンツ画像の要素（話者など）と吹き出しの起点との相対的位置関係（例えば吹き出しの頂点と吹き出しの頂点が指し示す話者の顔と最小間隔）、吹き出しのサイズ、吹き出しの話者の識別情報、吹き出しの属するコマなどである。吹き出し領域情報は、例えば、吹き出しの描線（枠線）のコンテンツ画像内での位置を示す情報（例えば描線上の吹き出し形状に対応する複数点の位置情報、あるいは描線全体のベクトル情報）である。吹き出し領域情報は、吹き出しの全領域（範囲）を示すビットマップ情報でもよい。また、吹き出しの特定位置（中心位置）と吹き出しのサイズによって吹き出し領域情報を表してもよい。例えば、図３（Ａ）〜（Ｄ）のような４つの吹き出し種類があれば、その各々に対応する識別情報Ａ〜Ｄを吹き出しの描線の属性として記憶する。

テキスト情報。テキスト情報は、コンテンツ画像内のテキストに関する情報である。例えば、各コマおよび各吹き出しに対応する、テキスト（文章）、文字属性情報、行数、行間隔、文字間隔、表示切り替え方法、使用言語、縦書き／横書き、読み方向の区別などである。文字属性情報には、文字サイズ（ポイント数など）、文字種別（フォント、強調文字など）がある。テキスト情報には、吹き出し内の話者の台詞が含まれる。また、吹き出し内に配置された原文の台詞に対応する各種言語の翻訳文とその使用言語（２以上の言語の翻訳文でもよい）も、このテキスト情報に含まれうる。また、吹き出し外に配置されたテキスト（ナレーション、擬音を示す文字列など）やその翻訳文とそのテキストの属性（文字サイズ、フォント、文字装飾など）と、それらの音声読み上げ属性（ボリューム、スピード、繰り返し回数、開始／停止タイミングなど）、このテキスト情報に含まれうる。表示切り替え方法には、スクロールスピード、スクロール方向、スクロールの開始、終了、一時停止、繰り返しの方法などのスクロール方法を含みうる。

登場人物の情報。登場人物の情報は、吹き出しの台詞の話者に関する情報である。例えば、話者（登場人物）のコンテンツ画像（概略画像および詳細画像）内での存在領域を示す話者領域情報（顔領域情報など）、話者の識別情報（名称など）、話者の属性（性別、年齢など）。なお、話者とは、吹き出しのセリフ（台詞）の発生源を意味し、人間だけでなく、動物、電話、パソコン、電子機器、ロボットなどの非生物が発するセリフも含む。

表示制御情報は、ページ単位又はコマ単位の表示制御に関する情報である。この情報は、画面スクロールおよび／または画面切り替えを含む。画面スクロールの情報は、詳細情報として、スクロールスピード、スクロール方向、スクロール順、スクロールの開始、終了、一時停止、繰り返しの方法などを含みうる。画面切り替えの情報は、詳細情報として、切り替え単位（コマなど）、切り替えタイミングの決定方法（手動、自動、半自動）、切り替えに付随する表示効果（ワイプ、フェードイン／フェードアウト、ディゾルブ）などを含みうる。

自動読み上げの属性情報。例えば、読み上げ速度、音量、話者の感情など。

表示制御情報は再生シナリオを含む。再生シナリオは、コンテンツ画像の部分的な表示領域の単位となる詳細画像の拡大率、前のアンカーポイントに対応する詳細画像から次のアンカーポイントに対応する詳細画像への表示切り替えの速度および表示切り替え方法（スクロール、フェードアウト／フェードインなど）、各アンカーポイントまたは各コマでの視線の停止時間すなわち各アンカーポイントに対応する詳細画像の表示時間の長さである滞在時間、コンテンツ内の概観画像および詳細画像の位置づけ（ページ、セクション）、アンカーポイントの遷移順、見出し情報などを含む。アンカーポイントは、１ページごとの画像の部分領域（典型的にはコマかコマの一部）の視線の止まる位置（アイストップ）である。

再生シナリオは、各アンカーポイントに対応する詳細画像のテキスト量に適合するような滞在時間を含む。各アンカーポイント周辺での詳細画像のテキスト量が大きければそれだけ一画面内の情報量が多くなるので、その分再生シナリオでは滞在時間が長く設定されている。

あるいは、各アンカーポイントでの詳細画像の拡大率をサーバ１にアクセスしてきた電子書籍ビューワ２か、機種ごとの画面サイズに適合するような機種ごとの滞在時間を再生シナリオに設定する。

あるいは、アンカーポイント間の表示切り替えの速度を再生シナリオに設定する。この速度は、再生状態情報として取得した、サーバ１にアクセスしてきた電子書籍ビューワ２のユーザに対応する過去の閲覧のスピードから決定してもよいし、同一の再生コンテンツを再生した複数の電子書籍ビューワ２から再生状態情報として取得した過去の閲覧のスピードを所定の算術式（平均など）に適用することで決定してもよい。

表示切り替え方法は、電子書籍ビューワ２のユーザによる操作部２７への指示に応じて決定されてもよいし、所定のデフォルトの切り替え方法としてもよいし、コンテンツ解析情報に基づいて設定されてもよい。例えば、あるコマａのコンテンツ内のキャラクタの視線方向の移動先がアンカーポイントの移動方向の先であるコマｂと一致するならば、コマａからコマｂへの表示切り替え方法をスクロールに設定する。

読み上げ音声に関する情報。例えば、読み上げ音声の内容、開始タイミング／終了タイミング、読み上げスピード、読み上げ音声ボリューム、読み上げ話者属性（性別、年齢など）。読み上げ音声の内容は、録音音声でもよいし、人工音声でもよい。読み上げ音声の内容が人工音声の場合は、これを吹き出しおよび／または付随音声の内容と共通化できる。

ページ情報。例えば、左開き／右開き、改行方向（縦書きの場合）。

付随音声に関する情報。例えば、擬音や効果音の内容（原文および翻訳文のテキスト情報）、出現回数、出現コマ、ボリューム、開始タイミング／終了タイミング、スピード、音量、擬音はページ情報解析部１０によりコンテンツ画像から取得されたものでもよいし入出力部１７などから入力されたものでもよい。例えば、吹き出しに入っていない文字情報が擬音の内容となる。擬音に対応する各種言語の翻訳文も、この情報に含まれうる。

再生エフェクトに関する情報。例えば、端末振動、画面を揺らす、画面フラッシュ、画面切り替えといったエフェクトの種類と開始タイミング。

画面拡大などのレイアウト変更の可否を示す変更可否情報。

その他の情報。例えば、ページ余白の領域とその領域に配置する広告データ。その他の情報に含まれる変更可否情報は、レイアウト変更の可否など、オリジナルコンテンツからの改変の可否を示す設定情報である。例えば、翻訳文表示、吹き出し拡大、吹き出し形状変更、画像変更、台詞や擬音の音声読み上げ、ページ全体の左右反転などの可否を示す。なお、改変項目ごとに独立に改変の可否を設定可能である。例えば、翻訳文表示は許可するが、ページ全体の左右反転は禁止するといった設定が可能である。スクロール再生（スクロールビュー）は許可するが、コマ再生（コマビュー）は禁止するといった設定も可能である。あるいはその他の情報は、ページめくりに関する情報（たとえば、左開き／右開き）、改行方向（縦書きの場合）などのページ情報を含む。

ページ情報解析部１０は、ＤＢ１１に蓄積されたコンテンツ画像を解析する。解析の結果取得できた情報は、付帯情報となる。例えば、ページ解析結果に関する情報は、ページごとのコンテンツの要素（コマ、描画、描画内の登場キャラクタの種類、吹き出し、セリフ、テキスト、表、図など）のレイアウト、コンテンツの要素の読み順、キャラクタの特徴（キャラクタ名、キャラクタの視線方向、キャラクタのサイズ、位置など）、セリフなどのテキストの内容、位置、量（文字数）、ページ／セクション／章などの区切りなどを含む。

ページ情報解析部１０によるページ情報の解析および取得のためには、公知の画像解析技術、テキスト解析技術が使用される。例えば、顔、動物、建築物、自動車その他の物体のコンテンツの要素の位置、サイズ、種類は、それらの画像情報に関する特徴量に基づき自動検出されてもよい。コンテンツの要素の自動検出はマシンラーニングに基づいて行われてもよい。例えば、学習用のサンプルマンガに基づき、コマや吹き出しの外縁の検出確度、矩形以外の領域のコマや吹き出しとしての妥当性の判断閾値などを経験的に設定する。

あるいは、ＯＣＲにより、吹き出し内部のテキスト文章（セリフ）を認識し、それを囲む領域をセリフ領域と認識してもよい。読み出されたセリフの各文字は、文字の向きに応じてソートされる。例えば、セリフが縦書きなら列の先頭から最後尾にかけてソートされ、かつ右の列から左の列にかけてソートされる。

コマ番号またはセリフ番号は、所定のルールに従って決定される。例えば、コンテンツの種類がマンガの場合、コンテンツ解析情報に含まれるコマまたは吹き出しの位置が最も右上のものから最も左下のものにかけて各コマまたは吹き出しの代表点（コマまたは吹き出しの中心や重心など）を順次水平方向に走査することでページ番号またはセリフ番号が決定される。

各コマの代表点は、１ページごとのコンテンツの要素の視線の止まる位置（アンカーポイント）となり、そのアンカーポイントを起点に、コンテンツの表示単位がスクロールや切り替えによって切り替わる。

あるいは、図示は省略するが、コンテンツの作者に応じたルールに従ってページ番号またはセリフ番号が決定されることもできる。

あるいは、コンテンツ解析ルールは、コンテンツの作者や種類に応じた規定のルールだけでなく、人工知能により学習されたコンテンツの作者や種類に応じたルールでもよい。

ルール学習は、例えば次のように行う。まず、複数の基本パターンについてそれぞれ正解ルールを予め用意しておく。ページ情報解析部１０は、複数の基本パターンについてそれぞれ特徴量（コマ境界線の太さや長さなど）を抽出する。そしてページ情報解析部１０は、抽出された特徴量から、コンテンツ作成者の想定しているコマの読み進み順を推定する。ページ情報解析部１０は、基本パターンごとに推定した読み進み順と正解ルールとを比較して、コマの読み進み順を推定するパラメータを最適化する。ページ情報解析部１０は、この最適化されたパラメータに従ってマンガのコマの読み順を推定する。

説明の簡略のため、オリジナルコンテンツはマンガであり、オリジナルコンテンツ画像は、マンガの各ページに対応する画像であるとする。マンガとは、絵（実写、描画を問わない）とセリフの双方からなるコンテンツである。

再び図１を参照すると、電子書籍ビューワ２はスマートフォン、タブレットコンピュータなどの携帯型情報端末で構成され、画像を再生可能な表示手段、通信手段、操作検知手段、音声再生手段、情報処理装置などを備えている。

具体的には、電子書籍ビューワ２は、データベース（ＤＢ）２１、表示部２４、コンテンツ表示制御部２５、音声再生部２６、操作部２７、スピーカ２８、入出力部２９を備える。

表示部２４は、ＬＣＤなどの表示装置で構成される表示手段である。操作部２７は、タッチパネルなどで構成される操作検知手段である。好ましくは、操作部２７は、表示部２４に積層されており、表示部２４に対するシングルタップ、ダブルタップ、スワイプ、長押しなどの各種操作を検知できる。

音声再生部２６は、コンテンツファイルに格納された音声に関する情報（読み上げ音声に関する情報および／または付随音声に関する情報）を音声化してスピーカ２８から出力する回路である。

入出力部２９は、サーバ１の入出力部１７から出力されたコンテンツファイルを入力する手段である。典型的には、入出力部１７および入出力部２９は、通信手段であるが、コンピュータ読み取り可能な記録媒体に対する書き込み・読み出し手段であってもよい。

ＤＢ２１は、ＤＢ１１と同等の情報を格納する。すなわち、電子書籍ビューワ２が、サーバ１に電子書籍の送信を要求すると、サーバ１は、入出力部２９を介してＤＢ１１のコンテンツファイルをＤＢ２１にエクスポートし、ＤＢ２１に格納される。ただし、ＤＢ１１の情報とＤＢ２１の情報は完全に同じである必要はない。ＤＢ１１は、様々なユーザからの要求に応えるため、様々な種類のコンテンツ画像、例えば、異なる作者のマンガの各巻のコンテンツ画像を格納するライブラリである。ＤＢ２１には、電子書籍ビューワ２のユーザが閲覧したいコンテンツに関係するコンテンツファイルのみが格納されていれば足りる。

コンテンツ表示制御部２５は、表示部２４に対するコンテンツの表示制御を行う。詳細は後述する。

図４はサーバ１と電子書籍ビューワ２との間で実行される配信処理のフローチャートを示す。Ｓ１・Ｓ４は電子書籍ビューワ２が実行し、Ｓ２・Ｓ３はサーバ１が実行する。この処理をサーバ１および電子書籍ビューワ２にそれぞれ実行させるプログラムは、サーバ１および電子書籍ビューワ２にそれぞれ備えられたコンピュータ読み取り可能な記憶媒体（ＲＡＭ、ＲＯＭ、ＣＤＲＯＭなど）に記憶されている。

Ｓ１では、電子書籍ビューワ２は、入出力部２９を介して、コンテンツ要求をサーバ１に送信する。

Ｓ２では、サーバ１は、スクロールビューまたはコマビューに対応するコンテンツ要求を待機しており、入出力部１７を介して電子書籍ビューワ２からコンテンツ要求を受信すると、Ｓ３に進む。

Ｓ３では、サーバ１は、コンテンツファイルを電子書籍ビューワ２に送信する。すなわち、サーバ１は、スクロールビューに対応するコンテンツ要求があった場合は、スクロールビューに対応するコンテンツファイルを送信し、コマビューに対応するコンテンツ要求があった場合は、コマビューに対応するコンテンツファイルを送信する。

Ｓ４では、電子書籍ビューワ２は、コンテンツファイルを受信し、ＤＢ２１に格納する。そして、後述の表示処理に進む。コンテンツ画像の送信は、ページ単位あるいはコマ単位で行われてもよく、付帯情報も、送信されたコンテンツ画像の単位に対応する情報のみを送信してもよい。

図５は電子書籍ビューワ２の実行する表示処理（スクロールビュー）のフローチャートを示す。図６は電子書籍ビューワ２の実行する表示処理（コマビュー）のフローチャートを示す。図５または図６のいずれかの処理は、操作部２７からの選択に従って実行される。

図５を参照すると、Ｓ１０では、コンテンツ表示制御部２５は、ＤＢ２１のコンテンツファイルに基づき、指定されたコンテンツ画像のページの最初の順のアンカーポイントをカレントアンカーポイントに設定する。

Ｓ１１では、コンテンツ表示制御部２５は、カレントアンカーポイントを基準にして、当該ページ全体の概略画像から表示用の詳細画像を切り出し、これをカレント画像とする。詳細画像を切り出す代わりに、コンテンツファイルの詳細画像を読み出してカレント画像とすることもできる。

Ｓ１２では、コンテンツ表示制御部２５は、詳細画像を表示部２４に表示する。

Ｓ１３では、コンテンツ表示制御部２５は、ＤＢ２１のコンテンツファイルの付帯情報に基づき、カレントアンカーポイントに対応する滞在時間が経過したか否かを判断する。Ｙｅｓの場合はＳ１４に進み、Ｎｏの場合はＳ１２に戻る。

Ｓ１４では、コンテンツ表示制御部２５は、カレントアンカーポイントは、当該ページの最後のアンカーポイントであるか否かを判断する。Ｙｅｓの場合はＳ２１に進み、当該ページの表示を終了する。そして、次のページがあれば、そのページについて、Ｓ１０以降を繰り返す。Ｎｏの場合はＳ１５に進む。

Ｓ１５では、コンテンツ表示制御部２５は、カレントアンカーポイントからその次の順のアンカーポイントまでを結ぶ線分に沿って、カレントアンカーポイントを起点に所定の単位ずつ（例えば１ドットずつ）増分した位置を、仮アンカーポイントに設定する。この増分はＳ１６〜Ｓ１９のループの回数分だけ繰り返される。

Ｓ１６・Ｓ１７では、コンテンツ表示制御部２５は、当該ページ全体の画像から仮アンカーポイントを基準にして、表示用の詳細画像を切り出し、これを次の詳細画像とする。画像を切り出す代わりに、コンテンツファイルの詳細画像を用いることもできる。

Ｓ１８では、コンテンツ表示制御部２５は、現在の仮アンカーポイントに対応する詳細画像から次の仮アンカーポイントに対応する詳細画像に切り替えて表示する。この結果、画面は所定の単位ずつスクロールすることになる。

Ｓ１９では、コンテンツ表示制御部２５は、仮アンカーポイントが、カレントアンカーポイントの次のアンカーポイントに到達したか否かを判断する。Ｙｅｓの場合はＳ１２に戻り、次のアンカーポイントを新たなカレントアンカーポイントとし、そのカレントアンカーポイントに対応する詳細画像を表示する。Ｎｏの場合はＳ１６に戻り、所定の単位ずつのスクロールを継続する。

図６を参照すると、Ｓ３１では、コンテンツ表示制御部２５は、指定されたページのコンテンツ画像のコマ順序を基準にして、最初のコマをカレントコマとする。

Ｓ３２では、コンテンツ表示制御部２５は、カレントコマに対応する詳細画像をコンテンツ画像から切り出し、これをカレントコマ画像とする。詳細画像を切り出す代わりに、コンテンツファイルの詳細画像を用いることもできる。

Ｓ３３では、コンテンツ表示制御部２５は、カレントコマ画像を表示部２４に表示する。

Ｓ３４では、コンテンツ表示制御部２５は、コンテンツファイルの付帯情報に基づき、カレントコマに対応する滞在時間が経過したか否かを判断する。Ｙｅｓの場合はＳ３５に進み、Ｎｏの場合はＳ３３に戻る。

Ｓ３５では、コンテンツ表示制御部２５は、カレントコマは、当該ページの最後のコマであるか否かを判断する。Ｙｅｓの場合はＳ３６に進み、当該ページの表示を終了する。そして、次のページがあれば、そのページについて、Ｓ３１以降を繰り返す。Ｎｏの場合はＳ３７に進む。

Ｓ３７では、コンテンツ表示制御部２５は、カレントコマの次の順のコマを、新たにカレントコマに設定する。そして、Ｓ３２に戻り、カレントコマに対応する詳細画像を切り出すか、詳細画像を読み出し、これをカレントコマ画像とする。それ以降の処理は上記と同様である。

なお、Ｓ１２またはＳ３３において、画像は、操作部２７に入力される画像送り指示に従って切り替わってもよい。切り替わる単位は、アンカーポイント（Ｓ１２）かコマ（Ｓ３３）となる。また、切り替わる順序は、アンカーポイント順あるいはコマ順に従う。ただし、ユーザがページの読みとばしなどの不規則な閲覧を希望する場合もあるため、この順序を無視したコンテンツ画像の切り替わり操作が許容されてもよい。

図７は電子書籍ビューワ２の実行するセリフ処理のフローチャートを示す。この処理は、Ｓ１２またはＳ３３と並行して実行される。

Ｓ４１では、コンテンツ表示制御部２５は、ＤＢ２１のコンテンツファイルに基づき、コンテンツ画像の表示を開始する。これはＳ１２またはＳ３３と同様である。

Ｓ４２では、コンテンツ表示制御部２５は、操作部１６から、吹き出し内のセリフ表示方向として「横書き」が指示されたか、「縦書き」が指示されたかを判断する。「横書き」の指示があった場合はＳ５１に進み、「縦書き」の指示があった場合はＳ６１に進む。

Ｓ５１では、コンテンツ表示制御部２５は、表示指定のあった画像領域に対応する吹き出し情報と、当該吹き出しに対応する横書きのセリフ（翻訳文）のテキスト情報に含まれるテキスト属性（サイズ、フォント、文字間隔、行間隔、行数など）と、当該吹き出しの話者である登場人物の情報を読み出す。

Ｓ５２では、コンテンツ表示制御部２５は、指定された画像領域をページ表示部２４に表示する。また、コンテンツ表示制御部２５は、読み出したテキスト属性に従った横書きの配置でテキスト情報が吹き出しに収まるか否かを判断する。少なくとも、テキスト属性は文字サイズを含む。コンテンツ表示制御部２５は、表示部２４の画面サイズ情報（ＤＢ２１に記憶されている）に従ってその文字サイズを維持したままテキスト情報が吹き出しに収まるか判断する。

コンテンツ表示制御部２５は、収まると判断した場合は、表示指定のあった画像領域に対応する吹き出しの話者を起点に、縦置き用の吹き出しを描画する。

コンテンツ表示制御部２５は、収まらないと判断した場合は、さらに、レイアウト変更可であるか否かを付帯情報に基づいて判断し、レイアウト変更可であれば、表示指定のあった画像領域に対応する吹き出しの話者を起点に、横置き用の吹き出しを描画する。

描画する吹き出しのサイズは、読み出されたテキスト情報をテキスト属性に従って横向きに配置するのに十分である。描画する吹き出しの線の種類は、オリジナルと同じものとする。描画する吹き出しの起点は、オリジナルの吹き出しの起点の近傍とし、起点となる話者を同一に保つ。セリフを翻訳しても吹き出しの話者は同じだからである。また、吹き出しの描画位置は、登場人物の位置と他の吹き出しの位置を避け、それらが描画される吹き出しと重ならないようにする。

コンテンツ表示制御部２５は、読み出したセリフのテキスト情報およびテキスト属性に従い、描画された吹き出しに、文字を横向きに配置する。なお、コンテンツ表示制御部２５は、レイアウト変更不可であれば、横書き文の文字サイズを縮小したり、行数、行間隔、文字間隔を調整し、オリジナルの吹き出しに横書き文を配置する。

例えば、図８（ａ）のような縦置きの日本語セリフ「いい――！！」を有するオリジナルコンテンツについて、縦置きの指示があったとする。縦置きの吹き出しに横置きのテキスト情報が収まらない場合、図８（ｂ）に示すように、「いい――！！」という日本語文に対応する横向きの英語翻訳文「Great!!」が指定のサイズ（テキスト属性で指定される文字サイズか、その文字サイズを所定の限界値を下回らない範囲で小さくしたサイズ）で収まるサイズに吹き出しが描画されている。なお、翻訳文でなく日本語そのもの、あるいは英語以外の言語を横書きにしてもよい。

コンテンツ表示制御部２５は、横書きの吹き出しのセリフに対応する吹き出しの描画に伴い、元々縦書きのセリフに対応する吹き出しのあった領域の画像情報を消去し、画像情報なしの空白領域とする。

コンテンツ表示制御部２５は、空白領域を周囲の画像情報で補完する。これは、模様、グラデーション、線分、色彩など、空白領域の周囲の画素情報や画像パターンを検出してこれを複製したり延長したりすることで行われる。周囲の画素情報や画素パターンを検出できない場合は、空白領域は白色などの所定の色で埋められる。

Ｓ６１では、コンテンツ表示制御部２５は、表示指定のあった画像領域に対応する吹き出しの位置情報と、当該吹き出しに対応する縦書きのセリフ（原文）のテキスト情報およびテキスト属性と、当該吹き出しの話者である登場人物の情報を読み出す。

Ｓ６２では、コンテンツ表示制御部２５は、吹き出しの位置情報に基づき、当該吹き出し内で、テキスト属性に従い、セリフのテキスト情報を縦書きに配置する（図９参照）。

Ｓ７１では、音声再生部２６は、音声に関する情報に基づき、音声を再生する。

まず、音声再生部２６は、コンテンツ表示制御部２５が現在表示している詳細画像に対応するセリフと、セリフに対応する音声と、そのセリフの属するコマに対応する付随音声を判断し、音声再生に関する情報（テキスト情報、登場人物の属性情報、自動読み上げの属性情報、擬音）を付帯情報から取得する。

図９は、表示中の詳細画像（アンカーポイント３）に対応する音声再生に関する情報の一例を示す。

音声再生部２６は、音声再生に関する情報から、セリフ音声の属性を識別し、その属性に応じた音声を、スピーカ２８から出力する。例えば、属性が、セリフ話者の年齢＝１５、セリフ話者の性別＝女を示していれば、音声再生部２６は、予め定められた十代前半の女性の音声の属性でセリフ音声を合成し、スピーカ２８から出力する。

話者に重要性がない（１回限りで登場するなど）、話者に個性がないなどの理由で、セリフ音声の属性がない場合は、デフォルトの属性でセリフ音声を合成する。

また、読み上げボリュームや読み上げスピードなどの属性がない場合は、対応するセリフの配置される吹き出しの属性や、セリフの属性に基づいてセリフ音声を合成する。

例えば、吹き出しの種類が、図３（Ｂ）のような大声のセリフを表す場合、音声再生部２６は、当該セリフの読み上げボリュームを「大」とする。あるいは、吹き出しの種類が、図３（Ｃ）のような想像または回想のセリフを表す場合、音声再生部２６は、当該セリフの読み上げボリュームを「小」とする。あるいは、吹き出しの種類が、図３（Ｂ）・図３（Ｃ）以外の場合、音声再生部２６は、当該セリフの読み上げボリュームを「中」とする。

あるいは、セリフの文字が強調文字や「！」マークを含む場合、音声再生部２６は、当該セリフの読み上げボリュームを「大」とする。

あるいは、セリフの文字間隔が「大」である場合、音声再生部２６は、当該セリフの読み上げスピードを「スロー」とし、セリフの文字間隔が「小」である場合、音声再生部２６は、当該セリフの読み上げスピードを「クイック」とする。

ここで、音声再生部２６は、吹き出しに配置するセリフの言語と同一の言語で音声化する。ただし、音声再生部２６は、吹き出しの言語とは異なる言語の指定が操作部２７からあれば、その言語で音声化する。

吹き出しのセリフの表示開始／終了と当該吹き出しのセリフの読み上げの開始／終了は同期する。例えば、吹き出しに関する情報に吹き出しの読み順が含まれていれば、その順に沿って吹き出し内のセリフが読み上げられる。この際、読み上げられているセリフの再生に同期して、セリフ文字に視覚的効果を付与することもできる。例えば、セリフ文字への視覚的効果として、読み上げられているセリフの個々の文字をハイライトしたり、アンダーライン・傍点・着色などの装飾を付与したり、読み上げられているセリフ部分のみをスクロールで示したり、読み上げられていないセリフの個々の文字をグレーアウトしたり、読み上げられたセリフはフェードアウトさせるなどが挙げられる。

付随音声に関する情報で、付随音声の開始／終了タイミングが指定されている場合、付随音声はそれに従って再生される。そのような指定がない場合、吹き出しのセリフの読み上げの開始／終了と、当該吹き出しの属するコマの付随音声の開始／終了も同期する。例えば、バックグラウンドの文字「わー」といった文字がある場合は、その文字が含まれている詳細画像の表示開始から終了まで、対応する歓声が再生される。

音声再生部２６は、同一の付随音声が複数のコマに渡って配置されている場合は、それらのコマの表示開始から終了までの間、当該付随音声を繰り返すなどして継続的に再生する。

このように、本願のコンテンツファイルが電子書籍ビューワ２に提供されることにより、電子書籍ビューワ２は、セリフの言語に応じたセリフ配置、スクロール、セリフの音声再生、擬音や効果音の再生が可能となる。

なお、図４〜７の各処理をコンテンツ配信システム、サーバ１、電子書籍ビューワ２に実行させるためのプログラムは、ＤＢ１１，ＤＢ２１などのコンピュータ読み取り可能な記録媒体に記録されている。

１：サーバ、２：電子書籍ビューワ

Claims (12)

1. 表示手段と、
   コミックのページ毎又はコマ毎の画像と、前記コミックの登場人物の台詞が入る吹き出
   しの前記画像内の領域を示す吹き出し領域の情報と、吹き出し口の位置情報とを含む吹き出し情報と、各吹き出し内の縦書きの原文の台詞を横書きの所定の言語に翻訳した翻訳文を示すテキスト情報であって、吹き出し毎に関連づけられたテキスト情報と、前記ページ毎又はコマ毎の画像を前記表示手段の画面上でスクロールビュー又はコマビューによる閲覧を可能にするための表示制御情報と、前記画像内の登場人物の領域を示す存在領域情報とを含む電子コミックの情報を取得する情報取得手段と、
   前記取得した表示制御情報に基づいて前記ページ毎又はコマ毎の画像を前記表示手段の
   画面にスクロール再生又はコマ再生させる画像表示制御手段と、
   前記表示手段の画面に表示される画像中の吹き出し領域に、その吹き出し領域に対応す
   る翻訳文の全文が予め設定された文字サイズで入るか否かを判別する判別手段と、
   前記取得した吹き出し情報及びテキスト情報に基づいて前記画面に表示される画像中の
   吹き出し領域内の原文の台詞に替えて翻訳文を表示させる翻訳文表示制御手段であって、
   前記判別手段により翻訳文の全文が入ると判別されると、前記吹き出し領域内に前記翻訳
   文の全文を表示させ、前記判別手段により翻訳文の全文が入らないと判別されると、前記
   吹き出し領域に対応する吹き出しを横長の吹き出しに書き替え、この横長の吹き出しの吹
   き出し領域内に前記翻訳文を表示させる翻訳文表示制御手段と、
   を備え、
   前記翻訳文表示制御手段は、前記吹き出しの書き替え時に前記吹き出し口の位置情報に
   基づいて同じ位置に吹き出し口を有する吹き出しに書き替え、
   前記翻訳文表示制御手段は、前記吹き出しの書き替え時に前記存在領域情報に基づいて
   前記登場人物の領域と重ならないように吹き出しの書き替えを行う電子コミックのビューワ装置。
2. 前記判別手段は、前記表示手段の画面サイズの情報を有し、該画面サイズの情報に基づ
   いて前記表示手段の画面に表示される画像中の吹き出し領域であって、前記画面サイズに
   応じて表示される吹き出し領域に、その吹き出し領域に対応する翻訳文の全文が予め設定
   された文字サイズで入るか否かを判別する請求項１に記載の電子コミックのビューワ装置。
3. 前記テキスト情報は、文字サイズ及びフォントを含む属性情報を有し、
   前記翻訳文表示制御手段は、前記翻訳文のテキスト情報と前記文字の属性情報とに基づ
   いて表示用の文字を生成する請求項１又は２に記載の電子コミックのビューワ装置。
4. 前記文字サイズを変更させる文字サイズ変更手段を備えた請求項１から３のいずれか１項に記載の電子コミックのビューワ装置。
5. 前記表示手段の画面に表示される画像中の吹き出し領域に、その吹き出し領域に対応す
   る翻訳文の全文が予め設定された文字サイズと単位で入るように行数、行間隔又は文字間
   隔を自動的に調整する調整手段を備え、
   前記判別手段は、前記調整手段により調整された翻訳文の全文が、前記吹き出し領域に
   入るか否かを判別する請求項１から４のいずれか１項に記載の電子コミックのビューワ装置。
6. 前記吹き出し情報は、吹き出しの線の種類を含み、
   前記翻訳文表示制御手段は、前記吹き出しの書き替え時に前記吹き出しの線の種類に基
   づいて同じ種類の線を有する吹き出しに書き替える請求項１から５のいずれか１項に記載の電子コミックのビューワ装置。
7. 前記翻訳文表示制御手段は、前記吹き出しの書き替えにより新たに発生する画像のない
   領域に、その領域の周囲の画像から類推した画像を描画する請求項１から６のいずれか１項に記載の電子コミックのビューワ装置。
8. 前記翻訳文表示制御手段は、前記吹き出しの書き替えにより新たに発生する画像のない
   領域を、白色又は地色の画像で埋める請求項１から６のいずれか１項に記載の電子コミックのビューワ装置。
9. 請求項１から８のいずれか１項に記載のビューワ装置の機能を含むユーザ端末と、
   前記ユーザ端末からの要求に応じて前記電子コミックの情報を提供するサーバと、
   からなる電子コミックの閲覧システム。
10. 請求項１から８のいずれか１項に記載のビューワ装置を実現させるビューワプログラ
    ム。
11. 請求項１０に記載のビューワプログラムが記録された記録媒体。
12. 表示手段を備えた電子コミックのビューワ装置が、
    コミックのページ毎又はコマ毎の画像と、前記コミックの登場人物の台詞が入る吹き出
    しの前記画像内の領域を示す吹き出し領域の情報と吹き出し口の位置情報を含む吹き出し情報と、各吹き出し内の縦書きの原文の台詞を横書きの所定の言語に翻訳した翻訳文を示すテキスト情報であって、吹き出し毎に関連づけられたテキスト情報と、前記ページ毎又はコマ毎の画像を前記表示手段の画面上でスクロールビュー又はコマビューによる閲覧を可能にするための表示制御情報と、前記画像内の登場人物の領域を示す存在領域情報とを含む電子コミックの情報を取得するステップと、
    前記取得した表示制御情報に基づいて前記ページ毎又はコマ毎の画像を前記表示手段の
    画面にスクロール再生又はコマ再生させるステップと、
    前記表示手段の画面に表示される画像中の吹き出し領域に、その吹き出し領域に対応す
    る翻訳文の全文が予め設定された文字サイズで入るか否かを判別するステップと、
    前記取得した吹き出し情報及びテキスト情報に基づいて前記画面に表示される画像中の
    吹き出し領域内の原文の台詞に替えて翻訳文を表示させるステップであって、翻訳文の全
    文が入ると判別されると、前記吹き出し領域内に前記翻訳文の全文を表示させ、翻訳文の
    全文が入らないと判別されると、前記吹き出し領域に対応する吹き出しを横長の吹き出し
    に書き替え、この横長の吹き出しの吹き出し領域内に前記翻訳文を表示させるステップと
    、
    前記吹き出しの書き替え時に前記吹き出し口の位置情報に基づいて同じ位置に吹き出し口を有する吹き出しに書き替えるステップと、
    前記吹き出しの書き替え時に前記存在領域情報に基づいて前記登場人物の領域と重ならないように吹き出しの書き替えを行うステップと、
    を実行する電子コミックの表示方法。

Images