WO2014045723A1

WO2014045723A1 - 画像解析装置および画像表示制御装置ならびにそれらの動作制御方法およびそれらの動作制御プログラム

Info

Publication number: WO2014045723A1
Application number: PCT/JP2013/070851
Authority: WO
Inventors: 野中　俊一郎; 公生村田; 素寺横
Original assignee: 富士フイルム株式会社
Priority date: 2012-09-18
Filing date: 2013-08-01
Publication date: 2014-03-27

Abstract

　見開きの２ページにわたって割り当てられている見開きコマを１つのコマまたは別々のコマとして表示する。　見開きページ画像Ｐを構成するページ画像Ｐ１およびＰ２にわたって割り当てられている見開きコマＦ２の位置が，見開きページ画像Ｐを基準として検出されるとともに，ページ画像Ｐ１およびＰ２のそれぞれを基準として検出される。検出されたそれぞれの位置がコマ・データ・ファイルに記憶される。見開きコマＦ２を１つのコマとして表示する場合には，見開きページ画像ＰからコマＦ２が抽出される。見開きコマＦ２を別々のコマとして表示する場合には，ページ画像Ｐ１から，ページ画像Ｐ１に含まれている部分が抽出され，ページ画像Ｐ２から，ページ画像Ｐ２に含まれている部分が抽出される。

Description

画像解析装置および画像表示制御装置ならびにそれらの動作制御方法およびそれらの動作制御プログラム

　この発明は，画像解析装置および画像表示制御装置ならびにそれらの動作制御方法およびそれらの動作制御プログラムに関する。

　電子化された漫画をスマートフォンに代表される携帯電話に送信することにより，携帯電話の表示画面に漫画画像を表示できるようになってきている。漫画画像には，２ページに渡ってコマが配置されていることがあるために，ページが見開きかどうかの情報がファイルに配置されるものがある（特許文献１）。そして，見開きの場合には左右のページを縮小して表示する，あるいはコマごとに表示する。また，吹き出しデータがファイルに配置されるものがある（特許文献２）。さらに，表示域をフォーカスするものもある（特許文献３）。

特開平10-240903号公報特開平10-240953号公報特開2011-123519号公報

　特許文献１では，ページが見開きの場合には左右のページを縮小して表示する，あるいはコマごとに表示するので，見開きの２ページに渡っているコマのうち，左側のページに割り当てられている部分と右側のページに割り当てられている部分とを別々のコマとみなして表示することはできない。また，特許文献２および３では，そもそも見開きのページについては考えられていない。

　この発明は，見開きの２ページにわたってコマが割り当てられているような見開きコマを１つのコマまたは別々のコマとして表示できるようにすることを目的とする。

　第１の発明によるページ画像解析装置は，第１ページ画像と第２ページ画像とから構成される見開きの２ページにわたって割り当てられている見開きコマを含む見開きページ画像を１つの画像としたときの見開きコマの位置を検出する見開きコマ位置検出手段，第１ページ画像に含まれている見開きコマの第１の部分の第１ページ画像における位置（第１ページ画像を基準とした位置）を検出する第１部分位置検出手段，第２ページ画像に含まれている見開きコマの第２の部分の第２ページ画像における位置（第２ページ画像を基準とした位置）を検出する第２部分位置検出手段，見開きコマ位置検出手段によって検出された位置を表わす見開きコマ位置データ，第１部分位置検出手段によって検出された位置を表わす第１の部分位置データおよび第２部分位置検出手段によって検出された位置を表わす第２の部分位置データを，見開きページ画像を表わす見開き画像データに関連づけて記憶媒体に記憶する第１の記憶制御手段を備えていることを特徴とする。

　第１の発明は，上記ページ画像解析装置に適した動作制御方法も提供している。すなわち，この方法は，見開きコマ位置検出手段が，第１ページ画像と第２ページ画像とから構成される見開きの２ページにわたって割り当てられている見開きコマを含む見開きページ画像を１つの画像としたときの見開きコマの位置を検出し，第１部分位置検出手段が，第１ページ画像に含まれている見開きコマの第１の部分の第１ページ画像における位置を検出し，第２部分位置検出手段が，第２ページ画像に含まれている見開きコマの第２の部分の第２ページ画像における位置を検出し，第１の記憶制御手段が，見開きコマ位置検出手段によって検出された位置を表わす見開きコマ位置データ，第１部分位置検出手段によって検出された位置を表わす第１の部分位置データおよび第２部分位置検出手段によって検出された位置を表わす第２の部分位置データを，見開きページ画像を表わす見開き画像データに関連づけて記憶媒体に記憶するものである。

　第１の発明は，ページ画像解析装置の動作制御方法を実施するためのページ画像解析装置のコンピュータを制御するプログラムも提供している。そのようなプログラムを格納した記録媒体も提供するようにしてもよい。

　第１の発明によると，第１ページ画像と第２ページ画像とから構成される見開きの２ページにわたって割り当てられている見開きコマを含む見開きページ画像が１つの画像と見なされたときの見開きコマの位置，第１ページ画像に含まれている見開きコマの第１の部分の第１ページ画像における位置および第２ページ画像に含まれている見開きコマの第２の部分の第２ページ画像における位置がそれぞれ検出され，検出されたそれぞれの位置を示す見開きコマ・データ，第１の部分位置データおよび第２の部分位置データが記憶媒体に記憶される。

　見開きコマ・データを利用することにより，見開きページにおける見開きコマの位置が分るので，見開きコマ全体を表示画面に表示できる。また，第１の部分位置データを利用することにより，見開きページを構成する第１ページ画像に含まれている見開きコマの第１の部分の第１ページ画像における位置が分るので，その第１の部分を１つのコマとして表示画面に表示できる。さらに，第２部分位置データを利用することにより，見開きページを構成する第２ページ画像に含まれている見開きコマの第２の部分に第２ページ画像における位置が分るので，その第２の部分を１つのコマとして表示画面に表示できる。見開きの２ページにわたってコマが割り当てられているような見開きコマを１つのコマまたは別々のコマとして表示できるようになる。

　見開きページ画像を１つの画像としたときに，その見開きページ画像に含まれるコマの表示順序を示す見開き表示順序データを入力する見開き表示順序データ入力手段，第１ページ画像に含まれている第１部分をコマとして含むコマの表示順序を示す第１の表示順序データを入力する第１表示順序データ入力手段，第２ページ画像に含まれている第２部分をコマとして含むコマの表示順序を示す第２の表示順序データを入力する第２表示順序データ入力手段，ならびに見開き表示順序データ入力手段から入力された見開き表示順序データ，第１表示順序データ入力手段から入力された第１の表示順序データおよび第２表示順序データ入力手段から入力された第２の表示順序データを，見開きページ画像データに関連づけて記憶媒体に記憶する第２の記憶制御手段をさらに備えるようにしてもよい。

　また，見開きコマに対応して規定されている複数の吹き出しの位置を表わす吹き出し位置データを，見開きページ画像データに関連づけて記憶媒体に記憶する第３の記憶制御手段をさらに備えてもよい。

　複数の吹き出しの順序を示す吹き出し順序データを，見開きページ画像データに関連づけて記憶媒体に記憶する第４の記憶制御手段をさらに備えてもよい。

　第２の発明は，見開きコマ表示指令を入力する見開きコマ表示指令入力手段，見開きコマ表示指令入力手段から見開きコマ表示指令が入力されたことに応じて，第１ページ画像と第２ページ画像とから構成される見開きの２ページにわたって割り当てられている見開きコマを含む見開きページ画像を１つの画像としたときの見開きコマの位置を表わす見開きコマ位置データにもとづいて，見開きページ画像から見開きコマの画像を抽出する見開きコマ画像抽出手段，見開きコマ画像抽出手段によって抽出された見開きコマの画像を表示画面に表示するように表示装置を制御する第１の表示制御手段，見開きコマ分割表示指令を入力する見開きコマ分割表示指令入力手段，見開きコマ分割表示指令入力手段から見開きコマ分割表示指令が入力されたことに応じて，第１ページ画像に含まれている見開き駒の第１の部分の第１ページ画像における位置を表わす第１部分位置データおよび第２ページ画像に含まれている見開きコマの第２の部分の第２ページ画像における位置を表わす第２部分位置データにもとづいて，見開きページ画像または第１ページ画像および第２ページ画像から見開きコマの第１の部分の画像および見開きコマの第２の部分の画像をそれぞれ抽出する部分画像抽出手段，ならびに部分画像抽出手段によって抽出された見開きコマの第１の部分の画像および見開きコマの第２の部分の画像を表示順序にしたがって表示画面に表示するように表示装置を制御する第２の表示制御手段を備えていることを特徴とする。

　第２の発明は，画像表示制御装置に適した動作制御方法も提供している。すなわち，その方法は，コマ表示指令入力手段が，見開きコマ表示指令を入力し，見開きコマ画像抽出手段が，見開きコマ表示指令入力手段から見開きコマ表示指令が入力されたことに応じて，第１ページ画像と第２ページ画像とから構成される見開きの２ページにわたって割り当てられている見開きコマを含む見開きページ画像を１つの画像としたときの見開きコマの位置を表わす見開きコマ位置データにもとづいて，見開きページ画像から見開きコマの画像を抽出し，第１の表示制御手段が，見開きコマ画像抽出手段によって抽出された見開きコマの画像を表示画面に表示するように表示装置を制御し，見開きコマ分割表示指令入力手段が，見開きコマ分割表示指令を入力し，部分画像抽出手段が，見開きコマ分割表示指令入力手段から見開きコマ分割表示指令が入力されたことに応じて，第１ページ画像に含まれている見開き駒の第１の部分の第１ページ画像における位置を表わす第１部分位置データおよび第２ページ画像に含まれている見開きコマの第２の部分の第２ページ画像における位置を表わす第２部分位置データにもとづいて，見開きページ画像または第１ページ画像および第２ページ画像から見開きコマの第１の部分の画像および見開きコマの第２の部分の画像をそれぞれ抽出し，第２の表示制御手段が，部分画像抽出手段によって抽出された見開きコマの第１の部分の画像および見開きコマの第２の部分の画像を表示順序にしたがって表示画面に表示するように表示装置を制御するものである。

　第２の発明は，画像表示制御装置の動作制御方法を実施するための画像表示制御装置のコンピュータが読み取り可能なプログラムも提供している。そのようなプログラムを格納した記録媒体も提供するようにしてもよい。

　第２の発明によると，見開きコマ表示指令が入力されると，第１ページ画像と第２ページ画像とから構成される見開きの２ページにわたって割り当てられている見開きコマを含む見開きページ画像から，見開きコマ位置データにもとづいて見開きコマの画像が抽出される。抽出された見開きコマの画像が表示画面に表示される。見開きコマ分割表示指令が入力されると，第１部分位置データにもとづいて，見開きコマを構成し，かつ第１ページに含まれている第１の部分の画像が抽出され，第２部分位置データにもとづいて，見開きコマを構成し，かつ第２ページに含まれている第２の部分の画像が抽出される。第１の部分の画像および第２の部分の画像が表示順序にしたがって，表示画面に順に表示される。見開きの２ページにわたってコマが割り当てられているような見開きコマを１つのコマまたは別々のコマとして表示できるようになる。

　見開きコマに対応して規定される複数の吹き出しの順序を示す吹き出し順序データによって示される吹き出しの順序にしたがって，複数の吹き出しの位置を表わす吹き出し位置データにもとづいて決定される位置にある吹き出しの表示態様を変えるように表示装置を制御する第３の表示制御手段をさらに備えるようにしてもよい。

画像解析装置の電気的構成を示すブロック図である。見開きページ画像の一例である。第１ページ画像および第２ページ画像の一例である。コマ・データ・ファイルの一例である。コマ・データ・ファイルの一例である。関連ファイル・テーブルの一例である。関連ファイル・テーブルの一例である。画像解析装置の処理手順を示すフローチャートである。画像解析装置の処理手順を示すフローチャートである。携帯電話の電気的構成を示すブロック図である。コマ表示の一例を示している。コマ表示の一例を示している。携帯電話の処理手順を示すフローチャートである。携帯電話の処理手順を示すフローチャートである。携帯電話の処理手順を示すフローチャートである。

　図１は，この発明の実施例を示すもので，画像解析装置１の電気的構成を示すブロック図である。

　画像解析装置１の全体の動作は，ＣＰＵ６によって統括される。

　画像解析装置１は，コミックなどの漫画をスキャンすることにより得られる漫画画像を解析するものである。漫画画像は複数のページ画像から構成されており，それぞれのページ画像には１または複数のコマが割り当てられている。２ページの見開きにわたってコマが割り当てられていることもある。また，コマの中にはセリフ等が記述されている吹き出しが形成されていることもある。この実施例では，これらのコマおよび吹き出しの位置等が検出される。

　画像解析装置１には，表示装置２，通信装置３，紙の漫画をスキャンするためのスキャナ４，データ等を記憶するメモリ５，キーボードなどの入力装置７が含まれている。また，画像解析装置１には，後述する動作を制御するプログラムが格納されているコンパクト・ディスク10にアクセスするためのＣＤ（コンパクト・ディスク）ドライブ８も含まれている。さらに，画像解析装置１には，ハードディスク（図示略）にアクセスするためのＨＤ（ハードディスク）ドライブ９も含まれている。

　コンパクト・ディスク10がＣＤドライブ８に装填されることにより，コンパクト・ディスク10に格納されている動作プログラムが読み取られ，読み取られた動作プログラムが画像解析装置１にインストールされる。もちろん，インターネット等を介して動作プログラムが送信され，通信装置３を利用してダウンロードすることにより，動作プログラムが画像解析装置１にインストールされるようにしてもよい。

　図２は，漫画画像を構成する見開きページ画像Ｐの一例である。

　見開きページ画像Ｐは，第１ページ画像Ｐ１と第２ページ画像Ｐ２とから構成される。見開きページ画像Ｐには，第１ページ画像Ｐ１と第２ページ画像Ｐ２とにわたって割り当てられている見開きコマＦ２が含まれている。そのような見開きコマのほかに，第１ページ画像Ｐ１にはコマＦ１およびＦ４が，第２ページ画像Ｐ２にはコマＦ３およびＦ５が含まれている。

　この実施例では，コマＦ２のような見開きコマが含まれている見開きページ画像Ｐについては，第１ページ画像Ｐ１と第２ページ画像Ｐ２とを合わせて一つの画像と見なされるとともに，図３に示すように，第１ページ画像Ｐ１と第２ページ画像Ｐ２との２つのページ画像と見なされる。

　図２に示すように，第１ページ画像Ｐ１と第２ページ画像Ｐ２とから構成される一つのページ画像Ｐとして見なされる場合，ページ画像Ｐに含まれる各コマＦ１からＦ５の位置はページ画像Ｐの左上の頂点(X02，Y02)を原点として規定される。たとえば，コマＦ１の位置は，コマＦ１の左上の頂点の位置(x11，y11)，右上の頂点(x12，y12)，左下の頂点(x13，y13)および右下の頂点(x14，y14)によって規定される。同様に，見開きコマＦ２の位置は，コマＦ２の左上の頂点の位置(x21，y21)，右上の頂点(x22，y22)，左下の頂点(x23，y23)および右下の頂点(x24，y24)によって規定される。その他のコマＦ３，Ｆ４およびＦ５についても同様に規定される。

　また，図２においては，各コマＦ１からＦ５にNo.が付されており，見開きページＰを閲覧する場合には，そのNo.の順にコマを読むことが想定されている。見開きページ画像を１つの画像と見なした場合には，コマＦ１，コマＦ２，コマＦ３，コマＦ４およびコマＦ５の順にコマを読むことが想定されることとなる。

　さらに，コマＦ１には吹き出しＢ１が含まれており，コマＦ２には吹き出しＢ21およびＢ22が含まれており，コマＦ３には吹き出しＢ３が含まれており，コマＦ４には吹き出しＢ４が含まれており，コマＦ５には吹き出しＢ６およびＢ７が含まれている。吹き出しもコマと同様にセリフを読む順序が想定されている。図２においては，吹き出しの中に符号「ｒ」と算用数字とから構成される文字列が記載されている。その算用数字の順に吹き出しのセリフが読まれることが想定されている。吹き出しについてもコマと同様にページ画像Ｐの左上の頂点(X02，Y02)を原点として位置が検出される。もっともコマＦ１からＦ５は矩形であるので（矩形でなくともよいのはいうまでもない），４つの頂点位置によって位置が規定されているが，吹き出しは矩形ではないので，その吹き出しの外接する多角形に位置によって位置が規定される。たとえば，この実施例では吹き出しは外接する30角形の位置によって，その位置が規定される。

　図３は，見開きページ画像Ｐを構成する第１ページ画像Ｐ１および第２ページ画像Ｐ２の一例である。

　見開き画像が，別々の第１ページ画像Ｐ１と第２ページ画像Ｐ２との２つの画像から構成されると見なされる場合，上述したように第１ページ画像Ｐ１と第２ページ画像Ｐ２にわたって割り当てられている見開きコマＦ２は，第１ページ画像Ｐ１に含まれている第１の部分のコマＦ21と第２ページ画像Ｐ２に含まれている第２部分のコマＦ22とに分けられる。第１ページ画像Ｐ１には，コマＦ１およびＦ３ならびに第１部分のコマＦ21が含まれ，第２ページ画像Ｐ２には，コマＦ３およびＦ５ならびに第２部分のコマＦ22が含まれることとなる。

　第１ページ画像Ｐ１に含まれるコマＦ１，Ｆ21およびＦ４の位置は，第１ページ画像Ｐ１の左上の頂点(X01，Y01)を原点として規定される。また，第２ページ画像Ｐ２に含まれるコマＦ22，Ｆ３およびＦ５の位置は，第２ページ画像Ｐ２の左上の頂点(X02，Y02)を原点として規定される。

　また，第１ページ画像Ｐ１に含まれるコマＦ１，Ｆ21およびＦ４の表示順序もNo.で規定されており，第２ページ画像Ｐ２に含まれるコマＦ22，Ｆ３およびＦ５の表示順序もNo.で規定されている。見開き画像Ｐが別々の第１ページ画像Ｐ１および第２ページ画像Ｐ２から構成されていると見なされる場合には，第１ページ画像Ｐ１のコマＦ１，コマＦ21，コマＦ４，第２ページ画像Ｐ２のコマＦ22，Ｆ３，Ｆ５の順番で表示されるようになる。

　図４および図５は，見開きページ画像についてのコマ・データ・ファイルの一例である。

　コマ・データ・ファイルは，上述したように，コマの位置，コマの表示順序，吹き出しの位置，吹き出しの表示順序等を示すデータを格納するものである。コマ・データ・ファイルには分りやすくするための行数が付されている。

　コマ・データ・ファイルの第１行目は，見開きページ画像についてのコマ・データ・ファイルであることを示している。

　コマ・データ・ファイルの第２行目から第５行目は，第１ページ画像Ｐ１のコマＦ１，Ｆ21およびＦ４についてのコマ情報が記述されている。コマ・データ・ファイルの第６行目から第９行目は，第２ページ画像Ｐ２のコマＦ22，Ｆ３およびＦ５についてのコマ情報が記述されている。コマ・データ・ファイルの第10行目から第16行目は，見開きページ画像ＰのコマＦ１，Ｆ２，Ｆ３，Ｆ４，Ｆ５およびＦ６についてのコマ情報が記述されている。

　また，コマ・データ・ファイルの第17行目は，吹き出しデータについての記述が始まることを示している。コマ・データ・ファイルの第18行目から第21行目は，第１ページ画像Ｐ１の吹き出しＢ１，Ｂ21およびＢ４についての吹き出し情報が記述されている。コマ・データ・ファイルの第22行目から第26行目は，第２ページ画像Ｐ２の吹き出しＢ22，Ｂ３，Ｂ５およびＢ６についての吹き出し情報が記述されている。コマ・データ・ファイルの第27行目から第34行目は，見開きページ画像Ｐの吹き出しＢ１，Ｂ21，Ｂ22，Ｂ３，Ｂ４，Ｂ５およびＢ６についての吹き出し情報が記述されている。

　コマ・データ・ファイルの第２行目，第６行目および第11行目は，第１ページ画像Ｐ１のコマ数，第２ページ画像Ｐ２のコマ数および見開きページ画像のコマ数を示している。コマ・データ・ファイルの第３行目から第５行目，第７行目から第９行目および第12行目から第16行目は，コマの表示順序，コマの頂点の数およびコマの位置をそれぞれ表わしている。たとえば，第３行目から第５行目に示されているように，第１ページ画像Ｐ１のコマの表示順序は，コマ・データ・ファイルの行数順であり，コマＦ１，Ｆ21およびＦ４の順で表示される。第２ページ画像Ｐ１および見開きページ画像Ｐについても同様である。また，第３行目から第５行目において，表示されるコマの識別データ（Ｆ１など），コマの頂点の数（４）およびコマの位置（x61など）の順に記述されている。第７行目から第９行目および第12行目から第16行目に示される第２ページ画像Ｐ２および見開きページ画像Ｐについても同様である。コマの識別データが同じであれば，同じコマを示している。たとえば，第３行目のコマの識別データＦ１は第１ページＰ１のコマＦ１を示しており，第12行目のコマの識別データＦ１は見開きページＰのコマＦ１を示しており，それらのコマＦ１は同じコマを示している。その他のコマについても同様である。さらに，コマの位置については，コマの位置を示す座標を順にたどっていくとそのコマが形成されるように配置されている。たとえば，第３行目に示すように第１ページのコマＦ１であれば，(x61，y11)，(x61，y12)，(x63，y13)および(x64，y14)の順にたどっていくことにより,コマＦ１が形成される。

　コマ・データ・ファイルの第18行目，第22行目および第27行目は，第１ページ画像Ｐ１の吹き出し数，第２ページ画像Ｐ２の吹き出し数および見開きページ画像Ｐの吹き出しが規定されている。コマ・データ・ファイルの第19行目から第21行目，第23行目から第26行目および第28行目から第34行目は，吹き出しの順序，吹き出しの頂点の数および吹き出しの位置をそれぞれ表わしている。たとえば，第19行目から第21行目に示されているように，第１ページ画像Ｐ１の吹き出しの順序は，コマ・データ・ファイルの行数順であり，吹き出しＢ１，Ｂ21およびＢ４の順で表示される。第２ページ画像Ｐ１および見開きページ画像Ｐについても同様である。また，第18行目から第21行目において，吹き出しの識別データ（Ｂ１など），吹き出しの頂点の数（30）および吹き出しの位置（x101など）の順に記述されている。第23行目から第26行目および第28行目から第34行目に示される第２ページ画像Ｐ２および見開きページ画像Ｐについても同様である。

　図６および図７は，関連するファイルを示す関連ファイル・テーブルの一例である。

　図６は，見開きページ画像Ｐについての関連ファイル・テーブルの一例である。

　見開きページ画像Ｐ，第１ページ画像Ｐ１，第２ページ画像Ｐ２およびコマ・データは，ファイル名「imageP.jpg」の画像ファイル，ファイル名「imageP1.jpg」の画像ファイル，ファイル名「imageP2.jpg」およびファイル名「frameP.txt」によって表わされる。これらのファイルが互いに関連するものとして関連ファイル・テーブルに格納されている。もっとも見開きページ画像Ｐは第１ページ画像Ｐ１と第２ページ画像Ｐ２とを合わせたものであるから，見開きページ画像を記憶しておかずに，第１ページ画像Ｐ１と第２ページ画像Ｐ２とから見開きページ画像を生成するようにしてもよい。

　図７は，第３ページ画像Ｐ３についての関連ファイル・テーブルである。

　第３ページ画像Ｐ３は，見開きコマが含まれていない。このために，第３ページ画像Ｐ３を表わすファイルのファイル名「imageP3.jpg」およびコマ・データが格納されているファイルのファイル名「frame3.txt」が互いに関連するものとして関連ファイル・テーブルに格納されている。

　他のページ画像についても同様な関連ファイル・テーブルが生成されている。関連ファイル・テーブルを参照することにより，表示に必要なファイルを読み出すことができる。

　図８および図９は，見開きページ画像Ｐについての画像解析装置１の処理手順を示すフローチャートである。

　紙の見開きページがスキャナ４によってスキャンされ，見開きページ画像データが得られる（ステップ21）。得られた見開きページ画像Ｐから，図２に示したように見開きページ画像ＰにおけるコマＦ１からＦ５の位置および吹き出しＢ１からＢ６の位置が，それぞれ検出される（ステップ22）。コマＦ１からＦ５の枠を検出することにより，コマＦ１からＦ５の位置が検出される。また，吹き出しＢ１からＢ６については吹き出しの形状があらかじめ定められており，そのような形状の中に文字列が記載されていることにより，吹き出しの位置が検出される。コマＦ１からＦ５の位置および吹き出しＢ１からＢ６の位置が，それぞれ検出されると，それらの位置および形状を表わすデータが，コマ・データ・ファイルに格納される（ステップ23）。

　つづいて，図３に示すように，第１ページＰ１におけるコマＦ１，Ｆ21およびＦ４の位置ならびに吹き出しＢ１，Ｂ21およびＢ４の位置が検出され（ステップ24），第２ページＰ２におけるコマＦ22，Ｆ３およびＦ５の位置ならびに吹き出しＢ22，Ｂ３，Ｂ５およびＢ６の位置が検出される（ステップ25）。検出されたそれぞれのコマの位置および吹き出しの位置もコマ・データ・ファイルに格納される（ステップ26）。

　つづいて，見開きページ画像Ｐが表示装置２の表示画面に表示され，見開きページ画像Ｐに含まれるコマを指定しながら，入力装置７によって見開きページ画像Ｐにおけるコマの表示順序が入力される（ステップ27）。また，第１ページ画像Ｐ１が表示画面に表示さ，第１ページ画像に含まれるコマを指定しながら，入力装置７によって第１ページ画像Ｐ１におけるコマの表示順序が入力される（ステップ28）。さらに，第２ページ画像Ｐ２が表示画面に表示され，第２ページ画像に含まれるコマを指定しながら，入力装置７によって第２ページ画像Ｐ２におけるコマの表示順序が入力される（ステップ29）。

　入力されたコマの表示順序にコマ位置等のコマ情報が並び換えられる（ステップ30）。

　つづいて，再び見開きページ画像Ｐが表示装置４の表示画面に表示され，見開きページ画像Ｐにおける吹き出しが指定されながら，吹き出しの表示順序が入力装置７から入力される（ステップ31）。また，上述と同様に，第１ページ画像Ｐ１が表示装置４の表示画面に表示され，第１ページ画像Ｐ１における吹き出しの表示順序が入力される（ステップ32）。さらに，第２ページ画像Ｐ２が表示装置４の表示画面に表示され，第２ページ画像Ｐ２における吹き出しの表示順序が入力される（ステップ33）。

　入力された吹き出しの表示順序に吹き出しの位置等の吹き出し情報が並び換えられる（ステップ34）。

　このようにして，図４および図５に示すコマ・データ・ファイルが生成される。生成されたコマ・データ・ファイルはメモリ15に記憶される。

　図10から図15は，他の実施例を示すもので，携帯電話41を利用して上述した漫画画像（ページ画像）を閲覧するものである。

　図10は，いわゆるスマートフォンと呼ばれる多機能携帯電話41の電気的構成を示すブロック図である。この実施例は，複数のページ画像から構成される漫画画像を携帯電話41の表示画面に表示するものである。

　携帯電話41の全体の動作は，ＣＰＵ42によって統括される。

　携帯電話41には，表示制御装置43によって漫画画像の表示が制御される表示装置44が含まれている。表示装置44の表示画面上にはタッチ・パネル45が形成されている。

　携帯電話41には，データを記憶するメモリ46およびインターネットなどのネットワークと通信するための通信装置47も含まれている。また，携帯電話41には，メモリ・カード・インターフェイス51も設けられている。後述する動作プログラムが格納されているメモリ・カード52などのような記録媒体がメモリ・カード・インターフェイス51に装填され，メモリ・カード52から動作プログラムが読み取られると，その動作プログラムが携帯電話41にインストールされる。もちろん，通信装置47を利用して動作プログラムをダウンロードして，その動作プログラムが携帯電話41にインストールされるようにしてもよい。

　携帯電話41には，マイクロフォン49およびスピーカ50も設けられている。また，これらのマイクロフォン49から入力した音声，スピーカ50から出力される音声を制御するための音声制御装置48も携帯電話１に含まれている。

　上述したように画像解析装置１において生成されたコマ・データ・ファイル，見開きページ画像などを表わす漫画画像の画像データ，関連ファイル・テーブルなどは，インターネットを介して携帯電話41に送信される。それらの画像データは携帯電話41において受信されると，メモリ46に記憶される。

　図11は，表示装置44の表示画面に１コマずつ表示されるコマ表示処理のときのコマの様子を示している。図11においては，見開きのコマＦ２が一つのコマとして表示されるとき（見開きページ画像Ｐが一つの画像と見なされるとき）の様子を示している。

　図４および図５に示したコマ・データ・ファイルに記述されているように，見開きページ画像Ｐが一つの画像と見なされるときのコマの表示順序は，Ｆ１，Ｆ２，Ｆ３，Ｆ４およびＦ５である。このために，図11に示すように，Ｆ１，Ｆ２，Ｆ３，Ｆ４およびＦ５の順序で一コマずつ表示装置44の表示画面に画像が表示される。図11においては，コマの表示順序を説明するために一つのコマだけが表示装置44の表示画面表示されるように図示されているが，表示装置44の表示画面の大きさに合わせて一コマの周囲の画像部分も表示画面に表示されるのはいうまでもない。

　また，見開きコマＦ２には，２つの吹き出しＢ21およびＢ22が含まれている。一つの見開きコマＦ２に２つの吹き出しＢ21およびＢ22が含まれていると，どちらの吹き出しＢ21またはＢ22を先に読めばよいのかユーザが分らないことがあるので，この実施例では吹き出しデータにしたがって，吹き出しを読むべき順序が知らされる。図５に示すコマ・データ・ファイルを参照すると，見開きページ画像Ｐの場合，図５のコマ・データ・ファイルの第29行には吹き出しＢ21が規定され，第30行には吹き出しＢ22が規定されているから，吹き出しＢ21を先に読み，その後に吹き出しＢ22を読めばよいことがわかる。そのために，先に読むことが分るように，吹き出しＢ21が点滅し（ハッチングで示す），一定時間の経過後に，吹き出しＢ22が点滅する。

　図12も，図11と同様に，表示装置44の表示画面に１コマずつ表示されるコマ表示処理のときのコマの様子を示している。但し，図12においては図11と異なり，見開きのコマＦ12は第１部分のコマＦ21と第２の部分のコマＦ22とに分かれて表示されるとき（見開きページ画像Ｐが第１ページ画像Ｐ１と第２ページ画像Ｐ２と別々の画像と見なされるとき）の様子を示している。

　図４および図５に示したコマ・データ・ファイルに記述されているように，第１ページ画像Ｐ１のコマの表示順序は，Ｆ１，Ｆ21およびＦ４であり，第２ページ画像Ｐ２のコマの表示順序は，Ｆ22，Ｆ３およびＦ５である。このために，図12に示すように，Ｆ１，Ｆ21，Ｆ４，Ｆ22，Ｆ３およびＦ５の順序で一コマずつ表示装置44の表示画面に画像が表示される。図12においても，コマの表示順序を説明するために一つのコマだけが表示装置44の表示画面表示されるように図示されているが，表示装置44の表示画面の大きさに合わせて一コマの周囲の画像部分も表示画面に表示されるのはいうまでもない。

　図13から図15は，携帯電話41の処理手順を示すフローチャートである。

　まず，表示画面に１ページ画像（または見開きページ画像）を表示するページ表示処理または表示画面に１コマ（およびその周辺の画像部分）を表示するコマ表示処理のいずれが設定されているかが確認される（ステップ61）。タッチ・パネル45を用いて，ページ表示処理またはコマ表示処理のいずれかがあらかじめ設定されているので，その設定状況が確認される。

　ページ表示処理が設定されていると（ステップ61でＹＥＳ），ページ・パラメータｎが１にリセットされる（ステップ62）。第ｎページの画像データがメモリ46（上述した画像ファイル，コマ・データ・ファイル等は，あらかじめメモリ46に格納されている）から読み取られる（ステップ63）。第ｎページ画像が見開きページ画像かどうかが，上述した関連ファイル・テーブルを参照して確認される（ステップ64）。見開きページ画像であれば（ステップ64でＹＥＳ），分割ページ表示に設定されているかどうかが確認される（ステップ65）。分割ページ表示の設定はタッチ・パネル45によりあらかじめ行われている。分割ページ表示に設定されていないと（ステップ65でＮＯ），見開きページ画像データがメモリ46から読み取られる（ステップ66）。読み取られた見開きページ画像Ｐが，図２に示すように１つのページ画像として表示装置44の表示画面に表示される（ステップ67）。必要に応じて縮小処理または回転処理などが行われるのはいうまでもない。

　第ｎページ画像が見開きページでなければ（ステップ64でＮＯ），その読み取られた１ページのページ画像が表示装置44の表示画面に表示される（ステップ67）。また，見開きページであっても分割ページ表示が設定されていると（ステップ65でＹＥＳ），図３に示すように見開きページＰを構成する第１ページ画像Ｐ１または第２ページ画像Ｐ２が表示装置44の表示画面に表示される（ステップ67）。

　漫画画像を構成するすべてのページ画像の表示が終了していなければ（ステップ68でＮＯ），表示装置44の表示画面がタップされる，あるいは一定時間が経過することにより（ステップ69でＹＥＳ），単独ページ画像表示（見開きページ画像表示以外の表示）であれば，ページ・パラメータｎが１だけ増加され，見開きページ画像表示であればページ・パラメータｎが２だけ増加される（ステップ70）。次の第ｎページの画像データが再び読み取られる（ステップ63）。

　見開きページ画像Ｐを表示することもできるし，見開きページ画像Ｐを構成する第１ページ画像Ｐ１および第２ページ画像Ｐ２を単独で表示することもできるようになる。

　コマ表示処理が設定されていると（ステップ71でＹＥＳ），ページ・パラメータｎおよびコマ・パラメータｍがそれぞれ１にリセットされる（ステップ72）。第ｎページの画像データがメモリ46から読み取られる（ステップ73）。

　第ｎページ画像が見開きページであれば，分割コマ表示が設定されているかどうかが確認される（ステップ74）。タッチ・パネル45により，あらかじめ分割コマ表示の設定が行われる。分割コマ表示が設定されていなければ（ステップ75でＮＯ），見開きページ画像Ｐが読み取られる（ステップ76）。見開きページ画像Ｐについてのコマ・データ・ファイルに記述されている見開きコマ情報にしたがって第ｍ番目の表示順序のコマが見開きページ画像Ｐから抽出され，表示装置44の表示画面に表示される（ステップ77）。たとえば，第ｍ番目の表示順序のコマが図11に示すように見開きコマＦ２であるとすると，その見開きコマＦ２が一つのコマとして表示装置44の表示画面に表示されるようになる。

　第ｎページ画像が見開きページ画像Ｐを構成するページであっても（ステップ74でＹＥＳ），分割コマ表示が設定されていると（ステップ75でＹＥＳ），その見開きページＰを構成する第ｎページ画像に対応してコマ・データ・ファイルに記述されているコマ情報（分割コマ情報）にしたがって，第ｍ番目の表示順序のコマが見開きページ画像Ｐまたは見開きページ画像を構成する第１ページ画像Ｐ１もしくは第２ページ画像Ｐ２から抽出され，表示装置44の表示画面に表示される（ステップ78）。たとえば，図12に示すように，見開きコマＦ２を構成する第１部分のコマＦ21と第２部分のコマＦ22とが別々のコマとして表示される。また，見開きページ画像Ｐでは無い場合も，その第ｎページ画像に対応してコマ・データ・ファイルに記述されているコマ情報にしたがって，第ｍ番目の表示順序のコマが表示装置44の表示画面に表示される（ステップ78）。

　漫画画像を構成するすべてのページ画像の表示が終了していなければ（ステップ79でＮＯ），表示装置44の表示画面がタップされる，あるいは一定時間が経過することにより（ステップ80でＹＥＳ），第ｎページ画像のすべてのコマを表示したかどうかが確認される（ステップ81）。

　すべてのコマは表示されていなければ（ステップ81でＮＯ），コマ・パラメータｍがインクレメントされ（ステップ82），再び，図14ステップ75からの処理が繰り返される。第ｎページ画像のすべてのコマが表示されていると（ステップ81でＹＥＳ），単独ページ画像表示であれば，ページ・パラメータｎが１だけ増加され，見開きページ画像表示であればページ・パラメータｎが２だけ増加される（ステップ83）。次の第ｎページの画像データが読み取られる（ステップ73）。

　さらに，コマ・データ・ファイルには吹き出しデータが格納されているので，上述のようにその吹き出しデータによって規定される吹き出し順序にしたがって吹き出しの表示態様を変えて表示することもできる。コマ表示処理の場合であれば，図11および図12で示したように，コマの中に複数の吹き出しがある場合に，その読むべき吹き出しの表示態様を変えることより，吹き出しを読む順序をユーザに知らせることができるし，ページ画像表示であれば，そのページ画像に含まれる吹き出しを読むべき順序にしたがって表示態様を変えることにより，読む順序をユーザに知らせることができる。

　上述の実施例では漫画画像について説明したが，漫画画像に限らず見開きの２ページに渡ってコマが割り当てられている電子アルバム，フォト・ブックなどにも適用できるのはいうまでもない。

１　画像解析装置
６　ＣＰＵ（見開きコマ位置検出手段，第１部分位置検出手段，第２部分位置検出手段，第１の記憶制御手段，第２の記憶制御手段，第３の記憶制御手段，第４の記憶制御手段）
７　入力装置（見開き表示順序データ入力手段，第１表示順序入力手段，第２表示順序データ入力手段）
41　携帯電話（画像表示制御装置）
42　ＣＰＵ（見開きコマ画像抽出手段，部分画像抽出手段，）
43　表示制御装置（第１の表示制御手段，第２の表示制御手段，第３の表示制御手段）
45　タッチ・パネル（見開きコマ表示指令入力手段，分割表示指令入力手段）

Claims

　第１ページ画像と第２ページ画像とから構成される見開きの２ページにわたって割り当てられている見開きコマを含む見開きページ画像を１つの画像としたときの見開きコマの位置を検出する見開きコマ位置検出手段，
　第１ページ画像に含まれている見開きコマの第１の部分の第１ページ画像における位置を検出する第１部分位置検出手段，
　第２ページ画像に含まれている見開きコマの第２の部分の第２ページ画像における位置を検出する第２部分位置検出手段，
　上記見開きコマ位置検出手段によって検出された位置を表わす見開きコマ位置データ，上記第１部分位置検出手段によって検出された位置を表わす第１の部分位置データおよび上記第２部分位置検出手段によって検出された位置を表わす第２の部分位置データを，見開きページ画像を表わす見開き画像データに関連づけて記憶媒体に記憶する第１の記憶制御手段，
　を備えたページ画像解析装置。
　見開きページ画像を１つの画像としたときに，その見開きページ画像に含まれるコマの表示順序を示す見開き表示順序データを入力する見開き表示順序データ入力手段，
　第１ページ画像に含まれている第１部分をコマとして含むコマの表示順序を示す第１の表示順序データを入力する第１表示順序データ入力手段，
　第２ページ画像に含まれている第２部分をコマとして含むコマの表示順序を示す第２の表示順序データを入力する第２表示順序データ入力手段，ならびに
　上記見開き表示順序データ入力手段から入力された見開き表示順序データ，上記第１表示順序データ入力手段から入力された第１の表示順序データおよび上記第２表示順序データ入力手段から入力された第２の表示順序データを，上記見開きページ画像データに関連づけて上記記憶媒体に記憶する第２の記憶制御手段，
　をさらに備えた請求項１に記載のページ画像解析装置。
　見開きコマに対応して規定されている複数の吹き出しの位置を表わす吹き出し位置データを，上記見開きページ画像データに関連づけて上記記憶媒体に記憶する第３の記憶制御手段，
　をさらに備えた請求項１または２に記載のページ画像解析装置。
　上記複数の吹き出しの順序を示す吹き出し順序データを，上記見開きページ画像データに関連づけて上記記憶媒体に記憶する第４の記憶制御手段，
　をさらに備えた請求項３に記載のページ画像解析装置。
　見開きコマ表示指令を入力する見開きコマ表示指令入力手段，
　上記見開きコマ表示指令入力手段から見開きコマ表示指令が入力されたことに応じて，第１ページ画像と第２ページ画像とから構成される見開きの２ページにわたって割り当てられている見開きコマを含む見開きページ画像を１つの画像としたときの見開きコマの位置を表わす見開きコマ位置データにもとづいて，見開きページ画像から見開きコマの画像を抽出する見開きコマ画像抽出手段，
　上記見開きコマ画像抽出手段によって抽出された見開きコマの画像を表示画面に表示するように表示装置を制御する第１の表示制御手段，
　見開きコマ分割表示指令を入力する見開きコマ分割表示指令入力手段，
　上記見開きコマ分割表示指令入力手段から見開きコマ分割表示指令が入力されたことに応じて，第１ページ画像に含まれている見開き駒の第１の部分の第１ページ画像における位置を表わす第１部分位置データおよび第２ページ画像に含まれている見開きコマの第２の部分の第２ページ画像における位置を表わす第２部分位置データにもとづいて，見開きページ画像または第１ページ画像および第２ページ画像から見開きコマの第１の部分の画像および見開きコマの第２の部分の画像をそれぞれ抽出する部分画像抽出手段，ならびに
　上記部分画像抽出手段によって抽出された見開きコマの第１の部分の画像および見開きコマの第２の部分の画像を表示順序にしたがって表示画面に表示するように上記表示装置を制御する第２の表示制御手段，
　を備えた画像表示制御装置。
　見開きコマに対応して規定される複数の吹き出しの順序を示す吹き出し順序データによって示される吹き出しの順序にしたがって，上記複数の吹き出しの位置を表わす吹き出し位置データにもとづいて決定される位置にある吹き出しの表示態様を変えるように上記表示装置を制御する第３の表示制御手段，
　をさらに備えた請求項５に記載の画像表示制御装置。
　見開きコマ位置検出手段が，第１ページ画像と第２ページ画像とから構成される見開きの２ページにわたって割り当てられている見開きコマを含む見開きページ画像を１つの画像としたときの見開きコマの位置を検出し，
　第１部分位置検出手段が，第１ページ画像に含まれている見開きコマの第１の部分の第１ページ画像における位置を検出し，
　第２部分位置検出手段が，第２ページ画像に含まれている見開きコマの第２の部分の第２ページ画像における位置を検出し，
　第１の記憶制御手段が，上記見開きコマ位置検出手段によって検出された位置を表わす見開きコマ位置データ，上記第１部分位置検出手段によって検出された位置を表わす第１の部分位置データおよび上記第２部分位置検出手段によって検出された位置を表わす第２の部分位置データを，見開きページ画像を表わす見開き画像データに関連づけて記憶媒体に記憶する，
　ページ画像解析装置の動作制御方法。
　コマ表示指令入力手段が，見開きコマ表示指令を入力し，
　見開きコマ画像抽出手段が，上記見開きコマ表示指令入力手段から見開きコマ表示指令が入力されたことに応じて，第１ページ画像と第２ページ画像とから構成される見開きの２ページにわたって割り当てられている見開きコマを含む見開きページ画像を１つの画像としたときの見開きコマの位置を表わす見開きコマ位置データにもとづいて，見開きページ画像から見開きコマの画像を抽出し，
　第１の表示制御手段が，上記見開きコマ画像抽出手段によって抽出された見開きコマの画像を表示画面に表示するように表示装置を制御し，
　見開きコマ分割表示指令入力手段が，見開きコマ分割表示指令を入力し，
　部分画像抽出手段が，上記見開きコマ分割表示指令入力手段から見開きコマ分割表示指令が入力されたことに応じて，第１ページ画像に含まれている見開き駒の第１の部分の第１ページ画像における位置を表わす第１部分位置データおよび第２ページ画像に含まれている見開きコマの第２の部分の第２ページ画像における位置を表わす第２部分位置データにもとづいて，見開きページ画像または第１ページ画像および第２ページ画像から見開きコマの第１の部分の画像および見開きコマの第２の部分の画像をそれぞれ抽出し，
　第２の表示制御手段が，上記部分画像抽出手段によって抽出された見開きコマの第１の部分の画像および見開きコマの第２の部分の画像を表示順序にしたがって表示画面に表示するように上記表示装置を制御する，
　画像表示制御装置の動作制御方法。
　ページ画像解析装置のコンピュータを制御するコンピュータが読み取り可能なプログラムであって，
　第１ページ画像と第２ページ画像とから構成される見開きの２ページにわたって割り当てられている見開きコマを含む見開きページ画像を１つの画像としたときの見開きコマの位置を検出させ，
　第１ページ画像に含まれている見開きコマの第１の部分の第１ページ画像における位置を検出させ，
　第２ページ画像に含まれている見開きコマの第２の部分の第２ページ画像における位置を検出させ，
　検出された見開きコマの位置を表わす見開きコマ位置データ，検出された第１の部分の位置を表わす第１の部分位置データおよび検出された第２の部分の位置を表わす第２の部分位置データを，見開きページ画像を表わす見開き画像データに関連づけて記憶媒体に記憶させるようにページ画像解析装置のコンピュータを制御するプログラム。
　画像表示制御装置のコンピュータを制御するコンピュータが読み取り可能なプログラムであって，
　見開きコマ表示指令が入力されたことに応じて，第１ページ画像と第２ページ画像とから構成される見開きの２ページにわたって割り当てられている見開きコマを含む見開きページ画像を１つの画像としたときの見開きコマの位置を表わす見開きコマ位置データにもとづいて，見開きページ画像から見開きコマの画像を抽出させ，
　抽出された見開きコマの画像を表示画面に表示するように表示装置を制御させ，
　見開きコマ分割表示指令が入力されたことに応じて，第１ページ画像に含まれている見開き駒の第１の部分の第１ページ画像における位置を表わす第１部分位置データおよび第２ページ画像に含まれている見開きコマの第２の部分の第２ページ画像における位置を表わす第２部分位置データにもとづいて，見開きページ画像または第１ページ画像または第２ページ画像から見開きコマの第１の部分の画像および見開きコマの第２の部分の画像をそれぞれ抽出させ，
　抽出された見開きコマの第１の部分の画像および見開きコマの第２の部分の画像を表示順序にしたがって表示画面に表示するように表示装置を制御するように画像表示制御装置のコンピュータを制御するプログラム。