以下、本発明を実施するための形態について図面等を参照して説明する。
(第1実施形態)
図1は、本発明を適用した画像処理システムの構成を示すブロック図である。図1に示すように、画像処理システムは、MFP(画像表示装置)100、クライアントPC101、プロキシサーバ103、文書管理サーバ106、文書管理サーバ106のためのデータベース105で構成される。MFP100は、複数種類の機能(複写機能、印刷機能、送信機能等)を実現する複合機である。クライアントPC101または携帯端末107は、例えば、印刷データをMFP100へ送信することで、その印刷データに基づく印刷物をMFP100に印刷させることが可能である。携帯端末上述した各装置は、無線または有線でLAN102に接続されている。LAN(Local Area Network)102は、また、プロキシサーバ103を介してネットワーク104に接続されている。なお、図1に示す構成は一例であり、同様の構成要素を有する複数のオフィスがネットワーク104上に接続されていても良い。
クライアントPC101、プロキシサーバ103はそれぞれ、汎用コンピュータに搭載される標準的な構成要素を備える。例えば、クライアントPC101、プロキシサーバ103は、CPU、RAM、ROM、ハードディスク、ネットワークI/F、ディスプレイ、キーボード、マウス等を備える。CPUは、Central Processing Unitの略称である。RAMは、Random Access Memoryの略称である。ROMは、Read Only Memoryの略称である。また、ネットワーク104は、典型的にはインターネットやLANやWANや電話回線、専用デジタル回線、ATMやフレームリレー回線、通信衛星回線、ケーブルテレビ回線、データ放送用無線回線等のいずれかで実現されている。WANは、Wide Area Networkの略称である。もちろん、それらの組み合わせにより実現されるいわゆる通信ネットワークであっても良いことは言うまでもなく、データの送受信が可能であれば良い。
図2は、図1に示すMFP100の機能構成を示すブロック図である。図2に示すように、MFP100は、画像読み取り部110、記憶装置(以下、BOXとも呼ぶ)111、記録装置112、データ処理装置115、入力装置113、表示装置116、ネットワークI/F114で構成される。
画像読み取り部110は、図示しないAuto Document Feeder(以下、ADF)を有し、束状の或いは1枚の原稿の画像を光源で照射し、反射画像をレンズで固体撮像素子上に結像する。固体撮像素子は所定解像度(例えば600dpi)および所定輝度レベル(例えば8ビット)の画像読み取り信号を生成し、画像読み取り信号からラスターデータの画像データを生成する。データ処理装置115は、画像読み取り部110が生成したビットマップ画像データを後述するスキャン画像処理を行うことにより記録信号に変換する。
記録装置112は、データ処理装置115が変換した記録信号を用いて画像形成(印刷出力)する。記録装置112は、複数枚複写の場合には、1頁分の記録信号を一旦BOX111に記憶保持した後、記録装置112に順次出力して、記録紙上に記録画像を形成する。BOX111は、画像読み取り部110からのデータやローカルPC102からドライバを経由して出力されるPDLデータをレンダリングしたデータを保存できる機能を有する。また、MFP100は、MFP100に設けられたキー操作部(入力装置113)を通じて操作され、操作入力の状態を表示装置116によって表示し得る。
ローカルPC101(もしくは他の汎用PC(不図示))からドライバを介してPDLデータが送信される場合、ネットワークI/F114は、LAN102とネットワークI/F114を介して受信する。そして、記録装置112は、当該受信したPDLデータに基づく画像を記録する。すなわち、ローカルPC101からドライバを経由して出力されるPDLデータは、LAN102からネットワークI/F114を経てデータ処理装置115に入力される。そして、データ処理装置115が言語を解釈・処理することで記録可能な記録信号に変換した後、MFP100は、記録紙上に記録画像として記録することが可能となる。
次に、図3を用いて、アプリケーション画像データの生成フローを説明する。本フローにおいて、MFP100は、ビットマップ画像データから、携帯端末107で表示するための所定のフォーマットのデータ(以下ではアプリケーション画像データと呼ぶこととする)を生成する。ビットマップ画像データは、MFP100の画像読み取り部110により取得される。または、ビットマップ画像データは、ローカルPC102上のアプリケーションソフトで作成されたドキュメントをMFP100内部でデータ処理装置115がレンダリングすることにより生成される。
まず、S301において、データ処理装置115は、ビットマップ画像データを属性毎のオブジェクトに分割するオブジェクト分割処理を行う。本実施形態において、オブジェクト分割後のオブジェクトの属性種類は、文字、写真、グラフィック(図面、線画、表、ライン)、背景を指す。S302において、データ処理装置115は、分割された各々のオブジェクトに対してオブジェクトの種類(文字、写真、グラフィック、背景)を判定する。オブジェクトが写真または背景と判定された場合、S303に処理は進み、データ処理装置115は当該オブジェクトのビットマップ画像をJPEG圧縮する。
一方、オブジェクトが文字またはグラフィックと判定された場合、処理はS304に進み、データ処理装置115はベクトル化処理を行って、パス化されたデータ(ベクトルデータ)に変換する。次に、S305において、データ処理装置115は該オブジェクトが文字かグラフィックであるかを判定する。文字の場合には、更にS308において、データ処理装置115はOCR処理を施し、文字コード化されたデータ(OCR結果の文字コードデータ)を取得する。
データ処理装置115は、S303及びS304で得た各オブジェクトのデータ(JPEGデータ、ベクトルデータ)と、S308で得た文字コードデータとを一つのファイルにまとめる。次に、S306において、データ処理装置115は各オブジェクトに対して、最適なメタデータを付与する。S307において、データ処理装置115は、メタデータを付与した各々のオブジェクトを携帯端末107が表示可能なアプリケーション画像データに生成する。最後に、S509において、データ処理装置115は、生成したアプリケーション画像データをネットワークI/Fを介して携帯端末107に送信する。
次に、図4と図5を用いて、ビットマップ画像データ(文書画像データ)の作成について説明する。図4は、MFP100の画像読み取り部110を使用してビットマップ画像データを作成するフローチャートを示す。MFP100を使用した場合、図4のS401において、画像読み取り部110は画像を読み込む。読み込まれた画像は、既にビットマップ画像データである。S402において、そのビットマップ画像データに対して、画像読み取り部110に依存するスキャナ画像処理を行う。ここで言うスキャナ画像処理とは、例えば、色処理やフィルタ処理を指す。
図5は、PC102上のアプリケーションを使用してビットマップ画像データを作成するフローチャートを示す。S501において、PC102上のアプリケーションを使用して作成したデータが、PC102が備えるプリントドライバを介してプリントデータに変換され、MFP100に送信される。ここで言うプリントデータとは、PDLを意味し、例えば、LIPS(商標)、Postscript(商標)等のページ記述言語を指す。次にS502において、MFP100のデータ処理装置115はインタープリタとして機能し、ディスプレイリストを生成する。S503において、データ処理装置115がディスプレイリストをレンダリングすることにより、ビットマップ画像データを生成する。
図6のフローチャートを用いて、図3のS308で行われるメタデータの付与処理の詳細について説明する。まず、S601において、データ処理装置115は、S301で分割されたオブジェクトのそれぞれについて、各オブジェクトの周囲で一番近くに存在する文字オブジェクトを選択する。次に、S602において、データ処理装置115は、選択した文字オブジェクトに対して、形態素解析を行う。次に、S603において、データ処理装置115は、S602で形態素解析結果により抽出した単語をメタデータとして各オブジェクトに付加する。なお、メタデータは、形態素解析に限定されず、例えば、画像特徴量抽出、構文解析等によっても作成できる。さらに、データ処理装置115は、以下の処理によりメタデータを作成することもできる。つまり、データ処理装置115はMFP100に内蔵されたBOX111や画像処理システムのデータベース105に既に保存されている文書、および、それに含まれるオブジェクトを対象に類似画像検索を行う。そして、データ処理装置115は、類似度の高い類似画像のオブジェクトとの関連付けを行う。
次に、図7と図8を用いて、S301のオブジェクト分割について、詳細に説明する。図7(A)は、入力されたビットマップ画像データを示す。図7(B)は、オブジェクト分割処理によって、ビットマップ画像データを複数のオブジェクトに分割した結果の一例である。図8は、オブジェクト分割したときの各オブジェクトのブロック情報および入力ファイル情報を表す。
S301において、データ処理装置115は、図7(A)に示す入力画像(図7の左)に対してオブジェクト分割処理を行うことにより、属性ごとに矩形ブロックに分割する。分割された矩形ブロックを図7(B)に示す。前述のように、矩形ブロックの属性としては、文字、写真、グラフィック(図面、線画、表、ライン)、色(カラー、白黒)がある。
オブジェクト分割処理の一手法としては、例えば以下のような手法がある。まず、MFP100内のRAM(不図示)に格納されたイメージデータを白黒に2値化し、黒画素輪郭で囲まれる画素塊を抽出する。さらに、抽出された黒画素塊の大きさを評価し、大きさが所定値以上の黒画素塊の内部にある白画素塊に対する輪郭追跡を行う。白画素塊に対する大きさ評価、内部黒画素塊の追跡というように、内部の画素塊が所定値以上である限り、再帰的に内部画素塊の抽出、輪郭追跡を行う。画素塊の大きさは、例えば画素塊の面積によって評価される。データ処理装置115は、このようにして得られた画素塊に外接する矩形ブロックを生成し、矩形ブロックの大きさ、形状に基づき属性を判定する。
例えば、縦横比が1に近く、大きさが一定の範囲の矩形ブロックは文字領域矩形ブロックの可能性がある文字相当ブロックとする。また、近接する文字相当ブロックが規則正しく整列しているときに、これら文字相当ブロックを纏めた新たな矩形ブロックを生成し、新たな矩形ブロックを文字領域矩形ブロックとする。また扁平な画素塊、もしくは、一定大きさ以上でかつ四角形の白画素塊を整列よく内包する黒画素塊をグラフィック領域矩形ブロック、それ以外の不定形の画素塊を写真領域矩形ブロックとする。
次に、生成された矩形ブロックのそれぞれについて、データ処理装置115は、図8に示す属性等のブロック情報および入力ファイル情報を生成する。図8において、ブロック情報は、各ブロックの属性、位置の座標X、座標Y、幅W、高さH、OCR情報、色情報を含む。属性は1〜3の数値で与えられ、1は文字領域矩形ブロック、2は写真領域矩形ブロック、3はグラフィック領域矩形ブロックを示す。座標X、座標Yは入力画像における各矩形ブロックの始点のX、Y座標(左上角の座標)である。幅W、高さHは矩形ブロックのX座標方向の幅、Y座標方向の高さである。OCR情報は、S306のOCR処理で文字コード化されたデータへのポインタ情報の有無を示す。色情報は、1または2の数値で与えられ、1は、カラー、2は、白黒を示す。さらに入力ファイル情報として矩形ブロックの個数を示すブロック総数Nも保存しておく。
これらの矩形ブロックごとのブロック情報は、特定領域でのベクトル化に利用される。またブロック情報によって、特定領域とその他の領域を合成する際の相対位置関係を特定でき、入力画像のレイアウトを損なわずにベクトル化された領域とビットマップのままの領域を合成することが可能となる。
次に、図9のフローチャートを用いて、図3のS304のベクトル化処理について詳細に説明する。まず、S901において、データ処理装置115は、特定領域が文字領域矩形ブロックであるか否かを判断し、文字領域の矩形ブロックであればS902以下のステップに進む。一方、特定領域が文字領域矩形ブロックでないときは、S912に移行する。
S902〜S907では、データ処理装置115は、パターンマッチング等の手法を用いて文字認識処理を行い、対応する文字コードを得る。例えば、S902において、データ処理装置115は、特定領域に対し横書き、縦書きの判定(組み方向判定)を行うために、特定領域内で画素値に対する水平・垂直の射影を取る。次に、S903において、S902の射影の分散を評価する。水平射影の分散が大きい場合は横書き、垂直射影の分散が大きい場合は縦書きと判断する。S904において、S903の評価結果に基づき、組み方向を判定し、行の切り出しを行い、その後文字を切り出して文字画像を得る。文字列および文字への分解は、横書きならば水平方向の射影を利用して行を切り出し、切り出された行に対する垂直方向の射影から、文字を切り出す。縦書きの文字領域に対しては、水平と垂直について逆の処理を行う。行、文字切り出しに際して、文字のサイズも検出し得る。
次に、S905において、データ処理装置115は、S904で切り出された各文字について、文字画像から得られる特徴を数十次元の数値列に変換した観測特徴ベクトルを生成する。特徴ベクトルの抽出には種々の公知手法があり、例えば、文字をメッシュ状に分割し、各メッシュ内の文字線を方向別に線素としてカウントしたメッシュ数次元ベクトルを特徴ベクトルとする方法がある。
S906において、データ処理装置115は、S905で得られた観測特徴ベクトルと、あらかじめフォントの種類ごとに求められている辞書特徴ベクトルとを比較し、観測特徴ベクトルと辞書特徴ベクトルとの距離を算出する。S907において、S906で算出された距離を評価し、最も距離の近いフォントの種類を認識結果とする。次に、S908において、S907における距離評価の最短距離が所定値よりも大きいか否か、類似度を判断する。最短距離が所定値以上の場合(類似度が低い場合)は、辞書特徴ベクトルにおいて、形状が類似する他の文字に誤認識している可能性が高い。そこで最短距離が所定値以上の場合(類似度が低い場合)は、S907の認識結果を採用せず、S911の処置に進む。類似度が所定値より小さいとき(類似度が高い場合)は、S907の認識結果を採用し、S909に進む。
S909において、データ処理装置115は、文字フォントの種類を認識する。文字認識の際に用いる、フォントの種類数分の辞書特徴ベクトルを、文字形状種すなわちフォント種に対して複数用意しておく。これを、パターンマッチングの際に、文字コードとともにフォント種を出力することで、文字フォントを認識し得る。次に、S910において、データ処理装置115は、文字認識およびフォント認識よって得られた文字コードおよびフォント情報を用いて、各々あらかじめ用意されたアウトラインデータを用いて、各文字をベクトルデータに変換する。なお、入力画像がカラーの場合は、カラー画像から各文字の色を抽出してベクトルデータとともに記録する。
一方、S911では、データ処理装置115は、文字をグラフィックと同様に扱い、該文字をアウトライン化する。すなわち誤認識を起こす可能性の高い文字については、見かけ上ビットマップに忠実なアウトラインのベクトルデータを生成する。また、S912では、データ処理装置115は、特定領域が文字領域矩形ブロックでないとき(すなわちグラフィック領域矩形ブロックのとき)、画像の輪郭に基づいてベクトル化の処理を実行する。以上の処理により、文字領域矩形ブロックおよびグラフィック領域矩形ブロックに属するイメージ情報をベクトルデータに変換出来る。
図10と図11、図12を用いて、S912のグラフィック領域矩形ブロックのベクトル化処理について詳細に説明する。グラフィック領域矩形ブロックのベクトル化処理は、該領域内で抽出された黒画素塊の輪郭に基づいてベクトル化を行う。図10は、ベクトル化の処理における角抽出の処理を示す図である。図11は、ベクトル化の処理における輪郭線まとめの処理を示す図である。図12は、グラフィック領域のベクトル化処理の詳細フローチャートである。
まず、図12のS1201において、データ処理装置115は、線画等を直線および/または曲線の組み合わせとして表現するために、曲線を複数の区間(画素列)に区切る「角」を検出する。角とは、曲率が極大となる点であり、図10に示すように、データ処理装置115は、曲線上の画素Piが角か否かの判断を以下のように行う。すなわち、Piを起点とし、曲線に沿ってPiから両方向に所定画素(k個とする)ずつ離れた画素Pi−k、Pi+kを線分Lで結ぶ。画素Pi−k、Pi+k間の距離をd1、線分Lと画素Piとの距離をd2、曲線の画素Pi−k、Pi+k間の弧の長さをAとする。d2が極大となるとき、あるいは比(d1/A)が閾値以下となるときに画素Piを角と判断する。角によって分割された画素列を、直線あるいは曲線で近似する。直線への近似は最小二乗法等により実行し、曲線への近似は3次スプライン関数などを用いる。画素列を分割する角の画素は近似直線あるいは近似直線における、始端または終端となる。
さらに、データ処理装置115は、ベクトル化された輪郭内に白画素塊の内輪郭が存在するか否かを判断し、内輪郭が存在するときはその輪郭をベクトル化し、内輪郭の内輪郭というように、再帰的に反転画素の内輪郭をベクトル化する。以上のように、輪郭の区分線近似を用いれば、任意形状の図形のアウトラインをベクトル化することができる。元原稿がカラーの場合は、カラー画像から図形の色を抽出してベクトルデータとともに記録する。
S1202で、データ処理装置115は、S1201で求めた輪郭線が近接している場合はそれらをまとめて太さを持った線とする処理を行う。図11に示すように、ある注目区間で外輪郭PRjと、内輪郭PRj+1あるいは別の外輪郭が近接している場合、2個あるいは複数の輪郭線をひとまとめにし、太さを持った線として表現することができる。例えば、輪郭PRj+1の各画素Piから輪郭PRj上で最短距離となる画素Qiまでの距離PiQiを算出し、PQiのばらつきが僅かである場合には、注目区間を画素Pi、Qiの中点Miの点列に沿った直線または曲線で近似し得る。近似直線、近似曲線の太さは、例えば距離PiQiの平均値とする。線や線の集合体である表罫線は、太さを持つ線の集合とすることにより、効率よくベクトル表現することができる。
S1203において、データ処理装置115は、各ベクトルデータの始点、終点を算出する。S1204において、S1203で求められた始点、終点情報を用いて、図形要素を検出する。図形要素とは、区分線が構成している閉図形であり、検出に際しては、始点、終端となっている共通の角の画素においてベクトルを連結する。すなわち、閉形状を構成する各ベクトルはその両端にそれぞれ連結するベクトルを有しているという原理を応用する。
S1205において、データ処理装置115は、ベクトルデータより両端に連結していない不要なベクトルを除去し、閉図形を構成するベクトルを抽出する。S1206において、閉図形を構成するベクトルについて、いずれかのベクトルの端点(始点または終点)を開始点とし、一定方向、例えば時計回りに、順にベクトルを探索する。すなわち、他端点において他のベクトルの端点を探索し、所定距離内の最近接端点を連結ベクトルの端点とする。閉図形を構成するベクトルを1まわりして開始点に戻ったとき、通過したベクトルを全て一つの図形要素を構成する閉図形としてグループ化する。また、閉図形内部にある閉図形構成ベクトルも全てグループ化する。さらにまだグループ化されていないベクトルの始点を開始点とし、同様の処理を繰り返す。
S1207において、データ処理装置115は、S1205で除去された不要ベクトルのうち、S1206で閉図形としてグループ化されたベクトルに端点が近接しているベクトルを検出し、一つの図形要素としてグループ化する。これによって、図形要素内に存在する他の図形要素、もしくは区分線をグループ化し、一つの図形オブジェクトとすることが出来る。また、図形要素内に他の図形要素、区分線が存在しない場合は図形要素を図形オブジェクトとする。以上の処理によってグラフィック領域矩形ブロックを、ベクトル化された一つのオブジェクトに変換することが出来る。
次に、図13と図14を用いて、S306のアプリケーション画像データ生成について詳細に説明する。図13は、本実施例に係るベクトル化処理結果のデータ構成を示すマップである。図14は、アプリケーション画像データ生成処理の詳細を示すフローチャートである。
まず、S1401において、S304のベクトル化処理で生成された中間データを取得する。本実施形態において、MFP100は、以下のようなドキュメント・アナリシス・アウトプット・フォーマット(以下、DAOF)と呼ぶ形式で中間データを記憶装置111に保存しているものとする。図13に示すように、DAOFは、ヘッダ1301、レイアウト記述データ部1302、文字認識記述データ部1303、表記述データ部1304、画像記述データ部1305を含む。
ヘッダ1301には、処理対象の入力画像に関する情報が保持される。レイアウト記述データ部1302には、入力画像中の矩形ブロックの属性である文字、グラフィック(線画、図面、表、ライン)、写真等の情報と、これら属性が認識された各矩形ブロックの位置情報が保持される。文字認識記述データ部1303には、文字領域矩形ブロックのうち、文字認識して得られる文字認識結果が保持される。表記述データ部1304には、表の属性を持つグラフィック領域矩形ブロックの表構造の詳細が格納される。画像記述データ部1305には、ベクトル化の処理が指示された特定領域においては、ベクトル化処理により得られたブロックの内部構造や、画像の形状や文字コード等あらわすデータの集合が保持される。一方、ベクトル化処理の対象ではない特定領域以外の矩形ブロックでは、オブジェクトに分割されたビットマップ画像データそのものが保持される。
次に、S1402において、データ処理装置115は、後述する文書構造ツリー生成を行う。S1403において、データ処理装置115は、文書構造ツリーを元にDAOF内の実データを取得し、後述するアプリケーション画像データを生成する。
次に、図15と図16、図17を用いて、S1402の文書構造ツリー生成について説明する。図15は、文書構造ツリー生成の処理を示すフローチャートである。図16は、文書構造ツリー生成処理の対象となる文書の例を示す図である。図17は、文書構造ツリー生成の処理によって生成される文書構造ツリーを示す図である。
図15に示す文書構造ツリー生成の処理における全体制御の基本ルールとして、処理の流れはミクロブロック(単一矩形ブロック)からマクロブロック(矩形ブロックの集合体)へ移行する。以後「矩形ブロック」は、ミクロブロックおよびマクロブロック両者を意味するものとする。
まず、S1501において、データ処理装置115は、矩形ブロック単位で、縦方向の関連性に基づいて、矩形ブロックを再グループ化する。図15の処理は繰り返し実行されることがあるが、処理開始直後はミクロブロック単位での判定となる。ここで、関連性とは、距離が近い、ブロック幅(横方向の場合は高さ)がほぼ同一であることなどの特徴によって定義される。また、データ処理装置115は、DAOFを参照し、距離、幅、高さなどの情報を抽出する。
例えば、図16に示す文書では、最上部で、矩形ブロックT1、T2が横方向に並列されている。矩形ブロックT1、T2の下には横方向セパレータS1が存在し、横方向セパレータS1の下に矩形ブロックT3、T4、T5、T6、T7が存在する。矩形ブロックT3、T4、T5は、横方向セパレータS1下側の領域における左半部において上から下に、縦方向に配列され、矩形ブロックT6、T7は、横方向セパレータS1下側の領域における右半部において上下に配列されている。データ処理装置115がS1501において縦方向の関連性に基づくグルーピングの処理を実行すると、矩形ブロックT3、T4、T5が1個のグループ(矩形ブロック)V1にまとめられる。また、矩形ブロックT6、T7が1個のグループ(矩形ブロック)V2にまとめられる。グループV1、V2は同一階層である。
次に、S1502において、データ処理装置115は、縦方向のセパレータの有無をチェックする。セパレータは、DAOF中でライン属性を持つオブジェクトであり、明示的にブロックを分割する機能をもつ。セパレータを検出すると、処理対象の階層において、入力画像の領域を、セパレータを境界として左右に分割する。図16に示す文書例では、縦方向のセパレータは存在しない。
次に、S1503において、データ処理装置115は、縦方向のグループ高さの合計が入力画像の高さに等しくなったか否か判断する。すなわち縦方向(例えば上から下)に処理対象の領域を移動しながら、横方向のグルーピングを行うとき、入力画像全体の処理が終了したときには、グループの高さの合計が入力画像の高さになることを利用し、処理の終了判断を行う。グルーピングが終了したときはそのまま処理終了し、グルーピングが終了していなかったときはS1504に進む。
次に、S1504において、データ処理装置115は、横方向の関連性に基づくグルーピングの処理を実行する。これによって、例えば図16の矩形ブロックT1、T2が1個のグループ(矩形ブロック)H1にまとめられ、矩形ブロックV1、V2が1個のグループ(矩形ブロック)H2にまとめられる。グループH1、H2は同一階層となる。ここでも、処理開始直後はミクロブロック単位での判定となる。
次に、S1505において、データ処理装置115は、横方向のセパレータの有無をチェックする。セパレータを検出すると、処理対象の階層において、入力画像の領域を、セパレータを境界として上下に分割する。図16に示すように、横方向のセパレータS1が存在する。データ処理装置115は、以上の処理結果を図17に示す文書構造ツリーとして登録する。
図17に示すように、入力された1ページ分のビットマップ画像データV0は、最上位階層にグループH1、H2、セパレータS1を有する。グループH1には第2階層の矩形ブロックT1、T2が属する。グループH2には、第2階層のグループV1、V2が属する。グループV1には、第3階層の矩形ブロックT3、T4、T5が属し、グループV2には、第3階層の矩形ブロックT6、T7が属する。本例では、V0はページを表し、V0の下位階層にあるものがオブジェクトを表す。
最後に、S1506において、データ処理装置115は、横方向のグループ長合計が入力画像の幅に等しくなったか否か判断する。これによって横方向のグルーピングに関する終了判断を行う。横方向のグループ長がページ幅となっている場合は、文書構造ツリー生成の処理を終了する。横方向のグループ長がページ幅となっていないときは、S1501に戻り、データ処理装置115は、再びもう一段上の階層で、縦方向の関連性チェックから繰り返す。
図18は、アプリケーション画像データのフォーマットの一例を示す。本実施形態では、アプリケーション画像データのフォーマットとして、Scalable Vector Graphics(以下、SVG)形式を用いて説明する。
図18では説明のため、各オブジェクトの表記を枠1801〜1804で囲って示している。各オブジェクトは、オブジェクトの領域を示す領域情報と、DAOF内の実データから取得する描画要素を持つ。また、領域情報のみで描画要素を持たないオブジェクト(例えば図17のH1、H2、V1、V2など)を持つことも可能である。1801は写真属性を示す。写真属性には、写真オブジェクトの領域を示す領域情報と、描画要素としてビットマップ情報が示されている。1802は文字属性を示し、1803では、1802で示した内容をベクトル化されたオブジェクトとして示す。1804は、線画などのグラフィックオブジェクトを表す。複数ページのドキュメントを処理する場合、上述の動作をそれぞれのページ毎に繰り返すことで、複数ページのドキュメント全体に対して、処理を行うことができる。
なお、本実施例ではアプリケーション画像データをSVG形式で表記しているが、文書の意味や構造を記述・保持できる画像フォーマットであれば良く、これに限定されるものではない。
図19は、本実施形態における携帯端末107のハードウェア構成例を示すブロック図である。携帯端末107は、メインボード1900、LCD1901、タッチパネル1902、ボタンデバイス1903から構成される。また、LCD1901とタッチパネル1902をまとめてタッチUI1904と呼ぶこととする。
メインボード1900の主な構成要素は以下である。CPU1905、無線LANモジュール1906、電源コントローラ1907、ディスプレイコントローラ(DISPC)1908、パネルコントローラ(PANELC)1909、ROM1910、RAM1911、二次電池1912、タイマー1913。それぞれのモジュール1905〜1913は、バス(不図示)によって接続されている。
CPU1905は、バスに接続される各デバイスを制御すると共に、ROM1910に記憶された図20を用いて後述するソフトウェアモジュール2000を、RAM1911に展開して実行するプロセッサである。RAM1911は、CPU1905のメインメモリ、ワークエリア、LCD1901に表示するビデオイメージ用エリア、およびMFP100から送信されるアプリケーション画像データの保存領域として機能する。
ディスプレイコントローラ(DISPC)1908は、CPU1905の要求に応じて、RAM1911に展開されたビデオイメージ出力を高速に切り替えるとともに、LCD1901に同期信号を出力する。結果として、RAM1911のビデオイメージが、DISPC1908の同期信号に同期してLCD1901に出力され、LCD1901上にイメージが表示される。
パネルコントローラ(PANELC)1909は、CPU1905の要求に応じて、タッチパネル1902およびボタンデバイス1903を制御する。その制御によって、タッチパネル1902上の指又はスタイラスペンなどの指示物の押下位置や、ボタンデバイス1903上の押下されたキーコードなどが、CPU1905に通知される。押下位置情報は、タッチパネル1902の横方向の絶対位置を示す座標値(以下x座標)と、縦方向の絶対位置を示す座標値(以下y座標)から成る。タッチパネル1902は複数ポイントの押下を検知することが可能で、その場合CPU1905には押下点数分の押下位置情報が通知される。
電源コントローラ1907は、外部電源(不図示)と接続され電力の供給を受ける。これによって、電源コントローラ1907に接続された二次電池1912を充電しながら、且つ、携帯端末107全体に電力を供給する。外部電源から電力が供給されないときは、二次電池1912が携帯端末107全体に電力を供給する。
無線LANモジュール1906は、CPU1905の制御に基づいて、LAN102に接続された無線アクセスポイント(不図示)上の無線LANモジュールとの無線通信を確立し、携帯端末107とMFP100など図1に示す各装置との通信を仲介する。無線LANモジュール1906には、例えばIEEE802.11bなどがある。
タイマー1913は、CPU1905の制御に基づいて、図20に示すジェスチャイベント発生部2001へのタイマー割込を発生させる。ジェスチャイベント発生部2001については後述する。また、携帯端末107には不図示の地磁気センサや加速度センサがバスに接続されている。タイマー1913は、CPU1905の制御に基づいて、携帯端末107の傾きを検知し、携帯端末107が所定以上の傾きを得ると、携帯端末107の向きを変更し、描画部2003にLCD1901への描画の指示を送る。CPU1905は、携帯端末107の向きが変更されるとき、LCD1901の幅および高さを入れ替えて、以降の処理を行う。
図20は、携帯端末107のCPU1905で実行処理されるソフトウェアモジュール2000の構成を示すブロック図である。ソフトウェアモジュール2000を構成する各モジュールについて説明する。図20に示すように、ソフトウェアモジュール2000は、ジェスチャイベント発生部2001、ジェスチャイベント処理部、描画部2003を備える。
ジェスチャイベント発生部2001は、ユーザのタッチ入力(画面上の操作)を受けて、後述する各種ジェスチャイベントを発生させる。ジェスチャイベント発生部2001は、発生したジェスチャイベントを、ジェスチャイベント処理部2002へ送信する。ジェスチャイベント処理部2002は、ジェスチャイベント発生部2001で発生したジェスチャイベントを受信して、各ジェスチャイベントと、アプリケーション画像データに記述された文書構造に応じた処理を実行する。描画部2003は、ジェスチャイベント処理部2002の実行結果に応じて、MFP100から送信されるアプリケーション画像データをLCD1901へ描画・表示する。アプリケーション画像データの表示の方法については後述する。
図21は、ジェスチャイベント発生部2001が発生させるジェスチャイベント名の一覧と、ジェスチャイベント発生部2001がジェスチャイベント処理部2200へ送信する各イベントの情報を示す。
図21(A)は、タッチ押下イベントであり、最新のタッチ座標の座標値とタッチ座標数が送信される。タッチ座標とは、タッチパネル1902にユーザの指が触れている1点の座標のことで、x座標とy座標で表される1組の座標値を持つ。また、タッチ座標数とは、タッチパネル1902にユーザの指が接触したタッチ座標の数を示している。なお、タッチ座標は、タッチパネル1902へユーザの指が触れたとき、指が移動したとき、指が離れたとき、タイマー1913からの割り込みが発生したときに更新される。
図21(B)は、スワイプイベントであり、最新のタッチ座標の座標値と、最新と直前の座標値の差分から計算した移動距離がジェスチャイベント処理部2200に送信される。ここで、スワイプとは、指先をタッチパネル1902に接触させたまま、1方向に移動(滑らすような)動作のことをいう。
図21(C)は、ピンチインイベントであり、最新の2点のタッチ座標の中心座標値、及び、2点のタッチ座標を結ぶ直線の縮小距離から計算したピンチインの縮小率がジェスチャイベント処理部2200に送信される。ここで、ピンチインとは、2つの指先をタッチパネル1902に接触させたまま、互いに近づける(つまむような)動作のことをいう。
図21(D)は、ピンチアウトイベントであり、最新の2点のタッチ座標の中心座標値、及び、2点のタッチ座標を結ぶ直線の拡大距離から計算したピンチアウトの拡大率がジェスチャイベント処理部2200に送信される。ここで、ピンチアウトとは、2つの指先をタッチパネル1902に接触させたまま、互いに遠ざける(指を広げるような)動作のことをいう。
図21(E)は、2点スワイプイベントであり、最新の2点のタッチ座標の座標値、及び、2点のタッチ座標の最新と直前の座標値の差分から計算した移動距離がジェスチャイベント処理部2200に送信される。2点スワイプイベントは、2点のタッチ座標が同じ方向に移動している場合に発生する。
図21(F)は、ローテートイベントであり、最新の2点のタッチ座標の座標値から計算した回転の中心座標値、及び、2点のタッチ座標の最新と直前の座標値から計算した回転角度がジェスチャイベント処理部2200に送信される。ここで、ローテートとは、2つの指先をタッチパネル1902に接触させたまま、2つの指先をタッチパネル1902に対して回転させる動作のことを言う。
図21(G)は、フリックイベントであり、最新のタッチ座標の座標値、及び、最新と直前の座標値から計算した指の移動速度がジェスチャイベント処理部2200に送信される。ここで、フリックとは、スワイプ中に指を離す(指をはじくような)動作のことをいう。
図21(H)は、タッチ解除イベントであり、タッチパネル1902からユーザの指が離れたときの最新のタッチ座標の座標値、及び、座標数がジェスチャイベント処理部2200に送信される。
図21(I)は、ダブルタップイベントであり、最新のタッチ座標の座標値がジェスチャイベント処理部2200に送信される。ここで、ダブルタップとは、所定の時間内に後述のシングルタップイベントが2回発生したことを言う。
図21(J)は、シングルタップイベントであり、最新のタッチ座標の座標値がジェスチャイベント処理部2200に送信される。ここで、シングルタップとは、前述のタッチ押下イベントの後、所定の時間内にタッチ解除イベントが発生したことを言う。
図21(K)は、ロングタップイベントであり、最新のタッチ座標の座標値がジェスチャイベント処理部2200に送信される。ここで、ロングタップとは、前述のタッチ押下イベントの後、所定の時間以上経過してからタッチ解除イベントが発生したことを言う。
図21(L)は、タッチアンドホールドイベントであり、最新のタッチ座標の座標値がジェスチャイベント処理部2200に送信される。ここで、タッチアンドホールドイベントとは、タッチパネル1902にユーザの指が触れてから一度も移動することなく所定の時間以上経過したことを言う。
図21(M)は、トリプルタップイベントであり、最新のタッチ座料の座標値が、送信される。ここでトリプルタッチイベントとは、所定の時間内に後述のシングルタップイベントが3回発生したことを言う。
図21(N)は、4点スワイプイベントであり、イベント発生座標値と、スワイプの移動距離情報が送付される。ここで、4点スワイプとは、4本の指先をタッチパネル1902に接触させたまま、1方向に移動(滑らすような)動作のことをいう。
なお、ここでは、ユーザのタッチ入力の例として指を使った場合を示すが、タッチ入力はスタイラスペンなどによる入力でも良い。
次に、図22と図23を用いて、本実施形態において、携帯端末107がアプリケーション画像データ受信した際の処理について説明する。図22は、携帯端末107がアプリケーション画像データを受信した際のフローチャートである。図23は、携帯端末107のタッチUI1904の画面表示例である。
まず、S2200において、携帯端末107は、無線LANモジュール1906を介してMFP100からアプリケーション画像データを受信すると、RAM1911に受信したアプリケーション画像データを保存する。次に、S2201において、描画部2003は、RAM1911に保存したアプリケーション画像データの構文を解析し、先頭ページと、それに含まれるオブジェクトを読み込む。
次に、S2202において、描画部2003は読み込んだ先頭ページに含まれる背景、文字、写真、グラフィックの全てのオブジェクトを、オブジェクトの始点の座標と幅、高さに応じてレンダリングしてタッチUI1904の表示状態を更新する。このとき、先頭ページは、図23のページ2300に示すように、タッチUI1904の幅に合わせて表示倍率が制御される。また、表示倍率に縮小したときのページの高さがタッチUI1904よりも小さい場合は、タッチUI1904の中央に適合され表示されるように、タッチUI1904上の座標において、ページ2300の始点が制御される。また、表示倍率に縮小したときのページ2300の高さがタッチUI1904よりも大きい場合は、タッチUI1904上の座標において、ページ2300の始点がタッチUI1904の始点(例えば画面の左上)に合うように制御される。このように、タッチUI1904においてページ全体を表示する表示制御方法を、本実施例ではページ表示モードを呼ぶこととする。
なお、本実施形態のアプリケーション画像データに含まれる文字オブジェクトは、図18の文字属性1802に示した通り、ベクトルデータと共に文字コードデータ1803を保持している。描画部2003は、ページ内に文字オブジェクトがある場合、ページ2300のレンダリングにベクトルデータのみを用い、一方で、後述する文字折り返し画像のレンダリングに文字コードデータを用いる。
次に、図23と図24を用いて、携帯端末107のアプリケーション画像データの操作制御を行うソフトウェアモジュールについて説明する。図24は、ジェスチャイベント処理部2002が備える、アプリケーション画像データの操作制御に係わるソフトウェアモジュールの構成を示すブロック図である。ジェスチャイベント処理部2002は、表示変更イベント処理部2400、スワイプイベント処理部2401、拡大・縮小イベント処理部2405、オブジェクト選択処理部2407、関心領域イベント処理部208を備える。
ジェスチャイベント処理部2002は、ジェスチャイベント発生部2001から、図21に示すいずれかのジェスチャイベントを受信する。表示変更イベント処理部2400は、ジェスチャイベント処理部2002が受信するジェスチャイベントの内、シングルタップイベント(図21(J))に対する処理を行う。表示変更イベント処理部2400は、シングルタップイベントを受信すると、シングルタップイベントのタッチ座標の座標値が、図23のモード切替ボタン2301、次へボタン2302、前へボタン2303の何れかの上にあるかを判定する。そして、シングルタップイベントのタッチ座標が「モード切替ボタン」2301上である場合は、表示変更イベント処理部2400は、後述するモード切替処理を行う。また、タッチ座標が「次へボタン」2302上である場合は、表示変更イベント処理部2400は、後述する「次選択処理」(次へボタン選択処理)を行う。タッチ座標が「前へボタン」2303上である場合は、表示変更イベント処理部2400は、後述する「前選択処理」(前へボタン選択処理)を行う。表示変更イベント処理部2400が備える表示順番制御部2402と表示範囲制御部2403が、「次選択処理」と「前選択処理」を行う。
スワイプイベント処理部2401は、図21(B)のスワイプイベントに対する処理を行う。ジェスチャイベント処理部2002がスワイプイベントを受信すると、スワイプイベント情報が含む移動距離に応じて、タッチUI1904上の座標において、ページ2300の始点を移動させる。そして、その上でタッチUI1904の表示状態を更新する。また、スワイプイベント処理部2401が備える移動範囲制限部2404が、図30を用いて後述する移動範囲制限処理を行って、タッチUI1904に表示される部分領域の移動範囲を制限する。
拡大・縮小イベント処理部2405は、図21(C)のピンチインイベントと、図21(D)のピンチアウトイベントに対する処理を行う。ジェスチャイベント処理部2002は、ピンチインイベントやピンチアウトイベントを受信すると、二つのイベントの縮小率もしくは拡大率に応じてページ2300の表示倍率を変化させる。そして、拡大・縮小イベント処理部2405は、その上でタッチUI1904の表示状態を更新する。また、拡大・縮小イベント処理部2405が備える縮小時表示モード切替部2406が図31のフローチャートを用いて後述する縮小時表示モード切替処理を行う。
オブジェクト選択処理部2407は、図21(I)のダブルタップイベントに対する処理を行う。ジェスチャイベント処理部2002がダブルタップイベントを受信すると、ダブルタップイベントのタッチ座標の座標値を用いて、図32を参照して後述するオブジェクト選択処理を行う。なお、オブジェクト選択処理は、ページ表示モードでのみ動作するようオブジェクト選択処理部2407によって制御される。
また、関心領域イベント処理部2408は、図21(L)のタッチアンドホールドイベントに対する処理を行う。ジェスチャイベント処理部2002は、タッチUI1904がタッチアンドホールドされることによって、ジェスチャイベント発生部2001からタッチアンドホールドイベントを受信する。この時、タッチアンドホールドイベントのタッチ座標の座標値を用いて、表示されたページの表示領域を除く領域にあるオブジェクトを判定し、該オブジェクトに関する情報を、修飾オブジェクト登録部2410に、修飾オブジェクトとして登録する。なお、修飾オブジェクトとして登録する際の修飾オブジェクト登録処理は、ページ表示モードのみで動作するように、オブジェクト選択イベント処理部2407によって制御される。修飾オブジェクト登録処理の詳細は、後述する。
また、関心領域イベント処理部2408は、図21(N)の4点スワイプイベントに対する処理を行い。タッチUI1904に4点スワイプされることにより、ジェスチャイベント処理部2002がジェスチャイベント発生部2003より、4点スワイプイベントを受信する。4点スワイプイベントを受け取ると、関心領域イベント処理部2408は、関心領域表示モードに切り替える処理を行い、この処理については、後述する。ここで、関心領域表示モードとは、修飾オブジェクト以外を表示するためのモードである。尚、新規に文書を読み込んだ時には関心領域表示モードはリセットされる。関心領域表示モードは携帯情報端末107のモード情報として保持される。
次に、図23と図25、図26を用いて、表示変更イベント処理部2400が行うモード切替処理について説明する。図25は、モード切替処理のフローチャートである。図23または図26(B)に示す表示モード切替項目であるモード切替ボタン2301がユーザによりタップ指示されるのに応じて処理が実行される。図26は、携帯端末107のタッチUI1904の画面表示例である。
まず、S2500において、表示変更イベント処理部2400は、モード切替ボタンが指示されたと判定すると、携帯端末107に設定中の表示モードを取得する。ここで、表示モードとは、携帯端末107がアプリケーション画像データをタッチUI1904に表示する方法を示し、本実施形態では、携帯端末107は、一例として次の3つの表示モードを有するものとする。第一に、図23に示すようにページ全体を表示するのに適したページ表示モードである。第二に、図26に示すようにページ内の一部の領域(すなわちページ画像内の各オブジェクト)を拡大表示するのに適した部分領域表示モードである。すなわち、部分領域表示モードは、ページ画像内の各オブジェクトを拡大表示する第1の表示モードである。前述した通り、アプリケーション画像データを携帯端末107が受信した直後は、ページ表示モードが設定されている。部分領域表示モードは、図26に示す通り、ページ2300内の各オブジェクトが大きく表示されるようにページ2300の表示倍率と始点を制御する表示モードである。
表示イベント処理部が、図26に示す文字オブジェクト2601をユーザがシングルタップした際にS2500において、表示モードを切り替えてもよい。あるいは、図23のモード切替ボタン2301がユーザにより押下されて図26(A)に示す画面を表示し、ユーザに拡大対象のオブジェクトを選択させる構成としてもよい。文字オブジェクト2601を拡大表示対象のオブジェクトとしてユーザが選択した場合、図26(B)に示す画像が表示される。
なお、図26(A)のオブジェクト2601を囲む破線は、説明をわかり易くするために描いたもので、ページ2300上には存在しない。また、本実施例では、図26(B)に示すように、拡大表示対象のオブジェクト2601の領域が透明で且つそれ以外の領域が、斜線で示す半透明グレーの半透明マスク2600を、ページ2300の上に重ねて表示する。このようにコントラストを付して表示することで、対象のオブジェクトだけが見やすくなるという効果が得られる。つまり、半透明マスクを重ねて表示することにより、対象のオブジェクト以外が暗く表示されるので、対象のオブジェクトが強調表示され、ユーザは表示対象になっているオブジェクトの領域を特定しやすくなる。
表示変更イベント処理部2400は、モード切替ボタン2301が指示されたときに設定中の表示モードが、部分領域表示モードまたは折り返し表示モードである場合にはS2501に移行し、ページ表示モードである場合にはS2504に移行する。
S2501において、表示変更イベント処理部2400は、図26の半透明マスク2600を非表示設定(半透明マスクOFF)にして、ページ画像全体を表示するページ表示モードへの切り替えを行う。S2502において、表示変更イベント処理部2400は、タッチUI1904の幅に合わせてページ2300の表示倍率を制御すると共に、ページ2300の始点を制御して、ページの表示範囲を決定する処理(表示範囲決定処理)を行う。S2502で行われる表示範囲決定処理の詳細は、後述する。次に、S2503において、表示変更イベント処理部2400は、当該決定されたページの表示範囲に基づいて、タッチUI1904の表示状態を更新する。
また、モード切替ボタン2301が指示されたときに設定中の表示モードがページ表示モードであった場合には、S2504において、表示変更イベント処理部2400は、表示モードを部分領域表示モードへ切り替る。そして、表示変更イベント処理部2400は、半透明マスク2600を表示する設定(半透明マスクON)に変更する。
次に、S2505において、表示変更イベント処理部2400は、ページ2300内の先頭オブジェクトを読み込み、先頭オブジェクトの始点と幅、高さを取得する。ここで、先頭オブジェクトとは、アプリケーション画像データの文書構造ツリーにおいて、最初に読み込まれるオブジェクトである。
次にS2506にて、表示変更イベント処理部2400は、オブジェクトが終了かどうかを判定する。オブジェクトが終了していると判定された場合、S2501に進む。終了していないと判定された場合、S2507にて、表示変更イベント処理部2400は、関心領域表示モードか否かを判定する。
関心領域表示モードであると判定された場合は、S2508に移行する。S2508では、後述の図44に示すフローにて、読み込まれたオブジェクトが、修飾オブジェクトと同等か否かを判定する。修飾オブジェクトと同等であると判定された場合、読み込まれているオブジェクトは表示せず、S2509にて次のオブジェクトを読み込み、S2506に戻って再び処理を実行する。
一方、S2507で関心領域表示モードでないと判断した場合、およびS2508で修飾オブジェクトと同等では無いと判断された場合、S2510にて部分領域表示範囲決定処理を実行する。表示変更イベント処理部2400内の表示範囲制御部2403は、S2510において、後述する部分領域表示範囲決定処理を行った後、S2503で、当該決定された表示範囲に基づいてタッチUI1904の表示状態を更新する。なお、S2510の部分領域表示範囲決定処理では、S2505またはS2509で読み込んだオブジェクトの属性に応じて、ページの表示倍率や始点を制御し、タッチUI1904に表示する部分領域の表示範囲を決定する。部分領域表示範囲決定処理の詳細は後述する。また、このとき表示対象となっているオブジェクトの部分領域以外の領域にはグレーの半透明マスクがかけられるので、ユーザは、表示対象となっているオブジェクトを識別しやすくなる。
次に、図25のS2510において表示範囲制御部2403が行う部分領域表示範囲決定処理の詳細について、図27のフローチャートを用いて説明する。まず、S2700において、表示範囲制御部2403は、読み込んだオブジェクトの属性を判定する。属性が文字の場合はS2701に進み、属性が表である場合はS2711に進み、それ以外の属性である場合はS2712に進む。
S2701において、表示範囲制御部2403は、文字属性である当該表示対象のオブジェクトが、箇条書きであるかを判定する。ここでいう箇条書きのオブジェクトとは、各文字列もしくは行の先頭に点や数字といった行頭文字が存在するオブジェクトを指すものとする。なお、行頭文字は、OCR結果から取得することができる。オブジェクトが箇条書きでなく、通常の文字列であった場合にはS2702に進み、箇条書きであった場合にはS2712に進む。
S2702において、表示範囲制御部2403は、オブジェクトの文字の組み方向を取得する。オブジェクトの組み方向は、S504のベクトル化の過程で得られている。S2703において、表示範囲制御部2403は、文字の組み方向を判定し、組み方向が縦書きである場合にはS2704に進み、横書きである場合にはS2705に進む。文字の組み方向が縦書きの場合、S2704において、表示範囲制御部2403は、当該オブジェクトの高さがタッチUI1904の画面の高さに入るようにページの表示倍率を設定する。また、文字の組み方向が横書きの場合、S2705において、表示範囲制御部2403は、当該オブジェクトの幅がタッチUI1904の画面の幅に入るようにページの表示倍率を設定する。
次に、S2706において、S2704またはS2705で設定した表示倍率に拡縮したオブジェクトの全体がタッチUI1904に表示できるかを判断する。オブジェクト全体がタッチUI1904よりも大きく、全体を表示できない場合にはS2707に進み、一方、オブジェクト全体がタッチUI1904よりも小さく、全体を表示できる場合にはS2710に進む。
S2707において、表示範囲制御部2403は、当該オブジェクトにおける文字の組み方向を判定し、縦書きであると判定した場合はS2708に進み、横書きであると判定した場合はS2709に進む。
S2708において、表示範囲制御部2403は、オブジェクト全体がタッチUI1904に表示できない縦書きの文字領域を表示するので、当該オブジェクトの右上端がタッチUI1904の右上端に合うように、ページ2300の始点位置を設定する。すなわち、縦書きの場合の先頭行が表示されるように表示位置を設定する。
S2709において、表示範囲制御部2403は、オブジェクト全体がタッチUI1904に表示できない横書きの文字領域を表示するので、当該オブジェクトの左上端がタッチUI1904の左上端に合うように、ページの始点を設定する。すなわち、横書きの場合の先頭行が表示されるように表示位置を設定する。
また、S2710において、オブジェクト全体がタッチUI1904の画面内に収まるので、表示範囲制御部2403は、当該オブジェクトの中央がタッチUI1904の中央に合うようにページ2300の始点を設定する。
なお、S2700でオブジェクトの属性が表であると判定した場合には、S2711において、表示範囲制御部2403は、表のヘッダ位置を検出する。ヘッダの位置は、例えば、先頭行(一番上の行)と先頭列(一番左の列)の文字のフォント種がボールドであるか否かや、ベクトル化した際のベクトルデータの近似曲線の太さ、表罫線の太さ、表の各セルの背景色などによって判断することができる。S2711で検出した表のヘッダ位置が先頭行である場合には、S2703からS2705に進む。また、表のヘッダ位置が先頭列である場合には、S2703からS2704に進む。また、S2707では、表のヘッダは一番上の行か一番左の列に存在することが一般的であるため、S2709に進み、オブジェクトの左上端がタッチUIの左上端に合うようにページの始点を設定する。このようにすることで、表のヘッダが表示されるように表示位置が設定されることになる。すなわち、上述の処理において表示範囲制御部2403は設定手段として機能し、オブジェクト属性が文字または表の場合に、文字の組み方向の範囲が画面内に入るように表示倍率と先頭オブジェクトの表示位置とを設定する。
また、S2700でオブジェクトの属性がその他の属性(文字・表以外の属性)と判定された場合、または、S2701で箇条書きであると判断された場合、S2712において、表示範囲制御部2403は、以下の処理を行う。すなわち、表示範囲制御部2403は、当該オブジェクト全体がタッチUI1904に入るように、ページの表示倍率を設定する。そして、S2710において、オブジェクトの中央がタッチUI1904の中央に合うようにページ2300の始点を設定する。
「次へボタン」2302がユーザによりタップ(指定)されたときに実行される「次選択処理(次へボタン選択処理)」について、図28のフローチャートを用いて説明する。
S2800において、表示変更イベント処理部2400は、次処理項目である「次へボタン」2302がタップされたときに携帯端末107に設定されている表示モードを取得する。取得した表示モードが部分領域表示モードである場合には、S2801に進み、ページ表示モードである場合にはS2805に進む。
S2801において、表示順番制御部2402は、現在読み込んでいるページの全オブジェクトから、文書構造ツリーに基づいて次に表示すべきオブジェクトを選択し、そのオブジェクトを読み込む。本実施形態において、文書ツリー構造上の表示順番は、文書ツリー構造において、先頭の上位階層のオブジェクト、そのオブジェクトの下位階層に属するオブジェクトの順とする。更に、その下位階層のオブジェクトの表示が全て終わった後、次の上位階層のオブジェクト、その下位階層のオブジェクト、というような順番であるとする。
例えば、図17において、V0はページを表し、最初に読み込まれるオブジェクトはH1である。H1のオブジェクトが部分領域表示モードでタッチUI1904に表示されている状態で、「次選択処理」が行われると、H1は下位階層を持つため、T1のオブジェクトが読み込まれる。さらに、T1のオブジェクトが表示されている状態で「次選択処理」が行われると、T1は下位階層を持たず、同階層にT2が存在するため、T2が読み込まれる。T2のオブジェクトが表示されている状態で「次選択処理」が行われると、T2は下位階層を持たず、同階層に次のオブジェクトは存在しないため、次の上位階層のS1が読み込まれる。なお、本実施例において、描画要素を持たないH1を選択して読み込むとしているが、描画要素を持つT1やT2だけを選択するようにしても良いことは言うまでもない。また、例えば、文字属性のオブジェクトのみなど、特定の属性を持つオブジェクトのみを選択したり、特定の属性のみを除外して選択することも可能である。さらに、H1やV1といったそれ単体では描画要素を持たず、下位下層に描画要素を持つオブジェクトのみを選択することも可能である。
S2802において、表示順番制御部2402は、S2801で次のオブジェクトを読み込めたか否かを判定する。S2801で次のオブジェクトが読み込めた場合(選択可能なオブジェクトがあった場合)は、S2809に進み、関心領域表示モードか否かを判定する。S2809で関心領域表示モードであると判定された場合、S2810に進み、当該読み込んだオブジェクトが修飾オブジェクトか否かが判定される。S2810で修飾オブジェクトであると判定された場合、S2801に戻り、再び同じ処理を実行する。なお、修飾オブジェクトか否かを判定する処理は、後述する。
一方、S2809で関心領域表示モードでないと判定された場合、およびS2810で当該オブジェクトが修飾オブジェクトでないと判定された場合、読み込んだオブジェクトを表示対象としてステップS2510に進む。なお、ステップS2510の部分領域表示範囲決定処理は、既に説明したので、ここでの説明を省略する。そして、ステップS2803において、当該読み込まれたオブジェクトの属性および始点と幅、高さに基づいて制御されたページの表示倍率と始点を用いて、タッチUI1904の表示状態を更新する。
一方、S2801で次のオブジェクトが読み込めなかった場合(次に選択可能なオブジェクトが無かった場合)は、既にページ内の最終オブジェクトが読み込まれている状態である。従って、表示順番制御部2402は、S2802で全てのオブジェクトの表示処理が終了したと判断し、S2804に進む。S2804において、表示順番制御部2402は、部分領域表示モードを終了して半透明マスク2600を非表示にして、ページ表示モードへと切り替える。
S2805において、表示モードがページ表示モードであるので、RAM1911に保存したアプリケーション画像データの構文を解析し、次のページと、それに含まれるオブジェクトを読み込む。
S2806において、表示順番制御部2402は、S2805で次のページが読み込めた場合はS2807に進む。一方、既にRAM1911に保存したアプリケーション画像データの最終ページが読み込まれている状態であり、S2805で次に読み込み可能なページが無かった場合は、S2808に進む。S2808では、RAM1911に保存したアプリケーション画像データの構文を解析し、先頭ページと、それに含まれるオブジェクトを読み込む。
次に、S2807において、表示範囲制御部2403は、S2502で行われる表示範囲決定処理(詳細は後述)により、タッチUI1904の幅に合わせてページの表示倍率を制御すると共に、ページの始点を制御して、ページの表示範囲を決定する。S2803では、表示範囲制御部2403は、当該決定されたページ表示範囲に基づいてタッチUI1904の表示状態を更新する。以上により、ユーザに対して、修飾オブジェクトと判定したオブジェクトを表示することなく、関心をもっている領域のみを表示することが可能となる。
次に、「前へボタン」2303がユーザによりタップ(指定)されたときに実行される「前選択処理(前へボタン選択処理)」について、図29のフローチャートを用いて説明する。前選択処理は、次選択処理とほぼ同じ構成であるため、ここでは処理が異なるS2900とS2901、S2902についてのみ説明する。
現在の表示モードが部分領域モードの場合、S2900において、表示順番制御部2402は、現在読み込んでいるページの全オブジェクトから文書構造ツリーに基づいて次に表示すべきオブジェクトを選択し、そのオブジェクトを読み込む。本実施例において、「前へボタン」が指定されたときの文書ツリー構造上の表示順番は、文書ツリー構造において末尾の下位階層のオブジェクト、そのオブジェクトの上位階層のオブジェクトというように、下位階層から上位階層への順番であるとする。すなわち、下位階層のオブジェクトの表示が全て終わった後、その上位階層における他のオブジェクトの表示へと移るものとする。
例えば、図17において、最初に読み込まれるオブジェクトは末尾の下位階層オブジェクトであるT7である。部分領域表示モードで、T7のオブジェクトがタッチUI1904に表示されている状態で、前処理項目である「前へボタン」が押下されると、同じ階層にT6が存在するため、T6のオブジェクトが読み込まれる。さらに、T6のオブジェクトが表示されている状態で「前選択処理」が行われると、同じ階層にその他のオブジェクトが存在しないため、その上位階層であるV2が読み込まれる。V2のオブジェクトが表示されている状態で「前選択処理」が行われると、V2は同じ階層にV1を持ち、更にV1は下位階層にオブジェクトを持つため、V1の下位階層の末尾にあるT5のオブジェクトが読み込まれる。
なお、「前選択処理」においても、「次選択処理」と同様に、描画要素を持つオブジェクトだけを選択するようにしても良く、また、特定の属性を持つオブジェクトのみを選択したり、特定の属性のみを除外して選択することも可能である。さらに、H1やV1といったそれ単体では描画要素を持たず、下位下層に描画要素を持つオブジェクトのみを選択することも可能である。
S2901において、表示モードがページ表示モードであるので、RAM1911に保存したアプリケーション画像データの構文を解析し、前のページと、それに含まれるオブジェクトを読み込む。S2806において、既にRAM1911に保存したアプリケーション画像データの先頭ページが読み込まれている状態である。S2901で次に読み込み可能なページが無かった場合は、S2902において、RAM1911に保存したアプリケーション画像データの構文を解析し、最終ページと、それに含まれるオブジェクトを読み込む。
次に、スワイプイベント処理部2401の移動範囲制限部2404が行う移動範囲制限処理について、図30のフローチャートを用いて説明する。S3000において、移動範囲制限部2404は、スワイプ操作が行われたときの携帯端末107に設定されている表示モードを取得して、現在の表示モードを判定する。移動範囲制限部2404は、表示モードが部分領域表示モードである場合にはS3001に処理を進め、ページ表示モードである場合には何も行わずに処理を終了する。
S3000で表示モードが部分領域表示モードであると判定した場合には、S3001に処理が進む。S3001において、移動範囲制限部2404は、現在のページの表示倍率で表示したときの現在読み込まれているオブジェクトの幅が、タッチUI1904の画面の幅より大きいか否かを判定する。このとき、該オブジェクトの幅がタッチUIの画面幅よりも大きい場合には、S3002に進み、そうでない場合には、S3004に進む。
S3002において、スワイプイベント処理部2401がスワイプイベントの移動距離に応じてオブジェクトを含むページの表示位置を移動した際に、移動範囲制限部2404は、以下の判定を行う。つまり、移動範囲制限部2404は、オブジェクトの左右端のどちらか一端がタッチUI1904の画面内に移動したかを判定する。その結果、オブジェクトの左端または右端がタッチUIの画面内にあると判定した場合には、S3003に進み、そうでない場合には、S3006に進む。
S3003において、移動範囲制限部2404は、画面内に移動された該オブジェクトの左端または右端をタッチUIの画面の端に移動させて、できるだけ該オブジェクトが表示されるように、ページの始点のx座標を補正する。
一方、S3004において、スワイプイベントの移動距離に応じてオブジェクトを含むページの表示位置を移動した際に、移動範囲制限部2404は、オブジェクトの左端または右端がタッチUIの画面外に移動したかを判定する。その結果、オブジェクトの左端または右端がタッチUIの画面外にあると判定した場合には、S3005に進み、そうでない場合には、S3006に進む。
S3005において、移動範囲制限部2404は、当該オブジェクトの左端または右端を画面の端に移動させて、該オブジェクトの全体が表示されるようにページの始点のx座標を補正する。オブジェクトの大きさが画面以下であれば、当該補正によりユーザの視認性が向上する。S3006において、移動範囲制限部2404は、現在のページの表示倍率で表示したときの現在読み込まれているオブジェクトの高さが、タッチUI1904の画面の高さより大きいか否かを判定する。このとき、該オブジェクトの高さがタッチUIの画面高さよりも大きい場合には、S3007に進み、そうでない場合には、S3009に進む。
S3007において、移動範囲制限部2404は、スワイプイベントの移動距離に応じてオブジェクトを含むページの表示位置を移動した際に、オブジェクトの上下端のどちらか一端がタッチUI1904の画面内に移動したかを判定する。その結果、オブジェクトの上端または下端がタッチUIの画面内にあると判定した場合には、S3008に進み、そうでない場合には、S3011に進む。
S3008において、移動範囲制限部2404は、画面内に移動されたオブジェクトの上端または下端を画面の端に移動させて、できるだけ該オブジェクトが表示されるようにページの始点のy座標を補正する。
S3006でオブジェクトの高さがタッチUIの画面高さよりも大きくない場合には、S3009に処理が進む。S3009において、移動範囲制限部2404は、スワイプイベントの移動距離に応じてオブジェクトを含むページの表示位置を移動した際に、オブジェクトの上端または下端がタッチUIの画面外に移動したかを判定する。オブジェクトの上端または下端がタッチUIの画面外に移動したと判定した場合には、S3010に進み、そうでない場合には、S3011に進む。
S3010において、移動範囲制限部2404は、当該オブジェクトの上端または下端を画面内に移動させて、該オブジェクトの全体が表示されるようにページの始点のy座標を補正する。最後に、S3011において、表示変更イベント処理部2400は、ページの表示倍率と始点に応じてタッチUI1904の表示状態を更新する。
このように、オブジェクトの移動範囲を制限することで、ユーザは、スワイプイベントの移動距離が大きい場合でもできるかぎりオブジェクト全体を認識することが可能となる。
次に、ピンチイン操作がなされたときに、拡大・縮小イベント処理部2405の縮小時表示モード切替部2406で行われる縮小時表示モード切替処理について、図31のフローチャートを用いて説明する。S3100において、縮小時表示モード切替部2406は、ユーザにより縮小処理を指示する操作が行われたときの携帯端末107に設定されている表示モードを取得する。取得した表示モードが部分領域表示モードである場合にはS3101に進み、ページ表示モードである場合には何も行わずに処理を終了する。
S3101において、縮小時表示モード切替部2406は、現在のページの表示倍率で表示したときの現在読み込まれているオブジェクトの幅が、タッチUI1904の画面の幅より小さいか否かを判定する。オブジェクトの幅がタッチUIの画面幅よりも小さい場合には、S3102に進み、そうでない場合には切替処理を行わずに処理を終了する。
S3102において、縮小時表示モード切替部2406は、現在のページの表示倍率で表示したときの現在読み込まれているオブジェクトの高さが、タッチUI1904の画面の高さより小さいか否かを判定する。このとき、該オブジェクトの高さがタッチUIの画面高さよりも小さい場合には、S3103に進み、そうでない場合には切替処理を行わずに処理を終了する。
S3103において、該オブジェクトを含むページの表示倍率がさらに縮小されようとしているのかを判断する。すなわち、縮小時表示モード切替部2406が受信したイベントがピンチインイベントであるか否かを判定する。ここで、ページがさらに縮小されようとしていると判断した場合には、S3104に進み、そうでない場合には何も行わずに処理を終了する。
S3104において、縮小時表示モード切替部2406は、半透明マスク2600を非表示にして、携帯端末107の表示モードを部分領域表示モードからページ表示モードに切り替える。つまり、部分領域表示モードにおいてオブジェクト全体が画面内に表示されており、かつピンチイベントが行われている場合に縮小時表示モード切替部2406は第3の表示モードであるページ表示モードに切り替える。最後に、S3105において、表示変更イベント処理部2400は、該ピンチインイベントに基づいて決定されるページの表示倍率と始点に応じてタッチUI1904の表示状態を更新する。
次に、オブジェクト選択処理について、図32のフローチャートを用いて説明する。オブジェクト選択処理は、ユーザによりダブルタップ操作が行われた際にオブジェクト選択処理部2408が実行する処理である。まず、S3200において、オブジェクト選択処理部2408は、ユーザにより操作が行われたときの携帯端末107に設定されている表示モードを取得する。取得した表示モードがページ表示モードである場合にはS3201に進み、部分領域表示モードである場合には何も行わすに処理を終了する。
S3201において、オブジェクト選択処理部2408は、受信したダブルタップイベントのタッチ座標の座標値を取得する。タッチ座標の座標値はタッチUI1904上の座標値であるため、タッチUIに表示しているページの表示倍率と始点に基づいて、ページにおける座標値に換算する。
S3202において、タッチUIに表示している現在のページ内の全オブジェクトの中から先頭オブジェクトの情報を読み込む。S3203において、S3201で求めたページにおける座標値が、読み込んだオブジェクトの領域情報内に含まれるか否かを判定する。ページにおける座標値が当該読み込んだオブジェクトの領域情報内にある場合にはS3204に進み、そうでない場合にはS3206に進む。
S3204において、携帯端末107の表示モードをページ表示モードから部分領域表示モードに切り替える。同時に、非表示であった半透明マスク2600を表示することで、当該ダブルタップされたオブジェクト以外の領域に半透明マスクがかかるように制御し、S2510に進む。
S2510において、S3202またはS3206で読み込んだオブジェクト(すなわち、当該ダブルタップされたオブジェクト)の部分領域表示範囲決定処理を行う。部分領域表示範囲決定処理については前述した通りであるので、ここでの詳細な説明は省く。
そして、S3205において、表示変更イベント処理部2400は、部分領域表示範囲決定処理で決定したページの表示倍率と始点に応じてタッチUI1904の表示状態を更新する。
また一方、S3206において、オブジェクト選択処理部2408は、現在のページ内の全オブジェクトの中から、現在読み込んでいるオブジェクトの次のオブジェクトの情報を読み込む。
S3207において、オブジェクト選択処理部2408は、S3206で次のオブジェクトが読み込めたか否かを判定し、読み込めた場合にはS3203に戻り、読み込めなかった場合には何もせずに処理を終了する。
なお、本実施例において、現在タッチUI1904に表示しているページ内の全オブジェクトを対象に、ページにおける座標値がオブジェクトの領域情報内にあるか否かを判定しているが、それに限るものではない。例えば、前選択処理や後選択処理と同様に、描画要素を持たないオブジェクトを無視し、描画要素を持つオブジェクトだけを選択するようにしても良い。また、例えば、文字属性のオブジェクトのみなど、特定の属性を持つオブジェクトのみを選択したり、特定の属性のみを除外して選択することも可能である。
次に、関心領域イベント処理部2408が行う関心領域表示モードに切り替える処理について説明する。図38は、関心領域表示モードに切り替える処理を行うフローチャートである。まず、S3800で関心領域イベント処理部2408は、関心領域表示モードか否かを判定する。関心領域表示モードである場合は、S3801に進み、S3801にて関心領域表示モードを解除する。関心領域表示モードでない場合は、S3802に進み、S3802にて、表示モードを関心領域表示モードに設定する。これにより、関心領域表示モードと、それ以外のモードとを切り替えることができる。
次に、後述の修飾オブジェクト登録処理により修飾オブジェクト登録部2410に登録される修飾オブジェクト情報について説明する。図39(A)は修飾オブジェクトの登録リストを示し、図39(B)は、修飾オブジェクトの登録リスト情報を示す。ドキュメントを新規に読み込んだ際には、それまでに登録されている、修飾オブジェクト登録リストと、それと対をなす、修飾オブジェクト登録リスト情報はすべて削除され初期化される。修飾オブジェクト登録リストと、修飾オブジェクトリスト情報は、記録装置112内に登録される。
次に、図45を参照して、修飾オブジェクト登録処理の一連の動作を説明する。ユーザが表示させたい領域を拡大、縮尺などでページを調整し、表示させたまま一度も移動することなく所定の時間以上経過するとジェスチャイベント発生部2001は、ジェスチャイベント処理部2002にタッチアンドホールドイベントを送る。修飾オブジェクト登録部2410が修飾オブジェクト登録処理を行う。
まず、S4501で修飾オブジェクト登録部2410は、記録装置112内に現在表示しているページの修飾オブジェクト登録リストがあるか否かを判定する。該ページの修飾オブジェクト登録リストがある場合には、S4502移行し、現在のページの修飾オブジェクト登録リストに、タッチアンドホールドで表示された表示領域を除く領域に存在するオブジェクトの情報が、修飾オブジェクトとして登録される。そして、S4503で修飾オブジェクト登録部2410は、修飾オブジェクト登録リスト情報に、登録された該ページのページ内の修飾オブジェクト数NBをインクリメントする(増やす)。そして、S4504で、現在表示しているページの領域を、表示領域として登録する。
一方、S4501で、現在表示しているページに修飾オブジェクトの登録リストが無い場合には、S4505に移行し、記録装置112内に、修飾オブジェクト登録情報リストと修飾オブジェクト登録リスト情報を新規に作成する。そして、S4506で、修飾オブジェクト登録リスト情報のページ内の修飾オブジェクト数に0を登録し、ページ番号に、現在のページ番号を登録。登録ファイルIDに、現在までに作成された登録ファイル数+1の数値を登録する。
修飾オブジェクト登録リストに登録される情報は、図39(A)に示すように、登録しようとするオブジェクトの属性、位置の座標X、座標Y、幅W、高さH、OCR情報、色情報が含まれる。属性は1〜3の数値で与えられ、1は文字領域矩形ブロック、2は写真領域矩形ブロック、3はグラフィック領域矩形ブロックを示す。座標X、座標Yは入力画像における各矩形ブロックの始点のX、Y座標(左上角の座標)である。幅W、高さHは矩形ブロックのX座標方向の幅、Y座標方向の高さである。OCR情報は、OCR処理で文字コード化されたデータへのポインタ情報の有無を示す。色情報は1または2の数値で与えられ、1はカラー、2は白黒を示す。さらに、図39(B)に示すように、登録リスト情報としてそのページ上で登録された修飾オブジェクトのブロックの総個数を示すブロック総数N、修飾オブジェクトが登録されたページ番号を保存しておく。表示領域の矩形情報X、Y、XX、YYは、修飾オブジェクトが登録される毎に、その時点で表示されている表示領域が保存される。そして、新規のページに対して、修飾オブジェクトが登録される毎に、修飾オブジェクト登録リストと、の修飾オブジェクト登録リスト情報は、記録装置112内に個別のメモリ領域が割り当てられ、新規にファイルとして作成され、格納される。
次に、図42を参照して、S2502で行われる表示範囲決定処理を説明する。図42では、基本的な流れを説明する。まず、S4201で、表示変更イベント処理部2400は、現在表示しているページ全体を読み込む。次に、S4202で、携帯情報端末107に設定されている関心領域表示モード情報を参照して、関心領域表示モードが設定されているか否かを判定する。関心領域表示モードが設定されている場合、S4203に進む。関心領域表示モードが設定されていない場合、S4209に進み、タッチUI1904の幅に合わせて現在のページの表示倍率を制御するとともに、現在のページの始点を制御してページ範囲を決定し、処理を終了する。
一方、S4202で、関心領域表示モードが設定されていると判定された場合、現在のページ内のオブジェクト総数をMとし、オブジェクトの番号をNとして、Nは、1から開始する。次に、S4204で関心領域イベント処理部2408は、MとNの大小を判定する。N>Mでないと判定された場合、S4205に進む。S4205で、表示変更イベント処理部2400は、ページ内のオブジェクトが修飾オブジェクトに相当するか否かを判定する。このときS4205で、ページ内のオブジェクトの全て、すなわちページ内のオブジェクト番号の1からMまでのすべてのオブジェクトについて判定する。修飾オブジェクトに相当すると判定された場合、S4208に進み、S4208で、該当するオブジェクト番号Nの属性を非表示に設定する。修飾オブジェクトに相当しないと判定された場合、S4206に進み、該当するオブジェクト番号Nの属性を表示に設定する。そして、S4207に進み、オブジェクト番号Nを1つ増やしてS4204に戻って処理を続行する。
一方、S4204で、N>Mと判定された場合、S4210に進む。そして、表示不要と判断されたオブジェクトを省いて残りのオブジェクトの全体をタッチUI1904の幅に合わせて表示倍率を制御すると共に、始点を制御してページの表示範囲を決定し、処理を終了する。
次に、図46および47を用いて、もう一つ別の表示領域決定の処理を説明する。これは、ページ表示モードでユーザが新しいページを表示させる際の処理であり、その中でも関心領域表示モードで表示させる際の表示領域計算の方法に最も特徴がある。すなわち、関心領域表示モードで表示する際には、現在表示しようとしているページ内のオブジェクトに対し、これまでに記憶(登録)された各修飾オブジェクト登録リストのどのリストともっとも相関が高いかを算出する。そして、もっとも相関の高い修飾オブジェクト登録リストの登録リスト情報のファイルに登録されている表示範囲を表示領域として採用する。これにより、新しいページを表示する際に、過去に登録したページと同様の修飾オブジェクトを持つページは、先にユーザが調整した表示範囲と同じ表示範囲で自動的に表示することができる。
ここで、修飾オブジェクトの各オブジェクトに相当するオブジェクトの現在のページのページIDのリスト番号をPとし、そのページの各オブジェクトと該ページのオブジェクトとの一致度の平均がSMAXとする。まず、S4600で、現在表示しているページが関心領域表示モードか否かを判定する。関心領域表示モードでないと判定された場合、S4620に進み、S4620で、現在表示しようとしているページ全体を表示領域として設定し、S4621で処理を終了する。
一方、S4600で、関心領域表示モードであると判定された場合、S4601に進む。そして、S4601で、修飾オブジェクト登録リストの総数をPMAXとし、リスト番号をPとして、Pは、1から開始する。次に、S4602で、PがPMAXよりも大きいか否かを判定する。S4602で、PがPMAXよりも大きいと判定された場合、S4613に進む。S4613については後述する。一方、S4602で、PがPMAXよりも小さいと判定された場合、S4603に進み、S4603で、ページIDのリスト番号Pに相当する修飾オブジェクトのオブジェクトブロック数をKMAXとし、ブロック番号をKとして1から開始する。そして、S(K)を0とし、SMAXを0としてS4604に進む。
次に、S4604で、KがKMAXより大きいか否かを判定する。KがKMAXよりも大きいと判定された場合、S4612で、ブロック番号Kを1からKMAXまで変化させた際のS(K)の平均をSP(P)とし、リスト番号Pを1つ増やして、S4602に戻って処理を続行する。
一方、KがKMAXよりも小さいと判定された場合、S4604に進み、S4604で、表示をしようとしているページ内のオブジェクト数をNMAXとし、オブジェクト番号をNとして1から開始する。次に、S4606で、NがNMAXよりも大きいか否かを判定する。NがNMAXよりも大きい場合、S4611進み、S4611で、S(K)にSMAXを代入し、ブロック番号Kを1つ増やして、S4604に戻って処理を続行する。
このとき、S(K)には、修飾オブジェクトKに対し、ページ内のオブジェクトのうちもっとも相関の高かったオブジェクトとの相関度Sが保存される。そして、S4611からS4606に戻る際に、修飾オブジェクトKに一番一致したページ内オブジェクトの相関値がS(K)に代入される。
一方、S4606で、NがNMAXよりも小さいと判定された場合、S4607に進み、S4607で、相関度Sを計算する。Sの算出方法については、図48を参照して後述する。次に、S4608で、S4607にて相関度Sを計算した後、SがSMAXより大きいか否かを判定する。SがSMAXよりも大きいと判定された場合、S4609に進み、S4609で、SMAXをSとして、S4610に進む。一方、SがSMAXよりも小さいと判定された場合、S4610に進む。そして、S4610で、オブジェクト番号Nを1つ増やして、S4606に戻って処理を続行する。
S4602で、PがPMAXよりも大きいと判定された場合、S4613で、Pを1とし、SMAXを0とする。次に、S4614で、PがPMAXより大きいか否かを判定する。PがPMAXよりも小さいと判定された場合、S4615に進み、S4615で、S(P)がSMAXよりも大きいか否かを判定する。S(P)がSMAXよりも大きい場合、S4616に進み、S4616で、SMAXをS(P)とし、SMAXにPを代入し、S4617に進む。一方、S4615で、S(P)がSMAXよりも小さい場合、S4617に進む。そして、S4617で、リスト番号Pを1つ増やして、S4614に戻って処理を続行する。
一方、S4614で、PがPMAXよりも大きいと判定された場合、S4618に進む。S4618で、SMAXが0.5より大きいか否かを判定する。SMAXが0.5より大きいと判定された場合、S4619に進み、S4619で、ページIDがSMAXの修飾オブジェクトリストに記憶されている表示領域情報を表示領域として設定、S4621に進み、処理を終了する。
一方、S4618で、SMAXが0.5より小さいと判定された場合、修飾オブジェクトリストのどれとも一致しているものが無いということなので、S4620に進む。S4620で、現在表示しようとしているページ全体を表示領域として設定し、S4621で処理を終了する。
次に、図48を参照して、S4607のオブジェクトNと修飾オブジェクト登録リスト情報のリスト番号Pのブロック番号Kのオブジェクトとの相関度Sを計算するフローについて説明する。なお、図48において、S4301〜S4309は、図43にて説明したフローと同等であるため、それらの説明を省略する。図48に示すフローは、図43のフローのうち、S4310、S4311、S4312が無く、S4308またはS4309にて算出したSの値を保持し、S4701で、S4607に戻る。
次に、図43、44を参照して、S4205で、オブジェクトが修飾オブジェクトに相当するか否かを判定する具体的な処理について説明する。ユーザが表示を望まない内容のオブジェクトは、修飾オブジェクト登録部2410により前述の修飾オブジェクト登録処理が行われ、装飾オブジェクトとして登録される。オブジェクトが修飾オブジェクトに相当するか否かを判定する処理では、具体的には、オブジェクトが図39に示す全ての修飾オブジェクト登録リストに掲載されている修飾オブジェクトのいずれかに相当するか、もしくはいずれにも相当しないかを判定する。
表示範囲決定処理でS4205に進むと、まず、図44のS4401に進み、オブジェクトNが修飾オブジェクトに相当するか否かの判定を開始する。次に、S4402で、修飾オブジェクト登録リストの総数をPMAXとし、リスト番号をPとして、Pは、1から開始する。次に、S4403で、PがPMAXより大きいか否かを判定する。PがPMAXよりも大きいと判定された場合、S4409に進み、オブジェクトNが修飾オブジェクトに相当しないと判定され、S4206に進む。
一方、S4403で、PがPMAXより小さいと判定された場合、S4404に進み、ページIDがPの修飾オブジェクトのブロック総数をKMAXとし、ブロック番号をKとして、Kは、1から開始する。次に、S4405で、KがKMAXより大きいか否かを判定する。KがKMAXより大きいと判定された場合、S4408に進み、リスト番号Pを1つ増やしてS4403に戻って処理を続行する。
一方、S4405で、KがKMAXより小さいと判定された場合、S4406に進む。S4406で、オブジェクトNと修飾オブジェクト登録リスト情報のリスト番号Pのブロック番号Kのオブジェクトとが同等か否かを判定する。同等であると判定された場合、S4410に進み、オブジェクトNが修飾オブジェクトに相当すると判定され、S4208に進む。
一方、S4406で、同等でないと判定された場合、S4407に進み、ブロック番号Kを1つ増やしてS4405に戻って処理を続行する。尚、S4406の判定における具体的な処理は、図43で説明する。
まず、S4301で、Sを1とする。ここで、Sは、オブジェクトNと修飾オブジェクト登録リスト情報のリスト番号Pのブロック番号Kのオブジェクトとの相関度である。次に、S4302で、オブジェクトNの種類と修飾オブジェクトKのオブジェクトの種類を比較し、両者のオブジェクトの種類が一致するか否かを判定する。両者が一致すると判定された場合、S4303で、SをS×1とする。一方、両者が一致しないと判定された場合、S4304で、SをS×0.8とする。
次に、S4305で、Sを、オブジェクトNの面積でオブジェクトNと修飾オブジェクトKとの位置が重なる面積を割った値を、Sに乗じた値とする。次に、S4306で、Sを、オブジェクトNの面積と修飾オブジェクトKの面積との最大値でオブジェクトNの面積と修飾オブジェクトKの面積との最小値を割った値を、Sに乗じた値とする。
次に、S4307で、オブジェクトNの色と修飾オブジェクトKの色とを比較し、同じ色であるか否かを判定する。両者が同じ色であると判定された場合(すなわち、両者が色黒または両者がカラーである場合)、S4308で、SをS×1とする。一方、両者が異なる色であると判定された場合、S4309で、SをS×0.8とする。
次に、S4301で、Sが0.5より大きいか否かを判定する。Sが0.5よりも大きいと判定された場合、S4311で、オブジェクトNと修飾オブジェクト登録リスト情報のリスト番号Pのブロック番号Kのオブジェクトとが同等であると判定され、S4410に進む。一方、Sが0.5よりも小さいと判定された場合、S4312で、オブジェクトNと修飾オブジェクト登録リスト情報のリスト番号Pのブロック番号Kのオブジェクトとが同等でないと判定され、S4407に進む。
次に、図48を参照して、S4607のオブジェクトNと修飾オブジェクト登録リスト情報のリスト番号Pのブロック番号Kのオブジェクトとの相関度Sを計算するフローについて説明する。なお、図48において、S4301〜S4309は、図43にて説明したフローと同等であるため、それらの説明を省略する。図48に示すフローは、図43のフローのうち、S4310、S4311、S4312が無く、S4308またはS4309にて算出したSの値を保持し、S4701で、S4607に戻る。
次に、図26と図33、図34を用いて、本実施形態における部分領域表示モードの表示を具体的に説明する。なお、図33および図34は、本実施形態における携帯情報端末107のタッチUI1904の画面表示例である。
図26において、オブジェクト2601は横書きの文字の属性を持つオブジェクトである。オブジェクト2601は、図26(A)のように破線で示す領域情報を持つ。オブジェクト2601の属性は文字であるため、オブジェクト2601が読み込まれた直後、部分領域表示範囲決定処理において、オブジェクトの幅は、タッチUI1904の画面幅に入るようなページの表示倍率で設定される。オブジェクト2601を表示する場合、設定されたページの表示倍率で表示すると、オブジェクトの高さがタッチUI1904の画面の高さより小さくなる。そのため、該オブジェクトの中心がタッチUI1904の中心に合うように、ページの始点が設定され、図26(B)に示すように表示される。
また、図33(A)において、オブジェクト3300は縦書きの文字の属性を持つオブジェクトである。また、オブジェクト3300は、図33(A)の破線で示す領域情報を持つ。オブジェクト3300の属性は文字であるため、オブジェクト3300が読み込まれた直後は、部分領域表示範囲決定処理において、ページの表示倍率は、オブジェクトの高さがタッチUI1904の画面高さに入る倍率に設定される。また、オブジェクト3300を表示する場合、当該設定されたページの表示倍率において、オブジェクトの幅がタッチUI1904の画面の幅よりも大きくなる。そのため、オブジェクト右上端がタッチUI1904の右上端に合うように、ページの始点が設定され、図33(B)に示すように表示される。
また、図34において、オブジェクト3400は図面の属性を持つオブジェクトである。オブジェクト3400は、図34(A)のように破線で示す領域情報を持つ。オブジェクト3400の属性は図面であるため、オブジェクト3400が読み込まれた直後は、部分領域表示範囲決定処理において、ページの表示倍率は、オブジェクトの幅と高さがタッチUI1904の画面幅と高さに入る倍率に設定される。また、オブジェクト中心がタッチUI1904の中心に合うように、ページの始点が設定され、図34(B)に示すように表示される。
次に、図34と図35、図36を用いて、本実施形態における移動範囲制限処理の制限例を具体的に説明する。図35および図36は、本実施形態における携帯情報端末107のタッチUI1904の画面表示例である。
図35(A)は、オブジェクト3400をタッチUI1904に表示した一例である。図35(A)では、図34(B)と同様に、ページの表示倍率は、オブジェクトの幅と高さがタッチUI1904の画面幅と高さに入る倍率に設定され、オブジェクト中心がタッチUI1904の中心に合うように、ページの始点が設定されている。そのため、オブジェクト3400の幅と高さがタッチUI1904の画面幅と高さよりも小さく、オブジェクト3400がタッチUIの画面内に全て収まるように表示されている。図35(B)は、ユーザの指が3500から3501の方向(すなわち左方向)にスワイプ動作されたときの表示例である。スワイプイベント処理部2401は、スワイプイベントを受信するたびに移動距離だけページの始点を動かしてタッチUI1904の表示を更新する。図35(B)では、ユーザのスワイプ動作によって、オブジェクト3400の左端がタッチUI1904の画面外に移動したことを示す。図35(C)は、スワイプイベント処理部2401によって図35(B)のように左端が画面外に移動されたオブジェクト3400を、移動範囲制限処理によって画面内に戻して表示するように、ページの始点を補正した場合を示す。すなわち、オブジェクト3400は、表示中のオブジェクトの幅と高さが、タッチUI1904の画面の幅と高さよりも小さいため、オブジェクト3400が画面外に移動すると、移動範囲制限処理によって、画面内に表示されるようにページの始点が補正される。
図36(A)は、オブジェクト3400をピンチアウト動作によって拡大してタッチUI1904に表示した一例である。図36(A)は、表示中のオブジェクト3400の幅がタッチUI1904の画面幅よりも大きく、オブジェクト3400の左右端がタッチUI1904の画面外に、上下端が画面内に表示されていることを示す。図36(B)は、ユーザの指が3600から3601の方向(すなわち、右から左に向かう方向)にスワイプ動作されたときの表示例である。スワイプイベント処理部2401は、スワイプイベントを受信するたびに移動距離だけページの始点を動かしてタッチUI1904の表示を更新する。図36(B)では、ユーザのスワイプ動作によって、オブジェクト3400の右端がタッチUI1904の画面内に移動している。図36(C)は、右端が画面の内側に移動されたオブジェクト3400を、移動範囲制限処理によって、当該オブジェクト3400の右端がタッチUI1904の画面の右端にほぼ合うようにページの始点を補正した場合の表示例である。すなわち、オブジェクト3400は、表示中のオブジェクトの幅がタッチUI1904の画面幅よりも大きい。そのため、オブジェクト3400の端が画面内に移動された場合、移動範囲制限処理によって、当該オブジェクトの多くができるだけ画面内に表示されるように、当該オブジェクトの端が画面の端に合うようにページの始点が補正される。
なお、本実施例において、MFP100は携帯情報端末107に表示用のアプリケーション画像データを送付し、携帯情報端末107は受信したアプリケーション画像データを表示する構成としている。しかしながら、例えば、MFP100において、アプリケーション画像データを内部に保持する携帯情報端末107で実行可能なアプリケーションを生成し、携帯情報端末107に配信するような構成にしても良いことは言うまでもない。なお、そのときの携帯情報端末107で実行可能なアプリケーションは、本実施例で説明したソフトウェアモジュールであるジェスチャイベント処理部2002を内部に持って、アプリケーション画像データを制御する。
また、MFP100は、生成したアプリケーション画像データを文書管理サーバ106に送信すると共に、携帯情報端末107にそのアプリケーション画像データの場所を示すアドレスを送付するようにしても良い。この場合、携帯情報端末107はアプリケーション画像データの実体データは持たず、LAN102を通して、文書管理サーバ106のデータが保持されるデータベース105から随時ページやオブジェクトの情報を取得・表示する。
以上、本実施形態において、ユーザが関心の無い、表示が不要なオブジェクトを修飾オブジェクトとして登録することで、関心のある領域のみ表示することが可能である。そして、関心領域表示モードで表示する場合の表示例を図40(A)〜(C)を参照して説明する。
まず、図40(A)はユーザが登録する修飾オブジェクトを示すページの一例である。上分割線4001は、本文4007とタイトルなどの情報を示すコンテンツであるデザイン4002およびコンテンツ4003を分割する線であり、装飾4004は、章を判別しやすくするレイアウト装飾である。ページ番号4005は、表示しているページの番号を示し、下分割線4006は、本文4007とページ番号4005の領域とを分割する線である。また、端末4008は、携帯端末などの端末である。さらに、モード切替ボタン4010は、表示モードを切り替えるボタンで、前へボタン4009および次へボタン4011は、表示しているオブジェクトの前、または次のオブジェクトを表示させるためのボタンである。従来の表示方法では、図40(A)のオブジェクトのページを携帯端末などの端末に表示した場合は、図40(B)のように、常にページの全体が表示される。
本実施形態において、例えば、ユーザがページ内の上分割線4001、コンテンツ4002および4003、装飾4004、ページ番号4005、下分割線4006の表示を望まない場合、それらを修飾オブジェクトとして登録することができる。特定のページ全体から表示させたい領域を拡大、縮小などをすることにより調整し、その領域を表示した状態で、何もせず所定の時間以上が経過した後、表示されている領域を除く領域にあるオブジェクトを修飾オブジェクトとして登録することが可能となる。そして、ユーザがモード切替ボタン4010を指示することで、図40(C)のように、表示を望むオブジェクト(本実施形態では、本文4007)のみを表示することが可能となる。なお、修飾オブジェクトとして登録した後は、関心領域表示モードで新たなページを表示する際、修飾オブジェクトと同等のオブジェクトを表示させることが可能となる。
次に、部分表示モードで表示する場合の表示例を図41(A)〜(E)を参照して説明する。まず、図41(A)は、新規に表示するページのレイアウトを示す。上分割線4101は、オブジェクト4100の本文部分とタイトルなどの情報を示すコンテンツ4102および4103を分割する線であり、装飾4104は、章を判別しやすくするレイアウト装飾である。ページ番号4105は、表示しているページの番号を示し、下分割線4106は、本文部分とページ番号4105の領域とを分割する線である。また、本文部分には、上本文4107、本文装飾4108、下本文4109を含む。
従来の表示方法を用いて部分表示モードで表示した場合、まず、図41(B)のように、コンテンツ4103部分が表示される。そして、次へボタン4011を指示することで、図41(C)のように、デザイン4102部分が表示される。また、次へボタン4011を指示することで、図41(D)のように、上分割線4101部分が表示される。さらに、次へボタン4011を指示することで、図41(E)のように上本文4107部分が表示される。こうして、次へボタン4011を指示するごとにオブジェクト4100の各部分が順番に表示されていく。なお、前へボタン4009を指示した場合は、逆の順番で表示される。このように、従来の表示方法では、ユーザが表示させたい部分や表示させる必要のない部分に関係なく、オブジェクト4100の各部分が前へボタン4009および次へボタン4011を指示するごとに順番に表示される。その結果として、オブジェクト4100の全ての部分が表示される。このため、ユーザは、表示させたい部分まで、前へボタン4009または次へボタン4011を必要以上に指示し続けなければならない。
一方、本実施形態では、予めユーザが表示する必要のない部分(オブジェクト)を修飾オブジェクトとして登録することで、部分表示モードでオブジェクト4100を表示する場合、ユーザが表示させたい部分のみを表示させることが可能となる。従来の表示方法とは異なり、表示する必要のない部分が表示されないので、必要以上に、前へボタン4009または次へボタン4011を指示しなくてもよい。
例えば、図41において、ユーザが図41(E)のみを表示させたいとする場合、従来の表示方法では、図41(B)から順番に次へボタン4011を指示して、図41(E)を表示させる。一方、本実施形態によれば、表示する必要のない部分を予め修飾オブジェクトを登録しておくことで、次へボタン4011を指示することなく、図41(B)〜(D)を飛ばして図41(E)を表示させることができる。そして、新規に図41(A)のようなページを表示する際にも、修飾オブジェクトに相当するオブジェクトの表示を省くことができ、最初から図41(E)に示すような、ユーザが表示させたい部分のみを表示することができる。
このように、本実施形態では、ユーザが表示させたい領域を拡大、縮小などにより調整し、その領域を表示した状態で所定の時間以上が経過(判断基準)した後、表示されている領域を除く領域にあるオブジェクトを修飾オブジェクトとして登録することができる。これにより、以後、関心領域モードにおいて、修飾オブジェクトを登録する際のページ以外の新規のページを表示する際、登録した修飾オブジェクトと同等のオブジェクトを省いて、ユーザが表示させたいコンテンツのみを表示させることが可能となる。図49(A)〜(C)は、ユーザにより修飾オブジェクトが登録され、関心領域モードにて新しく表示するページがどのように表示されるかを示す。
まず、図49(A)は、新規に表示するページのページ全体のレイアウトであり、図49(B)は、従来の表示方法で端末上に表示されるページの表示例を示し、図49(C)は、本実施形態に係る関心領域表示モードにてページを表示した場合の表示例を示す。本実施形態において、新規にページを表示する際、ページ内のオブジェクトは、まず、過去に登録された修飾オブジェクトと同等なものであるか否かが判定される。
ここで、図49に示す上分割線4801は、オブジェクト4800の本文部分とタイトルなどの情報を示すコンテンツ4802および4803を分割する線であり、装飾4804は、章を判別しやすくするレイアウト装飾である。ページ番号4805は、表示しているページの番号を示し、下分割線4806は、本文部分とページ番号4805の領域とを分割する線である。また、本文部分には、上本文4807、本文装飾4808、下本文4809を含む。
例えば、図40に示す上分割線4001〜下分割線4006が修飾オブジェクトとして登録されている場合、図43の処理により、上分割線4801〜下分割線4806が修飾オブジェクトとオブジェクトの種類、位置、面積、大きさなどが同等であると判定される。その結果、図40に示すページと新規に表示するページが同等であると判定されるため、図49(C)のように修飾オブジェクトと同等と判定されたオブジェクトが省かれて表示される。一般に、ページ内の読書対象(本文など)のコンテンツは、ページにより変わることが多いが、デザインのためのレイアウトは、ページが変わっても位置や大きさ、オブジェクトの種類が共通であることが多い。
本実施形態では、表示するページの中でユーザが読む必要の無いオブジェクトを修飾オブジェクトとして登録することで、自動的に読みたい(表示させたい)オブジェクトのみを表示させることが可能である。また、ページを読み進めて新たにページを表示させた際にも、修飾オブジェクトと同等のオブジェクトか否かを自動的に判定し、表示対象から外した状態で表示させ、ページを読み進むことが可能である。従って、ユーザが不要なコンテンツを見ずに、見たいコンテンツのみを見やすい大きさに拡大し、ドキュメントを読み進むことができる。
なお、第1実施形態では、修飾オブジェクトの指定方法として、ユーザが表示領域を指定して、該表示領域を除く領域にあるオブジェクトを指定する方法を説明した。しかしながら、この方法以外にも、直接オブジェクトを指定してそのオブジェクトを修飾オブジェクトとして指定することでも可能である。
以上説明したように、本実施形態によれば、ユーザは、自分にとって読みたい対象で無いオブジェクトを修飾オブジェクトとして登録することで、修飾オブジェクトと同等のオブジェクトを省いてドキュメントを読み進むことが可能である。そして、ページ表示モードでは、不要なオブジェクトを表示しない分、ユーザにとって読みやすく拡大して表示することが可能である。また、部分表示モードでは、ユーザにとって不要な修飾オブジェクトと同等のオブジェクトを省いて部分表示することが可能である。そして、ユーザは、「次へボタン」や「前へボタン」操作により、ページ内の不要なオブジェクトの表示をすることなく、表示させたい範囲を適切な順序で次々に表示することが可能であるとともに、効率よくドキュメントを閲覧することができる。
(第2実施形態)
第2実施形態では、表示不要な修飾オブジェクトを登録する際、トリプルタップにより図37に示す処理を用いて修飾オブジェクトを登録し、表示不要な修飾オブジェクトを指定する。なお、第1実施形態と同様の部分に関しては、同一番号を付けて説明を省略し、異なる部分のみを以下に説明する。
第2実施形態では、ユーザは、表示不要なオブジェクトを修飾オブジェクトとして登録する際、第1実施形態と同様に、ユーザがページ表示モードにてページ全体を表示している時に、拡大、縮小などの操作で、表示領域を調整する。ユーザ表示領域を決めたところでトリプルタップを行うことによって、タッチパネル1902は、ジェスチャイベント発生部2001に信号を送り、ジェスチャイベント処理部2002は、図37に示す処理を行う。
まず、S3700でジェスチャイベント処理部2002は、ページ表示モードか部分領域モードかを判定する。ページ表示モードと判定された場合、S3701に進み、S3701で、トリプルタップした際の表示エリア外のオブジェクトの全てを、修飾オブジェクトと決定する。そして、図39(A)に示す、修飾オブジェクトリストを作成して登録する。次に、S3702で、ページ内の修飾オブジェクトの数、表示している表示領域の座標情報、表示しているページ番号の情報、登録ファイルIDの情報から成る修飾オブジェクト登録リスト情報のファイルを作成する。なお、登録ファイルIDは、修飾オブジェクト登録リストを登録する際の登録番号に相当するIDであり、ファイル作成毎に1から昇順にIDが割り当てられる。そして、S3703で処理を終了する。一方、S3700で、部分領域モードと判定された場合、S3703に進み、処理を終了する。
以上のように、第2実施形態において、例えば、図40(A)のようなドキュメントを表示する際、まず、ユーザが図40(C)のように表示範囲を選択して、トリプルタップ動作をする。それによって、表示範囲外のオブジェクトが修飾オブジェクトリストとして、図39(A)に示すリストに登録される。また、その際、ページ内の修飾オブジェクト数、表示領域、表示しているページのページ番号、登録ファイルIDが図39(B)に示す修飾オブジェクト登録リスト情報に登録される。すなわち、図40(A)の上分割線4001〜下分割線4006が修飾オブジェクトとしてリストに登録される。
また、例えば、図49(A)を参照して、既に登録されている修飾オブジェクト登録リストとの相関を図る。すると、上分割線4801〜下分割線4806は、上分割線4001〜下分割線4006のそれぞれと、オブジェクトの種類、位置座標、大きさが同等であると認識できる。従って、上分割線4001〜下分割線4006が修飾オブジェクト登録リストに予め登録されている場合、それらと上分割線4801〜下分割線4806とは、相関が高いと判定される。
これにより、図49(A)に示すページを新たに表示する場合、自動的に修飾オブジェクト登録リストに対する修飾オブジェクト登録リスト情報に記憶されている表示領域を用いして表示する。その結果、ユーザが新たにページを表示させる毎に表示領域を手動で調整する必要がなく、自動的に図49(C)に示すようなユーザにとって必要な領域を拡大して表示が可能である。
なお、本実施形態では、修飾オブジェクトを指定する方法として、修飾オブジェクト以外のオブジェクトを選択し、それ以外のオブジェクトを修飾オブジェクトと指定したが、オブジェクトを直接指定して、修飾オブジェクトとして指定してもよい。
また、第1実施形態では、ユーザが所定の時間、ページの任意の表示範囲を表示させることで、修飾オブジェクトを決定したが、所定の時間に何も操作ができないため、修飾オブジェクトを登録するためには、一定の時間が必要であった。それに対し、第2実施形態では、ユーザが調整して表示した表示領域を直接タップすることで修飾オブジェクトを記憶することができるため、時間の短縮を図ることができる。
また、関心領域表示モードかつページ表示モードでドキュメントを読み進める場合、新たなページを表示する際に、ページ全体が表示されず、ページの一部分のみが表示されることが考えられる。そして、該ページの表示されない部分に、本来ユーザが関心のある、修飾オブジェクトとは異なる別のオブジェクトが存在し得る。その場合は、画面外に追いやられて読めないオブジェクトについて、修飾オブジェクトと同等なオブジェクトか否かを判定する。そして、修飾オブジェクトでは無いと判定されるオブジェクトが存在する場合、表示エリア外にそのようなオブジェクトが存在することをユーザに明示する。ユーザへの明示方法としては、表示エリアの周囲のうち、オブジェクトが存在する方向の一部分にマークを表示する方法の他、全体表示をした上で、ユーザの好みの表示領域に自動的に縮小表示する方法、ページ全体を表示する方法などが考えられる。
第1および第2実施形態において、オブジェクトの相関値を決定する方法として、図43または図47の処理により、相関値を算出し、オブジェクトが一致しているか否かの判定を行う方法を例示した。しかしながら、これらに限定されるものでは無く、オブジェクト同士の面積、種類、色などの情報のうち、少なくとも一つ以上の情報を用いた演算で相関値を算出し、予め定めた条件(判定基準)に一致するか否かで、オブジェクトの一致を判定してもよい。また、より簡単に判定するには、単純にそれぞれオブジェクトの座標のみを比較し、重なり合う面積が、各オブジェクトの面積の一定割合以上か否かを判定することで、オブジェクトが一致しているかどうかを判定してもよい。さらに、登録したページの修飾オブジェクト(第1の情報)と左右対称の位置座標を有する修飾オブジェクトを含むページの情報(第2の情報)をさらに登録しておく。これにより、左右対称になったページのオブジェクトが修飾オブジェクトと一致しているか否かでページが同等か否かを判定してもよい。
また、ユーザがページを拡大、縮小などで表示範囲を変更した場合、変更した表示領域で所定の判定基準(すなわち、所定の時間操作をしない、またはトリプルタップする)により新たな修飾オブジェクトを登録し、その表示領域を新規の表示領域としてもよい。さらに、第1実施形態では、ユーザが修飾オブジェクトを登録する際に、ユーザが所定の時間、ページの任意の表示範囲を表示した後に、操作した場合、該表示範囲を記憶し、該表示範囲外のオブジェクトを修飾オブジェクトとして登録する例を示した。また、第2実施形態では、トリプルタップなどのアクションを行い、登録をする例を示した。しかしながら、これに限定されるものでは無く、例えば、ユーザが選択したジェスチャや、任意のジェスチャを組み合わせることにより修飾オブジェクトを判定および登録することができる。そして、さらに別の修飾オブジェクトを登録するする方法として、複数のアクションを組み合わせる、またはユーザが好みのアクションを定義することで修飾オブジェクトを判定および登録することができる。
(その他の実施例)
本発明は、複数の機器(例えばホストコンピュータ、インターフェース機器、リーダ、プリンタなど)から構成されるシステムに適用しても、一つの機器からなる装置(例えば、複写機、ファクシミリ装置など)に適用してもよい。また本発明の目的は、前述の実施例の機能を実現するプログラムコード(コンピュータプログラム)を記録した記録媒体を、システムあるいは装置に供給する。供給されたシステムあるいは装置のコンピュータが記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコード自体およびプログラムコードを記憶した記憶媒体は本発明を構成することになる。
また、本発明には、プログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれる。さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた場合についても、本発明は適用される。その場合、書き込まれたプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される。
また、上述した実施形態では、コンピュータがプログラムを実行することにより、各処理部として機能するものとしたが、処理の一部または全部を専用の電子回路(ハードウェア)で構成するようにしても構わない。