JP5423422B2 - 画像処理装置、画像処理方法、プログラム及び記録媒体 - Google Patents

Description

本発明は、文書ファイルのサムネイルを生成する処理に関し、より詳しくは、複数枚の画像よりなる文書ファイルのなかから選定された代表画像をもとに文書ファイルのサムネイル画像を生成する処理を行う画像処理装置、画像処理方法及び前記サムネイル画像の生成機能を実現するためのプログラムに関する。

従来から、画像処理装置において文書ファイルをアクセスする際にユーザーが目的のファイルを見つけ出し指示する操作を容易にする等の手段として、文書ファイルのサムネイルが利用されている。その中には、複数枚の原稿をスキャン読み取りして得られる文書ファイルにサムネイルを利用したものもある。この場合、文書ファイルがスキャン読み取り順に連ねた所定フォーマットの複数ページ（枚）の画像データで構成されるので、文書ファイルのサムネイル或いはアイコンとして、最初のページである表紙を用いるものが多い。
複数枚よりなる文書ファイルのサムネイルに表紙のような１枚の画像を用いる方法では、上記複数枚の画像よりなる文書ファイルが多数蓄積された場合に、表紙をもとにユーザーの不確かな記憶を頼りに目的のファイルやどこかのファイル中にあるはずの目的の画像を探すことは、困難を伴う。例えば、写真などを保持するＣＤ（Compact Disc）−Ｒ（Recordable）等は単にタイトルを表示することや１枚の画像を表示することでは、ＣＤ―Ｒ中に保存されているそれぞれの画像の特定は難しく、不明瞭な記憶を頼りに捜すことは殆ど不可能に近かった。

このため、特許文献１では、撮影日の情報が付与された画像データを所定数のグループに分類し、各グループからそれぞれ１つの画像データを選択し、この画像によってグループごとのサムネイル画像データを生成する。また、生成したサムネイル数個をこの画像データが記録されたＤＶＤ（Digital Versatile Disc）‐Ｒ（Recordable）の盤面にプリントする。このように、特許文献１は、ＤＶＤ‐Ｒの盤面にタイトルだけではなく、上記の方法で生成したサムネイル画像をプリントすることでＤＶＤ‐Ｒ中の内容の特定をより容易にするものである。
ただ、上記の従来技術を論文や社内文書などのような定型文書に適用した場合、例えば表紙のレイアウトが同じであるため、それらの文書のカテゴリーの絞り込みが行える程度で、それ以上の文書内容による絞込みは困難である。

画像検索を容易にするサムネイルの生成処理を行う特許文献２では、各画像を予め決められた数個のカテゴリーに分けて、近い画像同士をサムネイル一覧画面上で近くに配置することで検索の利便性を増す発明である。この発明により、似た画像が近くに配置され、同じような画像を検索するのが容易になる。
ただ、この発明をテキスト文書のみの画像に適用すると、１つのカテゴリーに全ての画像が集まってきてしまうため、文書単位で人間が目視で捜す場合には不向きである。また、複数枚の画像よりなる文書ファイルへの適用を考慮していないので、このような文書ファイルを目視で検索する場合にも不向きである。

ところで、人間が本を検索するときには、各ページをパラパラと高速でめくって複数ページを同時に目視可能な状態で検索することがある。このようなパラパラめくり検索は、文書中の特徴部分について何らかの知識を予め持っていることを前提に、この知識に基づいて、その特徴部分を手がかりに目的の文書を捜すときの検索方法である。
こうした本のパラパラめくりをコンピュータによって実現しようとすれば、画面上で本のパラパラめくりをエミュレートしてやること、つまり動画で表示してやることが必要になってくると推測される。本のパラパラめくり効果があるサムネイルを作成するのには、サムネイルの表示にこのパラパラめくり動画を用いることにより実現の可能性はある。ただ、このパラパラめくりを効果的に行うためには、高速に画面が切り替わる表示デバイスが必要となってくる。

文書画像を表示するデバイスとして、電子ペーパが近年脚光をあびており、Amazon.comの電子書籍専用端末「キンドル（登録商標）」など、実際に電子ペーパを用いた商品が販売されている。この電子ペーパについて、現在問題になる点は、表示を行うのに何度も書き込みを行わないとはっきりとした画像が表示されない、つまり、画面の書き換え速度が遅いことにある。カラー画像を表示する電子ペーパはさらに画面の書き換え速度が遅く、現状では、動画を表示するデバイスには不向きである。つまり、電子ペーパでは、先に述べた動画によるパラパラめくり検索を直ちに行うことは不可能である。

本発明は、複数枚の画像よりなる文書ファイルの検索技術における上述の現状に鑑みてなされたもので、その目的は、文書の最初のページをサムネイル画像とする、といったような単に１枚の代表画像をサムネイルとして用いるよりも優れた検索性能が得られ、かつ人間によるパラパラめくり検索に相当する検索性能を実現でき、複数枚の画像よりなる文書ファイルの目視による検索を的確かつ容易に行うことを可能にするサムネイル画像を生成することにある。

本発明は、複数枚の画像よりなる文書ファイルの該画像から代表画像を選定する画像選定部及び前記画像選定部によって選定された代表画像をもとに前記文書ファイルのサムネイル画像を生成するサムネイル生成部を有する画像処理装置であって、前記画像選定部は、画像属性に係る特徴によって代表画像を選定する手段であり、前記サムネイル生成部は、前記画像選定部によって選定された代表画像がファイルフォーマット上近接した関係にあることを条件に該代表画像同士を重ね合わせて１枚のサムネイル画像を生成する画像合成手段を備えることを特徴とする。
本発明は、複数枚の画像よりなる文書ファイルの該画像から代表画像を選定する画像選定工程及び前記画像選定工程で選定された代表画像をもとに前記文書ファイルのサムネイル画像を生成するサムネイル生成工程を有する画像処理方法であって、前記画像選定工程は、画像属性に係る特徴によって代表画像を選定する工程であり、前記サムネイル生成工程は、前記画像選定工程で選定された代表画像がファイルフォーマット上近接した関係にあることを条件に該代表画像同士を重ね合わせて１枚のサムネイル画像を生成する画像合成工程を有することを特徴とする。

本発明より生成されるサムネイル画像（疑似パラパラ画像）を用いることで、文書の最初のページをサムネイル画像とする、といったような単に１枚の代表画像をサムネイルとして用いる従来技術に比べ、複数枚の画像よりなる文書ファイルの目視による検索をより的確かつ容易に行うことができる。

文書ファイルの代表画像の１例（Ａ）と選定された代表画像をもとに生成されるサムネイル画像（疑似パラパラ画像）の１例（Ｂ）を示す図である。 互いに近接した関係にある代表画像の１例を示す図である。 図２に示した代表画像の合成画像（疑似パラパラ画像）を示す図である。 本発明の画像処理装置の実施形態に係るハードウェア構成を示すブロック図である。 本発明の実施形態に係るサムネイル画像の生成処理フローの概略図である。 本発明の実施形態に係る代表画像の選定部の１例を示すブロック図である。 本発明の実施形態に係る代表画像の選定処理フローの１例を示す図である。 本発明の実施形態に係る代表画像の合成処理フローの１例を示す図である。 本発明の実施形態に係る合成画像の他の例を示す図である。 本発明の実施形態に係るサムネイル画像の生成処理フローの概略図である。 近接画像の線形和による合成画像の１例を示す図である。

本発明の実施形態について、添付図面を参照して説明する。
以下に示す本発明に係る画像処理装置の実施形態は、紙を媒体とする複数枚の文書からスキャナ読取りを通して得た複数枚の画像を、読み取り順に所定のフォーマットのもとにファイル化し、得られる文書ファイルを用いて印刷、画面表示などの画像出力処理を行う画像処理装置（図２、参照）に実施した例を示す。ただ、本実施形態の画像処理装置は、文書ファイルを用いた印刷などの画像出力処理自体を特徴とするわけではなく、文書ファイルのサムネイル画像の生成処理を特徴とする。文書ファイルのサムネイルは、画像出力などの処理に用いるために蓄積された文書ファイルと対応付けて登録され、文書ファイルにアクセスする際にユーザーが目指す文書ファイルを蓄積ファイル群から見付け出し、処理対象として指示する操作を容易に行うために利用される一種のアイコンである。

「複数代表画像によるサムネイル画像（疑似パラパラ画像）」
複数枚の画像よりなる文書ファイルのサムネイル画像は、従来、各文書ファイルに対し１枚の代表画像を用いていたために、上記［背景技術］で述べたように、文書ファイルの画像の種類によっては目視による検索が困難になり、検索性能の低下は否めない。
そこで、本実施形態の画像処理装置が行う文書ファイルのサムネイルの生成処理は、文書を構成する画像がそれぞれ持つ画像属性、即ち画像そのものの性質（例えば、文字、図形、写真などの画像種類、カラーとモノクロの画像種別、等）、に係る特徴によって代表画像を選定し、選定された代表画像同士を重ね合わせて１枚のサムネイル画像を生成する。
図１は、代表画像（Ａ）とサムネイル画像（Ｂ）の１例を示す図である。図１（Ａ）の画像は、サムネイル生成処理の対象となる文書画像から選定された代表画像の１枚を示す。従来技術においては、図１（Ａ）に示す代表画像１枚をサムネイル画像として登録し、利用していた。

本実施形態では、図１（Ａ）に示す代表画像は、選定された代表画像のうちの１枚で、選定される他の代表画像と重ね合わせる合成処理を経て、サムネイル画像（Ｂ）として生成される。
このように本実施形態では、代表画像は、従来技術で定めた１枚という制限を設けずに、それぞれの画像がもつ画像属性に係る特徴によって複数の代表画像を選定し、合成することによって１枚のサムネイル画像とする。これは、人が本などの複数枚の文書から目指す画像の載ったページを目視で見付ける場合に、パラパラと行う速めくりによって認識し、記憶に残る画像を想定したもので、このようにして記憶に残る画像に相当する１枚の画像（以下「疑似パラパラ画像」という）を複数の代表画像を用いて生成し、サムネイル画像として用いる。
なお、ここで生成する疑似パラパラ画像は、サムネイル画像を用いて行う検索をユーザーが目視で行うことを想定すれば、実際に本などの文書を速めくりしたときに目に見える状態とほぼ同じ状態で画像を生成することが、脳の中にある漠然としたイメージによる検索に効果がある。従って、こうした状態に近づけることを後述する疑似パラパラ画像に用いる代表画像の選定方法や代表画像の合成方法において考慮することにより、この効果を高めることができる。

図２は、疑似パラパラ画像を生成するために用いる複数の代表画像（Ａ１）〜（Ａ４）を例示し、図３は、図２の代表画像を用いて生成される疑似パラパラ画像を示す図である。
図２に示す代表画像は、文書を構成する複数の画像のなかから画像属性に係る特徴などの後述する選定条件に従いこの文書の代表画像として選ばれた画像である。
図３の疑似パラパラ画像は、図２に示す４枚の代表画像を合成して生成しているが、文書を構成する画像及び選定条件によっては、必ずしも図２のように複数の代表画像が得られるとは限らない。このような場合、代表画像同士を重ね合わせたサムネイル画像を得るという条件を優先させて、例えば、少なくとも複数の代表画像が選定できるように、選定条件を適応させる方法をとることが可能である。

「疑似パラパラ画像の生成原理」
上記したサムネイル画像として用いる疑似パラパラ画像の生成原理について、ここで説明する。
疑似パラパラ画像は、上述のように、本などの文書を速めくりしたときに目に見える状態とほぼ同じ状態で画像を生成することを目標としているので、この疑似パラパラ画像に用いる画像は、対象とする文書ファイルから一見して記憶に残る特徴を持つ画像を代表画像として選定することが条件となる。
多数枚からなる文書では、文書中の特異な部分が目に付きやすく、このような部分を有する画像を複数枚の画像よりなる文書ファイル中から代表画像として選出する方が目視検索には有効である。

例えば、テキストが多い文書では、その文書中のイラストなどの図形や写真を有するページを代表画像とすることが有効である。逆に、イラストなどの図形が多い文書では、例えば写真集や画像カタログなどの文書では、テキストを多く含んだものを代表画像とする方法を採用すると良い。この場合、イラスト、図形、写真などの画像領域と文字領域を識別し、その割合の比率値を画像の特徴値として用いる。
また、画像の大きさ比率を用いて面積が大きな画像（例えば、大文字で記されるタイトルや大きな図形、写真など）や色味で分類された画像によって、特異な部分を判断し、代表画像の選定をしても良い。さらにこの方法を用いて、各特徴量から代表画像を選ぶ際、幾つかの画像において特徴量の値が同様な値が続くようなときに、その特徴量が大きく変わる変わり目にある画像中から代表画像を選ぶ。選び方としては、特徴量の変わり目の最初の方にある画像や、変わり目にあるなかの例えば、図形が大きな画像などを選び出す。
ここで代表画像として選ぶ基準の特徴量の計算方法やその選び方は、対象文書によって変わるため、実験的に確認した値を適用する等によって対処可能である。また、上記以外にも、特異な部分があるか否かを判断可能な既存の技術を適用することにより実施することができる。

上記の選定条件に従い選ばれた代表画像は、サムネイル画像としての疑似パラパラ画像の構成要素として用いることができる。ただ、本実施形態では、選定された代表画像から疑似パラパラ画像に用いる画像をさらに、画像同士の関連性に基づいて数枚に絞り込み、合成処理の対象とする。
画像同士の関連性とは、例えば、代表画像Ａと代表画像Ｂが文書ファイル中で近接したもの、つまり代表画像Ａと代表画像Ｂとの間にある画像数が少ないもの、例えば、８ページ以内の画像を採用する。
画像同士が近接した関係にあることを条件とした理由は、近接しているほど文書内容の関連性も強いので、これらの画像からの連想が働きやすく、ユーザーが容易に目指す文書であるか否かを判断することが可能になる。

上記の選定方法で合成処理の対象を定め、これらの代表画像を合成し１枚の疑似パラパラ画像を生成する。
ここで行う画像の合成には、単に画像の重ね合わせ（線形合成）を行う処理や、それぞれをある透過率で透かして合成する方法が適用可能である。ただ、比較的近いページ画像を単に線形合成すると、例えば、図１１に示すような画像になる。同図に示す画像は、検索時に人間の目には重要度が低い部分をも均等に線形和を行ってしまい、重要度の高い部分の情報を見え難くするため、実用性は低い。上述の近接する代表画像にこの線形合成を用いて疑似パラパラ画像の生成を行っても、やはり特徴部分を見え難くするという問題が生じるため、合成された画像を用いて目指す文書内容の画像を捜すときには、特徴画像が視覚し難くなってしまい、目視による検索には不向きである。

そこで、代表画像として選定された画像において、選定の拠り所となった特徴部分の領域、例えばイラスト領域やタイトル領域などは強調して合成画像を生成すると、視覚的に目立つため、頭の中のイメージを用いて目視検索するときなどに効果があり、頭の中のイメージ無しに文書中の内容を推定するときにも、過去の他の文書を見たときの経験から得られる文書に類似する文書であることが認識できることがあり、この場合には、その文書の内容を推定することが可能になる。
特徴部分を強調するには、疑似パラパラ画像の生成の際に、画像中の小さい文字などは視覚的には重要ではないため、例えば、大きな図や表を中心に合成していく。特徴部分を強調する合成方法の単純な例としては、まず小さな文字ラインを合成する画像中で合わせて、１枚の合成画像上に置く。この際に合成されたライン画像をぼかしてもよい。その次に、各代表画像の特徴量を次々に置いていくが、特徴量の小さいものから順に置き、後に置くほど、例えば濃度や色などを選ぶことにより目立つ画像とする。この操作を行う際、例えば単純に面積比率などを用いたために、文書の章タイトルの特徴量が低い値となっても、そのタイトルを合成画像上に置く順序を後にすることもでき、こうした手順でタイトル内容による文書の特定をし易くする。この処理操作により、本を速めくりして検索するときに目視できる画像内容をサムネイル画像中に表示できる。

「画像処理装置の構成」
図４は、本実施形態に係る画像処理装置のハードウェア構成を示すブロック図である。
この画像処理装置は、バス１と、それぞれがバス１に接続されたＣＰＵ（Central Processing Unit）２、メモリ３、通信装置４、表示装置５、ＨＤ（Hard Disk）ドライブ６、入力装置７、ＣＤ（Compact Disk）−ＲＯＭ（Read Only Memory）ドライブ８、ＦＤ(Flexible Disk)ドライブ９及びＩＦ（インターフェース）１５を備えている。

ＣＰＵ２は、この画像処理装置の動作制御を行うものである。メモリ３は、ＣＰＵ２が起動時に実行するプログラムや必要なデータ等を記憶するためのＲＯＭ（Read Only Memory）、ＣＰＵ２のワークエリア等を構成するためのＲＡＭ（Random Access Memory）などからなる。
ＣＰＵ２は、ＲＡＭをワークメモリとして用いることにより、ＲＯＭ、ＨＤドライブ６などに格納されたソフトウェア（プログラム）を動作させ、これらの要素で構成するコンピュータを動作制御部として機能させる。このコンピュータは、本実施形態では、複数枚の画像よりなる文書ファイルのサムネイル生成処理を実行するためのプログラムを駆動することにより、これらの処理手段として機能する。
通信装置４は、この画像処理装置をインターネットなどの通信回線に接続し、外部の画像処理装置などとのデータ交換を行うための装置である。

表示装置５は、液晶ディスプレイなどからなり、この画像処理装置を操作するための画面や動作状態を表示する。
入力装置７は、キーボードやマウスなどからなり、この画像処理装置に対する種々のキー操作や指示の入力を行うためのものである。

ＨＤドライブ６は、種々のアプリケーションプログラム、ワークデータ、及びファイルデータなどを記憶する。ＣＤ−ＲＯＭドライブ８は、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記録媒体の読み出しを行うための装置である。ＦＤドライブ９は、フレキシブルディスクに対する書き込み及び読み出しを行うための装置である。
ＩＦ１５は、接続する外部デバイス(周辺機器)との間でデータをやり取りするための装置であり、この実施形態では画像処理装置(システム)を構成するので、スキャナ、プリンタ等の外部デバイス１６がこのＩＦ１５を介して接続される。

「疑似パラパラ画像の生成処理」
本実施形態の画像処理装置(システム)１００（図４）が行う疑似パラパラ画像（サムネイル画像）の生成処理について説明する。
図５は、本実施形態に係る疑似パラパラ画像の生成処理フローの概略図である。
図５の処理のフローに従い、画像処理装置（システム）１００（図４）が行う疑似パラパラ画像の生成処理を説明する。
画像処理装置１００のＣＰＵ２は、例えば、原稿がスキャナ読取りされ、作成された文書ファイルをＨＤに蓄積し、管理するときに、この文書ファイルに対して疑似パラパラ画像の生成処理を実行するプログラムを起動する。なお、上記の処理対象の文書ファイル、文書ファイルの入力方法、処理の実行タイミングは、１例を示すものであり、この例に限る趣旨ではない。

疑似パラパラ画像の生成処理を開始すると、まず、文書ファイルを構成する複数枚の画像それぞれの特徴量を計算する（ステップＳ１０１）。
ここで処理の対象となる文書ファイルは、複数枚（ぺ一ジ）の画像が所定のフォーマットのもとに決められた順序で（スキャナ入力画像の場合、読み取り順で）ファイル化された１文書ファイルである。この文書ファイルは、例えば、マルチ画像ＴＩＦＦ（Tagged Image File Format）やＰＤＦ（Portable Document Format）などのファイルである。また、計算する特徴量は、画像属性（文字、図形、写真などの画像種類、カラーとモノクロの種別、等）に係る特徴の量的表現であり、ファイルを構成する複数枚の画像それぞれに算出される。これらの特徴量の算出方法自体は、既存の技術を適用することにより実施することができる。

次に、ステップＳ１０１で文書ファイルの各画像について算出した特徴量をもとに代表画像を選定する（ステップＳ１０２）。代表画像の選定は、上記「疑似パラパラ画像の生成原理」において述べた選定方法に従って、特徴量に基づく選定を行う。
また、上記のようにして選定された代表画像について、画像同士が近接した関係にあることを条件に絞り込みを掛け、疑似パラパラ画像に用いる代表画像（図２参照）を選定する。
ステップＳ１０２で選定された近接した関係にある代表画像同士を上記「疑似パラパラ画像の生成原理」において述べた合成方法に従って合成し、１枚の疑似パラパラ画像をサムネイル画像として生成する（ステップＳ１０３）。
上記したステップＳ１０１〜Ｓ１０３を実行することにより、基本的な疑似パラパラ画像（図３参照）の生成処理を完了し、この処理フローを終了する。

ここで、代表画像を選定する処理の実施例を２例示す。
１つは、画像の種類が異なるテキストと非テキスト（図形、写真など）領域を持つ画像の特徴量にもとづいて代表画像を選定する処理に係る。
図６は、この実施例の処理系の１例を示すブロック図である。なお、この処理系は、図５のステップＳ１０１、Ｓ１０２を実行するための１手段に相当する。
図６の処理系への入力は、文書ファイル中の画像である。画像は、１枚ずつ入力され、この処理系を通して代表画像として選定するか否かの処理結果が出力される。
画像領域判定部５１は、入力された画像のビットマップからＯＣＲ等を用いて、テキストと非テキスト（図形、写真など）それぞれを認識し、各々の領域を抽出する。

テキスト領域面積計算部５２は、画像領域判定部５１によって抽出されたテキスト領域の画像面に占める面積を算出する。
非テキスト領域面積計算部５３は、画像領域判定部５１によって抽出された図形、写真などの非テキスト領域の画像面に占める面積を算出する。
比率計算部５４は、テキスト領域面積計算部５２、非テキスト領域面積計算部５３それぞれによって計算された面積の比率を画像の特徴量として算出する。
代表画像判定部５５は、比率計算部５４によって算出された比率に対し、所定の判定基準に照らして代表画像として選出するか否かを判定し、判定結果を出力する。なお、上記所定の判定基準は、テキストが多い文書、逆にイラストなどの図形が多い文書ではそれぞれ代表画像を逆にした方が有効となる場合があり、この場合には、文書の性質に応じて判定基準を適応させることが必要になる。

代表画像を選定する処理のもう１つの実施例は、画像に含まれるテキストの大きさにもとづいて代表画像を選定する処理に係る。
図７は、この実施例の処理例を示すフロー図である。なお、この処理フローは、図５のステップＳ１０１、Ｓ１０２の１実施例に相当する。
図７の処理フローの処理対象は、文書ファイル中の各画像である。対象画像は１枚ずつこの処理フローを通すことで、代表画像として選定するか否かの処理結果を得る。
処理を開始すると、先ず、処理対象画像のビットマップからＯＣＲ等を用いて、テキストを認識し、各テキスト領域の抽出を行う（ステップＳ３０１）。
テキスト領域ごとにテキストの大きさを求め、求めた結果をもとに処理対象画像に含まれるテキストの大きさの最大値を得る処理を行っていくので、まずステップＳ３０１で抽出されたテキスト領域の１つについて、１ライン合成処理を行うことによりその領城のテキストの高さを求める（ステップＳ３０２）。

次に、ステップＳ３０２で求めたテキストの高さが、後述する最大値リストに保持されているこれまでに得たテキスト高さの最大値を超えるか否かを判断する（ステップＳ３０３）。ここで、テキスト高さのこれまでの最大値を超えない場合（ステップＳ３０３−NO）、何も処理をすることなく、未処理のテキスト領域があるか否かを確認するステップＳ３０５の処理に移行する。
他方、ステップＳ３０２で求めたテキストの高さが、テキスト高さのこれまでの最大値を超える場合（ステップＳ３０３−YES）、超えたテキスト高さ（１ラインテキスト画像）を当該処理対象画像に含まれるテキストの最大値を保持する最大値リストの値を更新する（ステップＳ３０４）。

次に、テキスト領域全ての処理を済ませたか否かを確認し（ステップＳ３０５）、済ませていなければ（ステップＳ３０５−NO）、次のテキスト領域の処理をするためにステップＳ３０２に戻る。
他方、テキスト領域全ての処理を済ませたことが確認できれば（ステップＳ３０５−YES）、上記の処理で最大値リストに保持されテキストの最大値をもとに、所定の判定基準に照らして代表画像としてこの処理対象画像を選出するか否かを判定し、判定結果を得る（ステップＳ３０６）。なお、上記判定基準は、タイトルが記載されたページを代表画像にする基準を設定することで、多数の普通の文字サイズのページを選定することなく、有効な代表画像が選べる。
ステップＳ３０６の選定結果を得て、このフローの処理を終える。

次に、上記のようにして選定された代表画像を用いて行う合成処理の実施例を示す。
この実施例は、代表画像を合成し、疑似パラパラ画像、即ち本を速めくりして検索するときに目視できる画像内容を１枚にまとめて表示する画像、を生成する処理（上記「疑似パラパラ画像の生成原理」の合成処理の説明、参照）に係る。
図８は、この実施例の処理例を示すフロー図である。なお、この処理フローは、図５のステップＳ１０３の１実施例に相当する。
図８の処理フローでは、文書ファイルを構成する画像から選定された複数枚の代表画像を載せた代表画像リストの代表画像を対象に合成処理を行い、疑似パラパラ画像を生成する。

処理を開始すると、先ず、代表画像リストに載せた代表画像に互いに近接する代表画像があるか否かを確認する（ステップＳ４０１）。この条件は、代表画像同士でページがあまり離れると、文書内容の関連性もなくなるので、近接する代表画像に絞って合成の対象にするための条件である（上記「疑似パラパラ画像の生成原理」の合成処理の説明、参照）。
ここで、近接する代表画像がない場合には（ステップＳ４０１−NO）、合成処理の対象になる代表画像がないので、このフローの処理を終了する。
他方、ステップＳ４０１で近接する代表画像がある場合には（ステップＳ４０１−YES）、合成処理を実行するので、処理対象とする互いに近接した関係にある代表画像群を格納した記憶場所から取り出す（ステップＳ４０２）。

次に、処理対象とする代表画像群について、これらの画像が代表画像として選定される根拠となった特徴を示す画像部分を画像オブジェクト（図形、文字などのオブジェクト）として選択する（ステップＳ４０３）。なお、選択する画像オブジェクトは、代表画像群全体で特徴値（量）の高いものからＮ個とする。
次に、処理対象とする代表画像群の中でも文書の代表に相応しい１枚のページ画像、例えば、表題が示されたページ画像をベース画像として描画する（ステップＳ４０４）。
ベース画像の描画の後、ステップＳ４０３で選択したＮ個の画像オブジェクトをベース画像に合成して描画する処理を行う。この実施形態の処理では、画像オブジェクト同士が重なる場合に後から重ねる画像オブジェクトは描画しないという対応で処理をする。

よって、処理の手順としては、Ｎ個の画像オブジェクトを１個ずつ描画対象として選択し（ステップＳ４０５）、描画対象として選択した画像オブジェクトが既に描画した画像オブジェクトと重なるか否かを確認する（ステップＳ４０６）。
ここで、既に描画した画像オブジェクトと重ならない場合には（ステップＳ４０６−NO）、この描画対象の画像オブジェクトの描画処理を行う（ステップＳ４０７）。
他方、既に描画した画像オブジェクトと重なる場合には（ステップＳ４０６−YES）、後から重ねる画像オブジェクトの描画をしないので、この画像オブジェクトを描画対象から除外する処理を行う（ステップＳ４０８）。この処理は、互いに近接した関係にある代表画像群として処理対象リストに載せたこの画像オブジェクトの代表画像をリストから削除する処理により、描画対象のＮ個の画像オブジェクトからも除くことが可能である。

１個の画像オブジェクトを対象とするステップＳ４０６〜４０８の処理を終えた後、ステップＳ４０９では、描画対象のＮ個全ての画像オブジェクトが処理済みであるか否かを確認し、未処理の画像オブジェクトがあれば（ステップＳ４０９−NO）、次の画像オブジェクトの処理に移行するためにステップＳ４０５に戻る。
他方、全ての画像オブジェクトが処理済みであれば（ステップＳ４０９−YES）、この文書ファイルの全代表画像が処理済みであるか否かを確認し（ステップＳ４１０）、未処理の代表画像があれば（ステップＳ４１０−NO）、次の代表画像の処理に移行するためにステップＳ４０１に戻る。
この文書ファイルの全代表画像が処理済みであれば（ステップＳ４１０−YES）、この近接代表画像合成処理のフローを終了する。

上記の処理フローに示したように、この実施例の合成処理により、近接する代表画像に絞った代表画像群全体で特徴値（量）の高い画像オブジェクト、即ち、合成対象に選定した代表画像のうち選定の根拠とした特徴が顕著に表れている画像オブジェクトの順に描画し、画像オブジェクト同士が重なる場合に後から重ねる画像オブジェクトの描画をしないようにした。この描画方法によって、重要な画像の見落としをなくし、目視による的確な検索ができるようになる。
なお、上記の処理フローでは、既に描かれた画像オブジェクトに次の描画対象の画像オブジェクトが重なるときには、描画をしない（上記ステップＳ４０８）という条件で合成画像を生成しているが、重なりが生じるときに、描画位置をずらして重ならないように描画することによって、画像オブジェクトの消失をなくす方法により実施してもよい。
また、描画対象の画像オブジェクトに重なりが生じるときに、重なる部分を透かして描画する方法もあり、このときはより特徴値が大きい画像が目立つように、たとえば濃い色になるように表示することにより、重要な画像を見落とさず、目視による的確な検索を可能にする。この方法は、先に図１１を参照して述べた線形和による合成方法の欠点を補う方法でもある。

「サムネイルヘの代表画像の補充」
上記実施形態で述べた疑似パラパラ画像は、サムネイルとして、本を速めくりして検索するときに目視される画像に近づける、という意識のもとに、複数枚の画像よりなる文書ファイルから一見して記憶に残る特徴を持つ（特徴値の高い）複数枚の代表画像を選定し、これらをサムネイルとする際にも、特徴値が高いほど目に付きやすくする合成方法によって１枚の画像にまとめている。このため、ページ全体のレイアウト等に着目した特徴の捉え方で文書ファイルを検索しようと試みるユーザーがいる場合、疑似パラパラ画像を用いても有効な検索を行えず、こうしたユーザーの要求に応えることができない。

そこで、ここでは、サムネイルとして用意する疑似パラパラ画像に加えて、疑似パラパラ画像を生成する過程で用いられなかった代表画像を補充した複数画像構成のサムネイルを利用する実施形態について示す。
図９は、本実施形態の疑似パラパラ画像と代表画像の合成画像で構成する１枚のサムネイル画像を例示する図である。
同図（Ａ）は、１枚のサムネイル画像領域を４分割した領域の１つを疑似パラパラ画像とし、その他の３領域には、それぞれ補充する代表画像を配置する例を示し、同図（Ｂ）は、１枚のサムネイル画像領域を４分割した４領域には、それぞれ補充する代表画像を配置し、これら４領域に重ねた真ん中の１つの領域に疑似パラパラ画像を配置する例を示し、同図（Ｃ）は、４分割した領域の２つを疑似パラパラ画像とし、その他の２領域には、それぞれ補充する代表画像を配置する例を示す。
補充する代表画像で生成するサムネイル画像は、当初の疑似パラパラ画像の生成に用いられなかった代表画像から選定し、選定した１枚の代表画像をもとに生成しても良いし、選定した複数枚の代表画像をもとに合成画像、例えば別の疑似パラパラ画像を生成しても良い。

図１０は、本実施形態に係るサムネイル画像の生成処理フローの概略図である。
図１０の処理フローに従い、画像処理装置（システム）１００（図４）が行う本実施形態に係るサムネイル画像の生成処理を説明する。
なお、図１０の処理フローにおけるステップＳ２０１〜Ｓ２０３は、疑似パラパラ画像を生成する処理であるから、先に図５のステップＳ１０１〜Ｓ１０３について行った説明と変わらない。よって、先の説明を参照することとする。

ステップＳ２０１〜Ｓ２０３を実行することにより、疑似パラパラ画像（図３参照）の生成処理を行い、得られる画像は一旦記憶部に保持する。
この後、前段までの処理で得られた疑似パラパラ画像に加えて、該疑似パラパラ画像を生成する過程で用いられなかった代表画像を補充した構成のサムネイルを生成する処理に移行する。
補充する代表画像（以下、「補充画像」という）は、上記図９に例示したように、疑似パラパラ画像とは別にそれぞれが独立した複数枚の画像を用意する。また、複数の補充画像は、疑似パラパラ画像を生成する過程で用いられなかった代表画像の中から、文書ファイルの内容を特徴付ける画像を選定する。

文書ファイルの内容を特徴付ける補充画像としては、例えば、
・表紙の完全な画像、特に疑似パラパラ画像で選定されない場合に表示画像を単独で用いる画像
・疑似パラパラ画像で図形、写真が多く選定されている場合に表題が載ったテキスト主体のページ画像
・上記とは逆に、テキスト主体の場合に疑似パラパラ画像から外れた図形、写真が載った画像
・代表画像同士が近接していることを条件とする疑似パラパラ画像からこの条件を満たさないために外れた顕著な特徴（特徴値の高い）を持つ画像
等の画像を用いることが有効である。
なお、サムネイルを構成する補充画像は数の制限があるので、単独でも良いが、選定した複数の代表画像を１枚に合成する方法を採用しても良い。

図１０のフローに戻ると、疑似パラパラ画像と補充画像よりなる複数画像構成のサムネイルを生成する処理として、上記のような方法に従いサムネイル化する補充画像に用いる代表画像を選定する（ステップＳ２０４）。
次に、複数画像構成のサムネイルとして疑似パラパラ画像に追加して補充画像を貼り付けて１枚のサムネイル画像を合成する（ステップＳ２０５）。ここで行う合成は、例えば、図９で例示したレイアウトで１枚の画像の領域を分割して、疑似パラパラ画像、補充画像それぞれを分割した領域に貼り付ける。
疑似パラパラ画像と補充画像を合成することで目的のサムネイル画像が得られるので、このフローの処理を終了する。

この実施形態で生成する疑似パラパラ合成画像と代表画像の複数の組によるサムネイル画像により、文書ファイルの画像中に点在している特徴的な部分画像と、文書画像中のページ中のレイアウト（構成）などの情報を同時に目視することが可能になる。これらの情報の目視結果を総合判断することで、文書ファイルの識別能力を高めることが可能になり、目指す文書の目視による検索が容易かつ的確に行えるようになる。更に、疑似パラパラ画像と補充画像よりなるサムネイル画像それ自体がコンピュータの理解できる情報であるから、生成したサムネイル画像並びにその画像要素をコンピュータによって検索することにより文書ファイル検索の処理を速くすることが可能になる。

２・・ＣＰＵ、３・・メモリ、５・・表示装置、６・・ＨＤドライブ、７・・入力装置、１５・・ＩＦ（インターフェース）、１６・・外部デバイス、５１・・画像領域判定部、５２・・テキスト領域面積計算部、５３・・非テキスト領域面積計算部、５４・・比率計算部、５５・・代表画像判定部、１００・・画像処理装置。

特開２００５−３２７２４９号公報 特開２００９−１１０３６０号公報

Claims (12)

1. 複数枚の画像よりなる文書ファイルの該画像から代表画像を選定する画像選定部及び前記画像選定部によって選定された代表画像をもとに前記文書ファイルのサムネイル画像を生成するサムネイル生成部を有する画像処理装置であって、
   前記画像選定部は、画像属性に係る特徴によって代表画像を選定する手段であり、
   前記サムネイル生成部は、前記画像選定部によって選定された代表画像がファイルフォーマット上近接した関係にあることを条件に該代表画像同士を重ね合わせて１枚のサムネイル画像を生成する画像合成手段を備える
   ことを特徴とする画像処理装置。
2. 請求項１に記載された画像処理装置において、
   前記画像合成手段は、合成の対象とする代表画像の前記特徴を示す画像部分の強調処理を行うことを特徴とする画像処理装置。
3. 請求項１又は２に記載された画像処理装置において、
   代表画像の選定基準とする前記特徴が、選定対象画像を構成する要素の大きさであることを特徴とする画像処理装置。
4. 請求項１又は２に記載された画像処理装置において、
   代表画像の選定基準とする前記特徴が、選定対象画像を構成する文字要素の大きさあるいは強調度であることを特徴とする画像処理装置。
5. 請求項１乃至４のいずれかに記載された画像処理装置において、
   代表画像の選定基準とする前記特徴が、選定対象画像を構成する要素のカラー化であることを特徴とする画像処理装置。
6. 請求項１乃至５のいずれかに記載された画像処理装置において、
   代表画像の選定基準とする前記特徴が、ファイルフォーマット上前後する選定対象画像の特徴量の変化であることを特徴とする画像処理装置。
7. 請求項６に記載された画像処理装置において、
   前記特徴量の変化が、テキスト領域と非テキスト領域の比率の変化であることを特徴とする画像処理装置。
8. 請求項１乃至７のいずれかに記載された画像処理装置において、
   前記画像選定部は、選定した代表画像のうち前記特徴が顕著に表れている画像だけをサムネイルの生成に用いる代表画像として選別する手段を備える
   ことを特徴とする画像処理装置。
9. 請求項１乃至７のいずれかに記載された画像処理装置において、
   前記画像選定部は、選定した代表画像のうち前記特徴が顕著に表れている画像及びその他の画像それぞれを１枚のサムネイルの生成に用いる代表画像として選別する手段を備える
   ことを特徴とする画像処理装置。
10. コンピュータを請求項１乃至９のいずれかに記載された画像処理装置が有する前記画像選定部、前記サムネイル生成部として機能させるためのプログラム。
11. 請求項１０に記載されたプログラムを記録したコンピュータ読み取り可能な記録媒体。
12. 複数枚の画像よりなる文書ファイルの該画像から代表画像を選定する画像選定工程及び前記画像選定工程で選定された代表画像をもとに前記文書ファイルのサムネイル画像を生成するサムネイル生成工程を有する画像処理方法であって、
    前記画像選定工程は、画像属性に係る特徴によって代表画像を選定する工程であり、
    前記サムネイル生成工程は、前記画像選定工程で選定された代表画像がファイルフォーマット上近接した関係にあることを条件に該代表画像同士を重ね合わせて１枚のサムネイル画像を生成する画像合成工程を有する
    ことを特徴とする画像処理方法。

Images