以下、本発明の実施形態を図面に基づいて説明する。
<1.第1実施形態>
<1−1.構成概要>
図1は、本発明の実施形態に係る画像形成装置10を示す図であり、図2は画像形成装置10の機能ブロックを示す図である。ここでは、画像形成装置10として、MFP(マルチ・ファンクション・ペリフェラル(Multi-Functional Peripheral))を例示する。
MFP10は、スキャン機能、コピー機能、ファクシミリ機能およびボックス格納機能などを備える装置(複合機とも称する)である。具体的には、MFP10は、図2の機能ブロック図に示すように、画像読取部2、印刷出力部3、通信部4、格納部5、操作部6およびコントローラ9等を備えており、これらの各部を複合的に動作させることによって、各種の機能を実現する。
画像読取部(スキャン部とも称される)2は、MFP10の所定の位置に載置された原稿を光学的に読み取って(すなわちスキャンして)、当該原稿の画像データ(原稿画像ないしスキャン画像とも称する)を生成する処理部である。画像読取部2は、原稿自動送り装置(ADF:Auto Document Feeder)を有し、原稿を構成する複数のページをそれぞれ順次に且つ自動的に読み取って複数のスキャン画像を生成することが可能である。
印刷出力部3は、印刷対象に関するデータに基づいて紙などの各種の媒体に画像を印刷出力する出力部である。なお、印刷出力部3は、各種の媒体上に画像を形成する画像形成部とも称される。印刷出力部3は、格納部5に格納された電子文書ファイルの複数のページに関する印刷出力を行うことも可能である。
通信部4は、公衆回線等を介したファクシミリ通信を行うことが可能な処理部である。さらに、通信部4は、ネットワークを介したネットワーク通信を行うことも可能である。このネットワーク通信では、たとえば、TCP/IP(Transmission Control Protocol / Internet Protocol)等の各種のプロトコルが利用される。当該ネットワーク通信を利用することによって、MFP10は、所望の相手先との間で各種のデータを授受することが可能である。通信部4は、各種データを送信する送信部4aと各種データを受信する受信部4bとを有する。
格納部5は、ハードディスクドライブ(HDD)等の記憶装置で構成される。格納部5は、印刷ジョブに係るデータ、スキャン画像等を記憶する。
操作部6は、MFP10に対する操作入力を受け付ける操作入力部6aと、各種情報の表示出力を行う表示部6bとを備えている。
このMFP10においては、略板状の操作パネル部6c(図1参照)が設けられている。また、操作パネル部6cは、その正面側にタッチパネル25(図1参照)を有している。タッチパネル25は、液晶表示パネルに圧電センサ等が埋め込まれて構成され、各種情報を表示するとともに操作者(ユーザ)からの操作入力を受け付けることが可能である。たとえば、タッチパネル25においては、メニュー画像(ボタン画像等を含む)が表示される。操作者は、タッチパネル25内に仮想的に配置されるボタン(ボタン画像で表現されるボタン)を押下することによって、MFP10の各種動作内容を設定することなどが可能である。また、タッチパネル25においては、後述するプレビュー画像(スキャン画像あるいは印刷画像等)が表示される。タッチパネル25は、操作入力部6aの一部としても機能するとともに、表示部6bの一部としても機能する。
コントローラ9は、MFP10に内蔵され、MFP10を統括的に制御する制御装置である。コントローラ9は、CPUおよび各種の半導体メモリ(RAMおよびROM)等を備えるコンピュータシステムとして構成される。コントローラ9は、CPUにおいて、ROM(例えば、EEPROM)内に格納されている所定のソフトウエアプログラム(以下、単にプログラムとも称する)を実行することによって、各種の処理部を実現する。なお、当該プログラム(詳細にはプログラムモジュール群)は、USBメモリなどの可搬性の記録媒体、あるいはネットワーク等を介してMFP10にインストールされてもよい。
具体的には、図2に示すように、コントローラ9は、当該プログラムの実行により、入力制御部11と表示制御部12と判別部13と決定部14と抽出部15とを含む各種の処理部を実現する。
入力制御部11は、操作入力部6a(タッチパネル25等)に対する操作入力動作を制御する制御部である。たとえば、入力制御部11は、タッチパネル25に表示された操作画面に対する操作入力を受け付ける動作を制御する。
表示制御部12は、表示部6b(タッチパネル25等)における表示動作を制御する処理部である。表示制御部12は、タッチパネル25に各種の情報(後述するプレビュー画像等を含む)を表示する動作等を制御する。
判別部13は、複数のスキャン画像内において要検討領域(後述)の有無(存否)をそれぞれ判別する動作等を制御する処理部である。また、判別部13は、原稿モードの種類(後述)と各ページのスキャン画像の原稿種類とが一致するか否かを判定する動作等も制御する処理部である。
決定部14は、原稿を構成する複数のページのうち、要検討領域を有しないスキャン画像に対応するページを表示対象ページから除外する一方で、要検討領域を有するスキャン画像に対応するページを表示対象ページとして決定する。また、決定部14は、原稿の複数のページに係る複数のスキャン画像のうち、表示対象ページに係るスキャン画像を表示対象領域として決定する。
抽出部15は、当該要検討領域をスキャン画像内から抽出する動作等を制御する処理部である。
<1−2.リアルタイムプレビュー(標準プレビューモード)の動作>
図3は、操作パネル部6cを示す図である。以下では、当該操作パネル部6cのタッチパネル25にリアルタイムプレビューが表示される態様について説明する。
「リアルタイムプレビュー」は、原稿の複数のページに関する複数のスキャン画像の生成動作(複数のページに関する読取動作等)に並行して、当該読取動作等により生成(形成)されたスキャン画像が自動的に表示部(タッチパネル25)に表示されるプレビュー動作である。ユーザは、このリアルタイムプレビューにおいて、スキャン画像に対する編集処理の要否を確認することができる。
このMFP10は、リアルタイムプレビューの表示モードとして、2種類のモードを有する。1つのモードは、標準プレビューモード(次述)であり、他の1つのモードは、集約プレビューモード(後述)である。
ここでは、リアルタイムプレビューとして、まず、標準プレビューモードにおけるリアルタイムプレビューについて例示する。この標準プレビューモードにおいては、原稿の各ページの読取動作(スキャン動作)等によって生成された複数のスキャン画像が、当該読取動作等に並行して順次に且つ自動的にタッチパネル25に表示される。
詳細には、複数のページで構成される原稿が画像読取部2の原稿自動送り装置に載置され、スキャン開始指示(たとえば、スタートキー31(図3参照)のユーザによる押下)に応答して読取動作が開始されると、原稿を構成する複数のページが画像読取部2によって順次に読み取られる。そして、当該複数のページに対応する各スキャン画像が順次に生成される。このスキャン画像は、原稿の各ページに対して微少時間(たとえば、0.5秒)で順次に生成される。
また、このような複数のスキャン画像の生成動作に並行して、生成された複数のスキャン画像のそれぞれが所定の表示時間(たとえば、1秒)で順次にタッチパネル25に表示される。なお、これらのスキャン画像は、最終的な格納データ(最終的に格納部5に格納されるべきデータ)として確定される前に表示されるものであることから、当該スキャン画像の表示動作は「プレビュー」とも表現され、当該スキャン画像は「プレビュー画像」としてタッチパネル25に表示される。
このように、標準プレビューモードのリアルタイムプレビューにおいては、各スキャン画像は微少時間間隔で順次に生成され、各プレビュー画像(スキャン画像)は、スキャン動作に並行して所定の表示時間間隔で順次に表示される。なお、スキャン画像の表示時間Δt1(たとえば1秒)間隔は、スキャン画像の生成時間Δt0(たとえば0.5秒)間隔以上の値に設定される。
図4〜図7は、このようなリアルタイムプレビューを示す図である。
図4に示すように、原稿の第1ページP1が画像読取部2によって読み取られてスキャン画像S1が生成されると、当該スキャン画像S1がタッチパネル25に表示される。
また、図5に示すように、原稿の第2ページP2が画像読取部2によって読み取られてスキャン画像S2が生成された後において、当該スキャン画像S2がタッチパネル25に表示される。図5においては、最新ページP2のスキャン画像S2が、当該スキャン画像S2よりも前に生成されていたスキャン画像S1に対して重畳されて表示されている。すなわち、最新のスキャン画像S2が最も手前側に表示されている。
さらに、図6に示すように、原稿の第3ページP3が画像読取部2によって読み取られてスキャン画像S3が生成された後において、当該スキャン画像S3がタッチパネル25に表示される。図6においては、最新ページP3のスキャン画像S3が、当該スキャン画像S3よりも前に生成されていたスキャン画像S1,S2に対して重畳されて表示されている。すなわち、最新のスキャン画像S3が最も手前側に表示されている。
このように、原稿の第nページPnが画像読取部2によって読み取られてスキャン画像Snが生成された後において、当該スキャン画像Snがタッチパネル25に表示される。図7は、第nページPnのスキャン画像Snがタッチパネル25に表示されている様子を示す図である。図7においては、最新ページPnのスキャン画像Snが、当該スキャン画像Snよりも前に生成されていたスキャン画像S1,...,S(n−1)に対して重畳されて表示されている。すなわち、最新のスキャン画像Snが最も手前側に表示されている。
以上のように、標準プレビューモードのリアルタイムプレビューにおいては、原稿の全てのページに関する複数のプレビュー画像のそれぞれが順次に且つ所定の表示時間Δt1間隔で表示される。たとえば、8ページにわたる原稿の1ページあたりの表示時間Δt1が1秒である場合には、8ページにわたる原稿に関するプレビュー時間の全体の合計時間は、8秒である。
<1−3.集約プレビューモードにおけるリアルタイムプレビューの動作>
つぎに、集約プレビューモードにおけるリアルタイムプレビューの動作について説明する。この集約プレビューモードは、リアルタイムプレビューの表示モードの1つであり、集約プレビューモードにおいては、少なくとも1つの集約プレビュー画像がプレビュー画像としてタッチパネル25に表示される。
この実施形態に係る集約プレビュー画像においては、表示対象ページ(後述)のみに係るスキャン画像(詳細にはその全部又は一部)が所定数(集約される画像の枚数)Nごとに集約して(順次に)表示される。換言すれば、集約プレビュー画像はNin1形式で表示される。また、集約プレビュー画像における当該所定数Nは、原稿モードの種類(後述)に応じて変更される。たとえば、原稿モードの種類が「文字原稿」である場合には、一文字の領域(スキャン画像の部分領域)の表示に適した値として、当該所定数Nは「4」に設定される。換言すれば、原稿モードの種類が「文字原稿」である場合における集約プレビュー画像は4in1形式で表示される。
なお、原稿モードの種類が「文字原稿」である場合には、スキャン画像(詳細には、スキャン画像の一部が拡大された状態のスキャン画像)が所定数Nごとに集約されることが好ましい。また、原稿モードの種類が「図形(グラフ)原稿」である場合には、スキャン画像の全部が所定数Nごとに集約されることが好ましい。
図8は、集約プレビューモードにおけるスキャン画像の生成動作を示すフローチャートである。また、図9は、集約プレビューモードにおけるリアルタイムプレビューの表示動作を示すフローチャートである。また、図11は、第1実施形態に係る集約プレビューモードのリアルタイムプレビューを示す概念図である。図11の上段にはスキャン画像S1〜S8が表示され、図11の下段には集約プレビュー画像G1,G2が表示される。ここでは、図11に示すように、8ページ(ページP1〜P8)にわたる原稿に関する集約プレビューモードのリアルタイムプレビューについて例示する。
まず、図8を参照しながら、集約プレビューモードにおけるスキャン画像の生成動作について説明する。
ユーザによる読取動作の開始指示(たとえば、スタートキー31(図3参照)のユーザによる押下)の付与に応答して、原稿自動送り装置における原稿の存否がMFP10により判定される(ステップS51)。原稿が存在する旨が判定される場合にはステップS52に進み、原稿が存在しない旨が判定される場合にはMFP10は当該生成動作を終了する。
ステップS52ではスキャン画像Siが生成され、次のステップS53では当該スキャン画像Siが格納部5に格納される。その後、再び、ステップS51に戻り、同様の動作が繰り返される。
より具体的には、まず、原稿の第1ページP1が画像読取部2により読み取られ、第1ページP1のスキャン画像S1が生成される(ステップS51,S52)。なお、スキャン画像S1は微少時間(たとえば、0.5秒)で生成される。また、第1ページP1の読取処理に伴って、ヒストグラム(後述)もMFP10により生成される。次のステップS53においては、当該スキャン画像S1が格納部5に一時的に格納される。その後、処理はステップS51へと戻る。
つぎに、原稿の第2ページP2についても同様の処理が行われ、第2ページP2のスキャン画像S2が生成されて格納部5に格納される。さらに、第3ページP3〜第8ページP8についても同様の処理が行われる。ステップS51で未処理の原稿が存在しない旨が判定されると、原稿に関するスキャン画像の生成動作が終了する。
このようにして、原稿の各ページP1〜P8が原稿のページ順序に従ってそれぞれ読み取られ、微少時間(たとえば、0.5秒)で複数のスキャン画像S1〜S8が画像読取部2によりそれぞれ生成される。そして、生成されたスキャン画像S1〜S8が格納部5に格納される。
つぎに、集約プレビューモードにおけるリアルタイムプレビューの表示動作について図9および図11を参照しながら説明する。この集約プレビューモードにおいても、プレビューの表示動作は、スキャン画像の生成動作(図8)に並行して実行される。なお、図9の処理は、1枚目のスキャン画像S1の生成後に開始される。
ステップS61においては、未読込のスキャン画像Siが格納部5に格納されているか否かが判別部13により判定される。詳細には、処理対象の原稿のスキャン画像Siの生成動作(図8参照)において格納部5に格納されたスキャン画像であって未だ(ステップS62で)読み込まれていないスキャン画像Siが存在するか否かが判定される。
未読込のスキャン画像Siが存在する(格納部5に格納されている)場合はステップS62へと進む。一方、未読込のスキャン画像Siが存在しない(格納部5に格納されていない)場合には、ステップS61からステップS81に進み、この判定動作をさらに繰り返すか否かが判定される。当該判定動作を繰り返す旨が判定される場合には、ステップS81からステップS61に再び戻る。このような動作を繰り返すことにより、所定時間(たとえば0.1秒)ごとに判定動作(ステップS61)が繰り返し実行される。ステップS61にて、未読込のスキャン画像Siが存在しない旨が所定回数(たとえば7回)続けて判定される場合(所定回数連続して「NO」と判定される場合)には、最後(M枚目)のスキャン画像についての処理が終了したと判定され、ステップS61からステップS81を経てステップS82に進む。ステップS82では、後述するようにして当該表示動作が終了する。
ステップS62においては、未読込のスキャン画像Siが、原稿のページ順序に従ってMFP10により読み込まれる。換言すれば、原稿の第iページ(iは自然数)のスキャン画像Siが順次に読み込まれる(i=1,...,M;ただし、Mは原稿の全ページ数(図11では、M=8))。具体的には、まず、原稿の第1ページP1に対応するスキャン画像S1が読み込まれる。
ステップS63においては、ステップS62で新たに読み込まれたスキャン画像Siが、第j(j番目)(jは自然数)の集約プレビュー画像Gj(j=1,...,L;ただし、Lは集約プレビュー画像の全枚数(図11では、L=2))の表示対象候補として、カウントされる。
たとえば、原稿の第1ページP1のスキャン画像S1が読み込まれると、当該スキャン画像S1が、1番目の集約プレビュー画像G1の表示対象候補の1枚目としてMFP10によりカウントされる。
なお、MFP10は、読み込まれたスキャン画像Siが最終的に集約プレビュー画像Gjに表示されるか否かを問わず、当該スキャン画像Siを集約プレビュー画像Gjでの表示対象候補(集約プレビュー画像Gjでの表示対象画像の候補)としてカウントする。また、後述するように、このステップS63でのカウント数は、集約プレビュー画像Gjの表示時間に反映される(ステップS71)。
次のステップS64〜S67,S70においては、複数のページに係る複数のスキャン画像のそれぞれが表示対象画像であるか否かが、複数のスキャン画像に係るスキャン順序に従って決定される。換言すれば、複数のページのそれぞれが表示対象ページであるか否かが複数のページに係るスキャン画像の順序に従って決定部14により決定される。また、表示対象ページであると決定されたページ(詳細にはそのスキャン画像)を、その決定順序に従って少なくとも1つの集約プレビュー画像に所定数Nごとに集約する旨を決定部14は決定する。
まず、ステップS64において、判別部13は、スキャン画像Siの原稿種類を判別する。具体的には、スキャン画像Siが複数の原稿種類(ここでは「文字原稿」、「図形(グラフ)原稿」、「写真原稿」)のいずれに属するかがスキャン画像Siの画像データに基づいて判別される。より詳細には、スキャン画像Siの画像の特徴量が抽出され、当該特徴量に基づいてスキャン画像Siの原稿種類(換言すれば、スキャン画像Siの画像種類)が判別される。
たとえば、スキャン画像Si内の各画素における隣接画素とのコントラスト差(明度差)が特徴量として抽出され、当該コントラスト差に関するヒストグラムが生成される。そして、当該ヒストグラムに基づいて、スキャン画像Siの原稿種類が「文字原稿」であるか否かが判別部13により判別される。
図10は、スキャン画像Siの原稿種類が「文字原稿」である場合のヒストグラムの概略を示す図である。「文字原稿」においては、文字と背景との境界の画素は、比較的大きなコントラスト差(「255」近傍のコントラスト差)を有し、文字の線領域内部の画素(非境界画素)および背景領域内部の画素(非境界画素)は、非常に小さなコントラスト差(「0」近傍のコントラスト差)を有する。そのため、図10に示すように、スキャン画像Siの原稿種類が「文字原稿」である場合には、コントラスト差が「0」の付近と「255」の付近とにおいてそれぞれピークを有するヒストグラムが生成される。このように、「文字原稿」のスキャン画像Siに関するコントラスト差のヒストグラムは、二値的な分布を有する。また、下地かぶり文字(後述)が存在する場合には、コントラスト差の中間値付近に比較的小さな度数のピークが更に1つ(あるいは2つ程度)存在するようなヒストグラムが生成される。このように、「文字原稿」のスキャン画像Siのヒストグラムは、上述のような二値的な分布を有し、数個(より詳細には2つないし3つ)のピークを有する。
このような特質を利用し、スキャン画像Siのヒストグラムが上記の特徴(二値的な分布等)を有する場合には、判別部13は、当該スキャン画像Siの原稿種類を「文字原稿」であると判定する。このように、「文字原稿」用の個別の基準に基づいて、スキャン画像Siの原稿種類が「文字原稿」であるか否かが判別される。
なお、スキャン画像Siの原稿種類が「図形(グラフ)原稿」あるいは「写真原稿」であるか否かについても、それぞれの原稿種類判別用の個別の基準に基づいて判定されればよい。
以上のようにして、ステップS64において、スキャン画像Siが複数の原稿種類(ここでは「文字原稿」、「図形(グラフ)原稿」、「写真原稿」)のいずれに属するかが判別される。なお、ここでは、図11に示すように、スキャン画像S1〜S3,S5,S6,S8が「文字原稿」と判別され、スキャン画像S4,S7が「写真原稿」と判別されるものとする。
次のステップS65においては、スキャン画像Siの原稿種類とユーザにより設定された「原稿モードの種類」とが一致するか否かが判別部13により判定される。
「原稿モードの種類」は、編集処理の要否の検討対象の候補とすべき原稿種類であり、「検討対象候補の原稿種類」とも称される。この原稿モードの種類(検討対象候補の原稿種類)は、MFP10のユーザにより予め設定される。詳細には、ユーザは、複数のスキャン画像に含まれ得る複数の原稿種類のうち、編集処理の要否を検討したい原稿種類を、スキャン動作の開始時点(スタートキー31の押下時点)に先立って、予めMFP10の設定画面(不図示)を用いて設定する。「原稿モードの種類」としては、たとえば「文字原稿」、「図形(グラフ)原稿」、「写真原稿」のいずれかが設定され得る。ここでは、「原稿モードの種類」として「文字原稿」がユーザにより予め設定されているものとする。
スキャン画像Siの原稿種類と原稿モードの種類とが一致する旨が判定される場合には、ステップS66に進み、当該一致する旨が判定されたスキャン画像Siに対して、「要検討領域」(後述)の有無(存否)に関する更なる基準に基づいて、「要検討領域」の有無(存否)が判別される。一方、スキャン画像Siの原稿種類と原稿モードの種類とが一致しない旨が判定される場合には、当該一致しない旨が判定されたスキャン画像Siに対して、要検討領域を有しない(要検討領域が存在しない)旨が判別部13により判別され、ステップS70に進む。なお、後述するように、ステップS70に進むと、決定部14は、スキャン画像Siを表示対象画像として決定せず(換言すれば、当該スキャン画像Siに対応するページPiを「非表示対象ページ」として決定し)、その後、ステップS61に戻る。
ここでは、スキャン画像S1の原稿種類「文字原稿」(ステップS64での判別結果)が原稿モードの種類「文字原稿」と一致する旨が、判別部13により判定され、処理はステップS66へ進むものとする。
ステップS66においては、スキャン画像Si内における「要検討領域」の有無(存否)が、更なる基準に基づき判別される。スキャン画像Si内の「要検討領域」は、「編集処理(修正)の要否をユーザが検討すべき」(「編集処理の要否のユーザによる検討を要する」)と判定される領域であり、「要修正検討領域」とも称される。
たとえば、原稿の文字が薄い場合、あるいは原稿の背景(下地)が濃い場合等において、背景と文字との境界部分における隣接画素間のコントラスト差が小さくなり、いわゆる「下地かぶり文字」等が発生し得る。
より詳細には、蛍光ペン等によって文字上を線引きされた文字(マーキングされた文字)が存在する原稿においては、当該文字とその背景との間の画素のコントラスト差が小さくなり得る。また、コピーが繰り返された原稿(孫コピー原稿とも称される)においては、原稿の背景が黒みを帯び、当該背景と文字との間の画素のコントラスト差が小さくなり得る。スキャン画像内の背景と文字との境界部分における画素間のコントラスト差が小さい場合には、当該文字は判読され難い。
図11には、原稿の第1ページP1のスキャン画像S1の右下部分において、蛍光ペン等によってその文字上に線引きされた文字(ABCD)(下地かぶり文字)が存在しており、当該文字が判読し難くなっている様子が示されている。このような下地かぶり文字(要検討領域)が存在するスキャン画像は、ユーザによって編集処理(文字を濃くする、下地を飛ばす等の編集処理)がなされることが好ましい。
このような事情に基づき、原稿モードの種類が「文字原稿」である場合には、MFP10は、所定条件を充足する低コントラスト領域(たとえば、「下地かぶり文字」等を含む低コントラスト領域)の存否に基づき、各スキャン画像Siにおける「要検討領域」の有無を判別する。
具体的には、判別部13は、スキャン画像Si内の各画素における隣接画素とのコントラスト差に基づいて作成されたヒストグラムにおいて、所定範囲内(閾値TH1以上且つ閾値TH2以下の範囲)(図10参照)の画素値(コントラスト差)の度数(画素数)の合計値が閾値TH3(たとえば100画素)以上であるか否かを判定する。
閾値TH1,TH2(ただし、TH1<TH2)は、上記の低コントラスト領域を他の領域と区別するための閾値であり、MFP10において予め適宜に設定されている。閾値TH1は、隣接画素とのコントラスト差がほぼゼロである画素(文字の線領域内の画素(非境界画素)および背景の白色ベタ領域内の画素(非境界画素)等)を除外するための閾値である。また、閾値TH2は、隣接画素とのコントラスト差が比較的大きな画素(文字と背景との境界付近の画素であって隣接画素との間に良好なコントラストを有する画素等)を除外するための閾値である。たとえば、閾値TH1は「20」に設定され、閾値TH2は「180」に設定される。当該度数の合計値が閾値TH3以上である場合には、要検討領域が当該スキャン画像Siに存在する(当該スキャン画像Siは要検討領域を有する)と判定され、当該度数の合計値が閾値TH3未満である場合には、要検討領域が当該スキャン画像Siに存在しない(当該スキャン画像Siは要検討領域を有しない)と判定される。
ステップS66においては、このような処理によって、背景と文字との境界部分における画素であって、その隣接画素とのコントラスト差が閾値TH1〜TH2内に対応する画素が、下地かぶり文字(要検討領域)としてスキャン画像Si内に存在している旨などが判定される。たとえば、要検討領域がスキャン画像S1内に存在する旨が判別される。
要検討領域がスキャン画像Siに存在する旨(スキャン画像Siが要検討領域を有する旨)がステップS66にて判別される場合には、処理はステップS67に進む。なお、要検討領域がスキャン画像Siに存在しない旨がステップS66にて判別される場合には、処理はステップS70に進む。
ステップS67においては、スキャン画像Siが表示対象画像として決定される。換言すれば、スキャン画像Siに対応するページPiが表示対象ページとして決定される。そして、当該表示対象ページに係るスキャン画像Siの全部又は一部(ここではスキャン画像Siの一部である要検討領域)が集約プレビュー画像Gjにおける表示対象領域として決定される。たとえば、スキャン画像S1に対応するページP1が集約プレビュー画像G1における表示対象ページとして決定部14により決定されるとともに、当該表示対象ページに係るスキャン画像S1の部分領域(スキャン画像S1の要検討領域)が集約プレビュー画像G1における表示対象領域として決定される。
詳細には、上述の「要検討領域」が表示対象領域(抽出対象領域とも称される)として抽出部15によってスキャン画像Siから自動的に抽出される。たとえば、原稿モードの種類が「文字原稿」である場合には、スキャン画像S1内の複数の要検討領域のうち、最も低いコントラストを有する要検討領域が表示対象領域として抽出される。
より具体的には、抽出部15は、スキャン画像Si内の各画素における隣接画素とのコントラスト差に基づいて作成されたヒストグラムにおいて、上記所定範囲内(閾値TH1以上且つ閾値TH2以下の範囲)(図10参照)の値(コントラスト差)のうち有意な度数を有する最小の値(コントラスト差)を求める。そして、当該最小の値に対応する画素がスキャン画像Si内にて特定され、当該画素に対応する一文字を含む領域が表示対象領域として抽出部15によりスキャン画像Si内から抽出される。たとえば、スキャン画像S1(図11参照)においては、当該一文字の領域は文字「D」の領域であり、文字「D」を含む部分領域が表示対象領域として抽出部15によりスキャン画像S1内から抽出される。詳細には、当該一文字「D」の前後の一文字ずつを加えた合計3文字分の部分領域が抽出される。
そして、ステップS68において、表示制御部12は、集約プレビュー画像GjをN分割(ここでは、N=4)した領域(N分割領域)のいずれかに、当該スキャン画像Siの表示対象領域の画像を表示する。たとえば、スキャン画像S1の表示対象領域(文字「D」を含む領域)R11(換言すれば、スキャン画像S1の部分画像)が(表示対象画像の一部として)1番目の集約プレビュー画像G1内の4分割領域(「左上」、「右上」、「左下」、「右下」)のうち「左上」領域に表示される(図11参照)。ここにおいて、当該スキャン画像Siの(全部ではなく)一部が表示対象領域として抽出される場合(原稿モードの種類が「文字原稿」である場合等)には、当該表示対象領域の画像は、集約プレビュー画像Gj内の所期の表示場所(所期のN分割領域)に拡大されて表示される。
ステップS69においては、集約プレビュー画像Gjにおける被集約画像の集約数が所定数Nに到達したか否かが判別部13により判定される。集約数が所定数Nに到達した旨が判定される場合にはステップS71へと進み、集約数が所定数Nに到達していない旨が判定される場合にはステップS61に戻る。
ここでは、集約プレビュー画像G1における現時点での被集約画像がスキャン画像S1の部分画像R11のみであり、集約プレビュー画像G1における現時点での集約数は未だ「1」であるので、集約数が「4」に到達していない旨がステップS69において判定され、ステップS61に戻る。
このように、集約プレビューモードにおけるリアルタイムプレビューでは、まず、要検討領域が存在するページP1に関するスキャン画像S1が表示対象画像として決定され、当該表示対象画像の一部(被集約画像R11)が集約プレビュー画像G1に表示される。
その後、上述のような処理が、残りのページP2〜P8についてもそれぞれ実行される。
第2ページP2のスキャン画像S2においては、その左上部分の文字「1」(下地かぶり文字)が判読し難くなっている様子が示されている(図11参照)。スキャン画像S2に関して、ステップS61〜S65の処理が同様に実行された後、このような下地かぶり文字に対応する要検討領域が存在する旨がステップS66において判別される。そして、スキャン画像S2は表示対象画像として決定され、スキャン画像S2内から抽出対象領域が抽出される(ステップS67)。具体的には、文字「1」の近傍領域R12が抽出対象領域(表示対象領域)として抽出部15によりスキャン画像S2内から抽出される。
そして、集約プレビュー画像G1内の4分割領域のうち右上領域に表示対象領域(文字「1」の近傍領域)R12の画像(被集約画像)が表示(拡大表示)される(ステップS68)(図11も参照)。
この時点では、現在の集約数は「2」(ページP1,P2のスキャン画像の部分画像R11,R12)であるため、集約数が「4」に到達していない旨がステップS69において判別部13により判定され、ステップS61に戻る。
第3ページP3のスキャン画像S3においては、スキャン画像S3の原稿種類と原稿モードの種類(「文字原稿」)とは一致するものの、スキャン画像S3には下地かぶり文字(要検討領域)が存在しない(図11参照)。この場合においては、スキャン画像S3に関して、ステップS61〜S65の処理が同様に実行された後、要検討領域が存在しない旨がステップS66において判別部13により判別され、処理はステップS70に進む。スキャン画像S3は表示対象画像として決定されず(ステップS70)、ステップS61に戻る。このように、要検討領域が存在しない旨が判別されたスキャン画像S3は、表示対象画像として決定されず、集約プレビュー画像G1に表示されない。換言すれば、要検討領域を有しないスキャン画像S3に対応するページP3は、非表示対象ページとして決定され、集約プレビュー画像G1に表示されない。
第4ページP4のスキャン画像S4に関して、ステップS61〜S65の処理が同様に実行される。ただし、第4ページP4は「写真原稿」であるため、原稿モードの種類とスキャン画像S4の原稿種類とが一致しない旨がステップS65において判別部13により判定され、処理はステップS70に進む。ここにおいて、原稿モードの種類とスキャン画像S4の原稿種類とが一致しない旨が判定される場合には、当該一致しない旨が判定されたスキャン画像S4は、要検討領域が存在しない旨が判別部13により判別される。このように、原稿モードの種類とスキャン画像の原稿種類とが一致しない旨が判定されたスキャン画像S4は、要検討領域が存在しない旨が判別されるため、表示対象画像として決定されず、集約プレビュー画像G1に表示されない。換言すれば、要検討領域を有しないスキャン画像S4に対応するページP4は、非表示対象ページとして決定され、集約プレビュー画像G1に表示されない。
このように、集約プレビューモードにおけるリアルタイムプレビューにおいては、原稿の複数のページのうち要検討領域が存在するページに関するスキャン画像Siのみが表示対象画像として決定され、当該表示対象画像の一部が集約プレビュー画像Gjに順次に表示される。換言すると、要検討領域が存在しない旨が判定されたスキャン画像Siに対応するページPiは、非表示対象ページとして決定され(表示対象ページから除外され)、集約プレビュー画像Gjに表示されない。すなわち、要検討領域を有しない良好なページはユーザの確認対象から除外される。したがって、ユーザは、要検討領域が存在するページのみを集中的に確認することができる。
第5ページP5のスキャン画像S5においては、その左下部分の文字「y」(下地かぶり文字)が判読し難くなっている様子が示されている(図11参照)。スキャン画像S5に関して、ステップS61〜S65の処理が同様に実行された後、このような下地かぶり文字に対応する要検討領域が当該スキャン画像S5に存在する旨がステップS66において判別される。そして、スキャン画像S5は表示対象画像として決定され、スキャン画像S5内から抽出対象領域が抽出される(ステップS67)。具体的には、文字「y」の近傍領域R15が抽出対象領域(表示対象領域)として抽出部15によりスキャン画像S5内から抽出される。
そして、集約プレビュー画像G1内の左下領域に、表示対象領域(文字「y」の近傍領域)R15の画像(被集約画像)が表示(拡大表示)される(ステップS68)(図11も参照)。
この時点では、現在の集約数は「3」(抽出対象領域R11,R12,R15)であるため、集約数が「4」に到達していない旨がステップS69において判別部13により判定され、処理はステップS61に戻る。
第6ページP6のスキャン画像S6においては、その中央付近の文字「b」(下地かぶり文字)が判読し難くなっている様子が示されている(図11参照)。スキャン画像S6に関して、ステップS61〜S65の処理が同様に実行された後、このような下地かぶり文字に対応する要検討領域が当該スキャン画像S6に存在する旨が判別される(ステップS66)。そして、スキャン画像S6は表示対象画像として決定され、スキャン画像S6内から抽出対象領域が抽出される(ステップS67)。具体的には、文字「b」の近傍領域R16が抽出対象領域(表示対象領域)として抽出部15によりスキャン画像S6内から抽出される。
そして、集約プレビュー画像G1内の右下領域に、表示対象領域(文字「b」の近傍領域)R16の画像(被集約画像)が表示(拡大表示)される(ステップS68)(図11も参照)。
この時点では、現在の集約数は「4」(抽出対象領域R11,R12,R15,R16)であるため、集約数が「4」に到達した旨がステップS69において判別部13により判定され、ステップS71に進む。
ステップS71においては、集約プレビュー画像Gjの表示時間が決定される。具体的には、表示制御部12は、j番目の集約プレビュー画像Gjにおける表示対象候補の枚数(ステップS63でのカウント数)に基準プレビュー時間Δt1を乗じた値の期間に亘って集約プレビュー画像Gjを表示する。ここでは、1番目の集約プレビュー画像G1における表示対象候補の枚数は、集約プレビュー画像G1の表示が開始されてから集約プレビュー画像G1における被集約画像の集約数が「4」に到達するまでの期間に、ステップS63においてカウントされた表示対象候補の枚数である。換言すると、当該期間において、表示対象画像として決定されたスキャン画像(スキャン画像S1,S2,S5,S6)の枚数(4枚)と表示対象画像として決定されなかったスキャン画像(スキャン画像S3,S4)の枚数(2枚)との和が集約プレビュー画像G1における表示対象候補の枚数(6枚)である。なお、基準プレビュー時間Δt1は、プレビューにおける1ページあたりの基準表示時間であり、標準プレビューモードにおける各ページの一のスキャン画像あたりの表示時間でもある。ここでは、基準プレビュー時間Δt1として1秒を想定する。したがって、当該表示対象候補の枚数(6枚)に基準プレビュー時間Δt1(1秒)を乗じた6秒の期間に亘って集約プレビュー画像G1は表示される(図11参照)。
換言すれば、表示制御部12は、集約プレビュー画像Gjの基本時間(基本表示時間)と延長時間(延長表示時間)とを用いて集約プレビュー画像Gjの表示時間を制御する。表示制御部12は、第jの集約プレビュー画像Gjに集約されるページの数(ここでは「4」)を基準プレビュー時間Δt1に乗じて得られる値(4×Δt1)を、集約プレビュー画像Gjの基本時間として決定する。また、表示制御部12は、「非表示対象ページのページ数」(次述)を基準プレビュー時間Δt1に乗じた時間(積算値)以内の値(ここでは、「非表示対象ページのページ数」と基準プレビュー時間Δt1との積算値(2×Δt1))を、j番目(第j)の集約プレビュー画像Gjに関する延長時間として決定する。
この態様においては、「非表示対象ページのページ数」として、スキャン順序の複数のページのうちj番目の集約プレビュー画像Gj向けの最初の表示対象ページとj番目の集約プレビュー画像Gj向けの最後の表示対象ページとの間において非表示対象ページであると判定されたページの数に、当該最初の表示対象ページの決定直前に非表示対象ページであると判定されたページのページ数を加算した値、を採用する。ここでは、1番目の集約プレビュー画像G1向けの最初の表示対象ページ(ページP1)と当該集約プレビュー画像G1向けの最後の表示対象ページ(ページP6)との間において非表示対象ページであると判定されたページの数は「2」(ページP3,P4)である。また、最初の表示対象ページ(ページP1)の決定直前に非表示対象ページであると判定されたページのページ数は「0」である。したがって、集約プレビュー画像G1における「非表示対象ページのページ数」は「2」であり、当該「非表示対象ページのページ数」を基準プレビュー時間Δt1に乗じた時間(2×Δt1)が、1番目の集約プレビュー画像G1に関する延長時間として決定される。
なお、仮に1番目の集約プレビュー画像G1において最初の表示対象ページの決定直前に非表示対象ページが1または複数枚存在すると判定される場合には、当該非表示対象ページのページ数は上記の「非表示対象ページのページ数」に含まれる。
そして、表示制御部12は、基本時間(4×Δt1)に延長時間(2×Δt1)を加算した値(6×Δt1)を集約プレビュー画像G1の表示時間として決定する。ここでは、値Δt1は1秒であるため、集約プレビュー画像G1の表示時間は、6秒に決定される。
なお、未読込のスキャン画像Siが格納部5に未だ格納されていない旨がステップS61にて判定される場合には、スキャン画像Siの生成時間(たとえば、1画像あたり0.5秒)等に起因して、スキャン画像Siの表示に際して待ち時間が生じることがある。その場合、集約プレビュー画像Gjに集約されるN枚のスキャン画像は同時に表示されるのではなく順次に表示される。たとえば、2枚目のスキャン画像S2の表示(集約プレビュー画像G1の右上部分への表示)は、1枚目のスキャン画像S1の表示開始時点から0.5秒後に開始される。また、5枚目のスキャン画像S5の表示(集約プレビュー画像G1の左下部分への表示)は、1枚目のスキャン画像S1の表示開始時点から2秒後に開始される。同様に、6枚目のスキャン画像S6の表示(集約プレビュー画像G1の右下部分への表示)は、1枚目のスキャン画像S1の表示開始時点から2.5秒後に開始される。ただし、集約プレビュー画像G1に集約される個々のスキャン画像S1,S2,S5,S6は、いずれも基準プレビュー時間Δt1(ここでは1秒)以上の期間に亘って表示される。
一方、スキャン画像の生成時間等に基づくスキャン画像Siの表示待ち時間が生じない場合には、各集約プレビュー画像Gjに集約されるN枚のスキャン画像の表示が同時に開始されればよい。
また、集約プレビュー画像G1の表示中において、編集処理を要する画像に対してユーザが選択操作を行うと、選択された画像にフラグが付与される。具体的には、図12に示すように、集約プレビュー画像G1内に集約された画像の横側にチェックボックスがそれぞれ設けられ、当該チェックボックスをユーザが押下することによってフラグが付される。そして、全ページに関するリアルタイムプレビューが終了した後において、ユーザは、フラグが付された画像のスキャン画像に対して編集処理を行うことができる。
その後、集約プレビュー画像G1の表示時間が終了すると、1番目の集約プレビュー画像G1が新たな(2番目の)集約プレビュー画像G2に更新される(ステップS72)。そして、再びステップS61に戻り、残りのページP7,P8の処理へと進む。
具体的には、ステップS61の後、第7ページP7のスキャン画像S7が読み込まれ(ステップS62)、当該スキャン画像S7が、2番目の集約プレビュー画像G2の表示対象候補の1枚目としてカウントされる(ステップS63)。
第7ページP7のスキャン画像S7に関して、ステップS61〜S65の処理が同様に実行される。ただし、第7ページP7は「写真原稿」であるため、原稿モードの種類とスキャン画像S7の原稿種類とが一致しない旨がステップS65において判別部13により判定され、処理はステップS70に進む。そして、スキャン画像S7は表示対象画像として決定されず(ステップS70)、処理はステップS61に戻る。
第8ページP8のスキャン画像S8においては、その右上部分の文字「8」(下地かぶり文字)が判読し難くなっている様子が示されている(図11参照)。スキャン画像S8に関して、ステップS61〜S65の処理が同様に実行された後、このような下地かぶり文字に対応する要検討領域が当該スキャン画像S8に存在する旨がステップS66において判別される。そして、スキャン画像S8は表示対象画像として決定され、スキャン画像S8内から抽出対象領域が抽出される(ステップS67)。具体的には、文字「8」の近傍領域R28が抽出対象領域(表示対象領域)として抽出部15によりスキャン画像S8内から抽出される。
そして、集約プレビュー画像G2内の4分割領域のうち左上領域に、表示対象領域(文字「8」の近傍領域)R28の画像(被集約画像)が表示(拡大表示)される(ステップS68)(図11も参照)。
この時点では、集約プレビュー画像G2における現在の被集約画像(抽出対象領域R28)の集約数は「1」であるため、集約数が「4」に到達していない旨がステップS69において判別部13により判定され、処理はステップS61へと戻る。
その後、原稿の全てのページのスキャン画像に対する処理が終了すると、ステップS61,S81の処理が繰り返し実行される。そして、未読込のスキャン画像Siが格納部5に格納されていない旨が所定回数(たとえば7回)続けてステップS61にて判定されると、ステップS81を経てステップS82に進む。ステップS82では、終了処理が実行される。具体的には、ステップS82では、ステップS71と同様の表示時間の決定動作が行われて、表示中の最後の集約プレビュー画像G2の表示時間が決定される。そして、当該表示時間に亘る表示動作が終了すると、集約プレビュー画像G2の表示が終了する。
詳細には、ステップS82において、表示制御部12は、最後の集約プレビュー画像G2に集約されるページの数を基準プレビュー時間Δt1に乗じて得られる値を、最後の集約プレビュー画像G2の基本時間として決定する。また、表示制御部12は、基準プレビュー時間Δt1に非表示対象ページのページ数を乗じた時間を延長時間として決定する。
ここでは、集約プレビュー画像G2向けの最初の表示対象ページおよび最後の表示対象ページは共に第8ページP8であるため、集約プレビュー画像G2向けの最初の表示対象ページと集約プレビュー画像G2向けの最後の表示対象ページとの間における非表示対象ページの数は「0」である。また、最初の表示対象ページ(ページP8)の決定直前に非表示対象ページであると判定されたページのページ数は「1」(ページP7)である。したがって、集約プレビュー画像G2における「非表示対象ページのページ数」は「1」である。
そして、表示制御部12は、基本時間(1×Δt1)に延長時間(1×Δt1)を加算した値(2×Δt1)を集約プレビュー画像G2の表示時間として決定する。ここでは、値Δt1は1秒であるため、集約プレビュー画像G2の表示時間は2秒に決定される。
集約プレビュー画像G1の表示時間が6秒であり、集約プレビュー画像G2の表示時間が2秒であるため、8ページにわたる原稿に対する集約プレビュー画像の表示時間の合計値は「8」である。なお、仮に標準プレビューモードにおいて8ページにわたる原稿のスキャン画像S1〜S8が表示される場合には、全体のプレビュー時間の合計表示時間は、基準プレビュー時間Δt1(1秒)にスキャン画像の枚数(8枚)を乗じた8秒である。このように、表示制御部12は、少なくとも1つの集約プレビュー画像の表示時間の合計値を、基準プレビュー時間Δt1に原稿の複数のページのページ数を乗じた値に制御する。
以上のような動作によれば、原稿の複数のページのうち表示対象ページを所定数Nごとに集約する少なくとも1つの集約プレビュー画像Gjが表示される。そのため、ユーザは、各ページごとに固定された基準プレビュー時間Δt1内で各ページのプレビュー画像(スキャン画像Si)をそれぞれ確認することを要さず、各集約プレビュー画像Gj内に集約される所定数Nの表示対象ページを各集約プレビュー画像Gjの表示時間内に、纏めて確認すればよい。したがって、ユーザは、柔軟なプレビュー画像の確認作業を行うことが可能である。
また、上記実施形態においては、表示制御部12は、複数のページにおける全ての非表示対象ページのページ数B(合計で「3」)に基準プレビュー時間Δt1を乗じた時間(B×Δt1)を少なくとも1つの集約プレビュー画像Gj(G1,G2)のいずれかのプレビュー時間に振り分けることによって各集約プレビュー画像Gjの延長時間を決定する。
ここでは、全ての非表示対象ページのページ数B(合計で「3」)に基準プレビュー時間Δt1を乗じた時間(3×Δt1)が2つの集約プレビュー画像G1,G2の表示時間に振り分けられる。より詳細には、当該時間(3×Δt1)のうち2枚の非表示対象ページ(ページP3,P4)の表示時間に相当する時間(2×Δt1)が1番目の集約プレビュー画像G1に延長時間として振り分けられる。そして、残りの1枚の非表示対象ページ(ページP7)の表示時間に相当する時間(1×Δt1)が2番目の集約プレビュー画像G2に延長時間として振り分けられる。このようにして、集約プレビュー画像G1,G2の延長時間がそれぞれ決定される。
そして、各集約プレビュー画像Gjの基本時間にそれぞれ各集約プレビュー画像Gjの延長時間を加算した値が各集約プレビュー画像Gjの表示時間として決定される。
各集約プレビュー画像Gjの基本時間の合計値は、値(Δt1×(M−B))であり、集約プレビュー画像Gjの延長時間の合計値は、値(Δt1×B)である。これにより、少なくとも1つの集約プレビュー画像Gj(j=1,...,L)の表示時間の合計値が、基準プレビュー時間Δt1に原稿の全ページ数Mを乗じた値(Δt1×M)以内(ここでは値(Δt1×M)と同じ値)に制御される。換言すれば、集約プレビュー画像の表示時間の合計値が、基準プレビュー時間Δt1に原稿ページ数を乗じた値の時間以下に制御され得る。したがって、プレビュー画像の全体の表示時間の長大化を回避ないし抑制することが可能である。
なお、ここでは、集約プレビュー画像Gjの表示時間の合計値が、基準プレビュー時間Δt1に原稿の全ページ数Mを乗じた値(Δt1×M)に制御されることを例示したが、集約プレビュー画像Gjの表示時間の合計値は、当該値(Δt1×M)以内に制御されればよい。たとえば、各集約プレビュー画像Gjの表示時間に振り分けられる延長時間の合計値が上記値(Δt1×B)以内の値に決定される場合には、各集約プレビュー画像Gjの表示時間の合計値は上記値(Δt1×M)以内に制御される。
また、要検討領域が存在しない(要検討領域を有しない)旨が判別されたスキャン画像Siは、表示対象画像として決定されず、集約プレビュー画像Gjに表示されない。したがって、確認対象の画像の枚数が低減されるので、プレビュー画像に対するユーザの確認作業を効率的に実施することが可能である。
特に、原稿モードの種類とスキャン画像Siの原稿種類とが一致しない旨が判定されたスキャン画像Siは要検討領域を有しない旨が判別される。すなわち、要検討領域を有しない旨が判別されたスキャン画像Siは、表示対象画像として決定されず、集約プレビュー画像Gjに表示されない。したがって、表示対象画像を効率的に絞り込むことが可能であり、プレビュー画像に対するユーザの確認作業を効率的に実施することが可能である。
なお、本願において、「少なくとも1つの集約プレビュー画像が、複数のページに関する複数のスキャン画像の生成動作に並行して表示される」ことには、全ての集約プレビュー画像のそれぞれの表示動作がそれぞれ複数のスキャン画像のいずれかの生成動作に並行して行われる態様のみならず、少なくとも1枚の集約プレビュー画像のいずれかの表示動作と複数のスキャン画像のいずれかの生成動作とが並行して行われる態様等も含まれる。
<2.第2実施形態>
第2実施形態は、第1実施形態の変形例である。以下では、第1実施形態との相違点を中心に説明する。
上記第1実施形態では、集約プレビュー画像Gjの被集約画像の集約数が所定数Nに到達すると、集約プレビュー画像Gjは新たな集約プレビュー画像G(j+1)に直ちに更新される。集約プレビュー画像Gjにおける「最初」の表示対象ページの決定「直前」に非表示対象ページと判定されたページの表示時間に相当する時間は、当該集約プレビュー画像Gjの表示時間に振り分けられる。
これに対して、第2実施形態では、集約プレビュー画像Gjの被集約画像の集約数が所定数Nに到達し且つ新たな表示対象ページが決定されると、集約プレビュー画像Gjが新たな集約プレビュー画像G(j+1)に更新される態様を例示する。換言すれば、この第2実施形態では、集約プレビュー画像Gjにおける「最後」の表示対象ページの決定「直後」に非表示対象ページと判定されたページの表示時間に相当する時間が当該集約プレビュー画像Gjの表示時間に振り分けられる(図13参照)態様が例示される。
図13は、第2実施形態に係る集約プレビューモードにおけるリアルタイムプレビューを示す概念図である。
図13に示すように、第7ページP7は、集約プレビュー画像G1における最後の表示対象ページ(第6ページP6)の直後の非表示対象ページである。そして、第8ページP8は、次の集約プレビュー画像G2における最初の表示対象ページである。ここでは、第7ページP7の表示時間に相当する時間(1秒)は、1番目の集約プレビュー画像G1の表示時間に振り分けられる。
各集約プレビュー画像G1,G2の表示時間について順次に説明する。
1番目の集約プレビュー画像G1に集約されるページの数(ここでは「4」)を基準プレビュー時間Δt1に乗じて得られる値(4×Δt1)が、集約プレビュー画像G1の基本時間として決定される。また、「非表示対象ページのページ数」を基準プレビュー時間Δt1に乗じた時間が、1番目の集約プレビュー画像G1に関する延長時間として決定される。
この第2実施形態では、「非表示対象ページのページ数」として、スキャン順序の複数のページのうちj番目の集約プレビュー画像Gj向けの最初の表示対象ページとj番目の集約プレビュー画像Gj向けの最後の表示対象ページとの間において非表示対象ページであると判定されたページの数に、当該最後の表示対象ページの決定直後に非表示対象ページであると判定されたページのページ数を加算した値、を採用する。
ここでは、1番目の集約プレビュー画像G1向けの最初の表示対象ページ(ページP1)と当該集約プレビュー画像G1向けの最後の表示対象ページ(ページP6)との間において非表示対象ページであると判定されたページの数は「2」(ページP3,P4)である。また、最後の表示対象ページ(ページP6)の決定直後に非表示対象ページであると判定されたページのページ数は「1」(ページP7)である。したがって、集約プレビュー画像G1における「非表示対象ページのページ数」は「3」である。
そして、基本時間(4×Δt1)に延長時間(3×Δt1)を加算した値(7×Δt1)が集約プレビュー画像G1の表示時間として決定される。ここでは、値Δt1は1秒であるため、集約プレビュー画像G1の表示時間は、7秒に決定される。
2番目の集約プレビュー画像G2に集約されるページの数が「1」であるため、集約プレビュー画像G2の基本時間は1秒である。また、集約プレビュー画像G2における「非表示対象ページのページ数」は「0」であるため、集約プレビュー画像G2の延長時間は0秒である。したがって、集約プレビュー画像G2の表示時間は、1秒に決定される。
この第2実施形態においては、全ての非表示対象ページのページ数B(合計で「3」)に基準プレビュー時間Δt1を乗じた時間(3×Δt1)のうち、3枚の非表示対象ページ(ページP3,P4,P7)の表示時間に相当する時間(3×Δt1)が1番目の集約プレビュー画像G1に延長時間として振り分けられる。そして、残りの時間(0×Δt1)が2番目の集約プレビュー画像G2に延長時間として振り分けられる。
<3.第3実施形態>
上記各実施形態においては、被集約画像の集約数が所定数Nに到達することを条件の1つとして集約プレビュー画像Gjが新たな集約プレビュー画像G(j+1)に更新される。
これに対して、第3実施形態では、所定時間間隔で集約プレビュー画像Gjが新たな集約プレビュー画像G(j+1)に更新される態様を例示する。当該所定時間は、たとえば、所定数N(4枚)に基準プレビュー時間Δt1(1秒)を乗じた値の期間(4秒)である。
図14は、第3実施形態に係る集約プレビューモードにおけるリアルタイムプレビューを示す概念図である。図14に示すように、集約プレビュー画像G1の表示開始から4秒経過すると、集約プレビュー画像G1内の4つの分割領域の全てに被集約画像が埋まっていなくとも、集約プレビュー画像G1は新たな集約プレビュー画像G2に更新される。
この第3実施形態に係る集約プレビュー画像Gjにおいては、複数のページが所定数Nのページごとに区分され、区分された所定数Nのページが集約プレビュー画像Gjにそれぞれ配置され得る。すなわち、スキャン画像Siが最大で所定数Nまで集約されて集約プレビュー画像Gjに表示される。ここでは、原稿を構成する8枚のページP1〜P8が所定数「4」のページごとに区分される。ページP1〜P4が集約プレビュー画像G1に区分され、ページP5〜P8が集約プレビュー画像G2に区分される。そして、区分された所定数「4」のページが集約プレビュー画像G1,G2に配置され得る。
ここにおいて、図14に示すように、ページP3,P4は非表示対象ページ(要検討領域を有しないスキャン画像Siに対応するページ)である。この非表示対象ページに係るスキャン画像Siは集約プレビュー画像Gjに表示されない。したがって、集約プレビュー画像G1には、表示対象ページとして決定されたページP1,P2に係るスキャン画像(すなわち、要検討領域を有する旨が判別されたスキャン画像)S1,S2の抽出対象領域R11,R12のみが表示され、非表示対象ページとして決定されたページP3,P4に係るスキャン画像S3,S4は集約プレビュー画像G1に表示されない(集約プレビュー画像G1の表示対象から除外される)。
そして、表示制御部12は、基準プレビュー時間Δt1に所定数N(ここでは「4」)を乗じた値(4×Δt1)を集約プレビュー画像G1の表示時間として決定する。その後、集約プレビュー画像G1が4秒の期間に亘って表示されると、集約プレビュー画像G1は新たな集約プレビュー画像G2に直ちに更新される。
集約プレビュー画像G2においては、表示対象ページはページP5,P6,P8であるため、当該ページP5,P6,P8に係るスキャン画像S5,S6,S8の抽出対象領域R25,R26,R28の画像が集約プレビュー画像G2にそれぞれ表示される。
集約プレビュー画像G2の表示時間も集約プレビュー画像G1と同様にして決定される。すなわち、基準プレビュー時間Δt1に所定数N(ここでは「4」)を乗じた値(4×Δt1)が集約プレビュー画像G2の表示時間として決定される。
その結果、各集約プレビュー画像G1,G2の表示時間の合計値は、所定数Nと集約プレビュー画像Gjの数との積を基準プレビュー時間Δt1に乗じた値に制御される。より詳細には、所定数「4」と集約プレビュー画像Gjの数「2」との積を基準プレビュー時間Δt1に乗じた値(4×2×Δt1)が集約プレビュー画像の合計値として決定される。
なお、ここでは、原稿の全ページの数Mは「8」であり、当該値Mは所定数N(ここでは「4」)の倍数である。仮に、原稿の全ページの数Mが所定数Nの倍数ではない場合にも、集約プレビュー画像Gjの表示時間の合計値は、所定数Nと集約プレビュー画像Gjの数との積を基準プレビュー時間Δt1に乗じた値に決定されればよい。たとえば、原稿の全ページの数Mが「9」である場合には、集約プレビュー画像Gjの表示時間の合計値は、所定数N(ここでは「4」)と集約プレビュー画像Gjの数(この場合は「3」)との積を基準プレビュー時間Δt1に乗じた値として12秒に決定される。
以上のような動作によれば、表示対象ページ(複数のページのうち非表示対象ページを除外したページ)に係るスキャン画像を最大で所定数Nまで集約する少なくとも1つの集約プレビュー画像が表示される。そのため、ユーザは、各ページごとに固定された基準プレビュー時間Δt1内で各ページのプレビュー画像(スキャン画像)をそれぞれ確認することを要さず、集約プレビュー画像内に集約され得る各集約プレビュー画像の表示時間内に、纏めて確認すればよい。したがって、ユーザは、柔軟なプレビュー画像の確認作業を行うことが可能である。
また、各集約プレビュー画像の表示時間は、各集約プレビュー画像に集約される最大のページ数である所定数Nを基準プレビュー時間Δt1に乗じた値に決定される。その結果、少なくとも1つの集約プレビュー画像の表示時間の合計値は、当該所定数と少なくとも1つの集約プレビュー画像の数との積を基準プレビュー時間Δt1に乗じた値である。たとえば、原稿の全ページの数Mが「8」である場合には、各集約プレビュー画像Gjの表示時間の合計値は「8」であり、原稿の全ページの数Mが「9」である場合には、各集約プレビュー画像Gjの表示時間の合計値は「12」である。このように、各集約プレビュー画像Gjの表示時間の合計値は、「全ページ数Mを所定数Nで除した商Qに1を加えた値に基準プレビュー時間Δt1を乗じた値((Q+1)×Δt1)」である。そのため、各集約プレビュー画像Gjの表示時間の合計値が上記特許文献1のように著しく増大することがない。したがって、読み取られた原稿の複数のページに係るプレビュー画像の表示時間の長大化を回避ないし抑制することも可能である。
なお、この態様においても、最後の集約プレビュー画像は、最後の集約プレビュー画像の表示対象候補の枚数に基準プレビュー時間Δt1を乗じた値の期間に亘って表示されればよい。
<4.変形例等>
以上、この発明の実施の形態について説明したが、この発明は上記の内容に限定されるものではない。
たとえば、上記各実施形態においては、原稿の全ページのプレビューについて上記思想を適用して集約表示する態様を例示したが、これに限定されず、原稿を構成する一部の複数のページ(当該複数のページは原稿の全てのページとは限らない)のプレビューのみについて上記思想を適用して集約表示するようにしてもよい。
また、上記各実施形態においては、原稿モードの種類が「文字原稿」である場合について主に説明したが、原稿モードの種類が「図形(グラフ)原稿」である場合にも上記各実施形態で説明した内容と同様の内容の処理が行われる。
以下では、原稿モードの種類が「図形(グラフ)原稿」である場合について、原稿モードの種類が「文字原稿」である場合との相違点を中心に説明する。
図15は、「図形(グラフ)原稿」が含まれる場合の集約プレビューモードにおけるリアルタイムプレビューを示す概念図である。
たとえば、第1実施形態において、スキャン画像Siの原稿種類が「図形(グラフ)原稿」である場合に、ページPiのスキャン画像Siの原稿種類と原稿モードの種類とが一致する旨がステップS65(図9参照)において判定されたときには、ステップS66の処理は行われず、その代わりに、スキャン画像Siに要検討領域が存在する旨が無条件で決定される。そして、ステップS67に進み、当該スキャン画像Siが表示対象画像として決定され(ページPiが表示対象ページとして決定され)、当該ページPi(図形(グラフ)原稿のページ)のスキャン画像Siの全部が抽出対象領域として抽出される(ステップS68)。その後、当該スキャン画像Siの全部が集約プレビュー画像Gjに表示される。
原稿モードの種類が「図形(グラフ)原稿」である場合には、スキャン画像Siの全部が抽出対象領域として抽出されるので、「文字原稿」の分割領域(一の集約プレビュー画像が「4つ」に分割された領域)に比べて比較的大きな分割領域(たとえば、一の集約プレビュー画像が「2つ」に分割された領域)に当該スキャン画像Siの全部が表示されることが好ましい。すなわち、原稿モードの種類が「図形(グラフ)原稿」である場合には、スキャン画像Siの全部が所定数「2」ごとに集約される(集約プレビュー画像は2in1形式で表示される)ことが好ましい。
そして、図15に示すように、まず集約プレビュー画像G1において、2つのスキャン画像S1,S4が「2in1」形式で集約して表示される。詳細には、原稿の第1ページP1のスキャン画像S1の全部が集約プレビュー画像G1の上半領域に表示され、原稿の第4ページP4のスキャン画像S4の全部が集約プレビュー画像G1の下半領域に表示される。また、この集約プレビュー画像G1は、4秒間に亘って表示される。詳細には、非表示対象ページのページ数(ここでは「2」)を基準プレビュー時間Δt1に乗じた時間(2×Δt1)が延長時間として決定されるとともに、当該延長時間(2×Δt1)を基本時間(2×Δt1)に加算した値(4×Δt1)が集約プレビュー画像G1の表示時間として決定される。
つぎに、集約プレビュー画像G2において、スキャン画像S5が「2in1」形式で集約して表示される。詳細には、原稿の第5ページP5のスキャン画像S5の全部が集約プレビュー画像G2の上半領域に表示される。この集約プレビュー画像G2においては、基本時間が1秒として決定され、延長時間が3秒として決定されるため、4秒間に亘って集約プレビュー画像G2は表示される。なお、集約プレビュー画像G1,G2の表示時間の合計値は、「8」である。
このようにして、スキャン画像Siの原稿種類が「図形(グラフ)原稿」である場合には、ステップS66の処理の代わりに要検討領域がスキャン画像Siに存在する旨が無条件で決定され、スキャン画像Siの全部が所定数「2」ごとに集約して集約プレビュー画像Gjに表示される。第2実施形態および第3実施形態においても同様である。
なお、スキャン画像Siの原稿種類が「図形(グラフ)原稿」である場合であっても、スキャン画像Si内の要検討領域の有無(存否)が判断されてもよい。この場合においては、要検討領域の有無は、グラフと背景との色相差、コントラスト差、および/またはその他の様々な基準を用いて判断されればよい。
また、上記各実施形態においては、集約プレビュー画像Gjに集約される画像の枚数(所定数N)は、原稿モードの種類に基づいて変更されているが、これに限定されない。たとえば、ユーザの設定に応じて当該所定数Nが変更されるようにしてもよい。