背景技術で示したように、電子ペーパー端末の画面に表示される画像を紙に印刷する場合、ユーザが自ら電子ペーパー端末を操作して文書を1ページずつめくりながら、若しくは、電子ペーパー端末に備えた自動ページめくり機能を用いて自動でページをめくりながら、MFPなどの画像処理装置を用いてスキャンしなければならず、操作が煩雑になるという問題があった。
この問題に対して、電子ペーパー端末と画像処理装置とが専用のI/F手段を用いて接続可能な場合は、電子ペーパー端末の画面の表示を順次切り替えながら画像処理装置でスキャンを実施することは可能であるが、この方法では、専用のI/F手段が必要であり、また、電子ペーパー端末と画像処理装置の組み合わせが限定され、汎用性に欠けるという問題があった。
そこで、本発明の一実施の形態では、自動ページめくり機能を備える電子ペーパー端末に表示される画像を画像処理装置で所定の時間間隔でスキャンし、スキャン画像を比較することによってスキャン画像が有効か無効か(ページがめくられたか否か)を判定して、文書の各ページの画像を適切に取得できるようにする。
ここで、文書の全てのページの画像を取得するために、画像処理装置のスキャンの時間間隔を電子ペーパー端末のページめくりの時間間隔よりも短くする必要があるが、スキャンの時間間隔が短くなると、スキャン画像の数が多くなり、多数のスキャン画像のデータを保持するために記憶手段の記憶領域を占有してしまう。そのため、不要なスキャン画像は破棄し、必要なスキャン画像のみを記憶するように制御することが重要になる。
その際、スキャン画像がいずれかのページの画像であれば、前後のスキャン画像を比較し、前後のスキャン画像が一致する場合は後のスキャン画像を破棄し、前後のスキャン画像が一致しない場合は後のスキャン画像を保存するように制御することによって、文書の各ページの画像を適切に取得することができる。しかしながら、電子ペーパー端末でのページめくりは一瞬であるのに対して、画像処理装置でのスキャンは所定の時間がかかるため、スキャンの途中でページめくりが行われることがあり、その場合は、前後のページが混在した不要なスキャン画像が取得されてしまい、その不要なスキャン画像までも保存することになるため、効率的にスキャン画像を保存することができなくなる。
このように、電子ペーパー端末に順次表示される画像をスキャンする場合には、各ページの画像を効率的に保存するためには、前後のスキャン画像が一致しない場合であっても、前後のページが混在した不要なスキャン画像はページの画像として保存されないように制御する必要がある。
そこで、本実施形態では、取得した第1のスキャン画像と基準となるスキャン画像とを比較し、双方のスキャン画像が一致する場合は、第1のスキャン画像を無効と判定して破棄するが、双方のスキャン画像が一致しない場合は、第1のスキャン画像の有効/無効の判定を保留する。そして、判定を保留した場合は、第1のスキャン画像と次のスキャンで取得した第2のスキャン画像とを比較し、双方のスキャン画像が一致する場合は、第2のスキャン画像を有効と判定して保持すると共に基準となるスキャン画像に設定し、かつ、第1のスキャン画像を破棄し、双方のスキャン画像が一致しない場合は、判定を再度保留する。そして、判定を再度保留した場合は、第2のスキャン画像と次のスキャンで取得した第3のスキャン画像とを比較し、双方のスキャン画像が一致する場合は、第3のスキャン画像を保持すると共に基準となるスキャン画像に設定し、かつ、第1のスキャン画像及び第2のスキャン画像を破棄する。すなわち、上記制御では、前後スキャン画像が一致しない場合であっても、後のスキャン画像を破棄する場合がある。
また、スキャンの時間間隔がページめくりの時間間隔に対してあまり短くなると、同じページの画像を何度もスキャンすることになるため、不要なスキャン動作が多くなり、画像処理装置を効率的に動作させることができない。そこで、本実施形態では、スキャン画像を有効と判定してから次にスキャン画像を有効と判定するまでの経過時間に基づいて、その後のスキャンの時間間隔を調整することにより、スキャンの時間間隔とページめくりの時間間隔を同期させ、不要なスキャン動作を抑制するように制御する。
これにより、電子ペーパー端末に自動ページめくり機能を備えていれば、電子ペーパー端末と通信することなく、また、電子ペーパー端末の機種を問わず、画像処理装置側だけの制御で、電子ペーパー端末に表示される各ページの画像を適切に取得することができる。
上記した本発明の実施の形態についてさらに詳細に説明すべく、本発明の一実施例に係る画像処理装置及び画像読み取り制御プログラム並びに画像読み取り制御方法について、図1乃至図14を参照して説明する。図1は、本実施例の画像読み取りシステムの外観を模式的に示す図であり、図2は、本実施例の画像処理装置の構成を示すブロック図、図3は、本実施例の電子ペーパー端末の構成を示すブロック図である。また、図4乃至図11は、電子ペーパーに表示される画像をスキャンする様子を模式的に示す図であり、図12は、本実施例の画像処理装置の動作を示すフローチャート図である。また、図13は、電子ペーパー端末を原稿台にセットする場合のスキャン範囲(若しくは読み取るべきスキャン画像の範囲)の特定方法を説明する図であり、図14は、電子ペーパー端末をプラテンカバー内に保持する機構を模式的に示す図である。
図1に示すように、本実施例の画像読み取りシステム10は、画像の読み取りを行うMFPなどの画像処理装置20と、画像処理装置20が画像を読み取り可能な画面を有する表示装置(本実施例では電子ペーパー端末40とする。)と、で構成される。以下、各装置について説明する。
[画像処理装置]
画像処理装置20は、図2に示すように、CPU(Central Processing Unit)21と、ROM(Read Only Memory)22と、RAM(Random Access Memory)23と、記憶部24と、計時部25と、表示部26と、操作部27と、スキャン部28と、電源制御部29と、画像処理部30と、画像判定部31などで構成され、必要に応じて、FAX通信制御部32と、ネットワーク制御部33と、電子ペーパー端末保持部34と、装着位置判定部35などを含み、これらはシステムバスによって接続されている。
CPU21は、制御プログラムをROM22や記憶部24から読み出し、RAM23に展開し実行することにより、画像処理装置20の全体動作を制御する。ROM22は、CPU21が各部を制御するための制御プログラムなどを記憶する。RAM23は、CPU21が制御プログラムを実行する際に各種のデータ(後述する判定保留フラグや同一頁カウンタのカウント値などを含む。)を一時的に格納するワークメモリやスキャン画像データを一時的に格納する画像メモリなどとして使用される。そして、CPU21とROM22やRAM23などのメモリとで制御部が構成される。
記憶部24は、HDD(Hard Disk Drive)やSSD(Solid State Drive)などで構成され、CPU21が各部を制御するための制御プログラム、自装置の処理機能に関する情報、画像判定部31が有効と判定したスキャン画像データなどを記憶する。
計時部25は、通常の画像処理装置20の制御で利用するほかに、スキャン部28がスキャンを行ってからの時間経過を計時して、スキャン部28に通知したり、画像判定部31(ページめくり判定部31a)がページがめくられたと判定してからの時間経過を計時して、画像判定部31(スキャン間隔設定部31b)に通知したりする。
表示部26は、LCD(Liquid Crystal Display)等からなり、画像処理装置20の機能の選択や実行を指示するための画面などを表示する。操作部27は、表示部26上に透明電極が格子状に配置された感圧式又は静電式のタッチセンサや、ボタンやスイッチ等のハードスイッチからなり、電子ペーパー端末40に表示される画像の読み取りを指示したり、スキャンの時間間隔(以下、スキャン間隔と記載する。)のデフォルト値などを設定したりできるようにする。
スキャン部28は、原稿台(プラテンガラス)上に載置された電子ペーパー端末40に表示されている画像を光学的に読み取る部分であり、電子ペーパー端末40を一方向又は双方向に走査する光源と、電子ペーパー端末40の表示画面で反射された光を電気信号に変換するCCD(Charge Coupled Devices)等のイメージセンサと、電気信号をA/D変換するA/D変換器等により構成され、予め設定されたデフォルトのスキャン間隔若しくはスキャン間隔設定部31bから通知されたスキャン間隔で電子ペーパー端末40のスキャンを実行し、取得したスキャン画像のデータ(以下、単にスキャン画像と記載する。)をRAM23などのメモリに保持する。また、スキャン部28は、装着位置判定部35からスキャン範囲が通知された場合は、そのスキャン範囲のスキャンを実行する。
電源制御部29は、外部の電源からの電力を画像処理装置20の各部に供給する。
画像処理部30は、スキャン部28が読み取ったスキャン画像に対して、必要に応じて、トリミング(装着位置判定部35が判定したスキャン範囲内の画像の切り取り)、回転、拡大/縮小、色変換、濃度変換、スクリーニング(2値のビットマップの生成)などの画像処理を行い、画像処理後のスキャン画像を画像判定部31に送信する。また、上記スキャン画像に対して、エッジやコーナーなどの特徴点を抽出したり、公知の文字認識技術を利用してエンブレムなどを抽出したりして、原稿台上の電子ペーパー端末40の位置(スキャン範囲若しくは読み取るべきスキャン画像の範囲)を特定するための情報を抽出し、装着位置判定部35に通知する。
画像判定部31は、スキャン部28が取得したスキャン画像(若しくは、画像処理部30が画像処理したスキャン画像)を比較し、スキャン画像の有効/無効を判定する。例えば、あるスキャン画像を基準となるスキャン画像(比較ベースと呼ぶ。)として設定し、その比較ベースとスキャン部28が取得したスキャン画像とを比較し、その比較結果に基づいてスキャン画像の有効/無効を判定する。この画像判定部31は、ページめくり判定部31aとスキャン間隔設定部31bとで構成される。
ページめくり判定部31aは、比較ベースとスキャン部28が取得したスキャン画像とが一致する場合は、ページがめくられていないと判断し、取得したスキャン画像を無効と判定して破棄(メモリから消去)する。また、比較ベースとスキャン部28が取得したスキャン画像とが一致しない場合は、判定を保留し、その後のスキャン画像を用いて判定を継続するために取得したスキャン画像を保持する(メモリから消去しない)。そして、判定を保留した場合は、スキャン部28に短時間に次のスキャンを実施させ、前後のスキャン画像が一致する場合はページがめくられたと判断し、後のスキャン画像を有効と判定して新たなページの画像として記憶部24に保存すると共に比較ベースに設定(比較ベースを更新)し、かつ、前のスキャン画像を無効と判定して破棄する。また、前後のスキャン画像が一致しない場合は、再度判定を保留し、その後のスキャン画像を用いて判定を継続するために取得した後のスキャン画像を保持する。そして、スキャン部28に短時間に次のスキャンを実施させ、前後のスキャン画像が一致する場合はページがめくられたと判断し、後のスキャン画像を有効と判定して新たなページの画像として記憶部24に保存すると共に比較ベースに設定し、かつ、前2回のスキャン画像を無効と判定して破棄する。また、ページめくり判定部31aは、上記スキャン画像の比較に際して、所定のカウンタ(後述する同一頁カウンタ)をカウントアップしたり、所定のフラグ(後述する判定保留フラグ)のセットやクリアを行ったりする。なお、スキャン画像が一致するとは、実質的に同一と見なすことができるという意味であり、スキャン画像が一致しないとは、実質的に同一と見なすことができないという意味である。また、電子ペーパー端末40の表示部がリフレッシュされると白黒反転した画面となるが、この場合は白黒反転した画面のスキャン画像は無効と判定して破棄する。
スキャン間隔設定部31bは、計時部25が計時した経過時間とページめくり判定部31aの判定結果とに基づいて、スキャン部28のスキャン間隔を設定し、設定したスキャン間隔をスキャン部28に通知する。例えば、ページめくり判定部31aが、ページがめくられたと判断した時から、次にページがめくられたと判断するまでの経過時間(比較ベースが更新されるまでの経過時間)をスキャン間隔に設定し、スキャン間隔を電子ペーパー端末40のページめくり間隔に同期させるようにする。また、同じスキャン画像が所定回数続く場合は、最終ページと判断して、スキャン部28にスキャンの停止を指示する。なお、本実施例における同期とは、スキャン間隔とページめくり間隔とを完全に一致させる場合に限らず、ページを飛ばしてしまわないように、電子ペーパー端末40が1ページの画像を表示している間にスキャンを2回行うようにするなど、スキャン間隔とページめくり間隔とが所定の関係性を有している場合を含む。
上記画像処理部30や画像判定部31(ページめくり判定部31a、スキャン間隔設定部31b)はハードウェアとして構成してもよいし、制御部を画像判定部31(又は画像処理部30及び画像判定部31)として機能させる画像読み取り制御プログラムして構成し、当該画像読み取り制御プログラムをCPU21に実行させるようにしてもよい。
FAX通信制御部32は、電話回線を介して繋がっている外部の画像処理装置との接続を確立し、スキャン部28で読み取ったスキャン画像などを送信したり、外部の画像処理装置から画像データなどを受信したりする。
ネットワーク制御部33は、NIC(Network Interface Card)やモデムなどで構成され、LAN(Local Area Network)やWAN(Wide Area Network)などの通信ネットワークを介して繋がっている外部の装置との接続を確立し、各種データを送受信する。
電子ペーパー端末保持部34は、開閉可能な原稿台のカバー(プラテンカバーと呼ぶ。)の裏に、電子ペーパー端末40をプラテンガラスに隙間無く正対可能に保持する。例えば、電子ペーパー端末40をプラテンカバーに対してスライド可能に保持する機構(後述する支持ガイド28a)や、電子ペーパー端末40の落下防止のための爪(後述する落下防止用爪28b)を備え、ユーザが位置合わせを行うことで電子ペーパー端末40の画面の位置を設定することができる。
装着位置判定部35は、プラテンガラス上の電子ペーパー端末40の位置を判定し、スキャン範囲を特定する。例えば、電子ペーパー端末保持部34が落下防止用爪を備える場合は、落下防止用爪の位置から読み取った座標で特定される領域をスキャン範囲(若しくは読み取るべきスキャン画像の範囲)として特定し、特定したスキャン範囲をスキャン部28に通知する。また、画像処理部30がエンブレムや枠線などの特定の情報を抽出した場合は、エンブレムの内側の綴じた四角の枠線内をスキャン範囲(若しくは読み取るべきスキャン画像の範囲)として特定し、特定したスキャン範囲をスキャン部28に通知する。
なお、図2は、本実施例の画像処理装置20の一例であり、その構成は適宜変更である。例えば、FAX通信制御部32やネットワーク制御部33を省略したり、スキャン部28で読み取った画像を紙媒体に出力する場合は、印刷処理部を設けたりしてもよい。
[電子ペーパー端末]
電子ペーパー端末40は、例えば、無電源で画像を表示保持する機能(いわゆるメモリ性)を有する表示装置であり、図3に示すように、CPU41と、ROM42と、RAM43と、記憶部44と、表示部45と、操作部46などで構成され、これらはシステムバスによって接続されている。
CPU41は、制御プログラムをROM42から読み出し、RAM43に展開し実行することにより、電子ペーパー端末40の全体動作を制御する。ROM42は、CPU41が各部を制御するための制御プログラムなどを記憶する。RAM43は、CPU41による制御に必要なデータや制御動作時に一時記憶が必要なデータ等を記憶する。そして、CPU41とROM42やRAM43などのメモリとで制御部が構成される。なお、本実施例の電子ペーパー端末40は、自動ページめくり機能を動作させるモード(自動ページめくりモード)を備え、自動ページめくりモードでは、制御部は、予め設定されたページめくりの時間間隔(以下、ページめくり間隔と記載する。)で表示対象となる文書の各ページが自動的に順次表示されるように表示部45を制御する。
記憶部44は、メモリやSSD、HDDなどであり、表示対象となる文書の各ページの画像データなどを記憶する。
表示部45は、透明な液体中に分散している帯電粒子やマイクロカプセル中の帯電粒子に電圧を印加して泳動させることによって情報を表示するデバイスであり、CPU41によって指示されたページの画像などを表示する。
操作部46は、表示部45上に透明電極が格子状に配置された感圧式又は静電式のタッチセンサや、ボタンやスイッチ等のハードスイッチからなり、表示部45に表示する文書の選択やページめくり間隔の設定、表示指示などの操作を受け付ける。
なお、図3は、本実施例の電子ペーパー端末40の一例であり、その構成は適宜変更可能である。また、本実施例では、読み取り対象となる画像を表示する装置として、無電源で画像を表示保持するメモリ性を有する電子ペーパー端末40とするが、画像処理装置20のスキャン部28が画像を読み取り可能であれば、LCD(Liquid Crystal Display)や有機EL(Electro Luminescence)ディスプレイなどとしてもよい。
次に、上記構成の画像読み取りシステム10の概略動作について説明する。
まず、自動ページめくり機能を備えている電子ペーパー端末40に対して、ユーザは操作部46を操作して、表示対象となる文書を選択し、自動ページめくりモードでページめくり間隔を設定した後、電子ペーパー端末40の表示面を下にして、画像処理装置20のプラテンガラス上に設置する。
画像処理装置20は、装着位置判定部35が電子ペーパー端末40の位置を判定して、スキャン範囲(若しくは読み取るべきスキャン画像の範囲)を特定する。例えば、スキャン部28がプレスキャンで取得したスキャン画像を画像処理部30が解析した情報や、電子ペーパー端末保持部34の構成物の位置に基づいて電子ペーパー端末40の画面位置を判定し、スキャン範囲(若しくは読み取るべきスキャン画像の範囲)を特定する。
その後、スキャン部28はスキャンを行って、電子ペーパー端末40に表示されているページの画像を取得する。その際、スキャン部28はページめくり間隔よりも短い所定の時間間隔でスキャンを繰り返し、スキャン部28がスキャン画像を取得する度に、ページめくり判定部31aは、取得したスキャン画像(若しくは画像処理部30が画像処理したスキャン画像)と比較ベースとの比較を行い、双方のスキャン画像が一致する場合はページがめくられていないと判断し、双方のスキャン画像が一致しない場合は、判定を保留し、以降のスキャン画像を用いて、ページがめくられたか否かを判断する。
スキャン画像が一致するかどうかは、スキャン部28が取得したスキャン画像を比較して判定してもよいし、例えば、画像処理部30が画像処理した2値化後のビットマップを比較して判定してもよいし、多少の読み取りムラを勘案して、画像処理部30が抽出した画像の特徴点を比較して判定してもよい。この特徴点の比較に関しては、エッジやコーナーなどの特徴点を使用してマッチングを行うキーポイント・マッチングや、色や濃度などのヒストグラムを使用してマッチングを行うヒストグラム法、画像から抽出したキーポイントを元に、デシジョンツリーを使って画像を分類するキーポイント・マッチング+デシジョンツリーなどの公知の手法を利用することができる。
なお、自動ページめくり機能を備えた電子ペーパー端末40での1ページの表示時間(ページめくり間隔)は、ユーザがそのページを読み終える程度の時間に設定されており、最短時間に設定されていたとしても10秒程度と想定される。このページめくり間隔に対して画像処理装置20のスキャン速度は十分に高速であるため、画像処理装置20で連続的にスキャンを行えば、スキャン漏れのページが発生する可能性は低い。特に、電子ペーパー端末40の画面はA5〜A4サイズ程度であり、プレスキャンによりスキャン範囲を特定すれば、その範囲のみをスキャンすれば良く、更に高速でスキャンを実施可能であるため、スキャン漏れのページが発生する可能性は十分に低い。
ここで、電子ペーパー端末40に表示している画像の書き換え速度(ページめくり時間)は、画像処理装置20のスキャン速度より一般的に高速であるが、希にスキャン中に画像の書き換えが始まってしまい、画像処理装置20は書き換え途中の画像をスキャンしてしまう場合がある。この場合、単に前回のスキャン画像との比較だけでは、取得したスキャン画像を次のページの正常なスキャン画像と誤認識してしまう恐れがある。
このような不具合の発生を防止するために、本実施例では、取得したスキャン画像が前回のスキャン画像と一致しない場合に、取得したスキャン画像を直ちに次のページの正常なスキャン画像であると認識するのではなく、短時間に実施した1又は2回のスキャンで取得したスキャン画像を利用して、正常なスキャン画像であるか否かを判断するように制御する。以下、この制御について、図面を参照して具体的に説明する。
図4及び図5は、電子ペーパー端末40の画像が書き換えられた(ページがめくられた)場合のスキャン結果と、ページめくりの判定方法を模式的に示している。なお、画像処理装置20のスキャン間隔は10秒とし、電子ペーパー端末40はプラテンガラスにSEF(Short Edge Feed)の向き(電子ペーパー端末40の短辺がスキャンの主走査方向に一致する向き)に置かれているとする。また、スキャン部28の副走査方向(スキャン方向)を一方向として説明するが、双方向(往復で画像を読み取る構成)とした場合も同様に考えることができる。
電子ペーパー端末40の画像を書き換える方法として、端からシーケンシャルに(徐々に)書き換える方法や、全体をプログレッシブに(一括して)書き換える方法などがあるが、電子ペーパー端末40の画像の書き換え速度は画像処理装置20のスキャン速度よりも大きいため、これらの画像の書き換え方法に関わらず、スキャンの途中で画像が書き換えられた時に得られるスキャン画像は下記の2通りとなる。
例えば、図4に示すように、画像処理装置20のスキャン部28が電子ペーパー端末40を図の上側から下側にスキャンする時、(1)の状態では、電子ペーパー端末40の表示部45には第1ページの画像(ここでは「A」の文字)が表示されており、スキャン部28は、1回目のスキャンを行って第1ページのスキャン画像を取得する。次に、(2)で所定時間経過後(ここでは10秒後)にスキャン部28は2回目のスキャンを行うが、スキャンの途中(図のaの領域までスキャンした段階)で、電子ペーパー端末40の自動ページめくり機能によって、表示部45に第2ページの画像(ここでは「B」の文字)が表示された場合、スキャン部28は、残りの部分(図のbの領域)は第2ページの画像をスキャンする。すなわち、スキャン画像は第1ページの画像の上部と第2ページの画像の下部を繋ぎ合わせた画像となる。その後、(3)で所定時間経過後(ここでは1秒後)にスキャン部28は3回目のスキャンを行って第2ページのスキャン画像を取得し、(2)のスキャン画像と(3)のスキャン画像が一致しない場合は、更に(4)で所定時間経過後(同様に1秒後)にスキャン部28は4回目のスキャンを行って第2ページのスキャン画像を取得する。この時、(1)のスキャン画像と(2)のスキャン画像は一致しないが、(2)のスキャン画像を直ちに次のページの正常なスキャン画像と認識するのではなく、(3)のスキャン画像と(4)のスキャン画像とが一致すれば、(4)のスキャン画像を次のページの正常なスキャン画像と判断する。
また、図5に示すように、画像処理装置20のスキャン部28が電子ペーパー端末40を図の下側から上側にスキャンする場合も同様であり、(1)の状態では、スキャン部28は、1回目のスキャンを行って第1ページの画像を取得する。次に、(2)の2回目のスキャンの途中で、電子ペーパー端末40の表示部45に第2ページの画像が表示された場合、スキャン部28は、第1ページの画像の下部と第2ページの画像の上部を繋ぎ合わせたスキャン画像を取得する。その後、(3)でスキャン部28は3回目のスキャンを行って第2ページの画像を取得するが、(2)のスキャン画像と(3)のスキャン画像が一致しない場合は、更に、(4)でスキャン部28は4回目のスキャンを行って第2ページの画像を取得する。この場合も、(1)のスキャン画像と(2)のスキャン画像は一致しないが、(2)のスキャン画像を直ちに次のページの正常なスキャン画像と認識するのではなく、(3)のスキャン画像と(4)のスキャン画像とが一致すれば、(4)のスキャン画像を次のページの正常なスキャン画像と判断する。
また、電子ペーパー端末40がプラテンガラスに(LEF(Long Edge Feed)の向き(電子ペーパー端末40の長辺がスキャンの主走査方向一致する向き)に置かれた場合も同様である。例えば、図6及び図7に示すように、(1)の状態では、スキャン部28は、1回目のスキャンを行って第1ページの画像を取得する。次に、(2)の2回目のスキャンの途中で、電子ペーパー端末40の表示部45に第2ページの画像が表示された場合、スキャン部28は、第1ページの画像の左側(又は右側)と第2ページの画像の右側(又は左側)を繋ぎ合わせたスキャン画像を取得する。その後、(3)でスキャン部28は3回目のスキャンを行って第2ページの画像を取得するが、(2)のスキャン画像と(3)のスキャン画像が一致しない場合は、更に、(4)でスキャン部28は4回目のスキャンを行って第2ページの画像を取得する。この場合も、(1)のスキャン画像と(2)のスキャン画像は一致しないが、(2)のスキャン画像を直ちに次のページの正常なスキャン画像と認識するのではなく、(3)のスキャン画像と(4)のスキャン画像とが一致すれば、(4)のスキャン画像を次のページの正常なスキャン画像と判断する。
また、スキャンの途中でページめくりが行われなかった場合は以下のようになる。例えば、図8に示すように、(1)で1回目のスキャンを行って第1ページの画像を取得した後、(2)で2回目のスキャンを行って第2ページの画像を取得する。(1)のスキャン画像と(2)のスキャン画像は一致しないため、更に、(3)で3回目のスキャンを行って第2ページの画像を取得する。この場合は、(1)のスキャン画像と(2)のスキャン画像は一致しないが、(2)のスキャン画像を直ちに次のページの正常なスキャン画像と認識するのではなく、(2)のスキャン画像と(3)のスキャン画像とが一致すれば、(3)のスキャン画像を次のページの正常なスキャン画像と判断する。
この制御を一般化すれば、基準のスキャン画像と第1のスキャン画像とが一致する場合は、第1のスキャン画像を破棄し、基準のスキャン画像と第1のスキャン画像とが一致しない場合、判定を保留することになる。すなわち、基準のスキャン画像と第1のスキャン画像とが一致しない場合、第1のスキャン画像を直ちに次のページの正常なスキャン画像と判断するのではなく、第1のスキャン画像と次の第2のスキャンの第2のスキャン画像とを比較し、第1のスキャン画像と第2のスキャン画像とが一致すれば、第2のスキャン画像を次のページの正常なスキャン画像と判断する。第1のスキャン画像と第2のスキャン画像とが一致しない場合は、第2のスキャン画像と更に次の第3のスキャンの第3のスキャン画像とを比較し、第2のスキャン画像と第3のスキャン画像とが一致すれば、第3のスキャン画像を次のページの正常なスキャン画像と判断することになる。
なお、第2のスキャン画像と第3のスキャン画像とが一致しない場合として、第2のスキャン画像がページめくり途中の画像である場合が考えられるが、一般的に電子ペーパー端末40の画像の書き換え速度>画像処理装置20のスキャン速度であるため、第2のスキャン画像が第1のスキャン画像と同様のページのページめくり途中の画像(nページとn+1ページが混在した画像とする。)となることはなく、また、スキャン時間間隔をページめくりの時間間隔よりも短く設定、若しくは、第2のスキャンを短時間に行えば、第2のスキャン画像がn+1ページとn+2ページが混在した画像となることもない。従って、第2のスキャン画像と第3のスキャン画像とが一致しない場合は、第2のスキャン画像と第3のスキャン画像とが異なるページの画像である場合に限られるが、スキャン時間間隔をページめくりの時間間隔よりも短く設定、若しくは、第2及び第3のスキャンを短時間に行えば、適切にページの画像を取得することができる。
ここで、表示された画像を比較する場合、表示は瞬時に切り替わる(図8のように途中段階の画像を表示する場合はない)ため、画像を記憶する際に、同じ画像であれば後の画像を破棄することができるが、異なる画像であれば後の画像を破棄することはない。一方、スキャンされた画像を比較する場合、スキャンは一定の時間がかかり、図4乃至図7のように途中段階のスキャン画像となる場合があるため、異なる画像であっても、後の画像を破棄することができる場合がある。
そこで、ページめくり判定部31aは、取得したスキャン画像が比較ベースと一致しない場合は、取得したスキャン画像を記憶部24に保存するのではなく、RAM23などに一時的に保持しておき、その後のスキャンで取得したスキャン画像が一致する場合は、一時的に保存したスキャン画像を破棄するようにする。この制御は、スキャン画像を比較する場合に特有な制御であり、表示画像を比較する場合とは異なる制御となる。
なお、スキャン間隔がページめくり間隔よりもかなり短い場合、図9に示すように、スキャン部28は同じページのスキャン画像を何度も取得する(図では(3)の状態以降に複数回「B」の文字を取得する。)ことになり、ページめくり判定部31aが何度も判断を繰り返すことになるため、効率的ではない。また、スキャン間隔がページめくり間隔に非常に近い場合、例えば、ページめくり間隔<スキャン間隔<ページめくり間隔+画像の書き換え時間の場合、図10に示すように、異なるページのページめくりの途中段階を続けて取得する可能性がある。また、スキャンの時間間隔がページめくりの時間間隔よりも長い場合、図11に示すように、毎回異なるスキャン画像を取得することになり、ページを飛ばしてしまう可能性がある。そこで、本実施例では、このような不具合を防止するため、スキャン間隔設定部31bは、デフォルトのスキャン間隔をページめくり間隔よりも短くすると共に、ページめくり判定部31aの判定結果に基づいてスキャン間隔を調整し、各ページの画像を確実かつ効率的に取得できるように制御する。
具体的には、ページめくりが行われたと判断し、取得したスキャン画像を比較ベースに設定してから、次にページめくりが行われたと判断し、取得したスキャン画像を比較ベースに設定するまでの経過時間をスキャン間隔に設定する。また、ページめくりの途中段階のスキャン画像を連続して取得した場合や、スキャン画像が毎回異なる場合は、スキャン間隔を徐々に短く(例えば、0.9倍などに)する。
このようなスキャン間隔の設定や調整を行うことで、スキャン間隔をページめくり間隔に同期させ、ページめくり後に毎回スキャンを実行させることができる。例えば、1ページ目は、電子ペーパー端末40を原稿台にセットしてスタートボタンを押すまでのタイムロスなどによって、電子ペーパー端末40のページめくりの開始タイミングと画像処理装置20のスキャン開始タイミングとがずれるが、徐々にスキャン間隔とページめくり間隔とが同期していくため、各ページの画像を確実かつ効率的に取得することができる。
以下、本実施例の画像処理装置20の動作について説明する。CPU21は、ROM22や記憶部24に記憶した画像読み取り制御プログラムをRAM23に展開して実行することにより、図12のフローチャート図に示す各ステップの処理を実行する。なお、画像処理装置20は、スキャンの動作モードとして、通常のスキャンモードと電子ペーパー端末専用のスキャンモードとが切り換え可能であるものとする。また、スキャン間隔は電子ペーパー端末40のページめくり間隔よりも短い所定の時間間隔に予め設定されているものとする。
まず、制御部は、画像処理装置20の動作モードが、電子ペーパー端末専用のスキャンモードに設定されているかを判断し(S101)、電子ペーパー端末専用のスキャンモードに設定されていない場合は、スキャン部28は通常のスキャン動作を実施し(S122)、スキャンが終了したらスキャンを停止して(S123)、処理を終了する。
一方、電子ペーパー端末専用のスキャンモードに設定されている場合は、装着位置判定部35は、スキャン範囲(若しくは読み取るべきスキャン画像を範囲)を特定する(S102)。このスキャン範囲は、例えば、スキャン部28に全範囲のスキャン(プレスキャン)を実行させ、画像処理部30が画像処理したスキャン画像を解析することによって特定してもよいし、電子ペーパー端末40が電子ペーパー端末保持部34に保持される場合は、電子ペーパー端末保持部34の保持状態に基づいて特定してもよい。
次に、ユーザ操作により電子ペーパー端末40の自動ページめくり機能が動作を開始したら、スキャン部28は、S102で特定されたスキャン範囲のスキャンを実施してスキャン画像を取り込み(S103)、画像判定部31(ページめくり判定部31a)は、そのスキャン画像を比較ベースとして登録する(S104)。その後、スキャン部28は、予め設定されたスキャン間隔の経過を待ち(S105)、スキャン間隔が経過したら、上記特定したスキャン範囲のスキャンを実施してスキャン画像を取り込む(S106)。
次に、画像判定部31(ページめくり判定部31a)は、画像が反転しているかを判断し(S107)、画像反転を検出した場合はS117にスキップし、画像反転を検出しない場合は、S106で取り込んだスキャン画像とS104で作成した比較ベースとを比較し(S108)、スキャン画像と比較ベースとが一致しないかを判断する(S109)。
スキャン画像と比較ベースとが一致する場合は、ページめくりが行われていないため、画像判定部31(ページめくり判定部31a)は、同一頁カウンタをカウントアップする(S119)。そして、画像判定部31(ページめくり判定部31a)は、同一のスキャン画像は保存する必要がないため、S106で取得したスキャン画像を無効と判定して破棄し(S120)、S121にスキップする。
一方、スキャン画像と比較ベースとが一致しない場合は、スキャン画像がページめくり途中の画像の場合(図4乃至7の(2)の場合)とページめくり後の画像の場合(図8の(2)の場合)の双方が考えられるため、画像判定部31(ページめくり判定部31a)は、前回、判定を保留したかどうか(判定保留フラグがセットされているかどうか)を判断し(S110)、判定を保留していない場合は、判定を保留(判定保留フラグをセット)する(S116)。その後、画像判定部31(スキャン間隔設定部31b)は、スキャン間隔を予め定めた短い時間に設定する(S117)。ここで、このスキャン画像がページめくり途中の画像の場合は無効な画像となるが、次回の判定で使用するため、画像判定部31(ページめくり判定部31a)は、このスキャン画像を破棄することなくメモリに一時的に保持し(S118)、S121にスキップする。
S110で、判定を保留していると判断した場合は、2回続けてページめくり途中の画像を取得することはないため、画像判定部31(ページめくり判定部31a)は、判定保留フラグをクリアし(S111)、今回のスキャン画像とS118で保持した前回のスキャン画像とを比較する(S112)。スキャン画像が一致しない場合(図4乃至図7の(3)の場合)は、ページめくりが完了していない可能性があるため、S116に遷移して再度、判定を保留する。
一方、スキャン画像が同一の場合は、前回のスキャン時にページめくりが完了していたと判断できるため、画像判定部31(ページめくり判定部31a)は、同一頁カウンタのカウントをクリアし(S113)、今回のスキャン画像を有効な画像(ページめくり後のスキャン画像)と判断して記憶部24に保存すると共に比較ベースをそのスキャン画像に更新し、無効な画像を破棄する(S114)。なお、スキャン画像が同一の場合として、1回保留してスキャン画像が同一となった場合(図8の(3)の場合)と、上記S112からS116に遷移し、2回保留してスキャン画像が同一となった場合(図4乃至図7の(4)の場合)がある。前者(判定を1回保留した場合)は、前回のスキャン画像(図8の(2)のスキャン画像)を破棄し、後者(判定を2回保留した場合)は、前回及び前々回のスキャン画像(図4乃至図7の(2)と(3)のスキャン画像)を破棄する。そして、画像判定部31(スキャン間隔設定部31b)は、前回の比較ベースの更新からの経過時間を新たなスキャン間隔に設定する(S115)。
その後、画像判定部31(ページめくり判定部31a)は、同一頁カウンタのカウント値が予め定めた一定値を越えたかを判断することによって最終ページであるかを判断し(S121)、最終ページでなければS105に遷移し、最終ページであればスキャン部28にスキャンを停止させ(S123)、一連の処理を終了する。
次に、電子ペーパー端末40をプラテンカバーに保持する場合のスキャン範囲(若しくは読み取るべきスキャン画像の範囲)の特定方法について詳細に説明する。
図13は、電子ペーパー端末40を原稿台(プラテンガラス上)に置く場合のスキャン範囲(若しくは読み取るべきスキャン画像の範囲)の特定方法を説明する図である。図13(a)に示すように、電子ペーパー端末40の表示画面側には、一般的に、所定の位置(例えば、表示部の下部や上部)に商品名や会社名などのエンブレムが記載されている。そこで、図13(b)に示すように、電子ペーパー端末40の表示画面を下にして(表示画面をプラテンガラスに対向させて)、原稿台の任意の場所に置き、この状態で原稿台全面をプレスキャンする。そして、図13(c)に示すように、得られたスキャン画像を画像処理部30が画像処理し、装着位置判定部35が濃度差やエンブレムの位置などから副走査方向のスキャン範囲を特定し、次回以降この範囲のみをスキャンするようにスキャン部28に指示する。また、副走査方向のこのスキャン範囲外の画像はメモリ上で破棄する。
図14は、電子ペーパー端末40をプラテンカバーに保持する場合の、電子ペーパー端末保持部34の構造例を示す図である。例えば、プラテンカバーの裏面に、プラテンカバーの上下方向、左右方向及び厚み方向の位置を調整可能な機構を設け、電子ペーパー端末40の画面が丁度プラテンカバーの裏面と一致するように、電子ペーパー端末40を保持する。例えば、3つの支持ガイド28aと、3つの支持ガイド28a及びプラテンカバーの内枠上辺に接合している落下防止用爪28bと、プラテンカバーの内枠から延び、支持ガイド28aを支える伸縮可能な押圧棒28cとで電子ペーパー端末40を保持する。また、図示していないが、電子ペーパー端末40はプラテンカバー内枠の背面からもバネ等で前面に押圧されている。この落下防止用爪28bは、支持ガイド28aに接続され、スライド可能な薄い素材で形成されており、画面サイズマーカーとしての機能を兼ねる。また、中央の支持ガイド28aは、破線の丸で囲んだ部分で、両脇の支持ガイド28aに接合したまま、両脇の支持ガイド28aに沿ってスライドできるように、横方向に伸縮可能になっている。
そして、電子ペーパー端末40の画面位置を特定する場合、ユーザが落下防止用爪28bを電子ペーパー端末40の表示画面に合わせて移動させると、画像処理装置20(装着位置判定部35)は、プラテンカバーの内枠に対する支持ガイド28a及び落下防止用爪28b(画面サイズマーカー)の位置を元に、電子ペーパー端末40の画面座標を割り出す。具体的には、支持ガイド28a内側に機構的なセンサ(例えば、支持ガイド28aに沿って配置したスイッチ)を組み込み、画面サイズマーカーによる接点の開閉などによって、支持ガイド28a上の画面サイズマーカーのスライド位置を認識したり、或いは、画面サイズマーカーの外側エッジに発光素子を組み込み、支持ガイド28a内側に設けた受光センサで検知することによって、画面サイズマーカーのエッジ位置を検出し、画面四隅(図のA〜D)の座標位置を認識したりすることができる。また、支持ガイド28aも同様の機構でプラテンカバー内枠からの位置を認識することができる。
このように、電子ペーパー端末40を自動ページめくりモードにしておけば、画像処理装置20側だけの制御で、電子ペーパー端末40のページめくり間隔よりも短い時間間隔でスキャン(コピー)を実施し、不要なスキャン画像は破棄し、必要なスキャン画像のみを有効な画像として取得することができるため、電子ペーパー端末40と専用のI/F部を用いて通信することなく、また、電子ペーパー端末40の機種を問わずに、電子ペーパー端末40に表示される文書の各ページの画像を適切に取得することができる。
なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨を逸脱しない限りにおいて、画像処理装置20及び電子ペーパー端末40の構成や制御は適宜変更可能である。
例えば、上記実施例では、取得した第1のスキャン画像と基準となるスキャン画像(比較ベース)とが一致しない場合に、第1のスキャン画像の有効/無効の判定を保留して、第1のスキャン画像と次のスキャンで取得した第2のスキャン画像とを比較し、第1のスキャン画像と第2のスキャン画像とが一致しない場合に、第2のスキャン画像の有効/無効の判定を保留して、第2のスキャン画像と次のスキャンで取得した第3のスキャン画像とを比較し、第2のスキャン画像と第3のスキャン画像とが一致する場合に、第3のスキャン画像を有効と判定して、第1のスキャン画像及び第2のスキャン画像を破棄するようにしたが、第1のスキャン画像と基準となるスキャン画像(比較ベース)とが一致しない場合に、第1のスキャン画像と第2のスキャン画像との比較を行うことなく、連続して2回のスキャンを行って第2のスキャン画像と第3のスキャン画像とを比較し、第2のスキャン画像と第3のスキャン画像とが一致する場合に、第3のスキャン画像を有効と判定して、第1のスキャン画像及び第2のスキャン画像を破棄するようにしてもよい。