JP6052997B2 - オーバヘッドスキャナ装置、画像取得方法、および、プログラム - Google Patents

オーバヘッドスキャナ装置、画像取得方法、および、プログラム Download PDF

Info

Publication number
JP6052997B2
JP6052997B2 JP2013039520A JP2013039520A JP6052997B2 JP 6052997 B2 JP6052997 B2 JP 6052997B2 JP 2013039520 A JP2013039520 A JP 2013039520A JP 2013039520 A JP2013039520 A JP 2013039520A JP 6052997 B2 JP6052997 B2 JP 6052997B2
Authority
JP
Japan
Prior art keywords
area
image
scanner device
page turning
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013039520A
Other languages
English (en)
Other versions
JP2014168168A (ja
Inventor
真幸 境井
真幸 境井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PFU Ltd
Original Assignee
PFU Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PFU Ltd filed Critical PFU Ltd
Priority to JP2013039520A priority Critical patent/JP6052997B2/ja
Priority to CN201410069314.7A priority patent/CN104023160B/zh
Priority to US14/192,491 priority patent/US9258448B2/en
Publication of JP2014168168A publication Critical patent/JP2014168168A/ja
Application granted granted Critical
Publication of JP6052997B2 publication Critical patent/JP6052997B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/047Detection, control or error compensation of scanning velocity or position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00352Input means
    • H04N1/00381Input by recognition or interpretation of visible user gestures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/19Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays
    • H04N1/195Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays the array comprising a two-dimensional array or a combination of two-dimensional arrays
    • H04N1/19594Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays the array comprising a two-dimensional array or a combination of two-dimensional arrays using a television camera or a still video camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Facsimile Scanning Arrangements (AREA)
  • Image Input (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Studio Devices (AREA)

Description

本発明は、オーバヘッドスキャナ装置、画像取得方法、および、プログラムに関する。
従来、操作性を向上させるオーバヘッドスキャナが開発されている。
ここで、原稿を読み取らせる操作性に優れ、高精細な画像を取得するために、特徴点抽出による速度ベクトルに基づいた読み取り開始を判定するオーバヘッドスキャナが知られている(特許文献1を参照)。
また、高速エリアセンサで撮像した動画のフレームに補正をかけてスキャン画像を形成する際に、物体からの反射された投光パターンを連続で監視し、差分を抽出することにより、エリア領域内の変化を検出し、その検出結果を比較することにより物体の変化を検知するスキャナ装置が知られている(特許文献2を参照)。
特開2011−254366号公報 特開2003−244531号公報
しかしながら、従来のスキャナにおいては、所定の動作以外の動作を検出してしまう誤検出が生じやすく、所定の動作を正しく検出する検出精度が低いという問題点を有していた。
本発明は、上記問題点に鑑みてなされたもので、誤検出を防止して、精度よく読取開始を検出することができる、オーバヘッドスキャナ装置、画像取得方法、および、プログラムを提供することを目的とする。
このような目的を達成するため、本発明に係るオーバヘッドスキャナ装置は、エリアセンサと制御部とを備え、前記制御部は、前記エリアセンサを制御して、複数の画像を連続して取得するエリア画像取得手段と、前記エリア画像取得手段により取得された前記複数の画像から、画像差分抽出により動作パターンを算出する動作パターン算出手段と、前記動作パターン算出手段により算出された前記動作パターンに基づいて、ページめくり動作を検出する動作検出手段と、前記動作検出手段により前記ページめくり動作が検出された場合に、読み取り開始を判定する読取開始判定手段と、を備える。
また、本発明に係る画像取得方法は、エリアセンサと制御部とを備えたオーバヘッドスキャナ装置の前記制御部で実行される、前記エリアセンサを制御して、複数の画像を連続して取得するエリア画像取得ステップと、前記エリア画像取得ステップにて取得された前記複数の画像から、画像差分抽出により動作パターンを算出する動作パターン算出ステップと、前記動作パターン算出ステップにて算出された前記動作パターンに基づいて、ページめくり動作を検出する動作検出ステップと、前記動作検出ステップにて前記ページめくり動作が検出された場合に、読み取り開始を判定する読取開始判定ステップと、を含む。
また、本発明に係るプログラムは、エリアセンサと制御部とを備えたオーバヘッドスキャナ装置の前記制御部に実行させるための、前記エリアセンサを制御して、複数の画像を連続して取得するエリア画像取得ステップと、前記エリア画像取得ステップにて取得された前記複数の画像から、画像差分抽出により動作パターンを算出する動作パターン算出ステップと、前記動作パターン算出ステップにて算出された前記動作パターンに基づいて、ページめくり動作を検出する動作検出ステップと、前記動作検出ステップにて前記ページめくり動作が検出された場合に、読み取り開始を判定する読取開始判定ステップと、を含む。
また、本発明に係るコンピュータ読み取り可能な記録媒体は、前記に記載の本発明に係るプログラムを記録する。
この発明によれば、誤検出を防止して、精度よく読取開始を検出することができる。
図1は、オーバヘッドスキャナ装置100の一例を示すハードウェア構成図である。 図2は、オーバヘッドスキャナ装置100の記憶部106の一例を示すブロック図である。 図3は、リニア撮像部110とエリア撮像部120を一体化させた装置の外観の一例を示し、主走査方向と副走査方向とモータ12による回転方向との関係を示す図である。 図4は、オーバヘッドスキャナ装置100の制御部102の一例を示す機能ブロック図である。 図5は、リニア撮像部110を側面から見た状態を表し、光源制御部102fの制御によるライン光源140からの光照射の一例を示す図である。 図6は、本実施形態のオーバヘッドスキャナ装置100における基本処理の一例を示すフローチャートである。 図7は、本実施形態のオーバヘッドスキャナ装置100における具体化処理の一例を示すフローチャートである。 図8は、動作パターン監視処理のサブルーチンを示すフローチャートである。 図9は、現フレーム(N)の画像と1フレーム前(N−1)の画像との間において、各画素の階調を比較する方法を模式的に示す図である。 図10は、横18分割、縦6分割したブロック(18×6)について、変化ブロックを模式的に示す図である。 図11は、ページめくり動作が行われた場合に検出される変化ブロックの一例を示す図である。 図12は、横3分割、縦1分割したブロック(3×1)について、変化ブロックを模式的に示す図である。 図13は、横20分割、縦20分割したブロック(20×20)について、変化ブロックを模式的に示す図である。 図14は、両端を細かく、中央部を大きくブロック分割した場合の分割例を示す図である。 図15は、特定ポイントでの動作監視を行い易いようにブロック分割した分割例を示す図である。 図16は、現フレーム(N)の差分画像の変化ブロック判定結果を示す図である。 図17は、次フレーム(N+1)の差分画像の変化ブロック判定結果を示す図である。 図18は、次々フレーム(N+2)の差分画像の変化ブロック判定結果を示す図である。 図19は、誤検出除外処理サブルーチンを示すフローチャートである。 図20は、(1)全ての領域で動作を検出した場合の変化ブロックの検出例を示す図である。 図21は、(2)特定の領域が動かなかった場合の変化ブロックの検出例を示す図である。 図22は、(3)ページめくりでは動かないポイントに動作が検出された場合の変化ブロックの検出例を示す図である。 図23は、手どけ監視処理サブルーチンを示すフローチャートである。 図24は、手が残っている時の抽出画像の例を模式的に示す図である。
以下に、本発明に係るオーバヘッドスキャナ装置、画像取得方法、および、プログラムの実施形態を図面に基づいて詳細に説明する。なお、この実施形態により本発明が限定されるものではない。特に、本実施形態においては、読み取り対象を本などの原稿として説明することがあるが、これに限られず、ステープルで綴じられた媒体や、単票を重ねた束等を読み取り対象としてもよい。
[1.本実施形態の構成]
本実施形態に係るオーバヘッドスキャナ装置100の構成について図1を参照して説明する。図1は、オーバヘッドスキャナ装置100の一例を示すハードウェア構成図である。
図1に示すように、オーバヘッドスキャナ装置100は、リニア撮像部110と、エリア撮像部120と、制御部102とを少なくとも備え、本実施形態において、記憶部106と入出力インターフェース部108と赤外線光源130とライン光源140を更に備える。また、これら各部は任意の通信路を介して通信可能に接続されている。
記憶部106は、各種のデータベースやテーブルやファイルなどを格納する。記憶部106は、ストレージ手段であり、例えばRAM・ROM等のメモリ装置や、ハードディスクのような固定ディスク装置、フレキシブルディスク、光ディスク等を用いることができる。記憶部106には、CPU(Central Processing Unit)に命令を与え各種処理を行うためのコンピュータプログラムが記録されている。ここで、図2は、オーバヘッドスキャナ装置100の記憶部106の一例を示すブロック図である。
図2に示すように、記憶部106は、図示の如く、画像データ一時ファイル106a、加工画像データファイル106b、および、指標物ファイル106cを備える。
このうち、画像データ一時ファイル106aは、リニア撮像部110またはエリア撮像部120で読み取られた画像データを一時的に記憶する。
また、加工画像データファイル106bは、リニア撮像部110で読み取られた画像データから、加工または編集された画像データを記憶する。
また、指標物ファイル106cは、利用者により提示される手や指等の指標物の色や形等を記憶する指標物記憶手段である。ここで、指標物ファイル106cは、利用者ごとに、利用者の手や指の色(肌色)や形等を記憶してもよい。
入出力インターフェース部108は、リニア撮像部110やエリア撮像部120、赤外線光源130、ライン光源140を、制御部102と接続する。ここで、赤外線光源130には、ハロゲン光源を用いることができる。ライン光源140は、LED光源やレーザー光源等を用いることができ、当該光源から読み取り範囲に光を射出する。
また、リニア撮像部110は、上向きに設置された原稿を、リニアセンサ13を用いて上方よりスキャンして原稿の画像を読み取る。ここで、本実施形態において、リニア撮像部110は、図1に示すように、コントローラ11と、モータ12と、リニアセンサ(ラインセンサ)13と、A/Dコンバータ14とを備える。コントローラ11は、入出力インターフェース部108を介した制御部102からの指令に応じて、モータ12、リニアセンサ13、および、A/Dコンバータ14を制御する。リニアセンサ13は、原稿の主走査方向のラインから届く光を、ライン上の画素ごとにアナログ電荷量に光電変換する。そして、A/Dコンバータ14は、リニアセンサ13から出力されたアナログ電荷量をデジタル信号に変換し、一次元の画像データを出力する。モータ12が回転駆動すると、リニアセンサ13の読み取り対象の原稿ラインが副走査方向に移動する。これにより、ラインごとに一次元の画像データがA/Dコンバータ14から出力され、制御部102は、これらを合成することにより二次元の画像データを生成する。ここで、図3は、リニア撮像部110とエリア撮像部120を一体化させた装置の外観の一例を示し、主走査方向と副走査方向とモータ12による回転方向との関係を示す図である。
図3に示すように、原稿を上向きに設置して、上方よりリニア撮像部110にて原稿を撮像する場合、図示の主走査方向のラインの一次元画像データが、リニアセンサ13により読み取られる。そして、モータ12の駆動によりリニアセンサ13が図示の回転方向に回転すると、それに伴って、リニアセンサ13の読み取りラインは、図示の副走査方向に移動する。これにより、二次元の原稿の画像データが、リニア撮像部110によって読み取られることとなる。
再び図1に戻り、エリア撮像部120は、上向きに設置された原稿を、エリアセンサ22を用いて上方よりスキャンして原稿の画像を読み取る。ここで、本実施形態において、エリア撮像部120は、図1に示すように、コントローラ21と、エリアセンサ22と、A/Dコンバータ23とを備える。コントローラ21は、入出力インターフェース部108を介した制御部102からの指令に応じて、エリアセンサ22、および、A/Dコンバータ23を制御する。エリアセンサ22は、原稿平面(図3に図示した主走査方向と副走査方向の2次元平面)から届く光を、画素ごとにアナログ電荷量に光電変換する。そして、A/Dコンバータ23は、エリアセンサ22から出力されたアナログ電荷量をデジタル信号に変換し、二次元の画像データを出力する。これにより、二次元の画像データがA/Dコンバータ23から出力される。なお、本実施形態において、エリアセンサ22に比べて、リニアセンサ13は、1ラインの画素数を多く読み取れるので、エリア撮像部120により読み取られる画像よりも、リニア撮像部110により読み取られる画像の方が高精細(高画質)である。なお、以下、両者を区別するために、エリア撮像部120により読み取られる画像を「エリア画像」と呼び、リニア撮像部110により読み取られる画像を「リニア画像」と呼ぶ場合がある。
制御部102は、オーバヘッドスキャナ装置100を統括的に制御するCPU等からなる。制御部102は、制御プログラムと各種の処理手順等を規定したプログラムと所要データとを格納するための内部メモリを有し、これらプログラムに基づいて種々の処理を実行するための情報処理を行う。ここで、図4は、オーバヘッドスキャナ装置100の制御部102の一例を示す機能ブロック図である。
図4に示すように、制御部102は、図示の如く、大別して、エリア画像取得部102aと、動作パターン算出部102bと、動作検出部102cと、読取開始判定部102dと、リニア画像取得部102eと、光源制御部102fを備える。
エリア画像取得部102aは、エリア撮像部120を制御して、複数のエリア画像を連続して取得する。例えば、エリア画像取得部102aは、上述のように、エリア撮像部120のコントローラ21を制御して、エリアセンサ22により光電変換されA/Dコンバータ23によりアナログデジタル変換された画像データを取得して画像データ一時ファイル(バッファ)106aに格納する処理を繰り返す。すなわち、エリア画像取得部102aは、エリアセンサ22でモーション撮影を行って連続画像(動画像)を取得することにより、原稿のページめくりや利用者の手の動き等を監視(モニタリング)する機能を有する。なお、エリア画像取得部102aは、本実施の形態において、赤外線光源130の赤外線照射により、赤外線の画像を取得することができる。
動作パターン算出部102bは、エリア画像取得部102aにより取得された複数の画像から、画像差分抽出により動作パターンを算出する。具体的には、動作パターン算出部102bは、エリア画像取得部102aにより画像データ一時ファイル106aに格納された複数のエリア画像の画像データに基づいて画像差分抽出を行う。例えば、動作パターン算出部102bは、エリア画像取得部102aにより取得され画像データ一時ファイル106aに格納された前回(時刻t−1)のエリア画像と、新たに取得された今回(時刻t)のエリア画像との間で、差異がある領域を抽出する。ここで、動作パターン算出部102bは、公知の画像差分抽出法により動作パターンを算出してもよい。ここで、動作パターン算出部102bは、画像領域を所定のブロックに分割して、動作パターンを算出してもよい。なお、動作パターン算出部102bは、画像領域を任意の数のブロックに分割し、1ブロック内で変化画素数が所定以上あった場合に、変化したブロックとして評価してもよい。また、動作パターン算出部102bは、画像領域を任意の数のブロックに分割してもよく、例えば、ページめくり動作の初動部分に対応する画像領域ほど細かいブロックに分割してもよい。なお、本実施の形態における画像差分抽出方法については、図面を用いて詳細に後述する。
動作検出部102cは、動作パターン算出部102bにより算出された動作パターンに基づいて、ページめくり動作を検出する。ここで、動作検出部102cは、ページめくり動作以外の誤検出パターンを振り分けて検出除外してもよい。一例として、動作検出部102cは、(1)全ての領域で動作を検出した場合、(2)特定の領域が動かなかった場合、および、(3)ページめくりでは動かないポイントに動作が検出された場合、の(1)〜(3)のうち、少なくともいずれか一つの場合に、誤検出パターンとして除外してもよい。
また、動作検出部102cは、ページめくり動作の初動部分に対応する画像領域ほど細かいブロックに分割して、当該ページめくり動作の初動部分に対応するブロックが変化した場合に、ページめくり動作を判定してもよい。
読取開始判定部102dは、動作検出部102cによりページめくり動作が検出された場合に、読み取り開始を判定する。ここで、読取開始判定部102dは、動作パターン算出部102bの画像差分抽出により算出される動作パターンに基づく動作が停止したことを必要条件として、読取開始を判定してもよい。ここで、読取開始判定部102dは、節電のためにリニアセンサ13の電源管理を行ってもよく、例えば、リニアセンサ13による読み取り開始を判定した場合にリニアセンサ13の回路を起動させ、読み取り開始を判定していない場合にリニアセンサ13の回路を停止させてもよい。
リニア画像取得部102eは、読取開始判定部102dにより読み取り開始が判定された場合に、リニア撮像部110を制御して、リニアセンサ13によるリニア画像を取得する。例えば、リニア画像取得部102eは、上述のように、リニア撮像部110のコントローラ11を制御して、モータ12を回転駆動させ、リニアセンサ13により光電変換されA/Dコンバータ14によりアナログデジタル変換されたラインごとの一次元画像データを合成することにより、二次元の画像データ(リニア画像の画像データ)を生成し、画像データ一時ファイル106aに格納する。
光源制御部102fは、赤外線光源130を制御して、リニアセンサ13の制御可能状態を示す光を発光させ、または、ライン光源140を制御して、リニアセンサ13の読み取り範囲を示す光を発光させる。ここで、図5は、リニア撮像部110を側面から見た状態を表し、光源制御部102fの制御によるライン光源140からの光照射の一例を示す図である。図5に示すように、光源制御部102fは、モータ12を駆動させることにより、ライン光源140を回転方向に回転させ、ライン光源140からの主走査方向のライン光を、読み取り範囲を限度として副走査方向に移動させることで、利用者に読み取り範囲を通知してもよい。
[2.本実施形態の処理]
上述した構成のオーバヘッドスキャナ装置100で実行される処理の一例について、図6〜図24を参照して説明する。
[2−1.基本処理]
本実施形態のオーバヘッドスキャナ装置100における基本処理の一例について図6を参照して説明する。図6は、本実施形態のオーバヘッドスキャナ装置100における基本処理の一例を示すフローチャートである。
図6に示すように、まず、エリア画像取得部102aは、エリア撮像部120を制御して、複数のエリア画像を連続して取得する(ステップSA−1)。例えば、エリア画像取得部102aは、エリア撮像部120のコントローラ21を制御して、エリアセンサ22により光電変換されA/Dコンバータ23によりアナログデジタル変換されたエリア画像の画像データを取得して画像データ一時ファイル106aに格納することを連続的に行う。なお、エリア画像取得部102aは、赤外線照射による赤外線画像を取得してもよい。これにより、原稿のページめくり動作や利用者の手の動き等を正確にモニタリングすることができる。
そして、動作パターン算出部102bは、エリア画像取得部102aにより取得された複数の画像から、画像差分抽出により動作パターンを算出する(ステップSA−2)。具体的には、動作パターン算出部102bは、エリア画像取得部102aにより画像データ一時ファイル106aに格納された複数のエリア画像の画像データに基づいて画像差分抽出を行う。例えば、動作パターン算出部102bは、エリア画像取得部102aにより取得され画像データ一時ファイル106aに格納された前回(時刻t−1)のエリア画像と、新たに取得された今回(時刻t)のエリア画像との間で、各画素の階調差分を抽出する。ここで、動作パターン算出部102bは、画素単位の階調差分ではなく、画像領域を所定のブロックに分割したブロック単位の階調差分を求めることにより、動作パターンを算出してもよい。なお、動作パターン算出部102bは、1ブロック内で変化画素数が所定以上あった場合に変化したブロックとして評価してもよく、1ブロック内における差分階調値が所定以上の場合に変化したブロックとして評価してもよい。なお、動作パターン算出部102bは、画像領域を任意の数や任意の形状のブロックに分割してもよく、例えば、ページめくり動作の初動部分に対応する画像領域ほど細かいブロックに分割してもよい。また、差分を求める2枚の画像の取得時間間隔は、任意に設定可能である。
そして、動作検出部102cは、動作パターン算出部102bにより算出された動作パターンに基づいて、ページめくり動作を検出する(ステップSA−3)。例えば、動作検出部102cは、変化ブロックが左から右へ遷移した場合に、ページめくり動作を検出してもよい。また、動作検出部102cは、ページめくり動作の初動部分に対応するブロックが変化した場合に、ページめくり動作を判定してもよい。ここで、動作検出部102cは、ページめくり動作以外の誤検出パターンを振り分けて検出除外してもよい。一例として、動作検出部102cは、(1)全ての領域で動作を検出した場合、(2)特定の領域が動かなかった場合、および、(3)ページめくりでは動かないポイントに動作が検出された場合、の(1)〜(3)のうち、少なくともいずれか一つの場合に、誤検出パターンとして除外してもよい。
そして、動作検出部102cによりページめくり動作が検出されなかった場合は(ステップSA−4,No)、読取開始判定部102dは、ステップSA−1に処理を戻し、原稿のページめくり動作や利用者の手の動き等の監視を継続する。
一方、動作検出部102cによりページめくり動作が検出された場合(ステップSA−4,Yes)、読取開始判定部102dは、リニアセンサ13による読み取り開始を判定し、リニア画像取得部102eは、リニア撮像部110を制御して、リニアセンサ13によるリニア画像を取得する(ステップSA−5)。ここで、読取開始判定部102dは、動作パターン算出部102bの画像差分抽出により算出される動作パターンに基づく動作が停止したことを必要条件として、読取開始を判定してもよい。すなわち、読取開始判定部102dは、ページめくり動作が判定されても、ページめくり動作が終了するまで、または、利用者の手の動きが停止するまで、読取開始を待機してもよい。なお、読取開始が判定されると、リニア画像取得部102eは、リニア撮像部110を制御して、リニアセンサ13によるリニア画像を取得する。例えば、リニア画像取得部102eは、リニア撮像部110のコントローラ11を制御して、モータ12を回転駆動させ、リニアセンサ13により光電変換されA/Dコンバータ14によりアナログデジタル変換されたラインごとの一次元画像データを合成することにより、二次元の画像データを生成し、画像データ一時ファイル106aに格納する。なお、以上の処理が終了した場合、新たなページめくり動作に対応するために、制御部102は、ステップSA−1に処理を戻し、上述したステップSA−1〜ステップSA−4の処理を繰り返し、原稿のページめくりや利用者の手の動き等を継続して監視してもよい。
以上が、本実施形態のオーバヘッドスキャナ装置100における基本処理の一例である。
[2−2.具体化処理]
つづいて、上述した基本処理において、更に、誤検出除外処理や手どけ監視処理、画像補正処理等を更に含む具体化処理の一例について図7〜図24を参照して説明する。図7は、本実施形態のオーバヘッドスキャナ装置100における具体化処理の一例を示すフローチャートである。
図7に示すように、まず、オーバヘッドスキャナ装置100の制御部102は、エリア撮像部120を制御して、動作パターン監視処理を行う(ステップSB−1)。ここで、図8は、動作パターン監視処理のサブルーチンを示すフローチャートである。
図8に示すように、エリア画像取得部102aは、エリア撮像部120を制御して、赤外線画像の画像データを取得する(ステップSC−1)。
そして、動作パターン算出部102bは、取得されたエリア画像(N)と1フレーム前の画像(N−1)を比較し、各画素の階調差分を抽出する(ステップSC−2)。ここで、図9は、現フレーム(N)の画像と1フレーム前(N−1)の画像との間において、各画素の階調を比較する方法を模式的に示す図である。
図9に示すように、動作パターン算出部102bは、現フレーム(N)の画像と1フレーム前(N−1)の画像との間において、同一座標にある画素(例えば、図示の破線矩形のAとA´)の階調値を比較する。そして、動作パターン算出部102bは、注目画素Aと1フレーム前の注目画素A’について階調比較を行い、階調差分|A−A’|が一定以上なら画素が変化したと判定して、画素Aにマーカを付ける。この処理を、エリア画像取得部102aは、画素B以降の画素についても同様に繰り返し行って、最終的にマーカが付いた部分が、抽出された差分となる。
再び図8に戻り、動作パターン算出部102bは、抽出した差分画像をブロック分割し、変化したブロックである変化ブロック画像(N´)を抽出する(ステップSC−3)。例えば、動作パターン算出部102bは、エリア画像の縦横を、それぞれ1〜20分割して、1ブロック内の変化画素数がどれだけ存在するかを評価してもよい。ここで、図10は、横18分割、縦6分割したブロック(18×6)について、変化ブロックを模式的に示す図である。
図10に示すように、動作パターン算出部102bは、分割した1ブロック内において、ステップSC−2にて求めた変化画素数(マーカのついた画素の数)が一定以上ある場合に、変化ブロックとしてマークする。図示の例では、左上の3つのブロックにおいて、変化画素数が一定以上あったことにより、変化ブロックとしてマーク(黒い矩形)が付与されている。ここで、図11は、ページめくり動作が行われた場合に検出される変化ブロックの一例を示す図である。なお、図11では、変化ブロックのマークを網掛けにて図示している。
図11に示すように、ページめくり動作が行われた場合、エリア画像上で、動いたページの縁やページ内の文字等が、階調値の変化として表れるので、動作パターン算出部102bは、変化画素数が一定以上あるブロックを変化ブロックとして検出することができる。これにより、ページの端の動きや文字などのコンテンツの動きを、画像差分として捉えることができる。なお、分割するブロックの数や形状は、以下に示すとおり任意に設定可能である。ここで、図12は、横3分割、縦1分割したブロック(3×1)について、変化ブロックを模式的に示す図である。
図12に示すように、動作パターン算出部102bは、分割した1ブロック内において、ステップSC−2にて求めた変化画素数が一定以上ある場合に、変化ブロックとしてマークする。図示の例では、左の1つのブロックにおいて、変化画素数が一定以上あったことにより、変化ブロックとしてマーク(黒い矩形)が付与されている。一例として、後述する動作検出部102cは、当該変化ブロックが右ブロック→中央ブロック→左ブロックと遷移した場合に、右から左方向へページめくり動作が行われたと判定してもよい。同様に、動作検出部102cは、当該変化ブロックが左ブロック→中央ブロック→右ブロックと遷移した場合に、左から右方向へページめくり動作が行われたと判定してもよい。このように、3ブロックあれば、最低限の本をめくる動きのパターンを検出することができる。ここで、分割するブロック数の他の例として、図13は、横20分割、縦20分割したブロック(20×20)について、変化ブロックを模式的に示す図である。
図13に示すように、動作パターン算出部102bは、分割した1ブロック内において、ステップSC−2にて求めた変化画素数が一定以上ある場合に、変化ブロックとしてマークする。図示の例では、中央より左寄りのブロック群と、左上のブロック群において、ブロック内の変化画素数が一定以上あったことにより、変化ブロックとしてマークされている。このように、細かくブロック分割を行うことにより、エリア画像領域全体の変化をより細かく評価することが可能となる。すなわち、本などのコンテンツの小さな階調の変化を捉えることができ、マッチングによる誤検出除外の精度を向上させることができる。一方で、図12に示したように分割を荒くすればするほど処理は軽くなるが、大まかな変化しか捉えられなくなるため、誤検出の可能性が高くなる。それゆえ、ブロック分割方法(ブロック分割の密度等)は、処理速度と検出精度とのトレードオフにより決定することが可能である。なお、分割するブロック数を最大にすれば、エリア画像の画素数と一致することになるので、本実施の形態において、ブロック分割を行う場合の処理の説明は、ブロック分割を行わない場合の処理にも適用することができる。
つづいて、分割するブロックの数の分布や形状にかかる他の実施の形態を以下に示す。ここで、図14は、両端を細かく、中央部を大きくブロック分割した場合の分割例を示す図である。
図14に示すように、エリア画像領域内で、両端のブロック分割数を多く設定することで、ページを掴む手の動きやページの端の動きなどのように、ページめくり動作の特徴の出やすい初動部分の変化情報を多く検出できるように、両端のブロック数を増やしてもよい。一方で、図14の図中央付近のように、ページが通過する動きだけを検出すればよい(すなわち変化情報が少なくてもよい)中央部分のブロック分割数を減らすことで、処理速度と検出精度の両立が可能である。ここで、図15は、特定ポイントでの動作監視を行い易いようにブロック分割した分割例を示す図である。
図15に示すように、図中の<1>〜<5>に示す監視ポイントを設定して、動作パターン算出部102bが変化ブロックを検出することにより、動作検出部102cが、<1>→→<2>→<3>→<4>→<5>の順で、変化ブロックの遷移を検知したら、ページめくり動作を検出してもよい。このように監視ポイントを設定することで、エリア画像領域内で特定の手の動き(ジェスチャー)や手の移動があった場合に、スキャン開始を実行させることができる。
再び図8に戻り、動作検出部102cは、上述したステップSC−3にて検出された変化ブロックに基づいて、ページめくり動作か否かを判定する(ステップSC−4)。より具体的には、動作検出部102cは、連続したフレーム間で変化ブロックの遷移を評価し、特定の動作移動パターンとマッチングしているか判定する。ここで、ページめくり動作の検出対象となる動作パターンの移り変わりの例(遷移例)を、図16〜図18を参照して説明する。図16は、現フレーム(N)の差分画像の変化ブロック判定結果を示す図であり、図17は、次フレーム(N+1)の差分画像の変化ブロック判定結果を示す図であり、図18は、次々フレーム(N+2)の差分画像の変化ブロック判定結果を示す図である。図において、黒い矩形でマークされた箇所が、変化ブロックである。
図示の例のごとく、ブロック分割された画像について、Leftエリア、Centerエリア、Rightエリアが設定されている場合、動作検出部102cは、連続したブロック画像の動作移動パターン(すなわち変化ブロックの遷移パターン)が、ページめくり動作に該当する特定の動作パターンであるか否かを判定する。例えば、図16〜図18に示すように、動作検出部102cは、変化ブロックが、Leftエリア→Centerエリア→Rightエリアの順で遷移した場合、左から右方向のページめくり動作が行われたと判定してもよい。図示しないが、同様に、動作検出部102cは、Rightエリア→Centerエリア→Leftエリアの順に変化ブロックが遷移した場合に、右から左方向のページめくり動作が行われたと判定してもよい。この動作検出処理を行うことによって、ページめくり動作の最大の特徴である「(1)ページを掴む(端の動きの検出)、(2)ページをめくる(画像中央をまたぐ動きの検出)、(3)ページを離す(反対端の動きの検出)」という一連の動きの流れを検出することができる。
再び図8に戻り、動作検出部102cは、ページめくり動作と判定しなかった場合(ステップSC−4,No)はステップSC−1に処理を戻し、上述したステップSC−1〜SC−4の処理を繰返す。
一方、動作検出部102cによりページめくり動作が検出された場合(ステップSC−4,Yes)、読取開始判定部102dは、読取開始を停止する条件が成立していなければ、読取開始を判定し、リニア画像取得部102eは、リニア画像を取得する(ステップSC−5)。
ここで、動作検出部102cによりページめくり動作に該当するような特定の動作パターンであると判定されたとしても、別の動作が偶然、同じ動きとして判定されたという可能性も考えられる。そこで、動作検出部102cは、ページめくり動作以外の誤検出パターンを振り分ける検出除外のために、追加で、誤検出パターンとのマッチング処理(図7のステップSB−2)を行ってもよい。
すなわち、動作検出部102cは、ページめくり動作のパターン検出の前後に特定の除外対象となる誤検出パターンを検出していないかを評価し、誤検出パターンと判定した場合は、読み取り開始トリガが発行されないように検出除外する。ここで、図19は、誤検出除外処理サブルーチンを示すフローチャートである。
図19に示すように、動作検出部102cは、ページめくり動作を検出すると(ステップSD−1)、ページめくり動作が検出された現フレーム(N)と次フレーム(N+1)の前後mフレーム(N−m〜N+m)にわたって、誤検出パターンとなる特定のパターンがないかどうかを判定する(ステップSD−2)。そして、動作検出部102cは、誤検出パターンと判定すると(ステップSD−2,No)、ステップSD−1に処理を戻し、新たなページめくり動作を監視する。一方、動作検出部102cは、誤検出パターンではないと判定した場合(ステップSD−2,Yes)、読取開始判定部102dは、読取開始トリガを発行し(ステップSD−3)、リニア画像取得部102eは、スキャン画像を取得する(ステップSD−4)。
ここで、誤検出の例として、動作検出部102cは、(1)全ての領域で動作を検出した場合、(2)特定の領域が動かなかった場合、および、(3)ページめくりでは動かないポイントに動作が検出された場合、の(1)〜(3)のうち、少なくともいずれか一つの場合に、誤検出パターンとして検出除外してもよい。ここで、図20は、(1)全ての領域で動作を検出した場合の変化ブロックの検出例を示す図である。
図20に示すように、全てにおいて同時に動きを検出した場合、本全体をエリアセンサ内で移動させたものと考えられるので、動作検出部102cは、Leftエリア、Centerエリア、Rightエリアの全てにおいて変化ブロックが検出されると、誤検出パターンとして検出し、読取開始されないように検出除外する。ここで、図21は、(2)特定の領域が動かなかった場合の変化ブロックの検出例を示す図である。
本をめくった場合、本の中心の領域をページが通過するため、必ず動くはずであるが、ページめくり動作で動くべき特定の領域が動かなかった場合、ページではなく手などの動きであると考えられる。そこで、図21に示すように、動作検出部102cは、Centerエリアの一部分しか動かず特定の領域MA−1が動かなかった場合、誤検出パターンと判定して、検出除外する。ここで、図22は、(3)ページめくりでは動かないポイントに動作が検出された場合の変化ブロックの検出例を示す図である。
図22に示すように、本をめくっただけの場合、領域MA−2は、本の設置領域からは離れているため、本来なら動作検知はしないはずである。この場合はページではなく手などの動きであると考えられる。したがって、目的のコンテンツの動きとは関係ない領域が動いた結果、検出された誤検出である可能性が高い。そこで、読み取りを開始しない。動作検出部102cは、特定の領域MA−2が動いた場合、誤検出パターンと判定して、検出除外する。このような特定のポイントを作ることで動作の分類を行ってもよい。
再び図7に戻り、オーバヘッドスキャナ装置100は、ページめくり動作の検出処理SB−1と、誤検出除外処理SB−2を行ったのち、スキャン画像の取得処理SB−4を実行する前に、手どけ監視処理SB−3を行ってもよい。すなわち、読取開始判定部102dは、画像差分抽出により算出される動作パターンに基づく動作が停止したことを必要条件として、読取開始を判定してもよい。ここで、図23は、手どけ監視処理サブルーチンを示すフローチャートである。
図23に示すように、上述したページめくり動作の検出が誤検出として除外されず読取開始トリガが発行されると(ステップSE−1)、読取開始判定部102dは、動作パターン算出部102bにより算出される現フレーム(N)の画像と1つ前のフレーム(N−1)の画像において、差分画像に変化がないかどうかを判定する(ステップSE−2)。差分画像に変化がある場合は(ステップSE−2,No)、処理をステップSE−1に戻し、読取開始を停止する。一方、差分画像に変化がない場合(ステップSE−2,Yes)、読取開始判定部102dは、読取開始を判定し、リニア画像取得部102eは、スキャン画像を取得する(ステップSE−3)。ここで、図24は、手が残っている時の抽出画像の例を模式的に示す図である。
本をめくった後、手を領域外に退かす動作が完了するまで、または本を押さえて固定する動作が完了するまでは、読取開始を行わない方がよい。そのため、図24に示すように、変化ブロックが検出され続けている間は、読取開始判定部102dは、読取開始処理を停止して、読取開始を待つ。そして、手どけや本の固定による画像内に変化が見られなくなって、指定秒経過してから、読取開始判定部102dは、読取り開始を判定してもよい。
再び図7に戻り、リニア画像取得部102eは、読取開始判定部102dにより発行された読み取り開始のトリガに従って、リニア撮像部110を制御して、リニアセンサ13によるリニア画像の画像データを取得する(ステップSB−4)。
そして、オーバヘッドスキャナ装置100の制御部102は、画像補正処理を行う(ステップSB−5)。例えば、制御部102は、リニア画像取得部102eにより取得されたリニア画像を、ページの境界に沿って分割して画像を分割し、ページを開いた紙がたわむ歪みがなくなるように補正してもよい。また、制御部102は、指標物ファイル106cに記憶された利用者の手の色(肌色)に基づいて、公知のパターン認識アルゴリズム等により画像から肌色の部分領域を検出して白色等に補正してもよい。
そして、オーバヘッドスキャナ装置100の制御部102は、補正後の画像の画像データを、加工画像データファイル106bに保存し、処理を終える。
以上が、本実施形態のオーバヘッドスキャナ装置100における具体化処理の一例である。なお、上述した具体化処理においては、左右見開き2ページの画像が読み取られる場合の1回の処理の流れについて説明したが、上述したステップSB−1〜ステップSB−5の処理を繰り返し行うことにより、他の見開きページについても自動的に続けて読み込むことができる。
[3.本実施形態のまとめ、及び他の実施形態]
以上、本実施形態によれば、オーバヘッドスキャナ装置100は、エリア撮像部120を制御して、エリア画像を連続して取得し、複数のエリア画像から、画像差分抽出により動作パターンを算出し、算出された動作パターンに基づいてページめくり動作を検出し、ページめくり動作が検出された場合に、リニアセンサ13による読み取り開始を判定する。これにより、誤検出を防止して、精度よく読取開始を検出することができる。
より具体的には、従来の特徴点の速度ベクトルにてページめくり動作を判定する方式では、特徴点の移動量が大きくなる中央付近でしかベクトルを検出できず、細かい分類処理は不可能だった。本実施の形態によれば、遅い動きの特徴点移動を関連性のある速度ベクトルとして認識できない場合であっても、画像差分抽出により、ゆっくりとした動作も検出することができる。
また、エリアセンサ範囲に極端に白いコンテンツが置かれた場合は特徴点が弱くなり、例えばA6サイズなどの小さいコンテンツが置かれた場合、特徴点の数が少なくなり、従来、特徴点による速度ベクトルが算出しにくく、検出が正確に行われていなかった。本実施の形態によれば、白いコンテンツや小さいコンテンツなどの特徴点が弱い又は少ないコンテンツにおいても、画像の差分を抽出することにより、従来検出できなかった影の動きや細かな動きを検出することができ、コンテンツに依存しない動体検知が可能になった。
また、コンテンツのエッジがくっきり見えていないと、従来、特徴点の検出が上手くいかないため、エリアセンサにある程度の解像度が必要となり、高価で精度の高いセンサを使用しなければならなかった。本実施の形態によれば、エリアセンサの解像度を落としても、差分さえ取得できれば動きを検出できるため、より安価なセンサで構成できる。
また、従来例では、速度ベクトルが強い動きや位置が限られるため、動作検出判定条件の絞り込みや誤検出の改善に限界があった。例えば、ページめくり検出が可能なベクトルが、ページの位置が60°〜120°時の、強いベクトルに限られる場合が多かった。本実施の形態によれば、ページめくりの初動と終動には、必ず画面の端にまとまった画像差分による動作検出が見られるので、ページの位置が60°〜120°以外の場合でも、ページめくりを正確に検出することができる。
また、投光パターンを投下する従来例では、平面以外の領域で初めから投光パターンが凸凹してしまい、上手く動作しない場合があったが、本実施の形態では検出領域の凸凹は関係なく動作可能となる。また、反射した投光パターンの動きの推移だけでは見分けられなかった領域内の手の動きや本媒体の移動など、特殊なパターンを見分けることが可能である。また、厚みのない媒体や平面以外の領域での動作も、ページの動きの推移を検出することで、ページめくり動作の検出が可能になる。
また、本実施形態によれば、オーバヘッドスキャナ装置100は、エリア画像取得部102aにより、赤外線照射による赤外線の画像を取得する。投光パターンを使用する従来例と異なり、本実施の形態では赤外線を検出領域内に照射するので、領域内の動きと物体移動の推移を鮮明に捉えることができる。
また、本実施形態によれば、オーバヘッドスキャナ装置100は、動作検出部102cにより、ページめくり動作以外の誤検出パターンを振り分けて検出除外するので、ページめくり動作に偶然該当するような動作パターンを検出してしまった場合であっても、誤検出となる動作パターンを除外することにより、正確なページめくり動作の判定処理を改善することができる。
また、本実施形態によれば、オーバヘッドスキャナ装置100は、読取開始判定部102dにより、画像差分抽出により算出される動作パターンに基づく動作が停止したことを必要条件として、読取開始を判定するので、ページが動いている場合や手が動いている場合は読取開始を待って、静止した物体の鮮明な画像を取得することができる。
また、本実施形態によれば、オーバヘッドスキャナ装置100は、動作パターン算出部102bにより、画像領域を所定のブロックに分割して、動作パターンを算出するので、ブロック単位で変化を判定することにより、処理速度を向上させることができる。
また、本実施形態によれば、オーバヘッドスキャナ装置100は、動作パターン算出部102bにより、画像領域を任意の数のブロックに分割し、1ブロック内で変化画素数が所定以上あった場合に、変化したブロックとして評価するので、変化画素数の数に基づく処理の高速化を実現することができる。
また、本実施形態によれば、オーバヘッドスキャナ装置100は、動作パターン算出部102bにより、ページめくり動作の初動部分に対応する画像領域ほど細かいブロックに分割する。これにより、ページ両端のブロック分割数を多く設定することで、ページを掴む手の動きやページの端の動きなどのように、ページめくり動作の特徴の出やすい初動部分の変化情報を多く検出することができる。
また、本実施形態によれば、オーバヘッドスキャナ装置100は、動作検出部102cにより、(1)全ての領域で動作を検出した場合、(2)特定の領域が動かなかった場合、および、(3)ページめくりでは動かないポイントに動作が検出された場合、のうち、少なくともいずれか一つの場合に、誤検出パターンとして除外する。これにより、(1)エリアセンサの全領域で同時に動作検出がされた場合、ページめくりの動作パターンとは異なり、環境光の変化やコンテンツ自体を動かした可能性が考えられるため、誤検出を除外することができる。また、(2)ページめくりで本来動くべき場所に変化が見られない場合に、ページめくりを伴わない単なる手などの動作と考えられるので、誤検出を除外することができる。また、(3)ボタンを押す時は、ページめくり動作時とは異なる特定のエリア内に動きが現れるため、たとえその前後でページめくりに近い動作パターンが検出されたとしても、誤検出を除外することができる。
さらに、本発明は、上述した実施形態以外にも、特許請求の範囲に記載した技術的思想の範囲内において種々の異なる実施形態にて実施されてよいものである。例えば、赤外線光源130は、赤外領域以外の波長領域の光を出力してもよく、エリアセンサ22は、赤外領域以外の波長領域の光を検出してもよい。また、オーバヘッドスキャナ装置100がスタンドアローンの形態で処理を行う場合を一例に説明したが、オーバヘッドスキャナ装置100とは別筐体のクライアント端末からの要求に応じて処理を行い、その処理結果を当該クライアント端末に返却するようにしてもよい。また、実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。このほか、上記文献中や図面中で示した処理手順、制御手順、具体的名称、各処理の登録データを含む情報、画面例、データベース構成については、特記する場合を除いて任意に変更することができる。
また、オーバヘッドスキャナ装置100に関して、図示の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。例えば、オーバヘッドスキャナ装置100の各装置が備える処理機能、特に制御部102にて行われる各処理機能については、その全部または任意の一部を、CPU(Central Processing Unit)および当該CPUにて解釈実行されるプログラムにて実現してもよく、また、ワイヤードロジックによるハードウェアとして実現してもよい。尚、プログラムは、後述する記録媒体に記録されており、必要に応じてオーバヘッドスキャナ装置100に機械的に読み取られる。すなわち、ROMまたはHDDなどの記憶部106などには、各種処理を行うためのコンピュータプログラムが記録されている。このコンピュータプログラムは、RAMにロードされることによって実行され、CPUと協働して制御部を構成する。また、このコンピュータプログラムは、オーバヘッドスキャナ装置100に対して任意のネットワークを介して接続されたアプリケーションプログラムサーバに記憶されていてもよく、必要に応じてその全部または一部をダウンロードすることも可能である。
また、本発明に係るプログラムを、コンピュータ読み取り可能な記録媒体に格納してもよく、また、プログラム製品として構成することもできる。ここで、この「記録媒体」とは、メモリーカード、USBメモリ、SDカード、フレキシブルディスク、光磁気ディスク、ROM、EPROM、EEPROM(登録商標)、CD−ROM、MO、DVD、および、Blu−ray(登録商標) Disc等の任意の「可搬用の物理媒体」を含むものとする。また、「プログラム」とは、任意の言語や記述方法にて記述されたデータ処理方法であり、ソースコードやバイナリコード等の形式を問わない。なお、「プログラム」は必ずしも単一的に構成されるものに限られず、複数のモジュールやライブラリとして分散構成されるものや、OS(Operating System)に代表される別個のプログラムと協働してその機能を達成するものをも含む。なお、実施形態に示した各装置において記録媒体を読み取るための具体的な構成、読み取り手順、あるいは、読み取り後のインストール手順等については、周知の構成や手順を用いることができる。
記憶部106に格納される各種のデータベース等(画像データ一時ファイル106a、加工画像データファイル106b、および指標物ファイル106c)は、RAM、ROM等のメモリ装置、ハードディスク等の固定ディスク装置、フレキシブルディスク、および、光ディスク等のストレージ手段であり、各種処理に用いる各種のプログラム、テーブル、および、データベース等を格納する。
また、オーバヘッドスキャナ装置100は、既知のパーソナルコンピュータ、ワークステーション等の情報処理装置として構成してもよく、また、該情報処理装置に任意の周辺装置を接続して構成してもよい。また、オーバヘッドスキャナ装置100は、該情報処理装置に本発明の方法を実現させるソフトウェア(プログラム、データ等を含む)を実装することにより実現してもよい。更に、装置の分散・統合の具体的形態は図示するものに限られず、その全部または一部を、各種の付加等に応じて、または、機能負荷に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。すなわち、上述した実施形態を任意に組み合わせて実施してもよく、実施形態を選択的に実施してもよい。
以上のように、本発明に係るオーバヘッドスキャナ装置、画像取得方法、および、プログラムは、産業上の多くの分野、特にスキャナで読み取った画像を扱う画像処理分野で実施することができ、極めて有用である。
100 オーバヘッドスキャナ装置
102 制御部
102a エリア画像取得部
102b 動作パターン算出部
102c 動作検出部
102d 読取開始判定部
102e リニア画像取得部
102f 光源制御部
106 記憶部
106a 画像データ一時ファイル
106b 加工画像データファイル
106c 指標物ファイル
108 入出力インターフェース部
110 リニア撮像部
11 コントローラ
12 モータ
13 リニアセンサ
14 A/Dコンバータ
120 エリア撮像部
21 コントローラ
22 エリアセンサ
23 A/Dコンバータ
130 赤外線光源
140 ライン光源

Claims (8)

  1. エリアセンサと制御部とを備え、
    前記制御部は、
    前記エリアセンサを制御して、複数の画像を連続して取得するエリア画像取得手段と、
    前記エリア画像取得手段により取得された前記複数の画像から、画像差分抽出により動作パターンを算出する動作パターン算出手段と、
    前記動作パターン算出手段により算出された前記動作パターンに基づいて、ページめくり動作を検出し、且つ、前記ページめくり動作以外の誤検出パターンを振り分けて検出除外する動作検出手段と、
    前記動作検出手段により前記ページめくり動作と、前記画像差分抽出により算出される前記動作パターンに基づく動作の停止と、が検出された場合に、読み取り開始を判定する読取開始判定手段と、
    を備えたことを特徴とするオーバヘッドスキャナ装置。
  2. 請求項1に記載のオーバヘッドスキャナ装置において、
    前記エリア画像取得手段は、
    赤外線照射による赤外線の画像を取得することを特徴とするオーバヘッドスキャナ装置。
  3. 請求項1または2に記載のオーバヘッドスキャナ装置において、
    前記動作パターン算出手段は、
    画像領域を所定のブロックに分割して、前記動作パターンを算出することを特徴とするオーバヘッドスキャナ装置。
  4. 請求項3に記載のオーバヘッドスキャナ装置において、
    前記動作パターン算出手段は、
    前記画像領域を任意の数のブロックに分割し、1ブロック内で変化画素数が所定以上あった場合に、変化したブロックとして評価することを特徴とするオーバヘッドスキャナ装置。
  5. 請求項3またはに記載のオーバヘッドスキャナ装置において、
    前記動作パターン算出手段は、
    前記ページめくり動作の初動部分に対応する画像領域ほど細かいブロックに分割することを特徴とするオーバヘッドスキャナ装置。
  6. 請求項に記載のオーバヘッドスキャナ装置において、
    前記動作検出手段は、
    全ての領域で動作を検出した場合、
    特定の領域が動かなかった場合、および
    ページめくりでは動かないポイントに動作が検出された場合、のうち、
    少なくともいずれか一つの場合に、前記誤検出パターンとして除外することを特徴とするオーバヘッドスキャナ装置。
  7. エリアセンサと制御部とを備えたオーバヘッドスキャナ装置の前記制御部で実行される、
    前記エリアセンサを制御して、複数の画像を連続して取得するエリア画像取得ステップと、
    前記エリア画像取得ステップにて取得された前記複数の画像から、画像差分抽出により動作パターンを算出する動作パターン算出ステップと、
    前記動作パターン算出ステップにて算出された前記動作パターンに基づいて、ページめくり動作を検出し、且つ、前記ページめくり動作以外の誤検出パターンを振り分けて検出除外する動作検出ステップと、
    前記動作検出ステップにて前記ページめくり動作と、前記画像差分抽出により算出される前記動作パターンに基づく動作の停止と、が検出された場合に、読み取り開始を判定する読取開始判定ステップと、
    を含むことを特徴とする画像取得方法。
  8. エリアセンサと制御部とを備えたオーバヘッドスキャナ装置の前記制御部に実行させるための、
    前記エリアセンサを制御して、複数の画像を連続して取得するエリア画像取得ステップと、
    前記エリア画像取得ステップにて取得された前記複数の画像から、画像差分抽出により動作パターンを算出する動作パターン算出ステップと、
    前記動作パターン算出ステップにて算出された前記動作パターンに基づいて、ページめくり動作を検出し、且つ、前記ページめくり動作以外の誤検出パターンを振り分けて検出除外する動作検出ステップと、
    前記動作検出ステップにて前記ページめくり動作と、前記画像差分抽出により算出される前記動作パターンに基づく動作の停止と、が検出された場合に、読み取り開始を判定する読取開始判定ステップと、
    を含むことを特徴とするプログラム。
JP2013039520A 2013-02-28 2013-02-28 オーバヘッドスキャナ装置、画像取得方法、および、プログラム Active JP6052997B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013039520A JP6052997B2 (ja) 2013-02-28 2013-02-28 オーバヘッドスキャナ装置、画像取得方法、および、プログラム
CN201410069314.7A CN104023160B (zh) 2013-02-28 2014-02-27 上置型扫描仪装置和图像获取方法
US14/192,491 US9258448B2 (en) 2013-02-28 2014-02-27 Overhead scanner, image obtaining method, and computer-readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013039520A JP6052997B2 (ja) 2013-02-28 2013-02-28 オーバヘッドスキャナ装置、画像取得方法、および、プログラム

Publications (2)

Publication Number Publication Date
JP2014168168A JP2014168168A (ja) 2014-09-11
JP6052997B2 true JP6052997B2 (ja) 2016-12-27

Family

ID=51387868

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013039520A Active JP6052997B2 (ja) 2013-02-28 2013-02-28 オーバヘッドスキャナ装置、画像取得方法、および、プログラム

Country Status (3)

Country Link
US (1) US9258448B2 (ja)
JP (1) JP6052997B2 (ja)
CN (1) CN104023160B (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6120989B2 (ja) * 2013-12-09 2017-04-26 株式会社Pfu オーバーヘッド型画像読取装置、画像処理方法、および、プログラム
JP6624861B2 (ja) * 2015-09-16 2019-12-25 キヤノン株式会社 画像処理装置、制御方法およびプログラム
US10133896B2 (en) 2015-11-06 2018-11-20 Hewlett-Packard Development Company, L.P. Payoff information determination
US10819876B2 (en) * 2018-06-25 2020-10-27 Adobe Inc. Video-based document scanning
CN110516660B (zh) * 2019-09-10 2022-03-04 广东小天才科技有限公司 基于图像特征的书页内容读取方法及装置
CN111698384B (zh) * 2020-06-22 2022-06-21 上海肇观电子科技有限公司 图像处理设备
CN113449699B (zh) * 2021-08-30 2021-12-03 上海兴容信息技术有限公司 一种目标对象的能效分析方法和系统
US20230377363A1 (en) * 2022-05-17 2023-11-23 Adobe Inc. Machine learning based multipage scanning

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3475849B2 (ja) * 1999-04-16 2003-12-10 日本電気株式会社 文書画像取得装置および文書画像取得方法
JP3303865B2 (ja) * 1999-11-22 2002-07-22 セイコーエプソン株式会社 画像の変化に応じた発光による画像入力
JP3954436B2 (ja) 2001-12-11 2007-08-08 株式会社リコー 画像入力装置
JP2004208232A (ja) * 2002-12-26 2004-07-22 Minolta Co Ltd 撮像装置
KR100692526B1 (ko) * 2005-12-08 2007-03-12 한국전자통신연구원 시스템 자동제어용 제스처 인식 장치 및 그 방법
US20070133899A1 (en) * 2005-12-09 2007-06-14 Rai Barinder S Triggering an image processing function
US20070292026A1 (en) * 2006-05-31 2007-12-20 Leon Reznik Electronic magnification device
JP2009146333A (ja) * 2007-12-18 2009-07-02 Panasonic Corp 空間入力動作表示装置
JP2011254366A (ja) 2010-06-03 2011-12-15 Pfu Ltd オーバーヘッドスキャナ装置、画像取得方法、および、プログラム
CN102136066B (zh) * 2011-04-29 2013-04-03 电子科技大学 一种视频序列中人体动作的识别方法
JP5895881B2 (ja) * 2012-12-21 2016-03-30 カシオ計算機株式会社 画像読み取り装置、画像読み取り方法及びプログラム

Also Published As

Publication number Publication date
US20140240799A1 (en) 2014-08-28
CN104023160A (zh) 2014-09-03
US9258448B2 (en) 2016-02-09
CN104023160B (zh) 2017-04-12
JP2014168168A (ja) 2014-09-11

Similar Documents

Publication Publication Date Title
JP6052997B2 (ja) オーバヘッドスキャナ装置、画像取得方法、および、プログラム
JP5364845B2 (ja) オーバーヘッドスキャナ装置、画像処理方法、および、プログラム
US8503045B2 (en) Overhead scanner device, image acquiring method, and computer-readable recording medium
JP4574503B2 (ja) 画像処理装置、画像処理方法およびプログラム
US9554014B2 (en) Image processing apparatus for detecting and removing a document wrinkle area in a scanned image
WO2009094446A1 (en) Method and apparatus for cropping images
KR102609505B1 (ko) 임프린트를 캡처하기 위한 장치
US20060215232A1 (en) Method and apparatus for processing selected images on image reproduction machines
JP6564136B2 (ja) 画像処理装置、画像処理方法、および、プログラム
US10834281B2 (en) Document size detecting by matching between image of entire document and read size image
US8717635B2 (en) Image processing apparatus, method, program and storage medium for determining an image area read by a reading device corresponding to an original image area
JP6181779B2 (ja) オーバヘッドスキャナ装置、画像取得方法、および、プログラム
US8422785B2 (en) Image processing apparatus, image processing method, and program
US20100165417A1 (en) Image processing method, image processing apparatus, and computer-readable storage medium
US8289584B2 (en) Image processing method, apparatus and program
JP6677209B2 (ja) 画像処理装置、処理方法、プログラム
JP5706556B2 (ja) オーバーヘッドスキャナ装置、画像取得方法、および、プログラム
JP6181778B2 (ja) オーバーヘッド型画像読取装置、画像処理方法、および、プログラム
JP4254008B2 (ja) パターン検出装置及び方法
JP5805819B2 (ja) オーバーヘッドスキャナ装置、画像取得方法、および、プログラム
KR20230061026A (ko) 기울기 보정을 제공하는 문자 인식 시스템
JP6362075B2 (ja) 画像読取装置、画像処理装置、及びその画像処理方法
JP2010010839A (ja) 画像読取装置、その処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150602

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20151005

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161102

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161125

R150 Certificate of patent or registration of utility model

Ref document number: 6052997

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150