JP6327828B2 - 情報処理装置及びその制御方法、並びにプログラム - Google Patents

Description

本発明は、情報処理装置及びその制御方法、並びにプログラムに関する。

従来のフラットベッドスキャナ付き複合機で複数枚原稿のスキャンを行う場合、原稿を１枚ずつ読み込みスタートさせる必要がある。すなわち、原稿を１枚ずつフラットベッドである原稿ガラス台にセットし、また、セット前後に原稿台カバーを開けたり、閉じたり、読み込みスタートボタンを押下するという煩雑な手順を行う必要がある。

ＡＤＦ（オートドキュメントフィーダ）付き複合機で複数枚原稿をスキャンする場合には、ＡＤＦにまとめて原稿をセットし、読み取り開始ボタンを押下するだけで済む。よって、上述した煩雑な手順を省くことができる。

一方、原稿１枚ずつそれぞれに、例えば原稿Ａはカラーでスキャンし、次の原稿Ｂは文字だけなのでモノクロでスキャンするなど、異なる処理を行う場合には対応できない。これをフラットベットスキャナで行う場合も上記手順がある上に、それぞれの原稿のスキャン前に設定を行う必要がある。

また、スキャンした画像の内容を確認する際は、スキャン実行後、プレビュー画面を開き、プレビュー表示するスキャンデータを選択する手間がある。

スキャン実行の手間を軽減できる技術として、原稿台に載置した原稿をカメラで撮像するカメラスキャナにおいて、原稿台で原稿が静止したことを検知して撮像する技術が開示されている（例えば、特許文献１参照）。

これによれば、原稿を原稿台に置くだけでスキャンすることが可能となり、原稿台カバーの開け閉めやボタン押下といったスキャン時の手間を大幅に少なくできる。

内容を確認する手間を省ける技術として、カメラで読み込んだものを原稿台に表示する技術が開示されている（例えば、特許文献２、特許文献３参照）。

特許文献２に開示された技術では、カメラスキャナの原稿台をディスプレイとし、撮像された原稿の画像をそのディスプレイに所定時間表示することで撮像画像の確認を容易にし、操作性を向上している。

特許文献３に開示された技術では、プロジェクタ投影されている電子媒体と紙原稿を重ねて撮像し、電子媒体と紙原稿のデータが結合されたデータを生成して同じ位置に投影している。

ここで、上記のように内容を確認しつつ、特許文献１のような静止検知を用いたカメラスキャンで、原稿の連続読み込みを行うシステムにおいて、確認している原稿画像に対して、例えばカラー設定などスキャンの都度異なる処理を施すことを考える。

このとき、特許文献２に開示された技術のように一定時間しか表示を行わない場合は、その原稿に対する操作を完遂する前に表示が消えることが考えられる。

また、スキャンデータを、特許文献２に開示された技術のようにディスプレイに表示したり、特許文献３に開示された技術のようにプロジェクタで投影したりしたままで、次の原稿を読み込もうとした場合は、読み込もうとした原稿と表示画像が重なり、原稿の認識率が下がってしまう。

これに対して、カメラによる手動撮像を行うタイミングで投影画像を非表示にすることにより、読み取りたい画像以外の投影画像を読み取らないようにする技術が開示されている（例えば、特許文献４参照）。

特開２００７−２０８８２１号公報 特願２００５−２５２７３７号公報 特開２０１２−５３５４５号公報 特開２００６−１８４３３３号公報

しかしながら、特許文献４に開示された技術は、カメラによる手動撮像のタイミングで投影画像を非表示にするものであり、原稿を連続撮像する際には１枚ずつ操作を行わなければならない。

本発明の目的は、原稿を撮像し、撮像した原稿を示す画像を表示する情報処理装置を利用するユーザの操作性を向上させた情報処理装置及びその制御方法、並びにプログラムを提供することにある。

上記目的を達成するために、本発明の情報処理装置は、原稿を置くことが可能な台を備える情報処理装置であって、前記台の上の撮像領域に置かれた原稿を撮像する撮像手段と、前記撮像手段により撮像することで得られた前記原稿の画像を、前記台の上の撮像領域内に投影する投影手段と、前記台の上の検出領域への次の原稿の侵入状況を判定する判定手段と、前記検出領域への前記次の原稿の侵入状況に基づいて、前記原稿の画像を縮小したサムネイル画像を、前記次の原稿と重ならない位置に投影するように制御する制御手段と、を有することを特徴とする。

本発明によれば、原稿を撮像し、撮像した原稿を示す画像を表示する情報処理装置を利用するユーザの操作性を向上させることができる。

本発明の実施の形態に係るカメラスキャナを含むスキャナシステムの概略構成を示す図である。 図１におけるカメラスキャナの外観を示す図である。 図２におけるコントローラ部の概略構成を示す図である。 図１におけるカメラスキャナの制御用プログラムのブロック図である。 図３におけるＨＤＤで、図２で示した読み取り領域を撮像して得られた読み取り領域背景画像が記憶される記録領域の構造を示す図である。 図３におけるＨＤＤで、原稿画像データが記憶される記録領域の構造を示す図である。 図３におけるＲＡＭに記憶される文書属性情報及び画像属性情報を示す図である。 原稿の操作例、及び表示画像例を示す図である。 カメラにより撮像して得られた画像と射影変換後の画像とを示す図である。 図４における撮像処理部により実行される初期化設定処理の手順を示すフローチャートである。 主として図４における撮像処理部及びタイミング検出部により実行される残像画像投影処理の手順を示すフローチャートである。 フレームインまたはアウトの検出方法を説明するための図である。 図１１のステップＳ６２１の原稿画像データ抽出処理の手順を示すフローチャートである。 図１１のステップＳ６２０の出力ファイル生成処理の手順を示すフローチャートである。 図１１のステップＳ６２３の残像画像処理の手順を示すフローチャートである。 原稿の操作例、及び表示画像例を示す図である。 主として図４における撮像処理部及びタイミング検出部により実行される残像画像投影処理の手順を示すフローチャートである。 （Ａ）は、原稿画像データの座標を示す図であり、（Ｂ）は表示画像の一例であり、（Ｃ）は、読み取り領域２０５の画像から、残像画像領域２１０１の画像２１０２を示す図である。 図１７のステップＳ６２５の動き認識処理の手順を示すフローチャートである。 影が発生した場合の処理について説明するための図である。 図１７のステップＳ６２５の動き認識処理の手順を示すフローチャートである。 残像画像領域への原稿の侵入により、残像画像が徐々に薄くなっていく様子を説明するための図である。 図１７のステップＳ６２５の動き認識処理の手順を示すフローチャートである。 残像画像領域への原稿の侵入により、残像画像が徐々に欠けていく様子を説明するための図である。 図１７のステップＳ６２５の動き認識処理の手順を示すフローチャートである。 原稿の操作例、及び表示画像例を示す図である。 図３におけるＲＡＭに記憶されるサムネイル画像を生成した場合の文書属性情報及び画像属性情報を示す図である。 サムネイル画像の座標及び表示画像を示す図である。 図１１のステップＳ６２３の残像画像処理の手順を示すフローチャートである。 原稿の操作例、及び表示画像例を示す図である。 図１７のステップＳ６２５の動き認識処理の手順を示すフローチャートである。 （Ａ）は、読み取り領域２０５においてサムネイル画像が表示される予め定められた領域を示す図であり、（Ｂ）は、領域に表示されているサムネイル画像に、原稿が重なった様子を示す図であり、（Ｃ）はサムネイル画像の配置位置を変更した様子を示す図である。 予め定められた領域がサムネイル画像で埋め尽くされている場合に原稿が重なったときの様子を示す図である。 サムネイル画像を再配置する様子を示す図である。 サムネイル画像をまとめて表示する様子を示す図である。 サムネイル画像を縮小して表示する様子を示す図である。 サムネイル画像を縮小した場合に小さくなりすぎたときの様子を示す図である。 図１７のステップＳ６２５の動き認識処理の手順を示すフローチャートである。 図１７のステップＳ６２５の動き認識処理の手順を示すフローチャートである。 図３８のステップＳ２８０７のサムネイル移動処理の手順を示すフローチャートである。 撮像処理部及びタイミング検出部により実行される残像画像投影処理の手順を示すフローチャートである。 図４１のステップＳ６２４の動き認識処理の手順を示すフローチャートである。 図４１のステップＳ６２７のサムネイル画像処理の手順を示すフローチャートである。 サムネイル画像を配置可能な領域を探す様子を示す図である。 図４２のステップＳ２８０７のサムネイル移動処理の手順を示すフローチャートである。

以下、本発明の実施の形態について図面を参照しながら詳述する。

〔第１の実施の形態〕
図１は、本発明の実施の形態に係るカメラスキャナ１０１を含むスキャナシステム１００の概略構成を示す図である。

図１において、カメラスキャナ１０１はネットワーク１０４にてホストコンピュータ１０２、及びプリンタ１０３に接続されている。そして、ホストコンピュータ１０２からの指示により、カメラスキャナ１０１から画像を読み取るスキャン機能や、スキャンデータをプリンタ１０３により出力するプリント機能の実行が可能である。

また、ホストコンピュータ１０２を介さずとも、カメラスキャナ１０１への直接の指示により、スキャン機能、及びプリント機能の実行が可能である。

図２は、図１におけるカメラスキャナ１０１の外観を示す図である。

図２において、カメラスキャナ１０１は、大きく分けて、コントローラ部２０１、カメラ２０２、腕部２０３、及びプロジェクタ２０７で構成される。

図２では、カメラスキャナ１０１が書画台２０４に設置されている様子を表している。撮像装置であるカメラ２０２のレンズは書画台２０４方向に向けられており、原稿を置くことが可能な撮像領域である、破線で囲まれた読み取り領域２０５の画像を読み取り、撮像可能である。図２の例では読み取り領域２０５に原稿２０６が置かれている。

そして、カメラスキャナ１０１の本体であるコントローラ部２０１と、カメラ２０２は、腕部２０３により連結されている。腕部２０３は関節を用いて自由に曲げ伸ばしが可能である。表示装置であるプロジェクタ２０７は、書画台２０４などに、操作を補助する画像を投影することで画像を表示する。このプロジェクタ２０７の代わりにＬＣＤタッチパネルを用いてもよい。

図３は、図２におけるコントローラ部２０１の概略構成を示す図である。

図３において、コントローラ部２０１は、主にシステムバス３０１に接続されたＣＰＵ３０２、記憶デバイス、各種コントローラ、及び各種インタフェースで構成される。

ＣＰＵ３０２はコントローラ部２０１全体の動作を制御する中央演算装置である。ＲＡＭ３０３は揮発性メモリである。ＲＯＭ３０４は不揮発性メモリであり、ＣＰＵ３０２の起動用プログラムコードなどが記憶されている。

ＨＤＤ３０５はＲＡＭ３０３の記憶容量と比較して大容量なハードディスクドライブである。ＨＤＤ３０５にはコントローラ部２０１の実行するカメラスキャナ１０１の制御用及び各種プログラムコードなどが記憶されている。

ＣＰＵ３０２は電源ＯＮなどの起動時、ＲＯＭ３０４に記憶されている起動用プログラムコードを実行する。この起動用プログラムコードは、ＨＤＤ３０５に記憶されている制御用プログラムコードを読み出し、ＲＡＭ３０３に展開するためのコードである。

ＣＰＵ３０２は起動用プログラムコードを実行すると、続けてＲＡＭ３０３に展開した制御用プログラムコードを実行することで各種制御を行う。後述するフローチャートの処理は、ＨＤＤ３０５に記憶され、ＲＡＭ３０３に展開されたプログラムコードをＣＰＵ３０２が実行することで実現される。

また、ＣＰＵ３０２は制御用プログラムの動作に用いるデータをＲＡＭ３０３に記憶したり、またデータをＲＡＭ３０３から読み取ったりする。ＨＤＤ３０５にはさらに、制御用プログラムの動作に必要な各種設定や、カメラ入力によって生成した画像データなどの各種データを記憶することができ、それらの各種データは、ＣＰＵ３０２によって読み書きされる。

ＣＰＵ３０２はネットワークインタフェース３０６を介してネットワーク１０４の他の機器との通信を行う。

画像処理プロセッサ３０７はＲＡＭ３０３に記憶された画像データを読み出して処理し、ＲＡＭ３０３へ書き戻す。画像処理プロセッサ３０７が実行する画像処理は、回転、変倍、色変換などである。

カメラインタフェース３０８はカメラ２０２と接続され、ＣＰＵ３０２からの指示に応じてカメラ２０２から画像データを取得してＲＡＭ３０３へ書き込む。また、ＣＰＵ３０２からの制御コマンドをカメラ２０２へ送信し、カメラ２０２の設定や制御を行う。

ディスプレイコントローラ３０９はプロジェクタ２０７とＬＣＤタッチパネル３３０が接続され、ＣＰＵ３０２の指示に応じてそれらに画像を表示させる。

シリアルインタフェース３１０はシリアル信号の入出力する。ここではＬＣＤタッチパネル３３０に接続され、ＣＰＵ３０２はＬＣＤタッチパネル３３０が押下されたときに、シリアルインタフェース３１０を介して押下された座標を取得する。

オーディオコントローラ３１１はスピーカ３４０に接続され、ＣＰＵ３０２の指示に応じて音声データをアナログ音声信号に変換し、スピーカ３４０を通じて音声を出力する。

ＵＳＢコントローラ３１２はＣＰＵ３０２の指示に応じて外付けのＵＳＢデバイスを制御する。ここではＵＳＢメモリやＳＤカードなどの外部メモリ３５０がＵＳＢコントローラ３１２に接続され、外部メモリへのデータの読み書きを行うようになっている。

図４は、図１におけるカメラスキャナ１０１の制御用プログラムのブロック図である。

図４において、カメラスキャナ１０１の制御用プログラムは前述のようにＨＤＤ３０５に記憶され、ＣＰＵ３０２が起動時にＲＡＭ３０３に展開することで実行される。

カメラスキャナ１０１の制御用プログラムは、メイン制御部４０２、操作表示部４０３、ネットワーク通信部４０４、データ管理部４０５、撮像処理部４０６、画像認識部４０７、表示処理部４０８、及び出力ファイル生成部４０９を備える。

メイン制御部４０２はプログラムの本体であり、プログラム内の各モジュールを制御して、カメラスキャナ制御用プログラムを実行する。操作表示部４０３は、メイン制御部４０２からの描画要求を受け、ディスプレイコントローラ３０９を介して、プロジェクタ２０７またはＬＣＤタッチパネル３３０へ描画する。

また、操作表示部４０３は、ＬＣＤタッチパネル３３０が押下されたときにシリアルインタフェース３１０を介して押下座標を受信し、描画中の操作画面の内容と押下座標を対応させて、押下されたボタンなどの操作内容を判断する。この操作内容をメイン制御部４０２へ通知する。以上説明した操作表示部４０３は、抽出された原稿画像データから生成され、原稿が置かれた位置に原稿を示す画像である残像画像を表示装置に表示させる。また、操作表示部４０３は、後述するように、原稿が検出領域に侵入したことが検出された場合に、検出領域に侵入した原稿と重ならないように残像画像のサムネイル画像を表示装置に表示させる。

ネットワーク通信部４０４は、ネットワークインタフェース３０６を介して、ネットワーク１０４の他の機器とＴＣＰ／ＩＰによる通信を行う。

データ管理部４０５は、制御用プログラム４０１の実行において必要な設定データなどをＨＤＤ３０５の所定の領域へ記憶し、管理する。

撮像処理部４０６は、カメラインタフェース３０８を介してカメラ２０２を制御し、撮像処理部４０６のタイミング検出部４１０で検出されたタイミングで撮像したカメラ画像を画像認識部４０７へ送信する。

また、動き認識部４１２が生成したカメラ画像の動きに対応するコマンドを、表示処理部４０８へ送信する。

タイミング検出部４１０は、原稿がフレームインしたタイミング、静止したタイミング、及びフレームアウトするタイミングを検出する。これらのタイミングは、カメラ２０２から受信したカメラ画像に基づいて検出することができる。

ここで、フレームアウトタイミングは、原稿が読み取り領域２０５からフレームアウトする直前のタイミング、フレームアウトし始めるタイミング、またはその間の任意のタイミングとしてもよい。

動き認識部４１２は、カメラ２０２から受信した１フレームごとのカメラ画像のフレーム間差分を計算することで、原稿台の手や原稿の動きを認識する。また、検出した動きを、予め対応づけられたコマンドに変換する。

これにより、原稿台でカメラに向けた手振り操作などのジェスチャ操作を行うことによるカメラスキャナ１０１への指示が可能となる。以上説明した撮像処理部４０６は、原稿を検出するための検出領域に原稿が侵入したことを検出する。

画像認識部４０７は、カメラ２０２からカメラ画像を受信し、受信したカメラ画像の内容を認識する。

画像認識部４０７に含まれる原稿画像データ抽出部４１１は、タイミング検出部４１０が検出した静止タイミングで撮像され送信されてきたカメラ画像から、原稿画像データを抽出する。抽出された原稿画像データは、ＲＡＭ３０３に記憶されるとともに、データ管理部４０５によってＨＤＤ３０５の所定の領域へ記憶され、管理される。この原稿画像データ抽出部４１１は、原稿が置かれた撮像領域を撮像装置により撮像することで得られた画像から原稿の画像を示す原稿画像データを抽出する。

表示処理部４０８は、ＲＡＭ３０３に記憶された原稿画像データを表示するタイミングを司る。動き認識部４１２や画像認識部４０７から受信した指示に従って、原稿画像データを指定された位置に表示または非表示にするように、操作表示部４０３に対して指示を行う。

出力ファイル生成部４０９は、データ管理部４０５が記録した原稿画像データを変換し、適切な画像に整えたうえで、所定のデータ出力形式の出力ファイルを生成する。

図５は、図３におけるＨＤＤ３０５で、図２で示した読み取り領域２０５を撮像して得られた読み取り領域背景画像が記憶される記録領域の構造を示す図である。

図５（Ａ）は、読み取り領域２０５を撮像して得られた読み取り領域背景画像１９０１が記憶される記憶領域を示す図である。

図５（Ａ）において、読み取り領域背景画像１９０１は、ＩＭＧＤＩＲというディレクトリに記憶される。

後述するように、読み取り領域２０５の撮像は繰り返し行われ、読み取り領域２０５を撮像して得られた最新の画像は最新静止画像として記憶され、その１つ前に撮像して得られた画像は直前静止画像として記憶される。なお、最初に読み取り領域２０５を撮像して得られた画像には、１つ前に撮像して得られた画像が存在しないため、最初は最新静止画像のみが記憶されることとなる。

図５（Ｂ）は、上述した最新静止画像１９０２が記憶される記憶領域を示す図である。同図に示されるように、最新静止画像１９０２は、読み取り領域背景画像１９０１が記憶されているディレクトリと同じＩＭＧＤＩＲに記憶される。

図５（Ｃ）は、上述した最新静止画像１９０３及び直前静止画像１９０２が記憶される記憶領域を示す図である。同図に示されるように、最新静止画像１９０３及び直前静止画像１９０２は、読み取り領域背景画像１９０１が記憶されているディレクトリと同じＩＭＧＤＩＲに記憶される。

なお、図５（Ｂ）における最新静止画像１９０２の次に撮像して得られた新たな画像が最新静止画像となるため、そのときは最新静止画像１９０２は直前静止画像１９０２となる。

原稿画像データ抽出部４１１は、読み取り領域背景画像１９０１と最新静止画像との差分を原稿画像データとする。

図６は、図３におけるＨＤＤ３０５で、原稿画像データが記憶される記録領域の構造を示す図である。

図６において、原稿画像データは、ＤＯＣＤＩＲというディレクトリに記憶される。そして、図６（Ａ）は、１枚目の原稿を示す原稿画像データ２００１がＩＭＧ＿０００１として記憶されていることを示している。

図６（Ｂ）は、２枚目の原稿を示す原稿画像データ２００１がＩＭＧ＿０００２として新たに記憶されていることを示し、図６（Ｃ）は、３枚目の原稿を示す原稿画像データ２００３がＩＭＧ＿０００３として新たに記憶されていることを示している。

図７は、図３におけるＲＡＭ３０３に記憶される文書属性情報及び画像属性情報を示す図である。図７（Ａ）（Ｂ）（Ｃ）は、それぞれ図６（Ａ）（Ｂ）（Ｃ）に対応している。

図７（Ａ）は、１枚目の原稿を示す原稿画像データの文書属性及び画像属性情報２０１１を示す。図７（Ｂ）は、１、２枚目の原稿を示す原稿画像データの文書属性及び画像属性情報２０１１，２０１２を示す。図７（Ｃ）は、１、２、３枚目の原稿を示す原稿画像データの文書属性及び画像属性情報２０１１，２０１２，２０１３を示す。

図７において、文書属性情報は、原稿数及びディレクトリ名で構成される。原稿数は原稿を読み取った枚数を示し、ディレクトリ名は、記憶先を示している。

また、画像属性情報は、原稿画像データごとに作成され、Ｎｏ、表示座標、表示中情報、幅、高さ、ｆｏｒｍａｔ、色空間、及びファイル名で構成される。

このうち、Ｎｏは、原稿画像データの番号を示す。表示座標は、原稿画像データをプロジェクタ２０７で表示する位置を示す値である。

図１８（Ａ）は、原稿画像データの座標を示す図である。

図１８（Ａ）に示されるように、本実施の形態では、原稿画像データを表示する位置を３点Ｐ１１（Ｘ１，Ｙ２）、Ｐ１２（Ｘ２，Ｙ１）、Ｐ１３（Ｘ３，Ｙ３）の３点で示すことで一意的に表示する位置を特定できる。なお、２点と一辺のなす角、Ｑ１、Ｑ２、θを用いても、位置を一意に特定できる。

図７の説明に戻り、表示中情報は、ｆａｌｓｅまたはｔｒｕｅで示され、ｆａｌｓｅはプロジェクタ２０７で表示されていないことを示し、ｔｒｕｅはプロジェクタ２０７で表示されていることを示している。

幅、及び高さは、原稿画像データの幅、及び高さを示す。ｆｏｒｍａｔは、画像データ形式を示し、図の場合はｒａｗとなっている。色空間は、原稿画像データの色空間を示し、図の場合はＲＧＢとなっている。ファイル名は、原稿画像データのファイル名を示す。

図８は、原稿の操作例、及び表示画像例を示す図である。

図８（Ａ）は、読み取り領域２０５で原稿５０１の静止が検出され、撮像が実行された様子を示す図である。

撮像が実行されると、プロジェクタ２０７により、原稿があった位置と同じ位置に、原稿と重ねるようにして、読み取った原稿の画像が投影される。

図８（Ｂ）は、原稿５０１を手５０３で取り除くと、原稿のあった位置に読み取った原稿の画像である残像画像５０２が投影される様子を示す図である。

図８（Ｃ）は、読み取り領域２０５に残像画像５０２が表示されている様子を示す図である。

図８（Ｄ）は、カメラ２０２からの画像から手を認識することにより、手５０４による残像画像５０２の移動、拡大、縮小、印刷、及び記憶などの操作をする様子を示す図である。なお、これらの操作は、以下では主に手を用いて行うこととして説明しているが、手に限ったものではなく、ペンなどの特定の物理媒体を認識するようにして操作を行うようにしてもよい。

図８（Ｅ）は、残像画像５０２が表示されている読み取り領域２０５に、新たな原稿５０５をフレームインさせた瞬間の様子を示す図である。

図８（Ｆ）は、新たな原稿５０５のフレームインが検出され、表示していた残像画像５０２が非表示となった様子を示す図である。

この状態で読み取り領域２０５に新たな原稿５０５を置けば、再び図５（Ａ）で説明した状態に戻って、原稿を読み込むことができる。これらを繰り返すことで、操作できる残像画像を残しつつ、原稿の連続読み込みを行った際に、残像画像が新たな原稿に重なることによる認識率の低下を防ぐことができる。

図９は、カメラ２０２により撮像して得られた画像と射影変換後の画像とを示す図である。

カメラ２０２は厳密に読み取り領域２０５の真上にあるわけではないため、図に示されるように、撮像された画像７０１の形状は歪んでいる。そこで、撮像処理部４０６は、撮像された画像７０１を矩形に変換する射影変換のパラメータを算出する。

そして、撮像処理部４０６は、算出した射影変換パラメータを使用して、画像７０１を画像７０２のように矩形に補正する。

図１０は、図４における撮像処理部４０６により実行される初期化設定処理の手順を示すフローチャートである。

図１０において、撮像処理部４０６は、背景画像として、原稿がない状態の書画台２０４の読み取り領域２０５を撮像し（ステップＳ６０１）、画像認識部４０７へ送信する。

次いで、撮像処理部４０６は、図９で説明した射影変換パラメータを算出し（ステップＳ６０２）、算出した射影変換パラメータを使用して、撮像した読み取り領域２０５の画像を射影変換することで、矩形に補正する（ステップＳ６０３）。

そして、撮像処理部４０６は、補正された画像である読み取り領域背景画像を、データ管理部４０５を介してＨＤＤ３０５へ記憶する（ステップＳ６０４）。

次いで、撮像処理部４０６は、状態管理フラグを初期化して（ステップＳ６０５）、本処理を終了する。

この状態管理フラグは、原稿がフレームインしたことを検出したか否かを示すフレームイン状態フラグと、原稿がフレームアウトしたことを検出したか否かを示すフレームアウト状態フラグとを含んでいる。

さらに状態管理フラグは、手がフレームインしたことを検出したか否かを示すフレームイン状態フラグと、手がフレームアウトしたことを検出したか否かを示すフレームアウト状態フラグとを含んでいる。

従って、状態管理フラグは、フレームイン状態フラグを２つ、フレームアウト状態フラグを２つ含んでいる。

そして、上記ステップＳ６０５での初期化は、原稿と手に対するフレームイン状態フラグをｆａｌｓｅに、フレームアウト状態フラグをｔｒｕｅにそれぞれ初期化する。

本実施の形態では読み取り領域２０５で読み取る物理オブジェクトとして、原稿と手を扱うため、この２つに対応させて上記フラグを用意しているが、その他の物理オブジェクトに対するフラグを設定することも可能である。

さらに、読み取り領域２０５で読み取るオブジェクトの数が増える毎に、そのオブジェクトに対する状態管理フラグが増えてもよいものとする。

以上の初期化処理が終了すると、撮像処理部４０６のタイミング検出部４１０は、読み取り領域２０５に新たに入ってきた原稿が予め定められた時間静止したときに、自動で撮像し、残像画像を投影する残像画像投影処理を実行する。

図１１は、主として図４における撮像処理部４０６及びタイミング検出部４１０により実行される残像画像投影処理の手順を示すフローチャートである。

図１１において、撮像処理部４０６は、カメラ２０２から読み取り領域２０５を１フレームだけ撮像し（ステップＳ６１０）、撮像することで得られたカメラ画像をタイミング検出部４１０へ送信する。

次いで、タイミング検出部４１０は、カメラ２０２から受信したカメラ画像に基づいて、読み取り領域２０５への物理オブジェクトのフレームインまたはアウトを検出したか否か判別する（ステップＳ６１１）。フレームインまたはアウトの検出方法については後述する。

ステップＳ６１１の判別の結果、フレームインまたはアウトを検出した場合には（ステップＳ６１１でＹＥＳ）、タイミング検出部４１０は、フレームインまたはアウトした物理オブジェクトが手かどうかを判断し、その判断結果をＲＡＭ３０３に記憶しておく。

次いで、タイミング検出部４１０は、後述する残像画像処理を実行する（ステップＳ６２３）。この残像画像処理は、残像画像が表示されている場合、その残像画像を非表示にするタイミングが到来した場合には、非表示にする処理である。

そして、タイミング検出部４１０は、ステップＳ６１１でフレームインまたはアウトが検出されたことを受け、状態管理フラグを更新する（ステップＳ６１２）。

具体的には、ステップＳ６１１で判断した物理オブジェクトのフレームインが検出された場合、物理オブジェクトに対応するフレームイン状態フラグをｔｒｕｅにし、フレームアウト状態フラグをｆａｌｅｓに設定する。フレームアウトが検出された場合は、その逆に設定する。

次いで、メイン制御部４０２は、全原稿のスキャンが終了したか否か判別する（ステップＳ６１９）。これは、ネットワークインタフェース３０６を介してホストコンピュータ１０２から送信されるスキャン終了命令、ＬＣＤタッチパネル３３０から入力される終了命令、またはタイマー設定などにより判別される。

ステップＳ６１９の判別の結果、スキャンが終了していない場合には（ステップＳ６１９でＮＯ）、上記ステップＳ６１０に戻る。

一方、ステップＳ６１９の判別の結果、スキャンが終了した場合には（ステップＳ６１９でＹＥＳ）、後述する出力ファイル生成処理を行い（ステップＳ６２０）、本処理を終了する。

上記ステップＳ６１１に戻り、ステップＳ６１１の判別の結果、フレームインまたはアウトを検出していない場合には（ステップＳ６１１でＮＯ）、タイミング検出部４１０は、予め定められた時間だけ変化がない状態か否か判別する（ステップＳ６１３）。

この処理は、原稿が静止または除去されたか否かを判別する処理である。また、判別方法は、新たに撮像することで得られたカメラ画像が、前回撮像したときのカメラ画像から、どれくらい変化したかを示す画像変化量を用いる方法である。

具体的には、予め定められた時間だけ画像変化量が予め定められた範囲内に収まっていれば変化がないと判別される。

ステップＳ６１３の判別の結果、予め定められた時間内に変化があった場合には（ステップＳ６１３でＮＯ）、原稿や手が移動している状態であるので、撮像処理部４０６は、ジェスチャ処理を実行して（ステップＳ６２４）、上記ステップＳ６１９に進む。

ジェスチャ処理では原稿や手の移動の仕方に応じた処理を実行する。処理内容は、手を移動させて残像画像を拡大、縮小、移動、操作、編集、及び印刷したりする内容となっている。

ステップＳ６１３の判別の結果、予め定められた時間だけ変化がない場合には（ステップＳ６１３でＹＥＳ）、タイミング検出部４１０は、ステップＳ６１０で撮像したカメラ画像と、前回この残像画像投影処理を行った際に、ステップＳ６１７で撮像して得られた静止画像との差分量を算出する（ステップＳ６１５）。なお、今回の残像画像投影処理の開始後に初めてステップＳ６１５を実行した場合は、ステップＳ６０１で撮像して得られた読み取り領域２０５の画像との差分量を算出する。

次いで、タイミング検出部４１０は、算出された差分量が予め定められた値より大きいか否か判別する（ステップＳ６１６）。ここでの予め定められた値は、同一の被写体を撮像して得られた２つの画像を同一の画像と判別できる程度の値であり、例えばほぼゼロである。

ステップＳ６１６の判別の結果、算出された差分量が予め定められた値未満の場合には（ステップＳ６１６でＮＯ）、前回の状態から変化がないため、上記ステップＳ６１９に進む。

一方、ステップＳ６１６の判別の結果、算出された差分量が予め定められた値より大きい場合には（ステップＳ６１６でＹＥＳ）、タイミング検出部４１０は、ステップＳ６１０で撮像して得られたカメラ画像を静止画像として取得する（ステップＳ６１７）。なお、この段階においては、原稿の静止及び除去については区別することなく静止画像を取得する。

次いで、撮像処理部４０６は、取得した静止画像を、ステップＳ６０２で算出した射影変換パラメータを使用して射影変換する（ステップＳ６１８）。

そして、撮像処理部４０６は、射影変換した静止画像を画像認識部４０７へ送信する。画像認識部４０７の原稿画像データ抽出部４１１は、この静止画像を受信すると後述する原稿画像データを抽出する原稿画像データ抽出処理を実行する（ステップＳ６２１）。このステップＳ６２１は、原稿が置かれた撮像領域を撮像装置により撮像することで得られた画像から原稿の画像を示す原稿画像データを抽出する。

次いで、画像認識部４０７は、抽出した原稿画像データを、表示処理部４０８へ送信する。表示処理部４０８は、図７で説明した文書属性情報及び画像属性情報を更新し、表示中情報をｔｒｕｅに変更する。表示座標は、ステップＳ６２１で原稿画像データを抽出した際に、文書属性情報の表示座標に示されている。

表示処理部４０８は、上記表示座標と、ステップＳ６２１で抽出され、ＨＤＤ３０５に記憶されている原稿画像データから生成した表示画像とを、操作表示部４０３に対して送信する。図１８（Ｂ）は表示画像の一例である。読み取り領域２０５の領域は何も表示しない黒画像２１０３であり、黒画像２１０３の上に、残像画像２１０４を表示座標の情報に基づいて重畳するように作成している。

その後、操作表示部４０３は、プロジェクタ２０７を用いて、受け取った表示画像を投影することで、残像画像表示を更新し（ステップＳ６２２）、上記ステップＳ６１２に進む。これにより残像画像が読み取り領域２０５に表示される。上記処理によれば、読み取り領域２０５上に置かれた原稿に重ねるようにして残像画像の投影が実行される。投影はこのタイミングに限ったものではなく、撮影を実行した後、原稿が読み取り領域２０５上に置かれている間は投影を行わないで、原稿が取り除かれてから、原稿が元あった場所に投影するようにしてもよい。

上記の処理を繰り返し行うことにより、撮像処理部４０６は、新しく読み取り領域２０５に入った原稿が静止したときに、静止画像を自動で取得し、画像認識部４０７の原稿画像データ抽出部４１１へ送信することができる。

上記ステップＳ６１１におけるフレームインまたはアウトの検出方法について説明する。

図１２は、フレームインまたはアウトの検出方法を説明するための図である。

図１２（Ａ）は原稿の置かれる前の書画台２０４を示す図であり、図１２（Ｃ）は読み取り領域２０５を撮像して得られた背景画像または１つ前の静止画像を示す図である。

また、図１２（Ｂ）は原稿２０６が読み取り領域２０５からフレームインまたはアウトする直後または直前の書画台２０４を示す図であり、図１２（Ｄ）はフレームインまたはアウト直前のタイミングで撮像された読み取り領域２０５のカメラ画像を示す図である。

画像認識部４０７のタイミング検出部４１０は、図１２（Ｃ）（Ｄ）に示される２枚の撮像画像より図１２（Ｅ）に示す差分画像を生成する。

差分画像の黒画素領域８０１は差分のなかった部分、白画素領域８０２は差分を示し、フレームインまたはアウトしていく原稿２０６の端部を表している。このカメラ画像と背景画像との差分値である白画素領域８０２の画素数を基に、フレームインまたはアウトのタイミングを検出する。

フレームインまたはアウトのいずれの状態であるかは、今回の差分量と直前に算出された差分量とを比較することで判断できる。すなわち、今回の差分量が直前の差分量よりも増加している場合にはフレームインの過程、減少している場合にはフレームアウトの過程であると判断することができる。

そして、フレームインの過程において、画素数に対する差分量の割合が予め定められた割合以上となったタイミングをフレームインとして検出する。

同様にフレームアウトの過程において、画素数に対する差分量の割合が予め定められた割合以下となったタイミングをフレームアウトとして検出する。

なお、原稿を素早く抜き取ったことで、図８（Ｃ）の次に図８（Ｅ）が撮像された場合など、カメラ画像に原稿端部が映らなかった場合に関しても、差分量が減少し、画素数に対する差分量（ここでは０）の割合が予め定められた割合以下となることから、フレームアウトを検出できる。

以上のように、背景画像とカメラ画像の差分量及び差分量の変化を算出することで、フレームインまたはアウトのタイミングを検出できる。

また、図１２（Ｂ）〜（Ｅ）を用いて、原稿のフレームインまたはアウトのタイミングを検出する方法を説明したが、その他の物理オブジェクトのフレームインまたはアウトも同様にして検出できる。

図１２（Ｆ）〜（Ｈ）は、手８０３のフレームアウトの様子を示す図である。ここで、手８０３は原稿２０６に対応している。フレームインまたはアウトの検出後、白画素領域８０５に存在する物体の色が肌色か否か判断することにより、フレームインまたはアウトした物理オブジェクトが、手か否か判断することができる。今回は原稿と手しか扱わないため、手でないと判断されたものは原稿であると判断することとなる。このように、手が検出領域に侵入したことを検出可能となっている。

また、差分抽出の際に、現在の撮像画像と背景画像との差分を利用する方法ではなく、１つ前に撮像して得られた静止画像を用いることで、読み取り領域２０５に原稿が置かれていても、手や新たな原稿のフレームインまたはアウトを検出できる。

図１３は、図１１のステップＳ６２１の原稿画像データ抽出処理の手順を示すフローチャートである。

図１３において、原稿画像データ抽出部４１１は、撮像処理部４０６より射影変換された最新静止画像を受信する（ステップＳ９０１）。

次いで、原稿画像データ抽出部４１１は、図５（Ｂ）で説明したように、受信した最新静止画像を、データ管理部４０５を介してＨＤＤ３０５へ記憶する（ステップＳ９０２）。

次いで、原稿画像データ抽出部４１１は、読み取り領域背景画像１９０１と最新静止画像との差分量を算出する（ステップＳ９０３）。

そして、原稿画像データ抽出部４１１は、算出された差分量が予め定められた値よりも大きいか否か判別する（ステップＳ９０４）。ここでの予め定められた値は、同一の被写体を撮像して得られた２つの画像を同一の画像と判別できる程度の値であり、例えばほぼゼロである。

ステップＳ９０４の判別の結果、算出された差分量が予め定められた値以下の場合には（ステップＳ９０４でＮＯ）、原稿は置かれていないと判断して、抽出結果を返し（ステップＳ９０７）、本処理を終了する。この抽出結果とは、原稿画像データが抽出できた場合にはｔｒｕｅであり、抽出できなかった場合にはｆａｌｓｅである。ステップＳ９０４でＮＯの場合には、抽出結果は、ｆａｌｓｅである。

一方、ステップＳ９０４の判別の結果、算出された差分量が予め定められたより大きい場合には（ステップＳ９０４でＹＥＳ）、新たな原稿が置かれたと判断し、原稿画像データ抽出部４１１は、最新静止画像から原稿画像データを抽出する（ステップＳ９０５）。この原稿画像データの抽出では、ステップＳ９０３で生成した差分画像よりエッジを検出し、それを矩形近似するなど既存の方法を用いればよい。

次いで、原稿画像データ抽出部４１１は、抽出された原稿画像データを、図６（Ａ）で説明したように、データ管理部４０５を介してＨＤＤ３０５へ記憶して（ステップＳ９０６）、ｔｒｕｅを返し（ステップＳ９０７）、本処理を終了する。

図１４は、図１１のステップＳ６２０の出力ファイル生成処理の手順を示すフローチャートである。

図１４において、出力ファイル生成部４０９は、ＲＡＭ３０３より１枚目の画像属性情報２０１１（図７参照）を取得する（ステップＳ１８０１）。

次いで、出力ファイル生成部４０９は、ＨＤＤ３０５より１枚目の原稿画像データ２００１を取得する（ステップＳ１８０２）。

そして、出力ファイル生成部４０９は、出力ファイル用のヘッダ記述を生成する（ステップＳ１８０４）。ここでは、画像属性のＮｏより原稿番号を取得し、出力ファイル名を作成する。また、出力原稿サイズには、画像属性の幅や高さを用いる。

次いで、出力ファイル生成部４０９は、出力ファイルの画像データとして、ステップＳ１８０２でＨＤＤ３０５から取得した原稿画像データ２００１を記憶する（ステップＳ８０５）。このとき、画像処理プロセッサ３０７で、傾き補正、回転などの補正処理や、下地飛ばし、エッジ強調などの補正処理を行って画像を鮮鋭化しても構わない。

次いで、出力ファイル生成部４０９は、フッタ記述を生成する（ステップＳ１８０６）。そして、データ管理部４０５は、ＨＤＤ３０５に記憶されたオリジナルの原稿画像データ２００１を破棄する（ステップＳ１８０７）。

次いで、全原稿画像データに対する処理が終了したか否か判別する（ステップＳ１８０８）。ステップＳ１８０８の判別の結果、未処理の原稿画像データが残っている場合には（ステップＳ１８０８でＮＯ）、ステップＳ１８０１に戻る。

一方、ステップＳ１８０８の判別の結果、全原稿画像データに対する処理が終了した場合には（ステップＳ１８０８でＹＥＳ）、本処理を終了する。

図１５は、図１１のステップＳ６２３の残像画像処理の手順を示すフローチャートである。

図１５において、タイミング検出部４１０は、図１１のステップＳ６１１でフレームインを検出したか否か判別する（ステップＳ１００１）。

ステップＳ１００１の判別の結果、フレームインを検出した場合には（ステップＳ１００１でＹＥＳ）、タイミング検出部４１０は、フレームインが検出された物理オブジェクトが手のみであるか否か判別する（ステップＳ１００２）。

ステップＳ１００２の判別の結果、物理オブジェクトが手のみの場合には（ステップＳ１００２でＹＥＳ）、本処理を終了する。こうして、手のみだった場合に処理を終了することで、ステップＳ６２４での手だけによるジェスチャ処理が行えるようになる。また、このとき、後述するステップＳ１００５の残像画像を消去する処理が行われないため、そのまま残像画像が表示されたままとなる。従って、手が検出領域に侵入したことが検出された場合には、残像画像を変更しない。

一方、ステップＳ１００２の判別の結果、物理オブジェクトが手のみでない、すなわち原稿を含む場合には（ステップＳ１００２でＮＯ）、タイミング検出部４１０は、現在残像画像を読み取り領域２０５に表示中か否か判別する（ステップＳ１００３）。

残像画像を表示中か否かは、上述した図７の画像属性情報の表示中情報が示す内容で判別できる。ここで表示中の画像がある場合、基本的に最後に記憶されたデータが表示中となる。例えば、図７（Ａ）であればＮｏ１、（Ｂ）であればＮｏ２、（Ｃ）であればＮｏ３の画像が表示中となる。

ステップＳ１００３の判別の結果、現在残像画像を読み取り領域２０５に表示中ではない場合には（ステップＳ１００３でＮＯ）、本処理を終了する。

一方、ステップＳ１００３の判別の結果、現在残像画像を読み取り領域２０５に表示中の場合には（ステップＳ１００３でＹＥＳ）、タイミング検出部４１０は、読み取り領域２０５に現在原稿が置かれているか否か判別する（ステップＳ１００４）。

ここでの判別では、原稿に対するフレームイン状態フラグを確認すればよい。読み取り領域２０５に原稿が置かれている場合は、現在フレームインしたばかりの原稿によるフラグはｔｒｕｅにはなっていない。従って、原稿に対するフレームイン状態フラグが１つだけｔｒｕｅになっている。

ステップＳ１００４の判別の結果、読み取り領域２０５に現在原稿が置かれている場合には（ステップＳ１００４でＹＥＳ）、本処理を終了する。

一方、ステップＳ１００４の判別の結果、読み取り領域２０５に現在原稿が置かれていない場合には（ステップＳ１００４でＮＯ）、つまり原稿に関するフレームイン状態フラグが１つもｔｒｕｅになっていない場合、タイミング検出部４１０は、表示処理部４０８に対して、現在表示中の残像画像の消去指示を出すことで、残像画像を消去して（ステップＳ１００５）、本処理を終了する。

具体的に、表示処理部４０８は、残像画像の消去指示を受けると、記憶されている画像属性データのうち、最後に記憶された画像に対する表示中情報を、ｆａｌｓｅへと変更する。それと同時に、表示処理部４０８は、ｆａｌｓｅに変更した画像の残像を非表示とした表示画像を生成し、操作表示部４０３へ送信する。操作表示部４０３は、送られてきた表示画像を、プロジェクタ２０７を用いて読み取り領域２０５に投影する。これにより、表示されていた残像画像を消去できる。

上記ステップＳ１００１に戻り、ステップＳ１００１の判別の結果、フレームインが検出されなかった場合、すなわちフレームアウトが検出された場合には（ステップＳ１００１でＮＯ）、タイミング検出部４１０は、フレームアウトが検出された物理オブジェクトが手のみであるか否か判別する（ステップＳ１００７）。

ステップＳ１００７の判別の結果、物理オブジェクトが手のみである場合には（ステップＳ１００７でＹＥＳ）、本処理を終了する。

一方、ステップＳ１００７の判別の結果、物理オブジェクトが手のみでない、すなわち原稿を含む場合には（ステップＳ１００７でＮＯ）、タイミング検出部４１０は、読み取り領域２０５に残像画像が表示されていないか否か判別する（ステップＳ１００８）。

ここで、残像画像が表示されているときにフレームアウトが検出されるタイミングとは、読み取り領域２０５に原稿を置き、残像画像が投影された後、原稿を取り除いた瞬間を指す。

ステップＳ１００８の判別の結果、読み取り領域２０５に残像画像が表示されている場合には（ステップＳ１００８でＮＯ）、本処理を終了する。

一方、ステップＳ１００８の判別の結果、読み取り領域２０５に残像画像が表示されていない場合には（ステップＳ１００８でＹＥＳ）、タイミング検出部４１０は、表示処理部４０８に対して、直近の残像画像があれば、直近の残像画像の再表示処理指示を出すことで、直近の残像画像を再表示して（ステップＳ１００９）、本処理を終了する。

上記直近の残像画像のデータは、最後に記憶された原稿画像データのことである。従って、表示処理部４０８は、図７の画像属性情報において最後に記憶された画像の表示中情報を、Ｔｒｕｅに変更する。

同時に、最後に記憶された画像を、座標情報で指定される位置に描画した形の表示画像を生成し、操作表示部４０３へ送信する。操作表示部４０３は、プロジェクタ２０７を用いて読み取り領域２０５へ残像画像を表示する。このように、残像画像が変更された後に、検出領域で原稿が検出されなくなった場合には、変更される前の残像画像である直近の残像画像を表示装置に表示させるようになっている。

以上の処理を繰り返すことで、読み取り領域２０５へ原稿がフレームインしたことを検出して、残像画像を消去することが可能となる。

フレームインにより消去された残像画像は、原稿が静止する前にフレームアウトすることで再表示することが可能である。また、フレームインした物理オブジェクトが手のみか否か判別することにより、残像画像に対するジェスチャ操作を行うことも可能となる。

なお、読み取り領域２０５に原稿や手の影が落ちたとき、フレームインしたと判別される可能性がある。従って、上記ステップＳ１００２では、フレームインした物理オブジェクトが影か否か判別して、影であった場合は処理を終了するようにしてもよいし、図１１のステップＳ６１１において影であると判別された場合は、フレームインまたはアウトを未検出としてもよい。なお、影を検出する方法は、第２の実施の形態において詳しく述べる。

〔第２の実施の形態〕
第１の実施の形態は、原稿がカメラの読み取り領域２０５にフレームインしたか否かによって、表示中の残像画像を消去する形態であった。第２の実施の形態は、原稿が残像画像の表示領域に侵入したか否かによって、その残像画像を消去する形態となっている。

第１の実施の形態で説明したネットワーク構成、外観図、コントローラ構成、及びソフトウェア構成は第２の実施の形態でも同じであるので説明を省略する。

図１６は、原稿の操作例、及び表示画像例を示す図である。

図１６（Ａ）は、読み取り領域２０５で原稿１１０１の静止が検出され、撮像が実行された様子を示す図である。

撮像が実行されると、プロジェクタ２０７により、原稿があった位置と同じ位置に、原稿と重ねるようにして、読み取った原稿の画像が投影される。本実施の形態では、原稿と重ねるように読み取った原稿の画像を投影する処理を行っているが、原稿が取り除かれた後で、原稿が元あった場所と同じ場所に、読み取った原稿の画像を投影するようにしてもよい。

図１６（Ｂ）は、原稿１１０１を手１１０３で取り除くと、原稿のあった位置に読み取った原稿の画像である残像画像１１０２が投影表示される様子を示す図である。

図１６（Ｃ）は、読み取り領域２０５に残像画像１１０２が表示されている様子を示す図である。

図１６（Ｄ）は、カメラ２０２からの画像から手を認識することにより、手１１０４による残像画像１１０２の移動、拡大、縮小、印刷、及び記憶などの操作をする様子を示す図である。なお、これらの操作は、以下では主に手を用いて行うこととして説明しているが、手に限ったものではなく、ペンなどの特定の物理媒体を認識するようにして操作を行うようにしてもよい。

図１６（Ｅ）は、新たな原稿１１０５が、残像画像１１０２の領域に侵入した瞬間を示す図である。本実施の形態では、この新たな原稿１１０５の残像画像領域への侵入を検出すると、表示していた残像画像１１０２を非表示にする。

図１６（Ｆ）新たな原稿１１０５が残像画像１１０２の領域に侵入したので、表示していた残像画像１１０２が非表示となった様子を示す図である。

この状態で読み取り領域２０５に新たな原稿１１０５を置けば、再び図１６（Ａ）の状態に戻ってスキャンすることができる。

上記を繰り返すことで、操作できる残像画像を残しつつ、原稿の連続読み込みを行った際に、残像画像が新たな原稿に重なることによる認識率の低下を防ぐことができる。

また、残像画像領域への侵入を検出して残像画像を消去することで、誤って原稿等を読み取り領域にフレームインさせてしまった場合にも、残像画像領域に侵入していなければ、残像画像が消去されることはない。

これにより、残像画像の横に原稿を並べて置くことも可能となり、より自由な操作が可能となる。

図１７は、主として図４における撮像処理部４０６及びタイミング検出部４１０により実行される残像画像投影処理の手順を示すフローチャートである。

図１７に示される処理のうち、ステップＳ６１０〜ステップＳ６２２は、図１１の処理と同じであるため、説明を省略する。

図１７が図１１と異なる点は、ステップＳ６１１でフレームインまたはアウトが検出された後に、ステップＳ６２３の残像画像の処理がないこと、ステップＳ６２４のジェスチャ処理がないこと、及びステップＳ６２５の動き認識処理とステップＳ６２６の残像画像領域の画像記憶処理があることである。従って、以下の説明では上記ステップに関する内容を説明する。

ステップＳ６１１の判別の結果、フレームインまたはアウトを検出した場合には（ステップＳ６１１でＹＥＳ）、撮像処理部４０６は、原稿のフレームアウトが検出されたタイミングで、残像画像が投影されている場合、カメラ画像から、その残像画像領域の残像画像をＲＡＭ３０３に記憶する（ステップＳ６２６）。

この残像画像領域は、この処理が実行されるたびに更新される。またＲＡＭ３０３に記憶された残像画像は、残像画像領域への物体の侵入を検出する際に利用するための基準となる画像である。

図１８（Ｃ）は、読み取り領域２０５の画像から、残像画像領域２１０１の残像画像２１０２を示す図である。

残像画像が投影中か否かと、残像画像の投影位置については、図７で示した画像属性情報の表示座標を調べればよい。この処理が終了すると、ステップＳ６１２へ進む。

次に、ステップＳ６２５の説明をする。撮像処理部４０６は、動き認識部４１２に対して、現在のフレームと１つ前のフレームを送信し、動き認識の指示を出すことによって動き認識部４１２は動き認識処理を実行する（ステップＳ６２５）。この動き認識処理が終了すると、ステップＳ６１９へ進む。

図１９は、図１７のステップＳ６２５の動き認識処理の手順を示すフローチャートである。

図１９において、動き認識部４１２は、ステップＳ６１３で検出した画像変化量を発生させる物理オブジェクトが、手のみであるか否か判別する（ステップＳ１２０１）。

ここで、動き認識部４１２は、各フレームで画像の特徴量を抽出し、肌色や矩形を検出して手または原稿を識別し、それらの重心位置が、フレーム間で予め定められた範囲以上動いているか否か調べることで、物理オブジェクトが手のみであるか、または手以外も含むかを判別できる。

また、現在のフレームと１つ前のフレームとの差分をとり、その差分の色を調べることでも、物理オブジェクトが手のみであるか、または手以外を含むか否かを調べることができる。さらに、ステップＳ６１１で手や原稿のフレームインを検出した時点で、公知の技術を用いて、それらをトラッキングしてもよい。

ステップＳ１２０１の判別の結果、物理オブジェクトが、手のみである場合には（ステップＳ１２０１でＹＥＳ）、動き認識部４１２は、ジェスチャ処理を実行する。これには手がどのような形をし、どのような動きをしたかを認識して、その動きが何を意味するかを予め定めたコマンドに対応づければよい。

一方、ステップＳ１２０１の判別の結果、物理オブジェクトが、手のみでない場合には（ステップＳ１２０１でＮＯ）、動き認識部４１２は、読み取り領域２０５に読み取り後の原稿があるか否か判別する（ステップＳ１２２４）。

ここでは、状態フラグを用いて判別される。具体的に、読み取り領域２０５に読み取り後の原稿がある場合、読み取り領域２０５に読み取り後の原稿と、現在物理オブジェクトとして読み取り領域２０５に存在する原稿との２つの原稿に関する状態フラグがｔｒｕｅとなるので、これらを用いて判別することができる。

一方、読み取り後の原稿がない場合には、現在物理オブジェクトとして読み取り領域２０５に存在する原稿に対する状態フラグのみがｔｒｕｅとなる。

ステップＳ１２２４の判別の結果、読み取り領域２０５に読み取り後の原稿がある場合には（ステップＳ１２２４でＹＥＳ）、本処理を終了する。

一方、ステップＳ１２２４の判別の結果、読み取り領域２０５に読み取り後の原稿がない場合には（ステップＳ１２２４でＮＯ）、動き認識部４１２は、画像属性から、現在、残像画像が表示中であるか否か判別する（ステップＳ１２０２）。

ステップＳ１２０２の判別の結果、残像画像が表示中の場合には（ステップＳ１２０２でＹＥＳ）、動き認識部４１２は、物理オブジェクトが残像画像領域２１０１にあるか否か判別する（ステップＳ１２０３）。ここでは、ステップＳ６２６でＲＡＭ３０３に記憶しておいた残像画像と、現在の残像画像領域２１０１の画像とを比べることで判別ことができる。

ステップＳ１２０３の判別の結果、物理オブジェクトが残像画像領域２１０１にある場合には（ステップＳ１２０３でＹＥＳ）、動き認識部４１２は、現在表示中の残像画像を消去し（ステップＳ１２０４）、本処理を終了する。このとき、ＲＡＭ３０３に記憶されている表示中情報はｆａｌｓｅに変更される。

上記ステップＳ１２０２に戻り、ステップＳ１２０２の判別の結果、残像画像が表示中ではない場合には（ステップＳ１２０２でＮＯ）、動き認識部４１２は、物理オブジェクトが残像画像領域２１０１にあるか否か判別する（ステップＳ１２０５）。

ステップＳ１２０５の判別の結果、物理オブジェクトが残像画像領域２１０１にある場合には（ステップＳ１２０５でＹＥＳ）、本処理を終了する。

一方、ステップＳ１２０５の判別の結果、物理オブジェクトが残像画像領域２１０１にない場合には（ステップＳ１２０５でＮＯ）、動き認識部４１２は、直近の残像画像を再表示して（ステップＳ１２０６）、本処理を終了する。

この処理は、図１５のステップＳ１００９と同じ処理である。この処理によって、残像画像領域２１０１に誤って原稿を侵入させてしまい、残像画像が消去されてしまっても、残像画像領域２１０１から原稿を引き抜くことで、残像画像を再表示することが可能となる。

図２０は、影が発生した場合の処理について説明するための図である。

図２０（Ａ）は、原稿１７０３と残像画像領域２１０１との位置関係を示す図であり、図２０（Ｂ）は、影２０００が残像画像領域に侵入した例を示す図である。

図２０（Ａ）に示されるように、実際の残像画像１７０１と原稿１７０３の位置関係は残像画像領域２１０１に侵入していないにも関わらず、図２０（Ｂ）に示されるように、手や原稿の影２０００が残像画像領域に侵入する場合が考えられる。

このように影が残像画像領域に侵入した場合は、フレームインを検出していないとして、ステップＳ１２０１の時点で処理を終了するようにしてもよいし、ステップＳ６１１の時点でフレームインまたはアウトを未検出としてもよい。

影の検出方法としては、フレームインした部分の明度を測定し、所定の値より明度が低い部分を影であると判断する方法がある。このように、影が検出領域に侵入したことを検出可能となっている。そして、上述したように、影が検出領域に侵入したことが検出された場合には、残像画像を変更しないようにしてもよい。

以上説明したように、第２の実施の形態では、残像画像が表示されている領域に原稿が侵入することにより、残像画像を消去することが可能となり、原稿の連続スキャン時に原稿の認識率が下がることを防げる。

また、動体に手以外を含むか否かを区別することで、連続スキャンで残像画像を残しつつ、その残像画像を手で操作することが可能となり、操作性が向上する。

〔第３の実施の形態〕
第１，２の実施の形態において、読み取り領域２０５や残像画像領域などの予め定められた領域に原稿が侵入した際、直ちに残像画像を消去することで、次の画像読み取り精度の向上を図った。

第３の実施の形態は、第２の実施の形態をベースに、予め定められた領域への原稿侵入後、予め定められた時間が経過した後に残像画像を消去することで、誤って原稿を侵入させてしまった場合に、直ちに残像画像を消去しない形態となっている。

第１の実施の形態で説明したネットワーク構成、外観図、コントローラ構成、及びソフトウェア構成は第３の実施の形態でも同じであるので説明を省略する。

本実施の形態では、上述したように予め定められた時間が経過すると残像画像を消去する処理が図１９の処理に追加され、その他の部分は、第２の実施の形態と同じである。

図２１は、図１７のステップＳ６２５の動き認識処理の手順を示すフローチャートである。

図２１に示される処理のうち、ステップＳ１２１１〜Ｓ１２１７は、図１９のステップＳ１２０１〜Ｓ１２０７と同じであるため、説明を省略する。

ステップＳ１２１３の判別の結果、物理オブジェクトが残像画像領域２１０１にある場合には（ステップＳ１２１３でＹＥＳ）、動き認識部４１２は、タイマーがまだ動作していない場合はタイマーをスタートさせ、または既にスタートしている場合には何もしないタイマー処理を実行する（ステップＳ１２２０）。

次いで、動き認識部４１２は、物理オブジェクトが残像画像領域２１０１に侵入してから、予め定められた時間が経過したか否か判別する（ステップＳ１２１８）。ここでの物理オブジェクトは原稿である。

ステップＳ１２１８の判別の結果、予め定められた時間が経過していない場合には（ステップＳ１２１８でＮＯ）、本処理を終了する。

一方、ステップＳ１２１８の判別の結果、予め定められた時間が経過した場合には（ステップＳ１２１８でＹＥＳ）、現在表示中の残像画像を消去し（ステップＳ１２１４）、タイマーをリセットし（ステップＳ１２２１）、本処理を終了する。

ステップＳ１２１５の判別の結果、物理オブジェクトが残像画像領域２１０１にない場合には（ステップＳ１２１５でＮＯ）、動き認識部４１２は、タイマーがまだ動作していない場合はタイマーをスタートさせ、または既にスタートしている場合には何もしないタイマー処理を実行する（ステップＳ１２２２）。

次いで、動き認識部４１２は、物理オブジェクトが残像画像領域２１０１に侵入してから、予め定められた時間が経過したか否か判別する（ステップＳ１２１９）。ここでの物理オブジェクトは原稿である。

ステップＳ１２１９の判別の結果、予め定められた時間が経過していない場合には（ステップＳ１２１９でＮＯ）、本処理を終了する。

一方、ステップＳ１２１９の判別の結果、予め定められた時間が経過した場合には（ステップＳ１２１９でＹＥＳ）、直近の残像画像を再表示し（ステップＳ１２１６）、タイマーをリセットし（ステップＳ１２２３）、本処理を終了する。このように、第３の実施の形態では、検出領域に原稿が侵入してから予め定められた時間が経過すると、残像画像を消去するように変更する。

以上説明した第３の実施の形態によって、原稿が残像画像領域に侵入してから予め定められた時間経過後に残像画像を消去することが可能になり、誤って原稿を残像画像領域に侵入させてしまった場合でも、直ちに残像画像が消えることはない。

〔第４の実施の形態〕
第３の実施の形態は、残像画像領域へ原稿が侵入してから予め定められた時間が経過したタイミングで、残像画像を消去する形態であった。これと同様に、誤って残像画像を消去してしまわないようにするために、第４の実施の形態は、第２の実施の形態をベースに、残像画像と原稿の重なり具合によって残像画像の濃度を変え、予め定められた値以上の割合で重なった場合に残像画像を消去する形態となっている。

第１の実施の形態で説明したネットワーク構成、外観図、コントローラ構成、及びソフトウェア構成は第４の実施の形態でも同じであるので説明を省略する。

図２２は、残像画像領域への原稿の侵入により、残像画像が徐々に薄くなっていく様子を説明するための図である。

図２２（Ａ）は、読み取り領域２０５に残像画像１３０１が表示されており、手１３０２が持っている新しい原稿１３０４が、残像画像１３０１の残像画像領域に侵入した瞬間の様子を示す図である。

図２２（Ｂ）は、原稿１３０４が残像画像１３０１の残像画像領域に、図２２（Ａ）に示される状態よりも深く侵入し、さらに残像画像１３０１が図２２（Ａ）に示される状態と比較して薄く表示されている様子を示す図である。

図２２（Ｃ）は、原稿１３０４が、残像画像１３０１の残像画像領域に、図２２（Ｂ）に示される状態よりもさらに深く侵入し、残像画像１３０１が図２２（Ｂ）に示される状態と比較して薄く表示されている様子を示す図である。

図２２（Ｄ）は、原稿１３０４が、残像画像１３０１の残像画像領域と、予め定められた割合以上で重なったため、残像画像１３０１が非表示になっている様子を示す図である。

図２３は、図１７のステップＳ６２５の動き認識処理の手順を示すフローチャートである。

図２３に示される処理のうち、ステップＳ１４０１〜Ｓ１４０７までは、第２の実施の形態における図１９で示した動き認識処理のステップＳ１２０１〜Ｓ１２０７と同じであるため、説明を省略する。

ステップＳ１４０３の判別の結果、物理オブジェクトが残像画像領域にある場合には（ステップＳ１４０３でＹＥＳ）、動き認識部４１２は、原稿と残像画像領域の重なりの割合を計算する（ステップＳ１４０８）。

ここでは、ステップＳ６２６でＲＡＭ３０３に記憶しておいた残像画像と、現在の残像画像領域の画像とから、両画像の差分の残像画像領域に対する割合を求めればよい。

次いで、動き認識部４１２は、原稿と残像画像領域の重なりの割合が、予め定められた割合以上か否か判別する（ステップＳ１４０９）。

ステップＳ１４０９の判別の結果、原稿と残像画像領域の重なりの割合が、予め定められた割合以上ではない場合には（ステップＳ１４０９でＮＯ）、動き認識部４１２は、表示処理部４０８に指示し、残像画像の濃度を、重なりの割合に応じて変更し（ステップＳ１４１０）、本処理を終了する。

具体的に、動き認識部４１２は、重なりの割合に対応づけた濃度を表示処理部に４０８に指示する。表示処理部４０８は、残像画像の部分の濃度指示と、ＨＤＤ３０５に記憶された原稿画像データより、残像画像部分の濃度を変更した表示画像を生成し、操作表示部４０３に対して表示を指示する。このように、第４の実施の形態では、検出領域に侵入した原稿と検出領域との重なりの割合が大きくなるほど、残像画像の濃度を薄くしていくことで、残像画像を消去するように変更する。

以上説明したように、第４の実施の形態では、原稿の重なりの割合に応じて残像画像の濃度を薄くしていき、予め定められた割合以上で重なった場合に残像画像を消去することができる。

これにより、誤って残像画像領域に原稿を侵入させてしまった場合でも、直ちには消えず、少し薄くなるだけである。また、原稿を残像画像領域から除くともとの濃度で表示される。

〔第５の実施の形態〕
第３，４の実施形態は、誤って残像画像に原稿を侵入させてしまった場合に、直ちに残像画像を消去しないようにする形態であった。

第５の実施の形態は、第２の実施形態をベースに、残像画像と原稿の重なった部分のみ残像画像を欠けたように消去し、予め定められた割合以上で重なった場合に残像画像を消去する形態となっている。

第１の実施の形態で説明したネットワーク構成、外観図、コントローラ構成、及びソフトウェア構成は第５の実施の形態でも同じであるので説明を省略する。

図２４は、残像画像領域への原稿の侵入により、残像画像が徐々に欠けていく様子を説明するための図である。

図２４（Ａ）と（Ｅ）、（Ｂ）と（Ｆ）、（Ｃ）と（Ｇ）、（Ｄ）と（Ｈ）はそれぞれ対応しており、（Ａ）（Ｂ）（Ｃ）（Ｄ）が読み取り領域２０５の原稿と残像画像の両方の状態を表したものであり、（Ｅ）（Ｆ）（Ｇ）（Ｈ）はその状態のときに表示される残像画像の様子を表したものである。

図２４（Ａ）、（Ｅ）は、読み取り領域２０５に残像画像１５０１が表示されており、手１５０２が持っている新しい原稿１５０４が、残像画像１５０１の残像画像領域に侵入した瞬間の様子を示す図である。

図２４（Ｅ）はその瞬間に投影されている残像画像を表しており、原稿１５０４が侵入した左下の部分が欠けた残像画像１５０１が表示されていることを示す図である。

図２４（Ｂ）は原稿１５０４が残像画像１５０５の残像画像領域に、（Ａ）で示した状態よりも深く侵入している状態を示し、図２４（Ｆ）は、（Ｅ）に示される状態と比較して残像画像の欠けた部分が大きくなった残像画像１５０５が表示されている様子を示す図である。

図２４（Ｃ）は、原稿１５０４が、残像画像１５０６の残像画像領域に（Ｂ）で示した状態よりもさらに深く侵入している状態を示し、より大きくかけた残像画像１５０６を示す図である。図２４（Ｇ）はその状態で表示している残像画像１５０６を示す図である。

図２４（Ｄ）は、原稿１５０４が、残像画像領域と、予め定められた割合以上で重なったため、残像画像が非表示になっている様子を示す図である。図２４（Ｈ）は残像画像が非表示になった読み取り領域２０５の様子を示す図である。

図２５は、図１７のステップＳ６２５の動き認識処理の手順を示すフローチャートである。

図２５に示される処理のうち、ステップＳ１６０１〜Ｓ１６０７は、第２の実施形態における図１９で示した動き認識処理のステップＳ１２０１〜Ｓ１２０７と同じであるため、説明を省略する。

また、ステップＳ１６０８、Ｓ１６０９は、図２３のステップＳ１４０８、Ｓ１４０９のそれぞれと同じであるため、説明を省略する。

ステップＳ１６０９の判別の結果、原稿と残像画像領域の重なりの割合が、予め定められた割合以上ではない場合には（ステップＳ１６０９でＮＯ）、動き認識部４１２は、表示処理部４０８に指示し、原稿が重なった部分を欠けさせた残像画像を表示して（ステップＳ１６１０）、本処理を終了する。

具体的に、動き認識部４１２は、表示処理部４０８に対し、欠けた残像画像を表示する指示を出す。表示処理部４０８は、ステップＳ６２６でＲＡＭ３０３に記憶しておいた残像画像領域の画像と、現在の残像画像領域の画像から、差分がない部分のマスク画像を生成する。

表示処理部４０８は、マスク画像と、ＨＤＤ３０５に記憶された原稿画像データより、原稿が重なった部分が欠けた残像画像を含む表示画像を生成し、操作表示部４０３に対して表示を指示する。

一方、ステップＳ１６０９の判別の結果、原稿と残像画像領域の重なりの割合が、予め定められた割合以上の場合には（ステップＳ１６０９でＹＥＳ）、残像画像を消去して（ステップＳ１６０４）、本処理を終了する。このように、第５の実施の形態では、残像画像が表示されている残像画像領域に侵入した原稿に重なっている部分を残像画像から除いた残像画像に変更した画像に残像画像を変更していくことで、残像画像を消去するように変更する。

以上説明したように、第５の実施の形態では、残像画像と原稿の重なった部分のみ残像画像を欠けたように消去し、予め定められた割合以上で重なった場合に残像画像を消去することができる。

これにより、誤って残像画像に原稿を侵入させてしまった場合にも、直ちに残像画像が消去されることはない。

〔第６の実施の形態〕
第６の実施の形態は、原稿が読み取り領域２０５にフレームインしたことを検出して表示画像を予め定められた領域に移動する形態である。

第１の実施の形態で説明したネットワーク構成、外観図、コントローラ構成、及びソフトウェア構成は第６の実施の形態でも同じであるので説明を省略する。

図２６は、原稿の操作例、及び表示画像例を示す図である。

図２６おいては、第１の実施の形態における図８（Ａ）〜（Ｄ）、第２の実施の形態における図１６（Ａ）〜（Ｄ）と同様に、原稿の撮像が行われ、残像画像が残っているものとする。

図２６（Ａ）において、残像画像２２０１が示された状態で、新たな原稿２２０３がフレームインしたときの様子を示す図である。このように、図２６の場合の原稿を検出するための検出領域は、撮像領域である読み取り領域２０５となっている。

そして、図２６の（Ａ）→（Ｂ）→（Ｃ）の流れは、新たな原稿２２０３がフレームインしてからの残像画像の移動の流れを示している。

本実施の形態では、新たな原稿２２０３がフレームインしたことを検出すると、表示中の残像画像２２０１を読み取りの邪魔にならない予め定められた領域２２０８に移動する。

図２６（Ｂ）は、予め定められた領域２２０８に移動する際に表示される遷移画像２２０４〜２２０７を示す図である。

図２６（Ｂ）に示されるように、残像画像２２０１は予め定められた領域２２０８に徐々に移動する。このとき、遷移画像２２０４〜２２０７に示されるように、サイズを小さくしながら、予め定められた領域２２０８へ移動している。

図２６（Ｃ）は、予め定められた領域２２０８に、移動後の残像画像としてサムネイル画像２２０７が収まった様子を示す図である。

この状態で空いた領域に新たな原稿２２０３を置けば、残像画像に邪魔されることなく原稿を読み取ることができ、原稿認識精度を確保できる。

なお、図２６（Ｂ）では、残像画像２２０１が移動する様子を、遷移画像２２０４〜２２０７で表示するように表したが、必ずしも遷移画像を表示する必要はなく、図２６（Ｂ）に示される状態をとばして、図２６（Ａ）→（Ｃ）のように遷移するようにしてもよい。

また、図２６（Ｃ）では分かりやすくするため領域２２０８を図示しているが、実際の読み取り領域２０５に領域２２０８を表示してもしなくてもよい。上記予め定められた領域２２０８は、サムネイル画像を表示するために予め定められたサムネイル画像表示領域に対応する。

図２７は、図３におけるＲＡＭ３０３に記憶されるサムネイル画像を生成した場合の文書属性情報及び画像属性情報を示す図である。

図２７において、文書属性情報及び画像属性情報は、２枚の原稿がスキャンされ、２枚目の残像画像がまだ読み取り領域２０５に投影されている場合の情報を示している。

各原稿画像データに対して、画像属性情報には、サムネイル画像の座標を表すＳＭＮ座標、サムネイル表示中か否かを表すＳＭＮ表示中情報、サムネイルを一意に決める名前であるＳＭＮ名が含まれている。

図２７の場合、Ｎｏ１の管理データ２４０１では、生成されたサムネイル画像が表示されているため、ＳＭＮ名、及びＳＭＮ座標には値が入り、ＳＭＮ表示中情報はｔｒｕｅとなる。

Ｎｏ２の管理データ２４０２では、残像画像の表示中情報はｔｒｕｅであるが、未だサムネイル画像は表示されていない。従って、ＳＭＮ座標とＳＭＮ名は空であり、ＳＭＮ表示中情報はｆａｌｓｅである。

ＳＭＮ座標は、本実施の形態の場合、サムネイル画像の矩形の対角をなす２頂点の座標としたが、サムネイル画像の表示位置を一意に決められる情報であればよい。

図２８は、サムネイル画像の座標及び表示画像を示す図である。

図２８（Ａ）は、残像画像２５０１が読み取り領域２０５に表示されている様子を示す図である。図２８（Ｂ）は、（Ａ）で示される状態のとき、表示処理部４０８で生成された表示画像を示す図である。

図２８（Ｃ）は、サムネイル画像２５０４を表示している様子を示す図である。図２８（Ｄ）は、（Ｃ）で示される状態のとき、表示処理部４０８で生成された表示画像を示す図である。

図２８（Ｃ）において、領域２５０６内のサムネイル画像２５０４の表示位置は、座標Ｐ１１（ＸＳ１１，ＹＳ１１）、Ｐ１２（ＸＳ１２，ＹＳ１２）で表現されている。

これらの座標は、例えば読み取り領域２０５の左上の点を原点とし、ピクセル単位で一意に決められる。この座標を用いて、図２８（Ｄ）に示される表示画像が生成される。

図２８（Ｅ）は、２枚目のサムネイル画像が表示されている様子を示す図である。図２８（Ｆ）は、（Ｅ）で示される状態のとき、表示処理部４０８で生成された表示画像を示す図である。座標ＹＳ１２とＹＳ２１の間は、予め決められた距離だけあけておけばよい。

図２９は、図１１のステップＳ６２３の残像画像処理の手順を示すフローチャートである。

図２９に示される処理のうち、ステップＳ１００１〜Ｓ１００４は、図１５の処理と同じであるため、説明を省略する。

そして、今回の場合は、ステップＳ１００１〜Ｓ１００４までの処理で、タイミング検出部４１０は、フレームインが検出され、物理オブジェクトが原稿を含み、残像画像が表示中であり、読み取り領域２０５に原稿がないと判別された（ステップＳ１００４でＮＯ）ものとする。

タイミング検出部４１０は、残像画像からサムネイル画像を生成する（ステップＳ２３０１）。このとき、現在表示中の残像画像の元データである原稿画像データをＨＤＤ３０５から取得し、サムネイル用に所定の方法で縮小処理してサムネイル画像を生成する。生成されたサムネイル画像はＲＡＭ３０３に記憶される。サムネイル画像は、原稿画像データと、図２７で説明した文書属性情報及び画像属性情報とともに記憶される。

次いで、タイミング検出部４１０は、表示処理部４０８に対して、原稿画像データのＮｏを伝え、その原稿画像データのサムネイル画像を表示するよう指示する。表示処理部４０８は、サムネイル画像の表示指示を受けると、指示を受けた番号の画像属性データの、ＳＭＮ表示情報をｔｒｕｅに変更し、ＲＡＭ３０３からサムネイル画像を取得する。

そして、取得したサムネイル画像を予め定められた領域に表示する（ステップＳ２３０２）。

次いで、表示処理部４０８は、ステップＳ２３０２で指示を受けた残像画像である原稿画像データの表示中情報をｆａｌｓｅに変更する。

その後、残像画像は非表示、サムネイル画像をＳＭＮ座標の領域のデータで指定された位置に描画した表示画像データを生成し、操作表示部４０３へ送信する。操作表示部４０３は、送られてきた表示画像を、プロジェクタ２０７を用いて読み取り領域２０５に投影することで、残像画像を消去して（ステップＳ２３０３）、本処理を終了する。

以上説明したように、第６の実施の形態では、読み取り領域２０５への原稿のフレームインしたことを検出して、残像画像をサムネイル画像として予め定められた領域まで移動することが可能となる。

〔第７の実施の形態〕
第７の実施の形態は、原稿が読み取り領域２０５ではなく残像画像領域にフレームインしたことを検出して表示画像を予め定められた領域に移動する形態である。

第１の実施の形態で説明したネットワーク構成、外観図、コントローラ構成、及びソフトウェア構成は第７の実施の形態でも同じであるので説明を省略する。

図３０は、原稿の操作例、及び表示画像例を示す図である。

図３０おいては、第１の実施の形態における図８（Ａ）〜（Ｄ）、第２の実施の形態における図１６（Ａ）〜（Ｄ）と同様に、原稿の撮像が行われ、残像画像が残っているものとする。

図３０（Ａ）は、残像画像２６０１が示された状態で、新たな原稿２６０３が残像画像領域に侵入したときの様子を示す図である。このように、図３０の場合の原稿を検出するための検出領域は、残像画像が表示されている残像画像領域となっている。

そして、図３０（Ａ）→（Ｂ）→（Ｃ）の流れは、新たな原稿２６０３が残像画像領域に侵入してからの残像画像の移動の流れを示している。

本実施の形態では、新たな原稿２６０３が残像画像領域に侵入したことを検出すると、表示中の残像画像２６０１を読み取りの邪魔にならない予め定められた領域２６０８に移動する。

図３０（Ｂ）は、予め定められた領域に移動する際に表示される遷移画像２６０４〜２６０７を示す図である。

図３０（Ｃ）は、予め定められた領域２６０８に、移動後の残像画像としてサムネイル画像２６０７が収まった様子を示す図である。

図３１は、図１７のステップＳ６２５の動き認識処理の手順を示すフローチャートである。

図３１に示される処理のうち、ステップＳ１２０１〜Ｓ１２０３までは、第２の実施形態における図１９で示した動き認識処理のステップＳ１２０１〜Ｓ１２０３と同じであり、ステップＳ２７０１〜ステップＳ２７０３は、図２９で示したステップＳ２３０１〜Ｓ２３０３と同じであり、ステップＳ２７０５は図１１のステップＳ６２４と同じあるため、図３１に示される処理は既に説明されている。

なお、本実施の形態の場合、ステップＳ２７０５のジェスチャ処理において、残像画像をサムネイル画像に変更し、予め定められた領域へ移動する指示を与えるジェスチャや、逆に予め定められた領域に存在するサムネイル画像の元の残像画像を、再表示するジェスチャを新たなジェスチャとして加えてもよい。

以上説明したように、第７の実施の形態では、残像画像領域への原稿の侵入を検出して、残像画像をサムネイル画像として予め定められた領域まで移動することが可能となる。

〔第８の実施の形態〕
第６，７の実施の形態は、残像を残しつつ高い認識精度を保って、連続読み込みを行うために、残像画像をサムネイル画像として、予め定められた領域まで移動する形態であった。

本実施の形態では、主に、予め定められた領域のサムネイル画像に新しい原稿が重なって置かれた場合の対処方法として、サムネイル画像を移動させる方法について説明する。

さらに、複数の原稿を連続読み込みしたために、予め定められた領域がサムネイル画像で埋め尽くされた場合や、読み取り領域２０５に対して原稿が大きいために、予め用意された領域に原稿が重なってしまう場合などに対処する方法について説明する。

第１の実施の形態で説明したネットワーク構成、外観図、コントローラ構成、及びソフトウェア構成は第８の実施の形態でも同じであるので説明を省略する。

図３２（Ａ）は、読み取り領域２０５においてサムネイル画像が表示される予め定められた領域を示す図である。

図３２（Ａ）において、予め定められた領域３００１〜３００４が示されている。図３２（Ａ）の例では、４つの領域が存在し、この領域にサムネイル画像が表示される。

各領域を実際に読み取り領域２０５に表示してもしなくてもよい。また、各領域の初期位置は予め定められており、それらの位置は起動時にＲＡＭ３０３に展開される。

本実施の形態では、領域を４つとしているが、４つに限定されるものではなく、位置も図３２（Ａ）に示されるように両端と上下に限定されるものではない。

図３２（Ｂ）は、領域３００１に表示されているサムネイル画像３１０２に、原稿３１０１が重なった様子を示す図であり、図３２（Ｃ）はサムネイル画像の配置位置を変更した様子を示す図である。

図３２（Ｂ）に示される状態の場合、領域３００１の下の部分はサムネイル画像３１０２を配置する広さが残っている。この広さが残っているか否かは、領域のうちの原稿が重なっていない部分の画像に、サムネイルのサイズの画像が配置可能か否か調べることで判別できる。

配置位置を変更可能であれば、図３２（Ｃ）のように、原稿３１０１に重ならないようにサムネイル画像３１０２の配置位置を変更する。

上述した配置位置の変更は、まずＲＡＭ３０３に記憶されている予め定められた領域の位置を用いて、図１０のステップＳ６０４でＨＤＤ３０５に記憶された背景画像から領域の画像を切り出す。

こうして切り出した背景画像の領域の画像と、現在の領域の画像からサムネイル画像領域の部分を差し引いた画像を比較することで、予め定められた領域のうち、原稿が重なっていない領域が分かる。

その領域を用いて、予め定められた領域内にサムネイル画像配置可能な領域が残されているかどうかを確認することができる。

また、サムネイル画像のサイズは、図２７の画像属性情報の表示座標などを用いれば得ることができる。

図３３は、予め定められた領域がサムネイル画像で埋め尽くされている場合に原稿が重なったときの様子を示す図である。

図３３（Ａ）は、領域３００１にサムネイル画像３２０２〜３２０４が表示されており、それに原稿３２０１が重なった様子を示す図である。

図３３（Ｂ）は、領域３００１以外の他の領域３００２〜３００４に空きがあることを示す図である。

図３３（Ｂ）に示されるように、領域３００１には全てのサムネイル画像３２０２〜３２０４を配置することはできないが、他の領域３００２〜３００４であれば全てのサムネイル画像３２０２〜３２０４を配置することができる。

そこで、例えば領域３００２にサムネイル画像３２０２〜３２０４を配置することで、全てのサムネイル画像を表示することができる。

図３３（Ｃ）は、領域３００２に全てのサムネイル画像３２０２〜３２０４を配置した様子を示す図である。

なお、４つの領域に優先順位を設け、その優先順位に従って全てのサムネイル画像が配置できる領域を順に探していってもよい。このように、サムネイル画像表示領域は複数存在し、複数のサムネイル画像表示領域のうち、検出領域に侵入した原稿とサムネイル画像とが重ならない位置を含むサムネイル画像表示領域にサムネイル画像を表示させる。

さらに、複数のサムネイル画像を表示させる場合に、複数のサムネイル画像の全てを表示可能な１つのサムネイル画像表示領域に複数のサムネイル画像を表示させる。

図３４は、サムネイル画像を再配置する様子を示す図である。

図３４（Ａ）は、３つのサムネイル画像３３０２〜３３０４が、領域３００１に表示されており、原稿３３０１がサムネイル画像３３０３，３３０４に重なっている様子を示す図である。

同図に示されるように、領域３００１には、１つのサムネイル画像しか配置することができない。

図３４（Ｂ）は、領域３００１以外の他の領域３００２〜３００４に空きがあることを示す図である。

同図に示されるように、領域３００２，３００３にも、１つずつサムネイル画像を配置可能な領域が存在する。

このような場合は、領域にまたがってサムネイル画像を再配置すれば、原稿３３０１と重ならないようにサムネイル画像を配置できる。

図３４（Ｃ）（Ｄ）は、サムネイル画像３３０２〜３３０４の再配置例を示す図である。

図３４（Ｃ）は、領域３００２にサムネイル画像３３０３を配置し、領域３００３にサムネイル画像３３０４を配置し、領域３００１にサムネイル画像３３０２を配置した例を示している。

図３４（Ｄ）は、領域３００２にサムネイル画像３３０２を配置し、領域３００３にサムネイル画像３３０３を配置し、領域３００１にサムネイル画像３３０４を配置した例を示している。

上述した優先順位が高い順に領域３００１、領域３００２、領域３００３、領域３００４となっているとする。

このとき、図３４（Ａ）→（Ｃ）への変化は、上述した優先順位に従って、サムネイル画像を上から順番に割り振っていった結果を示している。

しかし図３４（Ｃ）において、サムネイル画像の順番は守られず、ユーザにとって分かりづらいものになってしまう可能性もある。

その場合を考慮して、今回のように横一列に並びなおす場合は、図３４（Ｄ）に示されるように、左から順番にサムネイル画像３３０２、サムネイル画像３３０３、サムネイル画像３３０４となるように並べ直して表示してもよい。

また、元のサムネイルの移動先をユーザに直感的に理解させるために、移動の際は移動の過程をアニメーションで表示してもよい。このように、複数のサムネイル画像を表示させる場合に、複数のサムネイル画像の全てを表示可能な１つのサムネイル画像表示領域が存在しないときは、複数のサムネイル画像を複数のサムネイル画像表示領域にまたがって表示させる。

図３５は、サムネイル画像をまとめて表示する様子を示す図である。

図３５（Ａ）は、３つのサムネイル画像３４０２，３４０３，３４０４が、領域３００１に表示されており、原稿３４０１がサムネイル画像３４０２，３４０３に重なっている様子を示す図である。

同図に示されるように、領域３００１には、１つのサムネイル画像しか配置することができない。

図３５（Ｂ）は、領域３００１以外の他の領域３００２〜３００４には、サムネイル画像を配置できないことを示す図である。この場合、図３４で示したような領域にまたがって配置することもできない。

図３５（Ｃ）は、サムネイル画像をまとめて表示する様子を示す図である。

このように、１つのサムネイル画像しか配置することができない場合には、動き認識部４１２は、複数のサムネイル画像をまとめた表示画像を作成するように、表示処理部４０８に対して指示を出す。

まとめた表示画像は、表示中の全てのサムネイル画像を重ねたような画像であり、その大きさはサムネイル画像のほぼ１つ分の大きさである。このとき、動き認識部４１２は、全ての表示中のサムネイル画像のＳＭＮ座標の値を、１つのサムネイル画像なら表示可能な領域の座標に変更する。つまり全てのサムネイル画像のＳＭＮ座標の値は同じものとなる。このように、複数のサムネイル画像を表示させる場合に、１つのサムネイル画像を表示することしかできないときは、複数のサムネイル画像を略１つのサムネイル画像の大きさにまとめた画像を表示させる。

図３６は、サムネイル画像を縮小して表示する様子を示す図である。

図３６（Ａ）は、３つのサムネイル画像３５０２〜３５０４が、領域３００１に表示されており、原稿３５０１がサムネイル画像３５０２〜３５０４に重なっている様子を示す図である。

図３６（Ｂ）は、図３６（Ａ）に示される図から原稿３５０１を取り除いて、各領域とサムネイル画像を示す図である。

これらの図に示されるように、いずれの領域３００１〜３００４においても１つのサムネイル画像でさえ表示することができない。

図３６（Ｃ）は、領域のサイズを縮小してサムネイル画像を表示した様子を示す図である。

図３６（Ｄ）は、図３６（Ｃ）に示される図から原稿３５０１を取り除き、各領域とサムネイル画像を示す図である。

図３６（Ａ）に示される状態となったとき、動き認識部４１２は、領域のサイズを縮小する処理を実行することにより、図３６（Ｃ）に示される状態になる。領域のサイズの初期値は、ＲＡＭ３０３に記憶されている座標によって定められている。

このサイズを縮小することで、そのサイズにあうサムネイル画像ならば表示することができる。しかし、あまり縮小すると画像を確認できなくなるため、サイズの下限を予め定めておくようにする。このように、サムネイル画像を表示させる場合に、サムネイル画像を表示可能なサムネイル画像表示領域が存在しないときは、サムネイル画像を縮小したサムネイル画像を表示させる。また、サムネイル画像を縮小して表示させる場合に、縮小したサムネイル画像のサイズが予め定められたサイズ以下となるときには、サムネイル画像を非表示とする。

図３７は、サムネイル画像を縮小した場合に小さくなりすぎたときの様子を示す図である。

図３７（Ａ）は、３つのサムネイル画像３６０２〜３６０４が、領域３００１に表示されており、原稿３６０１がサムネイル画像３６０２〜３６０４に重なっている様子を示す図である。

図３７（Ｂ）は、サイズを縮小すると小さくなりすぎるので、３つのサムネイル画像３６０２〜３６０４を非表示とした様子を示す図である。

図３７（Ｃ）は、サムネイル画像３６０２〜３６０４を非表示とした様子を示す図である。図３７（Ｄ）は、非表示とされたサムネイル画像３６０２〜３６０４を示す図である。

図３７（Ｅ）は、（Ｄ）に示される状態で、手３６０５を検出することで、サムネイル画像３６０２〜３６０４を表示する様子を示す図である。

このように、動き認識部４１２は、サイズが予め定められたサイズ以下となる場合には、表示しているサムネイル画像すべてを非表示とする。そして、それらサムネイル画像のＳＭＮ表示中情報をｆａｌｓｅに変更する。

図３８，３９は、図１７のステップＳ６２５の動き認識処理の手順を示すフローチャートである。

図３８に示される処理のうち、ステップＳ１２０１〜Ｓ１２０３、Ｓ１２２４の処理は、図１９の処理と同じであるため、説明を省略する。また、ステップＳ２８０１〜Ｓ２８０３の処理は、図２９のステップＳ２３０１〜Ｓ２３０３の処理と同じであるため、説明を省略する。

そこで、まずステップＳ２８０３の次のステップＳ２８０４を説明する。動き認識部４１２は、サムネイル画像表示領域の画像をＲＡＭ３０３に記憶する。この記憶の方法は、第２の実施の形態の図１８（Ｃ）に示されるように、残像画像領域の画像を切り出して記憶する方法と同様の方法である。

サムネイル画像の投影位置については、サムネイル画像の画像属性情報を調べればよい。また、複数のサムネイル画像が存在する場合には、全てのサムネイル画像表示領域について、画像を記憶する。この処理が終わると、本処理を終了する。

ステップＳ１２０２の判別の結果、残像画像が表示中でない場合には（ステップＳ１２０２でＮＯ）、動き認識部４１２は、物理オブジェクトがサムネイル画像に重なっているか否か判別する（ステップＳ２８０６）。同じく、ステップＳ１２０３の判別の結果、物理オブジェクトが残像画像領域２１０１にない場合には（ステップＳ１２０３でＮＯ）、動き認識部４１２は、物理オブジェクトがサムネイル画像に重なっているか否か判別する（ステップＳ２８０６）。ここでの物理オブジェクトは原稿である。

この処理は図１９で説明したステップＳ１２０３の処理と同じ方法で判別することができる。つまり、ステップＳ２８０４でＲＡＭ３０３に記憶しておいたサムネイル画像領域の画像と、現在のサムネイル画像領域の画像を比べることで判別できる。このとき、ステップＳ２８０４で記憶した全てのサムネイル画像領域に対して判別する。

ステップＳ２８０６の判別の結果、物理オブジェクトがサムネイル画像に重なっていない場合には（ステップＳ２８０６でＮＯ）、本処理を終了する。

一方、ステップＳ２８０６の判別の結果、物理オブジェクトがサムネイル画像に重なっている場合には（ステップＳ２８０６でＹＥＳ）、動き認識部４１２は、原稿に重なったサムネイル画像を領域内で移動させるサムネイル移動処理を実行し、本処理を終了する。このサムネイル移動処理については後述する。

次に、ステップＳ２８１７から説明する。動き認識部４１２は、読み取り領域２０５に読み取り後の原稿が置かれているか否か判別する（ステップＳ２８１７）。

ステップＳ２８１７の判別の結果、読み取り領域２０５に読み取り後の原稿が置かれている場合には（ステップＳ２８１７でＹＥＳ）、動き認識部４１２は、ジェスチャ処理を実行し（ステップＳ２８１８）、本処理を終了する。

一方、ステップＳ２８１７の判別の結果、読み取り領域２０５に読み取り後の原稿が置かれていない場合には（ステップＳ２８１７でＮＯ）、図３９に移り、動き認識部４１２は、サムネイル移動処理によって非表示にされた領域があるか否か判別する（図３７（Ｄ）参照）（ステップＳ２８０９）。

ここでは、サムネイル画像のＳＭＮ座標の値が存在するにも関わらず、ＳＭＮ表示中情報がｆａｌｓｅになっているか否かで判別できる。

ステップＳ２８０９の判別の結果、非表示にされた領域がある場合には（ステップＳ２８０９でＹＥＳ）、非表示にされた領域のサムネイル画像ごとに再表示して（ステップＳ２８１０）、ステップＳ２８１１に進む。このとき、領域自体は表示してもしなくてもよい。このように、サムネイル画像を非表示とされた後に、検出領域で原稿が検出されなくなった場合には、非表示とされたサムネイル画像を表示させる。

この処理により、一旦サムネイル画像が非表示にされても、手を検出することで再表示することが可能となる。

一方、ステップＳ２８０９の判別の結果、非表示にされた領域がない場合には（ステップＳ２８０９でＮＯ）、動き認識部４１２は、サムネイル画像が縮小されているか否か判別する（図３６（Ｃ）参照）（ステップＳ２８１１）。

ここでは、ＳＭＮ座標から、サムネイル画像の現在のサイズを計算し、初期値として定められているムネイル画像のサイズと比較することで判別できる。

ステップＳ２８１１の判別の結果、サムネイル画像が縮小されている場合には（ステップＳ２８１１でＹＥＳ）、動き認識部４１２は、縮小された領域やサムネイル画像のサイズを初期値に戻して表示して（ステップＳ２８１２）、ステップＳ２８１３に進む。このように、縮小されたサムネイル画像が表示された後に、検出領域で原稿が検出されなくなった場合、または手が検出領域に侵入したことが検出された場合には、縮小される前のサイズのサムネイル画像である初期値のサイズに戻したサムネイル画像を表示させる。

一方、ステップＳ２８１１の判別の結果、サムネイル画像が縮小されていない場合には（ステップＳ２８１１でＮＯ）、動き認識部４１２は、複数のサムネイル画像がまとめられているか否か判別する（図３５（Ｃ）参照）（ステップＳ２８１３）。

ここでは、ＳＭＮ座標が、全てのサムネイル画像において同じになっているか否か判別すればよい。

ステップＳ２８１３の判別の結果、複数のサムネイル画像がまとめられている場合には（ステップＳ２８１３でＹＥＳ）、動き認識部４１２は、まとめられたサムネイル画像を別々に展開して表示して（ステップＳ２８１４）、ステップＳ２８１５に進む。このように、まとめた画像が表示された後に、手が検出領域に侵入したことが検出された場合には、まとめた画像を別々のサムネイル画像に展開して表示する。

一方、ステップＳ２８１３の判別の結果、複数のサムネイル画像がまとめられていない場合には（ステップＳ２８１３でＮＯ）、動き認識部４１２は、サムネイル画像が複数の領域にまたがって表示されているか否か判別する（図３４（Ｃ）（Ｄ）参照）（ステップＳ２８１５）。ここでは、ＳＭＮ座標を確認することで判別できる。

ステップＳ２８１５の判別の結果、サムネイル画像が複数の領域にまたがって表示されていない場合には（ステップＳ２８１５でＮＯ）、ステップＳ２８０５に進む。

一方、ステップＳ２８１５の判別の結果、サムネイル画像が複数の領域にまたがって表示されている場合には（ステップＳ２８１５でＹＥＳ）、動き認識部４１２は、サムネイル画像を１か所の領域に集めて表示する（ステップＳ２８１６）。仮に１か所の領域に表示できない場合には、複数の領域に表示する。次いで、ジェスチャ処理を実行し（ステップＳ２８０５）、本処理を終了する。

上述した図３９の処理により、複数の領域にまたがって表示されたり、まとめられたり、縮小されたりされたサムネイル画像も、初期値の大きさで元の位置に表示することが可能となる。また、ユーザは手を読み取り領域２０５にかざすだけで再表示することが可能となる。

図４０は、図３８のステップＳ２８０７のサムネイル移動処理の手順を示すフローチャートである。

図４０において、動き認識部４１２は、図３２（Ａ）で示した予め定められた領域３００１〜３００４のうち、１つの領域に全てのサムネイル画像を配置できるか否か判別する（図３２（Ｂ）（Ｃ）、図３３参照）（ステップＳ２９０１）。例えば、図３２（Ｂ）の場合には、ここでは肯定判別されることとなる。

ステップＳ２９０１の判別の結果、１つの領域に全てのサムネイル画像を配置できる場合には（ステップＳ２９０１でＹＥＳ）、動き認識部４１２は、サムネイル画像を上記１つの領域に配置して（ステップＳ２９０２）、本処理を終了する。

例えば、図３２（Ｃ）に示されるようにサムネイル画像３１０２を移動する。また図３３（Ｃ）に示されるようにサムネイル画像３２０２〜３２０４を移動する。

このとき、動き認識部４１２は、表示処理部４０８に対して、サムネイル画像の移動指示を出す。その際、ステップＳ２９０１で明らかになった領域の表示可能位置の情報も一緒に伝える。この表示可能位置の情報は、領域内に含まれる矩形領域を表す座標など、その領域を一意に決められるものであればよい。

表示処理部４０８は、移動指示を受けると、指示された表示可能領域にサムネイル画像を張り付けた表示画像を生成して操作表示部４０３に描画指示を出す。

ステップＳ２９０１の判別の結果、１つの領域に全てのサムネイル画像を配置できない場合には（ステップＳ２９０１でＮＯ）、動き認識部４１２は、複数の領域にまたがって全てのサムネイル画像を配置できるか否か判別する（図３４参照）（ステップＳ２９０３）。

ステップＳ２９０３の判別の結果、複数の領域にまたがって全てのサムネイル画像を配置できる場合には（ステップＳ２９０３でＹＥＳ）、動き認識部４１２は、複数の領域にまたがって全てのサムネイル画像を配置して（ステップＳ２９０４）、本処理を終了する。

具体的に、動き認識部４１２は、表示処理部４０８に対して、サムネイル画像の移動指示を出す。その際、ステップＳ２９０３で明らかになった複数の領域にまたがる表示可能位置の情報の情報も一緒に伝える。表示処理部４０８は、移動指示を受けると、サムネイル移動後の表示画像を作成して表示する。

ステップＳ２９０３の判別の結果、複数の領域にまたがって全てのサムネイル画像を配置できない場合には（ステップＳ２９０３でＮＯ）、動き認識部４１２は、領域に１つのサムネイル画像を配置できるか否か判別する（図３５参照）（ステップＳ２９０５）。

なお、サムネイル画像の数が１つの場合には、ステップＳ２９０１で肯定判別されるため、このステップＳ２９０５に到達している場合には、サムネイル画像は複数存在することとなる。

ステップＳ２９０５の判別の結果、領域に１つのサムネイル画像を配置できる場合には（ステップＳ２９０５でＹＥＳ）、動き認識部４１２は、複数のサムネイル画像をまとめた表示画像を作成するように、表示処理部４０８に対して指示を出すことで、複数のサムネイル画像をまとめる（ステップＳ２９０６）。

次いで、表示処理部４０８は、全てのサムネイル画像をまとめた画像を配置して（ステップＳ２９０７）、本処理を終了する。これにより、全てのサムネイル画像が、まとめられる形で１か所に移動し、原稿と重なることはなくなる。

ステップＳ２９０５の判別の結果、領域に１つのサムネイル画像を配置できない場合には（ステップＳ２９０５でＮＯ）、動き認識部４１２は、領域を縮小する（ステップＳ２９０８）。

次いで、動き認識部４１２は、縮小した領域に合うように、サムネイル画像を縮小する（ステップＳ２９０９）。これには、サムネイル画像の座標、ＳＭＮ座標を調整すればよい。

次いで、動き認識部４１２は、サムネイル画像のサイズが予め定められたサイズ以下か否か判別する（ステップＳ２９１０）。ここでの予め定められたサイズは、サムネイル画像を確認可能な下限となるサイズであり、予め定めておく。

ステップＳ２９１０の判別の結果、サムネイル画像のサイズが予め定められたサイズ以下ではない場合には（ステップＳ２９１０でＮＯ）、ステップＳ２９０１に戻る。

一方、ステップＳ２９１０の判別の結果、サムネイル画像のサイズが予め定められたサイズ以下の場合には（ステップＳ２９１０でＹＥＳ）、サムネイル画像を非表示として（ステップＳ２９１１）、本処理を終了する。

上記ステップＳ２９０２で縮小されたサムネイル画像が配置されるまでの流れについて詳細に説明する。まず、上述したステップＳ２９０９でサムネイル画像が縮小された後、ステップＳ２９１０からステップＳ２９０１へ戻り、縮小された領域３５０８（図３６（Ｄ）参照）にサムネイル画像をすべて配置できるとステップＳ２９０１で判別されることで、ステップＳ２９０２で縮小されたサムネイル画像が配置されて表示される。

そして、図３７に示されるように、縮小したサムネイル画像３６０２〜３６０４に原稿３６０１がさらに重なり、領域３００１を繰り返し縮小していった場合、ステップＳ２９１０でサムネイル画像のサイズが予め定められたサイズ以下になると判別される。その場合は、図３７（Ｂ）のようにサムネイル画像を非表示とする。

以上説明したように、第８の実施の形態では、予め定められた領域のサムネイル画像に新しい原稿が重なって置かれた場合に、サムネイル画像を移動することが可能となる。これにより、原稿にサムネイル画像が重なって原稿認識率が低下することを防ぐことができる。

〔第９の実施の形態〕
第８の実施の形態は、サムネイル画像に原稿が重なった際、サムネイル画像が移動することで、サムネイル画像と原稿が重なることを防止する形態であった。本実施の形態は、移動や非表示にしたサムネイルを再表示する際、第８の実施の形態のようにユーザの手を認識する方法ではなく、フレームアウトを検出してサムネイル画像を再表示する形態である。

第１の実施の形態で説明したネットワーク構成、外観図、コントローラ構成、及びソフトウェア構成は第９の実施の形態でも同じであるので説明を省略する。

図４１は、主として図４における撮像処理部４０６及びタイミング検出部４１０により実行される残像画像投影処理の手順を示すフローチャートである。

図４１に示される残像画像投影処理と図１７で説明した残像画像投影処理とが異なる点は、図１７のステップＳ６２６とステップＳ６１２との間に、サムネイル画像処理が挿入された点と、動き認識処理の処理内容である。

図４１のステップＳ６２４の動き認識処理では、残像画像の移動、サムネイル画像の移動、及びジェスチャ処理が実行される。また、ステップＳ６２７のサムネイル画像処理では、主にサムネイル画像の再表示処理などが実行される。これは動き認識処理で、サムネイル画像が非表示にされる場合があるからである。まず、ステップＳ６２４の動き認識処理から説明する。

図４２は、図４１のステップＳ６２４の動き認識処理の手順を示すフローチャートである。

図４２に示される動き認識処理の各ステップは、図３８で説明した動き認識処理に全て含まれているため、説明を省略する。なお、図４２に示される動き認識処理では、図３９に示される動き認識処理のように、サムネイル画像を表示する処理は含まれない。

図４３は、図４１のステップＳ６２７のサムネイル画像処理の手順を示すフローチャートである。この処理はタイミング検出部４１０で実行される。

図４３において、タイミング検出部４１０は、フレームインを検出したか否か判別する（ステップＳ１００１）。ステップＳ１００１の判別の結果、フレームインを検出した場合には（ステップＳ１００１でＹＥＳ）、本処理を終了する。

一方、ステップＳ１００１の判別の結果、フレームインが検出されなかった場合、すなわちフレームアウトが検出された場合には（ステップＳ１００１でＮＯ）、タイミング検出部４１０は、フレームアウトが検出された物理オブジェクトが手のみであるか否か判別する（ステップＳ１００２）。

ステップＳ１００２の判別の結果、物理オブジェクトが手のみである場合には（ステップＳ１００２でＹＥＳ）、本処理を終了する。

一方、ステップＳ１００２の判別の結果、物理オブジェクトが手のみでない、すなわち手以外に原稿を含む場合には（ステップＳ１００２でＮＯ）、ステップＳ３７０１に進む。

このステップＳ３７０１〜Ｓ３７０８の処理は、図３９のステップＳ２８０９〜Ｓ２８１６と同じであるので、説明を省略する。

以上説明したように、第９の実施の形態では、フレームアウトのタイミングでステップＳ３７０１〜Ｓ３７０８を実行することにより、サムネイル画像を非表示にしたり、原稿をフレームアウトしたりしたことをトリガーとして、サムネイル画像の再表示処理を実行することが可能となる。これにより、ユーザの操作性が向上する。

〔第１０の実施の形態〕
第８．９の実施の形態は、残像を残しつつ高い認識精度を保って、連続読み込みを行うために、サムネイル画像に原稿が重なった際に、予め定められた領域でサムネイル画像を移動する形態であった。本実施の形態は、できるだけサムネイル画像を大きく保ったまま移動する形態である。

第１の実施の形態で説明したネットワーク構成、外観図、コントローラ構成、及びソフトウェア構成は第１０の実施の形態でも同じであるので説明を省略する。

第１０の実施の形態では、第９の実施の形態で説明した図４１のステップＳ６２７のサムネイル画像処理が実行されるが、フレームアウトを検出した場合に限らず、第８の実施の形態のように、手を認識した場合にも図３９のステップＳ２８０９〜Ｓ２８１６を実行するようにしてもよい。

また、第１０の実施の形態では、第９の実施の形態で説明した図４２のステップＳ２８０７の処理内容が異なるので、この処理について説明する。まず、できるだけサムネイル画像を大きく保ったまま移動することについて説明する。

図４４は、サムネイル画像を配置可能な領域を探す様子を示す図である。

図４４（Ａ）は、原稿３８０１が、領域３００１のサムネイル画像３８０２と重なっている様子を示す図である。

この場合、領域３００１でサムネイル画像を移動させる場合は、いずれの領域のいずれの場所にサムネイル画像を移動しても原稿３８０１と重なるため、領域及びサムネイル画像を縮小する必要がある。

しかし、領域内という制限を設けなければ、原稿３８０１とサムネイル画像３８０２とが重ならないように配置できる可能性がある。例えば、図４４の場合、後述するように読み取り領域２０５の右下部分にサムネイル画像３８０２を移動すると原稿３８０１と重ならないようにサムネイル画像３８０２を配置できるようになっている。

図４４（Ｂ）〜（Ｆ）は、サムネイル画像３８０２が配置可能な領域を探す様子を示す図である。

図４４（Ｂ）〜（Ｆ）において、探索領域３８０３のサイズはサムネイル画像と同じサイズであり、その位置にサムネイル画像が配置可能かどうか確かめるためのものである。

動き認識部４１２は、現在のフレームの画像から探索領域３８０８を取得し、ＨＤＤ３０５に記憶している読み取り領域の背景画像の同じ領域の画像と比較する。

この比較により、差分が予め定められた値以下であった場合は、その領域には何も置かれていないものとして、配置可能領域とする。一方、差分が予め定められた値より大きかった場合は、その領域は配置可能領域ではないとする。

図４４（Ｂ）→（Ｃ）→（Ｄ）→（Ｅ）に示されるように、探索領域３８０３を微小画素数ずつ移動させ、読み取り領域２０５全体で配置可能領域を探索する。配置可能領域の情報は、それを一意に特定できる座標情報などの情報を、探索のたびに順次更新し、ＲＡＭ３０３に記憶しておく。

図４４（Ｆ）に示される探索領域３８０４は、最終的に見つかった配置可能領域を示している。

図４４（Ｇ）は、探索領域３８０４の中心部分にサムネイル画像３８０２を配置した様子を示す図である。

図４５は、図４２のステップＳ２８０７のサムネイル移動処理の手順を示すフローチャートである。

図４５において、動き認識部４１２は、図４４で説明したように、配置可能領域を探索する（ステップＳ３９０１）。

次いで、動き認識部４１２は、見つかった１つの配置可能領域に全てのサムネイル画像を配置できるか否か判別する（ステップＳ３９０２）。ここでは、ＲＡＭ３０３に記憶されている配置可能領域の座標情報と、ＲＡＭ３０３に記憶されているＳＭＮ座標、幅、高さなどから、配置可能領域とサムネイル画像の総面積や縦横の長さを比較することで判別できる。

ステップＳ３９０２の判別の結果、１つの配置可能領域に全てのサムネイル画像を配置できる場合には（ステップＳ３９０２でＹＥＳ）、動き認識部４１２は、サムネイル画像を上記１つの配置可能領域に移動して（ステップＳ３９０３）、本処理を終了する。

上記ステップＳ３９０３では、ＳＭＮ座標を書き換え、表示処理部４０８にサムネイル画像移動の指示を出す。表示処理部４０８は、移動指示を受けると、表示画像を生成して操作表示部４０３に描画指示を出す。

一方、ステップＳ３９０２の判別の結果、１つの配置可能領域に全てのサムネイル画像を配置できない場合には（ステップＳ３９０２でＮＯ）、動き認識部４１２は、複数の配置可能領域にまたがって全てのサムネイル画像を配置できるか否か判別する（ステップＳ３９０４）。

なお、複数の配置領域が見つからなかった場合には、ステップＳ３９０４では否定判別される。

ステップＳ３９０４の判別の結果、複数の配置可能領域にまたがって全てのサムネイル画像を配置できる場合には（ステップＳ３９０４でＹＥＳ）、動き認識部４１２は、複数の配置可能領域にまたがって全てのサムネイル画像を配置して（ステップＳ３９０５）、本処理を終了する。

ステップＳ３９０４の判別の結果、複数の配置可能領域にまたがって全てのサムネイル画像を配置できない場合には（ステップＳ３９０４でＮＯ）、動き認識部４１２は、配置可能領域に１つのサムネイル画像を配置できるか否か判別する（ステップＳ３９０６）。

ステップＳ３９０６の判別の結果、配置可能領域に１つのサムネイル画像を配置できる場合には（ステップＳ３９０６でＹＥＳ）、動き認識部４１２は、複数のサムネイル画像をまとめた表示画像を作成するように、表示処理部４０８に対して指示を出すことで、複数のサムネイル画像をまとめる（ステップＳ３９０７）。

次いで、表示処理部４０８は、全てのサムネイル画像をまとめた画像を配置して（ステップＳ３９０８）、本処理を終了する。

ステップＳ３９０６の判別の結果、領域に１つのサムネイル画像を配置できない場合には（ステップＳ３９０６でＮＯ）、動き認識部４１２は、サムネイル画像を縮小する（ステップＳ３９０９）。これには、サムネイル画像の座標、ＳＭＮ座標を調整すればよい。

次いで、動き認識部４１２は、サムネイル画像のサイズが予め定められたサイズ以下か否か判別する（ステップＳ３９１０）。ここでの予め定められたサイズは、サムネイル画像を確認可能な下限となるサイズである。

ステップＳ３９１０の判別の結果、サムネイル画像のサイズが予め定められたサイズ以下ではない場合には（ステップＳ３９１０でＮＯ）、ステップＳ３９０１に戻る。

一方、ステップＳ３９１０の判別の結果、サムネイル画像のサイズが予め定められたサイズ以下の場合には（ステップＳ３９１０でＹＥＳ）、サムネイル画像を非表示として（ステップＳ３９１１）、本処理を終了する。

上記処理において、本実施の形態では領域内という制限がないので、図４０のステップＳ２９０８の領域を縮小する処理に対応する処理はない。

以上説明したように、第１０の実施の形態では、領域内という制限を設けずに、空いている領域に、サムネイル画像の大きさをできるだけ大きく保ったままで、サムネイル画像を移動して配置することができる。

これにより、サムネイル画像をより大きなサイズで見ることができ、サムネイル画像の判読性がよくなる。

移動の際は、ユーザに直感的に理解させるために、移動の際は移動の過程をアニメーションで表示してもよい。

以上説明したように、本実施の形態に係るカメラスキャナ１０１によれば、原稿台での静止検知を用いて原稿の連続読み込みを実現しつつ、原稿台に確認用の原稿を示す残像画像を表示し、操作することを可能とし、なおかつ、原稿の認識率を下げずに、ユーザの操作性を向上することができる。

また、物理媒体が検出領域へ侵入したことを検知して残像画像を移動してサムネイル画像として表示することで、カメラスキャンによる連続読み込みを行う際に、確認用の表示画像を毎回表示しつつ、残像画像と次の原稿が重なることによる原稿認識率の低下を防ぐことができる。

さらに、検出領域へ侵入した物理媒体が手かどうかを判断することで、表示画像を直接手で操作することを可能とする。

以上説明した各実施の形態によれば、原稿が置かれた位置に原稿を示す画像である残像画像を表示させ（ステップＳ６２２）、検出領域に原稿が侵入したことが検出された場合に、検出領域に侵入した原稿と重ならないように残像画像のサムネイル画像を表示させる（ステップＳ２３０３）。このように、確認用の残像画像としてのサムネイル画像が自動的に毎回表示されるので、原稿を撮像し、撮像した原稿を示す画像を表示する画像処理装置を利用するユーザの操作性を向上させることができる。

（他の実施の形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

１００ スキャナシステム
１０１ カメラスキャナ
２０２ カメラ
２０５ 読み取り領域
２０７ プロジェクタ
３０２ ＣＰＵ
３０３ ＲＡＭ
３０５ ＨＤＤ
４０２ メイン制御部
４０３ 操作表示部
４０５ データ管理部
４０６ 撮像処理部
４０７ 画像認識部
４１０ タイミング検出部
４１１ 原稿画像データ抽出部
４１２ 動き認識部

Claims (8)

1. 原稿を置くことが可能な台を備える情報処理装置であって、
   前記台の上の撮像領域に置かれた原稿を撮像する撮像手段と、
   前記撮像手段により撮像することで得られた前記原稿の画像を、前記台の上の撮像領域内に投影する投影手段と、
   前記台の上の検出領域への次の原稿の侵入状況を判定する判定手段と、
   前記検出領域への前記次の原稿の侵入状況に基づいて、前記原稿の画像を縮小したサムネイル画像を、前記次の原稿と重ならない位置に投影するように制御する制御手段と、を有することを特徴とする情報処理装置。
2. 前記制御手段は、前記サムネイル画像を予め定められた領域に投影するように制御することを特徴とする請求項１記載の情報処理装置。
3. 前記検出領域へ前記次の原稿が侵入したことを判定するのに従って、前記制御手段は、前記サムネイル画像を前記予め定められた領域に投影するように制御することを特徴とする請求項２記載の情報処理装置。
4. 前記検出領域は、前記撮像領域であることを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記検出領域は、前記原稿の画像が投影されている投影領域であることを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
6. 前記投影手段は、前記台の上の前記原稿が置かれた位置に、前記原稿の画像を投影することを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 原稿を置くことが可能な台を備える情報処理装置の制御方法であって、
   前記台の上の撮像領域に置かれた原稿を撮像する撮像工程と、
   前記撮像工程において撮像することで得られた前記原稿の画像を、前記台の上の撮像領域内に投影する投影工程と、
   前記台の上の検出領域への次の原稿の侵入状況を判定する判定工程と、
   前記検出領域への前記次の原稿の侵入状況に基づいて、前記原稿の画像を縮小したサムネイル画像を、前記次の原稿と重ならない位置に投影するように制御する制御工程と、を有することを特徴とする情報処理装置の制御方法。
8. 原稿を置くことが可能な台を備える情報処理装置の制御方法をコンピュータに実行させるプログラムであって、
   前記情報処理装置の制御方法は、
   前記台の上の撮像領域に置かれた原稿を撮像する撮像工程と、
   前記撮像工程において撮像することで得られた前記原稿の画像を、前記台の上の撮像領域内に投影する投影工程と、
   前記台の上の検出領域への次の原稿の侵入状況を判定する判定工程と、
   前記検出領域への前記次の原稿の侵入状況に基づいて、前記原稿の画像を縮小したサムネイル画像を、前記次の原稿と重ならない位置に投影するように制御する制御工程と、を有することを特徴とするプログラム。