JP5894506B2 - 画像処理装置、画像読取装置、画像処理方法及び画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、画像読取装置、画像処理方法及び画像処理プログラムに関する。

従来、スキャナ装置などの画像処理装置では、この装置に接続されるパーソナルコンピュータ（ＰＣ）などにより制御され、主な操作をＰＣ側で行うのが一般的である。このため、読取対象の媒体は装置内に載置され、別体の表示装置に媒体の画像が表示されて作業が行われる（例えば特許文献１）。

特開平８−２０４９１４号公報

しかしながら、別体の表示装置に読取画像を表示するタイプの従来の画像処理装置では、画像処理装置の操作や設定を行う際に、作業者は画像処理装置と表示装置の両方を扱う必要がある。このため、作業者の視線の動きや動線に無駄が多くなり、画像処理装置による作業が非効率的となる虞があった。

本発明は、上記に鑑みてなされたものであって、効率的な作業を可能にする画像処理装置、画像読取装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

上記課題を解決するために、本発明に係る画像処理装置は、載置された読取対象の媒体に対して撮像領域内で撮像する撮像部と、前記撮像領域に向けて情報を表示する表示部と、を備え、前記撮像部により取得された前記撮像領域上の前記媒体の位置情報に基づいて、前記媒体を利用した作業を支援する作業支援情報を、前記撮像領域上の前記媒体との相対的な位置関係を保持して、前記表示部により前記撮像領域に向けて表示することを特徴とする。

また、上記の画像処理装置では、前記撮像領域上で前記媒体が移動すると、前記作業支援情報の前記撮像領域上の表示位置を前記移動に応じて追従させることが好ましい。

また、上記の画像処理装置では、前記作業支援情報とは、前記媒体の種類に応じて設定される前記媒体上の選択領域の強調表示であることが好ましい。

また、上記の画像処理装置では、前記作業支援情報とは、操作者の指先により指定される前記媒体上の選択領域の強調表示であることが好ましい。

また、上記の画像処理装置では、前記媒体の少なくとも一部が前記撮像領域上から外れたときに、前記表示部により注意喚起情報を前記撮像領域上に表示することが好ましい。

また、本発明に係る画像読取装置は、前記作業支援情報に基づいて、前記媒体の少なくとも一部を読み取る画像読取部と、上記の画像処理装置とを備える。

また、上記の画像読取装置では、前記画像読取部による読み取り中に、前記撮像領域上で前記媒体が移動した場合には、必要に応じて前記表示部により情報を表示することが好ましい。

同様に、上記課題を解決するために、本発明に係る画像処理方法は、載置された読取対象の媒体に対して撮像領域内で撮像する撮像部と、前記撮像領域に向けて情報を表示する表示部と、を備える画像処理装置の画像処理方法であって、前記撮像部により、載置された読取対象の媒体に対して前記撮像領域内で撮像する撮像ステップと、前記撮像ステップにて取得された前記撮像領域上の前記媒体の位置情報に基づいて、前記媒体を利用した作業を支援する作業支援情報を、前記撮像領域上の前記媒体との相対的な位置関係を保持して、前記表示部により前記撮像領域に向けて表示する表示ステップと、を含むことを特徴とする。

同様に、上記課題を解決するために、本発明に係る画像処理プログラムは、載置された読取対象の媒体に対して撮像領域内で撮像する撮像部と、前記撮像領域に向けて情報を表示する表示部と、を備える画像処理装置のための画像処理プログラムであって、前記撮像部により、載置された読取対象の媒体に対して前記撮像領域内で撮像する撮像機能と、前記撮像機能により取得された前記撮像領域上の前記媒体の位置情報に基づいて、前記媒体を利用した作業を支援する作業支援情報を、前記撮像領域上の前記媒体との相対的な位置関係を保持して、前記表示部により前記撮像領域に向けて表示する表示機能と、をコンピュータに実現させることを特徴とする。

本発明に係る画像処理装置、画像読取装置、画像処理方法及び画像処理プログラムは、表示部を介して、撮像領域内の媒体からの相対位置に作業支援情報が表示されるので、操作者が媒体上やその周辺の領域のみで作業を行うことが可能となる。これにより、操作者の視線の動きや動線を無駄に変えることがなくなり、効率的な作業が可能となるという効果を奏する。

図１は、本発明の第一実施形態に係る画像処理装置の一例としての記入作業支援装置の概略構成を示す模式図である。 図２は、書類のハイライト表示を説明するための模式図である。 図３は、ハイライト表示の追従動作を説明するための模式図である。 図４は、本発明の第一実施形態に係る記入作業支援装置により実施されるハイライト表示処理を示すフローチャートである。 図５は、図４のハイライト表示処理で用いる座標系を説明するための図である。 図６は、書類が載置面から外れた際の注意喚起動作を説明するための模式図である。 図７は、本発明の第二実施形態に係る画像読取装置の一例としてのスキャナ装置の概略構成を示す模式図である。 図８は、媒体のスキャン範囲の指定操作を説明するための模式図である。 図９は、スキャン範囲のハイライト表示を説明するための模式図である。 図１０は、ハイライト表示の追従動作を説明するための模式図である。 図１１は、本発明の第二実施形態に係るスキャナ装置により実施されるハイライト表示処理を示すフローチャートである。

以下に、本発明に係る画像処理装置、画像読取装置、画像処理方法及び画像処理プログラムの実施形態を図面に基づいて説明する。なお、以下の図面において、同一または相当する部分には同一の参照符号を付し、その説明は繰り返さない。

［第一実施形態］
図１〜６を参照して本発明の第一実施形態について説明する。本実施形態では、画像処理装置の一例として、申請書等の書類への記入作業を支援するための記入作業支援装置を挙げて説明する。まず、図１を参照して、本実施形態に係る記入作業支援装置の構成について説明する。図１は、本発明の第一実施形態に係る画像処理装置の一例としての記入作業支援装置の概略構成を示す模式図である。

図１に示すように、記入作業支援装置１は、平板状の載置台２の上面の載置面２ａ上に載置された書類１０（媒体）またはその周囲に、この装置１の操作者に対して書類１０（媒体）を利用した作業を支援するための「作業支援情報」を表示することができる。ここで、本実施形態の「作業支援情報」とは、操作者が書類１０の各種項目に情報を記入する記入作業を支援するための情報であり、例えば書類１０の種別に応じた記入箇所（選択領域）の強調表示や、記入箇所への記入を促すテキストや記号、記入作業に関する各種操作指令を示すスイッチ画像などを含むことができる。

また、記入作業支援装置１は、作業支援情報を書類１０との相対位置に向けて表示することができる。操作者が書類１０への情報記入時に書類を書きやすい位置へ移動させたり、操作者が書類に書き込んでいる最中に書き込み動作によって書類が動くなど、載置面２ａ上で書類１０の位置が変わる状況が考えられる。記入作業支援装置１は、このような状況でも、書類１０の移動に応じて、作業支援情報の表示位置を書類１０との相対的な位置関係を維持しつつ追従させることができるよう構成されている。

記入作業支援装置１は、載置台２と、カメラ３（撮像部）と、プロジェクタ４（表示部）と、制御装置５とを備える。

載置台２は、平板状の部材であり、その上面に、記入作業の対象である申請書等の書類１０を載置するための載置面２ａを有する。なお、記入作業支援装置１は、載置台２を備えない構成であって、記入作業支援装置１が設置される台の上面等の平面を載置面２ａとして用いる構成であってもよい。

カメラ３は、載置面２ａに載置された書類１０に対して、載置面２ａ上の所定の撮像領域６内で撮像する。カメラ３は、載置面２ａ上の撮像領域６を撮像可能に、載置面２ａの上方に設置されている。カメラ３は、制御装置５の制御に従って動作し、載置面２ａに書類１０が載置されている場合には、撮像領域６内にある書類１０を撮像し、その撮像画像を制御装置５に送信することができる。カメラ３は、書類１０が撮像領域６の全域を覆う大きさの場合には、書類１０のみを撮像することができ、書類１０が撮像領域６より小さい場合には、書類１０とその周囲の撮像領域６とを撮像することができる。また、書類１０が撮像領域６より大きい場合や、書類１０の一部が撮像領域６からはみ出ている場合には、カメラ３は、書類１０の撮像領域６内にある部分と、その周囲に撮像領域６が余っている場合には撮像領域６とを撮像することができる。

プロジェクタ４は、カメラ３の撮像領域６に向けて情報を重畳して表示する。プロジェクタ４は、後述するように制御装置５にて生成された作業支援情報を、載置面２ａ上の照射領域７に向けて表示する。プロジェクタ４は、照射領域７の少なくとも一部がカメラ３の撮像領域６と重なり合うように、載置面２ａの上方に配置されている。プロジェクタ４の照射領域７の面積は、図１に示すようにカメラ３の撮像領域６より小さくてもよいし、図１の例とは反対にカメラ３の撮像領域６より大きくてもよい。また、プロジェクタ４の照射領域７の形状は、撮像領域６と同一でもよいし、異なってもよい。プロジェクタ４は、撮像領域６に書類１０や操作者の手指がある場合には、作業支援情報を書類１０または手指の上に重畳して、もしくはこれらの周囲に表示することができる。

制御装置５は、カメラ３及びプロジェクタ４の動作を制御する。本実施形態では、制御装置５は、自機の状態に関する情報またはカメラ３により取得された情報に基づいて、書類１０を利用した作業を支援するための作業支援情報を選択し、選択した作業支援情報をプロジェクタ４により載置面２ａの撮像領域６に向けて表示するよう構成されている。より詳細には、制御装置５は、カメラ３により取得された書類１０の位置情報に基づいて、書類１０上の記入領域１１（図２参照）をプロジェクタ４によりハイライト表示させることができる。また、制御装置５は、書類１０が撮像領域６上で移動すると、このハイライト表示の位置を、撮像領域６上の書類１０との相対位置を保持しつつ、書類１０の移動に応じて追従させることができる。

具体的には、制御装置５は、図１に示すように、以下に説明する撮像制御部５１（撮像機能）、書類種別判定部５２、書類検出部５３、作業支援情報選択部５４、及び情報表示制御部５５（表示機能）の各機能を実現するよう構成されている。

撮像制御部５１は、カメラ３の動作を制御して撮像操作を行い、カメラ３の撮像領域６に載置された書類１０の撮像画像を取得する。

書類種別判定部５２は、載置面２ａに載置された書類１０の種別を判定する。書類種別判定部５２は、撮像制御部５１により取得された書類１０の撮像画像を解析することで、書類１０上の特徴点（例えばバーコード）を抽出し、この特徴点に基づいて書類１０の種別を判定することできる。書類種別判定部５２は、撮像画像から抽出した書類１０の特徴量に基づいて、この特徴点と書類１０の種別とを関連付けたデータベースを参照して、書類１０の種別を判定することができる。書類１０の特徴量と種別とを関連付けたデータベースは、例えば制御装置５内の記憶手段（図示せず）に保持されている。

書類検出部５３は、撮像制御部５１により取得された書類１０の撮像画像に基づいて、撮像領域６内での書類１０の位置情報を検出する。なお、書類１０の位置情報は、載置面２ａ上にｍ軸及びｎ軸が配置されたカメラ座標系Ｃに基づく位置座標と、カメラ座標系Ｃに対する書類１０の傾斜角度θを含むことができる（図５を参照）。

作業支援情報選択部５４は、書類種別判定部５２により識別された書類１０の種別、書類検出部５３により検出された書類１０の位置情報に基づき、載置面２ａに表示可能な作業支援情報を選択する。より詳細には、作業支援情報選択部５４は、作業支援情報として、書類１０の種別ごとに予め設定されている記入領域１１を選択することができ、記入領域１１をハイライト表示することができる（図２参照）。作業支援情報選択部５４は、書類種別判定部５２により識別された書類１０の種別に基づいて、書類１０の種別と、記入領域１１と関連付けたデータベースを参照して、書類１０の記入領域１１を選択することができる。書類１０の種別と、記入領域１１とを関連付けたデータベースは、例えば制御装置５内の記憶手段（図示せず）に保持されている。

作業支援情報選択部５４は、このように書類１０の種別に応じて選択した記入領域１１の載置面２ａ上の表示位置を、書類検出部５３により検出された書類１０の位置情報に基づいて設定する。記入領域１１は、書類１０上にａ軸及びｂ軸が配置された原稿座標系Ｄに基づく位置座標として設定されている（図５を参照）。作業支援情報選択部５４は、この原稿座標系Ｄで設定されている記入領域１１の位置座標を、現在の書類１０の位置情報に基づいてカメラ座標系Ｃの位置情報に変換する。

また、作業支援情報選択部５４は、載置面２ａに表示する作業支援情報として、記入領域１１のハイライト表示の他に、記入作業を促すメッセージ１２（図２参照）を含むことができる。

情報表示制御部５５は、プロジェクタ４の動作を制御して、作業支援情報選択部５４により選択された作業支援情報、具体的には書類１０の記入領域１１のハイライト表示を載置面２ａ上に表示する。

なお、カメラ３の撮像領域６と、プロジェクタ４の照射領域７との間に位置、面積、解像度などの差異がある場合には、情報表示制御部５５は、双方の座標の変換を実施することができる。座標変換のためのキャリブレーションとしては、例えば指定した４点の座標関係から作成した変換テーブルを用いるなどの手法を適用することができる。４点のカメラ座標をＣｉ（ｍ，ｎ）、プロジェクタ座標をＰｉ（ｘ，ｙ）（ｉ＝１〜４）とすると、
Ｐｉ（ｘ，ｙ）＝Ｔ＊Ｃｉ（ｍ，ｎ）（ｉ＝１〜４）
を満たす変換行列Ｔを算出すれば、このＴを変換テーブルとして用いることができる。

制御装置５は、物理的には、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）及びＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などを有するコンピュータである。上述した制御装置５の各機能の全部または一部は、ＲＯＭに保持されるアプリケーションプログラムをＲＡＭにロードしてＣＰＵで実行することによって、ＲＡＭやＲＯＭにおけるデータの読み出し及び書き込みを行うことで実現される。

また、上記のアプリケーションプログラムを、コンピュータ読み取り可能な記録媒体に格納してもよく、また、プログラム製品として構成することもできる。ここで、この「記録媒体」とは、メモリーカード、ＵＳＢメモリ、ＳＤカード、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、および、Ｂｌｕ−ｒａｙ Ｄｉｓｃ等の任意の「可搬用の物理媒体」を含むものとする。また、アプリケーションプログラムは、制御装置５に対して任意のネットワークを介して接続されたアプリケーションプログラムサーバに記憶されていてもよく、必要に応じてその全部または一部をダウンロードすることも可能である。

なお、制御装置５は、記入作業支援装置１の内部に設置される構成でもよいし、記入作業支援装置１の外部機器として接続される構成としてもよい。

次に、図２〜６を参照して、本実施形態に係る記入作業支援装置１の動作について説明する。図２は、書類のハイライト表示を説明するための模式図であり、図３は、ハイライト表示の追従動作を説明するための模式図であり、図４は、本発明の第一実施形態に係る記入作業支援装置により実施されるハイライト表示処理を示すフローチャートであり、図５は、図４のハイライト表示処理で用いる座標系を説明するための図であり、図６は、書類が載置面から外れた際の注意喚起動作を説明するための模式図である。

図２に示すように、記入作業支援装置１は、載置面２ａ上に書類１０が載置されると、書類１０の種別に応じて予め設定されている記入領域１１を選択し、この選択された記入領域１１をハイライト表示することができる。選択された記入領域１１のみを明るくし、それ以外を暗くすることで、選択された記入領域１１（選択領域）を強調するハイライト表示が行われる。さらに、記入作業支援装置１は、ハイライト表示された記入領域１１（以下では「ハイライト範囲１１」とも記載する）の近傍に、「ここに記入して下さい」などの記入領域１１への記入作業を操作者に促すメッセージ１２を表示することもできる。

また、図３に示すように、記入作業支援装置１は、記入領域１１をハイライト表示された書類１０が載置面２ａ上で移動した場合には、ハイライト表示の表示位置を書類１０の移動に追従させることができる。つまり、書類１０上の記入領域１１のハイライト表示の表示位置は、書類１０との相対位置を維持して表示される。

なお、ハイライト表示は、選択された記入領域１１が操作者に対して強調される強調表示の一例として挙げたものである。この代わりに、例えば記入領域１１の輪郭に枠線を引く、記入領域１１の背景色を変更するなど、ハイライト表示以外の強調表示手法も適用可能である。

このような記入作業支援装置１によるハイライト表示処理の動作を図４のフローチャートに沿って説明する。図４のフローチャートに示す処理は、例えば載置台２に書類１０が載置されたことを検知したときに実施される。

まず、書類種別判定部５２により、載置面２ａに載置された書類１０の種別が判定される（Ｓ１０１）。書類種別判定部５２は、撮像制御部５１により取得された載置面２ａの撮像画像の画像フレームを解析して、書類１０上の特徴点（例えばバーコード）を抽出する。この特徴点と種別とを関連付けたデータベースを参照して、書類１０の種別を判定することができる。

次に、作業支援情報選択部５４により、ステップＳ１０１において判定された書類１０の種別に基づいて、書類１０のハイライト範囲１１が取得される（Ｓ１０２）。ハイライト範囲１１とは、ハイライト表示される記入領域１１の位置情報のことを指し、書類１０の種別ごとに予め設定されている。作業支援情報選択部５４は、書類１０の種別と、ハイライト表示される記入領域１１（ハイライト範囲１１）とを関連付けたデータベースを参照して、書類１０のハイライト範囲１１を取得することができる。ここで取得されるハイライト範囲１１は、図５に示すように、書類１０の左上を原点とし、横方向をａ軸、縦方向をｂ軸とする原稿座標系Ｄを基準とする位置座標である原稿座標Ｄ（ａ，ｂ）として設定されている。

次に、撮像制御部５１により、カメラ３を制御して載置面２ａの撮像画像の画像フレームが取得され（Ｓ１０３：撮像ステップ）、書類検出部５３により画像フレームが解析されて、載置面２ａ上に書類１０が載置されていることが検出されたか否かが確認される（Ｓ１０４）。書類１０が載置面２ａ上に検出された場合には（Ｓ１０４のＹｅｓ）、ステップＳ１０５に移行する。書類１０が載置面２ａ上に検出されない場合には（Ｓ１０４のＮｏ）、処理を終了する。

ステップＳ１０４にて載置面２ａ上に書類１０が検出された場合には（Ｓ１０４のＹｅｓ）、引き続き書類検出部５３により、載置面２ａに載置されている書類１０の位置情報が検出される（Ｓ１０５）。書類１０の位置情報は、図５に示すように、カメラ３の撮像領域６の左上を原点とし、横方向をｍ軸、縦方向をｎ軸とするカメラ座標系Ｃを基準とする位置座標と、このカメラ座標系Ｃのｍ軸に対する傾斜角度θとを含むことができる。

次に、作業支援情報選択部５４及び情報表示制御部５５により、ステップＳ１０５にて検出された書類１０の位置情報に基づき、ステップＳ１０２にて取得された書類１０のハイライト範囲１１の原稿座標Ｄ（ａ，ｂ）が、カメラ座標系Ｃの位置座標であるカメラ座標Ｃ（ｍ，ｎ）に変換され、さらにプロジェクタ座標系Ｐの位置座標であるプロジェクタ座標Ｐ（ｘ，ｙ）に座標変換される（Ｓ１０６）。作業支援情報選択部５４は、ステップＳ１０５にて検出された書類１０の位置情報（カメラ座標系Ｃの位置座標と傾きθ）を利用して、書類１０のハイライト範囲１１の位置座標を、原稿座標Ｄ（ａ，ｂ）からカメラ座標Ｃ（ｍ，ｎ）に座標変換する。さらに、情報表示制御部５５は、例えば上述した変換テーブルＴを用いて、書類１０のハイライト範囲１１の位置座標を、カメラ座標Ｃ（ｍ，ｎ）からプロジェクタ座標Ｐ（ｘ，ｙ）に座標変換する。

そして、ステップＳ１０６にて取得された書類１０のプロジェクタ座標系Ｐの位置座標Ｐ（ｘ，ｙ）を用いて、載置面２ａ上の書類１０に向けて、記入領域１１をハイライト表示して（Ｓ１０７：表示ステップ）、ステップＳ１０３に戻る。ステップＳ１０３からステップＳ１０７までの各処理ステップは、載置面２ａから書類１０が取り出されるなど、載置面２ａ上に書類１０が無くなるまで繰り返される。つまり、ステップＳ１０５にて書類１０の載置位置が逐次検出されるので、書類１０が載置面２ａ上で移動するのに伴って、記入領域１１のハイライト表示の位置は、書類１０との相対位置を維持したまま、書類１０に追従して移動する。

ここで、例えば操作者が文字を記入しやすい位置に書類１０を置こうとして書類１０を必要以上に載置面２ａ上で動かすことなどにより、書類１０が載置面２ａからはみ出た場合には、ハイライト表示すべき記入領域１１がプロジェクタ４の照射領域７から外れる状況が考えられる。この場合、記入領域１１の一部しかハイライト表示されず、記入作業を支援することが十分に行えない虞がある。そこで、書類検出部５３により書類１０の少なくとも一部が撮像領域６や載置面２ａから外れていることが検出された場合には、例えば図６に示すように、「書類が載置台からはみ出ています！もとの位置に戻して下さい」などの注意喚起のメッセージ１３（注意喚起情報）を、プロジェクタ４により載置面２ａ上に表示して、操作者に対して注意喚起を促すことができるよう構成してもよい。

次に、本実施形態の記入作業支援装置１の効果について説明する。

本実施形態の記入作業支援装置１は、載置された読み取り対象の書類１０に対して撮像領域６内で撮像するカメラ３と、撮像領域６に向けて情報を表示するプロジェクタ４と、を備える。記入作業支援装置１の制御装置５は、カメラ３により取得された撮像領域６上の書類１０の位置情報に基づいて、書類１０を利用した情報記入作業を支援する作業支援情報を、撮像領域６上の書類１０との相対的な位置関係を保持して、プロジェクタ４により撮像領域６に向けて表示する。

この構成により、プロジェクタ４を介して、撮像領域６上の書類１０との相対的な位置関係を保持して、書類１０への情報記入作業を支援する作業支援情報（書類１０上の記入領域１１のハイライト表示や、記入を促すメッセージ１２）が表示されるので、記入作業支援装置１の操作者は、載置面２ａ上の撮像領域６内の書類１０やその周辺の領域のみで情報記入作業を行うことが可能となる。これにより、操作者の動線や視線の動きを無駄に変えることがなくなり、効率的な作業が可能となる。また、操作者は書類１０からの相対位置に表示される作業支援情報を参照しながら記入作業を行うことができるので、作業中に必要な情報をその場で即座に確認することができ、効率的な作業が可能となる。

載置台２上で実際に書類１０に記入する際には、斜めに置いたほうが書きやすかったり、記入中に書類１０が動いてしまったりする場合が考えられる。このため、ハイライト表示が実際の記入領域とずれてしまう虞がある。本実施形態の記入作業支援装置１では、撮像領域６上で書類１０が移動すると、作業支援情報の撮像領域６上の表示位置を書類１０の移動に応じて追従させる。

この構成により、ハイライト表示されている書類１０の位置がずれた場合でも、書類の移動に伴い記入領域１１のハイライト表示を追従させることができるので、ハイライト表示を書類１０上の実際の記入領域１１と一致させることができる。このため、記入領域１１をハイライト表示した後に書類１０が移動した場合でも、操作者は記入領域１１がハイライト表示された状態のままで記入作業を継続することが可能となり、実用的で効率的な作業が可能となる。

また、本実施形態の記入作業支援装置１では、作業支援情報とは、書類１０の種類に応じて設定される書類１０上の記入領域１１（選択領域）のハイライト表示である。これにより、書類１０を載置面２ａに載置するだけで、自動的に記入領域１１が選択されてハイライト表示されるので、操作者が記入箇所を容易に判別でき、効率的な記入作業が可能となる。

また、本実施形態の記入作業支援装置１では、書類１０の少なくとも一部が撮像領域６上から外れたときに、プロジェクタ４により注意喚起のメッセージ１３（注意喚起情報）を撮像領域６上に表示する。この構成により、書類１０が撮像領域６内に収まるように操作者へ注意を促すことができ、書類１０が撮像領域６から外れることを抑制できるので、記入領域１１のハイライト表示を安定して行うことが可能となり、記入作業の支援を好適に行うことができる。

なお、上記第一実施形態では、制御装置５の書類種別判定部５２が、撮像制御部５１により取得された書類１０の撮像画像を解析して、書類１０の種別を自動的に判定する構成としたが、この代わりに、操作者からの選択指令に基づき、書類１０の種別を手動で判定する構成でもよい。例えば、載置面２ａ上に書類１０の種別に対応する選択ボタンを表示して、操作者がどの選択ボタンを押下したかを検知することで、書類１０の種別を判定することができる。

また、上記第一実施形態では、画像処理装置の一例として記入作業支援装置１を例示して説明したが、本発明は、載置面２ａに載置された書類１０またはその周囲に作業支援情報を表示し、書類１０の移動に伴い作業支援情報を追従できれば、他の画像処理装置にも適用可能である。

また、上記の構成に加えて、ハイライト表示されている記入領域１１のうち、記入が完了した箇所からハイライト表示を順次消灯し、全ての記入が完了したら完了メッセージを表示する構成としてもよい。記入完了とは、該当箇所に何らかの文字が記入されたか否かで判断したり、ＯＣＲを併用して妥当な内容が記載されているかを判断するなどの手法が考えられる。

［第二実施形態］
次に、図７〜１１を参照して本発明の第二実施形態について説明する。本実施形態では、画像読取装置の一例として、スキャナ装置を挙げて説明する。まず図７を参照して、本実施形態に係るスキャナ装置の構成について説明する。図７は、本発明の第二実施形態に係る画像読取装置の一例としてのスキャナ装置の概略構成を示す模式図である。

図７に示すように、スキャナ装置１ａは、平板状の載置台２の上面の載置面２ａ上に載置された読取対象の媒体１０ａを、上方に配置された光学ユニット８（画像読取部）により読み取ることができるオーバーヘッド型のスキャナ装置である。

光学ユニット８は、下方の載置面２ａ上に載置された媒体１０ａを撮像して、媒体１０ａの読取画像を生成することが可能な既存の画像読取機構を適用することができる。その一例としては、載置面２ａ上における前後方向の任意の位置を読取対象ラインとしてそのライン画像を読み取ることができるラインセンサを備え、このラインセンサによる読取対象ラインの位置を載置面２ａの前後方向に沿って移動させることで、媒体１０ａ全体の読取画像を生成することができる。光学ユニット８は、後述する制御装置５ａの制御に従って動作し、媒体１０ａの読取画像を生成する。

また、スキャナ装置１ａは、制御装置５ａの制御によって、カメラ３により撮像画像から検出される操作者の載置面２ａでの手指の位置、形状、動作に応じて、操作者からの入力情報を受け付けることができ、さらに、操作者の入力情報に応じて、スキャナ装置１ａの動作を実行したり、プロジェクタ４により載置面２ａに表示する作業支援情報を更新するなど、操作者との間で双方向のインタラクションを取りながらスキャン作業を支援することができるよう構成されている。より詳細には、スキャナ装置１ａは、載置面２ａ上に載置された新聞や本などの媒体１０ａのうち、操作者がスキャンしたい記事や章などの一部分の領域（以下の説明では「スキャン範囲１４」とも記載する）を、載置面２ａ上の操作者の手指動作により範囲指定することができ、この指定されたスキャン範囲１４の読取画像を生成することができる。

制御装置５ａは、カメラ３、プロジェクタ４、及び光学ユニット８の動作を制御する。具体的には、制御装置５ａは、図７に示すように、以下に説明する撮像制御部５１（撮像機能）、手指検出部５６、媒体検出部５３ａ、作業支援情報選択部５４ａ、情報表示制御部５５（表示機能）、及び画像読取制御部５７の各機能を実現するよう構成されている。

手指検出部５６は、撮像制御部５１により取得された撮像領域６の撮像画像を解析して、撮像領域６内にある操作者の手指を検出する。操作者の手指の認識には、撮像画像の肌色成分から手の輪郭を抽出して指先を検出するなどの公知技術を適用することができる。手指検出部５６は、撮像領域６内に手指を検出したときには、手指の位置情報を算出する。手指の位置情報とは、手の重心座標及び五指の指先座標の少なくとも一部を含む。また、撮像領域６内に操作者の両手がある場合には、両手の手指の位置情報をそれぞれ算出する。

また、手指検出部５６は、載置面２ａ上における操作者の手指によるタップ動作、また、後述するようにプロジェクタ４により載置面２ａ上に各種の操作指令を示すスイッチが表示された際に、操作者の手指によるスイッチ押下動作を検出することができる。手指検出部５６におけるタップ動作やスイッチ押下動作の検出には、例えば以下の手法を適用することができる。

（１）指先の位置が一定時間静止すると、そのときの指先座標の位置でタップ動作やスイッチ押下動作が行われたとみなす。
（２）距離センサ等を用いて指先の上下方向の位置が所定値以上変化したことを検知すると、そのときの指先座標の位置にてタップ動作やスイッチ押下動作が行われたとみなす。
（３）載置面２ａに設けられた近接センサ（赤外線ライン光及び赤外カメラを含む）を用いて、指先で載置面２ａをタッチしたこと、または指先を載置面２ａに近づけたことを検出すると、そのときの指先座標の位置にてタップ動作やスイッチ押下動作が行われたとみなす。

媒体検出部５３ａは、撮像制御部５１により取得された撮像領域６の撮像画像に基づいて、撮像領域６内での媒体１０ａの位置情報を検出する。なお、媒体１０ａの位置情報は、図５を参照して第一実施形態で説明したのと同様に、載置面２ａ上にｍ軸及びｎ軸が配置されたカメラ座標系Ｃに基づく位置座標と、カメラ座標系Ｃに対する媒体１０ａの傾斜角度θを含むことができる。

作業支援情報制御部５４ａは、手指検出部５６により検出された操作者の手指の位置や動作などの情報や、媒体検出部５３ａにより検出された媒体１０ａの位置情報などに基づき、載置面２ａに表示可能な作業支援情報を選択する。より詳細には、作業支援情報制御部５４ａは、新聞などの媒体１０ａの中の特定の記事や一部分のみを範囲指定する作業や、範囲指定された部分のスキャンを実行させる作業などを支援する情報を選択することができる。本実施形態の作業支援情報とは、具体的には、操作者の載置面２ａでのタップ動作に応じたスキャン範囲１４の指定範囲の描画や、指定されたスキャン範囲１４のハイライト表示（強調表示）や、スキャン操作に関するスイッチの描画である。

作業支援情報選択部５４ａは、選択した作業支援情報の載置面２ａ上の表示位置を、媒体検出部５３ａにより検出された媒体１０ａの位置情報や手指検出部５６により検出された操作者の手指の位置情報に基づいて設定する。

画像読取制御部５７は、光学ユニット８の動作を制御して、媒体１０ａの読取動作を実行させ、媒体１０ａの読取画像を生成する。画像読取制御部５７は、例えば上述のように媒体１０ａの一部分のみをスキャン範囲１４として選択された場合には、該当部分のみの読取画像を作成することができる。

なお、撮像制御部５１、情報表示制御部５５は、第一実施形態と同一の機能であるため説明を省略する。

次に、図８〜１１を参照して、本実施形態に係るスキャナ装置の動作について説明する。図８は、媒体のスキャン範囲の指定操作を説明するための模式図であり、図９は、スキャン範囲のハイライト表示を説明するための模式図であり、図１０は、ハイライト表示の追従動作を説明するための模式図であり、図１１は、本発明の第二実施形態に係るスキャナ装置により実施されるハイライト表示処理を示すフローチャートである。以下の説明では、媒体１０ａの一例として新聞を例示し、新聞１０ａの中の記事を選択してスキャンする動作について説明する。

図８に示すように、スキャナ装置１ａは、載置面２ａに載置された新聞１０ａの領域内で、操作者が読み取りたい記事のコーナーをタップすると、そのタップ位置に向けて、コーナー点を示すマーカーを描画表示する。つまり、操作者の指先によるタップ動作によって、新聞１０ａ上の位置指定が行われる。スキャナ装置１ａは、マーカーを表示すると、一つ前にタップした位置のマーカーとの間に境界線を描画する。図８の例では、Ｐ_１→Ｐ_２→Ｐ_３→Ｐ_４の順で、それぞれの位置でタップ動作が検知されてマーカーが表示され、マーカーＰ_１とマーカーＰ_２の間、マーカーＰ_２とマーカーＰ_３の間に境界線が引かれている。

最初のタップ動作で描画されたマーカーＰ_１の近傍（例えば図８に示すように所定の半径Ｒ以内）にてタップ動作が検知された場合には、スキャナ装置１ａは、マーカー間の境界線がすべて連結されたものとして、スキャン範囲１４の指定操作を完了する。図９の例では、７番目のマーカーＰ_７がマーカーＰ_１の近傍に表示されたため、マーカーＰ_７がマーカーＰ_１の位置に重畳表示され、この結果マーカーＰ_１〜Ｐ_７によりスキャン範囲１４が画定されている。その後に、図９に示すように、指定されたスキャン範囲１４のみを明るくし、それ以外を暗くすることで、指定されたスキャン範囲１４（選択領域）を強調するハイライト表示を行う。

また、スキャナ装置１ａは、図９に示すように、操作者が両手で新聞１０ａを押さえており、両手が拘束された状態において、手指の周囲の領域内（手指上またはその周囲）に向けてスキャンスイッチ１５を描画表示する。そして、操作者の手指によるスキャンスイッチ１５の押下動作が検出された場合には、スキャン動作を実行する。なお、図９には図示しないが、例えば新聞１０ａのスキャン範囲１４を修正させる「輪郭修正」動作など、スキャン動作以外の動作の実行を指示するためのスイッチを併せて表示してもよい。

なお、第一実施形態と同様に、ハイライト表示は、指定されたスキャン範囲１４が操作者に対して強調される強調表示の一例として挙げたものである。この代わりに、例えばスキャン範囲１４の輪郭に枠線を引く、スキャン範囲１４の背景色を変更するなど、ハイライト表示以外の強調表示手法も適用可能である。

さらに、スキャナ装置１ａは、図１０に示すように、スキャン範囲１４をハイライト表示された新聞１０ａが載置面２ａ上で移動した場合には、ハイライト表示の表示位置を新聞１０ａの移動に追従させることができる。つまり、新聞１０ａ上のスキャン範囲１４とハイライト表示の表示位置は、新聞１０ａとの相対位置を維持して表示される。

このようなスキャナ装置１ａによるハイライト表示処理の動作を図１１のフローチャートに沿って説明する。図１１のフローチャートに示す処理は、例えば載置台２に新聞１０ａが載置されたことを検知したときに実施される。

まず、作業支援情報選択部５４ａにより、スキャン範囲１４の指定操作が検出される（Ｓ２０１）。作業支援情報選択部５４ａは、手指検出部５６により検出された操作者の指先によるタップ動作の位置座標に基づき、スキャン範囲１４を画定する。このとき、スキャン範囲１４の位置情報は、カメラ座標Ｃ（ｍ，ｎ）として取得される。

情報表示制御部５５により、ステップＳ２０１にて取得されたスキャン範囲１４の位置情報が、カメラ座標Ｃ（ｍ，ｎ）からプロジェクタ座標Ｐ（ｘ，ｙ）に座標変換され（Ｓ２０２）、このプロジェクタ座標Ｐ（ｘ，ｙ）を用いて、載置面２ａ上の新聞１０ａに向けて、スキャン範囲１４がハイライト表示される（Ｓ２０３）。

次に、撮像制御部５１により、カメラ３を制御して載置面２ａの撮像画像の画像フレームが取得され（Ｓ２０４）、媒体検出部５３ａにより、画像フレームが解析されて、載置面２ａに載置されている新聞１０ａの位置情報が検出される（Ｓ２０５）。新聞１０ａの位置情報は、図５を参照して第一実施形態で説明したのと同様に、カメラ３の撮像領域６の左上を原点とし、横方向をｍ軸、縦方向をｎ軸とするカメラ座標系Ｃを基準とする位置座標と、このカメラ座標系Ｃのｍ軸に対する傾斜角度θとを含むことができる。

そして、ステップＳ２０５で検出された新聞１０ａのカメラ座標系Ｃの位置座標に基づいて、ステップＳ２０１にて取得されたスキャン範囲１４のカメラ座標Ｃ（ｍ，ｎ）が、原稿座標Ｄ（ａ，ｂ）に座標変換される（Ｓ２０６）。このように求めたスキャン範囲１４の原稿座標Ｄ（ａ，ｂ）は、ステップＳ２０１にて指定されたスキャン範囲１４の新聞１０ａに対する相対的な位置座標であり、スキャン範囲１４の指定が維持される間では、新聞１０ａの載置位置の変化によらず一定である。このスキャン範囲１４の原稿座標Ｄ(ａ，ｂ)と、新聞１０ａのカメラ座標系Ｃの位置座標に基づき、スキャン範囲１４のハイライト位置を、新聞１０ａの移動に伴って追従させることができる。

次に、撮像制御部５１により再び画像フレームが取得され（Ｓ２０７：撮像ステップ）、媒体検出部５３ａにより画像フレームが解析されて、載置面２ａ上に新聞１０ａが載置されていることが検出されたか否かが確認される（Ｓ２０８）。新聞１０ａが載置面２ａ上に検出された場合には（Ｓ２０８のＹｅｓ）、ステップＳ２０９に移行する。新聞１０ａが載置面２ａ上に検出されない場合には（Ｓ２０８のＮｏ）、処理を終了する。

ステップＳ２０８にて載置面２ａ上に新聞１０ａが検出された場合には、引き続き媒体検出部５３ａにより、載置面２ａに載置されている新聞１０ａの位置情報が検出される（Ｓ２０９）。新聞１０ａの位置情報は、ステップＳ２０５と同様に、カメラ座標系Ｃを基準とする位置座標と、このカメラ座標系Ｃのｍ軸に対する傾斜角度θとを含む。

次に、作業支援情報選択部５４ａ及び情報表示制御部５５により、ステップＳ２０９にて検出された新聞１０ａの位置情報に基づき、ステップＳ２０６にて取得された新聞１０ａのスキャン範囲１４の原稿座標Ｄ（ａ，ｂ）が、カメラ座標Ｃ（ｍ，ｎ）に変換され、さらにプロジェクタ座標Ｐ（ｘ，ｙ）に座標変換される（Ｓ２１０）。作業支援情報選択部５４ａは、ステップＳ２０９にて検出された新聞１０ａの位置情報（カメラ座標系Ｃの位置座標と傾きθ）を利用して、新聞１０ａのスキャン範囲１４の位置座標を、原稿座標Ｄ（ａ，ｂ）からカメラ座標Ｃ（ｍ，ｎ）に座標変換する。さらに、情報表示制御部５５は、例えば上述した変換テーブルＴを用いて、新聞１０ａのスキャン範囲１４の位置座標を、カメラ座標Ｃ（ｍ，ｎ）からプロジェクタ座標Ｐ（ｘ，ｙ）に座標変換する。

そして、ステップＳ２１０にて取得された新聞１０ａのプロジェクタ座標系Ｐの位置座標Ｐ（ｘ，ｙ）を用いて、載置面２ａ上の新聞１０ａに向けて、スキャン範囲１４をハイライト表示して（Ｓ２１１：表示ステップ）、ステップＳ２０７に戻る。ステップＳ２０７からステップＳ２１１までの各処理ステップは、載置面２ａから新聞１０ａが取り出されるなど、載置面２ａ上に新聞１０ａが無くなるまで繰り返される。つまり、ステップＳ２０９にて新聞１０ａの載置位置が逐次検出されるので、新聞１０ａが載置面２ａ上で移動するのに伴って、スキャン範囲１４のハイライト表示の位置は、新聞１０ａとの相対位置を維持したまま、新聞１０ａに追従して移動する。

本実施形態に係るスキャナ装置の効果を説明する。

新聞をスキャンする場合、新聞全面のデータが欲しいわけではなく、例えば新聞記事をスクラップするように、ある特定の記事情報だけスキャンしたい場合が多い。従来のスキャナ装置では、新聞全面をスキャンした後に、アプリケーションソフトで必要個所だけを切り出し保存することになるのが一般的である。このため、一旦新聞全体の大きなデータを読み込む必要があり、また、全体データを読取後に必要箇所を切り出す作業となり、データ容量的にも作業効率的にも望ましいものではない。この課題に対し、事前に指定した記事のみを切り出してからスキャン保存することも考えられるが、切り出し範囲の指定後に新聞が動いた場合には、指定範囲がずれてしまい、本来必要な範囲と異なる範囲を保存してしまう虞がある。

本実施形態のスキャナ装置１ａでは、光学ユニット８は、操作者の指先により指定される新聞１０ａ上のスキャン範囲１４に基づいて、新聞１０ａの少なくとも一部を読み取る。言い換えると、スキャナ装置１ａは、操作者により新聞１０ａのスキャン範囲１４が選択された状態（図９，１０や、図１１のフローチャートのステップＳ２０７〜Ｓ２１１の間）において、図９，１０に示すスキャンスイッチ１５などの操作入力に応じて、画像読取制御部５７及び光学ユニット８を作動させることで、新聞１０ａのうちのスキャン範囲１４のみを切り出してから、画像読取を行うことができる。

この構成により、スキャン範囲１４により指定された必要記事のみ抽出して読取画像を作成できるので、スキャン作業により生成されるデータ量を低減できる。

また、スキャナ装置１ａでは、カメラ３により取得された新聞１０ａの位置情報に基づいて、プロジェクタ４により、撮像領域６上の新聞１０ａからの相対位置に向けて、スキャン範囲１４のハイライト表示が表示される。つまり、撮像領域６上で新聞１０ａが移動すると、スキャン範囲１４のハイライト表示の撮像領域６上の表示位置は、新聞１０ａの移動に応じて追従する。

この構成により、スキャン範囲１４の指定後に新聞１０ａの載置面２ａ上の位置がずれてしまっても、スキャン範囲１４の新聞１０ａに対する相対的な位置関係を維持することが可能となり、撮像領域６上のハイライト表示の位置を、実際に操作者が選択したスキャン範囲１４と一致させることができる。これにより、切り出し範囲の指定後に新聞が動いてしまい、指定範囲がずれてしまっても、本来必要な範囲を保存することが可能となり、効率的なスキャン作業が可能となり、スキャン作業の利便性を向上できる。

さらに、スキャナ装置１ａでは、光学ユニット８は、作業支援情報の提供のために媒体１０ａを撮像するカメラ３とは別体である。このため、光学ユニット８によるスキャン動作中でも、カメラ３で新聞１０ａの移動や操作者の手指などの挙動をモニタすることが可能であり、光学ユニット８による読み取り中に、撮像領域６上で新聞１０ａが移動した場合には、必要に応じてプロジェクタ４により情報を載置面２ａに表示することができる。

この構成により、スキャン中に読取対象の新聞１０ａなど媒体の位置が変わるなどの突発的な状態変化が起きても、操作者に適宜情報を提供しつつスキャン動作を継続できるので、スキャン作業を円滑に進めることが可能となり、スキャン作業の効率をより一層向上できる。なお、この際に、載置面２ａに表示する情報とは、例えば、新聞１０ａの移動に応じて追従するスキャン範囲１４のハイライト表示や、スキャン動作中に新聞１０ａの位置がずれたことを警告するメッセージや警報音を含めることができる。

また、本実施形態のスキャナ装置１ａは、第一実施形態の記入作業支援装置１と同様に、カメラ３及びプロジェクタ４を備える構成であるので、第一実施形態と同様の効果も奏することができる。

上記実施形態では、媒体１０ａを読み取る画像読取装置の一例としてスキャナ装置１ａを挙げて説明したが、本発明は、複写機、ファクシミリ、文字認識装置など他の画像読取装置にも適用可能である。

また、上記実施形態では、画像読取装置の一例としてスキャナ装置１ａを挙げて説明したため、載置面２ａに表示する作業支援情報は、媒体１０ａを利用したスキャン作業を支援するための情報を例示した。これに対し本発明をスキャナ装置１ａ以外の画像読取装置または画像処理装置に適用する場合には、作業支援情報の内容は各装置が対象とする作業を支援するための情報を適宜設定することができる。

上記実施形態では、制御装置５ａの手指検出部５６は、撮像画像に基づいて撮像領域６内にある操作者の手指の位置情報を算出する構成を例示したが、例えば手指の形状や動作、ジェスチャーなど、位置以外の情報を検出する構成としてもよい。

上記実施形態では、作業支援用の画像を取得するカメラ３と、画像読取用の光学ユニット８とを別体で備える構成を例示したが、カメラ３と光学ユニット８の両方の機能を実現可能な単一の撮像装置に置き換えることも可能である。

以上、本発明の実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１ 記入作業支援装置（画像処理装置）
１ａ スキャナ装置（画像読取装置）
２ 載置台
２ａ 載置面
３ カメラ（撮像部）
４ プロジェクタ（表示部）
５ 制御装置
５１ 撮像制御部
５２ 書類種別判定部
５３ 書類検出部
５３ａ 媒体検出部
５４，５４ａ 作業支援情報選択部
５５ 情報表示制御部
５６ 手指検出部
５７ 画像読取制御部
６ 撮像領域
７ 照射領域
８ 光学ユニット（画像読取部）
１０ 書類（媒体）
１０ａ 新聞（媒体）
１１ 記入領域（選択領域）
１４ スキャン範囲（選択領域）

Claims (8)

1. 載置された読取対象の媒体に対して撮像領域内で撮像する撮像部と、
   前記撮像領域に向けて情報を表示する表示部と、
   を備え、
   前記撮像部により取得された前記撮像領域上の前記媒体の位置情報に基づいて、前記媒体を利用した作業を支援する作業支援情報を前記表示部により前記撮像領域に向けて表示し、前記媒体の少なくとも一部が前記撮像領域上から外れたときに、前記表示部により注意喚起情報を前記撮像領域上に表示することを特徴とする画像処理装置。
2. 前記撮像領域上で前記媒体が移動すると、前記作業支援情報の前記撮像領域上の表示位置を前記移動に応じて追従させることを特徴とする、請求項１に記載の画像処理装置。
3. 前記作業支援情報とは、前記媒体の種類に応じて設定される前記媒体上の選択領域の強調表示であることを特徴とする、請求項１または２に記載の画像処理装置。
4. 前記作業支援情報とは、操作者の指先により指定される前記媒体上の選択領域の強調表示であることを特徴とする、請求項１または２に記載の画像処理装置。
5. 前記作業支援情報に基づいて、前記媒体の少なくとも一部を読み取る画像読取部と、
   請求項１〜４のいずれか１項に記載の画像処理装置と、
   を備えることを特徴とする画像読取装置。
6. 前記画像読取部による読み取り中に、前記撮像領域上で前記媒体が移動した場合には、必要に応じて前記表示部により情報を表示することを特徴とする、請求項５に記載の画像読取装置。
7. 載置された読取対象の媒体に対して撮像領域内で撮像する撮像部と、
   前記撮像領域に向けて情報を表示する表示部と、
   を備える画像処理装置の画像処理方法であって、
   前記撮像部により、載置された読取対象の媒体に対して前記撮像領域内で撮像する撮像ステップと、
   前記撮像ステップにて取得された前記撮像領域上の前記媒体の位置情報に基づいて、前記媒体を利用した作業を支援する作業支援情報を前記表示部により前記撮像領域に向けて表示し、前記媒体の少なくとも一部が前記撮像領域上から外れたときに、前記表示部により注意喚起情報を前記撮像領域上に表示する表示ステップと、
   を含むことを特徴とする画像処理方法。
8. 載置された読取対象の媒体に対して撮像領域内で撮像する撮像部と、
   前記撮像領域に向けて情報を表示する表示部と、
   を備える画像処理装置のための画像処理プログラムであって、
   前記撮像部により、載置された読取対象の媒体に対して前記撮像領域内で撮像する撮像機能と、
   前記撮像機能により取得された前記撮像領域上の前記媒体の位置情報に基づいて、前記媒体を利用した作業を支援する作業支援情報を前記表示部により前記撮像領域に向けて表示し、前記媒体の少なくとも一部が前記撮像領域上から外れたときに、前記表示部により注意喚起情報を前記撮像領域上に表示する表示機能と、
   をコンピュータに実現させるための画像処理プログラム。

Images