JPWO2011152166A1 - オーバーヘッドスキャナ装置、画像処理方法、および、プログラム - Google Patents

Abstract

本実施形態によれば、画像撮像部を制御して、利用者により提示された少なくとも１つの指標物を含む原稿の画像を取得し、取得した画像から指標物の重心から端部までの距離に基づいて決定された２点の指定点を検出し、検出された２点を対角とする矩形で、画像を切り出す。

Description

本発明は、オーバーヘッドスキャナ装置、画像処理方法、および、プログラムに関する。

従来、原稿を上向きに設置して上方より原稿を撮像するオーバーヘッドスキャナが開発されている。

例えば、特許文献１に記載のオーバーヘッドスキャナは、原稿を押さえるために手が写り込んでしまう問題のために、画素出力から肌色を判別し、肌色領域を白色に置き換える等の補正を行うことが開示されている。

また、特許文献２に記載のオーバーヘッドスキャナは、原稿の所望の読み取り領域の対角位置を手で押さえて読み取り動作を行わせ、この読み取った画像情報に基づいて、原稿とその原稿を押える手との境界を検出し、左右の手の最も内側の２座標が対角線となる矩形の外側領域をマスキングすることが開示されている。

また、特許文献３に記載のオーバーヘッドスキャナは、操作者により座標指示ペンで指示される座標位置を受け付け、入力された座標間を結んだ領域を切り出し領域として認識し、切り出し領域等を選択的に光照射することが開示されている。

また、フラットベッド型スキャナとして、特許文献４に記載の原稿読取装置は、エリアセンサにてプレスキャンした画像から読み取り範囲と原稿サイズを認識し、リニアセンサにて原稿を読み取ることが開示されている。

特開平６−１０５０９１号公報 特開平７−１６２６６７号公報 特開平１０−３２７３１２号公報 特開２００５−１６７９３４号公報

しかしながら、従来のスキャナ装置においては、読み取った画像の中から一部の領域を切り出したい場合において、スキャナ前にコンソール上で切り出す範囲を予め指定するか、スキャン後に画像エディタ上で切り出す領域を指定する等の操作が必要であり、操作が煩雑であるという問題点を有していた。

例えば、特許文献１に記載のオーバーヘッドスキャナにおいては、肌色を検出して写り込んだ手の画像を補正するものの、副走査方向（左右方向）の原稿範囲を指定するのみであり、読み取った画像の中から一部の切り出し領域を指定したい場合に応用することができないという問題点を有していた。

また、特許文献２に記載のオーバーヘッドスキャナにおいては、肌色を検出して左右の手のエッジの最も内側の座標を、切り出す矩形の対角の点としているので、利用者が意図した指先の座標ではない点が誤って検出されるという問題点を有していた。

また、特許文献３に記載のオーバーヘッドスキャナにおいては、画像を切り出す領域を座標指示ペンで指定することができるものの、専用の座標指示ペンを使用しなければならず操作性に問題を有していた。

また、特許文献４に記載のフラットベッド型スキャナにおいては、エリアセンサによるプレスキャンにより原稿サイズやオフセット等を認識することができるものの、切り出し範囲を指定するためには、読み取った画像を編集ソフトウェア上でポイントペン等を使って指定する必要があり、依然として操作が煩雑であるという問題を有していた。

本発明は、上記問題点に鑑みてなされたもので、表示画面上でカーソル移動ボタンを操作するコンソールや専用ペン等の特別なツールを必要とすることなく、範囲指定のための操作性に優れた、オーバーヘッドスキャナ装置、画像処理方法、および、プログラムを提供することを目的とする。

このような目的を達成するため、本発明のオーバーヘッドスキャナ装置は、画像撮像部と制御部とを備え、前記制御部は、前記画像撮像部を制御して、利用者により提示された少なくとも１つの指標物を含む原稿の画像を取得する画像取得手段と、前記画像取得手段により取得された前記画像から、前記指標物の重心から端部までの距離に基づいて決定された２点の指定点を検出する指定点検出手段と、前記指定点検出手段により検出された前記２点を対角とする矩形で、前記画像取得手段により取得された前記画像を切り出す画像切出手段と、を備えたことを特徴とする。

また、本発明に係るオーバーヘッドスキャナ装置は、前記に記載のオーバーヘッドスキャナ装置において、前記画像取得手段は、前記画像撮像部を制御して、予め定めた取得契機に従って、利用者により提示された１つの指標物を含む原稿の画像を、２枚取得し、前記指定点検出手段は、前記画像取得手段により取得された２枚の前記画像から、前記指標物で指定された前記２点を検出することを特徴とする。

また、本発明に係るオーバーヘッドスキャナ装置は、前記に記載のオーバーヘッドスキャナ装置において、前記制御部は、前記指定点検出手段により検出された前記２点を対角とする前記矩形の内部に、前記利用者により提示された前記指標物を含む前記原稿の画像を取得する除去画像取得手段と、前記除去画像取得手段により取得された前記画像から、前記指標物で指定された領域を検出する除去領域検出手段と、前記除去領域検出手段により検出された前記領域を、前記画像切出手段により切り出された前記画像から除去する領域除去手段と、を更に備えたことを特徴とする。

また、本発明に係るオーバーヘッドスキャナ装置は、前記に記載のオーバーヘッドスキャナ装置において、前記指標物は、利用者の手の指先であり、前記指定点検出手段は、前記画像取得手段により取得された前記画像から肌色の部分領域を検出して前記指標物となる前記手の指先を検出し、当該指標物で指定された２点を検出することを特徴とする。

また、本発明に係るオーバーヘッドスキャナ装置は、前記に記載のオーバーヘッドスキャナ装置において、前記指定点検出手段は、前記手の重心から周囲に向けて複数の指方向ベクトルを作成し、前記指方向ベクトルの法線ベクトルとの前記部分領域の重なり幅が所定の幅に最も近い場合に、当該指方向ベクトルの先端を前記指先とすることを特徴とする。

また、本発明に係るオーバーヘッドスキャナ装置は、前記に記載のオーバーヘッドスキャナ装置において、前記指標物は、付箋であり、前記指定点検出手段は、前記画像取得手段により取得された前記画像から、前記指標物となる２枚の付箋で指定された２点を検出することを特徴とする。

また、本発明に係るオーバーヘッドスキャナ装置は、前記に記載のオーバーヘッドスキャナ装置において、前記指標物は、ペンであり、前記指定点検出手段は、前記画像取得手段により取得された前記画像から、前記指標物となる２本の前記ペンで指定された２点を検出することを特徴とする。

また、本発明に係るオーバーヘッドスキャナ装置は、前記に記載のオーバーヘッドスキャナ装置において、更に、記憶部を備え、前記制御部は、利用者により提示される前記指標物の色および／または形を前記記憶部に格納する指標物格納手段、を更に備え、前記指定点検出手段は、前記画像取得手段により取得された前記画像から、前記指標物格納手段により前記記憶部に格納された前記色および／または前記形に基づいて当該画像上の前記指標物を検出し、当該指標物で指定された２点を検出することを特徴とする。

また、本発明に係るオーバーヘッドスキャナ装置は、前記に記載のオーバーヘッドスキャナ装置において、前記制御部は、前記画像取得手段により取得された前記画像から、前記原稿の傾きを検出する傾き検出手段と、前記画像切出手段により切り出された前記画像を、前記傾き検出手段により検出された前記傾きで傾き補正する傾き補正手段と、を更に備えたことを特徴とする。

また、本発明は画像処理方法に関するものであり、本発明に係る画像処理方法は、画像撮像部と制御部とを備え、オーバーヘッドスキャナ装置の前記制御部で実行される、前記画像撮像部を制御して、利用者により提示された少なくとも１つの指標物を含む原稿の画像を取得する画像取得ステップと、前記画像取得ステップにて取得された前記画像から、前記指標物の重心から端部までの距離に基づいて決定された２点の指定点を検出する指定点検出ステップと、前記指定点検出ステップにて検出された前記２点を対角とする矩形で、前記画像取得ステップにて取得された前記画像を切り出す画像切出ステップと、を含むことを特徴とする。

また、本発明はプログラムに関するものであり、本発明に係るプログラムは、画像撮像部と制御部とを備え、オーバーヘッドスキャナ装置の前記制御部に実行させるための、前記画像撮像部を制御して、利用者により提示された少なくとも１つの指標物を含む原稿の画像を取得する画像取得ステップと、前記画像取得ステップにて取得された前記画像から、前記指標物の重心から端部までの距離に基づいて決定された２点の指定点を検出する指定点検出ステップと、前記指定点検出ステップにて検出された前記２点を対角とする矩形で、前記画像取得ステップにて取得された前記画像を切り出す画像切出ステップと、を含むことを特徴とする。

この発明によれば、制御部は、画像撮像部を制御して、利用者により提示された少なくとも１つの指標物を含む原稿の画像を取得し、取得された画像から、指標物の重心から端部までの距離に基づいて決定された２点の指定点を検出し、検出された２点を対角とする矩形で、取得された画像を切り出す。これにより、表示画面上でカーソル移動ボタンを操作するコンソールや専用ペン等の特別なツールを必要とすることなく、切り出し範囲指定の操作性を向上させることができるという効果を奏する。例えば、従来、利用者は、原稿とスキャナ装置から一旦視線を外して表示画面のコンソールをみるため作業が中断され生産効率の低下を招いていたが、本発明では、原稿とスキャナ装置から視線を外すことなく、また、原稿を専用ペン等で汚すことなく、切り出し範囲を指定することができる。また、指標物の重心から端部までのベクトルが示す距離に基づいて指定点を決定するので、利用者が意図した指定点を正確に検出することができる。

また、本発明によれば、画像撮像部を制御して、予め定めた取得契機に従って、利用者により提示された１つの指標物を含む原稿の画像を２枚取得し、取得された２枚の画像から、指標物で指定された２点を検出する。これにより、利用者は、単一の指標物のみを用いて切り出し範囲を指定することができ、特に、指標物として指先を用いる場合、利用者は片手のみの操作で切り出し範囲を指定することが可能になるという効果を奏する。

また、本発明によれば、検出された２点を対角とする矩形の内部に、利用者により提示された指標物を含む原稿の画像を取得し、取得された画像から、指標物で指定された領域を検出し、検出された領域を切り出された画像から除去する。これにより、利用者が切り出したい範囲が矩形ではない場合であっても、複数の矩形が組み合わされたブロック形状などのように、複雑な多角形で切り出し範囲を指定することができるという効果を奏する。

また、本発明によれば、指標物は、利用者の手の指先であり、取得された画像から肌色の部分領域を検出して指標物となる手の指先を検出し、当該指標物で指定された２点を検出する。これにより、肌の色により画像上の手の指の領域を正確に検出して、指定された切り出し範囲を精度よく検出することができるという効果を奏する。

また、本発明によれば、手の重心から周囲に向けて複数の指方向ベクトルを作成し、指方向ベクトルの法線ベクトルとの部分領域の重なり幅が所定の幅に最も近い場合に、当該指方向ベクトルの先端を指先とする。これにより、指は手の重心から手の外周に向かって突き出しているという仮定に基づいて、指先を正確に検出することができるという効果を奏する。

また、本発明によれば、指標物は付箋であり、取得された画像から、指標物となる２枚の付箋で指定された２点を検出する。これにより、２枚の付箋で指定された２点を対角とする矩形を、切り出し範囲として検出することができるという効果を奏する。

また、本発明によれば、指標物はペンであり、取得された画像から、指標物となる２本のペンで指定された２点を検出する。これにより、２本のペンで指定された２点を対角とする矩形を、切り出し範囲として検出することができるという効果を奏する。

また、本発明によれば、制御部は、利用者により提示される指標物の色および／または形を記憶部に格納し、取得された画像から、格納された色および／または形に基づいて当該画像上の指標物を検出し、当該指標物で指定された２点を検出する。これにより、利用者ごとに指標物（例えば、手の指先）の色や形が異なる場合であっても、当該指標物の色や形を記憶することによって、精度よく画像上の指標物の領域を検出して、切り出し範囲を検出することができるという効果を奏する。

また、本発明によれば、制御部は、取得された画像から、原稿の傾きを検出し、切り出された画像を、検出された傾きで傾き補正する。これにより、傾いたまま切り出した後に、傾き補正を行うことで、処理速度とリソースの無駄を省くことができるという効果を奏する。

図１は、オーバーヘッドスキャナ装置１００の構成の一例を示すブロック図である。 図２は、原稿が設置された画像撮像部１１０の外観の一例を示し、主走査方向と副走査方向とモータ１２による回転方向の関係を示す図である。 図３は、本実施形態のオーバーヘッドスキャナ装置１００におけるメイン処理の一例を示すフローチャートである。 図４は、画像上で検出される２つの指定点と、当該２つの指定点に基づく切り出し範囲の一例を示す図である。 図５は、指定点検出部１０２ｂの処理による、画像上の指標物の重心から端部までの距離に基づいて指定点を検出する方法を模式的に示した図である。 図６は、指定点検出部１０２ｂの処理による、画像上の指標物の重心から端部までの距離に基づいて指定点を検出する方法を模式的に示した図である。 図７は、本実施形態のオーバーヘッドスキャナ装置１００における具体化処理の一例を示すフローチャートである。 図８は、指定点検出部１０２ｂにより指先を検出する方法の一例を模式的に示した図である。 図９は、法線ベクトルと画像および重み付け係数によって指先の適合度を求める方法を模式的に示した図である。 図１０は、画像データ上において検出された、左右の手の重心と、指先の指定点、および、切り出し範囲を示す図である。 図１１は、領域除去処理を模式的に示した図である。 図１２は、付箋によって除去領域が指定された例を示す図である。 図１３は、付箋によって除去領域が指定された例を示す図である。 図１４は、本実施形態のオーバーヘッドスキャナ装置１００における片手操作時の処理の一例を示すフローチャートである。 図１５は、１点目および２点目の指定点が検出された場合を示す図である。 図１６は、３点目および４点目の指定点が検出された場合を示す図である。

以下に、本発明に係るオーバーヘッドスキャナ装置、画像処理方法、および、プログラムの実施形態を図面に基づいて詳細に説明する。なお、この実施形態により本発明が限定されるものではない。

［１．本実施形態の構成］
本実施形態に係るオーバーヘッドスキャナ装置１００の構成について図１を参照して説明する。図１は、オーバーヘッドスキャナ装置１００の構成の一例を示すブロック図である。

図１に示すように、オーバーヘッドスキャナ装置１００は、上向きに設置された原稿を上方よりスキャンする画像撮像部１１０と、制御部１０２とを少なくとも備え、本実施形態において、記憶部１０６と入出力インターフェース部１０８とを更に備える。また、これら各部は任意の通信路を介して通信可能に接続されている。

記憶部１０６は、各種のデータベースやテーブルやファイルなどを格納する。記憶部１０６は、ストレージ手段であり、例えばＲＡＭ・ＲＯＭ等のメモリ装置や、ハードディスクのような固定ディスク装置、フレキシブルディスク、光ディスク等を用いることができる。記憶部１０６には、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）に命令を与え各種処理を行うためのコンピュータプログラムが記録されている。記憶部１０６は、図示の如く、画像データ一時ファイル１０６ａ、加工画像データファイル１０６ｂ、および、指標物ファイル１０６ｃを備える。

このうち、画像データ一時ファイル１０６ａは、画像撮像部１１０で読み取られた画像データを一時的に記憶する。

また、加工画像データファイル１０６ｂは、画像撮像部１１０で読み取られた画像データから、後述する画像切出部１０２ｃや傾き補正部１０２ｅ等により加工処理された画像データを記憶する。

入出力インターフェース部１０８は、画像撮像部１１０や入力装置１１２や出力装置１１４を、オーバーヘッドスキャナ装置１００と接続する。ここで、出力装置１１４には、モニタ（家庭用テレビを含む。）の他、スピーカやプリンタを用いることができる（なお、以下では、出力装置１１４をモニタ１１４として記載する場合がある。）。入力装置１１２には、キーボードやマウスやマイクの他、マウスと協働してポインティングデバイス機能を実現するモニタを用いることができる。また、入力装置１１２として、足による操作が可能なフットスイッチを用いてもよい。

また、画像撮像部１１０は、上向きに設置された原稿を上方よりスキャンして原稿の画像を読み取る。ここで、本実施形態において、画像撮像部１１０は、図１に示すように、コントローラ１１と、モータ１２と、イメージセンサ１３（例えば、エリアセンサやラインセンサ）と、Ａ／Ｄコンバータ１４とを備える。コントローラ１１は、入出力インターフェース部１０８を介した制御部１０２からの指令に応じて、モータ１２、イメージセンサ１３、および、Ａ／Ｄコンバータ１４を制御する。イメージセンサ１３として一次元のラインセンサを用いた場合、イメージセンサ１３は、原稿の主走査方向のラインから届く光を、ライン上の画素ごとにアナログ電荷量に光電変換する。そして、Ａ／Ｄコンバータ１４は、イメージセンサ１３から出力されたアナログ電荷量をデジタル信号に変換し、一次元の画像データを出力する。モータ１２が回転駆動すると、イメージセンサ１３の読み込み対象の原稿ラインが副走査方向に移動する。これにより、ラインごとに一次元の画像データがＡ／Ｄコンバータ１４から出力され、制御部１０２は、これらを合成することにより二次元の画像データを生成する。ここで、図２は、原稿が設置された画像撮像部１１０の外観の一例を示し、主走査方向と副走査方向とモータ１２による回転方向との関係を示す図である。

図２に示すように、原稿を上向きに設置して、上方より画像撮像部１１０にて原稿を撮像する場合、図示の主走査方向のラインの一次元画像データが、イメージセンサ１３により読み取られる。そして、モータ１２の駆動によりイメージセンサ１３が図示の回転方向に回転すると、それに伴って、イメージセンサ１３の読み取りラインは、図示の副走査方向に移動する。これにより、二次元の原稿の画像データが、画像撮像部１１０によって読み取られることとなる。

再び図１に戻り、指標物ファイル１０６ｃは、利用者により提示される指標物の色や形等を記憶する指標物記憶手段である。ここで、指標物ファイル１０６ｃは、利用者ごとに、利用者の手や指の色（肌色）や、手の指先等の指定すべき点を指し示す突出した端部の形等を記憶してもよい。その他、指標物ファイル１０６ｃは、付箋やペンなどの色や形を記憶してもよい。また、指標物ファイル１０６ｃは、切り出し範囲を指定するための付箋やペン等の指標物の特徴（色や形など）と、切り出し範囲から除去する領域を指定するための付箋やペン等の指標物の特徴（色や形など）とを、それぞれ記憶してもよい。

制御部１０２は、オーバーヘッドスキャナ装置１００を統括的に制御するＣＰＵ等からなる。制御部１０２は、制御プログラムと各種の処理手順等を規定したプログラムと所要データとを格納するための内部メモリを有し、これらプログラムに基づいて種々の処理を実行するための情報処理を行う。制御部１０２は、図示の如く、大別して、画像取得部１０２ａと、指定点検出部１０２ｂと、画像切出部１０２ｃと、傾き検出部１０２ｄと、傾き補正部１０２ｅと、指標物格納部１０２ｆと、除去画像取得部１０２ｇと、除去領域検出部１０２ｈと、領域除去部１０２ｊと、を備える。

画像取得部１０２ａは、画像撮像部１１０を制御して、利用者により提示された少なくとも１つの指標物を含む原稿の画像を取得する。例えば、画像取得部１０２ａは、上述のように、画像撮像部１１０のコントローラ１１を制御して、モータ１２を回転駆動させ、イメージセンサ１３により光電変換されＡ／Ｄコンバータ１４によりアナログデジタル変換されたラインごとの一次元画像データを合成することにより、二次元の画像データを生成し、画像データ一時ファイル１０６ａに格納する。なお、これに限られず、画像取得部１０２ａは、画像撮像部１１０を制御して、エリアセンサであるイメージセンサ１３から、２次元画像を所定時間間隔で連続的に取得してもよい。ここで、画像取得部１０２ａは、画像撮像部１１０を制御して、予め定めた取得契機（例えば、指の静止時、音の入出力時、フットスイッチ押下時）に従って、利用者により提示された１つの指標物を含む原稿の画像を、時系列に２枚取得してもよい。例えば、指標物が手の指先の場合、利用者が片手で原稿上の指定点を示しながら発声すると、画像取得部１０２ａは、マイクの入力装置１１２から音声入力された契機で、１枚の画像を取得する。また、イメージセンサ１３としてエリアセンサとラインセンサを用いる場合、利用者が片手を静止して原稿上の指定点を示すと、画像取得部１０２ａは、エリアセンサにより連続的に取得される画像群に基づいて指が静止した契機で、ラインセンサによる高精細な画像を１枚取得してもよい。

指定点検出部１０２ｂは、画像取得部１０２ａにより取得された画像から、指標物の重心から端部までの距離に基づいて決定された２点の指定点を検出する。具体的には、指定点検出部１０２ｂは、画像取得部１０２ａにより画像データ一時ファイル１０６ａに格納された画像データに基づいて、画像上の少なくとも１つの指標物の重心からの端部までの距離に基づいて、指定点を検出する。より詳細には、指定点検出部１０２ｂは、指標物の重心を始点として端部を終点としたベクトルの長さが所定以上のベクトルの端部（終点）側を指定点として検出してもよい。なお、指定点検出部１０２ｂは、２つの指標物を含む一枚の画像から、２点の指定点を検出することに限られず、１つの指標物を含む２枚の画像から、それぞれ１点ずつ指定点を検出することにより、２つの指定点を検出してもよい。ここで、指標物は、例えば、指定すべき点を指し示す突出した端部を有するものであってもよく、一例として、利用者により提示される、手の指先や、付箋、ペン等のオブジェクトである。例えば、指定点検出部１０２ｂは、画像取得部１０２ａにより取得された画像データに基づく画像から肌色の部分領域を検出して、手の指先等の指標物を検出する。ここで、指定点検出部１０２ｂは、画像取得部１０２ａにより取得された画像データに基づく画像から、指標物格納部１０２ｆにより指標物ファイル１０６ｃに格納された色および／または形に基づいて、公知のパターン認識アルゴリズム等により当該画像上の指標物を検出してもよい。また、指定点検出部１０２ｂは、画像取得部１０２ａにより取得された画像データに基づく画像から、指標物となる左右それぞれの手の指先で指定された２点を検出してもよい。この場合、指定点検出部１０２ｂは、肌色の部分領域として検出した指標物となる手の重心から周囲に向けて複数の指方向ベクトルを作成し、指方向ベクトルの法線ベクトルとの部分領域の重なり幅が所定の幅に最も近い場合に、当該指方向ベクトルの先端を指先として指定点を検出してもよい。また、指定点検出部１０２ｂは、画像取得部１０２ａにより取得された画像データに基づく画像から、指標物となる２枚の付箋で指定された２点を検出してもよい。また、指定点検出部１０２ｂは、画像取得部１０２ａにより取得された画像データに基づく画像から、指標物となる２本のペンで指定された２点を検出してもよい。

画像切出部１０２ｃは、指定点検出部１０２ｂにより検出された２点を対角とする矩形で、画像取得部１０２ａにより取得された画像を切り出す。具体的には、画像切出部１０２ｃは、指定点検出部１０２ｂにより検出された２点を対角とする矩形を切り出し範囲として、画像取得部１０２ａにより画像データ一時ファイル１０６ａに格納された画像データから切り出し範囲の画像データを取得し、切り出した加工後の画像データを加工画像データファイル１０６ｂに格納する。ここで、画像切出部１０２ｃは、傾き検出部１０２ｄにより検出された原稿の傾きに応じて、検出された２点を対角とし、かつ、原稿エッジと平行となる線で構成される矩形を、切り出し範囲としてもよい。すなわち、原稿が傾いている場合は、原稿に記載された文字や図形も傾いていると考えられるので、画像切出部１０２ｃは、傾き検出部１０２ｄにより検出された原稿の傾きに応じて傾けた矩形を、切り出し範囲としてもよい。

傾き検出部１０２ｄは、画像取得部１０２ａにより取得された画像から、原稿の傾きを検出する。具体的には、傾き検出部１０２ｄは、画像取得部１０２ａにより画像データ一時ファイル１０６ａに格納された画像データに基づいて、原稿エッジ等を検出して原稿の傾きを検出する。

傾き補正部１０２ｅは、画像切出部１０２ｃにより切り出された画像を、傾き検出部１０２ｄにより検出された傾きで傾き補正する。具体的には、傾き補正部１０２ｅは、画像切出部１０２ｃにより傾き検出部１０２ｄにより検出された傾きに応じて切り出された画像を、当該傾きがなくなるように回転させる。例えば、傾き検出部１０２ｄにより検出された傾きがθ°であった場合、画像切出部１０２ｃにより切り出された画像を、−θ°回転させることにより、傾き補正した画像データを生成し、加工画像データファイル１０６ｂに格納する。

指標物格納部１０２ｆは、利用者により提示される指標物の色および／または形を指標物ファイル１０６ｃに格納する。例えば、指標物格納部１０２ｆは、画像取得部１０２ａにより取得された、原稿を含まない指標物の画像から、公知の学習アルゴリズムにより、指標物の色および／または形を学習し、学習結果の色や形を指標物ファイル１０６ｃに保存してもよい。

除去画像取得部１０２ｇは、指定点検出部１０２ｂにより検出された２点の指定点を対角とする矩形の内部に、利用者により提示された指標物を含む原稿の画像を取得する除去画像取得手段である。除去画像取得部１０２ｇは、上述した画像取得部１０２ａと同様に、画像撮像部１１０を制御して、原稿の画像を取得してもよい。特に、除去画像取得部１０２ｇは、画像撮像部１１０を制御して、予め定めた取得契機（例えば、指の静止時、音の入出力時、フットスイッチ押下時）で、画像を取得してもよい。

除去領域検出部１０２ｈは、除去画像取得部１０２ｇにより取得された画像から、指標物で指定された領域を検出する除去領域検出手段である。例えば、除去領域検出部１０２ｈは、「指標物で指定された領域」として、利用者により指標物で指定された領域（２点を対角とする矩形等）を検出してもよい。また、除去領域検出部１０２ｈは、２点の指定点を対角とする矩形の内部のうち、利用者により指定された１点で矩形を４分割する２本の線が交差する点を決定し、さらに利用者により指定された１点で４分割の領域のうち１領域を「指標物で指定された領域」として検出してもよい。なお、除去領域検出部１０２ｈは、上述した指定点検出部１０２ｂが指定点を検出する処理と同様に、指標物で指定された点を検出してもよい。

領域除去部１０２ｊは、除去領域検出部１０２ｈにより検出された領域を、画像切出部１０２ｃにより切り出された画像から除去する領域除去手段である。例えば、領域除去部１０２ｊは、画像切出部１０２ｃによる切り出し前に、切り出し範囲から領域を除去してもよく、また、画像切出部１０２ｃによる切り出し後に、切り出された画像から領域を除去してもよい。

［２．本実施形態の処理］
上述した構成のオーバーヘッドスキャナ装置１００で実行される処理の一例について、図３〜図１６を参照して説明する。

［２−１．メイン処理］
本実施形態のオーバーヘッドスキャナ装置１００におけるメイン処理の一例について図３〜図６を参照して説明する。図３は、本実施形態のオーバーヘッドスキャナ装置１００におけるメイン処理の一例を示すフローチャートである。

図３に示すように、まず、画像取得部１０２ａは、画像撮像部１１０を制御して、利用者により提示された少なくとも１つの指標物を含む原稿の画像を取得し、当該画像の画像データを画像データ一時ファイル１０６ａに格納する（ステップＳＡ１）。ここで、画像取得部１０２ａは、画像撮像部１１０を制御して、予め定めた取得契機（例えば、指の静止時、音の入出力時、フットスイッチ押下時）に従って、利用者により提示された１つの指標物を含む原稿の画像を、２枚取得してもよい。また、指標物は、例えば、指定すべき点を指し示す突出した端部を有するものでもよく、一例として、利用者により提示される、手の指先、付箋、ペン等のオブジェクトであってもよい。

そして、指定点検出部１０２ｂは、画像取得部１０２ａにより画像データ一時ファイル１０６ａに格納された画像データに基づいて、画像上の指標物の重心から端部までの距離に基づいて決定された２点の指定点を検出する（ステップＳＡ２）。より具体的には、指定点検出部１０２ｂは、指標物の重心を始点として端部を終点としたベクトルの長さが所定以上のベクトルについて、端部（終点）側に指定点を検出してもよい。なお、指定点検出部１０２ｂは、２つの指標物を含む一枚の画像から、２点の指定点を検出することに限られず、１つの指標物を含む２枚の画像から、それぞれ１点ずつ指定点を検出することにより、２つの指定点を検出してもよい。なお、指定点検出部１０２ｂは、当該画像データに基づく画像から、色や形等により、画像上の指標物の範囲を識別し、識別した指標物が示す２つの指定点を検出してもよい。ここで、図４は、画像上で検出される２つの指定点と、当該２つの指定点に基づく切り出し範囲の一例を示す図である。

図４に示すように、新聞等の原稿上で利用者により指標物として指を用いて、利用者が切り出したい範囲の対角の２点が指定されている場合、指定点検出部１０２ｂは、画像データに基づく画像から肌色の部分領域を検出して指標物となる手の指先等を検出し、左右それぞれの手の指先で指定された２つの指定点を検出してもよい。ここで、図５および図６は、指定点検出部１０２ｂの処理による、画像上の指標物の重心から端部までの距離に基づいて指定点を検出する方法を模式的に示した図である。

図５に示すように、指定点検出部１０２ｂは、指標物ファイル１０６ｃに記憶された指標物の特徴に基づいて画像上の指標物を検出し、検出した指標物の重心を始点として端部を終点としたベクトルの長さが所定以上のベクトルについて、当該ベクトルの端部（終点）側に指定点を検出してもよい。すなわち、重心から端部へ向かう線分を指先方向のベクトルとして距離に基づいて指定点を検出する。これにより、指が指し示す方向と指先をベクトルとして認識するので、指先の角度によらず利用者の意図したとおりに指定点を検出することができる。なお、重心から端部までの距離に基づいて指定点を検出するので、図４および図５のように指定点が各指標物の内側になくともよい。すなわち、図６に示すように、利用者が意図した点が手の範囲の最左端になく指先が真上に向かっている場合であっても、指定点検出部１０２ｂは、重心から端部までの距離に基づいて（例えば所定以上の長さがあるか否かを判定して）、指定点を正確に検出することができる。なお、オーバーヘッドスキャナ装置１００は、利用者と対面するように配置され、それらの間に原稿が配置されるので、配置関係上、利用者が原稿を指差す角度は制限される。このことを利用して、指定点検出部１０２ｂは、所定の方向のベクトル（例えば、不自然な下方向のベクトル）を、誤検出であるとして指定点を検出しないことにより、検出精度の向上を図ってもよい。なお、図４〜図６では、両手を使って同時に２点の指定点を指定する例について示したが、画像取得部１０２ａにより１つの指標物を含む原稿の画像が２枚取得された場合、指定点検出部１０２ｂは、取得された２枚の画像から、それぞれの指標物で指定された２点の指定点を検出してもよい。また、１つの指標物で１点の指定点を検出することについて説明したが、これに限られず、１つの指標物から２点以上の指定点を検出してもよい。例えば、指標物が手の指先の場合、利用者が親指と人差し指など２本の指を使って、切り出し領域の対角となる２つの指定点を同時に示してもよい。なお、指定点検出部１０２ｂは、１つの指標物に所定数（例えば３本）以上のベクトルが含まれることは不自然として、所定数以上のベクトルが検出された指標物を除外することにより、検出精度を高めてもよい。

また、指標物は手の指先に限られず、指定点検出部１０２ｂは、画像データに基づく画像から、指標物となる２枚の付箋で指定された２つの指定点を検出してもよい。また、指定点検出部１０２ｂは、画像データに基づく画像から、指標物となる２本のペンで指定された２つの指定点を検出してもよい。

再び図３に戻り、画像切出部１０２ｃは、指定点検出部１０２ｂにより検出された２つの指定点を対角とする矩形として、切り出し範囲を作成する（ステップＳＡ３）。図４に一例として示したように、２つの指定点を対角とする矩形は、画像撮像部１１０の読み取り領域や原稿エッジ等と平行な線で構成された、長方形や正方形等の四辺形であってもよい。

そして、画像切出部１０２ｃは、画像取得部１０２ａにより画像データ一時ファイル１０６ａに格納された画像データから、切り出し範囲の画像データを抽出し、加工画像データファイル１０６ｂに格納する（ステップＳＡ４）。なお、画像切出部１０２ｃは、切り出した画像データをモニタ等の出力装置１１４に出力してもよい。

以上が、本実施形態のオーバーヘッドスキャナ装置１００におけるメイン処理の一例である。

［２−２．具体化処理］
つづいて、上述したメイン処理において、指標物の学習処理や傾き補正処理等を更に含む具体化処理の一例について図７〜図１１を参照して説明する。図７は、本実施形態のオーバーヘッドスキャナ装置１００における具体化処理の一例を示すフローチャートである。

図７に示すように、まず、指標物格納部１０２ｆは、利用者により提示される指標物の色および／または形を学習する（ステップＳＢ１）。例えば、指標物格納部１０２ｆは、画像取得部１０２ａにより取得された、原稿を含まない指標物の画像から、公知の学習アルゴリズムにより、指標物の色および／または形を学習し、学習結果の色や形を指標物ファイル１０６ｃに保存する。一例として、画像取得部１０２ａは、事前に（後述のステップＳＢ２〜ＳＢ５より前に）、（原稿を含まない）指標物のみを、画像撮像部１１０にスキャンさせて画像を取得し、指標物格納部１０２ｆは、画像取得部１０２ａにより取得された画像に基づいて、当該指標物の属性（色や形状等）を、指標物ファイル１０６ｃに格納してもよい。例えば、指標物が指や付箋の場合、指標物格納部１０２ｆは、当該指標物を含む画像から、指の色（肌色）や付箋紙の色を読み取って指標物ファイル１０６ｃに格納してもよい。なお、指標物格納部１０２ｆは、画像取得部１０２ａにより取得された画像に基づいて指標物の色を読み取ることに限らず、利用者に入力装置１１２を介して色を指定させてもよい。また、指標物がペンの場合、指標物格納部１０２ｆは、画像取得部１０２ａにより取得された画像から、当該ペンの形状を抽出して、指標物ファイル１０６ｃに格納してもよい。なお、この指標物ファイル１０６ｃに格納された形状等は、指定点検出部１０２ｂが指標物を探索（パターンマッチ）するために用いられる。

そして、利用者が原稿を画像撮像部１１０の読み取り領域に設置すると（ステップＳＢ２）、画像取得部１０２ａは、画像撮像部１１０による読み取り開始のトリガを発行する（ステップＳＢ３）。例えば、画像取得部１０２ａは、制御部１０２の内部クロックによるインターバルタイマーを用いて、所定時間経過後に読み取りを開始してもよい。このように、本具体化処理においては、利用者が両手を使って切り出し範囲を指定することから、画像取得部１０２ａは、利用者による入力装置１１２を介して読み取り開始の入力があった直後に画像撮像部１１０による読み取りを開始するのではなく、インターバルタイマーなどを用いたトリガを発行する。この他、読み取り開始のトリガは、指の静止時、音の入出力時、フットスイッチ押下時など所定の取得契機で発行してもよい。

そして、利用者が両手の指先で切り出し範囲を指定すると（ステップＳＢ４）、画像取得部１０２ａは、発行したトリガに応じたタイミングで、画像撮像部１１０を制御して、利用者により提示された両手の指先を含む原稿の画像をスキャンし、画像データを画像データ一時ファイル１０６ａに格納する（ステップＳＢ５）。

そして、傾き検出部１０２ｄは、画像取得部１０２ａにより画像データ一時ファイル１０６ａに格納された画像データに基づく画像から、原稿エッジ等を検出して原稿の傾きを検出する（ステップＳＢ６）。

そして、指定点検出部１０２ｂは、画像取得部１０２ａにより画像データ一時ファイル１０６ａに格納された画像データに基づく画像から、指標物格納部１０２ｆにより指標物ファイル１０６ｃに格納された学習結果の色（肌色）や形等に基づいて、公知のパターン認識アルゴリズム等により手の指先等の指標物を検出し、両手の指先で指定された２つの指定点を検出する（ステップＳＢ７）。より具体的には、指定点検出部１０２ｂは、肌色の部分領域として検出した指標物である手の重心から周囲に向けて複数の指方向ベクトルを作成し、指方向ベクトルの法線ベクトルとの部分領域の重なり幅が所定の幅に最も近い場合に、当該指方向ベクトルの先端を指先として指定点を検出してもよい。この例について、以下に図８〜図１０を参照して詳細に説明する。ここで、図８は、指定点検出部１０２ｂにより指先を検出する方法の一例を模式的に示した図である。

図８に示すように、指定点検出部１０２ｂは、画像取得部１０２ａにより画像データ一時ファイル１０６ａに格納されたカラー画像データから、色空間変換により肌色の色相のみを抽出する。図８において、白の領域は、カラー画像のうちの肌色の部分領域を表し、黒の領域は、カラー画像のうち肌色以外の領域を表している。

そして、指定点検出部１０２ｂは、抽出した肌色の部分領域の重心を求め、右手と左手の範囲をそれぞれ判定する。図８において、「手範囲」として示された範囲は、右手の部分領域を示している。

そして、指定点検出部１０２ｂは、判定した手の範囲の上方から一定の距離（オフセット量）はなれたラインにおいて、探索ポイントを設定する。すなわち、指先から手の重心に向かって一定の範囲には、肌色ではない爪がある可能性があるので、この爪によって検出精度が低下することを回避するために、指定点検出部１０２ｂは、オフセットを設けて、指先を検出する。

そして、指定点検出部１０２ｂは、重心から探索ポイントまでの向きの指方向ベクトルを求める。すなわち、指は、手の重心から伸びており、手の外周に向かって突き出しているので、まず指を探索するために指方向ベクトルを求める。なお、図８の破線は、左端の一つの探索ポイントを通る指方向ベクトルを表しているが、指定点検出部１０２ｂは、探索ポイント毎に指方向ベクトルを求める。

そして、指定点検出部１０２ｂは、指方向ベクトルの法線ベクトルを求める。図８において、各探索ポイントを通る多数の線分は、探索ポイントごとの法線ベクトルを表している。ここで、図９は、法線ベクトルと画像および重み付け係数によって指先の適合度を求める方法を模式的に示した図である。

そして、指定点検出部１０２ｂは、法線ベクトルと肌色二値化画像（例えば、図８の肌色の部分領域を白とした画像）を重ね合わせ、ＡＮＤ画像を算出する。図９の左上図ＭＡ１に示すように、ＡＮＤ画像は、法線ベクトルの線分と、肌色の部分領域とが重なり合う領域（重なり幅）を示し、これは指の太さを表現するものである。

そして、指定点検出部１０２ｂは、ＡＮＤ画像に重み付け係数を掛け合わせ、指先の適合度を算出する。図９の左下図ＭＡ２は、重み付け係数を模式的に示した図である。このように、重み付け係数は、中心になるほど大きくなる係数であり、指先の中心を捕らえた場合に適合度が高くなるように設定される。図９の右図ＭＡ３は、ＡＮＤ画像と重み付け係数の画像とのＡＮＤ画像であり、線分の中心になるほど適合度が高くなっている。このように、重み係数を用いることによって、指先の中心を捕らえた候補ほど適合度が高くなるように算出される。

そして、指定点検出部１０２ｂは、各探索ポイントの法線ベクトルについて適合度を求め、指先の適合度が最も高い位置を割り出し、指定点とする。ここで、図１０は、画像データ上において検出された、左右の手の重心（図中の“ｌｅｆｔ”および“ｒｉｇｈｔ”と記載された２点）と、指先の指定点（図中の指先の２つの黒丸印）、および、切り出し範囲（図中の矩形）を示す図である。

以上のように、指定点検出部１０２ｂは、左右の手の重心から指先で指定された２つの指定点を求める。

再び図７に戻り、指定点検出部１０２ｂにより左右の手の指先の２つの指定点が検出された場合（ステップＳＢ８，Ｙｅｓ）、画像切出部１０２ｃは、検出された２つの指定点を対角として、傾き検出部１０２ｄにより検出された傾きを反映した矩形を、切り出し領域として作成する（ステップＳＢ９）。例えば、傾き検出部１０２ｄにより検出された傾きがθ°である場合、画像切出部１０２ｃは、検出された２つの指定点を対角とするθ°傾いた矩形を切り出し領域とする。

そして、画像切出部１０２ｃは、画像取得部１０２ａにより画像データ一時ファイル１０６ａに格納された画像データから、作成した切り出し範囲の画像を切り出す（ステップＳＢ１０）。ここで、オーバーヘッドスキャナ装置１００の制御部１０２は、切り出し範囲から領域を除去する領域除去処理を行ってもよい。ここで、図１１は、領域除去処理を模式的に示した図である。

図１１の上図に示すように、指定点検出部１０２ｂにより左右の手の指先の２つの指定点が検出された後に、図１１の下図に示すように、除去画像取得部１０２ｇは、指定点検出部１０２ｂにより検出された２点の指定点を対角とする矩形の内部に、利用者により提示された指標物を含む原稿の画像を取得する。そして、除去領域検出部１０２ｈは、除去画像取得部１０２ｇにより取得された画像から、指標物で指定された領域（図中の斜線で示す２点を対角とする矩形領域）を検出する。最後に、領域除去部１０２ｊは、除去領域検出部１０２ｈにより検出された領域を、画像切出部１０２ｃにより切り出された画像から除去する。なお、これらの領域除去処理は、画像切出部１０２ｃによる切り出し前に行ってもよく、画像切出部１０２ｃによる切り出し後に行ってもよい。また、同じ指標物を用いる場合、利用者が、切り出し範囲を指定しているのか、切り出し範囲から除去する領域を指定しているのか判別する必要がある。一例として、図１１に示したように、切り出し範囲を指定する場合、左上と右下の２点を指定し、一方、切り出し範囲から除去する領域を指定する場合、右上と左下の２点を指定することにより、両者を識別可能としてもよい。この他、指標物の状態（色、形状等）によって識別してもよく、例えば、切り出し範囲を指定する場合、人差し指を用いて指定し、一方、切り出し範囲から除去する領域を指定する場合、親指を用いて指定することにより、両者を識別可能としてもよい。

再び図７に戻り、傾き補正部１０２ｅは、画像切出部１０２ｃにより切り出された画像を、傾き検出部１０２ｄにより検出された傾きで傾き補正する（ステップＳＢ１１）。例えば、上述のように傾き検出部１０２ｄにより検出された傾きがθ°の場合、傾き補正部１０２ｅは、画像切出部１０２ｃにより切り出された画像を、傾きがなくなるように−θ°回転させて傾き補正する。

そして、傾き補正部１０２ｅは、傾き補正した加工後の画像データを、加工画像データファイル１０６ｂに保存する（ステップＳＢ１２）。なお、上述したステップＳＢ８において、指定点検出部１０２ｂにより左右の手の指先の２つの指定点が検出されなかった場合（ステップＳＢ８，Ｎｏ）、画像取得部１０２ａは、画像データ一時ファイル１０６ａに格納した画像データを、そのまま加工画像データファイル１０６ｂに保存する（ステップＳＢ１３）。

以上が、本実施形態のオーバーヘッドスキャナ装置１００における具体化処理の一例である。

［２−３．付箋による実施例］
上述した具体化処理では、利用者により両手の指先によって指定点が指定された例について説明したが、これに限られず、付箋やペンにより指定点が指定されてもよい。なお、指先と同様に、付箋やペンについても方向ベクトルにより指定点を決定することができるが、付箋やペンは色や形状が一様ではないので、以下に示すように、指先による指定点の検出とは異なるアルゴリズムを用いてもよい。

まず、第１ステップとして、指標物の特徴を学習する。例えば、指標物格納部１０２ｆは、画像取得部１０２ａの処理により指標物として利用する付箋あるいはペンを予めスキャンして、指標物の色や形状を学習する。指標物格納部１０２ｆは、学習した指標物の特徴を、指標物ファイル１０６ｃに格納する。なお、指標物格納部１０２ｆは、切り出し範囲を指定するための付箋やペン等の指標物の特徴（色や形など）と、切り出し範囲から除去する領域を指定するための付箋やペン等の指標物の特徴とを、それぞれ識別可能に学習して格納してもよい。

そして、第２ステップとして、画像を取得する。例えば、利用者が、原稿を切り出したい領域の対角に付箋あるいはペンの指定点を向き合うように配置すると、画像取得部１０２ａは、画像撮像部１１０を制御して、指標物を含む原稿の画像を取得する。

そして、第３ステップとして、指標物の位置を探索する。例えば、指定点検出部１０２ｂは、指標物ファイル１０６ｃに格納された指標物の特徴（色や形等）に基づいて、取得された画像から、指標物を検出する。このように、学習した特徴に基づいて付箋あるいはペンの位置を探索する。

そして、第４ステップとして、指定点を検出する。例えば、指定点検出部１０２ｂは、検出した指標物の重心から端部までの距離に基づいて決定された２点の指定点を検出する。なお、付箋とペンは重心に対する端点が両端に現れる場合がある。そのため、指定点検出部１０２ｂは、一方の指標物の両端から得られる２本のベクトルのうち、他方の指標物の重心に向かう、および／または、他方の指標物の重心に近いベクトルを、指標物の検出対象としてもよい。

このように、付箋やペンにより指定点を決定して切り出し範囲を正確に求めることができる。ここで、更に、切り出し範囲から除去する領域を指定するため、付箋やペンを用いてもよい。ここで、付箋やペンなど同じ指標物を用いる場合、切り出し範囲を指定しているのか、切り出し範囲から除去する領域を指定しているのかを判別する必要があるので、予め学習された指標物の特徴（色、形状等）によって識別してもよい。図１２および図１３は、付箋によって除去領域が指定された例を示す図である。

図１２に示すように、この例では、付箋の指標物を用いられており、切り出し範囲を指定する場合には、白色の付箋紙を用いて２点を指定し、一方、切り出し範囲から除去する領域を指定する場合には、黒色の付箋紙で２点を指定することにより、両者を識別可能としてもよい。なお、色の違いによって識別することに限られず、指標物の形状等により識別してもよい。すなわち、図１３に示すように、切り出し範囲を指定する場合には、矩形の付箋紙を用いて２点を指定し、一方、切り出し範囲から除去する領域を指定する場合には、三角形の付箋紙で２点を指定することにより、両者を識別可能としてもよい。なお、領域除去処理は、上述のように、指標物格納部１０２ｆと除去画像取得部１０２ｇと除去領域検出部１０２ｈによって実行される。

［２−４．片手操作］
上述した例２−１ないし２−３では、両手や２枚以上の付箋など２つの指標物を同時に用いて切り出し範囲や除去領域を指定する例について説明したが、以下に示すように、片手等を用いて１つの指標物で切り出し範囲や除去領域を指定してもよい。ここで、図１４は、本実施形態のオーバーヘッドスキャナ装置１００における片手操作時の処理の一例を示すフローチャートである。

図１４に示すように、まず、指標物格納部１０２ｆは、上述したステップＳＢ１と同様に、利用者により提示される指標物の色および／または形を学習する（ステップＳＣ１）。

そして、画像取得部１０２ａは、画像撮像部１１０を制御して、エリアセンサのイメージセンサ１３から、２次元画像を所定時間間隔で連続的に取得して、指標物である指先の監視を開始する（ステップＳＣ２）。

そして、利用者が原稿を画像撮像部１１０の読み取り領域に設置すると（ステップＳＣ３）、画像取得部１０２ａは、エリアセンサによる画像から、指標物である利用者の手の指先を検出する（ステップＳＣ４）。

そして、画像取得部１０２ａは、画像を取得する所定の取得契機であるか否かを判定する。例えば、所定の取得契機は、指の静止時、音の入出力時、フットスイッチ押下時等である。一例として、所定の取得契機が指の静止時であるとき、画像取得部１０２ａは、エリアセンサから連続的に得られる画像群に基づいて指先が停止したか否かを判定してもよい。また、所定の取得契機が確認音の出力時であるとき、画像取得部１０２ａは、手の指先を検出したとき（ステップＳＣ４）から内部クロックに基づいて所定時間経過したことにより、スピーカの出力装置１１４から確認音を出力されたか否かを判定してもよい。また、所定の取得契機がフットスイッチ押下時であるとき、画像取得部１０２ａは、フットスイッチの入力装置１１２から押下信号が得られたか否かを判定してもよい。

画像取得部１０２ａは、所定の取得契機ではないと判定した場合（ステップＳＣ５，Ｎｏ）、ステップＳＣ４に処理を戻り、指先の監視を継続する。

一方、画像取得部１０２ａは、所定の取得契機であると判定した場合（ステップＳＣ５，Ｙｅｓ）、ラインセンサ等の画像撮像部１１０を制御して、利用者により提示された片手の指先を含む原稿の画像をスキャンし、指先による指定点を含む画像データを画像データ一時ファイル１０６ａに格納する（ステップＳＣ６）。なお、画像データを保存することに限られず、指定点検出部１０２ｂまたは除去領域検出部１０２ｈは、検出した指標物による指定点（例えば、重心を始点とするベクトルの端部側の指定点）のみを保存してもよい。

そして、画像取得部１０２ａは、所定のＮ点が検出されたか否かを判定する（ステップＳＣ７）。例えば、矩形の切り出し範囲を指定する場合は、Ｎ＝２であってもよく、切り出し範囲から１つの除去領域を指定する場合は、Ｎ＝４であってもよい。このほか、ｘ個の除去領域がある場合、Ｎ＝２ｘ＋２としてもよい。画像取得部１０２ａは、所定のＮ点を検出されていないと判定した場合は（ステップＳＣ７，Ｎｏ）、ステップＳＣ４に処理を戻し、上述した処理を繰り返す。ここで、図１５は、１点目および２点目の指定点が検出された場合を示す図である。

図１５上図に示すように、所定の取得契機により撮像された１枚目の画像においては、指定点検出部１０２ｂの処理により、切り出し範囲の左上端である第１の指定点が検出される。つぎに、図１５下図に示すように、繰り返し処理において撮像された２枚目の画像においては、指定点検出部１０２ｂの処理により、切り出し範囲の右下端である第２の指定点が検出される。上述のように、矩形の切り出し範囲のみを指定する場合は、Ｎ＝２であり、ここで繰り返し処理は終了となるが、１つの除去領域を指定する場合は、Ｎ＝４であるので、更に繰り返し処理が継続される。ここで、図１６は、３点目および４点目の指定点が検出された場合を示す図である。

図１６上図に示すように、繰り返し処理において撮像された３枚目の画像においては、除去領域検出部１０２ｈの処理により、上述した２点の指定点を対角とする矩形の切り出し範囲の内部に、３点目の指先の指定点が検出される。なお、このとき検出された指定点に基づいて、切り出し範囲を、図示の如く４つの領域に分割することができるが、この４領域のうちのどの領域が除去領域かを選択させるため、利用者にさらに４領域の内部を指先で指示させる。すなわち、図１６下図に示すように、繰り返し処理において撮像された４枚目の画像においては、除去領域検出部１０２ｈの処理により、４点目の指定点が検出される。これにより、領域除去部１０２ｊは、４領域のうち切り出し範囲から除去する領域（図中の斜線で示す領域）を決定することができる。

画像取得部１０２ａにより所定のＮ点が検出されたと判定されると（ステップＳＣ７，Ｙｅｓ）、傾き検出部１０２ｄは、画像取得部１０２ａにより画像データ一時ファイル１０６ａに格納された画像データに基づく画像から、原稿エッジ等を検出して原稿の傾きを検出し、画像切出部１０２ｃは、検出された２つの指定点を対角として、傾き検出部１０２ｄにより検出された傾きを反映した矩形を、切り出し領域として作成する（ステップＳＣ８）。なお、除去領域がある場合、画像切出部１０２ｃは、領域除去部１０２ｊによる領域除去後の切り出し範囲を作成してもよく、または、以下の画像切出部１０２ｃの処理により切り出された画像から領域除去部１０２ｊが除去領域の画像を除去してもよい。

そして、画像切出部１０２ｃは、画像取得部１０２ａにより画像データ一時ファイル１０６ａに格納された画像データから、作成した切り出し範囲の画像を切り出す（ステップＳＣ９）。なお、図１５および図１６に図示したように、原稿の切り出したい範囲が指標物によって覆い隠される場合があるが、図１５下図のように、切り出し範囲の全範囲が撮像される場合もあるので、画像切出部１０２ｃは、切り出し範囲に指標物が含まれていない画像データを判定して、その画像データに対して切り出し処理を行う。このように、利用者は、意図的に原稿上を避けるように指標物を配置する必要がないので、より自然な操作性を提供することができる。なお、各画像において切り出し範囲の全範囲が撮像されていない場合、画像切出部１０２ｃは、複数の画像を合成することにより、切り出し範囲の画像を取得してもよく、または、利用者により原稿から指標物が除かれるのを待って、画像取得部１０２ａに指標物を含まない原稿の画像を取得させてもよい。

そして、傾き補正部１０２ｅは、上述したステップＳＢ１１と同様に、画像切出部１０２ｃにより切り出された画像を、傾き検出部１０２ｄにより検出された傾きで傾き補正する（ステップＳＣ１０）。例えば、上述のように傾き検出部１０２ｄにより検出された傾きがθ°の場合、傾き補正部１０２ｅは、画像切出部１０２ｃにより切り出された画像を、傾きがなくなるように−θ°回転させて傾き補正する。

そして、傾き補正部１０２ｅは、傾き補正した加工後の画像データを、加工画像データファイル１０６ｂに保存する（ステップＳＣ１１）。

以上が、本実施形態のオーバーヘッドスキャナ装置１００における片手操作時の処理の一例である。なお、上述においては、除去画像取得部１０２ｇによる画像取得も画像取得部１０２ａによる画像取得として区別せず説明したが、３回目以降の繰り返し処理においては、画像取得部１０２ａの処理として説明した部分は、厳密には除去画像取得部１０２ｇの処理として実行される。

［３．本実施形態のまとめ、及び他の実施形態］
以上、本実施形態によれば、オーバーヘッドスキャナ装置１００は、画像撮像部１１０を制御して、利用者により提示された少なくとも１つの指標物を含む原稿の画像を取得し、取得された画像から、指標物の重心から端部までの距離に基づいて決定された２点の指定点を検出し、検出された２つの指定点を対角とする矩形で、取得された画像を切り出す。これにより、表示画面上でカーソル移動ボタンを操作するコンソールや専用ペン等の特別なツールを必要とすることなく、切り出し範囲指定の操作性を向上させることができる。例えば、従来、利用者は、原稿とスキャナ装置から一旦視線を外して表示画面のコンソールをみるため作業が中断され生産効率の低下を招いていたが、本発明では、原稿とスキャナ装置から視線を外すことなく、また、専用ペン等で原稿を汚すことなく、切り出し範囲を指定することができる。また、指標物の重心から端部までのベクトルが示す距離に基づいて指定点を検出するので、利用者が意図した指定点を正確に検出することができる。

また、従来のオーバーヘッドスキャナでは、指はむしろ写したくないものとして除去する方向に開発されていたが、本実施形態によれば、積極的に指等のオブジェクトを原稿と一緒に撮像することでスキャナの制御あるいは画像の制御に活用している。すなわち、このような指等のオブジェクトは、フラットベッド型スキャナや、ＡＤＦ（Ａｕｔｏ Ｄｏｃｕｍｅｎｔ Ｆｅｅｄｅｒ）型のスキャナでは、読み取れなかったが、本実施形態によれば、オーバーヘッド型のスキャナを用いて積極的にオブジェクトの画像を切り出し範囲の検出に役立てることができる。

また、本実施形態によれば、オーバーヘッドスキャナ装置１００は、画像撮像部１１０を制御して、予め定めた取得契機に従って、利用者により提示された１つの指標物を含む原稿の画像を２枚取得し、取得された２枚の画像から、指標物で指定された２点を検出する。これにより、利用者は、単一の指標物のみを用いて切り出し範囲を指定することができ、特に、指標物として指先を用いる場合、利用者は片手のみの操作で切り出し範囲を指定することが可能になる。

また、本実施形態によれば、オーバーヘッドスキャナ装置１００は、検出された２点を対角とする矩形の内部に、利用者により提示された指標物を含む原稿の画像を取得し、取得された画像から、指標物で指定された領域を検出し、検出された領域を切り出された画像から除去する。これにより、利用者が切り出したい範囲が矩形ではない場合であっても、複数の矩形が組み合わされたブロック形状などのように、複雑な多角形で切り出す範囲を指定することができる。

また、本実施形態によれば、オーバーヘッドスキャナ装置１００は、取得した画像から肌色の部分領域を検出して指標物となる手の指先を検出し、当該手の指先で指定された２つの指定点を検出する。これにより、肌色により画像上の手の指の領域を正確に検出して、指定された切り出し範囲を精度よく検出することができる。

また、本実施形態によれば、オーバーヘッドスキャナ装置１００は、手の重心から周囲に向けて複数の指方向ベクトルを作成し、指方向ベクトルの法線ベクトルとの部分領域の重なり幅が示す適合度が最も高い場合に、当該指方向ベクトルの先端を指先とする。これにより、指は手の重心から手の外周に向かって突き出しているという仮定に基づいて、指先を正確に検出することができる。

また、本実施形態によれば、オーバーヘッドスキャナ装置１００は、取得した画像から、指標物となる２枚の付箋で指定された２つの指定点を検出する。これにより、２枚の付箋で指定された２つの指定点を対角とする矩形を、切り出し範囲として検出することができる。

また、本実施形態によれば、オーバーヘッドスキャナ装置１００は、取得した画像から、指標物となる２本のペンで指定された２つの指定点を検出する。これにより、２本のペンで指定された２つの指定点を対角とする矩形を、切り出し範囲として検出することができる。

また、本実施形態によれば、オーバーヘッドスキャナ装置１００は、利用者により提示される指標物の色および／または形を記憶部に格納し、取得された画像から、格納された色および／または形に基づいて当該画像上の指標物を検出し、当該指標物で指定された２つの指定点を検出する。これにより、利用者ごとに指標物（例えば、手の指先）の色や形が異なる場合であっても、当該指標物の色や形を学習等することによって、精度よく画像上の指標物の領域を検出して、切り出し範囲を検出することができる。

また、本実施形態によれば、オーバーヘッドスキャナ装置１００は、取得した画像から原稿の傾きを検出し、傾きを反映した切り出し範囲で画像を切り出し、切り出された画像を傾きがなくなるよう回転させて傾き補正する。これにより、傾いたまま切り出した後に傾き補正を行うことで、処理速度を向上させ、リソースの無駄を省くことができる。

さらに、本発明は、上述した実施形態以外にも、特許請求の範囲に記載した技術的思想の範囲内において種々の異なる実施形態にて実施されてよいものである。例えば、上述した実施形態においては、同種の指標物を用いた例について説明したが、指標物は、利用者の手の指先やペンや付箋等のうち、２つ以上の組み合わせから構成してもよい。

また、オーバーヘッドスキャナ装置１００がスタンドアローンの形態で処理を行う場合を一例に説明したが、オーバーヘッドスキャナ装置１００とは別筐体のクライアント端末からの要求に応じて処理を行い、その処理結果を当該クライアント端末に返却するようにしてもよい。また、実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。このほか、上記文献中や図面中で示した処理手順、制御手順、具体的名称、各処理の登録データを含む情報、画面例、データベース構成については、特記する場合を除いて任意に変更することができる。

また、オーバーヘッドスキャナ装置１００に関して、図示の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。例えば、オーバーヘッドスキャナ装置１００の各装置が備える処理機能、特に制御部１０２にて行われる各処理機能については、その全部または任意の一部を、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）および当該ＣＰＵにて解釈実行されるプログラムにて実現してもよく、また、ワイヤードロジックによるハードウェアとして実現してもよい。尚、プログラムは、後述する記録媒体に記録されており、必要に応じてオーバーヘッドスキャナ装置１００に機械的に読み取られる。すなわち、ＲＯＭまたはＨＤなどの記憶部１０６などには、各種処理を行うためのコンピュータプログラムが記録されている。このコンピュータプログラムは、ＲＡＭにロードされることによって実行され、ＣＰＵと協働して制御部を構成する。また、このコンピュータプログラムは、オーバーヘッドスキャナ装置１００に対して任意のネットワークを介して接続されたアプリケーションプログラムサーバに記憶されていてもよく、必要に応じてその全部または一部をダウンロードすることも可能である。

また、本発明に係るプログラムを、コンピュータ読み取り可能な記録媒体に格納してもよく、また、プログラム製品として構成することもできる。ここで、この「記録媒体」とは、メモリーカード、ＵＳＢメモリ、ＳＤカード、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、および、Ｂｌｕ−ｒａｙ Ｄｉｓｃ等の任意の「可搬用の物理媒体」を含むものとする。また、「プログラム」とは、任意の言語や記述方法にて記述されたデータ処理方法であり、ソースコードやバイナリコード等の形式を問わない。なお、「プログラム」は必ずしも単一的に構成されるものに限られず、複数のモジュールやライブラリとして分散構成されるものや、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）に代表される別個のプログラムと協働してその機能を達成するものをも含む。なお、実施形態に示した各装置において記録媒体を読み取るための具体的な構成、読み取り手順、あるいは、読み取り後のインストール手順等については、周知の構成や手順を用いることができる。

記憶部１０６に格納される各種のデータベース等（画像データ一時ファイル１０６ａ、加工画像データファイル１０６ｂ、および指標物ファイル１０６ｃ）は、ＲＡＭ、ＲＯＭ等のメモリ装置、ハードディスク等の固定ディスク装置、フレキシブルディスク、および、光ディスク等のストレージ手段であり、各種処理に用いる各種のプログラム、テーブル、および、データベース等を格納する。

また、オーバーヘッドスキャナ装置１００は、既知のパーソナルコンピュータ、ワークステーション等の情報処理装置として構成してもよく、また、該情報処理装置に任意の周辺装置を接続して構成してもよい。また、オーバーヘッドスキャナ装置１００は、該情報処理装置に本発明の方法を実現させるソフトウェア（プログラム、データ等を含む）を実装することにより実現してもよい。更に、装置の分散・統合の具体的形態は図示するものに限られず、その全部または一部を、各種の付加等に応じて、または、機能負荷に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。すなわち、上述した実施形態を任意に組み合わせて実施してもよく、実施形態を選択的に実施してもよい。

以上のように、本発明に係るオーバーヘッドスキャナ装置、画像処理方法、および、プログラムは、産業上の多くの分野、特にスキャナで読み取った画像を扱う画像処理分野で実施することができ、極めて有用である。

１００ オーバーヘッドスキャナ装置
１０２ 制御部
１０２ａ 画像取得部
１０２ｂ 指定点検出部
１０２ｃ 画像切出部
１０２ｄ 傾き検出部
１０２ｅ 傾き補正部
１０２ｆ 指標物格納部
１０２ｇ 除去画像取得部
１０２ｈ 除去領域検出部
１０２ｊ 領域除去部
１０６ 記憶部
１０６ａ 画像データ一時ファイル
１０６ｂ 加工画像データファイル
１０６ｃ 指標物ファイル
１０８ 入出力インターフェース部
１１２ 入力装置
１１４ 出力装置

Claims (11)

1. 画像撮像部と制御部とを備え、
   前記制御部は、
   前記画像撮像部を制御して、利用者により提示された少なくとも１つの指標物を含む原稿の画像を取得する画像取得手段と、
   前記画像取得手段により取得された前記画像から、前記指標物の重心から端部までの距離に基づいて決定された２点の指定点を検出する指定点検出手段と、
   前記指定点検出手段により検出された前記２点を対角とする矩形で、前記画像取得手段により取得された前記画像を切り出す画像切出手段と、
   を備えたことを特徴とするオーバーヘッドスキャナ装置。
2. 前記画像取得手段は、前記画像撮像部を制御して、予め定めた取得契機に従って、利用者により提示された１つの指標物を含む原稿の画像を、２枚取得し、
   前記指定点検出手段は、前記画像取得手段により取得された２枚の前記画像から、前記指標物で指定された前記２点を検出することを特徴とする請求項１に記載のオーバーヘッドスキャナ装置。
3. 前記制御部は、
   前記指定点検出手段により検出された前記２点を対角とする前記矩形の内部に、前記利用者により提示された前記指標物を含む前記原稿の画像を取得する除去画像取得手段と、
   前記除去画像取得手段により取得された前記画像から、前記指標物で指定された領域を検出する除去領域検出手段と、
   前記除去領域検出手段により検出された前記領域を、前記画像切出手段により切り出された前記画像から除去する領域除去手段と、
   を更に備えたことを特徴とする請求項１または２に記載のオーバーヘッドスキャナ装置。
4. 前記指標物は、利用者の手の指先であり、
   前記指定点検出手段は、
   前記画像取得手段により取得された前記画像から肌色の部分領域を検出して前記指標物となる前記手の指先を検出し、当該指標物で指定された２点を検出することを特徴とする請求項１乃至３のいずれか１項に記載のオーバーヘッドスキャナ装置。
5. 前記指定点検出手段は、
   前記手の重心から周囲に向けて複数の指方向ベクトルを作成し、前記指方向ベクトルの法線ベクトルとの前記部分領域の重なり幅が所定の幅に最も近い場合に、当該指方向ベクトルの先端を前記指先とすることを特徴とする請求項４に記載のオーバーヘッドスキャナ装置。
6. 前記指標物は、付箋であり、
   前記指定点検出手段は、
   前記画像取得手段により取得された前記画像から、前記指標物となる２枚の前記付箋で指定された２点を検出することを特徴とする請求項１乃至３のいずれか１項に記載のオーバーヘッドスキャナ装置。
7. 前記指標物は、ペンであり、
   前記指定点検出手段は、
   前記画像取得手段により取得された前記画像から、前記指標物となる２本の前記ペンで指定された２点を検出することを特徴とする請求項１乃至３のいずれか１項に記載のオーバーヘッドスキャナ装置。
8. 更に、記憶部を備え、
   前記制御部は、
   利用者により提示される前記指標物の色および／または形を前記記憶部に格納する指標物格納手段、
   を更に備え、
   前記指定点検出手段は、
   前記画像取得手段により取得された前記画像から、前記指標物格納手段により前記記憶部に格納された前記色および／または前記形に基づいて当該画像上の前記指標物を検出し、当該指標物で指定された２点を検出することを特徴とする請求項１に記載のオーバーヘッドスキャナ装置。
9. 前記制御部は、
   前記画像取得手段により取得された前記画像から、前記原稿の傾きを検出する傾き検出手段と、
   前記画像切出手段により切り出された前記画像を、前記傾き検出手段により検出された前記傾きで傾き補正する傾き補正手段と、
   を更に備えたことを特徴とする請求項１に記載のオーバーヘッドスキャナ装置。
10. 画像撮像部と制御部とを備え、オーバーヘッドスキャナ装置の前記制御部で実行される、
    前記画像撮像部を制御して、利用者により提示された少なくとも１つの指標物を含む原稿の画像を取得する画像取得ステップと、
    前記画像取得ステップにて取得された前記画像から、前記指標物の重心から端部までの距離に基づいて決定された２点の指定点を検出する指定点検出ステップと、
    前記指定点検出ステップにて検出された前記２点を対角とする矩形で、前記画像取得ステップにて取得された前記画像を切り出す画像切出ステップと、
    を含むことを特徴とする画像処理方法。
11. 画像撮像部と制御部とを備え、オーバーヘッドスキャナ装置の前記制御部に実行させるための、
    前記画像撮像部を制御して、利用者により提示された少なくとも１つの指標物を含む原稿の画像を取得する画像取得ステップと、
    前記画像取得ステップにて取得された前記画像から、前記指標物の重心から端部までの距離に基づいて決定された２点の指定点を検出する指定点検出ステップと、
    前記指定点検出ステップにて検出された前記２点を対角とする矩形で、前記画像取得ステップにて取得された前記画像を切り出す画像切出ステップと、
    を含むプログラム。