JP6181779B2 - オーバヘッドスキャナ装置、画像取得方法、および、プログラム - Google Patents

Description

本発明は、オーバヘッドスキャナ装置、画像取得方法、および、プログラムに関する。

従来、操作性を向上させるオーバヘッドスキャナが開発されている。

ここで、自動撮影モードにおいて、ユーザが本を押さえる手指の位置や動きを認識して、抽出した肌色領域を２値化して手指の輪郭を算出し、算出した輪郭について所定の形状パターンとの比較により形状認識して、指の本数と各指先の座標とを推定する（特許文献１を参照）。

また、撮影画像には、書籍および背景となる載置面の像のほか、書籍の周縁部を押さえる左右の手指の像が含まれるため、肌色領域を白黒画像に変換し、外接矩形が撮影画像の外側に接する場合に、外接矩形を手領域として設定する（特許文献２を参照）。

特開２０１３−０２６８３０号公報 特開２０１３−２４７５３１号公報

しかしながら、従来のオーバヘッドスキャナにおいては、肌色で手指の輪郭を検出しているために、利用者が手袋をはめて操作している場合や、指色と背景となる本の色が似ている場合などにおいて、手領域の検出精度が低いという問題点を有していた。

本発明は、上記問題点に鑑みてなされたもので、精度よく手領域の画像を除去することができる、オーバヘッドスキャナ装置、画像取得方法、および、プログラムを提供することを目的とする。

このような目的を達成するため、本発明に係るオーバヘッドスキャナ装置は、複数の画像を連続して取得する画像取得手段と、上記画像取得手段により連続的に取得される上記画像に基づいて、媒体周辺の背景モデルを更新する背景モデル更新手段と、上記背景モデルからの変動量を計算する背景変動量計算手段と、上記変動量に基づいて、手領域を抽出する手領域抽出手段と、上記媒体の画像から手領域の画像を除去する手画像除去手段と、を備える。

また、本発明に係る画像取得方法は、オーバヘッドスキャナ装置の制御部で実行される、複数の画像を連続して取得する画像取得ステップと、上記画像取得ステップにて連続的に取得される上記画像に基づいて、媒体周辺の背景モデルを更新する背景モデル更新ステップと、上記背景モデルからの変動量を計算する背景変動量計算ステップと、上記変動量に基づいて、手領域を抽出する手領域抽出ステップと、上記媒体の画像から手領域の画像を除去する手画像除去ステップと、を含む。

また、本発明に係るプログラムは、複数の画像を連続して取得する画像取得ステップと、上記画像取得ステップにて連続的に取得される上記画像に基づいて、媒体周辺の背景モデルを更新する背景モデル更新ステップと、上記背景モデルからの変動量を計算する背景変動量計算ステップと、上記変動量に基づいて、手領域を抽出する手領域抽出ステップと、上記媒体の画像から手領域の画像を除去する手画像除去ステップと、をオーバヘッドスキャナ装置の制御部に実行させる。

また、本発明に係るコンピュータ読み取り可能な記録媒体は、前記に記載の本発明に係るプログラムを記録する。

この発明によれば、精度よく手領域の画像を除去することができる。

図１は、オーバヘッドスキャナ装置１００の一例を示すハードウェア構成図である。 図２は、オーバヘッドスキャナ装置１００の記憶部１０６の一例を示すブロック図である。 図３は、リニア撮像部１１０とエリア撮像部１２０を一体化させた装置の外観の一例を示し、主走査方向と副走査方向とモータ１２による回転方向との関係を示す図である。 図４は、本実施の形態のオーバヘッドスキャナ装置１００の正面図である。 図５は、本実施の形態のオーバヘッドスキャナ装置１００の側面図である。 図６は、オーバヘッドスキャナ装置１００の制御部１０２の一例を示す機能ブロック図である。 図７は、リニア撮像部１１０を制御して、画像センサ１３によるリニア画像の取得方法を模式的に示した図である。 図８は、本実施形態のオーバヘッドスキャナ装置１００における基本処理の一例を示すフローチャートである。 図９は、本実施形態のオーバヘッドスキャナ装置１００における具体化処理の一例を示すフローチャートである。 図１０は、背景モデル更新処理のサブルーチンを示すフローチャートである。 図１１は、１次元のＧＭＭを一例として示す図である。 図１２は、２次元のＧＭＭを一例として示す図である。 図１３は、変動量からの２値画像生成処理のサブルーチンを示すフローチャートである。 図１４は、終了時のフレーム画像と、手領域２値画像の一例を示す図である。 図１５は、ノイズ除去処理のサブルーチンを示すフローチャートである。 図１６は、終了時のフレーム画像からノイズ除去後の手領域２値画像までの画像遷移を一例として示す図である。 図１７は、媒体領域抽出処理のサブルーチンを示すフローチャートである。 図１８は、リニア画像から媒体領域の輪郭を抽出する処理を模式的に示す図である。 図１９は、交点ペア検出処理のサブルーチンを示すフローチャートである。 図２０は、交点ペア検出処理における交点ペアを模式的に示す図である。 図２１は、手領域の画像が除去された歪みのない媒体の加工画像を示す図である。

以下に、本発明に係るオーバヘッドスキャナ装置、画像取得方法、および、プログラムの実施形態を図面に基づいて詳細に説明する。なお、この実施形態により本発明が限定されるものではない。特に、本実施形態においては、読み取り対象を雑誌などの原稿として説明することがあるが、これに限られず、新聞紙や、ステープルで綴じられた媒体や、単票を重ねた束等を読み取り対象としてもよい。また、本実施形態においては、媒体画像センサとエリアセンサの２種類のセンサを備えた例について説明するが、本発明はこれに限られず１種類のセンサを用いて画像を取得してもよい。

［１．本実施形態の構成］
本実施形態に係るオーバヘッドスキャナ装置１００の構成について図１を参照して説明する。図１は、オーバヘッドスキャナ装置１００の一例を示すハードウェア構成図である。

図１に示すように、オーバヘッドスキャナ装置１００は、リニア撮像部１１０と、エリア撮像部１２０と、制御部１０２とを少なくとも備え、本実施形態において、記憶部１０６と入出力インターフェース部１０８と光源１４０を更に備える。また、これら各部は任意の通信路を介して通信可能に接続されている。

記憶部１０６は、各種のデータベースやテーブルやファイルなどを格納する。記憶部１０６は、ストレージ手段であり、例えばＲＡＭ・ＲＯＭ等のメモリ装置や、ハードディスクのような固定ディスク装置、フレキシブルディスク、光ディスク等を用いることができる。記憶部１０６には、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）に命令を与え各種処理を行うためのコンピュータプログラムが記録されている。ここで、図２は、オーバヘッドスキャナ装置１００の記憶部１０６の一例を示すブロック図である。

図２に示すように、記憶部１０６は、図示の如く、画像データ一時ファイル１０６ａ、加工画像データファイル１０６ｂ、手ファイル１０６ｃ、および、背景ファイル１０６ｄを備える。

このうち、画像データ一時ファイル１０６ａは、リニア撮像部１１０またはエリア撮像部１２０で読み取られた画像データを一時的に記憶する。

また、加工画像データファイル１０６ｂは、リニア撮像部１１０で読み取られた画像データから、加工または編集された画像データを記憶する。

また、手ファイル１０６ｃは、利用者により提示される手や指等の色や形等を記憶する。ここで、手ファイル１０６ｃは、利用者ごとに、利用者の手や指の色（肌色）や形等を記憶してもよい。

また、背景ファイル１０６ｄは、後述する背景モデル更新部１０２ｂにより生成される背景モデルを記憶する。

入出力インターフェース部１０８は、リニア撮像部１１０やエリア撮像部１２０、光源１４０を、制御部１０２と接続する。光源１４０は、ＬＥＤ光源やレーザー光源等を用いることができ、当該光源から読み取り範囲に光を射出する。

また、リニア撮像部１１０は、上向きに設置された原稿を、画像センサ１３を用いて上方よりスキャンして原稿の画像を読み取る。ここで、本実施形態において、リニア撮像部１１０は、図１に示すように、コントローラ１１と、モータ１２と、画像センサ（ラインセンサ）１３と、Ａ／Ｄコンバータ１４とを備える。コントローラ１１は、入出力インターフェース部１０８を介した制御部１０２からの指令に応じて、モータ１２、画像センサ１３、および、Ａ／Ｄコンバータ１４を制御する。画像センサ１３は、原稿の主走査方向のラインから届く光を、ライン上の画素ごとにアナログ電荷量に光電変換する。そして、Ａ／Ｄコンバータ１４は、画像センサ１３から出力されたアナログ電荷量をデジタル信号に変換し、一次元の画像データを出力する。モータ１２が回転駆動すると、画像センサ１３の読み取り対象の原稿ラインが副走査方向に移動する。これにより、ラインごとに一次元の画像データがＡ／Ｄコンバータ１４から出力され、制御部１０２は、これらを合成することにより二次元の画像データを生成する。ここで、図３は、リニア撮像部１１０とエリア撮像部１２０を一体化させた装置の外観の一例を示し、主走査方向と副走査方向とモータ１２による回転方向との関係を示す図である。

図３に示すように、原稿を上向きに設置して、上方よりリニア撮像部１１０にて原稿を撮像する場合、図示の主走査方向のラインの一次元画像データが、画像センサ１３により読み取られる。そして、モータ１２の駆動により画像センサ１３が図示の回転方向に回転すると、それに伴って、画像センサ１３の読み取りラインは、図示の副走査方向に移動する。これにより、二次元の原稿の画像データが、リニア撮像部１１０によって読み取られることとなる。

再び図１に戻り、エリア撮像部１２０は、上向きに設置された原稿を、エリアセンサ２２を用いて上方よりスキャンして原稿の画像を読み取る。ここで、本実施形態において、エリア撮像部１２０は、図１に示すように、コントローラ２１と、エリアセンサ２２と、Ａ／Ｄコンバータ２３とを備える。コントローラ２１は、入出力インターフェース部１０８を介した制御部１０２からの指令に応じて、エリアセンサ２２、および、Ａ／Ｄコンバータ２３を制御する。エリアセンサ２２は、原稿平面（図３に図示した主走査方向と副走査方向の２次元平面）から届く光を、画素ごとにアナログ電荷量に光電変換する。そして、Ａ／Ｄコンバータ２３は、エリアセンサ２２から出力されたアナログ電荷量をデジタル信号に変換し、二次元の画像データを出力する。これにより、二次元の画像データがＡ／Ｄコンバータ２３から出力される。なお、本実施形態において、エリアセンサ２２に比べて、画像センサ１３は、１ラインの画素数を多く読み取れるので、エリア撮像部１２０により読み取られる画像よりも、リニア撮像部１１０により読み取られる画像の方が高精細（高画質）である。なお、以下、両者を区別するために、エリア撮像部１２０により読み取られる画像を「エリア画像」と呼び、リニア撮像部１１０により読み取られる画像を「リニア画像」と呼ぶ場合がある。

ここで、図４は、本実施の形態のオーバヘッドスキャナ装置１００の正面図であり、図５は、本実施の形態のオーバヘッドスキャナ装置１００の側面図である。図４および図５において、実線は、画像センサ１３の撮像範囲を表しており、破線は、エリアセンサ２２の撮像範囲を表している。本実施形態では、図示のように、リニア画像は、媒体の載置面の領域の画像を含み、エリア画像は、リニア画像よりも広範囲に、スキャンスイッチ１０の画像や背景画像を含んでいる。なお、本実施の形態において、スキャンスイッチ１０が押下されることにより、リニア撮像部１１０のモータ１２が駆動し、リニア画像の取得が開始される。

制御部１０２は、オーバヘッドスキャナ装置１００を統括的に制御するＣＰＵ等からなる。制御部１０２は、制御プログラムと各種の処理手順等を規定したプログラムと所要データとを格納するための内部メモリを有し、これらプログラムに基づいて種々の処理を実行するための情報処理を行う。ここで、図６は、オーバヘッドスキャナ装置１００の制御部１０２の一例を示す機能ブロック図である。

図６に示すように、制御部１０２は、図示の如く、大別して、エリア画像取得部１０２ａと、背景モデル更新部１０２ｂと、背景変動量計算部１０２ｃと、座標変換部１０２ｄと、媒体画像取得部１０２ｅと、媒体領域抽出部１０２ｆと、手領域抽出部１０２ｇと、手画像除去部１０２ｈと、加工画像記録部１０２ｉとを備える。

エリア画像取得部１０２ａは、エリア撮像部１２０を制御して、複数のエリア画像を連続して取得する。例えば、エリア画像取得部１０２ａは、上述のように、エリア撮像部１２０のコントローラ２１を制御して、エリアセンサ２２により光電変換されＡ／Ｄコンバータ２３によりアナログデジタル変換された画像データを取得して画像データ一時ファイル（バッファ）１０６ａに格納する処理を繰り返す。例えば、エリア画像取得部１０２ａは、エリアセンサ２２で、連続撮影を行って連続画像（動画像）を取得することにより、原稿の背景モデルを学習するためのエリア画像を提供する。

背景モデル更新部１０２ｂは、エリア画像取得部１０２ａにより連続的に取得されるエリア画像に基づいて、媒体周辺の背景モデルを更新する。例えば、背景モデル更新部１０２ｂは、ＧＭＭ（Ｇａｕｓｓｉａｎ ｍｉｘｔｕｒｅ ｍｏｄｅｌ：混合ガウスモデル）を用いて、多次元の特徴量を持つデータ点の集合を機械学習してもよい。そのほか、背景モデル更新部１０２ｂは、公知の背景学習手法を用い背景モデルを生成してもよい。ここで、手領域をも背景として学習しないようにするため、背景モデル更新部１０２ｂは、媒体周辺に手を検出した場合に、背景モデルの更新を中止してもよい。なお、本実施形態において、背景モデル更新部１０２ｂは、生成した最新の背景モデルを背景ファイル１０６ｄに保存しておき、学習に応じて更新してもよい。

背景変動量計算部１０２ｃは、背景モデルからの変動量を計算する。すなわち、背景変動量計算部１０２ｃは、背景ファイル１０６ｄに保存された最新の背景モデルと、エリア画像取得部１０２ａにより取得されたエリア画像との差分である変動量を求める。

座標変換部１０２ｄは、エリア撮像部１２０を介して取得されるエリア画像の座標系から、リニア撮像部１１０を介して取得されるリニア画像の座標系に変換する。

媒体画像取得部１０２ｅは、リニア撮像部１１０を介して媒体画像を取得する。本実施形態において、利用者によりスキャンスイッチ１０が押下されると、図７に示すように、媒体画像取得部１０２ｅは、リニア撮像部１１０を制御して、画像センサ１３によるリニア画像の取得を開始する。例えば、媒体画像取得部１０２ｅは、上述のように、リニア撮像部１１０のコントローラ１１を制御して、モータ１２を回転駆動させ、画像センサ１３により光電変換されＡ／Ｄコンバータ１４によりアナログデジタル変換されたラインごとの一次元画像データを合成することにより、二次元の画像データ（リニア画像の画像データ）を生成し、画像データ一時ファイル１０６ａに格納する。ここで、リニア撮像部１１０を側面から見た状態を表し、ライン光源１４０からの光照射の一例を示す図である。図７に示すように、媒体画像取得部１０２ｅは、モータ１２を駆動させることにより、ライン光源１４０を回転方向に回転させ、ライン光源１４０からの主走査方向のライン光を、読み取り範囲を限度として副走査方向に移動させることで、利用者に読み取り範囲を通知してもよい。

媒体領域抽出部１０２ｆは、媒体画像取得部１０２ｅにより取得されたリニア画像から媒体領域を抽出する。例えば、媒体領域抽出部１０２ｆは、リニア画像の上部と下部から、それぞれ輝度の変化点を検出して、媒体領域の上部輪郭と下部輪郭を検出してもよい。そして、媒体領域抽出部１０２ｆは、画像領域の上端輪郭の左端と、下部輪郭の左端を結ぶことにより、媒体領域の左輪郭を検出してもよい。同様に、媒体領域抽出部１０２ｆは、画像領域の上端輪郭の右端と、下部輪郭の右端を結ぶことにより、媒体領域の右輪郭を検出してもよい。

手領域抽出部１０２ｇは、背景変動量計算部１０２ｃにより計算された変動量に基づいて、手領域を抽出する。ここで、手領域抽出部１０２ｇは、背景変動量計算部１０２ｃにより計算された変動量から、手領域ではないノイズを除去してもよい。例えば、手領域抽出部１０２ｇは、リニア撮像部１１０の画像センサ１３による読取開始を指示するスキャンスイッチ１０を押下した指の色情報に基づいて、ノイズを除去してもよい。例えば、色情報は、手ファイル１０６ｃに保存されており、保存された色情報に基づいて、その色に属しない色の変化量をノイズとして除去してもよい。なお、手領域抽出部１０２ｇは、変化量に基づく手領域を２値化してもよい。例えば、手領域抽出部１０２ｇは、前景画像から色モデルを生成して手ファイル１０６ｃに保存し、色モデルに当てはまるピクセルを検出して、手領域の２値画像を取得してもよい。また、座標変換部１０２ｄの制御により、エリア画像の座標系に基づく手領域を、リニア画像の座標系に変換させてもよい。

手画像除去部１０２ｈは、媒体領域抽出部１０２ｆにより抽出された媒体領域の画像から、手領域抽出部１０２ｇにより抽出された手領域の画像を除去する。本実施形態において、リニア画像とエリア画像の座標系が異なるので、手画像除去部１０２ｈは、座標変換部１０２ｄにより媒体画像上にマッピングされた手領域の画像を除去する。なお、手画像除去部１０２ｈは、媒体領域の輪郭と手領域の輪郭との交点ペアを検出することにより、媒体領域内側の手領域を判定してもよい。また、手画像除去部１０２ｈは、手領域の画像周辺の媒体画像に基づいて、手領域の画像を塗りつぶすように、除去した手領域内側の媒体領域の画像を補完してもよい。

加工画像記録部１０２ｉは、上述のように処理を受けた加工画像を加工画像データファイル１０６ｂに格納する。例えば、本実施の形態において、加工画像記録部１０２ｉは、手画像除去部１０２ｈにより手領域の画像が除去された媒体の画像を加工画像データファイル１０６ｂに格納する。加工画像記録部１０２ｉは、歪み補正等の加工処理を別途行ってもよい。

［２．本実施形態の処理］
上述した構成のオーバヘッドスキャナ装置１００で実行される処理の一例について、図８〜図２１を参照して説明する。

［２−１．基本処理］
本実施形態のオーバヘッドスキャナ装置１００における基本処理の一例について図８を参照して説明する。図８は、本実施形態のオーバヘッドスキャナ装置１００における基本処理の一例を示すフローチャートである。

図８に示すように、まず、エリア画像取得部１０２ａは、エリア撮像部１２０を制御して、複数のエリア画像を連続して取得する（ステップＳＡ−１）。例えば、エリア画像取得部１０２ａは、エリア撮像部１２０のコントローラ２１を制御して、エリアセンサ２２により光電変換されＡ／Ｄコンバータ２３によりアナログデジタル変換されたエリア画像の画像データを取得して画像データ一時ファイル１０６ａに格納することを連続的に行う。

そして、背景モデル更新部１０２ｂは、エリア画像取得部１０２ａにより取得されたエリア画像に基づいて、媒体周辺の背景モデルを生成する（ステップＳＡ−２）。例えば、背景モデル更新部１０２ｂは、ＧＭＭ等の公知の背景学習手法を用いて、多次元の特徴量を持つデータ点の集合を機械学習してもよい。なお、背景モデル更新部１０２ｂは、エリア画像取得部１０２ａにより連続的に更新されるエリア画像に応じて背景モデルを更新する一方、媒体周辺に手を検出した場合に、背景モデルの更新を中止する。なお、背景モデル更新部１０２ｂは、更新した最新の背景モデルを背景ファイル１０６ｄに保存する。

そして、背景変動量計算部１０２ｃは、背景ファイル１０６ｄに記憶された最新の背景モデルからの変動量を計算する（ステップＳＡ−３）。すなわち、背景変動量計算部１０２ｃは、エリア画像において媒体周辺に手を検出する直前の背景モデルと、エリア画像取得部１０２ａにより取得された手領域を含むエリア画像との差分である変動量を求める。

そして、手領域抽出部１０２ｇは、背景変動量計算部１０２ｃにより計算された変動量に基づいて、手領域を抽出する（ステップＳＡ−４）。ここで、手領域抽出部１０２ｇは、背景変動量計算部１０２ｃにより計算された変動量そのものを手領域にするとノイズが含まれるため、リニア撮像部１１０の画像センサ１３による読取開始を指示するスキャンスイッチ１０を押下した際の指の色情報に基づいて、ノイズを除去してもよい。なお、手領域抽出部１０２ｇは、前景画像から色モデルを生成して手ファイル１０６ｃに保存し、色モデルに当てはまるピクセルを検出して、手領域の２値画像を取得し、座標変換部１０２ｄの制御により、エリア画像の座標系に基づく２値化した手領域を、リニア画像の座標系に変換させてもよい。

そして、手画像除去部１０２ｈは、媒体領域抽出部１０２ｆにより抽出された媒体領域の画像から、手領域抽出部１０２ｇにより抽出された手領域の画像を除去する（ステップＳＡ−５）。例えば、手画像除去部１０２ｈは、座標変換部１０２ｄにより媒体画像上にマッピングされた手領域の画像を除去する。なお、手画像除去部１０２ｈは、媒体領域の輪郭と手領域の輪郭との交点ペアを検出することにより、媒体領域内側の手領域を判定してもよい。また、手画像除去部１０２ｈは、手領域の画像周辺の媒体画像に基づいて、除去した手領域内側の媒体領域の画像を補完してもよい。なお、手領域の画像が除去された加工画像は、加工画像記録部１０２ｉの制御により、加工画像データファイル１０６ｂに記録される。

以上が、本実施形態のオーバヘッドスキャナ装置１００における基本処理の一例である。

［２−２．具体化処理］
つづいて、上述した基本処理において、更に、媒体領域抽出処理や交点ペア抽出処理等を更に含む具体化処理の一例について図９〜図２１を参照して説明する。図９は、本実施形態のオーバヘッドスキャナ装置１００における具体化処理の一例を示すフローチャートである。

図９に示すように、まず、オーバヘッドスキャナ装置１００のエリア画像取得部１０２ａは、エリア撮像部１２０を制御して、現在フレームのエリア画像（フレーム画像）を取得する（ステップＳＢ−１）。

そして、背景モデル更新部１０２ｂは、エリア画像取得部１０２ａにより連続的に取得されるエリア画像に基づいて、エリア撮像部１２０の撮影範囲両側の背景モデルを更新する（ステップＳＢ−２）。すなわち、本具体化処理では、雑誌等の左右見開きの媒体を両側から左右の手で押さえて撮影することを前提としているため、エリア画像の撮影範囲の中心線で分断した左右の領域それぞれにおいて、背景モデルを構築する。

そして、背景モデル更新部１０２ｂは、エリア画像の取得のためのスキャンを終了して背景モデルの更新を中止するか否かを判定する（ステップＳＢ―３）。例えば、手領域をも背景として学習しないようにするため、背景モデル更新部１０２ｂは、媒体周辺に手を検出した場合に、スキャンを終了して背景モデルの更新を中止してもよい。ここで、図１０は、背景モデル更新処理のサブルーチンを示すフローチャートである。

図１０に示すように、背景モデル更新部１０２ｂは、取得されたフレーム画像（ステップＳＣ−１）に、撮影範囲の片側（右側、左側）領域内に、輝度閾値を超える画像の数を計算し（ステップＳＣ−２）、画像の数が所定の閾値を超えた場合に（ステップＳＣ−３，Ｙｅｓ）、撮影範囲両側の各ピクセルのＧＭＭモデル等の背景モデルの更新（ステップＳＣ−４）を中止する。この処理では、左側あるいは右側に手があるかどうかを判断しており、手がある場合は背景モデルを更新しない。その理由は、手の色も背景モデルになると、変動量に基づいて手領域を正しく抽出できなくなるためである。

ここで、ＧＭＭ（Ｇａｕｓｓｉａｎ ｍｉｘｔｕｒｅ ｍｏｄｅｌ：混合ガウスモデル）は、多次元の特徴量をもつデータ点の集合を機械学習により分類するための重要な手法である。ここで、図１１は、１次元のＧＭＭを一例として示す図であり、図１２は、２次元のＧＭＭを一例として示す図である。図１１に示すように、ＧＭＭは、複数のガウス分布の組み合わせによりモデルを構築することができる。そして、１次元の広がりのみならず、図１２に示すように、多次元においてもガウス分布の組み合わせでモデルを表現することができる。ここで、複数の次元は、本実施形態において、ＲＧＢの三原色や、Ｌ＊ａ＊ｂ＊等の色・輝度表現パラメータ等であってもよい。

再び図９に戻り、背景モデル更新部１０２ｂは、エリア画像の更新スキャンを終了して背景モデルの更新を中止すると判定すると（ステップＳＢ−３，Ｙｅｓ）、終了時のフレーム画像を記憶部１０６に記録する（ステップＳＢ−４）。ここで、背景モデル更新部１０２ｂは、スキャンスイッチ１０が押下された場合に、背景モデルの更新を中止すると判定してもよい。その際、背景モデル更新部１０２ｂは、スキャンスイッチ１０を押した時の指色を手ファイル１０６ｃに保存してもよい。

そして、背景変動量計算部１０２ｃは、両側のＧＭＭモデルからの終了時のフレーム画像の変動量を求め（ステップＳＢ−５）、手領域の２値画像を生成する（ステップＳＢ−６）。ここで、図１３は、変動量からの２値画像生成処理のサブルーチンを示すフローチャートである。また、図１４は、終了時のフレーム画像と、手領域２値画像の一例を示す図である。

図１３および図１４に示すように、背景変動量計算部１０２ｃは、終了時のフレーム画像（ステップＳＤ−１，ＭＡ−１）と背景モデル（ステップＳＤ−２）に基づいて、各ピクセルのＲＧＢ情報を背景モデルに代入することにより、背景との差分であるところの変動量を算出する（ステップＳＤ−３）。

そして、背景変動量計算部１０２ｃは、各ピクセルについての変動量が所定の閾値を超えている場合（ステップＳＤ−４，Ｙｅｓ）、そのピクセルの階調値を２５５（白）に設定し（ステップＳＤ−５）、閾値を超えない場合（ステップＳＤ−４，Ｎｏ）、そのピクセルの階調値を０（黒）に設定することにより（ステップＳＤ−６）、手領域２値画像（ＭＡ−２）を生成する（ステップＳＤ−７）。なお、図１４のＭＡ−２に示すように、通常、手領域２値画像には、ノイズが含まれている。ノイズの原因は、手で媒体を押さえるときに媒体を両側に伸ばす傾向にあり、媒体が微動するためである。そのため、後述のノイズ除去処理を行う。

再び図９に戻り、手領域抽出部１０２ｇは、背景変動量計算部１０２ｃにより計算された変動量から、手領域ではないノイズを除去する（ステップＳＢ−７）。ここで、図１５は、ノイズ除去処理のサブルーチンを示すフローチャートである。また、図１６は、終了時のフレーム画像からノイズ除去後の手領域２値画像までの画像遷移を一例として示す図である。

図１５および図１６に示すように、手領域抽出部１０２ｇは、手ファイル１０６ｃに記録された、スキャンスイッチ１０を押した時の指色（ＭＢ−３）から色モデルを生成する（ステップＳＥ−３）。

そして、手領域抽出部１０２ｇは、終了時のフレーム画像（ステップＳＥ−１，ＭＢ−１）と、ノイズを含む手領域２値画像（ステップＳＥ−２，ＭＢ−２）と、色モデル（ステップＳＥ−３，ＭＢ−３）に基づいて、２値画像において階調値が２５５（白）であるピクセルのＲＧＢ情報を色モデルに代入する（ステップＳＥ−４）。

そして、手領域抽出部１０２ｇは、色モデルとの一致度が所定の閾値以下の場合（ステップＳＥ−５，Ｙｅｓ）、そのピクセルの階調値を０（黒）に設定し（ステップＳＥ−６）、閾値を超えた場合（ステップＳＥ−５，Ｎｏ）、そのピクセルの階調値を２５５（白）のまま維持することにより（ステップＳＥ−７）、ノイズを除去した手領域２値画像（ＭＢ−４）を生成する。

再び図９に戻り、手領域抽出部１０２ｇは、ノイズを除去した手領域２値画像を手ファイル１０６ｃに記録する（ステップＳＢ−８）。なお、この処理が終わると、オーバヘッドスキャナ装置１００は、再びＳＢ−１に処理を戻し、上述した処理を繰返して、背景モデルの更新処理や手領域２値画像の取得処理を行う。以上が、エリア画像の座標系で行われる処理の一例である。つづいて、以下に、リニア画像の座標系で行われる処理の一例について説明する。

まず、媒体画像取得部１０２ｅは、利用者によりスキャンスイッチ１０が押下されると、リニア撮像部１１０を制御して、画像センサ１３によるリニア画像を取得する（ステップＳＢ−９）。例えば、媒体画像取得部１０２ｅは、リニア撮像部１１０のコントローラ１１を制御して、モータ１２を回転駆動させ、画像センサ１３により光電変換されＡ／Ｄコンバータ１４によりアナログデジタル変換されたラインごとの一次元画像データを合成することにより、二次元の画像データ（リニア画像の画像データ）を生成し、画像データ一時ファイル１０６ａに格納する。

そして、媒体領域抽出部１０２ｆは、媒体画像取得部１０２ｅにより取得されたリニア画像から媒体領域を抽出する（ステップＳＢ−１０）。ここで、図１７は、媒体領域抽出処理のサブルーチンを示すフローチャートである。また、図１８は、リニア画像から媒体領域の輪郭を抽出する処理を模式的に示す図である。

図１７および図１８に示すように、媒体領域抽出部１０２ｆは、媒体のリニア画像（ＳＦ−１）の上部と下部から、それぞれ探索して、輝度の変化点を検出する（ステップＳＦ−２，ＭＣ−１）。

そして、媒体領域抽出部１０２ｆは、上部と下部それぞれにおいて、輝度の変化点の真ん中から両端に向かって走査する（ステップＳＦ−３）。

そして、媒体領域抽出部１０２ｆは、上部と下部それぞれにおいて、輝度の変化点の座標（高さ）が急に変化するところを、上部および下部の輪郭の端点として検出する（ステップＳＦ−４）。すなわち、上部と下部から輝度の変化点を検出するだけでは、媒体領域の外側の手領域をも検出してしまうため、この処理で媒体領域の輪郭の両端を定めている。

そして、媒体領域抽出部１０２ｆは、上部と下部それぞれにおいて、両端の端点までの輝度の変化点を結んで、画像領域の上部および下部の輪郭を生成する（ステップＳＦ−５，ＭＣ−２）。

そして、媒体領域抽出部１０２ｆは、上部と下部の左端点同士を連結することにより媒体領域の左輪郭を生成し、上部と下部の右端点同士を連結することにより媒体領域の右輪郭を生成する（ステップＳＦ−６，ＭＣ−３）。これにて、媒体領域が抽出可能になる。

再び図９に戻り、媒体領域抽出部１０２ｆによるクロッピング処理等にて媒体領域の画像が抽出されると（ステップＳＢ−１０）、手領域抽出部１０２ｇは、手領域を抽出するために、ノイズが除去された手領域２値画像を手ファイル１０６ｃから取得する（ステップＳＢ−１１）。

そして、手領域抽出部１０２ｇは、座標変換部１０２ｄの制御により、エリア画像の座標系に基づく手領域２値画像を、リニア画像の座標系に変換させる（ステップＳＢ−１２）。

そして、手領域抽出部１０２ｇは、ステップＳＢ−１２でリニア画像の座標系に変換した手領域２値画像を、ステップＳＢ−１０で取得した媒体画像上にマッピングし、手領域の輪郭である手輪郭を抽出する（ステップＳＢ−１３）。

そして、手画像除去部１０２ｈは、媒体領域の画像から手領域の画像を除去するため、媒体領域の輪郭である媒体輪郭と手輪郭との交点ペアを検出する（ステップＳＢ−１４）。ここで、図１９は、交点ペア検出処理のサブルーチンを示すフローチャートである。また、図２０は、交点ペア検出処理における交点ペアを模式的に示す図である。

図１９および図２０に示すように、手画像除去部１０２ｈは、手輪郭の各輪郭のサブ線分を走査して、媒体の左（右）輪郭との交点を検出する（ステップＳＨ−１）。

そして、手画像除去部１０２ｈは、図２０に示すように、上から順に、交点ペアの間の手輪郭が内側にあるか外側にあるかをチェックする（ステップＳＨ−２）。

そして、手画像除去部１０２ｈは、交点ペアの媒体左輪郭の右側に、手輪郭がある場合に（ステップＳＨ−３，Ｙｅｓ）、当該交点ペアを記憶部１０６に記録する（ステップＳＨ−４）。なお、媒体右輪郭も同様に、手画像除去部１０２ｈは、交点ペアの媒体右輪郭の左側に、手輪郭がある場合に（ステップＳＨ−３，Ｙｅｓ）、当該交点ペアを記憶部１０６に記録する（ステップＳＨ−４）。

そして、手画像除去部１０２ｈは、交点ペアを記録し、未チェックの交点ペアがある場合（ステップＳＨ−４）または交点ペアの媒体左（右）輪郭の右側（左側）に手輪郭がない場合（ステップＳＨ−３，Ｎｏ）、ステップＳＨ−２に処理を戻し、次の交点ペアについてチェックを行う。これにより、媒体領域にある手領域の外側輪郭を交点ペアにより特定することができる。

再び図９に戻り、手画像除去部１０２ｈは、記録した交点ペアを結んだ線と元の手領域で囲まれる、媒体領域内の手領域の画像を塗りつぶす（ステップＳＢ−１５）。例えば、手画像除去部１０２ｈは、媒体領域内の手領域の画像周辺の媒体画像の色情報に基づいて、当該手領域の画像を塗りつぶす色を決定してもよい。

そして、加工画像記録部１０２ｉは、公知の歪み補正手法にて、歪み補正処理を行う（ステップＳＢ−１６）。ここで、図２１は、以上の処理にて加工された、手領域の画像が除去された歪みのない媒体の加工画像を示す図である。図２１に示すように、歪み補正処理により、媒体が撓むことによる歪みが補正されている。

そして、加工画像記録部１０２ｉは、加工後の画像データを加工画像データファイル１０６ｂに格納し（ステップＳＢ−１７）、処理を終える。

以上が、本実施形態のオーバヘッドスキャナ装置１００における具体化処理の一例である。なお、上述した具体化処理においては、左右見開き２ページの画像が読み取られる場合の１回の処理の流れについて説明したが、上下の見開き２ページの媒体など、他の様式の媒体について適用してもよいものである。

［３．本実施形態のまとめ、及び他の実施形態］
以上、本実施形態によれば、オーバヘッドスキャナ装置１００は、複数の画像を連続して取得し、連続的に取得される画像に基づいて、媒体周辺の背景モデルを更新し、背景モデルからの変動量を計算し、変動量に基づいて手領域を抽出し、媒体の画像から手領域の画像を除去する。これにより、特定の色で手領域を検出することなく、常時、学習により更新する背景モデルにて、手領域を検出するので、利用者が手袋をはめて操作している場合や、指色と背景となる本の色が似ている場合などにおいても、誤検出を防止して、精度よく手領域の画像を除去することができる。

また、本実施形態によれば、エリアセンサ２２を介して取得更新されるエリア画像から、背景モデルを構築し、エリアセンサ２２を介して取得されるエリア画像の座標系から、画像センサ１３を介して取得されるリニア画像の座標系に変換し、媒体画像上にマッピングされた手領域の画像を除去する。これにより、媒体の画像は高精細なリニア画像で得ながら、異なる座標系のエリア画像による背景モデルの変動量を手領域の検出に用いることができる。

また、本実施形態によれば、画像センサ１３によるスキャンスイッチ１０を押下した指の色情報に基づいて、背景モデルからの変動量に基づいて手領域を抽出する際のノイズを除去するので、手で媒体を押さえるときに媒体を伸ばすような媒体の微動があっても、ノイズを適切に除去することができる。

また、本実施形態によれば、媒体周辺に手を検出した場合に、背景モデルの更新を中止するので、手領域をも背景として学習することを適切に防ぐことができる。

また、本実施形態によれば、前景画像から色モデルを生成し、色モデルに当てはまるピクセルを検出して、手領域の２値画像を取得するので、媒体領域を含むリニア画像中の手領域を適切に検出することができる。

また、本実施形態によれば、媒体画像の上下から走査して検出した輝度の変化点に基づいて、媒体領域の輪郭を取得するので、適切に媒体領域の輪郭を取得することができる。

さらに、本発明は、上述した実施形態以外にも、特許請求の範囲に記載した技術的思想の範囲内において種々の異なる実施形態にて実施されてよいものである。例えば、エリアセンサ２２は、赤外領域以外の波長領域の光を検出してもよい。また、オーバヘッドスキャナ装置１００がスタンドアローンの形態で処理を行う場合を一例に説明したが、オーバヘッドスキャナ装置１００とは別筐体のクライアント端末からの要求に応じて処理を行い、その処理結果を当該クライアント端末に返却するようにしてもよい。また、実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。このほか、上記文献中や図面中で示した処理手順、制御手順、具体的名称、各処理の登録データを含む情報、画面例、データベース構成については、特記する場合を除いて任意に変更することができる。

また、オーバヘッドスキャナ装置１００に関して、図示の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。例えば、オーバヘッドスキャナ装置１００の各装置が備える処理機能、特に制御部１０２にて行われる各処理機能については、その全部または任意の一部を、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）および当該ＣＰＵにて解釈実行されるプログラムにて実現してもよく、また、ワイヤードロジックによるハードウェアとして実現してもよい。尚、プログラムは、後述する記録媒体に記録されており、必要に応じてオーバヘッドスキャナ装置１００に機械的に読み取られる。すなわち、ＲＯＭまたはＨＤＤなどの記憶部１０６などには、各種処理を行うためのコンピュータプログラムが記録されている。このコンピュータプログラムは、ＲＡＭにロードされることによって実行され、ＣＰＵと協働して制御部を構成する。また、このコンピュータプログラムは、オーバヘッドスキャナ装置１００に対して任意のネットワークを介して接続されたアプリケーションプログラムサーバに記憶されていてもよく、必要に応じてその全部または一部をダウンロードすることも可能である。

また、本発明に係るプログラムを、コンピュータ読み取り可能な記録媒体に格納してもよく、また、プログラム製品として構成することもできる。ここで、この「記録媒体」とは、メモリーカード、ＵＳＢメモリ、ＳＤカード、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、および、Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ等の任意の「可搬用の物理媒体」を含むものとする。また、「プログラム」とは、任意の言語や記述方法にて記述されたデータ処理方法であり、ソースコードやバイナリコード等の形式を問わない。なお、「プログラム」は必ずしも単一的に構成されるものに限られず、複数のモジュールやライブラリとして分散構成されるものや、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）に代表される別個のプログラムと協働してその機能を達成するものをも含む。なお、実施形態に示した各装置において記録媒体を読み取るための具体的な構成、読み取り手順、あるいは、読み取り後のインストール手順等については、周知の構成や手順を用いることができる。

記憶部１０６に格納される各種のデータベース等（画像データ一時ファイル１０６ａ、加工画像データファイル１０６ｂ、手ファイル１０６ｃ、および背景ファイル１０６ｄ）は、ＲＡＭ、ＲＯＭ等のメモリ装置、ハードディスク等の固定ディスク装置、フレキシブルディスク、および、光ディスク等のストレージ手段であり、各種処理に用いる各種のプログラム、テーブル、および、データベース等を格納する。

また、オーバヘッドスキャナ装置１００は、既知のパーソナルコンピュータ、ワークステーション等の情報処理装置として構成してもよく、また、該情報処理装置に任意の周辺装置を接続して構成してもよい。また、オーバヘッドスキャナ装置１００は、該情報処理装置に本発明の方法を実現させるソフトウェア（プログラム、データ等を含む）を実装することにより実現してもよい。更に、装置の分散・統合の具体的形態は図示するものに限られず、その全部または一部を、各種の付加等に応じて、または、機能負荷に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。すなわち、上述した実施形態を任意に組み合わせて実施してもよく、実施形態を選択的に実施してもよい。

以上のように、本発明に係るオーバヘッドスキャナ装置、画像取得方法、および、プログラムは、産業上の多くの分野、特にスキャナで読み取った画像を扱う画像処理分野で実施することができ、極めて有用である。

１００ オーバヘッドスキャナ装置
１０２ 制御部
１０２ａ エリア画像取得部
１０２ｂ 背景モデル更新部
１０２ｃ 背景変動量計算部
１０２ｄ 座標変換部
１０２ｅ 媒体画像取得部
１０２ｆ 媒体領域抽出部
１０２ｇ 手領域抽出部
１０２ｈ 手画像除去部
１０２ｉ 加工画像記録部
１０６ 記憶部
１０６ａ 画像データ一時ファイル
１０６ｂ 加工画像データファイル
１０６ｃ 手ファイル
１０２ｄ 背景ファイル
１０８ 入出力インターフェース部
１１０ リニア撮像部
１１ コントローラ
１２ モータ
１３ 画像センサ
１４ Ａ／Ｄコンバータ
１２０ エリア撮像部
２１ コントローラ
２２ エリアセンサ
２３ Ａ／Ｄコンバータ
１４０ 光源

Claims (8)

1. 複数の画像を連続して取得する画像取得手段と、
   前記画像取得手段により連続的に取得される前記画像に基づいて、媒体周辺の背景モデルを更新する背景モデル更新手段と、
   前記背景モデルからの変動量を計算する背景変動量計算手段と、
   前記変動量に基づいて、手領域を抽出する手領域抽出手段と、
   前記媒体の画像から手領域の画像を除去する手画像除去手段と、
   エリアセンサと、
   媒体画像センサと、
   前記エリアセンサを介して取得される画像の座標系から、前記媒体画像センサを介して取得される媒体画像の座標系に変換する座標変換手段と、を備え、
   前記背景モデル更新手段は、
   エリアセンサを介して取得更新される画像から、前記背景モデルを構築し、
   前記手画像除去手段は、
   前記座標変換手段により媒体画像上にマッピングされた手領域の画像を除去する、
   オーバヘッドスキャナ装置。
2. 複数の画像を連続して取得する画像取得手段と、
   前記画像取得手段により連続的に取得される前記画像に基づいて、媒体周辺の背景モデルを更新する背景モデル更新手段と、
   前記背景モデルからの変動量を計算する背景変動量計算手段と、
   前記変動量に基づいて、手領域を抽出する手領域抽出手段と、
   前記媒体の画像から手領域の画像を除去する手画像除去手段と、
   媒体画像センサと、を備え、
   前記手領域抽出手段は、
   前記媒体画像センサによる読取開始ボタンを押下した指の色情報に基づいて、前記背景モデルからの変動量に基づいて手領域を抽出する際のノイズを除去する、
   オーバヘッドスキャナ装置。
3. 請求項１または２に記載のオーバヘッドスキャナ装置において、
   前記手領域抽出手段は、
   前景画像から色モデルを生成し、色モデルに当てはまるピクセルを検出して、前記手領域の２値画像を取得する、
   オーバヘッドスキャナ装置。
4. 請求項１乃至３のいずれか一つに記載のオーバヘッドスキャナ装置において、
   前記媒体画像の上下から走査して検出した輝度の変化点に基づいて、媒体領域の輪郭を取得する媒体領域抽出手段を更に備える、
   オーバヘッドスキャナ装置。
5. オーバヘッドスキャナ装置の制御部で実行される、
   複数の画像を連続して取得する画像取得ステップと、
   前記画像取得ステップにて連続的に取得される前記画像に基づいて、媒体周辺の背景モデルを更新する背景モデル更新ステップと、
   前記背景モデルからの変動量を計算する背景変動量計算ステップと、
   前記変動量に基づいて、手領域を抽出する手領域抽出ステップと、
   前記媒体の画像から手領域の画像を除去する手画像除去ステップと、
   エリアセンサを介して取得される画像の座標系から、媒体画像センサを介して取得される媒体画像の座標系に変換する座標変換ステップと、を含み、
   前記背景モデル更新ステップにおいて、
   エリアセンサを介して取得更新される画像から、前記背景モデルを構築し、
   前記手画像除去ステップにおいて、
   前記座標変換手段により媒体画像上にマッピングされた手領域の画像を除去する、
   画像取得方法。
6. オーバヘッドスキャナ装置の制御部で実行される、
   複数の画像を連続して取得する画像取得ステップと、
   前記画像取得ステップにて連続的に取得される前記画像に基づいて、媒体周辺の背景モデルを更新する背景モデル更新ステップと、
   前記背景モデルからの変動量を計算する背景変動量計算ステップと、
   前記変動量に基づいて、手領域を抽出する手領域抽出ステップと、
   前記媒体の画像から手領域の画像を除去する手画像除去ステップと、を含み、
   前記手領域抽出ステップにおいて、
   媒体画像センサによる読取開始ボタンを押下した指の色情報に基づいて、前記背景モデルからの変動量に基づいて手領域を抽出する際のノイズを除去する、
   画像取得方法。
7. 複数の画像を連続して取得する画像取得ステップと、
   前記画像取得ステップにて連続的に取得される前記画像に基づいて、媒体周辺の背景モデルを更新する背景モデル更新ステップと、
   前記背景モデルからの変動量を計算する背景変動量計算ステップと、
   前記変動量に基づいて、手領域を抽出する手領域抽出ステップと、
   前記媒体の画像から手領域の画像を除去する手画像除去ステップと、
   エリアセンサを介して取得される画像の座標系から、媒体画像センサを介して取得される媒体画像の座標系に変換する座標変換ステップと、
   をオーバヘッドスキャナ装置の制御部に実行させるためのプログラムであって、
   前記背景モデル更新ステップにおいて、
   エリアセンサを介して取得更新される画像から、前記背景モデルを構築し、
   前記手画像除去ステップにおいて、
   前記座標変換手段により媒体画像上にマッピングされた手領域の画像を除去する、
   処理を前記制御部に実行させるためのプログラム。
8. 複数の画像を連続して取得する画像取得ステップと、
   前記画像取得ステップにて連続的に取得される前記画像に基づいて、媒体周辺の背景モデルを更新する背景モデル更新ステップと、
   前記背景モデルからの変動量を計算する背景変動量計算ステップと、
   前記変動量に基づいて、手領域を抽出する手領域抽出ステップと、
   前記媒体の画像から手領域の画像を除去する手画像除去ステップと、
   をオーバヘッドスキャナ装置の制御部に実行させるためのプログラムであって、
   前記手領域抽出ステップにおいて、
   媒体画像センサによる読取開始ボタンを押下した指の色情報に基づいて、前記背景モデルからの変動量に基づいて手領域を抽出する際のノイズを除去する、
   処理を前記制御部に実行させるためのプログラム。