JP6099686B2 - 画像処理装置、領域検出方法及びコンピュータプログラム - Google Patents

Description

本発明は、画像処理装置、領域検出方法及びコンピュータプログラムに関し、特に、入力画像から原稿の画像を切出すべき領域を検出する画像処理装置、領域決定方法及びコンピュータプログラムに関する。

スキャナ装置等で原稿を読み取って画像データとして保存するためには、読み取った画像から原稿領域を正確に検出する必要がある。一般に、フラットベッドタイプ又は自動原稿送りタイプのスキャナ装置では、白色、黒色等の単調色の裏当てを用いることにより原稿領域とそれ以外の領域を容易に識別できる。一方、近年では、机等に載置された原稿を読み取る、いわゆるオーバーヘッドタイプのスキャナ装置が利用されており、机の模様と原稿とを正確に識別することが必要となっている。

読み取った画像から原稿領域を求める画像読取装置が開示されている。この画像読取装置は、全ての対象物を包含する第１の矩形の頂点座標と、全ての対象物のうち原稿の内容物であると判定した全ての対象物を包含し面積が最小である第２の矩形の頂点座標との一致度に基づいて原稿領域の切出し方法を決定する（特許文献１を参照）。

また、全幅が裏当て部である領域のイメージデータにより原稿エッジ検出用の基準データを作成し、基準データと画像データとの差異を求めることにより原稿のエッジ検出を行う画像読取装置が開示されている。この画像読取装置は、エッジ検出を水平方向および垂直方向に所定のラインだけ行うことにより原稿の四辺を検出し、原稿画像の自動認識を行う（特許文献２を参照）。

また、入力画像から原稿の境界を検出する画像処理装置が開示されている。この画像処理装置は、入力画像からエッジ画素を抽出し、エッジ画素から複数の直線を抽出し、抽出した直線から矩形候補を抽出し、各矩形候補の各辺から所定距離内にあるエッジ画素の数と各角の角らしさの度合いに基づいて矩形を選択する（特許文献３を参照）。

また、読み取った画像から原稿の画像を切出すべき領域を決定する画像処理装置が開示されている。この画像処理装置は、入力画像から対象領域を検出し、対象領域内において矩形を検出し、その矩形が対象領域と一致する場合、その矩形を切出し領域に決定し、一致しない場合、対象領域を含む領域を切出し領域に決定する（特許文献４を参照）。

特開２００９−２７２６７６号公報 特開２００７−８８６５４号公報 特開２０１３−１０６１６０号公報 特開２０１４−１９５１４８号公報

スキャナ装置等の画像処理装置では、読み取った画像から原稿の画像を切出すべき領域をより精度良く検出することを求められている。

本発明の目的は、読み取った画像から原稿の画像を切出すべき領域を精度良く検出することが可能な画像処理装置、領域検出方法及びそのような領域検出方法をコンピュータに実行させるコンピュータプログラムを提供することにある。

本実施形態の一側面に係る画像処理装置は、入力画像から、背景が写っていると推定される推定背景領域を抽出する推定背景領域抽出部と、推定背景領域内の画素に基づいて閾値を決定する閾値決定部と、閾値を用いて入力画像からエッジ画素を抽出するエッジ画素抽出部と、エッジ画素から原稿領域を検出する原稿領域検出部と、を有する。

また、本実施形態の一側面に係る領域決定方法は、入力画像から、背景が写っていると推定される推定背景領域を抽出し、推定背景領域内の画素に基づいて閾値を決定し、閾値を用いて入力画像からエッジ画素を抽出し、エッジ画素から原稿領域を検出することを含む。

また、本実施形態の一側面に係るコンピュータプログラムは、入力画像から、背景が写っていると推定される推定背景領域を抽出し、推定背景領域内の画素に基づいて閾値を決定し、閾値を用いて入力画像からエッジ画素を抽出し、エッジ画素から原稿領域を検出することをコンピュータに実行させる。

本発明によれば、読み取った画像から原稿の画像を切出すべき領域を精度良く検出することが可能な画像処理装置、領域検出方法及びそのような領域検出方法をコンピュータに実行させるコンピュータプログラムを提供することができる。

実施形態に従った画像処理システム１を示す図である。 実施形態に従った画像処理システム１の概略構成を示す図である。 画像処理回路２７の概略構成を示す図である。 画像読取処理の動作を示すフローチャートである。 原稿切出し処理の動作を示すフローチャートである。 原稿切出し処理における画像について説明するための模式図である。 原稿切出し処理における画像について説明するための模式図である。 隣接差分値のヒストグラムの例を示す図である。 第１入力画像の他の例を示す模式図である。 切出し領域決定処理の動作の例を示すフローチャートである。 候補領域検出処理の動作の例を示すフローチャートである。 候補領域検出処理における画像について説明するための模式図である。 候補領域検出処理における画像について説明するための模式図である。 候補領域検出処理における画像について説明するための模式図である。 候補領域検出処理における画像について説明するための模式図である。 候補領域検出処理における画像について説明するための模式図である。 矩形検出処理の動作の例を示すフローチャートである。 外側エッジ画素の抽出処理について説明するための模式図である。 外側エッジ画素の抽出処理について説明するための模式図である。 候補領域と入力画像の端部が近接している例を示す模式図である。 候補領域と入力画像の端部が近接している例を示す模式図である。 近似直線について説明するための模式図である。 近似直線について説明するための模式図である。 矩形候補の各角の評価点について説明するための模式図である。 矩形検出処理について説明するための模式図である。 矩形検出処理について説明するための模式図である。 矩形検出処理について説明するための模式図である。 非矩形検出処理の動作の例を示すフローチャートである。 非矩形検出処理における各画像について説明するための模式図である。 非矩形検出処理における各画像について説明するための模式図である。 原稿切出し処理の動作の他の例を示すフローチャートである。 原稿切出し処理の動作のさらに他の例を示すフローチャートである。 候補領域検出処理の動作の他の例を示すフローチャートである。 他の画像処理システム２の概略構成を示す図である。

以下、本発明に係る画像処理装置、領域決定方法及びコンピュータプログラムについて図を参照しつつ説明する。但し、本発明の技術的範囲はそれらの実施の形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。

図１は、実施形態に従った画像処理システムを示す図である。図１に示すように、画像処理システム１は、画像読取装置１０と、情報処理装置２０とを有する。画像読取装置１０は、例えばイメージスキャナ、デジタルカメラ等である。本実施形態では、画像読取装置１０がオーバーヘッドタイプタイプのスキャナ装置である場合を例にして説明する。情報処理装置２０は、例えば画像読取装置１０に接続して用いられるパーソナルコンピュータ等である。

図２は、実施形態に従った画像処理システムの概略構成を示す図である。画像読取装置１０は、画像入力装置１１と、第１画像メモリ１２と、第１インターフェース装置１３と、第１記憶装置１４と、第１ＣＰＵ（Control Processing Unit）１５とを有する。以下、画像読取装置１０の各部について詳細に説明する。

画像入力装置１１は、撮像対象物である原稿等を撮像する撮像センサを有する。この撮像センサは、撮像素子と、撮像素子に撮像対象物の像を結像する光学系を備える。各撮像素子は、ＲＧＢ各色に対応するアナログ値を出力する。撮像素子は、１次元又は２次元に配列されたＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等である。画像入力装置１１は、撮像センサが出力した各アナログ値をデジタル値に変換して画素データを生成し、生成した各画素データから構成される画像データ（以下、ＲＧＢ画像と称する）を生成する。このＲＧＢ画像は、各画素データが、例えばＲＧＢ各色毎に８ｂｉｔで表される計２４ｂｉｔのＲＧＢ値からなるカラー画像データとなる。

画像入力装置１１は、ＲＧＢ画像又はＲＧＢ画像の各画素のＲＧＢ値を輝度値及び色差値（ＹＵＶ値）に変換した画像（以下、読取画像と称する）を生成し、第１画像メモリ１２に保存する。なお、ＹＵＶ値は、例えば以下の式により算出することができる。
Ｙ値＝ ０．３０×Ｒ値＋０．５９×Ｇ値＋０．１１×Ｂ値 （１）
Ｕ値＝−０．１７×Ｒ値−０．３３×Ｇ値＋０．５０×Ｂ値 （２）
Ｖ値＝ ０．５０×Ｒ値−０．４２×Ｇ値−０．０８×Ｂ値 （３）

第１画像メモリ１２は、不揮発性半導体メモリ、揮発性半導体メモリ、磁気ディスク等の記憶装置を有する。第１画像メモリ１２は、画像入力装置１１と接続され、画像入力装置１１により生成された読取画像を保存する。

第１インターフェース装置１３は、ＵＳＢ（Universal Serial Bus）等のシリアルバスに準じるインターフェース回路を有し、情報処理装置２０と電気的に接続して画像データ及び各種の情報を送受信する。また、第１インターフェース装置１３にフラッシュメモリ等を接続して第１画像メモリ１２に保存されている画像データを一旦保存し、情報処理装置２０に複写するようにしてもよい。

第１記憶装置１４は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等のメモリ装置、ハードディスク等の固定ディスク装置、又はフレキシブルディスク、光ディスク等の可搬用の記憶装置等を有する。また、第１記憶装置１４には、画像読取装置１０の各種処理に用いられるコンピュータプログラム、データベース、テーブル等が格納される。コンピュータプログラムは、コンピュータ読み取り可能な可搬型記録媒体から公知のセットアッププログラム等を用いて第１記憶装置１４にインストールされてもよい。可搬型記録媒体は、例えばＣＤ−ＲＯＭ（compact disk read only memory）、ＤＶＤ−ＲＯＭ（digital versatile disk read only memory）等である。

第１ＣＰＵ１５は、画像入力装置１１、第１画像メモリ１２、第１インターフェース装置１３及び第１記憶装置１４と接続され、これらの各部を制御する。第１ＣＰＵ１５は、画像入力装置１１の読取画像生成制御、第１画像メモリ１２の制御、第１インターフェース装置１３を介した情報処理装置２０とのデータ送受信制御、第１記憶装置１４の制御等を行う。

情報処理装置２０は、第２インターフェース装置２１と、第２画像メモリ２２と、表示装置２３と、入力装置２４と、第２記憶装置２５と、第２ＣＰＵ２６と、画像処理回路２７とを有する。以下、情報処理装置２０の各部について詳細に説明する。

第２インターフェース装置２１は、画像読取装置１０の第１インターフェース装置１３と同様のインターフェース回路を有し、情報処理装置２０と画像読取装置１０とを接続する。

第２画像メモリ２２は、画像読取装置１０の第１画像メモリ１２と同様の記憶装置を有する。第２画像メモリ２２には、第２インターフェース装置２１を介して画像読取装置１０から受信した読取画像を保存するとともに、画像処理回路２７と接続され、画像処理回路２７により読取画像に対して画像処理がなされた各種の処理画像を保存する。

表示装置２３は、液晶、有機ＥＬ等から構成されるディスプレイ及びディスプレイに画像データを出力するインターフェース回路を有し、第２画像メモリ２２と接続されて第２画像メモリ２２に保存されている画像データをディスプレイに表示する。

入力装置２４は、キーボード、マウス等の入力装置及び入力装置から信号を取得するインターフェース回路を有し、利用者の操作に応じた信号を第２ＣＰＵ２６に出力する。

第２記憶装置２５は、画像読取装置１０の第１記憶装置１４と同様のメモリ装置、固定ディスク装置、可搬用の記憶装置等を有する。第２記憶装置２５には、情報処理装置２０の各種処理に用いられるコンピュータプログラム、データベース、テーブル等が格納される。コンピュータプログラムは、例えばＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等のコンピュータ読み取り可能な可搬型記録媒体から、公知のセットアッププログラム等を用いて第２記憶装置２５にインストールされてもよい。

第２ＣＰＵ２６は、第２インターフェース装置２１、第２画像メモリ２２、表示装置２３、入力装置２４、第２記憶装置２５及び画像処理回路２７と接続され、これらの各部を制御する。第２ＣＰＵ２６は、第２インターフェース装置２１を介した画像読取装置１０とのデータ送受信制御、第２画像メモリ２２の制御、表示装置２３の表示制御、入力装置２４の入力制御、第２記憶装置２５の制御、画像処理回路２７による画像処理の制御等を行う。

画像処理回路２７は、第２画像メモリ２２に接続され、原稿切出し処理を行う。この画像処理回路２７は、第２ＣＰＵ２６に接続され、第２ＣＰＵ２６からの制御により予め第２記憶装置２５に記憶されているプログラムに基づいて動作する。なお、画像処理回路２７は、独立した集積回路、マイクロプロセッサ、ファームウェア等で構成されてもよい。

図３は、画像処理回路２７の概略構成を示す図である。図３に示すように画像処理回路２７は、推定背景領域抽出部２０１、閾値決定部２０２、選択部２０３、第１エッジ画素抽出部２０４、膨張用エッジ画素抽出部２０５、膨張画像生成部２０６、第２エッジ画素抽出部２０７、候補領域検出部２０８、外側エッジ画素抽出部２０９、直線検出部２１０、矩形検出部２１１、外周エッジ画素抽出部２１２、非矩形検出部２１３、マスク生成部２１４、原稿領域検出部２１５、切出し部２１６及び記憶制御部２１７を有する。これらの各部は、プロセッサ上で動作するソフトウェアにより実装される機能モジュールである。なお、これらの各部はそれぞれ独立した集積回路、マイクロプロセッサ、ファームウェア等で構成されてもよい。

図４は、画像読取装置１０による画像読取処理の動作を示すフローチャートである。以下、図４に示したフローチャートを参照しつつ、画像読取処理の動作を説明する。なお、以下に説明する動作のフローは、予め第１記憶装置１４に記憶されているプログラムに基づき主に第１ＣＰＵ１５により画像読取装置１０の各要素と協働して実行される。

最初に、画像入力装置１１は、撮像対象物である原稿を撮影した読取画像を生成し、第１画像メモリ１２に保存する（ステップＳ１０１）。

次に、第１ＣＰＵ１５は、第１画像メモリ１２に保存された読取画像を第１インターフェース装置１３を介して情報処理装置２０に送信し（ステップＳ１０２）、一連のステップを終了する。

図５は、情報処理装置２０による原稿切出し処理の動作を示すフローチャートである。以下、図５に示したフローチャートを参照しつつ、原稿切出し処理の動作を説明する。なお、以下に説明する動作のフローは、予め第２記憶装置２５に記憶されているプログラムに基づき主に第２ＣＰＵ２６により情報処理装置２０の各要素と協同して実行される。

最初に、第２ＣＰＵ２６は、読取画像を第２インターフェース装置２１を介して画像読取装置１０から取得し、第２画像メモリ２２に保存する（ステップＳ２０１）。

次に、画像処理回路２７は、第２画像メモリ２２に保存された読取画像を読み出し、読取画像について水平方向及び垂直方向に画素を間引いた第１入力画像を生成し、第２画像メモリ２２に保存する（ステップＳ２０２）。第１入力画像は、入力画像の一例である。

一般に、情報処理装置２０は処理する画像の画素数により処理速度が大きく異なるため、画素を間引く割合は、第２ＣＰＵ２６等の処理能力と情報処理装置２０に要求される処理速度に応じて定められる。なお、画素を間引かなくても要求される処理速度を満たす場合は読取画像をそのまま第１入力画像としてもよい。

図６Ａ〜図６Ｂは、原稿切出し処理における各画像について説明するための模式図である。図６Ａに示す画像６００は、第１入力画像の例である。第１入力画像６００は、木目調等の模様６０２を有する机に載置された本６０１を原稿として撮像した画像である。本６０１には、網掛け部分６０３、文字６０４等が含まれる。また、第１入力画像６００には、第１入力画像６００を撮像した画像読取装置１０の筐体の内、台座の一部６０５が含まれている。さらに、第１入力画像６００には、画像読取装置１０の画像入力装置１１の撮像素子及び光学系の影響により生じるランダムノイズ６０６が撮像されている。

次に、画像処理回路２７は、第１入力画像からさらに水平方向及び垂直方向に画素を間引いた第２入力画像を生成し、第２画像メモリ２２に保存する（ステップＳ２０３）。第２入力画像は、入力画像の他の例である。

図６Ｂに示す画像６１０は、第２入力画像の例である。第１入力画像６００から第２入力画像６１０への間引き率は、ランダムノイズ６０６が除去されるが、原稿内の網掛け部分６０３、文字６０４等は除去されないように予め定められる。

なお、画像処理回路２７は、第２入力画像を生成する代わりに、第１入力画像に平滑化フィルタを適用することによりランダムノイズ６０６を除去してもよい。または、第１エッジ画素抽出部２０４は、第２入力画像にさらに平滑化フィルタを適用してもよい。

次に、推定背景領域抽出部２０１は、第２入力画像から、背景が写っていると推定される推定背景領域を抽出する（ステップＳ２０４）。

オーバーヘッドタイプのスキャナ装置を利用する利用者が、スキャナ装置の台座の近傍に原稿を載置する可能性は低く、スキャナ装置の台座の近傍には背景が写っている可能性が高い。そこで、推定背景領域抽出部２０１は、第２入力画像に含まれる画像読取装置１０の一部の近傍領域を背景領域として抽出する。近傍領域は、例えば第２入力画像に含まれる画像読取装置１０の一部から所定範囲内（例えば50mmに相当する距離内）に設定される。なお、第２入力画像に画像読取装置１０の一部が含まれる場合、第２入力画像において、その含まれる部分と同じ水平ライン上に原稿が写っている可能性はさらに低い。そこで、図６Ｂに示すように、推定背景領域抽出部２０１は、画像読取装置１０の一部６１３の水平方向の所定範囲内の領域６１４を推定背景領域として抽出してもよい。

なお、推定背景領域抽出部２０１は、第２入力画像において予め定められた原稿読取範囲６１５の外側の領域を推定背景領域として抽出してもよい。これにより、画像読取装置１０の一部が第２入力画像に含まれない場合でも、推定背景領域を抽出することができる。なお、画像読取装置１０の撮影範囲の内、画像読取装置１０の設置位置と対向する側の領域、即ち第２入力画像内の下側の領域には、利用者の手等が写り込む可能性が高い。そこで、推定背景領域抽出部２０１は、原稿読取範囲６１５の外側の領域の内、原稿読取範囲６１５の下側の領域については推定背景領域から除外してもよい。

原稿読取範囲６１５の外側の領域を推定背景領域として抽出する場合、利用者に、原稿を載置する机に原稿読取範囲を示すマットを敷いてから原稿を撮影させることにより、利用者に原稿読取範囲を認識させることができる。なお、画像読取装置１０が光照射部（不図示）から、原稿を載置する机に原稿読取範囲を示す光を照射させることにより、利用者に原稿読取範囲を認識させてもよい。これにより、推定背景領域として、確実に机の模様が写っている領域を抽出することができる。

また、推定背景領域抽出部２０１は、第２入力画像の四隅に位置する四つの領域６１６〜６１９に基づいて推定背景領域を抽出してもよい。その場合、推定背景領域抽出部２０１は、四つの領域６１６〜６１９の内の二つずつに対して、それぞれ正規化相互相関を算出する。推定背景領域抽出部２０１は、算出した正規化相互相関に基づいて、四つの領域６１６〜６１９の内の二以上の所定数（例えば三）の領域が相互に類似するか否かを判定する。推定背景領域抽出部２０１は、各領域が相互に類似する場合、相互に類似する領域を推定背景領域として抽出する。これにより、机の模様が写っていない領域を推定背景領域から除去することができる。

次に、閾値決定部２０２は、推定背景領域抽出部２０１が抽出した推定背景領域内の画素に基づいて、エッジ画素を抽出するための第１閾値を決定する（ステップＳ２０５）。閾値決定部２０２は、推定背景領域内の各画素の水平方向の両隣の画素の画素値の差の絶対値（以下、隣接差分値と称する）と、垂直方向の隣接差分値とを算出し、算出した隣接差分値のヒストグラムを生成する。

図７は、隣接差分値のヒストグラムの例を示す図である。図７の横軸は推定背景領域内の各画素の隣接差分値を示し、縦軸は分布値を示す。図７のヒストグラム７００には、相互に略同一の画素値を有する画素間の隣接差分値７０１と、机の模様の端部に位置する画素による隣接差分値７０２と、他の画素による隣接差分値７０３の近傍において分布値のピークが発生している。

閾値決定部２０２は、例えば大津の二値化方法により、第１閾値が、机の模様の端部に位置する画素による隣接差分値７０２と、他の画素による隣接差分値７０３の間の値となるように、第１閾値を決定する。この第１閾値を用いて、第２入力画像の各画素の隣接差分値を二値化することにより、机の模様の端部がエッジ画素として抽出されることを抑制することが可能となる。

なお、閾値決定部２０２は、隣接差分値のヒストグラムの内、隣接差分値の高い側から所定割合（例えば１％）に係る部分については除去してから、第１閾値を算出してもよい。これにより、利用者の手、原稿以外の物体等の異物が推定背景領域に含まれる場合でも、第１閾値を適切に算出することが可能となる。

また、推定背景領域抽出部２０１が推定背景領域を複数抽出し、閾値決定部２０２は、抽出された複数の推定背景領域のそれぞれについて閾値を算出し、算出した各閾値の中央値を第１閾値として用いてもよい。例えば、推定背景領域抽出部２０１は、原稿読取範囲６１５の外側の領域の内、上側の領域と、左側の領域と、右側の領域をそれぞれ推定背景領域として抽出する。これにより、第２入力画像の上端、左端又は右端の内の何れかに原稿又は異物が写っている場合でも、その部分による影響は除去されるので、第１閾値を適切に算出することが可能となる。

次に、選択部２０３は、原稿領域の検出方法として、第１閾値を用いて検出される第１エッジ画素に基づいて原稿領域を検出する第１処理を選択する（ステップＳ２０６）。次に、画像処理回路２７の各部は、第１処理に従って切出し領域決定処理を実施する（ステップＳ２０７）。切出し領域決定処理において、画像処理回路２７の各部は、第１入力画像から原稿の画像を切出す切出し領域を決定する。また、切出し領域決定処理において、原稿の領域として非矩形の領域が検出された場合、マスク生成部２１４は、検出された非矩形に基づいて、切出される画像から背景を分離するためのマスクを生成する。切出し領域決定処理の詳細については後述する。

次に、選択部２０３は、第１処理に基づく切出し領域決定処理において矩形が検出されたか否かを判定する（ステップＳ２０８）。

図８は、第１入力画像の他の例を示す模式図である。図８に示す第１入力画像８００では、本６０１が載置される机が大理石等で形成されており、模様８０２内のコントラストが大きく、机の模様の端部に位置する画素による隣接差分値と、原稿の端部に位置する画素による隣接差分値の差が小さい。したがって、第１閾値を用いて第２入力画像の各画素の隣接差分値を二値化した場合、原稿の端部をエッジ画素として抽出できない可能性がある。

選択部２０３は、第１処理に基づく切出し領域決定処理において矩形が検出されなかった場合、原稿領域の検出方法として、後述する膨張画像から検出される第２エッジ画素に基づいて原稿領域を検出する第２処理を選択する（ステップＳ２０９）。次に、画像処理回路２７の各部は、第２処理に従って切出し領域決定処理を実施する（ステップＳ２１０）。即ち、選択部２０３は、第１処理に基づく切出し領域決定処理において矩形が検出された場合、原稿領域を検出するために第１エッジ画素を用いることを選択し、矩形が検出されなかった場合、第２エッジ画素を用いることを選択している。

次に、切出し部２１６は、切出し領域決定処理において決定された切出し領域を第１入力画像から切出す（ステップＳ２１１）。なお、切出し部２１６は、切出し領域決定処理において原稿の領域として非矩形の領域が検出された場合、マスク生成部２１４が生成したマスクを使用して、切出した画像から背景を分離した、原稿のみを表す分離画像を抽出する。

次に、記憶制御部２１７は、切出した画像及び分離画像を第２画像メモリ２２に記憶し（ステップＳ２１２）、一連のステップを終了する。記憶制御部２１７は、切出した画像を、第２画像メモリ２２の内、不揮発性半導体メモリ等の、画像を長期的に記憶する記憶媒体に記憶し、分離画像を揮発性半導体メモリ等の、画像を一時的に記憶する記憶媒体に記憶する。なお、記憶制御部２１７は、切出した画像を第２記憶装置２５のハードディスク等に記憶し、分離画像をＲＡＭに記憶してもよい。第２画像メモリ２２又は第２記憶装置２５に記憶された画像は、入力装置２４を用いた利用者からの要求に従って、表示装置２３に表示される。

また、記憶制御部２１７は、切出した画像をファイルとして記憶し、一方、分離画像を例えばクリップボードに記憶することにより特定のアプリケーションで利用可能に記憶する。これにより、利用者は、文書編集ソフト、画像編集ソフト、表計算ソフト等において、貼付けコマンドのみを実行することにより、分離画像を利用することが可能となり、利用者の利便性を向上させることが可能となる。

なお、記憶制御部２１７は、矩形を検出した場合と非矩形を検出した場合とで切出した画像（及び分離画像）を保存するファイル形式を変更してもよい。例えば、記憶制御部２１７は、矩形を検出した場合、切出した画像をＪＰＥＧ（Joint Photographic Experts Group）形式で保存する。一方、記憶制御部２１７は、非矩形を検出した場合、切出した画像を透過ＰＮＧ（Portable Network Graphics）形式で保存する。これにより、情報処理装置２０は、形状に適した形式で画像を保存することが可能となり、利用者の利便性を向上させることが可能となる。

図９は、切出し領域決定処理の動作の例を示すフローチャートである。図９に示す動作のフローは、図５に示すフローチャートのステップＳ２０７及びＳ２１０において実行される。

最初に、画像処理回路２７の各部は、候補領域検出処理を実施する（ステップＳ３０１）。候補領域検出処理において、第１エッジ画素抽出部２０４又は第２エッジ画素抽出部２０７は、エッジ画素を抽出し、候補領域検出部２０８は、抽出されたエッジ画素のうち連結するエッジ画素によって囲まれる候補領域を検出する。候補領域検出処理の詳細については後述する。

次に、候補領域検出部２０８は、候補領域検出処理において候補領域を検出したか否かを判定する（ステップＳ３０２）。候補領域検出部２０８は、候補領域を全く検出していない場合、特に処理を行わず、一連のステップを終了し、一方、候補領域を検出している場合、処理をステップＳ３０３へ移行する。ステップＳ３０３〜Ｓ３０８の処理は、抽出された候補領域ごとに実施される。

次に、画像処理回路２７の各部は、候補領域について矩形検出処理を実施する（ステップＳ３０３）。矩形検出処理において、第１エッジ画素抽出部２０４又は第２エッジ画素抽出部２０７は、エッジ画素を抽出し、外側エッジ画素抽出部２０９は、エッジ画素のうち外側に位置する外側エッジ画素を抽出する。さらに、直線検出部２１０は、外側エッジ画素から複数の直線を検出し、矩形検出部２１１は、検出された複数の直線のうち二本ずつが略直交する四本の直線から構成される矩形を検出する。矩形検出処理の詳細については後述する。

次に、原稿領域検出部２１５は、矩形検出処理において、矩形検出部２１１により矩形が検出されたか否かを判定する（ステップＳ３０４）。原稿領域検出部２１５は、矩形検出部２１１により矩形が検出された場合、その検出された矩形を原稿領域に決定し、第１入力画像から原稿の画像を切出す切出し領域に決定する（ステップＳ３０５）。

一方、画像処理回路２７の各部は、矩形検出部２１１により矩形が検出されなかった場合、候補領域について非矩形検出処理を実施する（ステップＳ３０６）。非矩形検出処理において、第１エッジ画素抽出部２０４又は第２エッジ画素抽出部２０７は、エッジ画素を抽出し、外周エッジ画素抽出部２１２は、抽出されたエッジ画素のうち連結するエッジ画素の外周を構成する外周エッジ画素を抽出する。さらに、非矩形検出部２１３は、外周エッジ画素で囲まれる非矩形を検出する。非矩形検出処理の詳細については後述する。

次に、原稿領域検出部２１５は、非矩形検出処理において検出された非矩形を含む領域を原稿領域に決定し、第１入力画像から原稿の画像を切出す切出し領域に決定する（ステップＳ３０７）。原稿領域検出部２１５は、検出された非矩形の外接矩形を切出し領域に決定する。なお、原稿領域検出部２１５は、検出された非矩形自体を切出し領域に決定してもよい。

このように、原稿領域検出部２１５は、第１エッジ画素又は第２エッジ画素から原稿領域を検出する。

次に、画像処理回路２７は、全ての候補領域について処理したか否かを判定する（ステップＳ３０８）。画像処理回路２７は、まだ処理していない候補領域がある場合は処理をステップＳ３０３に戻して、ステップＳ３０３〜Ｓ３０８の処理を繰り返し、全ての候補領域について処理した場合は一連のステップを終了する。

図１０は、候補領域検出処理の動作の例を示すフローチャートである。図１０に示す動作のフローは、図９に示すフローチャートのステップＳ３０１において実行される。

最初に、画像処理回路２７は、選択部２０３により、第１処理又は第２処理の内の何れが選択されているかを判定する（ステップＳ４０１）。

第１処理が選択されている場合、第１エッジ画素抽出部２０４は、第１閾値を用いて第２入力画像から水平方向及び垂直方向における第１エッジ画素を抽出する。第１エッジ画素抽出部２０４は、第２入力画像の水平方向及び垂直方向の何れかにおいて第１エッジ画素として抽出された画素からなる画像を第１エッジ画像として生成し、第２画像メモリ２２に保存する（ステップＳ４０２）。

第１エッジ画素抽出部２０４は、第２入力画像の各画素の水平方向の隣接差分値を算出し、隣接差分値が第１閾値を越える場合、その画像上の画素を垂直エッジ画素とする。また、第１エッジ画素抽出部２０４は、各画像について垂直方向にも同様の処理を行い、水平エッジ画素を抽出する。

図１１Ａ〜図１１Ｅは、候補領域検出処理における各画像について説明するための模式図である。図１１Ａに示す画像１１００は、図６Ｂの第２入力画像６１０から生成された第１エッジ画像１１００の例である。第１エッジ画像１１００では、第２入力画像６１０に含まれる本６１２の端部及びコンテンツの位置においてエッジ画素１１０１が検出されているが、机の模様６１１の位置においてはエッジ画素が検出されていない。

なお、第１エッジ画素抽出部２０４は、抽出した垂直エッジ画素及び水平エッジ画素をそれぞれラベリングによりグループ化し、水平方向の大きさ又は垂直方向の大きさが閾値Th2以下となるグループに含まれる第１エッジ画素を除去してもよい。閾値Th2は、原稿の載置面の汚れとして想定される値（例えば3mmに相当する値）に設定される。また、第１エッジ画素抽出部２０４は、各グループの面積もしくは各グループの外接矩形の面積が閾値以下である場合にそのグループに含まれる第１エッジ画素を除去してもよい。これらにより、原稿の載置面の汚れにより生じたエッジ画素を除去することができる。

第１エッジ画素抽出部２０４は、第２入力画像において垂直エッジ画素又は水平エッジ画素として抽出された画素からなる画像を第１エッジ画像として生成する。なお、第１エッジ画素抽出部２０４は、生成した第１エッジ画像に対して膨張・収縮処理を実施してもよい。これにより、第２入力画像において連結している部分の一部が第１エッジ画素として抽出されない場合でも、第１エッジ画像においてその部分を連結させることができる。

一方、第２処理が選択されている場合、膨張用エッジ画素抽出部２０５は、第２閾値を用いて第２入力画像から水平方向及び垂直方向における膨張用エッジ画素を抽出する。膨張用エッジ画素抽出部２０５は、第２入力画像の水平方向及び垂直方向の何れかにおいて膨張用エッジ画素として抽出された画素からなる膨張用エッジ画像を生成する（ステップＳ４０３）。

膨張用エッジ画素抽出部２０５は、第２入力画像の各画素の水平方向の隣接差分値を算出し、隣接差分値が第２閾値を越える場合、その画像上の画素を垂直エッジ画素とする。また、膨張用エッジ画素抽出部２０５は、各画像について垂直方向にも同様の処理を行い、水平エッジ画素を抽出する。なお、第２閾値は、膨張用エッジ画素がより多く抽出されるように、第１閾値より低い値に設定される。

図１１Ｂに示す画像１１１０は、図８の第１入力画像８００から生成された膨張用エッジ画像の例である。膨張用エッジ画像１１１０では、第１入力画像８００に含まれる本８０１の端部及びコンテンツの位置においてエッジ画素１１１１が検出され、さらに机の模様８０２の位置においてエッジ画素１１１２が検出されている。

次に、膨張画像生成部２０６は、推定背景領域内の画素に基づいて、後述する膨張画像を生成するための膨張係数を決定する（ステップＳ４０４）。膨張画像は、背景におけるエッジ画素を膨張させ、相互に近傍に位置するエッジ画素同士を結合させることにより、エッジ画素を埋没させるために用いられる。膨張画像生成部２０６は、推定背景領域内の全画素数に対する膨張用エッジ画素数の比率が小さいほど膨張係数が大きくなり、その比率が大きいほど膨張係数が小さくなるように膨張係数を決定する。これにより、膨張画像において、相互に近傍に位置するエッジ画素同士を適切に結合させることが可能となる。

なお、膨張画像生成部２０６は、膨張係数に基づいて生成される膨張画像から抽出される第２エッジ画素の数が所定数（例えば全画素数の１０％）以下となるように膨張係数を決定してもよい。その場合、膨張画像生成部２０６は、膨張係数を１から順にインクリメントしながら、後述するステップＳ４０５、Ｓ４０６の処理を、膨張画像から抽出される第２エッジ画素の数が所定数以下になるまで繰り返す。これにより、膨張画像において、縞模様における相互に隣接する筋に対応する画素同士をより確実に結合させることが可能となる。また、膨張画像生成部２０６は、予め定められた数（例えば５）を膨張係数として用いてもよい。

次に、膨張画像生成部２０６は、決定した膨張係数に基づいて、膨張用エッジ画素を膨張させることにより膨張画像を生成する（ステップＳ４０５）。膨張画像生成部２０６は、膨張用エッジ画素として抽出された画素からなる画像内の各画素について、その画素から膨張係数の範囲内に膨張用エッジ画素が含まれる場合、その画素を膨張用エッジ画素に置換することにより、膨張画像を生成する。

図１１Ｃに示す画像１１２０は、図１１Ｂの画像１１１０から生成された膨張画像の例である。膨張画像１１２０では、机の模様８０２から検出された各エッジ画素１１１２が膨張し、結合している。

次に、第２エッジ画素抽出部２０７は、膨張画像から水平方向及び垂直方向における第２エッジ画素を抽出する。第２エッジ画素抽出部２０７は、膨張画像の水平方向及び垂直方向の何れかにおいて第２エッジ画素として抽出された画素からなる画像を第１エッジ画像として生成する（ステップＳ４０６）。

膨張画像は、膨張用エッジ画素又は非膨張用エッジ画素の二種類の画素から構成されており、各画素の画素値は二値を有する。第２エッジ画素抽出部２０７は、膨張画像の各画素の水平方向の隣接差分値を算出し、隣接差分値が０でない場合、その画像上の画素を垂直エッジ画素とする。また、第２エッジ画素抽出部２０７は、各画像について垂直方向にも同様の処理を行い、水平エッジ画素を抽出する。

図１１Ｄに示す画像１１３０は、図１１Ｃの膨張画像１１２０から生成された第１エッジ画像の例である。第１エッジ画像１１３０では、図１１Ａに示す第１エッジ画像１１００と同様に、本の端部及びコンテンツの位置においてエッジ画素１１３１が検出されているが、机の模様の位置においてはエッジ画素が検出されていない。

次に、候補領域検出部２０８は、第１エッジ画像について、各エッジ画素（即ち、第１エッジ画素又は第２エッジ画素）が他のエッジ画素と連結しているか否かを判定し、連結しているエッジ画素を一つのグループとしてラベリングする（ステップＳ４０７）。候補領域検出部２０８は、水平方向、垂直方向又は斜め方向（８近傍）に相互に隣接するエッジ画素を連結していると判定する。なお、第１エッジ画素抽出部２０４は、水平方向又は垂直方向のみ（４近傍）に相互に隣接するエッジ画素を連結していると判定してもよい。

次に、候補領域検出部２０８は、各グループの水平方向及び垂直方向の両方の大きさが閾値Th3以下か否かを判定する。候補領域検出部２０８は、水平方向及び垂直方向の両方の大きさが閾値Th3以下となるグループに含まれるエッジ画素を第１エッジ画像から除去する（ステップＳ４０８）。閾値Th3は、情報処理装置４０が検出を保証する原稿の最小サイズ（例えば1inchに相当する値）に設定される。なお、候補領域検出部２０８は、各グループの水平方向及び垂直方向の何れかの大きさが閾値Th3以下である場合、又は各グループの面積もしくは各グループの外接矩形の面積が閾値以下である場合にエッジ画素を除去してもよい。外接矩形の面積と比較する閾値は、例えば1inch四方に相当する値とすることができる。

次に、候補領域検出部２０８は、各グループが他のグループに包含されるか否かを判定し、他のグループに包含されるグループに含まれるエッジ画素をエッジ画像から除去する（ステップＳ４０９）。

図１１Ｅに示す画像１１４０は、所定の大きさ以下となるグループに含まれるエッジ画素、及び他のグループに包含されるグループに含まれるエッジ画素を除去したエッジ画像の例である。画像１１４０では、所定の大きさ以下となるグループに含まれるエッジ画素として画像読取装置１０の一部によるエッジ画素が除去され、他のグループに包含されるグループに含まれるエッジ画素として原稿内のコンテンツによるエッジ画素が除去されている。

次に、候補領域検出部２０８は、除去されずに残った各グループについて、そのグループに含まれるエッジ画素によって囲まれる領域を検出し、検出した領域に対応する第１入力画像内の領域を候補領域として検出する。候補領域検出部２０８は、第１入力画像内の候補領域の外接矩形を第２画像メモリ２２に保存し（ステップＳ４１０）、一連のステップを終了する。

図１１Ｅに示す画像１１４０では、連結するエッジ画素によって囲まれる領域は、その連結するエッジ画素のグループの最も外側の外周１１４１及びその内側の領域である。その領域にはエッジ画素だけでなく、外周１１４１の内側に存在する全ての画素１１４２が含まれる。

なお、連結するエッジ画素によって囲まれる領域を、連結するエッジ画素のグループの最も外側の外周を含まない領域としてもよい。または、連結するエッジ画素によって囲まれる領域を、連結するエッジ画素のグループの最も外側の外周及びその内側の領域を所定画素分だけ膨張又は収縮させた領域としてもよい。また、連結するエッジ画素について、上記したようにエッジ画像に対して膨張・収縮処理を実施することにより、相互に隣接するエッジ画素だけでなく、相互に所定距離内に位置するエッジ画素とその間に位置する画素を含めてもよい。また、連結するエッジ画素の両端に位置するエッジ画素が、所定距離内にある場合は、両端のエッジ画素の間に位置する画素を連結するエッジ画素に含めてもよい。この所定距離は、例えば連結するエッジ画素の長さに所定比率（例えば80%）を乗じた長さとすることができる。これにより、例えばエッジ画素がＵ字型に連結している場合に、両端のエッジ画素を連結させて囲まれた領域を形成させることができる。

図１２は、矩形検出処理の動作の例を示すフローチャートである。図１２に示す動作のフローは、図９に示すフローチャートのステップＳ３０３において実行される。

ステップＳ５０１〜Ｓ５０６において、画像処理回路２７の各部は、図１０のステップＳ４０１〜Ｓ４０６と同様にして、第１エッジ画素又は第２エッジ画素を抽出し、抽出した画素からなる画像を第２エッジ画像として生成する。但し、画像処理回路２７の各部は、候補領域内において第１エッジ画素又は第２エッジ画素を抽出する。

なお、画像処理回路２７は、候補領域内の画素に基づいて閾値を算出し、算出した閾値を第１閾値の代わりに用いてエッジ画素を抽出し、抽出した画素からなる画像を第２エッジ画像として生成してもよい。その場合、画像処理回路２７は、候補領域内の各画素の水平方向の隣接差分値と、垂直方向の隣接差分値とを算出し、算出した隣接差分値のヒストグラムを生成する。そして、画像処理回路２７は、例えば大津の二値化方法により閾値を決定し、決定した閾値を用いて、第２入力画像の各画素の隣接差分値を二値化することによりエッジ画素を抽出する。

また、画像処理回路２７は、他の方法により垂直エッジ画素及び水平エッジ画素を抽出してもよい。例えば、画像処理回路２７は、第１入力画像からそれぞれ異なる間引き率で画素を間引いた複数の間引き画像を生成し、第１入力画像及び各間引き画像からそれぞれ垂直エッジ画素を抽出して垂直エッジ画素からなるエッジ画像を生成する。画像処理回路２７は、最も小さい間引き画像から生成したエッジ画像をその次に小さい間引き画像から生成したエッジ画像と同一の解像度に拡大し、同一の解像度にした二つのエッジ画像において同一の位置に存在する垂直エッジ画素からなる画像を生成する。画像処理回路２７は、生成した画像と、その次に小さい間引き画像から生成したエッジ画像に対して同様の処理を繰り返し、最終的に、第１入力画像から生成したエッジ画像の垂直エッジ画素と同一の位置に存在する垂直エッジ画素を抽出する。また、画像処理回路２７は、同様の処理により水平エッジ画素を抽出する。これにより、ノイズを低減しつつ、垂直エッジ画素及び水平エッジ画素を抽出することができる。

なお、画像処理回路２７の各部は、生成した第２エッジ画像に対して膨張・収縮処理を実施しない。これにより、第２エッジ画像では、机の模様、ノイズ等が誤って連結されることが防止される。

次に、外側エッジ画素抽出部２０９は、候補領域の端部が第１入力画像の端部と近接しているか否かを判定する（ステップＳ５０７）。外側エッジ画素抽出部２０９は、候補領域の左端、右端、上端及び下端の何れかが、第１入力画像の左端、右端、上端又は下端から所定距離内にある場合、近接していると判定し、所定距離内にない場合、近接していないと判定する。所定距離は、候補領域に写っている物が第１入力画像の端部と交わっているにも関わらずエッジ画素が抽出されない可能性のある第１入力画像の端部からの最大距離に定められ、例えば１０ｍｍに相当する距離に定められる。

なお、外側エッジ画素抽出部２０９は、候補領域が、第１入力画像内において予め定められた原稿読取範囲に納まらずにはみ出している場合に候補領域の端部が第１入力画像の端部と近接していると判定し、納まっている場合に近接していないと判定してもよい。

外側エッジ画素抽出部２０９は、候補領域の端部が第１入力画像の端部と近接していない場合、抽出したエッジ画素のうち外側に位置する外側エッジ画素を抽出する。外側エッジ画素抽出部２０９は、外側エッジ画素として抽出された画素からなる画像を第３エッジ画像として生成する（ステップＳ５０８）。

図１３Ａ、図１３Ｂは、外側エッジ画素の抽出処理について説明するための模式図である。図１３Ａに示す画像１３００は第２エッジ画像の例である。図１３Ａに示すように、外側エッジ画素抽出部２０９は、第２エッジ画像１３００の各水平ラインを矢印１３０１のように左端側から右端側に向かって走査し、最初に検出したエッジ画素１３０２を外側エッジ画素として抽出する。同様に、外側エッジ画素抽出部２０９は、第２エッジ画像１３００の各水平ラインを右端側から左端側に向かって走査し、最初に検出したエッジ画素１３０３も外側エッジ画素として抽出する。同様に、外側エッジ画素抽出部２０９は、第２エッジ画像１３００の各垂直ラインを上端側から下端側、及び下端側から上端側に向かってそれぞれ走査し、最初に検出したエッジ画素１３０４、１３０５も外側エッジ画素として抽出する。即ち、外側エッジ画素抽出部２０９は、候補領域内の各水平ラインにおいて最も左端側及び右端側にそれぞれ位置するエッジ画素、及び候補領域内の各垂直ラインにおいて最も上端側及び下端側にそれぞれ位置するエッジ画素を外側エッジ画素として抽出する。

図１３Ｂに示す画像１３１０は、抽出された外側エッジ画素の例である。図１３Ｂに示すように、外側エッジ画素１３１１は、図１３Ａの第２エッジ画像１３００から検出されたエッジ画素１３０２〜１３０５から構成される。

一方、外側エッジ画素抽出部２０９は、候補領域の端部が第１入力画像の端部と近接している場合、候補領域内の全てのエッジ画素からなる画像を第３エッジ画像として生成する（ステップＳ５０９）。この場合、後述する矩形処理において、矩形検出部２１１は、候補領域内の全てのエッジ画素から矩形を検出する。

図１４Ａ、図１４Ｂは、候補領域の端部が第１入力画像の端部と近接している例について説明するための模式図である。図１４Ａに示す画像１４００は、原稿１４０１が利用者の手１４０２及び１４０３によりおさえられている状態を示す。この例では、利用者の手１４０２及び１４０３によるエッジ画素は、原稿読取範囲１４０４に納まらずにはみ出し、第１入力画像の端部にまで位置している。図１４Ｂに示す画像１４１０は、図１４Ａに示す画像１４００から抽出される外側エッジ画素の例である。図１４Ｂに示すように、利用者の手１４０２及び１４０３より内側に位置する原稿の端部１４０５及び１４０６は、外側エッジ画素１４１１として抽出されない。このような場合、候補領域内の全てのエッジ画素からなる画像を第３エッジ画像として生成することにより、原稿の端部が抽出されなくなることを防止することができる。

これにより、原稿が載置されている机の模様等のエッジ強度が高い場合にも同様に、原稿の端部から検出されたエッジ画素と机の模様から検出されたエッジ画素とが繋がってしまい、原稿の端部が抽出されなくなることを防止することができる。

なお、外側エッジ画素抽出部２０９は、候補領域の端部が第１入力画像の端部と近接している場合、候補領域内の一部のエッジ画素を第３エッジ画像から除去してもよい。例えば、外側エッジ画素抽出部２０９は、候補領域の端部が第１入力画像の水平方向の端部と近接している場合、候補領域内で垂直方向の直線を検出し、候補領域の端部が第１入力画像の垂直方向の端部と近接している場合、候補領域内で水平方向の直線を検出する。外側エッジ画素抽出部２０９は、最も外側に検出された二つの直線の間にあるエッジ画素を第３エッジ画像から除去する。これにより、原稿内のコンテンツ等を原稿の端部の検出対象から除去することができ、原稿の端部の検出精度を向上させることができる。

次に、直線検出部２１０は、第３エッジ画像から複数の直線を検出する（ステップＳ５１０）。直線検出部２１０は、ハフ変換を用いて直線を検出する。なお、直線検出部２１０は、最小二乗法を用いて直線を検出してもよい。または、直線検出部２１０は、ハフ変換を用いて検出した直線から所定距離内にあるエッジ画素に対して最小二乗法を用いて直線を検出してもよい。この所定距離は、画像処理システム１が使用される環境等に応じて適宜定められ、例えば2mmに相当する距離に設定される。

次に、直線検出部２１０は、第３エッジ画像から近似直線を検出する（ステップＳ５１１）。

図１５Ａ及び図１５Ｂは、近似直線について説明するための模式図である。図１５Ａに示すような書籍原稿を撮影した第１入力画像１５００において、書籍原稿の綴じ目部１５０１に対して平行な端部１５０２は直線として検出される。しかしながら、綴じ目部１５０１に対して直交する端部１５０３は綴じ目部１５０１の近傍で歪みが生じ、直線として検出されない場合がある。

そこで、直線検出部２１０は、図１５Ｂのエッジ画像１５１０に示すように、相互に隣接するエッジ画素１５１１をラベリングにより一つのグループ１５１２としてまとめる。直線検出部２１０は、そのグループ１５１２に含まれるエッジ画素のうち、水平方向又は垂直方向における両端に位置するエッジ画素１５１３及びエッジ画素１５１４を結んだ直線１５１５を近似直線として検出する。

次に、矩形検出部２１１は、直線検出部２１０が検出した直線又は近似直線からなる矩形を検出し（ステップＳ５１２）、一連のステップを終了する。このように、矩形検出部２１１は、第１エッジ画素又は第２エッジ画素から矩形を検出する。

矩形検出部２１１は、直線検出部２１０が検出した複数の直線又は近似直線のうち二本ずつが略直交する四本の直線から構成される複数の矩形候補を抽出する。矩形検出部２１１は、まず水平方向の直線（以下、第１の水平線と称する）を一つ選択し、選択した直線と略平行（例えば±3°以内）かつ閾値Th4以上離れた水平方向の直線（以下、第２の水平線と称する）を抽出する。次に、矩形検出部２１１は、第１の水平線と略直交する（例えば90°に対して±3°以内）垂直方向の直線（以下、第１の垂直線と称する）を抽出する。次に、矩形検出部２１１は、第１の水平線と略直交し、かつ第１の垂直線と閾値Th5以上離れた垂直方向の直線（以下、第２の垂直線と称する）を抽出する。なお、閾値Th4及び閾値Th5は、画像読取装置１０の読取りの対象となる原稿のサイズに応じて予め定められ、同じ値としてもよい。

矩形検出部２１１は、直線検出部２１０が検出した全ての直線又は近似直線について、上記の条件を満たす第１の水平線、第２の水平線、第１の垂直線及び第２の垂直線の全ての組合せを抽出し、抽出した各組合せから構成される矩形を矩形候補として抽出する。矩形検出部２１１は、抽出した矩形候補について面積を算出し、面積が所定値未満である矩形候補を除去する。矩形検出部２１１は、残った矩形候補の中で最も面積が大きい矩形候補を矩形として検出する。一方、矩形検出部２１１は、矩形候補が一つも残らなかった場合、矩形を検出しない。

なお、矩形検出部２１１は、各矩形候補について、矩形候補の各辺から所定距離（例えば2mmに相当する距離）内にある全ての画素の数に対する所定距離内にあるエッジ画素の数の割合を算出し、矩形候補の面積にその割合を乗じて重み付けしてもよい。これにより、原稿の境界を明確に表している直線から構成される矩形を検出することができる。または、矩形検出部２１１は、各矩形候補について、矩形候補の各角の角らしさの度合いを表す評価点を算出し、評価点を用いて矩形候補の面積を重み付けしてもよい。

図１６は、矩形候補の各角の評価点について説明するための模式図である。図１６に示す画像１６００において、点１６０１は矩形候補の角を表し、直線１６０２、１６０３は矩形候補の各辺を表す。この直線１６０２、１６０３の端部が相互に接している場合は、点１６０１は矩形の角らしいと考えられるが、直線１６０２、１６０３の端部が接していない場合又は直線１６０２、１６０３が交差している場合は、点１６０１は矩形の角らしくないと考えられる。

評価点は０点を基準とする。そして、角１６０１の近傍における辺１６０２から所定距離内の領域１６０４において、水平方向のライン毎にエッジ画素が存在するか否かを判定し、水平方向のラインにエッジ画素が存在する場合、評価点に１点を加算する。なお、各角の近傍の範囲及び各辺からの所定距離は、画像処理システム１が使用される環境等に応じて適宜定められ、例えば各角から5mmに相当する距離内の範囲及び各辺から2mmに相当する距離に設定することができる。同様に、角１６０１の近傍における辺１６０３から所定距離内の領域１６０５において、垂直方向のライン毎にエッジ画素が存在するか否かを判定し、垂直方向のラインにエッジ画素が存在する場合、評価点に１点を加算する。また、角１６０１の近傍における辺１６０２の延長線から所定距離内の領域１６０６において、水平方向のライン毎にエッジ画素が存在するか否かを判定し、水平方向のラインにエッジ画素が存在する場合、評価点から１点を減算する。同様に、角１６０１の近傍における辺１６０３の延長線から所定距離内の領域１６０７において、垂直方向のライン毎にエッジ画素が存在するか否かを判定し、垂直方向のラインにエッジ画素が存在する場合、評価点から１点を減算する。矩形検出部２１１は、評価点の取り得る最低値が０、取り得る最高値が１となるように評価点を正規化した値を算出し、矩形候補の面積にその値を乗じて重み付けすることにより、四つの角を明確に表している矩形を検出することができる。

図１７Ａ〜図１７Ｃは、非矩形の画像について矩形検出処理を実行した場合について説明するための模式図である。図１７Ａに示す画像１７００は、矩形状の模様１７０２を有する、うちわ形状の物１７０１を撮像した第１入力画像の例である。図１７Ｂに示す画像１７１０は、第１入力画像１７００から生成された第３エッジ画像の例である。図１７Ｂに示すように、第３エッジ画像１７１０は、外側エッジ画素１７１１から構成され、第３エッジ画像１７１０において矩形状の模様１７０２は抽出されない。図１７Ｃに示す画像１７２０は、第３エッジ画像１７１０から抽出された直線の例である。図１７Ｃに示すように、第３エッジ画像１７１０から、うちわ形状の柄の部分１７２１〜１７２３が直線として検出される。しかしながら、図１７Ａ〜図１７Ｃに示す例では、二本ずつが略直交する四本の直線から構成される矩形は検出されない。

図１８は、非矩形検出処理の動作の例を示すフローチャートである。図１８に示す動作のフローは、図９に示すフローチャートのステップＳ３０６において実行される。

ステップＳ６０１〜Ｓ６０６において、画像処理回路２７の各部は、図１０のステップＳ４０１〜Ｓ４０６又は図１２のステップＳ５０１〜Ｓ５０６と同様にして、第１エッジ画素又は第２エッジ画素を抽出する。画像処理回路２７の各部は、抽出した画素からなる画像を第４エッジ画像として生成する。但し、画像処理回路２７の各部は、候補領域内において、水平方向、垂直方向及び斜め方向に第１エッジ画素又は第２エッジ画素を抽出する。

第１エッジ画素抽出部２０４、膨張用エッジ画素抽出部２０５及び第２エッジ画素抽出部２０７は、各画像の各画素について、上から下へ向かう垂直方向、左から右へ向かう水平方向、左下から右上へ向かう斜め方向、及び右下から左上へ向かう斜め方向の隣接差分値をそれぞれ算出する。第１エッジ画素抽出部２０４、膨張用エッジ画素抽出部２０５及び第２エッジ画素抽出部２０７は、算出した何れかの隣接差分値の絶対値が第１閾値を越える場合、その画像上の画素をエッジ画素とする。

なお、画像処理回路２７は、候補領域内の画素に基づいて閾値を算出し、算出した閾値を第１閾値の代わりに用いてエッジ画素を抽出し、抽出した画素からなる画像を第４エッジ画像として生成してもよい。その場合、画像処理回路２７は、候補領域内の各画素の水平方向の隣接差分値と、垂直方向の隣接差分値と、斜め方向の隣接差分値とを算出し、算出した隣接差分値のヒストグラムを生成する。そして、画像処理回路２７は、例えば大津の二値化方法により閾値を決定し、決定した閾値を用いて、第２入力画像の各画素の隣接差分値を二値化することによりエッジ画素を抽出する。

次に、第１エッジ画素抽出部２０４又は第２エッジ画素抽出部２０７は、抽出したエッジ画素をラベリングによりグループ化する。第１エッジ画素抽出部２０４又は第２エッジ画素抽出部２０７は、大きさが閾値Th2以下となるグループに含まれるエッジ画素を除去する（ステップＳ６０７）。これにより、第４エッジ画像に含まれるノイズ成分を除去することができる。

次に、第１エッジ画素抽出部２０４又は第２エッジ画素抽出部２０７は、生成した第４エッジ画像において、エッジ画素を膨張させた第２膨張画像を生成する（ステップＳ６０８）。これにより、第２入力画像において、連結している部分の一部がエッジ画素として抽出されない場合でも、第２膨張画像においてその部分を連結させることができる。

次に、外周エッジ画素抽出部２１２は、第２膨張画像に対して、エッジ画素以外の画素（非エッジ画素）についてラベリング処理を実行し、第２膨張画像の端部と連結しているグループを抽出する（ステップＳ６０９）。

図１９Ａ、図１９Ｂは、非矩形検出処理における各画像について説明するための模式図である。図１９Ａに示す画像１９００のように、第２膨張画像の端部と連結しているグループ１９０２は、原稿１９０１の外周の外側に位置する非エッジ画素のグループとなる。

次に、外周エッジ画素抽出部２１２は、抽出したグループに含まれる画素を無効画素とし、他の画素を有効画素とする画像を生成する（ステップＳ６１０）。

図１９Ｂに示す画像１９１０は、ステップＳ６１０で生成される画像の例である。画像１９１０では、抽出したグループに含まれる画素１９１２が無効画素となり、他の画素１９１１が有効画素となる。

次に、外周エッジ画素抽出部２１２は、生成した画像において、有効画素を収縮させた収縮画像を生成する（ステップＳ６１１）。この収縮処理は、ステップＳ６０８で膨張させたエッジ画素を元のサイズに戻すために実行される。従って、非矩形検出部２１３は、ステップＳ６０８でエッジ画素を膨張させた膨張度合いと同じ度合いだけ非矩形を収縮させる。なお、非矩形検出部２１３は、ステップＳ６０８でエッジ画素を膨張させた膨張度合いより大きい度合いで非矩形を収縮させてもよい。その場合、原稿が載置されている机の模様等のエッジ強度が高い場合に、机の模様等により検出されたエッジ画素を有効画素から除去することができる。

次に、外周エッジ画素抽出部２１２は、収縮画像の有効画素の外周を構成するエッジ画素を外周エッジ画素として抽出する（ステップＳ６１２）。

図１９Ｂに示すように、有効画素１９１１の外周を構成する外周エッジ画素１９１３は、連結するエッジ画素の外周を構成するエッジ画素となる。

次に、非矩形検出部２１３は、抽出された外周エッジ画素で囲まれる非矩形を検出する（ステップＳ６１３）。非矩形検出部２１３は、非矩形を複数検出した場合、最も面積が大きい非矩形のみを、検出した非矩形として選択する。これにより、机の模様等により発生するノイズを除去することができる。

次に、マスク生成部２１４は、検出された非矩形に基づいて、切出される画像から背景を分離するためのマスクを生成する（ステップＳ６１４）。マスクは、水平及び垂直方向のそれぞれにおいて、切出し画像と同数の画素を有し、且つ、検出された非矩形に対応する画素を有効画素とし、他の画素を無効画素とする画像で構成される。情報処理装置２０は、マスクを用いて、切出される画像から、マスク内の有効画素の位置に対応する画素のみを抽出することにより、分離画像を抽出することができる。

なお、画像処理回路２７は、図９のステップＳ３０１に示した候補領域検出処理を省略し、第１入力画像全体に対して、矩形検出処理及び非矩形検出処理を実行してもよい。その場合でも、情報処理装置２０は、原稿の画像を切出すべき領域を適切に決定することができる。

また、画像処理回路２７は、候補領域を検出するためのエッジ画素と、矩形を検出するためのエッジ画素と、非矩形を検出するためのエッジ画素とを別個に検出せずに、候補領域を検出するためのエッジ画素を用いて矩形又は非矩形を検出してもよい。その場合、情報処理装置２０は、エッジ画素の検出処理による処理負荷を低減し、処理の高速化を図ることができる。

また、画像処理回路２７は、図９のステップＳ３０６に示した非矩形検出処理を省略し、矩形が検出されなかった場合、候補領域を非矩形として用いてもよい。その場合、外周エッジ画素抽出部２１２は、候補領域の外周を構成するエッジ画素を外周エッジ画素として抽出し、非矩形検出部２１３は、候補領域を非矩形として検出する。

以上詳述したように、図５、図９、図１０、図１２、図１８に示したフローチャートに従って動作することによって、情報処理装置２０は、原稿の画像を切出すべき領域を適切に決定することが可能となった。特に、情報処理装置２０は、入力画像が複雑な背景又はコントラストの大きい背景を有する場合でも、原稿の領域を精度良く検出することが可能となった。

また、情報処理装置２０は、入力画像に応じて、背景に対応して検出されるエッジ画素の数を減少させる第１処理と、逆に、背景に対応して検出されるエッジ画素の数を増大させてエッジ画素を埋没させる第２処理とを切り替える。これにより、情報処理装置２０は、原稿の端部におけるコントラストと背景の模様によるコントラストの差が大きい入力画像に対しては第１処理で、その差が小さい入力画像に対しては第２処理で、それぞれ原稿領域を適切に検出することが可能となった。

また、情報処理装置２０は、撮影対象物が立体物、手、写真の切抜き等の非矩形の形状を有する場合でも、精度良く撮影対象物の輪郭線を検出し、背景を削除することが可能となった。

また、情報処理装置２０は、矩形を検出するためのエッジ画素として垂直及び水平エッジ画素のみを使用し、非矩形を検出するためのエッジ画素として斜めエッジ画素も使用する。これにより、情報処理装置２０は、エッジが多少欠落しても検出可能な直線で構成される矩形を検出するときは背景等によるノイズの影響を低減させつつ、エッジが欠落すると検出することが困難な曲線を有する非矩形を検出するときはエッジの欠落を防止できる。

図２０は、原稿切出し処理の動作の他の例を示すフローチャートである。このフローチャートは、情報処理装置２０において、前述した図５に示すフローチャートの代りに実行することが可能である。図２０に示すフローチャートでは、図５に示すフローチャートと異なり、選択部２０３は、第１閾値が所定値以上であるか否かによって、第１処理と第２処理の何れを選択するかを切り替える。図２０に示すステップＳ７０１〜Ｓ７０５、Ｓ７１０〜Ｓ７１１の処理は、図５に示すステップＳ２０１〜Ｓ２０５、Ｓ２１１〜Ｓ２１２の処理と同じであるため、説明を省略し、以下では、ステップＳ７０６〜Ｓ７０９の処理についてのみ説明する。

ステップＳ７０５において閾値決定部２０２が第１閾値を決定すると、選択部２０３は、決定された第１閾値が所定値以上であるか否かを判定する（ステップＳ７０６）。選択部２０３は、第１閾値が所定値未満である場合、原稿領域の検出方法として第１処理を選択し（ステップＳ７０７）、第１閾値が所定値以上である場合、原稿領域の検出方法として第２処理を選択する（ステップＳ７０８）。所定値は、例えば白色の原稿を白色の机に載置した際にその原稿の端部において算出される隣接差分値に定められる。なお、情報処理装置２０は、第１入力画像全体の各画素の水平及び垂直方向の隣接差分値のヒストグラムから大津の二値化方法により閾値を決定し、決定した閾値を所定値として用いてもよい。

次に、画像処理回路２７の各部は、選択部２０３が決定した処理に従って切出し領域決定処理を実施する（ステップＳ７０９）。即ち、選択部２０３は、第１閾値が所定値未満である場合、原稿領域を検出するために第１エッジ画素を用いることを選択し、第１閾値が所定値以上である場合、第２エッジ画素を用いることを選択する。

以上詳述したように、図２０、図９、図１０、図１２、図１８に示したフローチャートに従って動作することによって、情報処理装置２０は、背景の模様によるコントラストが低い場合、背景に対応して検出されるエッジ画素の数を減少させる第１処理を実行する。逆に、情報処理装置２０は、背景の模様によるコントラストが高い場合には、背景に対応して検出されるエッジ画素の数を増大させて、そのエッジ画素を埋没させる第２処理を実行する。したがって、情報処理装置２０は、入力画像から背景を適切に除去することが可能となった。

図２１は、原稿切出し処理の動作のさらに他の例を示すフローチャートである。このフローチャートは、情報処理装置２０において、前述した図５に示すフローチャートの代りに実行することが可能である。図２１に示すフローチャートでは、図５に示すフローチャートと異なり、原稿領域検出部２１５は、第１エッジ画素及び第２エッジ画素の両方から原稿領域を検出する。図２１に示すステップＳ８０１〜Ｓ８０５、Ｓ８０７〜Ｓ８０８の処理は、図５に示すステップＳ２０１〜Ｓ２０５、Ｓ２１１〜Ｓ２１２の処理と同じであるため、説明を省略し、以下では、ステップＳ８０６の処理についてのみ説明する。

ステップＳ８０５において閾値決定部２０２が第１閾値を決定すると、画像処理回路２７の各部は、切出し領域決定処理を実施する（ステップＳ８０６）。即ち、選択部２０３によって第１処理及び第２処理の何れかが選択されることなく、切出し領域決定処理が実施される。

図２２は、候補領域検出処理の動作の他の例を示すフローチャートである。このフローチャートは、情報処理装置２０において、図２１のフローチャートが実行された場合に、前述した図１０に示すフローチャートの代りに実行される。図２２に示すフローチャートでは、図１０に示すフローチャートと異なり、第１エッジ画像は、第１エッジ画素及び第２エッジ画素の両方から生成される。図２２に示すステップＳ９０６〜Ｓ９０９の処理は、図１０に示すステップＳ４０７〜Ｓ４１０の処理と同じであるため、説明を省略し、以下では、ステップＳ９０１〜Ｓ９０５の処理についてのみ説明する。

最初に、第１エッジ画素抽出部２０４は、第１閾値を用いて第２入力画像から第１エッジ画素を抽出する（ステップＳ９０１）。次に、膨張用エッジ画素抽出部２０５は、第２閾値を用いて第２入力画像から膨張用エッジ画素を抽出し、抽出した膨張用エッジ画素からなる膨張用エッジ画像を生成する（ステップＳ９０２）。次に、膨張画像生成部２０６は、推定背景領域内の画素に基づいて膨張係数を決定し（ステップＳ９０３）、決定した膨張係数に基づいて膨張画像を生成する（ステップＳ９０４）。次に、第２エッジ画素抽出部２０７は、膨張画像から第２エッジ画素を抽出し、第１エッジ画素として抽出された画素と、第２エッジ画素として抽出された画素に対応する画素を有効画素とする画像を第１エッジ画像として生成する（ステップＳ９０５）。

同様に、画像処理回路２７の各部は、第１エッジ画素及び第２エッジ画素の両方から、第２エッジ画像及び第４エッジ画像をそれぞれ生成する。

以上詳述したように、図２１、図９、図２２、図１２、図１８に示したフローチャートに従って動作することによって、情報処理装置２０は、背景の模様によるエッジ画素の検出を抑制しつつ、原稿の端部によるエッジ画素を適切に検出することが可能となった。

図２３は、他の画像処理システム２の概略構成を示す図である。図２３に示す画像処理システム２と、図１に示す画像処理システム１との差異は、画像処理回路を備える装置が異なる点である。すなわち、画像処理システム２では、情報処理装置４０ではなく、画像読取装置３０が画像処理回路３６を有する。この画像処理回路３６は、情報処理装置２０の画像処理回路２７と同様の機能を有する。

図２３に示す画像処理システム２では、前述した図４、図５に示す処理とほぼ同様の処理を実行することができる。以下、図４のフローチャートに示される画像読取処理並びに図５のフローチャートに示される原稿切出し処理についてどのように適応されるかを説明する。画像処理システム２では、ステップＳ１０１の処理及びステップＳ２０２〜Ｓ２１２の処理は、予め第１記憶装置３４に記憶されているプログラムに基づき主に第１ＣＰＵ３５により画像読取装置３０の各要素と協働して実行される。

ステップＳ１０１において、画像読取装置３０の画像入力装置３１は、撮像対象物を撮影した読取画像を生成し、第１画像メモリ３２に保存する。原稿切出し処理は、画像読取装置３０で実施されるため、ステップＳ１０２、Ｓ２０１の読取画像の送受信処理は省略される。

ステップＳ２０２〜Ｓ２１２の処理は、画像読取装置３０の画像処理回路３６によって実行される。これらの処理の動作は、画像処理システム１について説明した情報処理装置２０の画像処理回路２７によって実行される場合と同様である。画像読取装置３０の画像処理回路３６は、切出した領域及び分離画像を第１インターフェース装置３３を介して情報処理装置４０に送信する。

このように、画像読取装置３０が画像処理回路３６を備えて原稿切出し処理を実行する場合も、情報処理装置が画像処理回路を備えて原稿切出し処理を実行する場合と同様の効果を得ることができる。

以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、画像読取装置と情報処理装置の機能分担は、図２及び図２３に示す画像処理システムの例に限られず、画像処理回路内の各部を含めて画像読取装置及び情報処理装置の各部を画像読取装置と情報処理装置の何れに配置するかは適宜変更可能である。または、画像読取装置と情報処理装置を一つの装置で構成してもよい。

また、画像処理システム１において、第１インターフェース装置１３と第２インターフェース装置２１は、インターネット、電話回線網（携帯端末回線網、一般電話回線網を含む）、イントラネット等のネットワークを介して接続してもよい。その場合、第１インターフェース装置１３及び第２インターフェース装置２１に、接続するネットワークの通信インターフェース回路を備える。また、その場合、クラウドコンピューティングの形態で画像処理のサービスを提供できるように、ネットワーク上に複数の情報処理装置２０を分散して配置し、各情報処理装置２０が協働して、直線検出処理、矩形検出処理等を分担するようにしてもよい。これにより、画像処理システム１は、複数の画像読取装置１０が読み取った読取画像について、効率よく原稿切出し処理を実施できる。

同様に、図２３に示す画像処理システム２においても、画像読取装置３０の第１インターフェース装置３３と、情報処理装置４０の第２インターフェース装置４１をネットワークを介して接続してもよい。

１、２ 画像処理システム
１０、３０ 画像読取装置
２０、４０ 情報処理装置
２０１ 推定背景領域抽出部
２０２ 閾値決定部
２０３ 選択部
２０４ 第１エッジ画素抽出部
２０５ 膨張用エッジ画素抽出部
２０６ 膨張画像生成部
２０７ 第２エッジ画素抽出部
２０８ 候補領域検出部
２０９ 外側エッジ画素抽出部
２１０ 直線検出部
２１１ 矩形検出部
２１２ 外周エッジ画素抽出部
２１３ 非矩形検出部
２１４ マスク生成部
２１５ 原稿領域検出部
２１６ 切出し部
２１７ 記憶制御部

Claims (11)

1. 入力画像内の特定の位置にある領域を、背景が写っていると推定される推定背景領域として抽出する推定背景領域抽出部と、
   前記推定背景領域内の全画素数に対する、前記推定背景領域内の画素の隣接差分値に基づいて抽出される膨張用エッジ画素数の比率が小さいほど大きくなり、前記比率が大きいほど小さくなるように膨張係数を決定し、前記決定した膨張係数に基づいて膨張画像を生成する膨張画像生成部と、
   前記膨張画像から第２エッジ画素を抽出する第２エッジ画素抽出部と、
   前記抽出された第２エッジ画素のうち連結する第２エッジ画素によって囲まれる矩形領域を原稿領域として検出する原稿領域検出部と、
   を有することを特徴とする画像処理装置。
2. 前記推定背景領域内の画素の隣接差分値に基づいて第１閾値を決定する閾値決定部と、
   前記第１閾値を用いて前記入力画像から第１エッジ画素を抽出する第１エッジ画素抽出部と、をさらに有し、
   前記原稿領域検出部は、前記第１エッジ画素又は前記第２エッジ画素から原稿領域を検出する、請求項１に記載の画像処理装置。
3. 前記膨張画像生成部は、前記膨張係数に基づいて生成される膨張画像内の全画素数に対する、前記膨張画像から抽出される第２エッジ画素の数の比率が所定比率以下となるように、前記膨張係数を決定する、請求項２に記載の画像処理装置。
4. 第２閾値を用いて前記入力画像から、前記入力画像内の画素の隣接差分値に基づいて、第３エッジ画素を抽出する第３エッジ画素抽出部をさらに有し、
   前記膨張画像生成部は、前記膨張係数に基づいて前記第３エッジ画素を膨張させることにより前記膨張画像を生成する、請求項２または３に記載の画像処理装置。
5. 前記第２閾値は、前記第１閾値より低い値に設定される、請求項４に記載の画像処理装置。
6. 前記第１エッジ画素から矩形を検出する矩形検出部をさらに有し、
   前記原稿領域検出部が前記原稿領域を検出するために、前記矩形検出部により矩形が検出された場合、前記第１エッジ画素を用いることを選択し、前記矩形検出部により矩形が検出されなかった場合、前記第２エッジ画素を用いることを選択する選択部をさらに有する、請求項２〜５の何れか一項に記載の画像処理装置。
7. 前記原稿領域検出部が前記原稿領域を検出するために、前記第１閾値が所定値以上である場合、前記第２エッジ画素を選択し、前記第１閾値が前記所定値未満である場合、前記第１エッジ画素を選択する選択部をさらに有する、請求項２〜５の何れか一項に記載の画像処理装置。
8. 前記入力画像には、前記入力画像を撮像した装置の一部が含まれ、
   前記推定背景領域抽出部は、前記入力画像に含まれる装置の一部から所定範囲内の領域を前記推定背景領域として抽出する、請求項１〜７の何れか一項に記載の画像処理装置。
9. 前記推定背景領域抽出部は、前記入力画像の四隅に位置する四つの領域の内の二以上の所定数の領域が相互に類似するか否かを各領域内の画素値の正規化相互相関に基づいて判定し、相互に類似する場合、前記相互に類似する領域を前記推定背景領域として抽出する、請求項１〜７の何れか一項に記載の画像処理装置。
10. 入力画像内の特定の位置にある領域を、背景が写っていると推定される推定背景領域として抽出し、
    前記推定背景領域内の全画素数に対する、前記推定背景領域内の画素の隣接差分値に基づいて抽出される膨張用エッジ画素数の比率が小さいほど大きくなり、前記比率が大きいほど小さくなるように膨張係数を決定し、前記決定した膨張係数に基づいて膨張画像を生成し、
    前記膨張画像から第２エッジ画素を抽出し、
    前記抽出された第２エッジ画素のうち連結する第２エッジ画素によって囲まれる矩形領域を原稿領域として検出する、
    ことを含むことを特徴とする領域検出方法。
11. 入力画像内の特定の位置にある領域を、背景が写っていると推定される推定背景領域として抽出し、
    前記推定背景領域内の全画素数に対する、前記推定背景領域内の画素の隣接差分値に基づいて抽出される膨張用エッジ画素数の比率が小さいほど大きくなり、前記比率が大きいほど小さくなるように膨張係数を決定し、前記決定した膨張係数に基づいて膨張画像を生成し、
    前記膨張画像から第２エッジ画素を抽出し、
    前記抽出された第２エッジ画素のうち連結する第２エッジ画素によって囲まれる矩形領域を原稿領域として検出する、
    ことをコンピュータに実行させることを特徴とするコンピュータプログラム。