JPWO2016151706A1 - 画像処理装置、領域決定方法及びコンピュータプログラム - Google Patents

Abstract

読み取った画像から原稿の画像を切出すべき領域をより精度良く検出する情報処理装置、領域決定方法及びコンピュータプログラムを提供する。画像処理装置は、入力画像からエッジ画素を抽出するエッジ画素抽出部と、エッジ画素のうち外側に位置する外側エッジ画素を抽出する外側エッジ画素抽出部と、外側エッジ画素から矩形を検出する矩形検出部と、エッジ画素のうち連結するエッジ画素の外周を構成する外周エッジ画素を抽出する外周エッジ画素抽出部と、矩形検出部により矩形が検出された場合、検出された矩形を入力画像から原稿の画像を切出す領域に決定し、矩形検出部により矩形が検出されなかった場合、外周エッジ画素抽出部により抽出された外周エッジ画素で囲まれる非矩形を含む領域を入力画像から原稿の画像を切出す領域に決定する領域決定部とを有する。

Description

本発明は、画像処理装置、領域決定方法及びコンピュータプログラムに関し、特に、入力画像から原稿の画像を切出すべき領域を決定する画像処理装置、領域決定方法及びコンピュータプログラムに関する。

スキャナ装置等で原稿を読み取って画像データとして保存するためには、読み取った画像から原稿領域を正確に検出する必要がある。一般に、フラットベッドタイプ又は自動原稿送りタイプのスキャナ装置では、白色、黒色等の単調色の裏当てを用いることにより原稿領域とそれ以外の領域を容易に識別できる。一方、近年では、机等に載置された原稿を読み取るタイプのスキャナ装置が利用されており、机の模様と原稿とを正確に識別することが必要となっている。

カラー画像データから不必要な領域（例えば背景画像領域）について切抜きマスクを作成し、当該マスクで必要な実体部を切抜く方法が開示されている。この方法では、色空間の各軸でヒストグラムの判別分析を行い、分析結果に基づき、分離度の高い軸で分類してクラスタ分けし、分けられたクラスタの中から背景部となるクラスタを指定し、切抜きマスクを作成する（特許文献１を参照）。

また、全幅が裏当て部である領域のイメージデータにより原稿エッジ検出用の基準データを作成し、基準データと画像データとの差異を求めることにより原稿のエッジ検出を行う画像読取装置が開示されている。この画像読取装置は、エッジ検出を水平方向および垂直方向に所定のラインだけ行うことにより原稿の四辺を検出し、原稿画像の自動認識を行う（特許文献２を参照）。

また、入力画像から原稿の境界を検出する画像処理装置が開示されている。この画像処理装置は、入力画像からエッジ画素を抽出し、エッジ画素から複数の直線を抽出し、抽出した直線から矩形候補を抽出し、各矩形候補の各辺から所定距離内にあるエッジ画素の数と各角の角らしさの度合いに基づいて矩形を選択する（特許文献３を参照）。

また、読み取った画像から原稿の画像を切出すべき領域を決定する画像処理装置が開示されている。この画像処理装置は、入力画像から対象領域を検出し、対象領域内において矩形を検出し、その矩形が対象領域と一致する場合、その矩形を切出し領域に決定し、一致しない場合、対象領域を含む領域を切出し領域に決定する（特許文献４を参照）。

特許第２９８７１６９号公報 特開２００７−８８６５４号公報 特開２０１３−１０６１６０号公報 特開２０１４−１９５１４８号公報

スキャナ装置等の画像処理装置では、読み取った画像から原稿の画像を切出すべき領域をより精度良く検出することを求められている。

画像処理装置、領域決定方法及びコンピュータプログラムの目的は、読み取った画像から原稿の画像を切出すべき領域をより精度良く検出することにある。

本実施形態の一側面に係る画像処理装置は、入力画像からエッジ画素を抽出するエッジ画素抽出部と、前記エッジ画素のうち外側に位置する外側エッジ画素を抽出する外側エッジ画素抽出部と、前記外側エッジ画素から矩形を検出する矩形検出部と、前記エッジ画素のうち連結するエッジ画素の外周を構成する外周エッジ画素を抽出する外周エッジ画素抽出部と、前記矩形検出部により矩形が検出された場合、前記検出された矩形を前記入力画像から原稿の画像を切出す領域に決定し、前記矩形検出部により矩形が検出されなかった場合、前記外周エッジ画素抽出部により抽出された外周エッジ画素で囲まれる非矩形を含む領域を前記入力画像から原稿の画像を切出す領域に決定する領域決定部と、を有する。

また、本実施形態の一側面に係る領域決定方法は、入力画像からエッジ画素を抽出し、前記エッジ画素のうち外側に位置する外側エッジ画素を抽出し、前記外側エッジ画素から矩形を検出し、前記エッジ画素のうち連結するエッジ画素の外周を構成する外周エッジ画素を抽出し、前記矩形検出部により矩形が検出された場合、前記検出された矩形を前記入力画像から原稿の画像を切出す領域に決定し、前記矩形検出部により矩形が検出されなかった場合、前記外周エッジ画素抽出部により抽出された外周エッジ画素で囲まれる非矩形を含む領域を前記入力画像から原稿の画像を切出す領域に決定することを含む。

また、本実施形態の一側面に係るコンピュータプログラムは、入力画像からエッジ画素を抽出し、前記エッジ画素のうち外側に位置する外側エッジ画素を抽出し、前記外側エッジ画素から矩形を検出し、前記エッジ画素のうち連結するエッジ画素の外周を構成する外周エッジ画素を抽出し、前記矩形検出部により矩形が検出された場合、前記検出された矩形を前記入力画像から原稿の画像を切出す領域に決定し、前記矩形検出部により矩形が検出されなかった場合、前記外周エッジ画素抽出部により抽出された外周エッジ画素で囲まれる非矩形を含む領域を前記入力画像から原稿の画像を切出す領域に決定することをコンピュータに実行させる。

本実施形態によれば、画像処理装置は、読み取った画像から原稿の画像を切出すべき領域をより精度良く検出することが可能となる。

本発明の目的及び効果は、特に請求項において指摘される構成要素及び組み合わせを用いることによって認識され且つ得られるだろう。前述の一般的な説明及び後述の詳細な説明の両方は、例示的及び説明的なものであり、特許請求の範囲に記載されている本発明を制限するものではない。

実施形態に従った画像処理システム１の概略構成を示す図である。 画像処理回路２７の概略構成を示す図である。 画像読取処理の動作を示すフローチャートである。 原稿切出し処理の動作を示すフローチャートである。 切出し領域決定処理の動作の例を示すフローチャートである。 候補領域検出処理の動作の例を示すフローチャートである。 候補領域検出処理における各画像について説明するための模式図である。 候補領域検出処理における各画像について説明するための模式図である。 候補領域検出処理における各画像について説明するための模式図である。 候補領域検出処理における各画像について説明するための模式図である。 矩形検出処理の動作の例を示すフローチャートである。 外側エッジ画素の抽出処理について説明するための模式図である。 外側エッジ画素の抽出処理について説明するための模式図である。 候補領域と入力画像の端部が近接している例を示す模式図である。 候補領域と入力画像の端部が近接している例を示す模式図である。 近似直線について説明するための模式図である。 近似直線について説明するための模式図である。 矩形候補の各角の評価点について説明するための模式図である。 矩形検出処理について説明するための模式図である。 矩形検出処理について説明するための模式図である。 矩形検出処理について説明するための模式図である。 非矩形検出処理の動作の例を示すフローチャートである。 非矩形検出処理における各画像について説明するための模式図である。 非矩形検出処理における各画像について説明するための模式図である。 他の画像処理システム２の概略構成を示す図である。

以下、本願の一側面に係る情報処理装置、表示方法及び制御プログラムについて図を参照しつつ説明する。但し、本願の技術的範囲はそれらの実施の形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。

図１は、実施形態に従った画像処理システムの概略構成を示す図である。図１に示すように、画像処理システム１は、画像読取装置１０と、情報処理装置２０とを有する。画像読取装置１０は、例えばイメージスキャナ、デジタルカメラ等であり、情報処理装置２０は、例えば画像読取装置１０に接続して用いられるパーソナルコンピュータ等である。

画像読取装置１０は、画像入力装置１１と、第１画像メモリ１２と、第１インターフェース装置１３と、第１記憶装置１４と、第１ＣＰＵ（Control Processing Unit）１５とを有する。以下、画像読取装置１０の各部について詳細に説明する。

画像入力装置１１は、撮像対象物である原稿等を撮像する撮像センサを有する。この撮像センサは、撮像素子と、撮像素子に撮像対象物の像を結像する光学系を備える。各撮像素子は、ＲＧＢ各色に対応するアナログ値を出力する。撮像素子は、１次元又は２次元に配列されたＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等である。画像入力装置１１は、撮像センサが出力した各アナログ値をデジタル値に変換して画素データを生成し、生成した各画素データから構成される画像データ（以下、ＲＧＢ画像と称する）を生成する。このＲＧＢ画像は、各画素データが、例えばＲＧＢ各色毎に８ｂｉｔで表される計２４ｂｉｔのＲＧＢ値からなるカラー画像データとなる。

画像入力装置１１は、ＲＧＢ画像又はＲＧＢ画像の各画素のＲＧＢ値を輝度値及び色差値（ＹＵＶ値）に変換した画像（以下、読取画像と称する）を生成し、第１画像メモリ１２に保存する。なお、ＹＵＶ値は、例えば以下の式により算出することができる。
Ｙ値＝ ０．３０×Ｒ値＋０．５９×Ｇ値＋０．１１×Ｂ値 （１）
Ｕ値＝−０．１７×Ｒ値−０．３３×Ｇ値＋０．５０×Ｂ値 （２）
Ｖ値＝ ０．５０×Ｒ値−０．４２×Ｇ値−０．０８×Ｂ値 （３）

第１画像メモリ１２は、不揮発性半導体メモリ、揮発性半導体メモリ、磁気ディスク等の記憶装置を有する。第１画像メモリ１２は、画像入力装置１１と接続され、画像入力装置１１により生成された読取画像を保存する。

第１インターフェース装置１３は、ＵＳＢ（Universal Serial Bus）等のシリアルバスに準じるインターフェース回路を有し、情報処理装置２０と電気的に接続して画像データ及び各種の情報を送受信する。また、第１インターフェース装置１３にフラッシュメモリ等を接続して第１画像メモリ１２に保存されている画像データを一旦保存し、情報処理装置２０に複写するようにしてもよい。

第１記憶装置１４は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等のメモリ装置、ハードディスク等の固定ディスク装置、又はフレキシブルディスク、光ディスク等の可搬用の記憶装置等を有する。また、第１記憶装置１４には、画像読取装置１０の各種処理に用いられるコンピュータプログラム、データベース、テーブル等が格納される。コンピュータプログラムは、コンピュータ読み取り可能な可搬型記録媒体から公知のセットアッププログラム等を用いて第１記憶装置１４にインストールされてもよい。可搬型記録媒体は、例えばＣＤ−ＲＯＭ（compact disk read only memory）、ＤＶＤ−ＲＯＭ（digital versatile disk read only memory）等である。

第１ＣＰＵ１５は、画像入力装置１１、第１画像メモリ１２、第１インターフェース装置１３及び第１記憶装置１４と接続され、これらの各部を制御する。第１ＣＰＵ１５は、画像入力装置１１の読取画像生成制御、第１画像メモリ１２の制御、第１インターフェース装置１３を介した情報処理装置２０とのデータ送受信制御、第１記憶装置１４の制御等を行う。

情報処理装置２０は、第２インターフェース装置２１と、第２画像メモリ２２と、表示装置２３と、入力装置２４と、第２記憶装置２５と、第２ＣＰＵ２６と、画像処理回路２７とを有する。以下、情報処理装置２０の各部について詳細に説明する。

第２インターフェース装置２１は、画像読取装置１０の第１インターフェース装置１３と同様のインターフェース回路を有し、情報処理装置２０と画像読取装置１０とを接続する。

第２画像メモリ２２は、画像読取装置１０の第１画像メモリ１２と同様の記憶装置を有する。第２画像メモリ２２には、第２インターフェース装置２１を介して画像読取装置１０から受信した読取画像を保存するとともに、画像処理回路２７と接続され、画像処理回路２７により読取画像に対して画像処理がなされた各種の処理画像を保存する。

表示装置２３は、液晶、有機ＥＬ等から構成されるディスプレイ及びディスプレイに画像データを出力するインターフェース回路を有し、第２画像メモリ２２と接続されて第２画像メモリ２２に保存されている画像データをディスプレイに表示する。

入力装置２４は、キーボード、マウス等の入力装置及び入力装置から信号を取得するインターフェース回路を有し、利用者の操作に応じた信号を第２ＣＰＵ２６に出力する。

第２記憶装置２５は、画像読取装置１０の第１記憶装置１４と同様のメモリ装置、固定ディスク装置、可搬用の記憶装置等を有する。第２記憶装置２５には、情報処理装置２０の各種処理に用いられるコンピュータプログラム、データベース、テーブル等が格納される。コンピュータプログラムは、例えばＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等のコンピュータ読み取り可能な可搬型記録媒体から、公知のセットアッププログラム等を用いて第２記憶装置２５にインストールされてもよい。

第２ＣＰＵ２６は、第２インターフェース装置２１、第２画像メモリ２２、表示装置２３、入力装置２４、第２記憶装置２５及び画像処理回路２７と接続され、これらの各部を制御する。第２ＣＰＵ２６は、第２インターフェース装置２１を介した画像読取装置１０とのデータ送受信制御、第２画像メモリ２２の制御、表示装置２３の表示制御、入力装置２４の入力制御、第２記憶装置２５の制御、画像処理回路２７による画像処理の制御等を行う。

画像処理回路２７は、第２画像メモリ２２に接続され、原稿切出し処理を行う。この画像処理回路２７は、第２ＣＰＵ２６に接続され、第２ＣＰＵ２６からの制御により予め第２記憶装置２５に記憶されているプログラムに基づいて動作する。なお、画像処理回路２７は、独立した集積回路、マイクロプロセッサ、ファームウェア等で構成されてもよい。

図２は、画像処理回路２７の概略構成を示す図である。図２に示すように画像処理回路２７は、エッジ画素抽出部２０１、候補領域検出部２０２、外側エッジ画素抽出部２０３、直線検出部２０４、矩形検出部２０５、外周エッジ画素抽出部２０６、非矩形検出部２０７、マスク生成部２０８、領域決定部２０９、切出し部２１０及び記憶制御部２１１を有する。これらの各部は、プロセッサ上で動作するソフトウェアにより実装される機能モジュールである。なお、これらの各部はそれぞれ独立した集積回路、マイクロプロセッサ、ファームウェア等で構成されてもよい。

図３は、画像読取装置１０による画像読取処理の動作を示すフローチャートである。以下、図３に示したフローチャートを参照しつつ、画像読取処理の動作を説明する。なお、以下に説明する動作のフローは、予め第１記憶装置１４に記憶されているプログラムに基づき主に第１ＣＰＵ１５により画像読取装置１０の各要素と協働して実行される。

最初に、画像入力装置１１は、撮像対象物である原稿を撮影した読取画像を生成し、第１画像メモリ１２に保存する（ステップＳ１０１）。

次に、第１ＣＰＵ１５は、第１画像メモリ１２に保存された読取画像を第１インターフェース装置１３を介して情報処理装置２０に送信し（ステップＳ１０２）、一連のステップを終了する。

図４は、情報処理装置２０による原稿切出し処理の動作を示すフローチャートである。以下、図４に示したフローチャートを参照しつつ、原稿切出し処理の動作を説明する。なお、以下に説明する動作のフローは、予め第２記憶装置２５に記憶されているプログラムに基づき主に第２ＣＰＵ２６により情報処理装置２０の各要素と協同して実行される。

最初に、第２ＣＰＵ２６は、読取画像を第２インターフェース装置２１を介して画像読取装置１０から取得し、第２画像メモリ２２に保存する（ステップＳ２０１）。

次に、画像処理回路２７は、第２画像メモリ２２に保存された読取画像を読み出し、読取画像について水平方向及び垂直方向に画素を間引いた第１入力画像を生成し、第２画像メモリ２２に保存する（ステップＳ２０２）。第１入力画像は入力画像の一例である。

一般に、情報処理装置２０は処理する画像の画素数により処理速度が大きく異なるため、画素を間引く割合は、第２ＣＰＵ２６等の処理能力と情報処理装置２０に要求される処理速度に応じて定められる。なお、画素を間引かなくても要求される処理速度を満たす場合は読取画像をそのまま第１入力画像としてもよい。

次に、画像処理回路２７の各部は、第１入力画像について切出し領域決定処理を実施し（ステップＳ２０３）、一連のステップを終了する。切出し領域決定処理において、画像処理回路２７の各部は、第１入力画像から原稿の画像を切出す切出し領域を決定する。切出し領域決定処理の詳細については後述する。

図５は、切出し領域決定処理の動作の例を示すフローチャートである。図５に示す動作のフローは、図４に示すフローチャートのステップＳ２０３において実行される。

最初に、エッジ画素抽出部２０１及び候補領域検出部２０２は、第１入力画像について候補領域検出処理を実施する（ステップＳ３０１）。候補領域検出処理において、エッジ画素抽出部２０１は、第１入力画像からエッジ画素を抽出し、候補領域検出部２０２は、抽出されたエッジ画素のうち連結するエッジ画素によって囲まれる候補領域を検出する。候補領域検出処理の詳細については後述する。

次に、候補領域検出部２０２は、候補領域検出処理において候補領域を検出したか否かを判定する（ステップＳ３０２）。候補領域検出部２０２は、候補領域を全く検出していない場合、特に処理を行わず、一連のステップを終了し、一方、候補領域を検出している場合、処理をステップＳ３０３へ移行する。ステップＳ３０３〜Ｓ３１５の処理は、抽出された候補領域ごとに実施される。

次に、エッジ画素抽出部２０１、外側エッジ画素抽出部２０３、直線検出部２０４及び矩形検出部２０５は、候補領域について矩形検出処理を実施する（ステップＳ３０３）。矩形検出処理において、エッジ画素抽出部２０１は、エッジ画素を抽出し、外側エッジ画素抽出部２０３は、エッジ画素のうち外側に位置する外側エッジ画素を抽出する。さらに、直線検出部２０４は、外側エッジ画素から複数の直線を検出し、矩形検出部２０５は、検出された複数の直線のうち二本ずつが略直交する四本の直線から構成される矩形を検出する。矩形検出処理の詳細については後述する。

次に、領域決定部２０９は、矩形検出処理において、矩形検出部２０５により矩形が検出されたか否かを判定する（ステップＳ３０４）。領域決定部２０９は、矩形検出部２０５により矩形が検出された場合、その検出された矩形を第１入力画像から原稿の画像を切出す切出し領域に決定する（ステップＳ３０５）。次に、切出し部２１０は、決定した切出し領域、即ち検出された矩形を入力画像から切出す（ステップＳ３０６）。

次に、記憶制御部２１１は、切出した画像を第２画像メモリ２２に記憶する（ステップＳ３０７）。記憶制御部２１１は、切出した画像を、第２画像メモリ２２の内、不揮発性半導体メモリ等の、画像を長期的に記憶する記憶媒体に記憶する。なお、記憶制御部２１１は、切出した画像を第２記憶装置２５のハードディスク等に記憶してもよい。第２画像メモリ２２又は第２記憶装置２５に記憶された画像は、入力装置２４を用いた利用者からの要求に従って、表示装置２３に表示される。

一方、エッジ画素抽出部２０１、外周エッジ画素抽出部２０６、非矩形検出部２０７及びマスク生成部２０８は、矩形検出部２０５により矩形が検出されなかった場合、候補領域について非矩形検出処理を実施する（ステップＳ３０８）。非矩形検出処理において、エッジ画素抽出部２０１は、エッジ画素を抽出し、外周エッジ画素抽出部２０６は、抽出されたエッジ画素のうち連結するエッジ画素の外周を構成する外周エッジ画素を抽出する。さらに、非矩形検出部２０７は、外周エッジ画素で囲まれる非矩形を検出し、マスク生成部２０８は、検出された非矩形に基づいて、切出される画像から背景を分離するためのマスクを生成する。非矩形検出処理の詳細については後述する。

次に、領域決定部２０９は、非矩形検出処理において検出された非矩形を含む領域を第１入力画像から原稿の画像を切出す切出し領域に決定する（ステップＳ３０９）。領域決定部２０９は、検出された非矩形の外接矩形を切出し領域に決定する。なお、領域決定部２０９は、検出された非矩形自体を切出し領域に決定してもよい。次に、切出し部２１０は、決定した切出し領域を含む領域を第１入力画像から切出す（ステップＳ３１０）。さらに、切出し部２１０は、マスク生成部２０８が生成したマスクを使用して、切出した画像から背景を分離した、原稿のみを表す分離画像を抽出する。

次に、記憶制御部２１１は、切出した画像及び分離画像を第２画像メモリ２２に記憶する（ステップＳ３１１）。記憶制御部２１１は、切出した画像を、第２画像メモリ２２の内、不揮発性半導体メモリ等の、画像を長期的に記憶する記憶媒体に記憶し、分離画像を揮発性半導体メモリ等の、画像を一時的に記憶する記憶媒体に記憶する。なお、記憶制御部２１１は、切出した画像を第２記憶装置２５のハードディスク等に記憶し、分離画像をＲＡＭに記憶してもよい。また、記憶制御部２１１は、切出した画像をファイルとして記憶し、一方、分離画像を例えばクリップボードに記憶することにより特定のアプリケーションで利用可能に記憶する。これにより、利用者は、文書編集ソフト、画像編集ソフト、表計算ソフト等において、貼付けコマンドのみを実行することにより、分離画像を利用することが可能となり、利用者の利便性を向上させることが可能となる。

なお、記憶制御部２１１は、矩形を検出した場合と非矩形を検出した場合とで切出した画像（及び分離画像）を保存するファイル形式を変更してもよい。例えば、記憶制御部２１１は、矩形を検出した場合（ステップＳ３０７の場合）、切出した画像をＪＰＥＧ（Joint Photographic Experts Group）形式で保存する。一方、記憶制御部２１１は、非矩形を検出した場合（ステップＳ３１１の場合）、切出した画像を透過ＰＮＧ（Portable Network Graphics）形式で保存する。これにより、情報処理装置２０は、形状に適した形式で画像を保存することが可能となり、利用者の利便性を向上させることが可能となる。

次に、画像処理回路２７は、全ての候補領域について処理したか否かを判定する（ステップＳ３１２）。画像処理回路２７は、まだ処理していない候補領域がある場合は処理をステップＳ３０３に戻して、ステップＳ３０３〜Ｓ３１２の処理を繰り返し、全ての候補領域について処理した場合は一連のステップを終了する。

図６は、候補領域検出処理の動作の例を示すフローチャートである。図６に示す動作のフローは、図５に示すフローチャートのステップＳ３０１において実行される。

最初に、エッジ画素抽出部２０１は、第１入力画像からさらに水平方向及び垂直方向に画素を間引いた第２入力画像を生成し、第２画像メモリ２２に保存する（ステップＳ４０１）。第２入力画像は、入力画像の他の例である。

図７Ａ〜図７Ｄは、候補領域検出処理における各画像について説明するための模式図である。図７Ａに示す画像７００は第１入力画像の例である。図７Ａに示すように、第１入力画像７００は、木目調等の模様７０２を有する机に載置された本７０１を原稿として撮像した画像である。図７Ｂに示す画像７１０は第２入力画像の例である。第１入力画像７００から第２入力画像７１０への間引き率は、画像読取装置１０の画像入力装置１１の撮像素子及び光学系の影響により生じるランダムノイズ７０３が除去されるが、原稿内の網掛け部分７０４、文字７０５等は除去されないように予め定められる。

なお、エッジ画素抽出部２０１は、第２入力画像を生成する代わりに、第１入力画像に平滑化フィルタを適用することによりランダムノイズ７０３を除去してもよい。または、エッジ画素抽出部２０１は、第２入力画像にさらに平滑化フィルタを適用してもよい。

次に、エッジ画素抽出部２０１は、第２入力画像について水平方向及び垂直方向におけるエッジ画素を抽出する。エッジ画素抽出部２０１は、第２入力画像の水平方向及び垂直方向の何れかにおいてエッジ画素として抽出された画素からなるエッジ画像を生成し、第２画像メモリ２２に保存する（ステップＳ４０２）。

エッジ画素抽出部２０１は、第２入力画像の各画素の水平方向の両隣の画素の輝度値の差の絶対値（以下、隣接差分値と称する）を算出し、隣接差分値が閾値Th1を越える場合、その画像上の画素を垂直エッジ画素とする。この閾値Th1は、例えば、人が画像上の輝度の違いを目視により判別可能な輝度値の差（例えば20）に設定することができる。また、エッジ画素抽出部２０１は、各画像について垂直方向にも同様の処理を行い、水平エッジ画素を抽出する。なお、エッジ画素抽出部２０１は、注目画素及びその注目画素の水平方向、垂直方向及び斜め方向（８近傍）に隣接する画素の分散値をその注目画素についての分散値として算出してもよい。その場合、エッジ画素抽出部２０１は、各画素の分散値についての隣接差分値から垂直エッジ画素及び水平エッジ画素を抽出してもよい。

なお、エッジ画素抽出部２０１は、抽出した垂直エッジ画素及び水平エッジ画素をそれぞれラベリングによりグループ化し、水平方向の大きさ又は垂直方向の大きさが閾値Th2以下となるグループに含まれるエッジ画素を除去してもよい。閾値Th2は、原稿の載置面の汚れとして想定される値（例えば3mmに相当する値）に設定される。また、エッジ画素抽出部２０１は、各グループの面積もしくは各グループの外接矩形の面積が閾値以下である場合にそのグループに含まれるエッジ画素を除去してもよい。これらにより、原稿の載置面の汚れにより生じたエッジ画素を除去することができる。

エッジ画素抽出部２０１は、第２入力画像において垂直エッジ画素又は水平エッジ画素として抽出された画素からなる画像をエッジ画像として生成する。なお、エッジ画素抽出部２０１は、生成したエッジ画像に対して膨張・収縮処理を実施してもよい。これにより、第２入力画像において連結している部分の一部がエッジ画素として抽出されない場合でも、エッジ画像においてその部分を連結させることができる。

次に、候補領域検出部２０２は、エッジ画像について、各エッジ画素が他のエッジ画素と連結しているか否かを判定し、連結しているエッジ画素を一つのグループとしてラベリングする（ステップＳ４０３）。候補領域検出部２０２は、水平方向、垂直方向又は斜め方向（８近傍）に相互に隣接するエッジ画素を連結していると判定する。なお、エッジ画素抽出部２０１は、水平方向又は垂直方向のみ（４近傍）に相互に隣接するエッジ画素を連結していると判定してもよい。

次に、候補領域検出部２０２は、各グループの水平方向及び垂直方向の両方の大きさが閾値Th3以下か否かを判定し、水平方向及び垂直方向の両方の大きさが閾値Th3以下となるグループに含まれるエッジ画素をエッジ画像から除去する（ステップＳ４０４）。閾値Th3は、情報処理装置４０が検出を保証する原稿の最小サイズ（例えば1inchに相当する値）に設定される。なお、候補領域検出部２０２は、各グループの水平方向及び垂直方向の何れかの大きさが閾値Th3以下である場合、又は各グループの面積もしくは各グループの外接矩形の面積が閾値以下である場合にエッジ画素を除去してもよい。外接矩形の面積と比較する閾値は、例えば1inch四方に相当する値とすることができる。

図７Ｃに示す画像７２０は、所定の大きさ以下となるグループに含まれるエッジ画素を除去したエッジ画像の例である。画像７２０では、図７Ｂに示される机の模様７１１のように、情報処理装置４０が検出を保証する原稿の最小サイズより小さいエッジ画素のグループは除去される。

次に、候補領域検出部２０２は、各グループが他のグループに包含されるか否かを判定し、他のグループに包含されるグループに含まれるエッジ画素をエッジ画像から除去する（ステップＳ４０５）。

図７Ｄに示す画像７３０は、他のグループに包含されるグループに含まれるエッジ画素を除去したエッジ画像の例である。画像７３０では、図７Ｃに示されるコンテンツ７２１のように、原稿内のコンテンツによるエッジ画素のグループは除去される。

次に、候補領域検出部２０２は、除去されずに残った各グループについて、そのグループに含まれるエッジ画素によって囲まれる領域を検出し、検出した領域に対応する第１入力画像内の領域を候補領域として検出する。候補領域検出部２０２は、第１入力画像内の候補領域の外接矩形を第２画像メモリ２２に保存し（ステップＳ４０６）、一連のステップを終了する。

図７Ｄに示す画像７３０では、連結するエッジ画素によって囲まれる領域は、その連結するエッジ画素のグループの最も外側の外周７３１及びその内側の領域であり、その領域にはエッジ画素だけでなく、外周７３１の内側に存在する全ての画素７３２が含まれる。

なお、連結するエッジ画素によって囲まれる領域を、連結するエッジ画素のグループの最も外側の外周を含まない領域としてもよい。または、連結するエッジ画素によって囲まれる領域を、連結するエッジ画素のグループの最も外側の外周及びその内側の領域を所定画素分だけ膨張又は収縮させた領域としてもよい。また、連結するエッジ画素について、上記したようにエッジ画像に対して膨張・収縮処理を実施することにより、相互に隣接するエッジ画素だけでなく、相互に所定距離内に位置するエッジ画素とその間に位置する画素を含めてもよい。また、連結するエッジ画素の両端に位置するエッジ画素が、所定距離内にある場合は、両端のエッジ画素の間に位置する画素を連結するエッジ画素に含めてもよい。この所定距離は、例えば連結するエッジ画素の長さに所定比率（例えば80%）を乗じた長さとすることができる。これにより、例えばエッジ画素がＵ字型に連結している場合に、両端のエッジ画素を連結させて囲まれた領域を形成させることができる。

図８は、矩形検出処理の動作の例を示すフローチャートである。図８に示す動作のフローは、図５に示すフローチャートのステップＳ３０３において実行される。

最初に、エッジ画素抽出部２０１は、候補領域検出部２０２が検出した候補領域内において垂直エッジ画素及び水平エッジ画素を抽出し、垂直エッジ画素又は水平エッジ画素として抽出された画素からなる画像を第２エッジ画像として生成する（ステップＳ５０１）。エッジ画素抽出部２０１は、エッジ画像を生成した場合と同様の方法で垂直エッジ画素及び水平エッジ画素を抽出する。なお、エッジ画像を生成した場合と同様に、エッジ画素抽出部２０１は、第２入力画像から垂直エッジ画素及び水平エッジ画素を抽出してもよい。また、エッジ画素抽出部２０１は、抽出した垂直エッジ画素及び水平エッジ画素をそれぞれラベリングによりグループ化し、大きさが閾値Th2以下となるグループに含まれるエッジ画素を除去してもよい。

または、エッジ画素抽出部２０１は、他の方法により垂直エッジ画素及び水平エッジ画素を抽出してもよい。例えば、エッジ画素抽出部２０１は、第１入力画像からそれぞれ異なる間引き率で画素を間引いた複数の間引き画像を生成し、第１入力画像及び各間引き画像からそれぞれ垂直エッジ画素を抽出して垂直エッジ画素からなるエッジ画像を生成する。エッジ画素抽出部２０１は、最も小さい間引き画像から生成したエッジ画像をその次に小さい間引き画像から生成したエッジ画像と同一の解像度に拡大し、同一の解像度にした二つのエッジ画像において同一の位置に存在する垂直エッジ画素からなる画像を生成する。エッジ画素抽出部２０１は、生成した画像と、その次に小さい間引き画像から生成したエッジ画像に対して同様の処理を繰り返し、最終的に、第１入力画像から生成したエッジ画像の垂直エッジ画素と同一の位置に存在する垂直エッジ画素を抽出する。また、エッジ画素抽出部２０１は、同様の処理により水平エッジ画素を抽出する。これにより、ノイズを低減しつつ、垂直エッジ画素及び水平エッジ画素を抽出することができる。

なお、エッジ画素抽出部２０１は、生成した第２エッジ画像に対して膨張・収縮処理を実施しない。これにより、第２エッジ画像では、机の模様、ノイズ等が誤って連結されることが防止される。

次に、外側エッジ画素抽出部２０３は、候補領域の端部が第１入力画像の端部と近接しているか否かを判定する（ステップＳ５０２）。外側エッジ画素抽出部２０３は、候補領域の左端、右端、上端及び下端の何れかが、第１入力画像の左端、右端、上端又は下端から所定距離内にある場合、近接していると判定し、所定距離内にない場合、近接していないと判定する。所定距離は、候補領域に写っている物が第１入力画像の端部と交わっているにも関わらずエッジ画素が抽出されない可能性のある第１入力画像の端部からの最大距離に定められ、例えば１０ｍｍに相当する距離に定められる。

なお、外側エッジ画素抽出部２０３は、候補領域が、第１入力画像内において予め定められた原稿読取範囲に納まらずにはみ出している場合に候補領域の端部が第１入力画像の端部と近接していると判定し、納まっている場合に近接していないと判定してもよい。その場合、利用者に、原稿を載置する机に原稿読取範囲を示すマットを敷いてから原稿を撮影させることにより、利用者に原稿読取範囲を認識させることができる。なお、画像読取装置１０が光照射部（不図示）から、原稿を載置する机に原稿読取範囲を示す光を照射させることにより、利用者に原稿読取範囲を認識させてもよい。

外側エッジ画素抽出部２０３は、候補領域の端部が第１入力画像の端部と近接していない場合、抽出したエッジ画素のうち外側に位置する外側エッジ画素を抽出する。外側エッジ画素抽出部２０３は、外側エッジ画素として抽出された画素からなる画像を第３エッジ画像として生成する（ステップＳ５０３）。

図９Ａ、図９Ｂは、外側エッジ画素の抽出処理について説明するための模式図である。図９Ａに示す画像９００は第２エッジ画像の例である。図９Ａに示すように、外側エッジ画素抽出部２０３は、第２エッジ画像９００の各水平ラインを矢印９０１のように左端側から右端側に向かって走査し、最初に検出したエッジ画素９０２を外側エッジ画素として抽出する。同様に、外側エッジ画素抽出部２０３は、第２エッジ画像９００の各水平ラインを右端側から左端側に向かって走査し、最初に検出したエッジ画素９０３も外側エッジ画素として抽出する。同様に、外側エッジ画素抽出部２０３は、第２エッジ画像９００の各垂直ラインを上端側から下端側、及び下端側から上端側に向かってそれぞれ走査し、最初に検出したエッジ画素９０４、９０５も外側エッジ画素として抽出する。即ち、外側エッジ画素抽出部２０３は、候補領域内の各水平ラインにおいて最も左端側及び右端側にそれぞれ位置するエッジ画素、及び候補領域内の各垂直ラインにおいて最も上端側及び下端側にそれぞれ位置するエッジ画素を外側エッジ画素として抽出する。

図９Ｂに示す画像９１０は、抽出された外側エッジ画素の例である。図９Ｂに示すように、外側エッジ画素９１１は、図９Ａの第２エッジ画像９００から検出されたエッジ画素９０２〜９０５から構成される。

一方、外側エッジ画素抽出部２０３は、候補領域の端部が第１入力画像の端部と近接している場合、候補領域内の全てのエッジ画素からなる画像を第３エッジ画像として生成する（ステップＳ５０４）。この場合、後述する矩形処理において、矩形検出部２０５は、候補領域内の全てのエッジ画素から矩形を検出する。

図１０Ａ、図１０Ｂは、候補領域の端部が第１入力画像の端部と近接している例について説明するための模式図である。図１０Ａに示す画像１０００は、原稿１００１が利用者の手１００２及び１００３によりおさえられている状態を示す。この例では、利用者の手１００２及び１００３によるエッジ画素は、原稿読取範囲１００４に納まらずにはみ出し、第１入力画像の端部にまで位置している。図１０Ｂに示す画像１０１０は、図１０Ａに示す画像１０００から抽出される外側エッジ画素の例である。図１０Ｂに示すように、利用者の手１００２及び１００３より内側に位置する原稿の端部１００５及び１００６は、外側エッジ画素１０１１として抽出されない。このような場合、候補領域内の全てのエッジ画素からなる画像を第３エッジ画像として生成することにより、原稿の端部が抽出されなくなることを防止することができる。

これにより、原稿が載置されている机の模様等のエッジ強度が高い場合にも同様に、原稿の端部から検出されたエッジと机の模様から検出されたエッジとが繋がってしまい、原稿の端部が抽出されなくなることを防止することができる。

なお、外側エッジ画素抽出部２０３は、候補領域の端部が第１入力画像の端部と近接している場合、候補領域内の一部のエッジ画素を第３エッジ画像から除去してもよい。例えば、外側エッジ画素抽出部２０３は、候補領域の端部が第１入力画像の水平方向の端部と近接している場合、候補領域内で垂直方向の直線を検出し、候補領域の端部が第１入力画像の垂直方向の端部と近接している場合、候補領域内で水平方向の直線を検出する。外側エッジ画素抽出部２０３は、最も外側に検出された二つの直線の間にあるエッジ画素を第３エッジ画像から除去する。これにより、原稿内のコンテンツ等を原稿の端部の検出対象から除去することができ、原稿の端部の検出精度を向上させることができる。

次に、直線検出部２０４は、第３エッジ画像から複数の直線を検出する（ステップＳ５０５）。直線検出部２０４は、ハフ変換を用いて直線を検出する。なお、直線検出部２０４は、最小二乗法を用いて直線を検出してもよい。または、直線検出部２０４は、ハフ変換を用いて検出した直線から所定距離内にあるエッジ画素に対して最小二乗法を用いて直線を検出してもよい。この所定距離は、画像処理システム１が使用される環境等に応じて適宜定められ、例えば2mmに相当する距離に設定される。

次に、直線検出部２０４は、第３エッジ画像から近似直線を検出する（ステップＳ５０６）。

図１１Ａ及び図１１Ｂは、近似直線について説明するための模式図である。図１１Ａに示すような書籍原稿を撮影した第１入力画像１１００において、書籍原稿の綴じ目部１１０１に対して平行な端部１１０２は直線として検出される。しかしながら、綴じ目部１１０１に対して直交する端部１１０３は綴じ目部１１０１の近傍で歪みが生じ、直線として検出されない場合がある。

そこで、直線検出部２０４は、図１１Ｂのエッジ画像１１１０に示すように、相互に隣接するエッジ画素１１１１をラベリングにより一つのグループ１１１２としてまとめる。直線検出部２０４は、そのグループ１１１２に含まれるエッジ画素のうち、水平方向又は垂直方向における両端に位置するエッジ画素１１１３及びエッジ画素１１１４を結んだ直線１１１５を近似直線として検出する。

次に、矩形検出部２０５は、直線検出部２０４が検出した直線又は近似直線からなる矩形を検出し（ステップＳ５０７）、一連のステップを終了する。

矩形検出部２０５は、直線検出部２０４が検出した複数の直線又は近似直線のうち二本ずつが略直交する四本の直線から構成される複数の矩形候補を抽出する。矩形検出部２０５は、まず水平方向の直線（以下、第１の水平線と称する）を一つ選択し、選択した直線と略平行（例えば±3°以内）かつ閾値Th4以上離れた水平方向の直線（以下、第２の水平線と称する）を抽出する。次に、矩形検出部２０５は、第１の水平線と略直交する（例えば90°に対して±3°以内）垂直方向の直線（以下、第１の垂直線と称する）を抽出する。次に、矩形検出部２０５は、第１の水平線と略直交し、かつ第１の垂直線と閾値Th5以上離れた垂直方向の直線（以下、第２の垂直線と称する）を抽出する。なお、閾値Th4及び閾値Th5は、画像読取装置１０の読取りの対象となる原稿のサイズに応じて予め定められ、同じ値としてもよい。

矩形検出部２０５は、直線検出部２０４が検出した全ての直線又は近似直線について、上記の条件を満たす第１の水平線、第２の水平線、第１の垂直線及び第２の垂直線の全ての組合せを抽出し、抽出した各組合せから構成される矩形を矩形候補として抽出する。矩形検出部２０５は、抽出した矩形候補について面積を算出し、面積が所定値未満である矩形候補を除去する。矩形検出部２０５は、残った矩形候補の中で最も面積が大きい矩形候補を矩形として検出する。一方、矩形検出部２０５は、矩形候補が一つも残らなかった場合、矩形を検出しない。

なお、矩形検出部２０５は、各矩形候補について、矩形候補の各辺から所定距離（例えば2mmに相当する距離）内にある全ての画素の数に対する所定距離内にあるエッジ画素の数の割合を算出し、矩形候補の面積にその割合を乗じて重み付けしてもよい。これにより、原稿の境界を明確に表している直線から構成される矩形を検出することができる。または、矩形検出部２０５は、各矩形候補について、矩形候補の各角の角らしさの度合いを表す評価点を算出し、評価点を用いて矩形候補の面積を重み付けしてもよい。

図１２は、矩形候補の各角の評価点について説明するための模式図である。図１２に示す画像１２００において、点１２０１は矩形候補の角を表し、直線１２０２、１２０３は矩形候補の各辺を表す。この直線１２０２、１２０３の端部が相互に接している場合は、点１２０１は矩形の角らしいと考えられるが、直線１２０２、１２０３の端部が接していない場合又は直線１２０２、１２０３が交差している場合は、点１２０１は矩形の角らしくないと考えられる。

評価点は０点を基準とする。そして、角１２０１の近傍における辺１２０２から所定距離内の領域１２０４において、水平方向のライン毎にエッジ画素が存在するか否かを判定し、水平方向のラインにエッジ画素が存在する場合、評価点に１点を加算する。なお、各角の近傍の範囲及び各辺からの所定距離は、画像処理システム１が使用される環境等に応じて適宜定められ、例えば各角から5mmに相当する距離内の範囲及び各辺から2mmに相当する距離に設定することができる。同様に、角１２０１の近傍における辺１２０３から所定距離内の領域１２０５において、垂直方向のライン毎にエッジ画素が存在するか否かを判定し、垂直方向のラインにエッジ画素が存在する場合、評価点に１点を加算する。また、角１２０１の近傍における辺１２０２の延長線から所定距離内の領域１２０６において、水平方向のライン毎にエッジ画素が存在するか否かを判定し、水平方向のラインにエッジ画素が存在する場合、評価点から１点を減算する。同様に、角１２０１の近傍における辺１２０３の延長線から所定距離内の領域１２０７において、垂直方向のライン毎にエッジ画素が存在するか否かを判定し、垂直方向のラインにエッジ画素が存在する場合、評価点から１点を減算する。矩形検出部２０５は、評価点の取り得る最低値が０、取り得る最高値が１となるように評価点を正規化した値を算出し、矩形候補の面積にその値を乗じて重み付けすることにより、四つの角を明確に表している矩形を検出することができる。

図１３Ａ〜図１３Ｃは、非矩形の画像について矩形検出処理を実行した場合について説明するための模式図である。図１３Ａに示す画像１３００は、矩形状の模様１３０２を有する、うちわ形状の物１３０１を撮像した第１入力画像の例である。図１３Ｂに示す画像１３１０は、第１入力画像１３００から生成された第３エッジ画像の例である。図１３Ｂに示すように、第３エッジ画像１３１０は、外側エッジ画素１３１１から構成され、第３エッジ画像１３１０において矩形状の模様１３０２は抽出されない。図１３Ｃに示す画像１３２０は、第３エッジ画像１３１０から抽出された直線の例である。図１３Ｃに示すように、第３エッジ画像１３１０から、うちわ形状の柄の部分１３２１〜１３２３が直線として検出される。しかしながら、図１３Ａ〜図１３Ｃに示す例では、二本ずつが略直交する四本の直線から構成される矩形は検出されない。

図１４は、非矩形検出処理の動作の例を示すフローチャートである。図１４に示す動作のフローは、図５に示すフローチャートのステップＳ３０８において実行される。

最初に、エッジ画素抽出部２０１は、候補領域検出部２０２が検出した候補領域内において水平、垂直及び斜め方向にエッジ画素を抽出する。次に、エッジ画素抽出部２０１は、水平、垂直及び斜め方向にエッジ画素として抽出された画素からなる画像を第４エッジ画像として生成する（ステップＳ６０１）。

エッジ画素抽出部２０１は、第１入力画像の各画素について、上から下へ向かう垂直方向、左から右へ向かう水平方向、左下から右上へ向かう斜め方向、及び右下から左上へ向かう斜め方向の隣接差分値をそれぞれ算出する。エッジ画素抽出部２０１は、算出した何れかの隣接差分値の絶対値が閾値Th1を越える場合、その画像上の画素をエッジ画素とする。

次に、エッジ画素抽出部２０１は、抽出したエッジ画素をラベリングによりグループ化し、大きさが閾値Th2以下となるグループに含まれるエッジ画素を除去する（ステップＳ６０２）。これにより、第４エッジ画像に含まれるノイズ成分を除去することができる。

次に、エッジ画素抽出部２０１は、生成した第４エッジ画像において、エッジ画素を膨張させた膨張画像を生成する（ステップＳ６０３）。これにより、第２入力画像において、連結している部分の一部がエッジ画素として抽出されない場合でも、膨張画像においてその部分を連結させることができる。

次に、外周エッジ画素抽出部２０６は、膨張画像に対して、エッジ画素以外の画素（非エッジ画素）についてラベリング処理を実行し、膨張画像の端部と連結しているグループを抽出する（ステップＳ６０４）。

図１５Ａ、図１５Ｂは、非矩形検出処理における各画像について説明するための模式図である。図１５Ａに示す画像１５００のように、膨張画像の端部と連結しているグループ１５０２は、原稿１５０１の外周の外側に位置する非エッジ画素のグループとなる。

次に、外周エッジ画素抽出部２０６は、抽出したグループに含まれる画素を無効画素とし、他の画素を有効画素とする画像を生成する（ステップＳ６０５）。

図１５Ｂに示す画像１５１０は、ステップＳ６０６で生成される画像の例である。画像１５１０では、抽出したグループに含まれる画素１５１２が無効画素となり、他の画素１５１１が有効画素となる。

次に、外周エッジ画素抽出部２０６は、生成した画像において、有効画素を収縮させた収縮画像を生成する（ステップＳ６０６）。この収縮処理は、ステップＳ６０２で膨張させたエッジ画素を元のサイズに戻すために実行される。従って、非矩形検出部２０７は、ステップＳ６０２でエッジ画素を膨張させた膨張度合いと同じ度合いだけ非矩形を収縮させる。なお、非矩形検出部２０７は、ステップＳ６０２でエッジ画素を膨張させた膨張度合いより大きい度合いで非矩形を収縮させてもよい。その場合、原稿が載置されている机の模様等のエッジ強度が高い場合に、机の模様等により検出されたエッジ画素を有効画素から除去することができる。

次に、外周エッジ画素抽出部２０６は、収縮画像の有効画素の外周を構成するエッジ画素を外周エッジ画素として抽出する（ステップＳ６０７）。

図１５Ｂに示すように、有効画素１５１１の外周を構成する外周エッジ画素１５１３は、連結するエッジ画素の外周を構成するエッジ画素となる。

次に、非矩形検出部２０７は、抽出された外周エッジ画素で囲まれる非矩形を検出する（ステップＳ６０８）。非矩形検出部２０７は、非矩形を複数検出した場合、最も面積が大きい非矩形のみを、検出した非矩形として選択する。これにより、机の模様等により発生するノイズを除去することができる。

次に、マスク生成部２０８は、検出された非矩形に基づいて、切出される画像から背景を分離するためのマスクを生成する（ステップＳ６０９）。マスクは、水平及び垂直方向のそれぞれにおいて、切出し画像と同数の画素を有し、且つ、検出された非矩形に対応する画素を有効画素とし、他の画素を無効画素とする画像で構成される。情報処理装置２０は、マスクを用いて、切出される画像から、マスク内の有効画素の位置に対応する画素のみを抽出することにより、分離画像を抽出することができる。

なお、画像処理回路２７は、図５のステップＳ３０１に示した候補領域検出処理を省略し、第１入力画像全体に対して、矩形検出処理及び非矩形検出処理を実行してもよい。その場合でも、情報処理装置２０は、原稿の画像を切出すべき領域を適切に決定することができる。

また、エッジ画素抽出部２０１は、候補領域を検出するためのエッジ画素と、矩形を検出するためのエッジ画素と、非矩形を検出するためのエッジ画素とを別個に検出せずに、候補領域を検出するためのエッジ画素を用いて矩形又は非矩形を検出してもよい。その場合、情報処理装置２０は、エッジ画素の検出処理による処理負荷を低減し、処理の高速化を図ることができる。

また、画像処理回路２７は、図５のステップＳ３０８に示した非矩形検出処理を省略し、矩形が検出されなかった場合、候補領域を非矩形として用いてもよい。その場合、外周エッジ画素抽出部２０６は、候補領域の外周を構成するエッジ画素を外周エッジ画素として抽出し、非矩形検出部２０７は、候補領域を非矩形として検出する。

以上詳述したように、図４〜図６、図８、図１４に示したフローチャートに従って動作することによって、情報処理装置２０は、原稿の画像を切出すべき領域を適切に決定することが可能となった。特に、情報処理装置２０は、入力画像が複雑な背景を有する場合でも、原稿の領域を精度良く検出することが可能となった。さらに、情報処理装置２０は、撮影対象物が立体物、手、写真の切抜き等の非矩形の形状を有する場合でも、精度良く撮影対象物の輪郭線を検出し、背景を削除することが可能となった。

また、情報処理装置２０は、矩形を検出するためのエッジ画素として垂直及び水平エッジ画素のみを使用し、非矩形を検出するためのエッジ画素として斜めエッジ画素も使用する。これにより、情報処理装置２０は、エッジが多少欠落しても検出可能な直線で構成される矩形を検出するときは背景等によるノイズの影響を低減させつつ、エッジが欠落すると検出することが困難な曲線を有する非矩形を検出するときはエッジの欠落を防止できる。

図１６は、他の画像処理システム２の概略構成を示す図である。図１６に示す画像処理システム２と、図１に示す画像処理システム１との差異は、画像処理回路を備える装置が異なる点である。すなわち、画像処理システム２では、情報処理装置４０ではなく、画像読取装置３０が画像処理回路３６を有する。この画像処理回路３６は、情報処理装置２０の画像処理回路２７と同様の機能を有する。

図１６に示す画像処理システム２では、前述した図３、図４に示す処理とほぼ同様の処理を実行することができる。以下、図３のフローチャートに示される画像読取処理並びに図４のフローチャートに示される原稿切出し処理についてどのように適応されるかを説明する。画像処理システム２では、ステップＳ１０１の処理及びステップＳ２０２〜Ｓ２０３の処理は、予め第１記憶装置３４に記憶されているプログラムに基づき主に第１ＣＰＵ３５により画像読取装置３０の各要素と協働して実行される。

ステップＳ１０１において、画像読取装置３０の画像入力装置３１は、撮像対象物を撮影した読取画像を生成し、第１画像メモリ３２に保存する。原稿切出し処理は、画像読取装置３０で実施されるため、ステップＳ１０２、Ｓ２０１の読取画像の送受信処理は省略される。

ステップＳ２０２〜Ｓ２０３の処理は、画像読取装置３０の画像処理回路３６によって実行される。これらの処理の動作は、画像処理システム１について説明した情報処理装置２０の画像処理回路２７によって実行される場合と同様である。画像読取装置３０の画像処理回路３６は、切出した領域及び分離画像を第１インターフェース装置３３を介して情報処理装置４０に送信する。

このように、画像読取装置３０が画像処理回路３６を備えて原稿切出し処理を実行する場合も、情報処理装置が画像処理回路を備えて原稿切出し処理を実行する場合と同様の効果を得ることができる。

以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、画像読取装置と情報処理装置の機能分担は、図１及び図１６に示す画像処理システムの例に限られず、画像処理回路内の各部を含めて画像読取装置及び情報処理装置の各部を画像読取装置と情報処理装置の何れに配置するかは適宜変更可能である。または、画像読取装置と情報処理装置を一つの装置で構成してもよい。

また、画像処理システム１において、第１インターフェース装置１３と第２インターフェース装置２１は、インターネット、電話回線網（携帯端末回線網、一般電話回線網を含む）、イントラネット等のネットワークを介して接続してもよい。その場合、第１インターフェース装置１３及び第２インターフェース装置２１に、接続するネットワークの通信インターフェース回路を備える。また、その場合、クラウドコンピューティングの形態で画像処理のサービスを提供できるように、ネットワーク上に複数の情報処理装置２０を分散して配置し、各情報処理装置２０が協働して、直線検出処理、矩形検出処理等を分担するようにしてもよい。これにより、画像処理システム１は、複数の画像読取装置１０が読み取った読取画像について、効率よく原稿切出し処理を実施できる。

同様に、図１６に示す画像処理システム２においても、画像読取装置３０の第１インターフェース装置３３と、情報処理装置４０の第２インターフェース装置４１をネットワークを介して接続してもよい。

１、２ 画像処理システム
１０、３０ 画像読取装置
２０、４０ 情報処理装置
２０１ エッジ画素抽出部
２０２ 候補領域検出部
２０３ 外側エッジ画素抽出部
２０４ 直線検出部
２０５ 矩形検出部
２０６ 外周エッジ画素抽出部
２０７ 非矩形検出部
２０８ マスク生成部
２０９ 領域決定部
２１０ 切出し部
２１１ 記憶制御部

Claims (9)

1. 入力画像からエッジ画素を抽出するエッジ画素抽出部と、
   前記エッジ画素のうち外側に位置する外側エッジ画素を抽出する外側エッジ画素抽出部と、
   前記外側エッジ画素から矩形を検出する矩形検出部と、
   前記エッジ画素のうち連結するエッジ画素の外周を構成する外周エッジ画素を抽出する外周エッジ画素抽出部と、
   前記矩形検出部により矩形が検出された場合、前記検出された矩形を前記入力画像から原稿の画像を切出す領域に決定し、前記矩形検出部により矩形が検出されなかった場合、前記外周エッジ画素抽出部により抽出された外周エッジ画素で囲まれる非矩形を含む領域を前記入力画像から原稿の画像を切出す領域に決定する領域決定部と、
   を有することを特徴とする画像処理装置。
2. さらに、前記エッジ画素のうち連結するエッジ画素によって囲まれる候補領域を検出する候補領域検出部を有し、
   前記外側エッジ画素抽出部は、前記候補領域内において前記外側エッジ画素を抽出する、請求項１に記載の画像処理装置。
3. 前記外側エッジ画素抽出部は、前記エッジ画素のうち、前記候補領域内の各水平ラインにおいて最も左端側及び右端側にそれぞれ位置するエッジ画素、及び前記候補領域内の各垂直ラインにおいて最も上端側及び下端側にそれぞれ位置するエッジ画素を前記外側エッジ画素として抽出する、請求項２に記載の画像処理装置。
4. 前記矩形検出部は、前記候補領域の端部が前記入力画像の端部と近接している場合、前記候補領域内の全てのエッジ画素から矩形を検出する、請求項２または３に記載の画像処理装置。
5. 前記外側エッジ画素抽出部は、前記エッジ画素のうち、前記入力画像から水平及び垂直方向に抽出されたエッジ画素から前記外側エッジ画素を抽出し、
   前記外周エッジ画素抽出部は、前記エッジ画素のうち、前記入力画像から水平、垂直及び斜め方向に抽出されたエッジ画素から前記外周エッジ画素を抽出する、請求項１に記載の画像処理装置。
6. 前記領域決定部は、前記矩形検出部により矩形が検出されなかった場合、前記非矩形の外接矩形を前記入力画像から原稿の画像を切出す領域に決定し、
   さらに、前記矩形検出部により矩形が検出されなかった場合に限り、前記非矩形に基づいて、前記切出される画像から背景を分離するためのマスクを生成するマスク生成部を有する、請求項１〜５の何れか一項に記載の画像処理装置。
7. さらに、前記マスクを用いて前記切出される画像から背景を分離した画像を特定のアプリケーションで利用可能に記憶する記憶部を有する、請求項６に記載の画像処理装置。
8. 入力画像からエッジ画素を抽出し、
   前記エッジ画素のうち外側に位置する外側エッジ画素を抽出し、
   前記外側エッジ画素から矩形を検出し、
   前記エッジ画素のうち連結するエッジ画素の外周を構成する外周エッジ画素を抽出し、
   矩形が検出された場合、前記検出された矩形を前記入力画像から原稿の画像を切出す領域に決定し、矩形が検出されなかった場合、前記外周エッジ画素抽出部により抽出された外周エッジ画素で囲まれる非矩形を含む領域を前記入力画像から原稿の画像を切出す領域に決定する、
   ことを含むことを特徴とする領域決定方法。
9. 入力画像からエッジ画素を抽出し、
   前記エッジ画素のうち外側に位置する外側エッジ画素を抽出し、
   前記外側エッジ画素から矩形を検出し、
   前記エッジ画素のうち連結するエッジ画素の外周を構成する外周エッジ画素を抽出し、
   矩形が検出された場合、前記検出された矩形を前記入力画像から原稿の画像を切出す領域に決定し、矩形が検出されなかった場合、前記外周エッジ画素抽出部により抽出された外周エッジ画素で囲まれる非矩形を含む領域を前記入力画像から原稿の画像を切出す領域に決定する、
   ことをコンピュータに実行させることを特徴とするコンピュータプログラム。