JP6021665B2 - 画像処理装置、画像処理方法及びコンピュータプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及びコンピュータプログラムに関し、特に、原稿の端部を検出する画像処理装置、画像処理方法及びコンピュータプログラムに関する。

画像読取装置、画像複写装置等で原稿を読み取る際、原稿の端部が折れ曲がっていたり、破れていたりすると、その部分については裏当て部が読み取られる。例えば原稿内の背景の色が裏当て部の色と異なる場合、保存される画像データ又は複写される用紙内の裏当て部を読み取った領域は見苦しくなってしまう。このような領域を補正するためには、読み取った画像から原稿の端部を適切に検出する必要がある。

原稿画像から読み取られた画像データの黒べたを認識し、ユーザが指定手段により指定した位置に黒べたが存在する場合に、黒べたを消去する画像編集装置が開示されている（特許文献１を参照）。

また、読取原稿の両端の黒枠領域を検出して黒枠領域を除去する画像処理装置が開示されている。この画像処理装置は、読取原稿の画像データをライン単位で保持し、読取開始位置からの連続黒画素領域を検出すると共に、白画素が出現する毎にそれまでに出現した連続黒画素をリセットし、最後に残った連続黒画素領域を検出する（特許文献２を参照）。

特開平９−１７２５３４号公報 特開２０００−３５４１５０号公報

画像処理装置では、原稿の端部の近傍に、裏当て部と同程度の濃度である、文字、図形等のコンテンツが存在する場合、そのコンテンツを誤って原稿の端部として検出してしまう場合がある。その場合、原稿外の領域を補正しようとすると、原稿内のコンテンツを誤って消去するおそれがある。

本発明の目的は、読み取った画像から原稿の端部を精度よく検出することが可能な画像処理装置、画像処理方法及びそのような画像処理方法をコンピュータに実行させるコンピュータプログラムを提供することにある。

本発明に係る画像処理装置は、入力画像から複数の第１エッジ画素を検出する第１エッジ画素検出部と、複数の第１エッジ画素から直線を検出する直線検出部と、複数の第１エッジ画素を、直線から所定距離内にあるオンラインエッジ画素と、所定距離内にない非オンラインエッジ画素とに分類する分類部と、二つのオンラインエッジ画素の間に非オンラインエッジ画素が存在する場合、二つのオンラインエッジ画素の間で第２エッジ画素を検出する第２エッジ画素検出部と、二つのオンラインエッジ画素が非オンラインエッジ画素を介して第２エッジ画素によって連結されるか否かにより、非オンラインエッジ画素が原稿の端部を表すか否かを判定する判定部と、を有する。

また、本発明に係る画像処理方法は、入力画像から複数の第１エッジ画素を検出するステップと、複数の第１エッジ画素から直線を検出するステップと、複数の第１エッジ画素を、直線から所定距離内にあるオンラインエッジ画素と、所定距離内にない非オンラインエッジ画素とに分類するステップと、二つのオンラインエッジ画素の間に非オンラインエッジ画素が存在する場合、二つのオンラインエッジ画素の間で第２エッジ画素を検出するステップと、二つのオンラインエッジ画素が非オンラインエッジ画素を介して第２エッジ画素によって連結されるか否かにより、非オンラインエッジ画素が原稿の端部を表すか否かを判定するステップと、を含む。

また、本発明に係るコンピュータプログラムは、入力画像から複数の第１エッジ画素を検出するステップと、複数の第１エッジ画素から直線を検出するステップと、複数の第１エッジ画素を、直線から所定距離内にあるオンラインエッジ画素と、所定距離内にない非オンラインエッジ画素とに分類するステップと、二つのオンラインエッジ画素の間に非オンラインエッジ画素が存在する場合、二つのオンラインエッジ画素の間で第２エッジ画素を検出するステップと、二つのオンラインエッジ画素が非オンラインエッジ画素を介して第２エッジ画素によって連結されるか否かにより、非オンラインエッジ画素が原稿の端部を表すか否かを判定するステップと、をコンピュータに実行させる。

本発明によれば、読み取った画像から原稿の端部を精度よく検出することが可能な画像処理装置、画像処理方法及びそのような画像処理方法をコンピュータに実行させるコンピュータプログラムを提供することができる。

本発明を適用した画像処理システムのハードウェア構成図である。 画像処理回路の機能ブロック図である。 端部検出処理及び補正処理の動作を示すフローチャートである。 入力画像の例を示す模式図である。 原稿の左端についての端部検出処理を説明するための模式図である。 図４の入力画像についての第１エッジ画素の例を示す模式図である。 端部検出処理の動作の例を示すフローチャートである。 原稿の左端と上端を連結させる処理を説明するための模式図である。 補正処理の動作の例を示すフローチャートである。 補正画像の例を示す模式図である。 従来の補正画像の例を示す模式図である。 他の画像処理システムのハードウェア構成図である。

以下、本発明に係る画像処理装置、画像処理方法及びコンピュータプログラムについて図を参照しつつ説明する。但し、本発明の技術的範囲はそれらの実施の形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。

図１は、本発明を適用した画像処理システムのハードウェア構成図である。図１に示すように、画像処理システム１は、画像読取装置１０と、情報処理装置２０とを有する。画像読取装置１０は、例えばイメージスキャナ、デジタルカメラ等であり、情報処理装置２０は、例えば画像読取装置１０に接続して用いられるパーソナルコンピュータ等である。

画像読取装置１０は、画像入力装置１１と、第１画像メモリ１２と、第１インターフェース装置１３と、第１記憶装置１４と、第１ＣＰＵ１５と、画像処理回路１６とを有する。以下、画像読取装置１０の各部について詳細に説明する。

画像入力装置１１は、撮像対象物である原稿、風景、人物等を撮像する撮像センサを有する。なお、以下では、撮像対象物が原稿であるものとして説明する。この撮像センサは、１次元又は２次元に配列されたＣＣＤ、ＣＭＯＳ等の撮像素子と、撮像素子に撮像対象物の像を結像する光学系を備え、各撮像素子は、ＲＧＢ各色に対応するアナログ値を出力する。そして、画像入力装置１１は、撮像センサが出力した各アナログ値をデジタル値に変換して画素データを生成し、生成した各画素データから構成される画像データ（以下、ＲＧＢ画像と称する）を生成する。このＲＧＢ画像は、各画素データが、例えばＲＧＢ各色毎に８ｂｉｔで表される計２４ｂｉｔのＲＧＢ値からなるカラー画像データとなる。

そして、画像入力装置１１は、ＲＧＢ画像の各画素のＲＧＢ値を輝度値及び色差値（ＹＵＶ値）に変換した画像（以下、入力画像と称する）を生成し、第１画像メモリ１２に保存する。なお、ＹＵＶ値は、例えば以下の式により算出することができる。
Ｙ値＝ ０．３０×Ｒ値＋０．５９×Ｇ値＋０．１１×Ｂ値 （１）
Ｕ値＝−０．１７×Ｒ値−０．３３×Ｇ値＋０．５０×Ｂ値 （２）
Ｖ値＝ ０．５０×Ｒ値−０．４２×Ｇ値−０．０８×Ｂ値 （３）

第１画像メモリ１２は、不揮発性半導体メモリ、揮発性半導体メモリ、磁気ディスク等の記憶装置を有する。第１画像メモリ１２は、画像入力装置１１と接続され、画像入力装置１１により生成された入力画像を保存するとともに、画像処理回路１６と接続され、画像処理回路１６により入力画像に対して画像処理がなされた各種の処理画像を保存する。

第１インターフェース装置１３は、例えばＵＳＢ等のシリアルバスに準じるインターフェース回路を有し、情報処理装置２０と電気的に接続して画像データ及び各種の情報を送受信する。また、第１インターフェース装置１３にフラッシュメモリ等を接続して第１画像メモリ１２に保存されている画像データを保存するようにしてもよい。

第１記憶装置１４は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等のメモリ装置、ハードディスク等の固定ディスク装置、又はフレキシブルディスク、光ディスク等の可搬用の記憶装置等を有する。また、第１記憶装置１４には、画像読取装置１０の各種処理に用いられるコンピュータプログラム、データベース、テーブル等が格納される。コンピュータプログラムは、例えばＣＤ−ＲＯＭ（compact disk read only memory）、ＤＶＤ−ＲＯＭ（digital versatile disk read only memory）等のコンピュータ読み取り可能な可搬型記録媒体から、公知のセットアッププログラム等を用いて第１記憶装置１４にインストールされてもよい。

第１ＣＰＵ１５は、画像入力装置１１、第１画像メモリ１２、第１インターフェース装置１３、第１記憶装置１４、及び画像処理回路１６と接続され、これらの各部を制御する。第１ＣＰＵ１５は、画像入力装置１１の入力画像生成制御、第１画像メモリ１２の制御、第１インターフェース装置１３を介した情報処理装置２０とのデータ送受信制御、第１記憶装置１４の制御、画像処理回路１６による画像処理の制御等を行う。

画像処理回路１６は、第１画像メモリ１２に接続され、原稿の端部を検出する検出処理、入力画像を補正する補正処理等を行う。この画像処理回路１６は、第１ＣＰＵ１５に接続され、第１ＣＰＵ１５からの制御により予め第１記憶装置１４に記憶されているプログラムに基づいて動作する。あるいは、画像処理回路１６は、独立した集積回路、マイクロプロセッサ、ファームウェア等で構成されてもよい。

情報処理装置２０は、第２インターフェース装置２１と、第２画像メモリ２２と、表示装置２３と、第２記憶装置２４と、第２ＣＰＵ２５とを有する。以下、情報処理装置２０の各部について詳細に説明する。

第２インターフェース装置２１は、画像読取装置１０の第１インターフェース装置１３と同様のインターフェース回路を有し、情報処理装置２０と画像読取装置１０とを接続する。

第２画像メモリ２２は、画像読取装置１０の第１画像メモリ１２と同様の記憶装置を有する。第２画像メモリ２２には、第２インターフェース装置２１を介して画像読取装置１０から受信した画像データ及び各種の情報が保存される。

表示装置２３は、液晶、有機ＥＬ等から構成されるディスプレイ及びディスプレイに画像データを出力するインターフェース回路を有し、第２画像メモリ２２と接続されて第２画像メモリ２２に保存されている画像データをディスプレイに表示する。

第２記憶装置２４は、画像読取装置１０の第１記憶装置１４と同様のメモリ装置、固定ディスク装置、可搬用の記憶装置等を有する。第２記憶装置２４には、情報処理装置２０の各種処理に用いられるコンピュータプログラム、データベース、テーブル等が格納される。コンピュータプログラムは、例えばＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等のコンピュータ読み取り可能な可搬型記録媒体から、公知のセットアッププログラム等を用いて第２記憶装置２４にインストールされてもよい。

第２ＣＰＵ２５は、第２インターフェース装置２１、第２画像メモリ２２、表示装置２３及び第２記憶装置２４と接続され、これらの各部を制御する。第２ＣＰＵ２５は、第２インターフェース装置２１を介した画像読取装置１０とのデータ送受信制御、第２画像メモリ２２の制御、表示装置２３の表示制御、第２記憶装置２４の制御等を行う。

図２は、画像処理回路１６の機能ブロック図である。図２に示すように画像処理回路１６は、第１エッジ画素検出部１０１、直線検出部１０２、分類部１０３、第２エッジ画素検出部１０４、判定部１０５及び補正部１０６を有する。

図３は、画像読取装置１０による端部検出処理及び補正処理の動作を示すフローチャートである。以下、図３に示したフローチャートを参照しつつ、端部検出処理及び補正処理の動作を説明する。なお、以下に説明する動作のフローは、予め第１記憶装置１４に記憶されているプログラムに基づき主に第１ＣＰＵ１５により画像読取装置１０の各要素と協同して実行される。

最初に、画像入力装置１１は、撮像対象物（原稿）を撮影した入力画像を生成し、第１画像メモリ１２に保存する（ステップＳ１０１）。

図４は、入力画像４００の例を示す模式図である。図４に示すように、入力画像４００から原稿４０１の端部を適切に検出できるように、画像入力装置１１は、入力画像４００に原稿４０１の端部が確実に含まれるように、想定される原稿サイズよりも大きい範囲を読み取って入力画像４００を生成する。

次に、第１エッジ画素検出部１０１は、第１画像メモリ１２に保存された入力画像の輝度成分（以下、入力画像の輝度成分による画像を輝度画像と称する）を読み出し、輝度画像からエッジ画素を検出する（ステップＳ１０２）。第１エッジ画素検出部１０１は、原稿の左端及び右端に対応するエッジ画素を垂直方向に所定間隔毎に検出し、原稿の上端及び下端に対応するエッジ画素を水平方向に所定間隔毎に検出する。以下では、第１エッジ画素検出部１０１が検出するエッジ画素を第１エッジ画素と称する。

図５は、原稿の左端についての端部検出処理を説明するための模式図である。図５に示すように、第１エッジ画素検出部１０１は、輝度画像５００において、幅Ｗ１の間隔毎に定められた、第１エッジ画素を検出すべき各垂直位置５０１〜５０９について、輝度画像５００内の最左端の各画素５１１〜５１９から右方向に画素を走査していく。第１エッジ画素検出部１０１は、水平方向の両隣の画素の輝度値の差の絶対値（以下、隣接差分値と称する）が最初に閾値Ｔ１を越えた各画素５２１〜５２９をそれぞれその垂直位置における第１エッジ画素とする。幅Ｗ１は、例えば２ｍｍに相当する画素数に設定することができ、入力画像の解像度が３００ｄｐｉである場合、２３画素に設定される。閾値Ｔ１は、例えば、人が画像上の輝度の違いを目視により判別可能な輝度値の差（例えば２０）に設定することができる。

同様に、第１エッジ画素検出部１０１は、各垂直位置について、輝度画像内の最右端の画素から左方向に画素を走査していき、水平方向の隣接差分値が最初に閾値Ｔ１を越えた画素を原稿の右端に対応する第１エッジ画素とする。

また、第１エッジ画素検出部１０１は、第１エッジ画素を検出すべき各水平位置について、輝度画像内の最上端の画素から下方向に画素を走査していき、垂直方向の隣接差分値が最初に閾値Ｔ１を越えた画素を原稿の上端に対応する第１エッジ画素とする。同様に、第１エッジ画素検出部１０１は、各水平位置について輝度画像内の最下端の画素から上方向に画素を走査していき、垂直方向の隣接差分値が最初に閾値Ｔ１を越えた画素を原稿の下端に対応する第１エッジ画素とする。

図６は、図４の入力画像について検出される第１エッジ画素の例を示す模式図である。図６に示すように、原稿の左端に対応して第１エッジ画素６０１が検出され、右端に対応して第１エッジ画素６０２が検出され、上端に対応して第１エッジ画素６０３が検出され、下端に対応して第１エッジ画素６０４が検出されている。なお、左端に対応する第１エッジ画素６０１のうちの第１エッジ画素６０５、及び上端に対応する第１エッジ画素６０３のうちの第１エッジ画素６０６は、原稿の左上の破損部６２１に沿って検出されている。また、下端に対応する第１エッジ画素６０４のうちの第１エッジ画素６０７は、原稿の下端の破損部６２２に沿って検出され、第１エッジ画素６０８は、下端に接しているバーコード６２３上に検出されている。

次に、直線検出部１０２は、第１エッジ画素検出部１０１が検出した第１エッジ画素から直線を検出する（ステップＳ１０３）。直線検出部１０２は、原稿の左端に対応する第１エッジ画素からハフ変換を用いて原稿の左端に対応する直線を検出する。なお、直線検出部１０２は、最小二乗法を用いて直線を検出してもよい。

図５に示すように、直線検出部１０２は、原稿の左端に対応する第１エッジ画素５２１〜５２９から直線５３１を検出する。

同様に、直線検出部１０２は、原稿の右端に対応する第１エッジ画素から原稿の右端に対応する直線を検出し、原稿の上端に対応する第１エッジ画素から原稿の上端に対応する直線を検出し、原稿の下端に対応する第１エッジ画素から原稿の下端に対応する直線を検出する。

図６に示す例では、原稿の左端に対応する第１エッジ画素６０１から直線６１１、右端に対応する第１エッジ画素６０２から直線６１２、上端に対応する第１エッジ画素６０３から直線６１３、下端に対応する第１エッジ画素６０４から直線６１４が検出される。左端に対応する第１エッジ画素６０１について、破損部６２１のため、本来の原稿の左端を表す直線上にない第１エッジ画素６０５が存在する。しかし、ほとんどの第１エッジ画素６０１は本来の左端を表す直線上に存在するため、直線６１１は本来の左端を表す直線と略等しい位置に検出される。上端に対応する第１エッジ画素６０３及び下端に対応する第１エッジ画素６０４についても同様に、直線６１３及び直線６１４は、それぞれ本来の上端及び下端を表す直線と略等しい位置に検出される。

次に、分類部１０３は、第１エッジ画素検出部１０１が検出した第１エッジ画素を、直線検出部１０２が検出した直線から所定距離内にあるオンラインエッジ画素と、所定距離内にない非オンラインエッジ画素とに分類する（ステップＳ１０４）。所定距離は、その第１エッジ画素が直線上に存在するとみなせる場合にオンラインエッジ画素に分類されるように設定され、例えば４画素とすることができる。分類部１０３は、原稿の端部に対応する各第１エッジ画素とその端部に対応する直線との間の距離を算出し、算出した距離が所定距離内である場合、その第１エッジ画素をオンラインエッジ画素と判定し、所定距離内でない場合、非オンラインエッジ画素と判定する。

図５に示すように、分類部１０３は、直線５３１の近傍に位置する第１エッジ画素５２１、５２２、５２５、５２６及び５２９をオンラインエッジ画素に分類し、直線５３１の近傍に位置しない第１エッジ画素５２３、５２４、５２７及び５２８を非オンラインエッジ画素に分類する。

図６に示す例では、分類部１０３は、破損部６２１により検出された第１エッジ画素６０５及び６０６、破損部６２２により検出された第１エッジ画素６０７並びにバーコード６２３により検出された第１エッジ画素６０８は非オンラインエッジ画素に分類される。一方、その他の第１エッジ画素はオンラインエッジ画素に分類される。

次に、第２エッジ画素検出部１０４及び判定部１０５は、端部検出処理を実施する（ステップＳ１０５）。端部検出処理において、第２エッジ画素検出部１０４は、第１エッジ画素の間にエッジ画素を検出する（以下、第２エッジ画素検出部１０４が検出するエッジ画素を第２エッジ画素と称する）。判定部１０５は、第１エッジ画素及び第２エッジ画素から原稿の端部を検出する。端部検出処理の詳細については後述する。

次に、補正部１０６は、補正処理を実施する（ステップＳ１０６）。補正処理において、補正部１０６は、入力画像について、端部検出処理で検出された原稿の端部の外側の領域を補正した補正画像を生成する。補正処理の詳細については後述する。

次に、第１ＣＰＵ１５は、補正画像を第１インターフェース装置１３を介して情報処理装置２０に送信し（ステップＳ１０７）、一連のステップを終了する。

一方、情報処理装置２０の第２ＣＰＵ２５は、第２インターフェース装置２１を介して画像読取装置１０から入力画像を受信すると、受信した入力画像を第２画像メモリ２２に保存する。また、第２ＣＰＵ２５は、利用者が目視確認できるように入力画像を表示装置２３に表示させる。

図７は、端部検出処理の動作の例を示すフローチャートである。

図７に示す動作のフローは、図３に示すフローチャートのステップＳ１０５において実行される。なお、端部検出処理は、原稿の左端、右端、上端及び下端についてそれぞれ実行されるが、以下では代表して左端の検出処理について説明する。なお、この検出処理では、原稿の左端に対応する各第１エッジ画素について、上側に位置する第１エッジ画素から順に、下側に位置する第１エッジ画素の方へ向かって処理が進められるものとする。

最初に、第２エッジ画素検出部１０４は、原稿の左端に対応する第１エッジ画素の中で最も上に位置するオンラインエッジ画素を検出し、そのオンラインエッジ画素を注目画素として指定する（ステップＳ２０１）。図５に示す例では、最初に第１エッジ画素（オンラインエッジ画素）５２１が注目画素として指定される。

次に、第２エッジ画素検出部１０４は、注目画素の次の（下の）位置にある第１エッジ画素がオンラインエッジ画素であるか否かを判定する（ステップＳ２０２）。図５に示す例では、第１エッジ画素５２１が注目画素として指定された場合、次の位置にある第１エッジ画素５２２がオンラインエッジ画素であるか否かが判定される。

次に、第２エッジ画素検出部１０４は、注目画素（オンラインエッジ画素）の次の位置にある第１エッジ画素がオンラインエッジ画素である場合、その二つのオンラインエッジ画素、及びその二つのオンラインエッジ画素の間の直線上の各画素が原稿の端部を表すと判定する（ステップＳ２０３）。図５に示す例では、第１エッジ画素５２２がオンラインエッジ画素であると判定され、第１エッジ画素５２１と第１エッジ画素５２２の間の直線上の各画素５４１が原稿の端部を表すと判定される。

一方、第２エッジ画素検出部１０４は、注目画素の次の位置にある第１エッジ画素がオンラインエッジ画素でない場合、さらに下方向の第１エッジ画素を順次探索していき、オンラインエッジ画素を検出するまで第１エッジ画素を探索する。第２エッジ画素検出部１０４は、オンラインエッジ画素を検出すると、注目画素と検出したオンラインエッジ画素の間に存在する全ての非オンラインエッジ画素と、検出したオンラインエッジ画素自体とを抽出する（ステップＳ２０４）。図５に示す例では、第１エッジ画素５２２が注目画素である場合、オンラインエッジ画素である第１エッジ画素５２５が検出されるまで第１エッジ画素が探索され、第１エッジ画素５２２、５２３、５２４及び５２５が抽出される。

次に、第２エッジ画素検出部１０４は、ステップＳ２０４で抽出した非オンラインエッジ画素が原稿の端部を表す画素であるか否かを判定するためのカウンタをリセットする（ステップＳ２０５）。なお、このカウンタは、隣接する第１エッジ画素の間で第２エッジ画素を検出した回数をカウントするカウンタであり、後述するように、第２エッジ画素を一つ検出する度にインクリメントされる。

次に、第２エッジ画素検出部１０４は、カウンタが閾値Ｔ２を越えたか否かを判定する（ステップＳ２０６）。

次に、第２エッジ画素検出部１０４は、カウンタが閾値Ｔ２を越えていない場合、注目画素に隣接する画素の中に、最も新しく検出された第１エッジ画素の次の（下の位置にある）第１エッジ画素が存在するか否かを判定する（ステップＳ２０７）。

次に、第２エッジ画素検出部１０４は、注目画素に隣接する画素の中に次の第１エッジ画素が存在しない場合、注目画素に隣接する各画素のエッジ強度を算出する（ステップＳ２０８）。第２エッジ画素検出部１０４は、対象となる画素の水平方向の隣接差分値、垂直方向の隣接差分値、左上に隣接する画素と右下に隣接する画素についての隣接差分値、及び左下に隣接する画素と右上に隣接する画素についての隣接差分値のうち、最大となる隣接差分値をエッジ強度として算出する。

次に、第２エッジ画素検出部１０４は、注目画素に隣接する画素のうち、まだ第２エッジ画素として検出されていず、且つエッジ強度が最も大きい画素を第２エッジ画素として検出し、検出した第２エッジ画素を次の注目画素に指定する（ステップＳ２０９）。図５に示す例では、第１エッジ画素５２２が注目画素である場合、画素５４２が第２エッジ画素として検出され、次の注目画素に指定される。このように、第２エッジ画素５４２は、ステップＳ２０１で注目画素に指定されていたオンラインエッジ画素と、ステップＳ２０４で抽出されたオンラインエッジ画素との間で検出される。

次に、第２エッジ画素検出部１０４は、カウンタをインクリメントする（ステップＳ２１０）。次に、第２エッジ画素検出部１０４は、処理をステップＳ２０６へ戻し、新たに指定した注目画素についてステップＳ２０６以降の処理を繰り返す。

なお、第２エッジ画素検出部１０４は、現在の注目画素をその前の注目画素から検出した方向、つまり注目画素が遷移する方向に応じて、現在の注目画素の隣接画素全てについて、エッジ強度の重み付けを行い、重み付けされたエッジ強度が最も大きい画素を第２エッジ画素として検出してもよい。原稿の端部が折れ曲がっていたり、破れていたりする場合、その折れ曲がっている部分、破れている部分により発生するエッジ画素は一定の方向に向かって連結する可能性が高い。したがって、第２エッジ画素検出部１０４は、注目画素が遷移する方向の画素についてのエッジ強度が高くなるように重み付けを行うことにより、より精度よく第２エッジ画素を検出することができる。

さらに、第２エッジ画素検出部１０４は、検出処理において端部を検出していく方向に応じて、エッジ強度の重み付けを行い、重み付けされたエッジ強度が最も大きい画素を第２エッジ画素として検出してもよい。第２エッジ画素検出部１０４は、原稿の左端を下方向に検出する場合は右下方向の画素、右端を下方向に検出する場合は左下方向の画素、上端を右方向に検出する場合は右下方向の画素、下端を右方向に検出する場合は右上方向の画素についてのエッジ強度が高くなるように重み付けを行う。

一方、第２エッジ画素検出部１０４は、ステップＳ２０７において、注目画素に隣接する画素の中に次の第１エッジ画素が存在した場合、その第１エッジ画素がオンラインエッジ画素であるか否かを判定する（ステップＳ２１１）。図５に示す例では、画素５４２〜５４５が順次第２エッジ画素として検出され、画素５４５が注目画素となったとき、画素５４５に隣接する第１エッジ画素５２３がオンラインエッジ画素であるか否かが判定される。

第２エッジ画素検出部１０４は、その第１エッジ画素がオンラインエッジ画素でない場合、その第１エッジ画素を次の注目画素として指定する（ステップＳ２１２）。図５に示す例では、第１エッジ画素５２３がオンラインエッジ画素であるか否かが判定されると、オンラインエッジ画素でないと判定され、次の注目画素として指定される。

次に、第２エッジ画素検出部１０４は、カウンタをリセットし（ステップＳ２１３）、処理をステップＳ２０６へ戻し、新たに指定した注目画素についてステップＳ２０６以降の処理を繰り返す。

一方、ステップＳ２１１において、第１エッジ画素がオンラインエッジ画素であった場合、判定部１０５は、ステップＳ２０１で注目画素に指定されていたオンラインエッジ画素と、ステップＳ２０４で抽出されたオンラインエッジ画素が非オンラインエッジ画素を介して第２エッジ画素によって連結されたと判定する。この場合、判定部１０５は、ステップＳ２０４で抽出された各第１エッジ画素及びステップＳ２０９で検出された各第２エッジ画素が原稿の端部を表すと判定する（ステップＳ２１４）。図５に示す例では、第１エッジ画素５２５まで到達すると、第１エッジ画素５２２〜５２５及び第２エッジ画素５４２〜５４７が原稿の端部を表すと判定される。

なお、「オンラインエッジ画素が非オンラインエッジ画素を介して第２エッジ画素によって連結された」とは、二つのオンラインエッジ画素の間に非オンラインエッジ画素が一つある場合は、各オンラインエッジ画素と非オンラインエッジ画素の間がそれぞれ第２エッジ画素によって連結されたことを意味する。一方、二つのオンラインエッジ画素の間に非オンラインエッジ画素が複数ある場合は、各オンラインエッジ画素と各オンラインエッジ画素の隣りの非オンラインエッジ画素の間と、互いに隣り合う非オンラインエッジ画素の間とがそれぞれ第２エッジ画素によって連結されたことを意味する。

また、ステップＳ２０６において、カウンタが閾値Ｔ２を越えた場合、判定部１０５は、ステップＳ２０１で注目画素に指定されていたオンラインエッジ画素と、ステップＳ２０４で抽出されたオンラインエッジ画素と、その二つのオンラインエッジ画素の間の直線上の各画素が原稿の端部を表すと判定する（ステップＳ２１５）。図５に示す例では、第１エッジ画素５２７について第２エッジ画素５４８が検出される場合、次の第１エッジ画素５２８に到達する前にカウンタが閾値Ｔ２を越える。この場合、オンラインエッジ画素である第１エッジ画素５２６と第１エッジ画素５２９の間の直線上の画素５４９が原稿の端部を表すと判定される。

前述したように、カウンタは、第２エッジ画素を一つ検出する度にインクリメントされ、第１エッジ画素を検出するとリセットされる。つまり、カウンタが閾値Ｔ２を越えた場合、ある第１エッジ画素から連結して検出された第２エッジ画素は、その第１エッジ画素から所定距離（閾値Ｔ２）以上連結しても次の第１エッジ画素と連結していない。その場合、その第１エッジ画素（非オンラインエッジ画素）及び第２エッジ画素は、次のオンラインエッジ画素とは連結しない可能性が高い。したがって、判定部１０５は、その第１エッジ画素及び第２エッジ画素は、文字、形等の原稿のコンテンツを表しており、原稿の端部を表していないと判定する。さらに、判定部１０５は、その第１エッジ画素（非オンラインエッジ画素）に連結する他の非オンラインエッジ画素及び第２エッジ画素も同様に原稿のコンテンツを表しており、原稿の端部を表していないと判定する。

一方、カウンタが閾値Ｔ２を越える前にリセットされた場合、ある第１エッジ画素から連結して検出された第２エッジ画素は、その第１エッジ画素から所定距離（閾値Ｔ２）以内に次の第１エッジ画素と連結している。そして、二つのオンラインエッジ画素の間が連結した場合、原稿の端部が破損していることにより非オンラインエッジ画素が発生していた可能性が高い。したがって、その場合、判定部１０５は、その連結された各第１エッジ画素及び第２エッジ画素は、原稿の端部を表していると判定する。

ステップＳ２０３、Ｓ２１４又はＳ２１５において判定部１０５が原稿の端部を検出すると、画像処理回路１６は最後のオンラインエッジ画素まで処理を完了したか否かを判定する（ステップＳ２１６）。画像処理回路１６は、最後のオンラインエッジ画素まで処理を完了していない場合、処理をステップＳ２０１へ戻し、ステップＳ２０１〜Ｓ２１５の処理を再度繰り返す。その場合、第２エッジ画素検出部１０４は、ステップＳ２０１において、前回のステップＳ２０１で注目画素に指定されていたオンラインエッジ画素の次のオンラインエッジ画素を新たな注目画素として指定する。一方、画像処理回路１６は、最後のオンラインエッジ画素まで処理を完了した場合、一連のステップを終了する。

同様にして、第２エッジ画素検出部１０４及び判定部１０５は、原稿の右端、上端及び下端を検出する。さらに、第２エッジ画素検出部１０４及び判定部１０５は、検出した原稿の左端、右端、上端及び下端を連結させる処理を行う。

図８は、原稿の左端と上端を連結させる処理を説明するための模式図である。図８に示す例では、原稿の左端について第１エッジ画素８０１〜８０４が検出されており、原稿の上端について第１エッジ画素８１１〜８１４が検出されている。第１エッジ画素８０４及び８１４はオンラインエッジ画素であり、第１エッジ画素８０１〜８０３、８１１〜８１３は非オンラインエッジ画素である。

第１エッジ画素８０１〜８０４及び８１１〜８１４のように、原稿の四隅に存在する第１エッジ画素は、その四隅を構成する二つの端部について重複して検出される場合がある。したがって、判定部１０５は、二つの端部で重複して検出された第１エッジ画素のうちの一方を取り除く。なお、判定部１０５は、オンラインエッジ画素と非オンラインエッジ画素が重複している場合、非オンラインエッジ画素を取り除く。以下では、上端についての第１エッジ画素８１１〜８１３及び左端についての第１エッジ画素８０１が取り除かれたものとして説明する。

第２エッジ画素検出部１０４は、左端についてのオンラインエッジ画素８０４から上端についてのオンラインエッジ画素８１４まで、図７のフローチャートを実行する。第２エッジ画素検出部１０４は、オンラインエッジ画素８０４とオンラインエッジ画素８１４が非オンラインエッジ画素８０３、８０２を介して、第２エッジ画素８０５〜８０７によって連結された場合、非オンラインエッジ画素８０３、８０２及び第２エッジ画素８０５〜８０７が原稿の端部を表すと判定する。

一方、第２エッジ画素検出部１０４は、オンラインエッジ画素８０４とオンラインエッジ画素８１４が連結されなかった場合、左端についての直線８２１と上端についての直線８２２の交点８２３を求める。そして、第２エッジ画素検出部１０４は、交点８２３とオンラインエッジ画素８０４の間の直線上の画素、並びに交点８２３とオンラインエッジ画素８１４の間の直線上の画素が原稿の端部を表すと判定する。

なお、ステップＳ２０７において、第２エッジ画素検出部１０４は、注目画素に隣接する画素の中に次の第１エッジ画素が存在するか否かを判定するのではなく、注目画素から所定範囲内の画素の中に次の第１エッジ画素が存在するか否かを判定してもよい。その場合、第２エッジ画素検出部１０４は、ステップＳ２０８及びＳ２０９において、注目画素から所定範囲内の各画素のエッジ強度を算出し、まだ第２エッジ画素として検出されていず、且つエッジ強度が最も大きい画素を第２エッジ画素として検出する。そして、判定部１０５は、ステップＳ２１４において、ステップＳ２０４で抽出された各第１エッジ画素、ステップＳ２０９で検出された各第２エッジ画素、及び隣り合うエッジ画素の間の直線上の画素が原稿の端部を表すと判定する。つまり、判定部１０５は、次の第１エッジ画素と、検出された第２エッジ画素が所定距離内にあるか否かによって、その第２エッジ画素に対応する非オンラインエッジ画素と、検出された各第２エッジ画素とが原稿の端部を表すか否かを判定する。

図９は、補正処理の動作の例を示すフローチャートである。

図９に示す動作のフローは、図３に示すフローチャートのステップＳ１０６において実行される。なお、補正処理は、端部検出処理で検出された原稿の左端、右端、上端及び下端について実行されるが、以下では、代表して原稿の左端についての補正処理について説明する。以下では、端部検出処理で検出された原稿の端部に対応する第１エッジ画素及び第２エッジ画素を検出エッジ画素と称する。原稿の左端についての補正処理では、原稿の左端に対応する検出エッジ画素について、最も上に位置する検出エッジ画素から最も下に位置する検出エッジ画素の順に処理が進められるものとする。補正部１０６は、最も上に位置する検出エッジ画素を最初の注目画素として補正処理を実行する。

最初に、補正部１０６は、注目画素がオンラインエッジ画素であるか否かを判定する（ステップＳ３０１）。なお、補正処理において、補正部１０６は、注目画素が第２エッジ画素であっても、直線検出部１０２が検出した直線から所定距離内にある場合はオンラインエッジ画素として扱い、所定距離内にない場合は非オンラインエッジ画素として扱う。

次に、補正部１０６は、注目画素がオンラインエッジ画素である場合、入力画像において、垂直方向の位置が注目画素と同一であり、且つ水平方向の位置が注目画素と直線検出部１０２が検出した直線との間にある全ての画素を補正する（ステップＳ３０２）。この場合、補正部１０６は、補正される画素の画素値を注目画素の画素値に変更することにより補正する。これにより、補正部１０６は、原稿の端部の近傍に発生しているノイズ等を除去することができる。なお、補正部１０６は、補正される画素の画素値を、注目画素に対して直線検出部１０２が検出した直線と反対側に所定数だけ離れた位置の画素の画素値に変更してもよい。これにより、補正部１０６は、原稿の背景を表している可能性がより高い画素を用いて原稿の端部の近傍を補正することができる。また、補正部１０６は、補正される画素の画素値を、第１エッジ画素として検出されていた二つのオンラインエッジ画素及びその二つのオンラインエッジ画素の間の全ての検出画素の画素値の平均値に変更することにより補正してもよい。

一方、補正部１０６は、注目画素がオンラインエッジ画素でない場合、オンラインエッジ画素又は最終エッジ画素を検出するまで、さらに下方向の検出エッジ画素を順次探索していく。補正部１０６は、オンラインエッジ画素又は最終エッジ画素を検出すると、その画素を検出するまでに探索した全ての検出エッジ画素と、注目画素自体とを抽出する（ステップＳ３０３）。

次に、補正部１０６は、抽出した全ての検出エッジ画素の画素値の平均値を算出する（ステップＳ３０４）。次に、補正部１０６は、抽出した各検出エッジ画素について、垂直方向の位置がその検出エッジ画素と同一であり、且つ水平方向の位置がその検出エッジ画素と直線検出部１０２が検出した直線との間にある全ての入力画像内の画素を補正する（ステップＳ３０５）。この場合、補正部１０６は、補正される画素の画素値をステップＳ３０４で算出した平均値に変更することにより補正する。これにより、補正部１０６は、原稿が破損している領域について、ムラを発生させることなく補正することができる。なお、補正部１０６は、ステップＳ３０４において、抽出した各検出エッジ画素に対して、直線検出部１０２が検出した直線と反対側に所定数だけ離れた位置の画素の画素値の平均値を算出してもよい。これにより、補正部１０６は、原稿の背景を表している可能性がより高い画素を用いて、原稿が破損している領域を補正することができる。また、補正部１０６は、補正される画素の画素値をその画素と水平方向の位置が同じである検出エッジ画素の画素値に変更することにより補正してもよい。

補正部１０６は、ステップＳ３０２又はステップＳ３０５において補正すると、全ての検出エッジ画素について処理を完了したか否かを判定する（ステップＳ３０６）。補正部１０６は、全ての検出エッジ画素について処理を完了していない場合、ステップＳ３０２又はＳ３０５で補正した画素に対応する検出エッジ画素の次の検出エッジ画素を次の注目画素に指定する。そして、補正部１０６は、処理をステップ３０１へ戻し、ステップＳ３０１〜Ｓ３０６の処理を再度繰り返す。一方、補正部１０６は、全ての検出エッジ画素について処理を完了した場合、一連のステップを終了する。

同様にして、補正部１０６は、原稿の右端、上端及び下端について補正処理を実行し、補正画像を生成する。

以上詳述したように、図３、図７及び図９に示したフローチャートに従って動作することによって、画像読取装置１０は、原稿の端部の近傍に裏当て部と同程度の濃度であるコンテンツが存在する場合でも、その端部の近傍のエッジ画素が原稿の端部を表しているかコンテンツを表しているかを精度よく判定することが可能となった。したがって、画像読取装置１０は、読み取った画像から原稿の端部を精度よく検出することが可能となり、コンテンツを損なうことなく、原稿外の領域を補正することが可能となった。

図１０は、図３、図７及び図９に示すフローチャートに従って、原稿の端部を検出し、入力画像を補正した補正画像１０００の例を示す模式図である。画像読取装置１０は、図６に示したように、入力画像から検出したエッジ画素６０１〜６０４のうち、原稿の破損によるエッジ画素６０５、６０６、６０７を原稿の端部を表す画素として検出し、コンテンツによるエッジ画素６０８を原稿の端部を表す画素でないと判定する。そして、直線６１１〜６１４で囲まれる領域を原稿の外形とし、直線６１１〜６１４と各検出エッジ画素の間の領域を補正して補正画像１０００を生成する。補正画像１０００では、原稿の左上の破損部１００１及び下端の破損部１００２が補正されている。一方、下端に接しているバーコード１００３は、エッジ画素として検出されるが、原稿の端部を表すエッジ画素から除外され、バーコード１００３の近傍は補正されない。

図１１は、従来の補正機能を用いて、入力画像を補正した補正画像１１００の例を示す模式図である。補正画像１１００でも、原稿の左上の破損部１１０１及び下端の破損部１１０２が補正されているが、下端に接しているバーコード１１０３の近傍も誤って補正されてしまい、バーコード１１０３の一部が白くなっている。

図１２は、他の画像処理システム２のハードウェア構成図である。図１２に示す画像処理システム２と、図１に示す画像処理システム１との差異は、画像処理回路を備える装置が異なる点である。すなわち、画像処理システム２では、画像読取装置３０ではなく、情報処理装置４０が画像処理回路４６を有する。この画像処理回路４６は、図１に示した画像読取装置１０の画像処理回路１６と同様の機能を有する。

図１２に示す画像処理システム２では、前述した図３、図７及び図９に示す処理とほぼ同様の処理を実行することができる。以下、図３のフローチャートに示される判定処理についてどのように適応されるかを説明する。画像処理システム２では、ステップＳ１０１の処理は、予め第１記憶装置３４に記憶されているプログラムに基づき主に第１ＣＰＵ３５により画像読取装置３０の各要素と協同して実行され、ステップＳ１０２〜Ｓ１０６の処理は、予め第２記憶装置４４に記憶されているプログラムに基づき主に第２ＣＰＵ４５により情報処理装置４０の各要素と協同して実行される。

ステップＳ１０１において、画像読取装置３０の画像入力装置３１が入力画像を生成して第１画像メモリ３２に保存し、第１ＣＰＵ３５がその入力画像を第１インターフェース装置３３を介して情報処理装置４０に送信する。一方、情報処理装置４０の第２ＣＰＵ４５は、第２インターフェース装置４１を介して画像読取装置３０から入力画像を受信すると、受信した入力画像を第２画像メモリ４２に保存する。

ステップＳ１０２〜Ｓ１０６の処理は、情報処理装置４０の画像処理回路４６によって実行される。これらの処理の動作は、画像処理システム１について説明した画像読取装置１０の画像処理回路１６によって実行される場合と同様である。なお、画像処理システム２では、情報処理装置４０の画像処理回路４６において端部検出処理及び補正処理が実行されるので、ステップＳ１０７における補正画像の送信処理は省略される。

このように、情報処理装置４０が画像処理回路４６を備えて端部検出処理及び補正処理を実行する場合も、画像読取装置が画像処理回路を備えて端部検出処理及び補正処理を実行する場合と同様の効果を得ることができる。

以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、画像読取装置と情報処理装置の機能分担は、図１及び図１２に示す画像処理システムの例に限られず、画像処理回路内の各部を含めて画像読取装置及び情報処理装置の各部を画像読取装置と情報処理装置の何れに配置するかは適宜変更可能である。あるいは、画像読取装置と情報処理装置を一つの装置で構成してもよい。

また、図１に示す画像処理システム１において、画像読取装置１０の第１インターフェース装置１３と、情報処理装置２０の第２インターフェース装置２１を直接接続するのではなく、例えばインターネット、電話回線網（携帯端末回線網、一般電話回線網を含む）、イントラネット等のネットワークを介して接続してもよい。その場合、第１インターフェース装置１３及び第２インターフェース装置２１に、接続するネットワークの通信インターフェース回路を備える。

同様に、図１２に示す画像処理システム２においても、画像読取装置３０の第１インターフェース装置３３と、情報処理装置４０の第２インターフェース装置４１をネットワークを介して接続してもよい。その場合、クラウドコンピューティングの形態で画像処理のサービスを提供できるように、ネットワーク上に複数の情報処理装置４０を分散して配置し、各情報処理装置４０が協同して、端部検出処理、補正処理等の画像処理、画像データの保存等を分担するようにしてもよい。これにより、画像処理システム２は、複数の画像読取装置３０が生成した入力画像について、効率よく端部検出処理、補正処理を実施できる。

１、２ 画像処理システム
１０、３０ 画像読取装置
１０１ 第１エッジ画素検出部
１０２ 直線抽出部
１０３ 分類部
１０４ 第２エッジ画素検出部
１０５ 判定部
１０６ 補正部

Claims (11)

1. 入力画像から複数の第１エッジ画素を検出する第１エッジ画素検出部と、
   前記複数の第１エッジ画素から直線を検出する直線検出部と、
   前記複数の第１エッジ画素を、前記直線から所定距離内にあるオンラインエッジ画素と、前記所定距離内にない非オンラインエッジ画素とに分類する分類部と、
   二つの前記オンラインエッジ画素の間に前記非オンラインエッジ画素が存在する場合、前記二つのオンラインエッジ画素の間で第２エッジ画素を検出する第２エッジ画素検出部と、
   前記二つのオンラインエッジ画素が前記非オンラインエッジ画素を介して前記第２エッジ画素によって連結されるか否かにより、前記非オンラインエッジ画素が原稿の端部を表すか否かを判定する判定部と、
   を有することを特徴とする画像処理装置。
2. 前記第２エッジ画素検出部は、前記二つのオンラインエッジ画素のうちの一方のオンラインエッジ画素から所定範囲内を探索することにより第２エッジ画素を検出し、検出した第２エッジ画素から所定範囲内をさらに探索することにより次の第２エッジ画素をさらに検出する処理を繰り返し、
   前記判定部は、所定回数内に検出された第２エッジ画素の所定範囲内に前記二つのオンラインエッジ画素のうちの他方のオンラインエッジ画素が存在する場合に、前記二つのオンラインエッジ画素が前記非オンラインエッジ画素を介して前記第２エッジ画素によって連結されると判定する、請求項１に記載の画像処理装置。
3. 前記第２エッジ画素検出部は、前記一方のオンラインエッジ画素から所定範囲内の各画素と、前記各画素に隣接する画素との画素値の差をそれぞれ算出し、前記一方のオンラインエッジ画素から所定範囲内において前記画素値の差が最も大きい画素を前記第２エッジ画素として検出する、請求項２に記載の画像処理装置。
4. 前記第２エッジ画素検出部は、前記第２エッジ画素を検出した方向に応じて、前記検出した第２エッジ画素から所定範囲内の画素全てについて、前記画素値の差の重み付けを行い、前記重み付けされた前記画素値の差が最も大きい画素を前記第２エッジ画素として検出する、請求項３に記載の画像処理装置。
5. 前記判定部は、前記非オンラインエッジ画素が原稿の端部を表すと判定した場合、前記第２エッジ画素も原稿の端部を表すと判定する、請求項１〜４の何れか一項に記載の画像処理装置。
6. 前記判定部は、前記直線検出部が検出した一つの直線について検出された二つの前記オンラインエッジ画素が前記非オンラインエッジ画素を介して前記第２エッジ画素によって連結されなかった場合、前記二つのオンラインエッジ画素の間の直線上の画素が原稿の端部を表すと判定する、請求項１〜５の何れか一項に記載の画像処理装置。
7. 前記判定部は、前記直線検出部が検出した二つの直線についてそれぞれ検出された二つの前記オンラインエッジ画素が前記非オンラインエッジ画素を介して前記第２エッジ画素によって連結されなかった場合、前記二つの直線の交点と前記二つのオンラインエッジ画素のそれぞれとの間の直線上の画素が原稿の端部を表すと判定する、請求項１〜６の何れか一項に記載の画像処理装置。
8. 前記原稿の端部を表すと判定された前記非オンラインエッジ画素及び前記第２エッジ画素と前記直線検出部が検出した直線の間の画素を、当該非オンラインエッジ画素及び第２エッジ画素又は当該非オンラインエッジ画素及び第２エッジ画素に対して当該直線と反対側に位置する画素を用いて補正する補正部をさらに有する、請求項１〜７の何れか一項に記載の画像処理装置。
9. 前記補正部は、前記オンラインエッジ画素と前記直線検出部が検出した直線の間の画素を当該オンラインエッジ画素又は当該オンラインエッジ画素に対して当該直線と反対側に位置する画素を用いて補正する補正部をさらに有する、請求項８に記載の画像処理装置。
10. 入力画像から複数の第１エッジ画素を検出するステップと、
    前記複数の第１エッジ画素から直線を検出するステップと、
    前記複数の第１エッジ画素を、前記直線から所定距離内にあるオンラインエッジ画素と、前記所定距離内にない非オンラインエッジ画素とに分類するステップと、
    二つの前記オンラインエッジ画素の間に前記非オンラインエッジ画素が存在する場合、前記二つのオンラインエッジ画素の間で第２エッジ画素を検出するステップと、
    前記二つのオンラインエッジ画素が前記非オンラインエッジ画素を介して前記第２エッジ画素によって連結されるか否かにより、前記非オンラインエッジ画素が原稿の端部を表すか否かを判定するステップと、
    を含むことを特徴とする画像処理方法。
11. 入力画像から複数の第１エッジ画素を検出するステップと、
    前記複数の第１エッジ画素から直線を検出するステップと、
    前記複数の第１エッジ画素を、前記直線から所定距離内にあるオンラインエッジ画素と、前記所定距離内にない非オンラインエッジ画素とに分類するステップと、
    二つの前記オンラインエッジ画素の間に前記非オンラインエッジ画素が存在する場合、前記二つのオンラインエッジ画素の間で第２エッジ画素を検出するステップと、
    前記二つのオンラインエッジ画素が前記非オンラインエッジ画素を介して前記第２エッジ画素によって連結されるか否かにより、前記非オンラインエッジ画素が原稿の端部を表すか否かを判定するステップと、
    をコンピュータに実行させることを特徴とするコンピュータプログラム。