JP6272220B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、撮像画像を処理して領域の境界を示す線分を出力する技術に関する。

カメラ付き携帯電話の普及により、ポスターやホワイトボード、名刺、配布資料など、様々な紙面をカメラによってスキャン（撮像）し、電子文書化する技術が開発されている。しかしながら、撮像された紙面の画像にはカメラと紙面の位置関係に応じて台形状の歪みが生じる。このような歪みを補正し、カメラを従来スキャナの代替として利用する為には、撮像画像における紙面領域の境界を示す線分を正確に取得する必要がある。

撮像画像内の文書などの紙面領域の境界を示す線分を出力するための技術として、まず画像中の直線成分を抽出し、それらの直線と各直線近傍のエッジ画素をもとに複数の線分を抽出する方法がある。例えば、特許文献１では、入力画像から抽出したエッジ画素に対してハフ変換及び最小二乗法を用いて直線を推定する。そしてこれらの直線を、各直線近傍のエッジ画素をもとに複数線分に分割し、紙面領域の境界を示す線分を得る。

特開２０１３−１０５２７６号公報

しかしながら、直線を分割して得た線分の精度が、抽出されたエッジ画素の位置によって決まるため、複数枚の紙面の境界を示す線分の検出結果がノイズなどの影響を受けやすい。そのため、複数枚の紙面を撮像した画像から複数の紙面領域の境界を示す線分を精度良く出力することはできない。

本発明はこのような問題点に鑑みなされたもので、複数枚の紙面を撮像した画像から紙面領域の境界を示す線分を精度良く出力することを目的とする。

上記の課題を解決するために、本発明の画像処理装置は、第一線分を取得する第一線分取得手段と、前記第一線分の周囲のエッジ画素を取得する第一取得手段と、前記エッジ画素に基づいて、第二線分を生成する生成手段と、前記第一線分を境界とする二つの領域の画像特徴量の関係と、前記第二線分を境界とする二つの領域の画像特徴量の関係とに基づいて、何れか一方の線分を選択する選択手段と、を有する。

本発明によれば、複数枚の紙面を撮像した画像から複数の紙面領域の境界を示す線分を精度良く出力することができる。

画像処理装置の構成を示す図である。 紙面検出処理の概要を示す図である。 紙面検出処理を示すフローチャートである。 エッジ検出処理を行う際の機能構成を示す図である。 エッジ検出処理を示すフローチャートである。 第１のノイズ判定処理を説明する図である。 第２のノイズ判定処理を説明する図である。 線分出力処理を示すフローチャートである。 線分フィッティング処理を示すフローチャートである。 線分フィッティングにおける分離度の概念を示す図である。 線分フィッティング処理の具体例を示す図である。 線分候補選択処理の具体例を示す図である。 エッジ画素の追加処理の概要を示す図である。 線分出力処理を行う際の機能構成を示す図である。 紙面領域選択処理を示すフローチャートである。 紙面領域候補と近傍領域を説明する図である。 紙面領域候補の辺近傍領域の分割例を示す図である。 分割領域のスコア算出処理を示すフローチャートである。 分割領域の評価値の例を示す図である。 紙面領域候補の分割領域例を示す図である。 分割領域の評価値の例を示す図である。 エッジ画素の追加処理の具体例を示す図である。

以下、本発明の実施形態について、図面を参照して説明する。以下では本発明を適用する際の一例を説明するが、本実施の形態で説明される特徴の全てが本発明に必須のものとは限らない。

＜第１の実施形態＞
●装置構成
図１は、本実施形態における画像処理装置の構成を示す図である。本実施形態の画像処理装置は、撮像された画像データの入力を行う画像入力部１０１と、ＣＰＵ１０２、ＲＡＭ１０３、記憶部１０４、を有する。ＣＰＵ１０２は画像データに本実施形態の線分出力処理を施す画像処理プログラムを実行する。ＲＡＭ１０３は該プログラムを実行する際のワークメモリやデータの一時保存などに利用される。該プログラムやデータは、記憶部１０４に格納される。

なお、図１に示す画像処理装置の構成は一例であり、ここで示した以外の構成要素を含んでいても良い。また、外部の汎用コンピュータなどを用いて画像処理を実行しても良いし、電子回路上で画像処理を実行しても良い。さらに、画像入力部１０１に入力する画像データは撮像画像に限らず、人工的に作成された画像でも良い。

●紙面検出処理概要
図２は、本実施形態の画像処理装置による紙面検出処理の概要を示す図である。図２（ａ）は画像入力部１０１によって取得する撮像画像データの例であり、複数枚の紙面が配置されている。この撮像画像データに対して本実施形態による紙面検出処理を施すと、図２（ｂ）に示すように各紙面の領域を表す四角形が得られる。以下、このような紙面と背景との境界を表す直線が成す四角形の領域を、紙面領域と称する。また本実施形態では、撮像画像の各画素は輝度値により表現されるものとして説明を行うが、これにより本発明が輝度値による画像データに限定されるものではない。

図３は、本実施形態における紙面検出処理を示すフローチャートである。上述したように本処理は、ＣＰＵ１０２がプログラムを実行することによって実現される。

まず、ステップＳ３０１において、画像入力部１０１で取得された撮像画像データに対してエッジ検出を行う。この処理によって、撮像画像データにおいて輝度勾配の強度が大きい画素がエッジ画素として得られる。エッジ検出処理では、ノイズ相当のエッジを除去する。ここでノイズ相当のエッジとは、文書の辺を構成するエッジではないと推定されるエッジである。

次に、ステップＳ３０２において、ステップＳ３０１で得たエッジ画素の集合からエッジ画素の点列によって構成される直線を生成する。直線生成は、ハフ変換やラドン変換など公知の方法によって行う。続いて、ステップＳ３０３において、ステップＳ３０２で生成された直線とエッジ画素の集合に基づき、線分群を取得する。本実施形態では取得された複数の線分から信頼度の高い線分を紙面領域の境界を示す線分として出力する。なお、本実施形態では、直線は端点を持たず、線分は２つの端点を持つとして区別する。

続いて、ステップＳ３０４において、各線分の位置関係をもとに線分を４本ずつ選択し、紙面領域の候補となる四角形を生成する。そして、最後にステップＳ３０５で、ステップＳ３０４で生成した四角形から、紙面領域を示す四角形を選択する。

以下、図３に示すフローチャートにおける各処理について、詳細に説明する。

●エッジ検出処理
ステップＳ３０１におけるエッジ検出処理について、図４〜７を用いて詳細に説明する。図４は、本実施形態の画像処理装置においてエッジ検出処理を行う際の機能構成を示す図であり、図５は本実施形態のエッジ検出処理を示すフローチャートである。

まず、ステップＳ５０１で撮像画像入力部４０１が、処理対象画像を入力する。次に、ステップＳ５０２でエッジ画像作成部４０２が、入力画像からエッジ画素を抽出したエッジ画像を作成する。このエッジ画像の作成には、エッジ検出のキャニー法（Ｊｏｈｎ Ｆ．Ｃａｎｎｙ）等、周知の手法を用いるとする。そして、ステップＳ５０３で連結画素ブロック作成部４０３が、画素と画素が連なっている連結画素ブロックを作成する。ここで連結画素ブロックとは、エッジ画素が８近傍で連結している画素集合のことである。

そして、ステップＳ５０４で外接矩形作成部４０４が、ステップＳ５０３で作成された連結画素ブロックのそれぞれに外接する矩形を作成する。この時点で、例えば図２（ａ）に示す入力画像であれば、紙面と背景の境界による紙面端エッジと、背景のテクスチャや文書中の文字によるノイズとすべきエッジとの両方が存在している。撮像画像から紙面領域を検出する際には、このノイズとすべきエッジを除去して紙面端エッジのみを抽出することが望ましい。

そこで、本実施形態ではステップＳ５０５以降において、外接矩形の特性を示す各種パラメータから、外接矩形が対応する連結画素ブロックがノイズ相当か否かを判定する。ノイズ相当と判定されれば、この連結画素が除去される。これは、一般に紙面の境界領域に相当する紙面端エッジは直線であり、ノイズによるエッジよりも長い、もしくはノイズによるエッジは一直線に伸びるものではない、という性質を利用したものである。

以下、本実施形態におけるステップＳ５０５〜ステップＳ５０９のノイズ除去処理について、詳細に説明する。

まず、ステップＳ５０５で外接矩形パラメータ比較部４０５が、外接矩形の長辺の長さを所定の閾値（第１の閾値）と比較する。第１ノイズ判定部４０６がこの比較結果から、外接矩形が紙面端エッジを構成する領域（以下、境界領域）の候補であるか否かを判断する。これは、紙面端エッジの外接矩形であれば一方向に長く伸びている可能性が高いという性質を利用している。具体的には、外接矩形の長辺が第１の閾値より短いものは境界領域ではなく、抽出対象外のノイズであると判断してステップＳ５０９に進み、第１ノイズ除去部４０７がこの連結画素ブロックの除去を行う。一方、外接矩形の長辺の長さが第１の閾値以上であれば、境界領域の候補であるとしてこの連結画素ブロックを残したまま、第２のノイズ判定処理であるステップＳ５０６に進む。

ここで図６に、ステップＳ５０５によるノイズ判定処理の具体例を示す。この例では、連結画素ブロック６０１に対する外接矩形６０２の長辺６０３の長さについては、その長さが第１の閾値よりも短いため、この外接矩形６０２を持つ連結画素ブロック６０１はノイズであると判断され、除去される。一方、連結画素ブロック６０４に対する外接矩形６０５の長辺６０６は第１の閾値よりも長いため、この外接矩形６０５を持つ連結画素ブロック６０４は境界領域の候補として残される。

次に、ステップＳ５０６で外接矩形パラメータ比較部４０５が、外接矩形の縦横比（長辺の長さ／短辺の長さ）で所定の閾値（第２の閾値）と比較し、第１ノイズ判定部４０６がこの比較結果から、外接矩形が境界領域候補であるか否かを判断する。ここで、上記ステップＳ５０５の外接矩形の長辺の長さによるノイズでは、背景の大きな模様がある場合等、サイズの大きいノイズでは外接矩形の長辺の長さも長くなり、ノイズと判別されないことがある。これに対しステップＳ５０６のノイズ判定では、紙面の境界領域ならば一方向に長く伸びている可能性が高く、外接矩形が長方形に近くなることに対し、ノイズの場合の外接矩形は正方形に近くなるという性質を利用する。

具体的には、外接矩形の縦横比（長辺の長さ／短辺の長さ）は第２の閾値を超えていれば、境界領域の候補であると判断してステップＳ５０７に進み、この連結画素ブロックを残す。一方、外接矩形の縦横比が第２の閾値以下であればノイズの可能性があるとし、ステップＳ５０８のノイズ判定に進む。

ここで図７に、ステップＳ５０６によるノイズ判定処理の具体例を示す。この例では、連結画素ブロック７０１に対する外接矩形７０２の縦横比（長辺の長さ／短辺の長さ）は第２の閾値よりも大きくなるため、境界領域の候補であると判断してこの連結画素ブロックを残す。一方、連結画素ブロック７０３に対する外接矩形７０４の縦横比は第２の閾値以下となり、ノイズの可能性ありと判定される。ただし、この判定方法では斜め方向に伸びた境界領域の連結画素ブロック７０５についても、その外接矩形７０６の縦横比は第２の閾値以下となってしまう。このような斜め方向に伸びた連結画素ブロック７０５については紙面端エッジである可能性も高いため、ここではまだノイズと判断せず、ステップＳ５０８の第３のノイズ判定に進む。

ステップＳ５０８で外接矩形パラメータ比較部４０５が、外接矩形内の連結画素ブロックの密度を所定の閾値（第３の閾値）と比較し、第１ノイズ判定部４０６がこの比較結果から、外接矩形が境界領域候補であるか否かの判断を行う。上述したように、斜めに伸びている画素ブロックが紙面端エッジであるかノイズであるかは外接矩形の縦横比では判定できないため、外接矩形内の連結画素ブロックの密度による判定を行う。

これは以下の性質を利用している。すなわち、外接矩形が紙面端エッジに対応する境界領域であれば、該矩形内では対角線上に連結画素ブロックがあるだけであるから、該矩形内での画素密度は低くなる。一方、ノイズであれば矩形内のいたるところ、少なくとも境界領域の場合よりも広く画素が分布するので、画素密度が高くなる。外接矩形内の連結画素ブロックの密度が第３の閾値以上であればノイズと判定してステップＳ５０９に進み、この連結画素ブロックの除去を行う。一方、密度が第３の閾値未満であれば境界領域候補と判定してステップＳ５０７に進み、この画素ブロックを残す。

ステップＳ５０８によるノイズ判定処理の具体例を、図７に示す。この例では、連結画素ブロック７０１についてはステップＳ５０６で既に境界領域候補として判定されているため、ステップＳ５０８での処理対象外である。連結画素ブロック７０３については、その外接矩形７０４内に連結画素ブロックが広く分布していることから画素密度が高く、ノイズであると判断されて該画素ブロックが除去される。一方、連結画素ブロック７０５については、その外接矩形７０６内での画素ブロックの広がりが対角線上のみであることから画素密度が低く、境界領域候補として判断されてこの画素ブロックが残される。

以上、図５のフローチャートに示した一連の処理により、処理対象画像からノイズであると判定されたエッジが除去され、境界領域の候補である紙面端エッジが残された画像として出力される。このエッジ検出処理を経た画像であれば、後段の直線・線分出力処理によって境界領域を正しく検出することができる。

●線分出力処理
ステップＳ３０３における線分出力処理について、図８〜１４および図２２を用いて詳細に説明する。

図１４は、本実施形態の画像処理装置において線分出力処理を行う際の機能構成を示す図である。撮像画像入力部１４０１は、撮像画像入力部４０１と同様に、処理対象画像を入力する。エッジ画像作成部１４０２は、ステップＳ５０２〜ステップＳ５０９の処理を行う。直線生成部１４０３は、ステップＳ３０２の直線を生成する。線分出力部１４０４は、本実施形態の線分出力処理を行う。また、線分出力部１４０４を複数のより詳細な機能構成部分に分けることができる。さらに、本実施形態は上述した構成に限定されず、例えば、エッジ画像作成部１４０２は、図４のエッジ画像作成部４０２と同様にステップＳ５０２のエッジ画像の作成処理だけを行ってもよい。

次に、本実施形態の詳細な機能構成部分について説明する。図８は、線分出力処理を示すフローチャートである。

まず、ステップＳ８０１において、ステップＳ３０２で得た直線群に基づき、ステップＳ５０２で得たエッジ画素群からエッジ画素を選択し、ステップＳ３０１で得たエッジ画素群に該エッジ画素を追加する。ステップＳ３０１で得られるエッジ画素群（エッジ画像）は、精度良く直線を生成する為にノイズ除去が行われている。しかしながら本実施形態における線分出力処理では、直線近傍にあるエッジ画素をもとに線分を生成するため、直線近傍のエッジ画素はノイズとして除去されないのが望ましい。そこでステップＳ８０１では、エッジ画素追加部１４０５が、ステップＳ５０２で得たエッジ画像に対して各直線から所定距離内（Ｎ１）にあるエッジ画素を、ステップＳ３０１で得たエッジ画像に追加する。得られたエッジ画素群、を以降の処理で用いる。なお、所定距離Ｎ１としては、例えば２ｍｍに相当する画素数を用いる。

エッジ画素追加処理の概略について、図１３を用いて説明する。図１３（ａ）は、ステップＳ５０２の処理によって作成されたエッジ画像の一例を示す。図１３（ｂ）は、ステップＳ５０７の処理によって残されたエッジ画素１３０１および、ステップＳ５０９の処理によってノイズとして除去されたエッジ画素１３０２を示す。このエッジ画素１３０１だけを含むエッジ画像がステップ３０１で得られるエッジ画像である。

図１３（ｃ）は、ステップＳ３０２の処理によって生成された直線１３０５を示す。直線１３０５に対して、エッジ画素が存在する部分に線分が存在し、エッジ画素が存在しない部分に線分が存在しないと推定する。直線１３０５の近傍（直線１３０５の周囲）において、エッジ画素とエッジ画素の間隔が所定値ｎ以上（所定値以上）の場合は、そのエッジ画素を境界に直線１３０５を線分に分割する。直線１３０５を分割すると、図１３（ｄ）に示すように、短い線分１３０６が得られる。ここで、エッジ画素追加部１４０５が、直線１３０５から所定距離内にあって、ノイズとして除去されたエッジ画素１３０４をエッジ画素１３０１のエッジ画像に追加してから、直線１３０５を線分に分割すると、正しい線分１３０７が得られる。直線を線分に分割する処理は、後述するステップＳ８０２において線分抽出部１４０６が行う本実施形態の線分出力処理の一部である。

図２２に、図１３で説明したエッジ画素追加処理により、エッジ画素が追加されてから、線分出力処理を行う具体例を示す。図２２（ａ）は、ステップＳ５０２で得たエッジ画素群を表す画像であり、各黒画素がエッジ画素である。領域２２０１は紙面領域と背景領域の境界を表し、領域２２０１より右側が背景領域である。ここでは、領域２２０１だけに着目して、エッジ画素の追加処理について説明する。

図２２（ｂ）は、図２２（ａ）のエッジ画像に対してノイズ除去を行った結果である。図２２（ｂ）では領域２２０２のエッジ画素がノイズと誤検知され、削除されている。このようにノイズとして誤検知されるのは、例えば紙面の端まで写真が印刷されている場合に、写真の一部と背景領域との画素値の差が小さくなるために生じることがある。

図２２（ｃ）は、図２２（ｂ）のエッジ画素群に対して、ステップＳ３０２の直線生成処理を施して得た直線群である。図２２（ｃ）では説明をわかりやすくするために、領域２２０１から生成した直線だけを直線として示し、その他の領域から生成した直線は線分として示した。

これらの直線群に対して、線分抽出部１４０６が直線を線分に分割する処理を施した場合、得られる線分は図２２（ｄ）に示すような短い線分である。図２２（ｂ）で領域２２０２のエッジ画素の一部がノイズとして除去されたので、エッジ画素の存在しない直線部の長さが所定値ｎ以上（所定値以上）となり、エッジ画素の存在しない直線部は切断されて、領域２２０１の直線から複数の線分が抽出されてしまう。

このような線分の誤検知を防ぐために、ステップＳ８０１では、図２２（ｂ）のエッジ画素群に対して、図２２（ｃ）の直線近傍にあって、図２２（ａ）のエッジ画像から除去された画素群を加えたエッジ画素群を生成する。その結果、図２２（ｅ）のエッジ画像が得られる。図２２（ｅ）のエッジ画像に基づいて、線分抽出部１４０６が直線を線分に分割すると、図２２（ｆ）に示すように正しい線分が得られる。

図２２（ｆ）の処理結果から、写真が紙面の端まで印刷されている場合でも、紙面領域と背景領域の境界を表す線分が精度良く得られる。

図８に戻り、次に、ステップＳ８０２において、線分抽出部１４０６が、ステップＳ３０２で直線生成部１４０３によって生成された各直線を複数の線分に分割する。具体的には、まずステップＳ８０１で得られたエッジ画素群から、直線から所定距離内（Ｎ２）内にエッジ画素を抽出する。そして、抽出されたエッジ画素間の距離が所定値ｎより小さいのであれば、それらは同一線分の要素であると判定する。エッジ画素間の距離が所定値ｎより大きいのであれば、それらは異なる線分の要素であると判定する。

ここで、距離が所定値ｎより大きい２点のエッジ画素をそれぞれエッジ画素ｐｉ、エッジ画素ｐｊとする。エッジ画素ｐｊとエッジ画素ｐｊは、それぞれ異なる線分の端点であると判定し、エッジ画素ｐｉ、ｐｊを直線に正射影してえる座標を端点とする線分を生成する。所定距離Ｎ２は、例えばステップＳ８０１で定めた所定距離Ｎ１と同値とする。また所定値ｎとしては、例えば図２（ａ）に示す複数紙面のように、処理対象画像における紙面間の最小間隔以上の値を設定する必要があり、例えば５ｃｍに相当する画素数を設定する。

次に、ステップＳ８０３で、ステップＳ８０２で得た各線分について線分近傍（線分の周囲）のエッジ画素に対するフィッティングを行う。フィッティング処理は、分割処理で得られた各線分に対して、その近傍のエッジ画素を用いて、さらに線分を生成して、線分を出力する処理である。このフィッティング処理の詳細は、図９〜１１を用いて後述する。

ステップＳ８０２及びステップＳ８０３の処理を全直線及び全線分について行った後に、ステップＳ８０４で線分候補選択部１４１２が選択処理の対象となる２本の線分から複数の線分候補を生成し、この複数の線分候補から１本の線分を選択する。２本の線分の線分間距離、線分間角度がいずれも閾値以下である場合に、線分候補選択部１４１２がこの２本の線分を選択処理の対象として判定する。この判定は、ステップＳ８０３の線分フィッティング処理で得られた線分の全てに対して行う。ここで、例えば画像中の紙面枚数が１枚であることが既知の場合には、同一直線上にある２本の線分に対して、積極的に選択処理する必要がある。この場合、線分間距離の閾値を大きくすると、閾値以内の距離で並列した２線分も選択処理の対象となり、意図しない結果が得られてしまう。そこで、選択条件として、両線分の中点同士を結んだ線分と、２線分それぞれが成す角度に対して閾値を与えることで、延長線上にある線分のみを選択処理の対象とすることができる。この選択処理の具体例については、図１２を用いて後述する。

選択処理によって選択された線分は、ステップＳ８０５で再度フィッティング処理を行う。これを全線分について行い、線分出力処理を終了する。

●線分フィッティング処理
ここで、ステップＳ８０３およびステップＳ８０５における線分フィッティング処理について、図９のフローチャートを用いて詳細に説明する。

まず、ステップＳ９０１で、信頼度算出部１４０８が、処理対象の線分（線分１）の信頼度を、［線分長］×［分離度］／［平均二乗誤差］によって定める計算式を用いて算出する。ここで、［線分長］は、処理対象の線分の長さである。［分離度］は、線分の両面の輝度がどの程度分離しているかを表す指標である。［平均二乗誤差］は、エッジ画素が線分近傍（線分の周囲の所定範囲）に密集している度合い（密集度合い）を表す指標である。ここで、［分離度］は以下の式（１）によって算出される。

ここで、Ｎ_１は領域１の画素数、Ｎ_２は領域２の画素数
ｍ_１は領域１の平均輝度値、ｍ_２は領域２の平均輝度値
ｍは領域１−領域２の平均輝度値
ｓ_ｉは画素ｉの輝度値
式（１）において領域１は、線分を一辺とする幅ｗの一方の領域とし、領域２は、この線分を一辺とする領域１と重ならない幅ｗのもう一方の領域とする。また、入力画像データが多値データ（例えば、ＲＧＢの３値データ）である場合にも信頼度を算出できる。例えば、多値空間（ＲＧＢ空間）において、領域１の平均値と領域２の平均値を通る直線に全画素値を射影して得る値を輝度値に置き換えて、式１により分離度などを算出して、信頼度を算出してもよい。

［平均二乗誤差］は、線分と線分から距離Ｄ以内にあるエッジ画素の距離を二乗した平均について、さらに平方根を取った値である。本実施形態では、ｗ及びＤを、ステップＳ８０１のエッジ画素群抽出の際に用いた所定距離Ｎ１と同じ値とする。

即ち、領域の境界を示す線分としての信頼度は、線分近傍のエッジ画素の分布と、線分を境界とする二つの領域の画像特徴量の関係とに基づいて算出する。また、信頼度は、線分近傍のエッジ画素の分布のみ、又は線分を境界とする二つの領域の画像特徴量の関係のみに基づいて算出してもよい。線分近傍のエッジ画素の分布は、例えば、エッジ画素が線分の周囲の所定範囲に密集している度合いである平均二乗誤差を用いて表すことができる。また、線分を境界とする二つの領域の画像特徴量の関係は、例えば、線分の両側の輝度がどの程度分離しているかの指標である分離度を用いて表すことができる。

ここで図１０に分離度の概念図を示す。図６（ａ）において、線分１００１を境界とする領域１００２ａ、１００２ｂの輝度ヒストグラムが、１００３ａ、１００３ｂである。同様に、図６（ｂ）の各領域から得たヒストグラムを１００４ａ、１００４ｂに示した。この例の場合、図１０（ｂ）よりも図１０（ａ）の方は分離度が高い値となる。

線分の信頼度は、線分が長く、線分を境界とする両面で輝度の変化が大きく、エッジ画素が線分近傍に密集している場合に大きくなる指標である。該信頼度は式（１）に限らず、その変形又は別の式を用いても良い。例えば、［線分長］を［距離Ｄ以内のエッジ画素数］に置き換えられる。また［分離度］を［領域１と領域２の最大輝度差（あるいは平均輝度差）］に置き換えられる。また［平均二乗誤差］を［エッジ画素と線分の距離総和］に置き換えられる。また［平均二乗誤差］を［距離Ｄ以内のエッジ画素群の輝度勾配方向の分散］に置き換えられる。また、線分の信頼度に［距離Ｄ以内のエッジ画素群の輝度勾配強度の総和］を係数として掛ける、などの変形が可能であり、さらに上述の変形方法に限らない。

また、信頼度算出部１４０８を、さらに、線分長算出部、分離度算出部と平均二乗誤差算出部に分けることができる。線分長、分離度と平均二乗誤差のそれぞれに重み付けを行ってもよい。例えば、比較対象となる２本の線分について、線分長、平均二乗誤差の何れも差が小さい場合は、分離度算出部が算出する分離度を信頼度として用いてもよい。

図９に戻り、ステップＳ９０２でエッジ画素取得部１４０９が線分１から所定距離（Ｄ）内のエッジ画素群Ｅ１を取得する。次に、ステップＳ９０３で、線分取得部１４１０がエッジ画素群Ｅ１から新たに線分２を求める。まず、エッジ画素群Ｅ１に対して、主成分分析などの処理を適用して、直線を生成する。主成分分析は、点群の分散が最も大きくなる方向を求める方法である。次に、このエッジ画素群Ｅ１から生成された直線と、エッジ画素群Ｅ１を包含する外接矩形の交点を端点とする線分を線分２として取得する。

次に、ステップＳ９０４で、ステップＳ９０１で求めた線分１の信頼度と同様に線分２の信頼度を求める。そして、ステップＳ９０５で、線分選択部１４１１が線分１の信頼度と線分２の信頼度を比較し、大きい方を線分Ａとして選択する。ここで線分Ａとして線分１が選択された場合にはステップＳ９０６に進み、所定距離ＤをＤ以下の値に更新する。例えば、Ｄ＝Ｄ／２とする。線分Ａとして線分２が選択された場合には、所定距離Ｄを小さい値に更新せず、そのままステップＳ９０７に進む。

ステップＳ９０７では、線分Ａから所定距離Ｄ以下のエッジ画素群Ｅ２を取得する。線分Ａが線分１である場合、エッジ画素群Ｅ２はエッジ画素群Ｅ１に完全に包含される点群となる。一方、線分Ａが線分２である場合、エッジ画素群Ｅ２はエッジ画素群Ｅ１に重複する点群となる。ステップＳ９０７で得たエッジ画素群Ｅ２がエッジ画素群Ｅ１と等しい場合、処理が収束したとみなし、線分フィッティング処理を終了する。一方、エッジ画素群Ｅ２とエッジ画素群Ｅ１が異なる場合にはステップＳ９０８に進み、エッジ画素群Ｅ２を新たなエッジ画素群Ｅ１とし、線分Ａを新たな線分１としてステップステップＳ９０３に戻り、処理を続行する。

以上、図９のフローチャートに示した線分フィッティングの処理は一例に過ぎず、線分フィッティング処理はこの例に限定されない。例えば、ステップＳ９０２及びステップＳ９０７において、線分１の角度に類似した方向に輝度勾配を持つエッジ画素のみを対象として取得することで、ステップＳ９０３の精度が向上できる。

また、ステップＳ９０５で選択した線分Ａをそのままフィッティング処理の結果として出力してもよいし、所定のループ回数で強制的に計算を打ち切り、その時点での線分Ａを出力してもよい。また、予め所定距離Ｄの値Ｄｉを複数用意し、ステップＳ９０２及びステップＳ９０３の時点でそれぞれの所定距離Ｄｉについてエッジ画素群Ｅｉ及び線分ｉを求め、信頼度が最大となる線分ｉを選択してもよい。あるいはステップＳ９０３で、主成分分析以外の手法を用いてもよい。例えば、外接矩形に接する２点や、距離が最大となる２点を端点としてもよい。また、周知の最小二乗法、ハフ変換、ＲＡＮＳＡＣ等の方法を用いてもよい。さらに、これらを全て同時に使用して複数の線分を求め、いずれかを選択、あるいは信頼度が閾値以上となる線分を全て出力してもよい。

ここで図１１に、線分フィッティング処理の具体例を示す。図１１（ａ）では、３枚の紙面を撮像した画像から得られたエッジ１１０１ａ〜１１０１ｃと、線状ノイズであるが、除去できなかった画素１１０２とから、ステップＳ３０２の直線生成処理で直線１１０３が得られたとする。ここで、エッジ１１０１ｃは、紙面Ｃの上辺に対応する一つのエッジであるが、エッジ１１０１ａとエッジ１１０１ｂは、環境光などの影響により、それぞれ紙面Ａと紙面Ｂの上辺に対応する途切れた二本のエッジである。

直線１１０３を、ステップＳ８０２の処理によって、直線１１０３近傍（線分の周囲の所定範囲）のエッジ画素をもとに分割すると、図１１（ｂ）に示す線分１１０４ａ〜１１０４ｃが得られる。直線１１０３は複数の紙面のエッジ画素およびノイズ相当のエッジ画素から得られたので、線分１１０４ａ〜１１０４ｃは単に直線１１０３を分割した結果であり、いずれも各紙面の上辺から位置、傾き共にズレがある。これらの線分１１０４ａ〜１１０４ｃに対して、線分フィッティング処理を行う。

図１１（ｃ）は、線分１１０４ａ〜１１０４ｃ（線分１）それぞれに対して、ステップＳ９０２及びステップＳ９０３の処理を施した結果である。エッジ１１０１ｂとエッジ１１０１ｃとのそれぞれから、紙面Ｂと紙面Ｃの上辺に適した線分１１０５ｂと線分１１０５ｃとが線分２として得られた。一方で、線分１１０５ａは、線状ノイズ画素１１０２の影響を受けて紙面Ａの上辺からズレがある線分（線分２）となっている。ここでステップＳ９０５の処理を行い、線分１１０４ａと線分１１０５ａ、線分１１０４ｂと線分１１０５ｂ、線分１１０４ｃと線分１１０５ｃのそれぞれの信頼度を算出して比較する。

その結果、線分１１０４ａ、線分１１０５ｂおよび線分１１０５ｃがそれぞれ信頼度の大きい線分として選択される。線分１１０５ｂおよび線分１１０５ｃは紙面領域の境界を示しているので、処理が収束し、線分フィッティング処理を終了する。一方、線分２として選択された線分１１０４ａは直線１１０３を分割して得た線分であるため、ステップＳ９０６に進んで所定距離Ｄをより小さな値に更新し、再度エッジ画素群を求める。

図１１（ｄ）に示すように、線分１１０４ａの周囲の更新前の所定範囲は、線分１１０４ａを中心線として、線分１１０４ａから所定距離Ｄ内の範囲である。図１１（ｅ）は、線分１１０４ａの周囲の更新後の所定範囲を示した図である。所定距離Ｄに対応する所定範囲１１０６と、更新後の所定距離Ｄ／２に対応するより小さくした所定範囲１１０７を示した。所定距離をＤ／２とすることで、線状ノイズ画素１１０２が除かれて、エッジ１１０１ａのみを含むエッジ画素群が得られる。このエッジ画素群をステップＳ９０７におけるエッジ画素群Ｅ２として取得して、ステップＳ９０８及びステップＳ９０３に進み、主成分分析などの処理を行う。そして、図１１（ｆ）に示すように、途切れた二本のエッジ１１０１ａを連結して、正しい紙面領域の境界を示す線分１１０８ａが得られる。

図１１（ｅ）では、線分１１０４ａの周囲の所定範囲（線分の法線方向の所定範囲）を小さくする方法として、線分１１０４ａを境界に、その両側に線分１１０４ａからの所定距離Ｄを所定距離Ｄ／２に変更する一例を示した。ただし、この方法では、線状ノイズ画素１１０２が除去できない場合は、線分１１０８ａが正しく得られず、また信頼度の低い線分が得られてしまう可能性がある。

そこで、上述した方法によって得られた線分の信頼度が線分１１０４ａより低い場合、大きさを小さくした所定範囲の位置を、線分１１０４ａの法線方向に移動し、移動した所定範囲にあるエッジ画素群を再度取得して、線分を生成する。生成された線分と線分１１０４ａとの信頼度を比較することによって、線状ノイズの除去を行う。なお、大きさを小さくした所定範囲の移動は複数回行って、線分１１０４ａより信頼度の高い線分が見つかるまで処理を繰り返す。

なお、本実施形態の線分フィッティング処理は、１枚の紙面しかない場合にも適用できる。例えば、図１１（ｇ）〜（ｉ）及び図１１（ｄ）〜（ｆ）のように、紙面Ｂと紙面Ｃはなく、紙面Ａしかない場合にも、上述した方法は同様に適用できる。

●線分候補の選択
ここで図１２を用いて、ステップＳ８０４における線分候補の選択処理を説明する。

図１２（ａ）には、選択処理を行う前の２本の線分である線分１２０１と線分１２０２と、線分１２０１の端点１２０１ａ、１２０１ｂと、線分１２０２の端点１２０２ａ、１２０２ｂを示す。

線分候補の選択処理では、図１２（ｂ）〜（ｅ）に示すように、まず端点１２０１ａまたは１２０２ａと、端点１２０１ｂまたは１２０２ｂを端点とする線分候補１２０３〜１２０６を求める。ここでは、線分候補１２０３と線分候補１２０４は、もとの線分１２０２と線分１２０１と同じである。線分候補１２０５と線分候補１２０６は、新たに生成された線分である。次にこれらの候補線分について、ステップＳ９０１と同様の信頼度を求め、最も信頼度が高くなる線分候補を選択した結果として出力する。

ここで出力される線分が線分候補１２０５または線分候補１２０６の場合、これらは新たに生成されたので、ステップＳ８０５で線分フィッティングが再度行われる。また、線分候補は図１２（ｂ）〜（ｅ）に示す線分に限らず、例えば端点１２０１ａと端点１２０２ａの中点と、端点１２０１ｂと端点１２０２ｂの中点を新たに定め、それらを端点とする線分候補を求めてもよい。

紙面の僅かな歪みや環境光により生じる紙面の影などにより、同一の紙面領域の境界（同一の辺）から、複数の線分が出力される場合がある。これに対して線分候補の選択処理を行うことで、近接した２本の線分から新たに１本の線分が選択され、正しい紙面領域の境界を示す線分を出力することが可能となる。

●四角形生成処理
ステップＳ３０４における四角形生成処理では、ステップＳ３０３によって得られた線分群から、四角形の集合を生成する。

まず、全ての線分の角度を求め、角度が０度以上４５度未満の線分を水平方向の線分（以下、水平線分）に分類し、４５度以上９０度未満の線分を垂直方向の線分（以下、垂直線分）に分類する。次に、水平線分群から任意の線分を第１の水平線分として選択し、それと距離が一定以上離れた第２の水平線分を選択する。続いて、垂直線分群から、第１の水平線分と略直交（例えば９０度±３度）する垂直線分を第１の垂直線分として選択し、それと距離が一定以上離れた第２の垂直線分を選択する。最後に、第１、第２の水平線分と第１、第２の垂直線分が成す四角形を出力し、これを全ての線分の組み合わせについて探索することで四角形を生成する。

なお、本実施形態では四角形を検出対象として説明したが、これに限定するものではない。例えばＮ角形（Ｎは奇数）が検出対象となる場合、線分を９０／Ｎ度刻みにＮ分類し、分類された各群から任意の線分を１本ずつ取得し組み合わせることでＮ角形を生成することが可能である。Ｍ角形（Ｍは偶数）の場合、線分を９０／Ｍ度刻みにＭ分類し、分類された各群から任意の線分を２本ずつ取得し組み合わせることでＭ角形を生成することが可能である。

●紙面領域選択処理
以下、ステップＳ３０５における紙面領域選択処理について、図１５を用いて詳細に説明する。ここで説明上、紙面領域候補を四角形として説明するが、対象の形状が四角形に限らず、角と辺から構成される多角形であればよい。

まずステップＳ１５０１で、ステップＳ３０４で四角形として生成された紙面領域候補Ｏ１からＯｎを順次、処理対象の紙面領域候補Ｏとして、ステップＳ１５０２〜ステップＳ１５０９までの処理を繰り返す。それぞれの紙面領域候補Ｏに対する処理は独立しているため、最終的に得られる結果は処理の順序により変動しない。したがって、それぞれの紙面領域候補Ｏの処理を並列に行ってもよい。

ステップＳ１５０２では、紙面領域候補Ｏの辺近傍領域について、紙面領域候補Ｏの外部領域の輝度の分散値σを以下の式（２）を用いて算出する。

ここで、Ｎは画素数
ｍは領域の平均輝度値
ｓ_ｉは画素ｉの輝度値
紙面領域候補と近傍領域について、図１６を用いて説明する。破線の四角形１６０１は、ステップＳ３０１〜ステップＳ３０４の処理で得られた紙面領域の候補となる四角形である。実線の四角形１６０２は、四角形１６０１を外側に所定サイズ分拡大した四角形であり、実線の四角形１６０３は四角形１６０１を内側に所定サイズ分縮小した四角形である。四角形１６０２から紙面領域候補の四角形１６０１を減算した領域が、辺近傍領域の外部領域であり、四角形１６０１から四角形１６０３を減算した領域が、辺近傍の内部領域である。

ステップＳ１５０３では、紙面領域候補Ｏの辺近傍の内部領域と外部領域について、輝度の分離度を算出する。分離度の算出には上述した式（１）を用いればよい。分離度は、２つの領域の輝度の差を示す指標であるため、紙面領域の近傍であれば、背景と紙面のそれぞれの輝度の均一性が高く、該２領域間の輝度が大きく異なる場合に、分離度は大きい値をとる。

ステップＳ１５０４では、紙面領域候補Ｏの辺近傍をｍ個に分割して分割領域Ｂ１、Ｂ２、…、Ｂｍを作成する。ここでは、紙面領域候補Ｏの辺近傍領域の分割について、図１７を用いて説明する。

図１７は、図１６に示す紙面領域候補の四角形１６０１の近傍領域を分割する様子を説明する図である。図１７（ａ）に示すように紙面領域候補である四角形１６０１は、４つの線分１７０１、１７０２、１７０３、１７０４から構成される。

図１７（ｂ）は、図１７（ａ）に示す４つの線分１７０１、１７０２、１７０３、１７０４を分割した例を示す。本実施形態では、四角形１６０１の長辺にあたる線分１７０１、１７０３を５等分し、短辺にあたる線分１７０２、１７０４を３等分するように、分割点１７０５〜１７１６を設定している。さらに、各辺の両端、即ち四角形１６０１の角の部分にあたる分割点１７１７、１７１８、１７１９、１７２０を併せて、全１６個の分割点を作成した例を示す。なお、図１７に示す分割点は一例に過ぎず、各辺で異なる個数への分割を行ってもよいし、全辺同数に分割してもよい。また、辺を等分に分割する方法の他、各辺の端から一定間隔で分割点を決定してもよい。

そして図１７（ｃ）に示すように、各分割点を中心とした正方形として、分割領域１７２１〜１７３６を作成する。各分割領域は、その中心を紙面領域候補である四角形１６０１の辺上に持ち、四角形１６０１の辺で内部が区切られることで、四角形１６０１の内側と外側の両方の領域から構成される。なお、この分割領域は一例に過ぎず、例えば分割領域の形状については正方形ではなく長方形でもよいし、円形やその他の形であってもよい。また、領域のサイズも一定でなくても良く、後述する分割領域の評価値に応じて変更してもよい。

そしてステップＳ１５０５では、ステップＳ１５０４で作成した分割領域について、紙面領域候補の確からしさ（確度）を得るための評価値を算出する。分割領域ごとの評価値算出方法については、図１８を用いて後述する。

そしてステップＳ１５０６では、ステップＳ１５０５で算出した分割領域ごとの評価値に基づき、四角形１６０１全体についての、紙面領域としての確度のスコアを算出する。このスコアとしては、辺ごとに、該辺に位置する分割領域の評価値の平均を求め、それらの平均値と、角に位置する分割領域の外部分散値の平均を用いて、以下の式（３）により求める。

ここで、
Ｓ_ａはＳ１５０３で求めた紙面領域候補Ｏの内外分離度
Ｓ_ｍはＳ１５０５で求めた分割領域の各辺の内外分離度の平均
ｖ_ａはＳ１５０２で求めた紙面領域候補Ｏの外部分散値
ｖ_ｍはＳ１５０５で求めた分割領域の各角の外部分散値の平均
図１７に示す分割領域の例では、分割領域１７２１〜１７３２が辺に位置し、分割領域１７３３〜１７３６が角に位置する。そして辺ごとの平均とはすなわち、分割領域１７２１〜１７２４の平均と、分割領域１７２５、１７２６の平均と、分割領域１７２７〜１７３０の平均と、分割領域１７３１、１７３２の平均である。

入力画像中の紙面の背景、即ち紙面が置かれた台の色は一定である場合、紙面領域候補が正しく紙面領域であれば、紙面領域候補の外部は紙面の背景であり、背景が輝度の均一性を持っていれば輝度分散値は低い値を示す。同様に、紙面領域候補が正しく紙面領域であれば、紙面領域候補の内部、すなわち紙面と、その外部のそれぞれの色差により、分離度は高い値を示す。なお、上記式（３）は、紙面領域候補の確度を算出する一例に過ぎず、分割領域の分離度が高いほど紙面領域候補の確度が高くなり、角部の分散値が低いほど紙面領域候補の確度が低くなればよい。したがって、式（３）のスコア算出に重み付けを行ってもよいし、それぞれの分離度、分散値に閾値を設けるなど、その他の算出方法を適用してもよい。

そしてステップＳ１５０７で、対象紙面領域候補Ｏのスコアが閾値以上か判定し、閾値以上であればステップＳ１５０８へ進み、対象紙面領域候補Ｏを紙面領域として選択してステップＳ１５１０へ進む。一方、閾値未満であればステップＳ１５０９へ進み、対象紙面領域候補Ｏは紙面領域でないとして、紙面領域候補群から削除してステップＳ１５１０へ進む。なお、本実施形態ではこの閾値を０．００１０とするが、閾値は他の固定値であってもよいし、実際の処理対象の種類に応じて調整可能な値でもよい。ステップＳ１５０７〜ステップＳ１５０９では、閾値を用いて紙面であるか否かの判定を行ったが、入力画像内に一つの紙面領域しか存在しないことが明らかである場合は、スコアが最も高い四角形領域候補のみを残してもよい。

そしてステップＳ１５１０で、紙面領域候補の全てに対する処理が終了していれば、図１５に示す紙面領域選択処理を終了するが、未処理紙面領域候補が残っていれば、ステップＳ１５０１へ戻って、次の紙面領域候補の処理を開始する。

●分割領域評価値の算出処理
以下、上記ステップＳ１５０５における分割領域の評価値の算出処理について、図１８のフローチャートを用いて説明する。

まずステップＳ１８０１で、ステップＳ１５０４で作成した分割領域Ｂ１〜Ｂｍを順次、処理対象の分割領域Ｂとして、ステップＳ１８０２〜ステップＳ１８０６の処理を繰り返す。それぞれの分割領域Ｂに対する処理は独立しているため、最終的に得られる結果は処理の順序により変動しない。したがって、それぞれの分割領域Ｂの処理を並列に行ってもよい。

ステップＳ１８０２では、分割領域Ｂが紙面領域候補Ｏの角に位置するか否かを判定する。分割領域Ｂが角に位置すればステップＳ１８０５へ進み、角に位置しなければ、すなわち辺であればステップＳ１８０３へ進む。この判定は、上記ステップＳ１５０４で領域を分割する際に、辺の両端の領域を角部としてタグを付し、該タグを判定すればよい。また、分割領域Ｂが紙面領域候補Ｏの２辺を含むか否かの判定を行ってもよい。図１７の例では、分割領域１７３３、１７３４、１７３５、１７３６については角に位置するためステップＳ１８０５の処理へ進み、それ以外の分割領域についてはステップＳ１８０３の処理へ進む。

ステップＳ１８０３では、分割領域Ｂの内部領域と外部領域の輝度の分離度を算出する。分離度の算出には上記式（１）を用いればよい。ここで分離度は、線分の両面の輝度がどれだけ分離しているかを表す指標であるから、紙面領域候補Ｏが正しく紙面領域であれば、紙面領域と背面領域（例えば原稿と原稿台）の輝度差により、分離度が高く算出される。そして、ステップＳ１８０４で、ステップＳ１８０３で求めた分離度を分割領域Ｂの評価値として設定し、ステップＳ１８０７へ進む。

ここで、上記ステップＳ１５０３では、紙面領域候補Ｏの辺近傍領域の全体で分離度を求めているが、一般に広い領域では環境光などの影響により、輝度のヒストグラムの分布が広くなる。したがって、広い領域内の２領域間における分離度としては、２領域の輝度差が小さいと、２領域のヒストグラムが重なりあってしまい、分離度も小さい値が算出されてしまう。そこで、背景と紙面の輝度差が小さい場合には、領域を分割することにより高い分離度を得ることができる。

また、分離度をより大きく得るために、分割領域のサイズを変更してもよい。例えば、紙面内の余白が狭い箇所では、分割領域のサイズによっては文字などの余計な画素が入るため、分離度が小さい値をとってしまうことがある。その場合は、分割領域のサイズを変更して、分離度の高い方を評価値として採用すればよい。

一方、ステップＳ１８０５では、分割領域Ｂの外部領域の輝度分散値を算出する。ここで外部領域とは、分割領域Ｂにおける、紙面領域候補Ｏの辺の外側の領域を示す。輝度分散値の算出には、上記式（２）を用いればよい。ここで分散値は、領域中の輝度が一様であるかの指標であるから、紙面領域候補Ｏが正しく紙面領域であれば、背景領域（例えば原稿台）の輝度が一様となり、分散値が小さい値として求まる。

そしてステップＳ１８０６で、ステップＳ１８０５で求めた分散値を分割領域Ｂの評価値として設定し、ステップＳ１８０７へ進む。

ステップＳ１８０７では、全ての分割領域について処理が終了していれば、図１８に示す評価値の算出処理を終了するが、未処理の分割領域が残っていればステップＳ１８０１へ戻って、次の分割領域の処理を開始する。

●評価値の算出例
以下、図１９に、図１７に示す紙面領域候補（破線の四角形）に対して、図１５のステップＳ１５０３、ステップＳ１５０５により算出した評価値の例示す。表１９０１において、分割領域１７２１〜１７３２については、辺部としてステップＳ１８０３、ステップＳ１８０４において算出した分離度が、評価値として記載されている。また、分割領域１７３３〜１７３６については、角部としてステップＳ１８０５、ステップＳ１８０６において算出した外部領域の分散値が、評価値として記載されている。また、各辺の評価値の平均が、各辺平均Ｓ１、Ｓ２、Ｓ３、Ｓ４として記載されている。

図１９に示す評価値をもとに、ステップＳ１５０６で式（３）を用いてこの紙面領域候補の確度のスコアを計算すると０．００１３となる。この場合、ステップＳ１５０７でスコアが閾値（０．００１０）以上であると判定され、ステップＳ１５０８へ進んで該紙面領域候補１６０１は紙面領域として選択される。

以下、同じ入力画像に対する、図１７に示す紙面領域候補とは異なる紙面領域候補を例にした、評価値算出例を示す。図２０（ａ）に示す紙面領域候補は、紙面上の黒帯部分の上端２００１と、紙面の三辺にある線分２００２、２００３、２００４から構成されており、紙面として選択するのが好ましくない。図２０（ｂ）は、上記図１５のステップＳ１５０４で図２０（ａ）に示す４つの線分２００１、２００２、２００３，２００４を分割した例を示す。同図において、辺部の分割領域２００４〜２０１３、角部の分割領域２０１４〜２０１７に分割された。

図２０（ｃ）は、角部の分割領域２０１４の外部領域を拡大した図である。分割領域２０１４の外部領域は、背景２０１８と紙面２０１９から構成される。この外部領域についての輝度ヒストグラムを求めると、背景２０１８と紙面２０１９を構成する画素群によって発生した二つのピークの幅が広くなるため、分散値、つまり角部分割領域２０１４の評価値が大きくなる。分割領域２０１５についても同様である。

図２１は、図２０の紙面領域候補の分割領域に対して、図１５のステップステップ１５０４、ステップＳ１５０５により算出した評価値の例示す。表２１０１において、分割領域２０１４と２０１５の評価値が非常に高くなっている。図２１に示す処理結果をもとに、ステップＳ１５０６で式（３）を用いてこの紙面領域候補の確度のスコアを計算すると０．０００６となる。この値は、ステップＳ１５０７において閾値（０．００１０）以上を満たさないため、ステップＳ１５０９で該紙面領域候補は正解ではない領域として削除される。

以上説明したように本実施形態によれば、エッジ画素から生成された直線から抽出された線分に対して、線分フィッティング処理および線分選択処理に基づいて、紙面領域の境界（辺）を示す信頼度の高い線分が出力される。即ち、撮像画像から紙面領域の境界を精度良く検出することができる。

特に複数枚の紙面からそれぞれの紙面領域の境界を高精度に検出することが可能となる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ 画像入力部
１０２ ＣＰＵ
１０３ ＲＡＭ
１０４ 記憶部

Claims (14)

1. 第一線分を取得する第一線分取得手段と、
   前記第一線分の周囲のエッジ画素を取得する第一取得手段と、
   前記エッジ画素に基づいて、第二線分を生成する生成手段と、
   前記第一線分を境界とする二つの領域の画像特徴量の関係と、前記第二線分を境界とする二つの領域の画像特徴量の関係とに基づいて、何れか一方の線分を選択する選択手段と、
   を有することを特徴とする画像処理装置。
2. 前記第一線分取得手段は、
   文書を撮像して得られた撮像画像から抽出したエッジ画素に基づいて、エッジ画像を作成する作成手段と、
   前記エッジ画素から直線を生成する直線生成手段と、
   前記直線の周囲のエッジ画素に基づいて、前記直線から第一線分を抽出する抽出手段と、
   をさらに有し、
   前記第一取得手段は、前記エッジ画像から、前記第一線分を中心線とする第一所定範囲にあるエッジ画素を取得することを特徴とする請求項１に記載の画像処理装置。
3. 前記選択手段の選択された線分を、前記文書の境界を示す線分として出力する出力手段と、をさらに有することを特徴とする請求項２に記載の画像処理装置。
4. 前記選択手段で前記第一線分が選択された場合、前記エッジ画像から、前記第一所定範囲より小さい、前記第一線分を中心線とする第二所定範囲にある前記エッジ画素を取得する第二取得手段と、をさらに有し、
   前記生成手段はさらに、前記第二取得手段で取得された前記エッジ画素に基づいて、第三線分を生成し、
   前記選択手段はさらに、前記第一線分と前記第三線分から、何れか一方の線分を選択することを特徴とする請求項３に記載の画像処理装置。
5. 前記選択手段で前記第一線分が選択された場合、前記第二所定範囲の位置を前記第一線分の法線方向に沿って変更し、位置の変更された前記第二所定範囲にある前記エッジ画素を取得する第三取得手段と、をさらに有し、
   前記生成手段はさらに、前記第三取得手段で取得された前記エッジ画素に基づいて、第四線分を生成し、
   前記選択手段はさらに、前記第一線分と前記第四線分から、何れか一方の線分を選択することを特徴とする請求項４に記載の画像処理装置。
6. 前記選択手段で前記第二線分が選択された場合、前記エッジ画像から、前記第二線分の周囲の第三所定範囲にあるエッジ画像を取得する第四取得手段と、をさらに有し、
   前記生成手段はさらに、前記第四取得手段で取得された前記エッジ画素に基づいて、第五線分を生成し、
   前記選択手段はさらに、前記第二線分と前記第五線分から、何れか一方の線分を選択することを特徴とする請求項５に記載の画像処理装置。
7. 前記生成手段は、前記第一取得手段、前記第二取得手段、前記第三取得手段又は前記第四取得手段で取得された前記エッジ画素に対して、主成分分析を行って線分を生成することを特徴とする請求項６に記載の画像処理装置。
8. 前記抽出手段は、前記直線の周囲に前記エッジ画素の存在しない部分の前記直線の長さが所定値以上である場合、前記エッジ画素の存在しない部分の前記直線を切断して、前記直線から線分を抽出することを特徴とする請求項２乃至７の何れか１項に記載の画像処理装置。
9. 前記選択手段は、線分を境界とする二つの領域の画素値の分離度が高い線分を選択することを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
10. 前記出力手段で出力された複数の線分から得られる任意の二本の線分の組み合わせに対して、前記二本の線分の線分間距離および線分間角度のいずれも所定の閾値以下である場合に、前記二本の線分から得られた複数の線分候補から一つの線分候補を選択する線分候補選択手段を、さらに有することを特徴とする請求項３乃至７の何れか１項に記載の画像処理装置。
11. 前記作成手段は、前記文書の境界に対応するエッジでないと判定されるノイズ相当の画素を除去して、前記エッジ画像を作成することを特徴とする請求項２または６の何れか１項に記載の画像処理装置。
12. 前記抽出手段は、前記直線の周囲にあって、前記作成手段で除去された前記ノイズ相当の画素を含めた前記エッジ画像を用いて、前記直線から前記第一線分を抽出することを特徴とする請求項１１に記載の画像処理装置。
13. 第一線分を取得する第一線分取得工程と、
    前記第一線分の周囲のエッジ画素を取得する第一取得工程と、
    前記エッジ画素に基づいて、第二線分を生成する生成工程と、
    前記第一線分を境界とする二つの領域の画像特徴量の関係と、前記第二線分を境界とする二つの領域の画像特徴量の関係とに基づいて、何れか一方の線分を選択する選択工程と、
    を有することを特徴とする画像処理方法。
14. コンピュータを、
    第一線分を取得する第一線分取得手段と、
    前記第一線分の周囲のエッジ画素を取得する第一取得手段と、
    前記エッジ画素に基づいて、第二線分を生成する生成手段と、
    前記第一線分を境界とする二つの領域の画像特徴量の関係と、前記第二線分を境界とする二つの領域の画像特徴量の関係とに基づいて、何れか一方の線分を選択する選択手段と、として機能させるためのプログラム。

Images