JP6102417B2 - 画像処理装置、画像処理方法及び画像処理デバイス - Google Patents

画像処理装置、画像処理方法及び画像処理デバイス Download PDF

Info

Publication number
JP6102417B2
JP6102417B2 JP2013070507A JP2013070507A JP6102417B2 JP 6102417 B2 JP6102417 B2 JP 6102417B2 JP 2013070507 A JP2013070507 A JP 2013070507A JP 2013070507 A JP2013070507 A JP 2013070507A JP 6102417 B2 JP6102417 B2 JP 6102417B2
Authority
JP
Japan
Prior art keywords
document
corner point
candidate page
page
rough
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013070507A
Other languages
English (en)
Other versions
JP2013214300A (ja
Inventor
シエ・シュフゥ
源 何
源 何
スヌ・ジュヌ
浩 于
浩 于
直井　聡
聡 直井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JP2013214300A publication Critical patent/JP2013214300A/ja
Application granted granted Critical
Publication of JP6102417B2 publication Critical patent/JP6102417B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00681—Detecting the presence, position or size of a sheet or correcting its position before scanning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Character Input (AREA)
  • Editing Of Facsimile Originals (AREA)

Description

本発明は、画像処理に関し、特に画像処理装置、画像処理方法及び画像処理デバイスに関する。
一般には、デジタル画像は例えばデジタルカメラ、スキャナーなどの設備により捕捉された画像を意味し、任意の非画像データを合成して得られるもの、例えば数学関数によるもの等であってもよい。通常、デジタルカメラ、スキャナー等の設備により捕捉されたデジタル画像には、歪み、傾き、又は他の変形が存在する可能性があるため、その歪み又は変形を補正するように、画像処理技術を利用してデジタル画像を処理する必要がある。
そのうち、ある画像処理技術、例えば書類から捕捉された画像に対する処理では、通常捕捉された画像における書類の角点（corner point）に基づいて、例えば回復、補正等の処理を行う必要がある。これらの画像処理技術では、抽出された書類角点の正確性を向上できれば、画像処理の効果を改善するのに好適である。
従来技術の欠陥を鑑み、少なくとも書類から捕捉された画像における書類の角点の抽出精度を向上できる画像処理装置、画像処理方法及び画像処理デバイスを提供する。
以下、本発明のある方面の基本を理解するように、本発明を簡単に説明する。なお、この説明は本発明を限定的に説明するものではない。この説明は、本発明のキーポイント又は重要部分を確定する意図がなく、本発明の範囲を限定する意図もない。説明の目的は簡略的な形式である概念を提供することであり、後述するより詳細的な説明の前書きとするものである。
画像処理装置の一の観点によれば、書類に対して捕捉された書類画像から、前記書類の第１の方向に沿う境界線及び前記書類の大雑把な書類角点を抽出する抽出手段と、前記大雑把な書類角点近傍の前記書類の第１の方向に沿う境界線から前記書類の候補ページ角点を決定する決定手段と、前記候補ページ角点から、ページ内領域の画素特徴が前記書類のページの角の画素特徴に最も近い候補ページ角点を前記書類の書類角点として選択する選択手段と、を含み、前記第１の方向は前記書類画像の水平方向又は垂直方向である、画像処理装置が提供される。
画像処理方法の一の観点によれば、書類に対して捕捉された書類画像から、前記書類の第１の方向に沿う境界線を抽出するステップと、前記書類の第１の方向に沿う境界線から前記書類の候補ページ角点を決定するステップと、前記候補ページ角点から、ページ内領域の画素特徴が前記書類のページの角の画素特徴に最も近い候補ページ角点を前記書類の書類角点として選択するステップと、を含み、前記第１の方向は前記書類画像の水平方向又は垂直方向である、画像処理方法が提供される。
画像処理デバイスの一の観点によれば、画像処理機能を有するデバイスであって、上記の画像処理装置を含む、画像処理デバイスが提供される。
記憶媒体の一の観点によれば、計算デバイスが実行可能なコンピュータのプログラムを記憶するコンピュータ読み取り可能な記憶媒体であって、前記プログラムは、実行される際に、前記計算デバイスに上記の画像処理方法を実行させることができる記憶媒体が提供される。
画像処理装置、画像処理方法及び画像処理デバイスによれば、書類から捕捉された書類画像に対して画像処理を行う際に、正確な書類角点を抽出することができ、画像処理の効果を改善することができる。
下記図面を参照しながら本発明の好ましい実施例を詳細に説明するように、本発明のこれら及び他の利点はより明らかになる。
本発明は、図面を参照しながら下記説明するものにより、よりよく理解できる。なお、全ての図面において、同一又は類似の部材について同一又は類似の図面符号で示している。該図面及び下記詳細な説明は共に本明細書に含まれ、且つ本明細書の一部となるように形成し、本発明の好ましい実施例をさらに例示的に説明し、本発明の原理及び利点を解釈するために用いられる。
書類から捕捉された書類画像の例を示す図。 従来の画像処理方法により図１Ａに示される書類画像を処理する際に検出された角点及び該書類の真実の角点の例を示す図。 画像処理装置の構成例を示すブロック図。 図１における抽出手段の一の構成例を示すブロック図。 処理プロセスにおいて図３に示される抽出手段により抽出された大雑把な書類角点の例を示す図。 処理プロセスにおいて図３に示される抽出手段により抽出された書類の第１の方向に沿う境界線の例を示す図。 図２における決定手段の一の構成例を示すブロック図。 処理プロセスにおいて図５に示される決定手段により取得された境界線セグメント及び該境界線セグメントを含む画像ブロックの例を示す図。 処理プロセスにおいて図５に示される決定手段により決定された第１の矩形領域の例を示す図。 処理プロセスにおいて図５に示される決定手段により決定された第１の矩形領域の例を示す図。 図２における選択手段の一の構成例を示すブロック図。 図２における選択手段の他の構成例を示すブロック図。 処理プロセスにおいて図７に示される選択手段により決定されたページ内領域の例を示す図。 処理プロセスにおいて図７に示される選択手段により決定されたページ内領域の例を示す図。 処理プロセスにおいて図７Ｂに示される選択手段により取得された選別処理前の候補ページ角点の例を示す図。 図７Ｂに示される選択手段により最終に取得された書類角点を示す図。 画像処理方法の一例の処理を示すフローチャート。 図１０に示されるステップＳ１０２０の一例の処理を示すフローチャート。 図１０に示されるステップＳ１０３０の一例の処理を示すフローチャート。 図１０に示されるステップＳ１０４０の一例の処理を示すフローチャート。 図１０に示されるステップＳ１０４０の他の例の処理を示すフローチャート。 画像処理装置及び画像処理方法を実現するための情報処理デバイスのハードウェア配置図。 なお、図面における素子は、簡単且つ明確にするために示され、比率に応じて示すものではない。例えば、図面におけるある素子のサイズは、本発明の実施例をよりよく理解できるように、他の素子に対して拡大されることがある。
以下、図面を参照しながら本発明の実施例を説明する。なお、説明の便宜上、明細書には、実際の実施態様の全ての特徴を示していない。このような実際の実施例を開発する際に、開発スタッフの具体的な目標を実現する、例えばシステム及び業務に関連する限定条件に合致するため、多くの特定の実施形態を開発する必要があり、これらの限定条件は実施態様が異なることに伴い変わることがある。なお、開発の作業が複雑であり、且つ時間がかかるが、当業者にとってはこの開発作業が決まりの任務に過ぎない。
なお、不要な細部により本発明を誤解することを回避するため、図面には、本発明の実施形態に密接に関連する装置構成及び／又は処理ステップのみが示されており、本発明と関係のない他の細部について省略とされる。
上述したように、従来のある画像処理技術では、書類から捕捉された書類画像を処理する際、書類の角点を抽出する時に、抽出された書類角点と書類の真実の角点との間には大きな誤差が存在する可能性がある。
例えば、図１Ａは、書類から捕捉された書類画像の例を示す図である。ここで、図１Ａに示される書類画像における書類のページには、例えば文字、図画などの各種の内容（図１Ａには図示せず）を有してもよい。
図１Ｂは、従来の画像処理方法により図１Ａに示される書類画像を処理する際に検出された角点Ｐ１’〜Ｐ４’及び該書類の真実の角点Ｐ１〜Ｐ４の例を示す図である。図１Ａ及び図１Ｂに示すように、このような書類は複数のページを有するため、それを開いた状態では、検出された角点と真実の角点との偏差が大きすぎることが生じる可能性がある。また、他の要因、例えば上記書類画像において書類の真実角点近傍に他の干渉要素（例えば、前景と分離しにくい背景内容など）が存在することにより、検出された角点と真実角点との偏差が大きすぎることが生じることになる。
従って、上記問題点を解決し、書類から捕捉された書類画像に対してより正確な処理角点を抽出でき、画像処理の処理効果を改善するために、書類から捕捉された書類画像を処理するための画像処理装置が提供される。
該画像処理装置は、書類に対して捕捉された書類画像から、書類の第１の方向に沿う境界線及び書類の大雑把な書類角点を抽出する抽出手段と、大雑把な書類角点近傍の書類の第１の方向に沿う境界線から書類の候補ページ角点を決定する決定手段と、候補ページ角点から、ページ内領域の画素特徴が書類のページの角の画素特徴に最も近い候補ページ角点を、書類の書類角点として選択する選択手段と、を含む。第１の方向は書類画像の水平方向又は垂直方向である。
以下、図２〜図９Ｂを参照しながら、画像処理装置を詳細に説明する。
図２は、画像処理装置２００の構成例を示すブロック図である。図２に示すように、画像処理装置２００は、抽出手段２１０、決定手段２２０及び選択手段２３０を含む。
図２に示すように、画像処理装置２００の抽出手段２１０は、書類に対して捕捉された書類画像から、該書類の第１の方向に沿う境界線及び該書類の大雑把な書類角点を抽出する。
なお、ここに言われた書類は、例えば開いた本、雑誌などの書類（図１Ａ参照）であってもよく、開いていない、複数ページ積み重ねる書類（図示せず）、又は単ページ紙、単枚名刺などの単ページ書類（図示せず）等であってもよい。以下、図１Ａに示される書類画像を例として、画像処理装置２００を例示的に説明する。
また、ここに、「第１の方向」は書類画像の水平方向であってもよく、垂直方向であってもよい。
例えば、図１Ａに示される例では、書類の開き方向は左右ページ集約で開く方向である。このように、書類が図１Ａに示される開いた状態にある場合、書類の左側と右側は、複数ページの縦外縁がそれぞれ現れる。このため、該書類画像を処理する際に抽出された角点と真実の角点との差が大きすぎる、又は複数ページの複数の角点の干渉により複数の角点が抽出され、これらの角点から真実の角点を選択できないことになる。このような場合は、好ましくは、上述した「第１の方向」は書類画像の長手方向（該長手方向は書類画像の水平方向であってもよく、書類画像の垂直方向であってもよい）であってもよい。これによって、抽出された書類角点の正確性を向上するのに好適である。
図３は、図１における抽出手段２１０の一の構成例を示すブロック図である。図３に示すように、抽出手段２１０は、第１の処理サブ手段３１０及び第２の処理サブ手段３２０を含んでもよい。
なお、１つの実施態様では、第１の処理サブ手段３１０により書類の大雑把な書類角点を取得し、第２の処理サブ手段３２０により上述した「書類の第１の方向に沿う境界線」を取得してもよい。
例えば、図４Ａに示すように、この実施態様では、第１の処理サブ手段３１０は、例えば全局二値化方法（例えばN. Otsu, “A Threshold Selection Method from Gray-Level Histograms”, IEEE Trans. Sys., Man., Cyber. Vol. 9, pp.62-66, 1979を参照してもよい）により上記書類画像の前景領域を取得して、該前景領域のエッジライン（図４Ａに示される例では４本のエッジラインである）を取得し、前景領域における隣接するエッジラインの交点（図４Ａの点Ｃ１〜Ｃ４）を書類の大雑把な書類角点と決定する。ここで、図４Ａの破線は該例において取得された４本のエッジラインを示す。
また、この実施態様では、第２の処理サブ手段３２０は、例えば書類の大雑把な書類角点の間において第１の方向に沿って、動的計画法（dynamic programming）により境界検出を行い、検出された境界を上記書類の第１の方向に沿う境界線とする。具体的には、図４Ａに示すように、例えば「第１の方向」が書類画像の水平方向（図１Ａに示されるＡ２−Ａ２’方向）である場合、上述した方法でＣ１とＣ２との間の境界線（一部の延長線を含む）（以下、「書類の上境界線」と略称する）及びＣ３とＣ４との間の境界線（一部の延長線を含む）（以下、「書類の下境界線」と略称する）を取得できる。例えば、第２の処理サブ手段３２０により抽出された「上記書類の第１の方向に沿う境界線」は図４Ｂに示されるような書類の上境界線Ｂ１２及び書類の下境界線Ｂ４３であってもよい。また、他の方法で書類の大雑把な書類角点を取得してもよい。
なお、図３に示される構成及び機能は、抽出手段２１０の一つの実施態様のみとし、抽出手段２１０を限定するものではなく、抽出手段２１０の機能を実現可能な他の如何なる構成は本発明の保護範囲に含まれるべきである。
図２に示すように、画像処理装置２００の決定手段２２０は、抽出手段２１０により取得された大雑把な書類角点近傍の、上記書類の第１の方向に沿う境界線から書類の候補ページ角点を決定する。
具体的には、図５に示される構成により決定手段２２０の機能を実現する。
図５は、図２における決定手段２２０の一の構成例を示すブロック図である。図５に示すように、決定手段２２０は、切り取りサブ手段５１０、第１の計算サブ手段５２０、第１の決定サブ手段５３０、及び計算選択（計算及び選択）サブ手段５４０を含んでもよい。
ここで、切り取りサブ手段５１０は、抽出手段２１０により取得された各大雑把な書類角点に対して、上記書類の第１の方向に沿う境界線から該大雑把な書類角点を含む境界線セグメントを切り取り、書類画像から該境界線セグメントを含む画像ブロックを切り取る。
例えば、図４Ｂに示される大雑把な書類角点Ｃ１を例として、切り取りサブ手段５１０の処理を説明する。図６Ａに示すように、切り取りサブ手段５１０は、大雑把な書類角点Ｃ１に対して、Ｃ１に対応する「第１の方向に沿う境界線」（例えば図６Ａに示される書類の上境界線Ｂ１２）からある程度の境界線セグメントＢ０を切り取ってもよい。そのうち、Ｂ０は大雑把な書類角点Ｃ１を含む。そして、図６Ａに示すように、切り取りサブ手段５１０は、書類画像から境界線セグメントＢ０を含む画像ブロックＳ０を切り取ってもよい。例えば、境界線セグメントＢ０における全ての点の最大及び最小の横、縦座標に基づいて１つの矩形領域を決定し、該矩形領域を上記画像ブロックとする。また、他の例としては、画像ブロックが上記境界線セグメントＢ０を含む限りにおいて、他の形状の該画像ブロックを選択してもよい。
切り取りサブ手段５１０により境界線セグメントＢ０及び画像ブロックＳ０が取得された後で、第１の計算サブ手段５２０により画像ブロックＳ０の勾配の二値化画像を取得してもよい。例えば、第１の計算サブ手段５２０は、画像ブロックＳ０の第１の方向に沿う勾配（即ち水平勾配又は垂直勾配）を計算し、閾値化方法を用いることで、画像ブロックＳ０の勾配の二値化画像を取得してもよい。
また、第１の計算サブ手段５２０は、エントロビー最小化ルールにより書類の第２の方向に沿う境界線の傾斜度を取得してもよい。ここで、「第２の方向に沿う境界線」とは、「第１の方向に沿う境界線」と交わる境界線である。例えば、第１の方向が書類画像の水平方向（図１Ａに示されるＡ２−Ａ２’方向）である場合、第２の方向は書類の垂直方向（図１Ａに示されるＡ１−Ａ１’方向）であり、第１の方向が書類画像の垂直方向である場合、第２の方向は書類の水平方向である。なお、ここで「書類の第１の方向に沿う境界線」を特定する必要がなく、その傾斜度だけを取得すればよい。図６Ａの破線ｋは該例において計算された「書類の第２の方向に沿う境界線の傾斜度」の方向を示している。
これによって、切り取りサブ手段５１０により切り取られた境界線セグメントＢ０から大雑把な書類角点Ｃ１の候補ページ角点を選択するために、以下の方式で第１の決定サブ手段５３０及び計算選択サブ手段５４０を構成してもよい。
例えば、第１の決定サブ手段５３０は、境界線セグメントＢ０における各点近傍から該点に関係のある１つの第１の矩形領域を決定する。ここで、該第１の矩形領域は、第１の所定サイズを有し、且つ画像ブロックに含まれ、第１の矩形領域の長さは、書類の第２の方向に沿う境界線の傾斜度に一致する方向に沿って延伸する。図６Ｂに示すように、境界線セグメントＢ０における任意の点Ｘを例として、ＳＸ１は点Ｘに関係のある第１の矩形領域であり、ＳＸ１の長さ方向（長手方向）はｋの方向に一致する。
例えば、書類画像の前景領域を取得した場合、上記境界線セグメントにおける各点に対応する第１の矩形領域は、書類画像の前景領域の内部に位置してもよい。即ち、例えば上記第１の方向は書類画像の水平方向である場合、切り取りサブ手段５１０により取得された境界線セグメントにおける上に位置する境界線セグメントにおける各点に対応する第１の矩形領域を該点の下方に（図６Ｂの点Ｘ及びそれに対応する第１の矩形領域ＳＸ１のように）位置させ、切り取りサブ手段５１０により取得された境界線セグメントにおける下に位置する境界線セグメントにおける各点に対応する第１の矩形領域を該点の上方に（図６Ｃに示されるように）位置させてもよい。このように、境界線セグメントにおける各点に対応する第１の矩形領域が書類画像の前景領域の内部に位置することを確保することができる。
そして、計算選択サブ手段５４０は、上記画像ブロックの勾配の二値化画像に基づいて各第１の矩形領域に含まれる前景画素点の数を計算し、大雑把な書類角点に対応する境界線セグメントから、それに対応する第１の矩形領域に含まれる前景画素点の数が第１の所定閾値よりも大きいという条件を満たしている点を、該大雑把な書類角点の候補ページ角点として選択してもよい。例えば、図６Ｂに示すように、大雑把な書類角点Ｃ１が位置する境界線セグメントＢ０における全ての点から、それに対応する第１の矩形領域に含まれる前景画素点の数が第１の所定閾値よりも大きい点を、大雑把な書類角点Ｃ１の候補ページ角点として選択する。このように選択された候補ページ角点は書類の各ページの角点をよりよく代表することができる。
上述したように、図１に示すように、抽出手段２１０及び決定手段２２０により書類の候補ページ角点を取得することができる。例えば、図１に示される書類画像の場合、各大雑把な書類角点の複数の候補ページ角点をそれぞれ取得することができる。よって、選択手段２３０により、各大雑把な書類角点の複数の候補ページ角点からそのうち１つを選択し、該大雑把な書類角点に関係のある、書類の書類角点としてもよい。ここで、大雑把な書類角点Ｃ１を例として、大雑把な書類角点Ｃ１の全ての候補ページ角点から、そのページ内領域の画素特徴が書類のページの角の画素特徴に最も近い候補ページ角点を書類の書類角点として選択してもよい。
ここで、候補ページ角点のページ内領域の画素特徴とは、候補ページ角点近傍の、書類内部に属する領域（以下、「ページ内領域」を略称する）の画素特徴を指し、例えば該候補角点のページ内領域に含まれる前景画素量、又は該ページ内領域のうち前景画素量が占める百分比などである。書類のページの角の画素特徴とは、書類のページ角領域（例えば図１Ａに示される領域ＳＡ）に含まれる画素特徴を指し、書類のページの角の画素特徴は予め取得される或いは経験値に応じて設定されてもよい。一般の書類は通常一定の幅のページ余白（即ち、ページ周囲の空白領域）が設定されているため、書類のページ角領域には前景画素が殆ど含まれない（特別の場合を除く）。従って、このような場合は、「書類のページの角の画素特徴に最も近い」は、前景画素を含まないことに近似する。このため、各候補角点は、それに対応する同様のサイズのページ内領域に含まれる前景画素が少なければ少ないほど、書類の真実の角点に近い。
例えば、１つの実施態様では、図７Ａに示される構成により選択手段２３０の機能及び動作を実現してもよい。図７Ａに示すように、選択手段２３０は、第２の決定サブ手段７１０、第２の計算サブ手段７２０、及び選択サブ手段７３０を含んでもよい。
ここで、第２の決定サブ手段７１０は、各大雑把な書類角点に対して、該大雑把な書類角点の各候補ページ角点近傍から該候補ページ角点に関係のあるページ内領域をそれぞれ決定してもよい。該ページ内領域は第２の所定サイズを有し、且つ対応の画像ブロックに含まれる。図８Ａに示すように、ある候補ページ角点Ｙは、ページの内側に近いページ内領域、例えば領域ＳＹ２が候補ページ角点Ｙの第１の矩形領域ＳＹ１よりも書類の内側、即ち書類画像の中心に近い。
なお、ページ内領域は、図８Ａに示される矩形又は方形の領域に限定されず、円形など他の形状の領域であってもよい。
例えば、１つの実施態様では、ページ内領域はページ内領域に対応する候補ページ角点を頂点とする矩形又は方形の領域であり、ページ内領域の１つの辺は上記の第２の方向に沿う境界線の傾斜度に一致する方向に沿って延伸してもよい。従って、この実施態様では、上記装置により、書類の左上部に位置する大雑把な書類角点の各候補ページ角点に対するページ内領域をその右下側に位置させ（図８Ａに示す）、書類の左下部に位置する大雑把な書類角点の各候補ページ角点に対するページ内領域をその右上側に位置させ（図示せず）、書類の右上部に位置する大雑把な書類角点の各候補ページ角点に対するページ内領域をその左下側に位置させ（図８Ｂに示す）、書類の右下部に位置する大雑把な書類角点の各候補ページ角点に対するページ内領域をその左上側に位置させる（図示せず）。
なお、上述したように図示していない場合は図８Ａ、図８Ｂを参照して容易に分かる。
そして、第２の計算サブ手段７２０は、各大雑把な書類角点の各候補ページ角点に対応するページ内領域における前景画素の百分比を計算してもよい。ここで、ある候補ページ角点に対応するページ内領域における前景画素の百分比は、該ページ内領域のうち該候補ページ角点に対応するページ内領域における前景画素量が占める比率である。
そして、選択サブ手段７３０は、各大雑把な書類角点の候補ページ角点から、それに対応するページ内領域における前景画素の百分比が該書類のページ角領域における前景画素の百分比に最も近い候補ページ角点を書類の書類角点として選択してもよい。一般には、ページ余白が設定されているため、書類のページ角領域における前景画素の百分比が０に接近すると考えられてもよい。このため、１つの実施態様では、書類のページ角領域における前景画素の百分比が０であると見なされてもよい。従って、ある大雑把な書類角点の全ての候補ページ角点から、ページ内領域における前景画素の百分比が０に最も近い候補ページ角点を選択してもよい。言い換えれば、ページ内領域における前景画素の百分比が最も小さい（０よりも大きい場合において）候補ページ角点を最終確定された書類角点として選択してもよい。
なお、ある特別な場合において、例えば書類はあるカラーの雑誌又は表紙ページなどである場合、ページ余白が殆ど含まれない可能性もある。このような場合は、この種の書類のページの角の画素特徴（例えば色特徴、形状特徴、及び／又は画素分布特徴など）を予め取得して、候補ページ角点のページ内領域の同一のタイプの画素特徴を計算して、それと比べて、両者の間の特徴が最も接近する候補ページ角点を書類の書類角点として選択してもよい。
また、他の実施態様では、図７Ｂに示される構成により選択手段２３０の機能及び動作を実現してもよい。図７Ｂに示すように、選択手段２３０は、第２の決定サブ手段７１０、第２の計算サブ手段７２０、選別サブ手段７２４及び選択サブ手段７３０を含んでもよい。なお、この実施態様では、図７Ｂに示される第２の決定サブ手段７１０及び第２の計算サブ手段７２０は、図７Ａに示される第２の決定サブ手段７１０及び第２の計算サブ手段７２０と同じ構成及び機能を有し、類似の技術的効果を達成してもよく、ここでその説明を省略とされる。
このように、図７Ｂに示される第２の決定サブ手段７１０及び第２の計算サブ手段７２０により、同じように候補ページ角点のページ内領域を決定し、各ページ内領域における前景画素の百分比を計算することができる。
図７Ａに示される例と異なるのは、図７Ｂに示される例では、選別（濾過）サブ手段７２４により候補ページ角点を選別（濾過）してもよい。例えば、マッチングモジュール７２４１、計算モジュール７２４２及び選別モジュール７２４３を含む選別サブ手段７２４により上述した選別機能を実現してもよい。ここで、図９Ａは、処理プロセスにおいて図７Ｂに示される選択手段により取得された選別処理前の候補ページ角点の例を示す図である。なお、実際には書類ページの内容には例えば挿絵、折り目又は他の内容が存在する可能性があるため、スキャンした又は他のルートにより捕捉された書類画像のページにしま等が存在することがある。よって、上述した処理により得られた候補ページ角点には例えばＤ２及びＤ４のような位置が実際の角点の位置と偏差が大きい候補ページ角点が存在する可能性があるため、Ｄ２及びＤ４のような候補ページ角点を除去する必要がある。
この実施態様では、マッチングモジュール７２４１により以下の方式で候補ページ角点それぞれ２つを対にしてもよい。
第１の方向が書類画像の水平方向である場合、全ての大雑把な書類角点における左上部の大雑把な書類角点の候補ページ角点及び左下部の大雑把な書類角点の候補ページ角点それぞれ２つを対にすることで複数の第１の候補ページ角点対を取得し、全ての大雑把な書類角点における右上部の大雑把な書類角点の候補ページ角点及び右下部の大雑把な書類角点の候補ページ角点それぞれ２つを対にすることで複数の第２の候補ページ角点対を取得する。
第１の方向が書類画像の垂直方向である場合、全ての大雑把な書類角点における左上部の大雑把な書類角点の候補ページ角点及び右上部の大雑把な書類角点の候補ページ角点それぞれ２つを対にすることで複数の第３の候補ページ角点対を取得し、全ての大雑把な書類角点における左下部の大雑把な書類角点の候補ページ角点及び右下部の大雑把な書類角点の候補ページ角点それぞれ２つを対にすることで複数の第４の候補ページ角点対を取得する。
なお、大雑把な書類角点の座標に基づいて「全ての大雑把な書類角点における左上部の大雑把な書類角点」及び他の位置の大雑把な書類角点を特定してもよい。なお、複数の候補ページ角点対には、重複する候補ページ角点が存在し、以下は各候補ページ角点対を対象として処理を行う。例えば、図９Ａに示すように、得られた複数の候補ページ角点対は第１の部分における（Ｄ１，Ｄ４）、（Ｄ１，Ｄ５）及び第２の部分における（Ｄ２，Ｄ３）、（Ｄ６，Ｄ３）等を含んでもよい。
次に、計算モジュール７２４２は、第１の方向が書類画像の水平方向である場合、複数の第１及び第２の候補ページ角点対における各候補ページ角点対に含まれる２つの候補ページ角点の間の連結線の傾斜度をそれぞれ計算し、第１の方向が書類画像の垂直方向である場合、複数の第３及び第４の候補ページ角点対における各候補ページ角点対に含まれる２つの候補ページ角点の間の連結線の傾斜度をそれぞれ計算してもい。例えば、図９Ａに示される（Ｄ１，Ｄ４）に対応する傾斜度ｋ’１及び（Ｄ２，Ｄ３）に対応する傾斜度ｋ’２等を計算する。
次に、該計算された各傾斜度と書類の第２の方向に沿う境界線の傾斜度とを比較する。
次に、選別モジュール７２４３は、例えば傾斜度ｋ’１、ｋ’２等のうち、書類の第２の方向に沿う境界線の傾斜度ｋとの差が第２の所定閾値よりも大きい候補ページ角点対を除去し、残りの候補ページ角点対を選択サブ手段７３０に供給して処理を行わせる。
この実施態様では、選択サブ手段７３０は、選別後（残り）の第１及び第２の候補ページ角点対又は第３及び第４の候補ページ角点対における各候補ページ角点対に含まれる２つの候補ページ角点それぞれに対応するページ内領域における前景画素の百分比の和を計算する。例えば、図９Ｂに示される候補ページ角点対（Ｄ１，Ｄ５）における候補ページ角点Ｄ１及び候補ページ角点Ｄ５について、候補ページ角点Ｄ１に対応するページ内領域における前景画素の百分比と候補ページ角点Ｄ５に対応するページ内領域における前景画素の百分比との和を計算する。
次に、選択サブ手段７３０は、例えば以下の方法で書類の書類角点を最終に決定してもよい。
第１の方向が書類画像の水平方向である場合、複数の第１の候補ページ角点対から、それに含まれる２つの候補ページ角点それぞれに対応するページ内領域における前景画素の百分比の和が書類のページ角領域における前景画素の百分比に最も近い候補ページ角点対を選択し、複数の第２の候補ページ角点対から、それに含まれる２つの候補ページ角点それぞれに対応するページ内領域における前景画素の百分比の和が書類のページ角領域における前景画素の百分比に最も近い候補ページ角点対を選択する。第１の候補ページ角点対及び第２の候補ページ角点からそれぞれ選択された候補ページ角点対における候補ページ角点を書類の書類角点と決定する。
第１の方向が書類画像の垂直方向である場合、複数の第３の候補ページ角点対から、それに含まれる２つの候補ページ角点それぞれに対応するページ内領域における前景画素の百分比の和が書類のページ角領域における前景画素の百分比に最も近い候補ページ角点対を選択し、複数の第４の候補ページ角点対から、それに含まれる２つの候補ページ角点それぞれに対応するページ内領域における前景画素の百分比の和が書類のページ角領域における前景画素の百分比に最も近い候補ページ角点対を選択する。第３の候補ページ角点対及び第４の候補ページ角点からそれぞれ選択された候補ページ角点対における候補ページ角点を書類の書類角点と決定する。
通常の場合、書類のページ角領域における前景画素の百分比が０に接近するため、例えば２つの候補ページ角点それぞれに対応するページ内領域における前景画素の百分比の和が最も小さい候補ページ角点対を選択し、該候補ページ角点対における２つの候補ページ角点を書類の書類角点と決定してもよい。図９Ｂに示すように、例えば第１の部分のうちＤ１及びＤ５それぞれに対応するページ内領域における前景画素の百分比の和が最も小さくて、第２の部分のうちＤ３及びＤ６それぞれに対応するページ内領域における前景画素の百分比の和が最も小さい場合、Ｄ１、Ｄ３、Ｄ６及びＤ５を書類の書類角点と最終に決定する。
以上のことから、画像処理装置によれば、書類から捕捉された書類画像に対して画像処理を行う際に、正確な書類角点を抽出することができ、画像処理の効果を改善することができる。
また、画像処理方法をさらに提供されている。以下、図１０〜図１４を参照しながら画像処理方法の例示的な処理を説明する。
図１０は、画像処理方法の一例の処理を示すフローチャートである。
図１０に示すように、画像処理方法の処理プロセスはステップＳ１０２０、ステップＳ１０３０及びステップＳ１０４０を含む。
ステップＳ１０２０において、書類に対して捕捉された書類画像から、書類の第１の方向に沿う境界線及び書類の大雑把な書類角点を抽出する。なお、第１の方向は、書類画像の水平方向であってもよく、書類画像の垂直方向であってもよい。その後、ステップＳ１０３０を実行する。
なお、図１０に示されるステップＳ１０２０の処理は、図１１示されるステップＳ１１１０〜Ｓ１１３０により実現されてもよい。
図１１は、図１０に示されるステップＳ１０２０の一例の処理を示すフローチャートである。図１１に示すように、ステップＳ１１１０において、全局二値化方法により書類画像の前景領域を取得することで、該前景領域のエッジラインを取得する。その後、ステップＳ１１２０を実行する。
ステップＳ１１２０において、前景領域の隣接するエッジラインの間の交点を書類の大雑把な書類角点と決定する。その後、ステップＳ１１３０を実行する。
ステップＳ１１３０において、書類の大雑把な書類角点の間において第１の方向に沿って動的計画法により境界検出を行い、検出された境界を「書類の第１の方向に沿う境界線」とする。
このように、ステップＳ１１１０〜Ｓ１１３０により書類の第１の方向に沿う境界線及び書類の大雑把な書類角点を抽出することができる。
図１０に示すように、ステップＳ１０３０において、大雑把な書類角点近傍において、書類の第１の方向に沿う境界線から書類の候補ページ角点を決定する。その後、ステップＳ１０４０を実行する。
なお、図１０に示されるステップＳ１０３０の処理は、各大雑把な書類角点に対して図１２示されるステップＳ１２１０〜Ｓ１２５０をそれぞれ実行することによって実現されてもよい。
図１２は、図１０に示されるステップＳ１０３０の一例の処理を示すフローチャートである。以下、図１２を参照しながらある１つの大雑把な書類角点に対する処理を説明する。
図１２に示すように、ステップＳ１２１０において、抽出された書類の第１の方向に沿う境界線から大雑把な書類角点を含む境界線セグメントを切り取り、書類画像から該大雑把な書類角点に対応する境界線セグメントを含む画像ブロックを選択する。その後、ステップＳ１２２０を実行する。
ステップＳ１２２０において、該大雑把な書類角点に対応する画像ブロックの第１の方向に沿う勾配を計算し、閾値化方法を用いることで、該画像ブロックの勾配の二値化画像を取得し、エントロビー最小化ルール（entropy minimization rule）により書類の第２の方向に沿う境界線の傾斜度を取得する。ここで、第１の方向が書類画像の水平方向である場合、第２の方向は書類の垂直方向であり、第１の方向が書類画像の垂直方向である場合、第２の方向は書類の水平方向である。その後、ステップＳ１２３０を実行する。
ステップＳ１２３０において、該大雑把な書類角点を含む境界線セグメントにおける各点近傍から該点に関係のある第１の矩形領域をそれぞれ決定する。ここで、該第１の矩形領域は、第１の所定サイズを有し、且つ対応の画像ブロックに含まれ、第１の矩形領域の長さは、書類の第２の方向に沿う境界線の傾斜度に一致する方向に沿って延伸する。その後、ステップＳ１２４０を実行する。なお、書類画像の前景領域が取得された場合、境界線セグメントにおける各点に対応する第１の矩形領域は、書類画像の前景領域の内部に位置してもよい。
ステップＳ１２４０において、画像ブロックの勾配の二値化画像に基づいて、各第１の矩形領域に含まれる前景画素点の数を計算する。その後、ステップＳ１２５０を実行する。
ステップＳ１２５０において、境界線セグメントから、対応の第１の矩形領域に含まれる前景画素点の数が第１の所定閾値よりも大きいという条件を満たしている点を、該大雑把な書類角点の候補ページ角点として選択する。
このように、ステップＳ１２１０〜Ｓ１２５０により、書類の候補ページ角点を取得できる。
図１０に示すように、ステップＳ１０４０において、候補ページ角点から、ページ内領域の画素特徴が書類のページの角の画素特徴に最も近い候補ページ角点を書類の書類角点として選択する。
なお、図１０に示されるステップＳ１０４０の処理は、図１３示されるステップＳ１３１０〜Ｓ１３３０により実現されてもよい。
図１３は、図１０に示されるステップＳ１０４０の一例の処理を示すフローチャートである。図１３に示すように、ステップＳ１３１０において、各大雑把な書類角点に対して、該大雑把な書類角点の各候補ページ角点近傍から候補ページ角点に関係のあるページ内領域をそれぞれ決定する。ここで、ページ内領域は第２の所定サイズを有し、且つ画像ブロックに含まれ、各候補ページ角点に対応するページ内領域は候補ページ角点に対応する第１の矩形領域よりも書類画像の中心に近い。その後、ステップＳ１３２０を実行する。
ステップＳ１３２０において、各大雑把な書類角点に対して、該大雑把な書類角点の各候補ページ角点に対応するページ内領域における前景画素の百分比を計算する。その後、ステップＳ１３３０を実行する。
ステップＳ１３３０において、各大雑把な書類角点の候補ページ角点から、対応のページ内領域における前景画素の百分比が書類のページ角領域における前景画素の百分比に最も近い候補ページ角点を書類の書類角点と決定する。
また、図１０に示されるステップＳ１０４０の処理は、図１４示されるステップＳ１４１０〜Ｓ１４４０により実現されてもよい。
図１４は、図１０に示されるステップＳ１０４０の他の例の処理を示すフローチャートである。図１４に示すように、ステップＳ１４１０及びＳ１４２０の処理は、図１３に示されるステップＳ１３１０及びＳ１３２０の処理と同じ、類似の技術的効果を達成することができ、ここでその説明が省略される。
図１４に示すように、ステップＳ１４１０及びＳ１４２０を実行した後に、ステップＳ１４３０を実行する。
ステップＳ１４３０において、候補角点を選別する。その後、ステップＳ１４４０を実行する。
例えば、ステップＳ１４３０において、以下のように候補角点を選別してもよい。第１の方向が書類画像の水平方向である場合、大雑把な書類角点における左上部の大雑把な書類角点の候補ページ角点及び左下部の大雑把な書類角点の候補ページ角点に対してそれぞれ２つを対にすることで複数の第１の候補ページ角点対を取得し、大雑把な書類角点における右上部の大雑把な書類角点の候補ページ角点及び右下部の大雑把な書類角点の候補ページ角点に対してそれぞれ２つを対にすることで複数の第２の候補ページ角点対を取得する。第１の方向が書類画像の垂直方向である場合、大雑把な書類角点における左上部の大雑把な書類角点の候補ページ角点及び右上部の大雑把な書類角点の候補ページ角点に対してそれぞれ２つを対にすることで複数の第３の候補ページ角点対を取得し、大雑把な書類角点における左下部の大雑把な書類角点の候補ページ角点及び右下部の大雑把な書類角点の候補ページ角点に対してそれぞれ２つを対にすることで複数の第４の候補ページ角点対を取得する。複数の第１及び第２の候補ページ角点対、又は複数の第３及び第４の候補ページ角点対における各候補ページ角点対に含まれる２つの候補ページ角点の間の連結線の傾斜度をそれぞれ計算する。複数の第１及び第２の候補ページ角点対又は複数の第３及び第４の候補ページ角点対から、対応の傾斜度と書類の第２の方向に沿う境界線の傾斜度との差が第２の所定閾値よりも大きい候補ページ角点対を除去し、選別後の候補ページ角点対を取得する。このように、候補角点の選別が実現される。
なお、ページ内領域は、ページ内領域に対応する候補ページ角点を頂点とする矩形又は方形の領域であってもよく、ページ内領域の１つの辺は、第２の方向に沿う境界線の傾斜度に一致する方向に沿って延伸してもよい。
ステップＳ１４４０において、ステップＳ１４３０において選別後の候補ページ角点対における、各候補ページ角点対に含まれる２つの候補ページ角点それぞれに対応するページ内領域における前景画素の百分比の和を計算する。
ここで、第１の方向が書類画像の水平方向である場合、複数の第１の候補ページ角点対における２つの候補ページ角点それぞれに対応するページ内領域における前景画素の百分比の和が書類のページ角領域における前景画素の百分比に最も近い候補ページ角点対を選択し、複数の第２の候補ページ角点対における２つの候補ページ角点それぞれに対応するページ内領域における前景画素の百分比の和が書類のページ角領域における前景画素の百分比に最も近い候補ページ角点対を選択し、第１の候補ページ角点対及び第２の候補ページ角点からそれぞれ選択された候補ページ角点対における候補ページ角点を書類の書類角点と決定する。
第１の方向が書類画像の垂直方向である場合、複数の第３の候補ページ角点対における２つの候補ページ角点それぞれに対応するページ内領域における前景画素の百分比の和が書類のページ角領域における前景画素の百分比に最も近い候補ページ角点対を選択し、複数の第４の候補ページ角点対における２つの候補ページ角点それぞれに対応するページ内領域における前景画素の百分比の和が書類のページ角領域における前景画素の百分比に最も近い候補ページ角点対を選択し、第３の候補ページ角点対及び第４の候補ページ角点からそれぞれ選択された候補ページ角点対における候補ページ角点を書類の書類角点と決定する。
このように、ステップＳ１３１０〜Ｓ１３３０の処理又はステップＳ１４１０〜Ｓ１４４０の処理により、共に書類の書類角点を最終に決定することができる。
なお、上記画像処理方法における各ステップの処理又はサブ処理によれば、上述した画像処理装置の手段、サブ手段、モジュール又はサブモジュールの動作又は機能の処理プロセスを実現することができ、類似の技術的効果を達成することができる。ここにその説明を省略とされる。
以上のことから、画像処理方法によれば、書類から捕捉された書類画像に対して画像処理を行う際に、より正確な書類角点を抽出することができ、画像処理効果を改善することができる。
上述した画像処理装置を含む画像処理デバイスがさらに提供されている。なお、該画像処理デバイスは、書類校正デバイス、スキャナー、カメラ、携帯電話、コンピュータ、及びＰＤＡ（Personal Digital Assistant：パーソナルディジタルアシスタント)のうちいずれか１つであってもよい。
以上のことから、上記画像処理デバイスによれば、書類から捕捉された書類画像に対して画像処理を行う際に、より正確な書類角点を抽出することができ、画像処理効果を改善することができる。
上述した画像処理装置における各構成手段、サブ手段などは、ソフトウェア、ファームウェア、ハードウェア又はこれらの任意の組合せの方式で配置されてもよい。ソフトウェア又はファームウェアにより実現される場合、記憶媒体又はネットワークから専用のハードウェア構成の機器（例えば図１５に示される汎用機器１５００）に該ソフトウェア又はファームウェアのプログラムをインストールしてもよい。該機器は、各種のプログラムがインストールされた場合、上述した各構成手段、サブ手段の各機能を実現することができる。
図１５は、画像処理装置及び画像処理方法を実現するための情報処理デバイスのハードウェア配置図である。
図９において、中央処理ユニット（ＣＰＵ）１５０１が、リードオンリーメモリ（ＲＯＭ）１５０２に記憶されているプログラム、又は記憶部１５０８からランダムアクセスメモリ（ＲＡＭ）１５０３にロードされているプログラムに基づいて各種の処理を行う。ＲＡＭ１５０３は、必要に応じてＣＰＵ１５０１が各種の処理などを実行するときに必要なデータを記憶してもよい。ＣＰＵ１５０１、ＲＯＭ１５０２及びＲＡＭ１５０３は、バス１５０４を介して互いに接続される。また、入力／出力インターフェース１５０５もバス１５０４に接続される。
入力／出力インターフェース１５０５には、入力部１５０６（キーボード、マウスなどを含む）、出力部分１５０７（例えばＣＲＴなどの表示器、液晶表示装置（ＬＣＤ）、スピーカーなどを含む）、記憶部１５０８（ハードディスクなどを含む）、及び通信部１５０９（例えばＬＡＮカードなどのネットワーク接続カード、モデムなどを含む）が接続される。通信部１５０９は、ネットワーク例えばインターネットを介して通信処理を行う。駆動装置（ドライブ）１５１０は、必要に応じて入力／出力インターフェース１５０５に接続されてもよい。また、必要に応じて、例えば磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどの取り外し可能な媒体１５１１を駆動装置１５１０にセットすることにより、その中から読み出したコンピュータプログラムを記憶部１５０８にインストールしてもよい。
ソフトウェアにより上述の一連の処理を実現する場合は、ネットワーク例えばインターネット、又は記憶媒体例えば取り外し可能な媒体１５１１から、このソフトウェアを構成するプログラムをインストールしてもよい。
なお、当業者が理解すべきこととしては、このような記憶媒体は、中にプログラムが記憶されており、ユーザにプログラムを提供するよう装置と独立して配られる図１５に示すような取り外し可能な媒体１５１１に限定されないということである。取り外し可能な媒体１５１１の例としては、磁気ディスク（フロッピーディスク（登録商標）を含む）、光ディスク（ＣＤ−ＲＯＭ及びＤＶＤを含む）、光磁気ディスク（ＭＤ（登録商標）を含む）、及び半導体メモリを含む。或いは、記憶媒体はＲＯＭ１５０２、記憶部１５０８に含まれるハードディスクなどであってもよく、それらにはプログラムが記憶されており、且つそれらを含む装置とともにユーザに配られてもよい。
また、機器が読み取り可能な指令コードを記憶するプログラムプロダクトがさらに提供されている。該指令コードは、機器により読み取られて実行される時に、上述した画像処理方法を実現することができる。それに応じて、本発明は、このようなプログラムプロダクトを記憶する例えば磁気ディスク、光ディスク、光磁気ディスク、半導体記憶装置などの各種の記憶媒体を含む。
上述したような本発明の具体的な説明において、１つの実施形態に対して説明した及び／又は示した特徴は、同じ又は類似の方式で１つ又は複数の他の実施形態において使用する、他の実施形態における特徴と組合せる、或いは他の実施形態における特徴を代替してもよい。
なお、用語「包括／含む」は、本文に使用される際に、特徴、要素、ステップ又は構成要件の存在を意味し、一つ又は複数の他の特徴、要素、ステップ又は構成要件の存在又は追加を排除するものではない。序数の用語「第１の」、「第２の」などは、これらの用語により限定されている特徴、要素、ステップ、又は構成要件の実施順序又は重要性を表示することではなく、明確にするようにこれらの特徴、要素、ステップ又は構成要件を標記するものに過ぎない。
また、本発明の実施例に係る方法は、明細書に説明された又は図面に示された時間の順序に基づいて実行することに限らず、他の時間の順序、並行又は独立に実行されてもよい。よって、本明細書に説明された方法の実行順序は、本発明の技術的範囲を制限するものではない。
また、本発明の上記方法は、各動作プロセスは各種の機器の読み取り可能な記憶媒体に記憶され、コンピュータにより実行されることができる方式で実現されてもよい。
また、本発明の目的は、上記実行可能なプログラムコードが記憶されている記憶媒体により直接又は間接にシステム又はデバイスに提供し、且つ該システム又はデバイスにおけるコンピュータ又は中央処理ユニット（ＣＰＵ）が読み出して上記のプログラムコードを実行する方式で実現されてもよい。
この際、該システム又はデバイスがプログラムを実行できる機能を有する限りにおいて、本発明の実施形態はプログラムに限定されず、例えばオブジェクトプログラム、インタープリターにより実行されるプログラム又はオペレーティングシステムに提供されるスクリプトプログラムなどの任意の形式であってもよい。
上述した機器読み取り可能な記憶媒体は、各種のメモリ、記憶手段、半導体設備、例えば光ディスク、磁気ディスク、光磁気ディスクのディスク手段、及び他の情報を記憶できる媒体などを含むが、これらの媒体に限定されない。
また、本発明は、クライアントコンピュータがインターネット上の対応ウェブサイトに接続し、本発明に係るプログラムコードをコンピュータにダウンロードしてインストールして、該プログラムを実行することによって実現されてもよい。
最後に、説明すべきのは、本文において、「左」、「右」、「第１の」、「第２の」等のような関係用語は、１つの実体又は動作ともう１つの実体又は動作とを区別するために用いられるものであり、これらの実体又は動作間にいずれかの実際の関係又は順序が存在することを要求又は示唆するものではない。また、用語「包括」、「含む」又はいずれか他の変更するものは、排他的含むものを意味することではなく、一連の要素のプロセス、方法、物又は設備がそれらの要素を含むだけではなく、明示的に列挙されていない他の要素、又はこれらのプロセス、方法、物或いは設備の固有の要素をさらに含むものである。他の限定がない限りにおいて、文言「を１つ含む」が限定する要素は、該要素を含むプロセス、方法、物又は設備には他の同様な要素を含むことが排除されない。
また、上述の各実施例を含む実施形態に関し、更に以下の付記を開示する。
（付記１）
書類に対して捕捉された書類画像から、前記書類の第１の方向に沿う境界線及び前記書類の大雑把な書類角点を抽出する抽出手段と、
前記大雑把な書類角点近傍の前記書類の第１の方向に沿う境界線から前記書類の候補ページ角点を決定する決定手段と、
前記候補ページ角点から、ページ内領域の画素特徴が前記書類のページの角の画素特徴に最も近い候補ページ角点を前記書類の書類角点として選択する選択手段と、を含み、
前記第１の方向は前記書類画像の水平方向又は垂直方向である、画像処理装置。
（付記２）
前記抽出手段は、
全局二値化方法により前記書類画像の前景領域を取得することで前記前景領域のエッジラインを取得し、前記前景領域の隣接するエッジラインの間の交点を前記書類の大雑把な書類角点と決定する第１の処理サブ手段と、
前記書類の大雑把な書類角点の間において前記第１の方向に沿って動的計画法により境界検出を行い、検出された境界を前記書類の第１の方向に沿う境界線とする第２の処理サブ手段と、を含む、付記１に記載の画像処理装置。
（付記３）
前記決定手段は、
各大雑把な書類角点に対して、前記書類の第１の方向に沿う境界線から前記大雑把な書類角点を含む境界線セグメントを切り取り、前記書類画像から前記境界線セグメントを含む画像ブロックを切り取る切り取りサブ手段と、
前記画像ブロックの第１の方向に沿う勾配を計算し、閾値化方法を用いることで、前記画像ブロックの勾配の二値化画像を取得し、エントロビー最小化ルールにより前記書類の第２の方向に沿う境界線の傾斜度を取得する第１の計算サブ手段であって、前記第１の方向が前記書類画像の水平方向である場合、前記第２の方向は前記書類の垂直方向であり、前記第１の方向が前記書類画像の垂直方向である場合、前記第２の方向は前記書類の水平方向である、第１の計算サブ手段と、
前記境界線セグメントにおける各点近傍から前記点に関係のある第１の矩形領域をそれぞれ決定する第１の決定サブ手段であって、前記第１の矩形領域は、第１の所定サイズを有し、且つ前記画像ブロックに含まれ、前記第１の矩形領域の長さは、前記書類の第２の方向に沿う境界線の傾斜度に一致する方向に沿って延伸する、第１の決定サブ手段と、
前記画像ブロックの勾配の二値化画像に基づいて各第１の矩形領域に含まれる前景画素点の数を計算し、前記境界線セグメントから、対応する第１の矩形領域に含まれる前景画素点の数が第１の所定閾値よりも大きいという条件を満たしている点を、前記大雑把な書類角点の候補ページ角点として選択する計算選択サブ手段と、を含む、付記１又は２に記載の画像処理装置。
（付記４）
前記抽出手段が前記第１の処理サブ手段を含み、且つ前記第１の処理サブ手段が前記書類画像の前景領域を取得した場合、前記境界線セグメントにおける各点に対応する第１の矩形領域は前記書類画像の前景領域の内部に位置する、付記３に記載の画像処理装置。
（付記５）
前記選択手段は、
各大雑把な書類角点に対して、前記大雑把な書類角点の各候補ページ角点近傍から前記候補ページ角点に関係のあるページ内領域をそれぞれ決定する第２の決定サブ手段であって、前記ページ内領域は第２の所定サイズを有し、且つ前記画像ブロックに含まれ、各候補ページ角点に対応するページ内領域は前記候補ページ角点に対応する第１の矩形領域よりも前記書類画像の中心に近い、第２の決定サブ手段と、
各大雑把な書類角点の各候補ページ角点に対応するページ内領域における前景画素の百分比を計算する第２の計算サブ手段と、
各大雑把な書類角点の候補ページ角点から、対応するページ内領域における前景画素の百分比が前記書類のページ角領域における前景画素の百分比に最も近い候補ページ角点を前記書類の書類角点として選択する選択サブ手段と、を含む、付記３又は４に記載の画像処理装置。
（付記６）
前記選択手段は、
各大雑把な書類角点に対して、前記大雑把な書類角点の各候補ページ角点近傍から前記候補ページ角点に関係のあるページ内領域をそれぞれ決定する第２の決定サブ手段であって、前記ページ内領域は第２の所定サイズを有し、且つ前記画像ブロックに含まれ、各候補ページ角点に対応するページ内領域は前記候補ページ角点に対応する第１の矩形領域よりも前記書類画像の中心に近い、第２の決定サブ手段と、
各大雑把な書類角点の各候補ページ角点に対応するページ内領域における前景画素の百分比を計算する第２の計算サブ手段と、
前記第２の計算サブ手段の計算結果に基づいて候補ページ角点を選別する選別サブ手段であって、
前記第１の方向が前記書類画像の水平方向である場合、前記大雑把な書類角点における左上部の大雑把な書類角点の候補ページ角点及び左下部の大雑把な書類角点の候補ページ角点に対してそれぞれ２つを対にすることで複数の第１の候補ページ角点対を取得し、且つ前記大雑把な書類角点における右上部の大雑把な書類角点の候補ページ角点及び右下部の大雑把な書類角点の候補ページ角点に対してそれぞれ２つを対にすることで複数の第２の候補ページ角点対を取得し、前記第１の方向が前記書類画像の垂直方向である場合、前記大雑把な書類角点における左上部の大雑把な書類角点の候補ページ角点及び右上部の大雑把な書類角点の候補ページ角点に対してそれぞれ２つを対にすることで複数の第３の候補ページ角点対を取得し、且つ前記大雑把な書類角点における左下部の大雑把な書類角点の候補ページ角点及び右下部の大雑把な書類角点の候補ページ角点に対してそれぞれ２つを対にすることで複数の第４の候補ページ角点対を取得する、マッチングモジュールと、
前記複数の第１及び第２の候補ページ角点対、又は前記複数の第３及び第４の候補ページ角点対における各候補ページ角点対に含まれる２つの候補ページ角点の間の連結線の傾斜度をそれぞれ計算する計算モジュールと、
前記マッチングモジュールにより取得された複数の第１及び第２の候補ページ角点対又は複数の第３及び第４の候補ページ角点対から、対応する傾斜度と前記書類の第２の方向に沿う境界線の傾斜度との差が第２の所定閾値よりも大きい候補ページ角点対を除去し、処理を行わせるように残りの候補ページ角点対を選択サブ手段に供給する、選別モジュールと、を含む選別サブ手段と、
前記残りの候補ページ角点対に対して、各候補ページ角点対における２つの候補ページ角点それぞれに対応するページ内領域における前景画素の百分比の和を計算し、
前記第１の方向が前記書類画像の水平方向である場合、前記複数の第１の候補ページ角点対における２つの候補ページ角点それぞれに対応するページ内領域における前景画素の百分比の和が前記書類のページ角領域における前景画素の百分比に最も近い候補ページ角点対を選択し、前記複数の第２の候補ページ角点対における２つの候補ページ角点それぞれに対応するページ内領域における前景画素の百分比の和が前記書類のページ角領域における前景画素の百分比に最も近い候補ページ角点対を選択し、前記第１の候補ページ角点対及び前記第２の候補ページ角点からそれぞれ選択された候補ページ角点対における候補ページ角点を前記書類の書類角点と決定し、
前記第１の方向が前記書類画像の垂直方向である場合、前記複数の第３の候補ページ角点対における２つの候補ページ角点それぞれに対応するページ内領域における前景画素の百分比の和が前記書類のページ角領域における前景画素の百分比に最も近い候補ページ角点対を選択し、前記複数の第４の候補ページ角点対における２つの候補ページ角点それぞれに対応するページ内領域における前景画素の百分比の和が前記書類のページ角領域における前景画素の百分比に最も近い候補ページ角点対を選択し、前記第３の候補ページ角点対及び前記第４の候補ページ角点からそれぞれ選択された候補ページ角点対における候補ページ角点を前記書類の書類角点と決定する、前記選択サブ手段と、を含む、付記３又は４に記載の画像処理装置。
（付記７）
前記ページ内領域は前記ページ内領域に対応する候補ページ角点を頂点とする矩形又は方形の領域であり、前記ページ内領域の１つの辺は前記第２の方向に沿う境界線の傾斜度に一致する方向に沿って延伸する、付記５又は６に記載の画像処理装置。
（付記８）
書類に対して捕捉された書類画像から、前記書類の第１の方向に沿う境界線を抽出するステップと、
前記書類の第１の方向に沿う境界線から前記書類の候補ページ角点を決定するステップと、
前記候補ページ角点から、ページ内領域の画素特徴が前記書類のページの角の画素特徴に最も近い候補ページ角点を前記書類の書類角点として選択するステップと、を含み、
前記第１の方向は前記書類画像の水平方向又は垂直方向である、画像処理方法。
（付記９）
書類に対して捕捉された書類画像から、前記書類の第１の方向に沿う境界線を抽出するステップは、
全局二値化方法により前記書類画像の前景領域を取得することで前記前景領域のエッジラインを取得し、前記前景領域の隣接するエッジラインの間の交点を前記書類の大雑把な書類角点と決定するステップと、
前記書類の大雑把な書類角点の間において前記第１の方向に沿って動的計画法により境界検出を行い、検出された境界を前記書類の第１の方向に沿う境界線とするステップと、を含む、付記８に記載の画像処理方法。
（付記１０）
前記書類の第１の方向に沿う境界線から前記書類の候補ページ角点を決定するステップは、
各大雑把な書類角点に対して、前記書類の第１の方向に沿う境界線から前記大雑把な書類角点を含む境界線セグメントを切り取り、前記書類画像から前記境界線セグメントを含む画像ブロックを選択するステップと、
前記画像ブロックの第１の方向に沿う勾配を計算し、閾値化方法を用いることで、前記画像ブロックの勾配の二値化画像を取得し、エントロビー最小化ルールにより前記書類の第２の方向に沿う境界線の傾斜度を取得するステップであって、前記第１の方向が前記書類画像の水平方向である場合、前記第２の方向は前記書類の垂直方向であり、前記第１の方向が前記書類画像の垂直方向である場合、前記第２の方向は前記書類の水平方向である、ステップと、
前記境界線セグメントにおける各点近傍から前記点に関係のある第１の矩形領域をそれぞれ決定するステップであって、前記第１の矩形領域は、第１の所定サイズを有し、且つ前記画像ブロックに含まれ、前記第１の矩形領域の長さは、前記書類の第２の方向に沿う境界線の傾斜度に一致する方向に沿って延伸する、ステップと、
前記画像ブロックの勾配の二値化画像に基づいて各第１の矩形領域に含まれる前景画素点の数を計算し、前記境界線セグメントから、対応する第１の矩形領域に含まれる前景画素点の数が第１の所定閾値よりも大きいという条件を満たしている点を、前記大雑把な書類角点の候補ページ角点として選択するステップと、を含む、付記９に記載の画像処理方法。
（付記１１）
前記書類画像の前景領域を取得した場合、前記境界線セグメントにおける各点に対応する第１の矩形領域は前記書類画像の前景領域の内部に位置する、付記１０に記載の画像処理方法。
（付記１２）
前記候補ページ角点から、ページ内領域の画素特徴が前記書類のページの角の画素特徴に最も近い候補ページ角点を前記書類の書類角点として選択するステップは、
各大雑把な書類角点に対して、前記大雑把な書類角点の各候補ページ角点近傍から前記候補ページ角点に関係のあるページ内領域をそれぞれ決定するステップであって、前記ページ内領域は第２の所定サイズを有し、且つ前記画像ブロックに含まれ、各候補ページ角点に対応するページ内領域は前記候補ページ角点に対応する第１の矩形領域よりも前記書類画像の中心に近い、ステップと、
各大雑把な書類角点の各候補ページ角点に対応するページ内領域における前景画素の百分比を計算するステップと、
各大雑把な書類角点の候補ページ角点から、対応するページ内領域における前景画素の百分比が前記書類のページ角領域における前景画素の百分比に最も近い候補ページ角点を前記書類の書類角点として選択するステップと、を含む、付記１０又は１１に記載の画像処理方法。
（付記１３）
前記候補ページ角点から、ページ内領域の画素特徴が前記書類のページの角の画素特徴に最も近い候補ページ角点を前記書類の書類角点として選択するステップは、
各大雑把な書類角点に対して、前記大雑把な書類角点の各候補ページ角点近傍から前記候補ページ角点に関係のあるページ内領域をそれぞれ決定するステップであって、前記ページ内領域は第２の所定サイズを有し、且つ前記画像ブロックに含まれ、各候補ページ角点に対応するページ内領域は前記候補ページ角点に対応する第１の矩形領域よりも前記書類画像の中心に近い、ステップと、
各大雑把な書類角点の各候補ページ角点に対応するページ内領域における前景画素の百分比を計算するステップと、
前記第１の方向が前記書類画像の水平方向である場合、前記大雑把な書類角点における左上部の大雑把な書類角点の候補ページ角点及び左下部の大雑把な書類角点の候補ページ角点に対してそれぞれ２つを対にすることで複数の第１の候補ページ角点対を取得し、且つ前記大雑把な書類角点における右上部の大雑把な書類角点の候補ページ角点及び右下部の大雑把な書類角点の候補ページ角点に対してそれぞれ２つを対にすることで複数の第２の候補ページ角点対を取得し、
前記第１の方向が前記書類画像の垂直方向である場合、前記大雑把な書類角点における左上部の大雑把な書類角点の候補ページ角点及び右上部の大雑把な書類角点の候補ページ角点に対してそれぞれ２つを対にすることで複数の第３の候補ページ角点対を取得し、且つ前記大雑把な書類角点における左下部の大雑把な書類角点の候補ページ角点及び右下部の大雑把な書類角点の候補ページ角点に対してそれぞれ２つを対にすることで複数の第４の候補ページ角点対を取得する、ステップと、
前記複数の第１及び第２の候補ページ角点対、又は前記複数の第３及び第４の候補ページ角点対における各候補ページ角点対に含まれる２つの候補ページ角点の間の連結線の傾斜度をそれぞれ計算するステップと、
前記取得された複数の第１及び第２の候補ページ角点対又は複数の第３及び第４の候補ページ角点対から、対応する傾斜度と前記書類の第２の方向に沿う境界線の傾斜度との差が第２の所定閾値よりも大きい候補ページ角点対を除去し、
前記除去して残った第１及び第２の候補ページ角点対、又は第３及び第４の候補ページ角点対における各候補ページ角点に含まれる２つの候補ページ角点それぞれに対応するページ内領域における前景画素の百分比の和を計算し、
前記第１の方向が前記書類画像の水平方向である場合、前記複数の第１の候補ページ角点対における２つの候補ページ角点それぞれに対応するページ内領域における前景画素の百分比の和が前記書類のページ角領域における前景画素の百分比に最も近い候補ページ角点対を選択し、前記複数の第２の候補ページ角点対における２つの候補ページ角点それぞれに対応するページ内領域における前景画素の百分比の和が前記書類のページ角領域における前景画素の百分比に最も近い候補ページ角点対を選択し、前記第１の候補ページ角点対及び前記第２の候補ページ角点からそれぞれ選択された候補ページ角点対における候補ページ角点を前記書類の書類角点と決定し、
前記第１の方向が前記書類画像の垂直方向である場合、前記複数の第３の候補ページ角点対における２つの候補ページ角点それぞれに対応するページ内領域における前景画素の百分比の和が前記書類のページ角領域における前景画素の百分比に最も近い候補ページ角点対を選択し、前記複数の第４の候補ページ角点対における２つの候補ページ角点それぞれに対応するページ内領域における前景画素の百分比の和が前記書類のページ角領域における前景画素の百分比に最も近い候補ページ角点対を選択し、前記第３の候補ページ角点対及び前記第４の候補ページ角点からそれぞれ選択された候補ページ角点対における候補ページ角点を前記書類の書類角点と決定する、ステップと、を含む、付記１０又は１１に記載の画像処理方法。
（付記１４）
前記ページ内領域は前記ページ内領域に対応する候補ページ角点を頂点とする矩形又は方形の領域であり、前記ページ内領域の１つの辺は前記第２の方向に沿う境界線の傾斜度に一致する方向に沿って延伸する、付記１１又は１２に記載の画像処理方法。
（付記１５）
画像処理機能を有するデバイスであって、付記１乃至７のいずれか一項に記載の画像処理装置を含む、画像処理デバイス。
（付記１６）
前記画像処理デバイスは、書類校正デバイス、スキャナー、カメラ、携帯電話、コンピュータ、及びＰＤＡ（Personal Digital Assistant：パーソナルディジタルアシスタント)のうちいずれか１つである、付記１５に記載の画像処理デバイス。
（付記１７）
計算デバイスが実行可能なコンピュータのプログラムを記憶するコンピュータ読み取り可能な記憶媒体であって、前記プログラムを実行する際に、前記計算デバイスが付記１１乃至２０のいずれか一項に記載の画像処理方法を実行することができる記憶媒体。

Claims (10)

  1. 書類に対して捕捉された書類画像から前景領域を取得して、前記前景領域のエッジラインを取得し、前記前景領域の隣接するエッジラインの間の交点を前記書類の大雑把な書類角点として抽出し、前記大雑把な書類角点の間において第１の方向に沿う境界を検出して、検出された前記境界を前記書類の第１の方向に沿う境界線として抽出する抽出手段と、
    前記大雑把な書類角点近傍の前記書類の第１の方向に沿う境界線から前記書類の候補ページ角点を決定する決定手段と、
    前記候補ページ角点から、ページ内領域の画素特徴が前記書類のページの角の画素特徴に最も近い候補ページ角点を前記書類の書類角点として選択する選択手段と、を含み、
    前記第１の方向は前記書類画像の水平方向又は垂直方向である、画像処理装置。
  2. 書類に対して捕捉された書類画像から、前記書類の第１の方向に沿う境界線及び前記書類の大雑把な書類角点を抽出する抽出手段と、
    前記大雑把な書類角点近傍の前記書類の第１の方向に沿う境界線から前記書類の候補ページ角点を決定する決定手段と、
    前記候補ページ角点から、ページ内領域の画素特徴が前記書類のページの角の画素特徴に最も近い候補ページ角点を前記書類の書類角点として選択する選択手段と、を含み、
    前記第１の方向は前記書類画像の水平方向又は垂直方向であり、
    前記決定手段は、
    各大雑把な書類角点に対して、前記書類の第１の方向に沿う境界線から前記大雑把な書類角点を含む境界線セグメントを切り取り、前記書類画像から前記境界線セグメントを含む画像ブロックを切り取る切り取りサブ手段と、
    前記画像ブロックの第１の方向に沿う勾配を計算し、閾値化方法を用いることで、前記画像ブロックの勾配の二値化画像を取得し、エントロビー最小化ルールにより前記書類の第２の方向に沿う境界線の傾斜度を取得する第１の計算サブ手段であって、前記第１の方向が前記書類画像の水平方向である場合、前記第２の方向は前記書類の垂直方向であり、前記第１の方向が前記書類画像の垂直方向である場合、前記第２の方向は前記書類の水平方向である、第１の計算サブ手段と、
    前記境界線セグメントにおける各点近傍から該点に関係のある第１の矩形領域をそれぞれ決定する第１の決定サブ手段であって、前記第１の矩形領域は、第１の所定サイズを有し、且つ前記画像ブロックに含まれ、前記第１の矩形領域の長さは、前記書類の第２の方向に沿う境界線の傾斜度に一致する方向に沿って延伸する、第１の決定サブ手段と、
    前記画像ブロックの勾配の二値化画像に基づいて各第１の矩形領域に含まれる前景画素点の数を計算し、前記境界線セグメントから、対応する第１の矩形領域に含まれる前景画素点の数が第１の所定閾値よりも大きいという条件を満たしている点を、前記大雑把な書類角点の候補ページ角点として選択する計算選択サブ手段と、を含む、画像処理装置。
  3. 前記書類画像の前景領域が取得された場合、前記境界線セグメントにおける各点に対応する第１の矩形領域は前記書類画像の前景領域の内部に位置する、請求項２に記載の画像処理装置。
  4. 前記選択手段は、
    各大雑把な書類角点に対して、前記大雑把な書類角点の各候補ページ角点近傍から前記候補ページ角点に関係のあるページ内領域をそれぞれ決定する第２の決定サブ手段であって、前記ページ内領域は第２の所定サイズを有し、且つ前記画像ブロックに含まれ、各候補ページ角点に対応するページ内領域は前記候補ページ角点に対応する第１の矩形領域よりも前記書類画像の中心に近い、第２の決定サブ手段と、
    各大雑把な書類角点の各候補ページ角点に対応するページ内領域における前景画素の百分比を計算する第２の計算サブ手段と、
    各大雑把な書類角点の候補ページ角点から、対応するページ内領域における前景画素の百分比が前記書類のページ角領域における前景画素の百分比に最も近い候補ページ角点を前記書類の書類角点として選択する選択サブ手段と、を含む、請求項２又は３に記載の画像処理装置。
  5. 前記選択手段は、
    各大雑把な書類角点に対して、前記大雑把な書類角点の各候補ページ角点近傍から前記候補ページ角点に関係のあるページ内領域をそれぞれ決定する第２の決定サブ手段であって、前記ページ内領域は第２の所定サイズを有し、且つ前記画像ブロックに含まれ、各候補ページ角点に対応するページ内領域は前記候補ページ角点に対応する第１の矩形領域よりも前記書類画像の中心に近い、第２の決定サブ手段と、
    各大雑把な書類角点の各候補ページ角点に対応するページ内領域における前景画素の百分比を計算する第２の計算サブ手段と、
    前記第２の計算サブ手段の計算結果に基づいて候補ページ角点を選別する選別サブ手段であって、
    前記第１の方向が前記書類画像の水平方向である場合、前記大雑把な書類角点における左上部の大雑把な書類角点の候補ページ角点及び左下部の大雑把な書類角点の候補ページ角点に対してそれぞれ２つを対にすることで複数の第１の候補ページ角点対を取得し、且つ前記大雑把な書類角点における右上部の大雑把な書類角点の候補ページ角点及び右下部の大雑把な書類角点の候補ページ角点に対してそれぞれ２つを対にすることで複数の第２の候補ページ角点対を取得し、前記第１の方向が前記書類画像の垂直方向である場合、前記大雑把な書類角点における左上部の大雑把な書類角点の候補ページ角点及び右上部の大雑把な書類角点の候補ページ角点に対してそれぞれ２つを対にすることで複数の第３の候補ページ角点対を取得し、且つ前記大雑把な書類角点における左下部の大雑把な書類角点の候補ページ角点及び右下部の大雑把な書類角点の候補ページ角点に対してそれぞれ２つを対にすることで複数の第４の候補ページ角点対を取得する、マッチングモジュールと、
    前記複数の第１及び第２の候補ページ角点対、又は前記複数の第３及び第４の候補ページ角点対における各候補ページ角点対に含まれる２つの候補ページ角点の間の連結線の傾斜度をそれぞれ計算する計算モジュールと、
    前記マッチングモジュールにより取得された複数の第１及び第２の候補ページ角点対又は複数の第３及び第４の候補ページ角点対から、対応する傾斜度と前記書類の第２の方向に沿う境界線の傾斜度との差が第２の所定閾値よりも大きい候補ページ角点対を除去し、処理を行わせるように残りの候補ページ角点対を選択サブ手段に供給する、選別モジュールと、を含む選別サブ手段と、
    前記残りの候補ページ角点対に対して、各候補ページ角点対における２つの候補ページ角点それぞれに対応するページ内領域における前景画素の百分比の和を計算し、
    前記第１の方向が前記書類画像の水平方向である場合、前記複数の第１の候補ページ角点対における２つの候補ページ角点それぞれに対応するページ内領域における前景画素の百分比の和が前記書類のページ角領域における前景画素の百分比に最も近い候補ページ角点対を選択し、前記複数の第２の候補ページ角点対における２つの候補ページ角点それぞれに対応するページ内領域における前景画素の百分比の和が前記書類のページ角領域における前景画素の百分比に最も近い候補ページ角点対を選択し、前記第１の候補ページ角点対及び前記第２の候補ページ角点対からそれぞれ選択された候補ページ角点対における候補ページ角点を前記書類の書類角点と決定し、
    前記第１の方向が前記書類画像の垂直方向である場合、前記複数の第３の候補ページ角点対における２つの候補ページ角点それぞれに対応するページ内領域における前景画素の百分比の和が前記書類のページ角領域における前景画素の百分比に最も近い候補ページ角点対を選択し、前記複数の第４の候補ページ角点対における２つの候補ページ角点それぞれに対応するページ内領域における前景画素の百分比の和が前記書類のページ角領域における前景画素の百分比に最も近い候補ページ角点対を選択し、前記第３の候補ページ角点対及び前記第４の候補ページ角点対からそれぞれ選択された候補ページ角点対における候補ページ角点を前記書類の書類角点と決定する、前記選択サブ手段と、を含む、請求項２又は３に記載の画像処理装置。
  6. 前記ページ内領域は前記ページ内領域に対応する候補ページ角点を頂点とする矩形又は方形の領域であり、前記ページ内領域の１つの辺は前記第２の方向に沿う境界線の傾斜度に一致する方向に沿って延伸する、請求項４又は５に記載の画像処理装置。
  7. 書類に対して捕捉された書類画像から前景領域を取得して、前記前景領域のエッジラインを取得し、前記前景領域の隣接するエッジラインの間の交点を前記書類の大雑把な書類角点として抽出し、前記大雑把な書類角点の間において第１の方向に沿う境界を検出して、検出された前記境界を前記書類の第１の方向に沿う境界線として抽出するステップと、
    前記大雑把な書類角点近傍の前記書類の第１の方向に沿う境界線から前記書類の候補ページ角点を決定するステップと、
    前記候補ページ角点から、ページ内領域の画素特徴が前記書類のページの角の画素特徴に最も近い候補ページ角点を前記書類の書類角点として選択するステップと、を含み、
    前記第１の方向は前記書類画像の水平方向又は垂直方向である、画像処理方法。
  8. 書類に対して捕捉された書類画像から、前記書類の第１の方向に沿う境界線及び前記書類の大雑把な書類角点を抽出するステップと、
    前記大雑把な書類角点近傍の前記書類の第１の方向に沿う境界線から前記書類の候補ページ角点を決定するステップと、
    前記候補ページ角点から、ページ内領域の画素特徴が前記書類のページの角の画素特徴に最も近い候補ページ角点を前記書類の書類角点として選択するステップと、を含み、
    前記第１の方向は前記書類画像の水平方向又は垂直方向であり、
    前記大雑把な書類角点近傍の前記書類の第１の方向に沿う境界線から前記書類の候補ページ角点を決定するステップは、
    各大雑把な書類角点に対して、前記書類の第１の方向に沿う境界線から前記大雑把な書類角点を含む境界線セグメントを切り取り、前記書類画像から前記境界線セグメントを含む画像ブロックを切り取るステップと、
    前記画像ブロックの第１の方向に沿う勾配を計算し、閾値化方法を用いることで、前記画像ブロックの勾配の二値化画像を取得し、エントロビー最小化ルールにより前記書類の第２の方向に沿う境界線の傾斜度を取得するステップであって、前記第１の方向が前記書類画像の水平方向である場合、前記第２の方向は前記書類の垂直方向であり、前記第１の方向が前記書類画像の垂直方向である場合、前記第２の方向は前記書類の水平方向である、ステップと、
    前記境界線セグメントにおける各点近傍から該点に関係のある第１の矩形領域をそれぞれ決定するステップであって、前記第１の矩形領域は、第１の所定サイズを有し、且つ前記画像ブロックに含まれ、前記第１の矩形領域の長さは、前記書類の第２の方向に沿う境界線の傾斜度に一致する方向に沿って延伸する、ステップと、
    前記画像ブロックの勾配の二値化画像に基づいて各第１の矩形領域に含まれる前景画素点の数を計算し、前記境界線セグメントから、対応する第１の矩形領域に含まれる前景画素点の数が第１の所定閾値よりも大きいという条件を満たしている点を、前記大雑把な書類角点の候補ページ角点として選択するステップと、を含む、画像処理方法。
  9. 画像処理機能を有するデバイスであって、請求項１乃至６のいずれか一項に記載の画像処理装置を含む、画像処理デバイス。
  10. 前記画像処理デバイスは、書類校正デバイス、スキャナー、カメラ、携帯電話、コンピュータ、及びＰＤＡ（Personal Digital Assistant)のうちいずれか１つである、請求項９に記載の画像処理デバイス。
JP2013070507A 2012-03-30 2013-03-28 画像処理装置、画像処理方法及び画像処理デバイス Active JP6102417B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201210091193.7A CN103366165B (zh) 2012-03-30 2012-03-30 图像处理装置、图像处理方法以及设备
CN201210091193.7 2012-03-30

Publications (2)

Publication Number Publication Date
JP2013214300A JP2013214300A (ja) 2013-10-17
JP6102417B2 true JP6102417B2 (ja) 2017-03-29

Family

ID=48087371

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013070507A Active JP6102417B2 (ja) 2012-03-30 2013-03-28 画像処理装置、画像処理方法及び画像処理デバイス

Country Status (4)

Country Link
US (1) US9129385B2 (ja)
EP (1) EP2645692B1 (ja)
JP (1) JP6102417B2 (ja)
CN (1) CN103366165B (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105809136A (zh) * 2016-03-14 2016-07-27 中磊电子（苏州）有限公司 影像数据处理方法及影像数据处理系统
WO2018141109A1 (zh) * 2017-02-06 2018-08-09 华为技术有限公司 图像处理的方法和设备
JP6810892B2 (ja) * 2017-06-05 2021-01-13 京セラドキュメントソリューションズ株式会社 画像処理装置
CN107680108B (zh) * 2017-07-28 2019-06-21 平安科技（深圳）有限公司 倾斜图像的倾斜值获取方法、装置、终端及存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4037512B2 (ja) * 1997-04-15 2008-01-23 コニカミノルタビジネステクノロジーズ株式会社 画像読取装置
JP3425366B2 (ja) * 1998-06-30 2003-07-14 シャープ株式会社 画像補正装置
JP2008124604A (ja) * 2006-11-09 2008-05-29 Matsushita Electric Ind Co Ltd 画像読取装置及びこれを備えた画像形成装置
JP4784500B2 (ja) * 2006-12-08 2011-10-05 日本電気株式会社 画像傾き補正装置及び画像傾き補正方法
US8218890B2 (en) * 2008-01-22 2012-07-10 The Neat Company Method and apparatus for cropping images
JP2009194762A (ja) * 2008-02-15 2009-08-27 Murata Mach Ltd 画像処理装置
CN101477687B (zh) * 2009-01-22 2011-05-04 上海交通大学 复杂背景下的棋盘格角点检测方法
CN102196112B (zh) * 2010-03-01 2014-09-24 佳能株式会社 用于检测页边界的方法和装置
CN102375985A (zh) * 2010-08-10 2012-03-14 富士通株式会社 目标检测方法和设备
CN102184383B (zh) * 2011-04-18 2013-04-10 哈尔滨工业大学 一种印刷体字符图像样本的自动生成方法
US9736332B2 (en) * 2011-11-30 2017-08-15 Hewlett-Packard Indigo B.V. Automatic detection of corners of an imaged document

Also Published As

Publication number Publication date
CN103366165A (zh) 2013-10-23
JP2013214300A (ja) 2013-10-17
CN103366165B (zh) 2016-06-29
EP2645692A2 (en) 2013-10-02
EP2645692B1 (en) 2019-09-18
EP2645692A3 (en) 2016-04-13
US20130259385A1 (en) 2013-10-03
US9129385B2 (en) 2015-09-08

Similar Documents

Publication Publication Date Title
US11468225B2 (en) Determining functional and descriptive elements of application images for intelligent screen automation
US8880540B1 (en) Method and system for using location transformations to identify objects
US9396540B1 (en) Method and system for identifying anchors for fields using optical character recognition data
US10748023B2 (en) Region-of-interest detection apparatus, region-of-interest detection method, and recording medium
EP2461290A1 (en) Image processing device, image processing method, and program
WO2018233055A1 (zh) 保单信息录入的方法、装置、计算机设备及存储介质
JP6102417B2 (ja) 画像処理装置、画像処理方法及び画像処理デバイス
JP2018081674A (ja) 手書きテキスト画像に対する行及び単語切り出し方法
CN111062317A (zh) 一种扫描文档的裁边方法与系统
CN107305682B (zh) 用于对图像进行拼接的方法和装置
JP5539488B2 (ja) 参照背景色に基づく透明化塗りつぶしの判定
JP2015115067A (ja) 画像から歪んだ直線を抽出する方法及び装置
US9483834B1 (en) Object boundary detection in an image
JP2009251872A (ja) 情報処理装置及び情報処理プログラム
JP4275973B2 (ja) 加筆画像抽出装置、プログラム、記憶媒体及び加筆画像抽出方法
US10706581B2 (en) Image processing apparatus for clipping and sorting images from read image according to cards and control method therefor
JP7243981B2 (ja) 紙面領域分類装置及びそのプログラム
WO2005096230A1 (en) Image processing methods and systems
US10185885B2 (en) Tex line detection
JP2011141664A (ja) 文書比較装置、文書比較方法、及びプログラム
JP6613625B2 (ja) 画像処理プログラム、画像処理装置、及び画像処理方法
US20230090313A1 (en) Autonomously removing scan marks from digital documents utilizing content-aware filters
CN106845473B (zh) 用于确定图像是否为带地址信息的图像的方法和装置
Buczel et al. Prefiltration Analysis for Image Recognition Algorithms for the Android Mobile Platform
JP2021071763A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151204

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170131

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170213

R150 Certificate of patent or registration of utility model

Ref document number: 6102417

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350