JP4256042B2 - 画像処理方法 - Google Patents
画像処理方法 Download PDFInfo
- Publication number
- JP4256042B2 JP4256042B2 JP31878599A JP31878599A JP4256042B2 JP 4256042 B2 JP4256042 B2 JP 4256042B2 JP 31878599 A JP31878599 A JP 31878599A JP 31878599 A JP31878599 A JP 31878599A JP 4256042 B2 JP4256042 B2 JP 4256042B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- binarized
- line
- received
- binarized image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000003672 processing method Methods 0.000 title claims description 11
- 230000003044 adaptive effect Effects 0.000 claims description 14
- 230000000873 masking effect Effects 0.000 claims description 6
- 238000000034 method Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 23
- 238000001514 detection method Methods 0.000 description 18
- 239000000428 dust Substances 0.000 description 6
- 239000000284 extract Substances 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003711 image thresholding Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 239000006227 byproduct Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/409—Edge or detail enhancement; Noise or error suppression
- H04N1/4097—Removing errors due external factors, e.g. dust, scratches
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、オリジナル文書を走査して生成した歪み（傾き）補正画像において斜めにのびた線のようなアーティファクトを、画像情報を損失することなく除去する画像処理方法及びシステムに関するものである。
【０００２】
【従来の技術及び発明が解決しようとする課題】
予期していない黒の縦模様あるいは線、点、ダッシュなどのようなアーティファクトは、製品用紙スキャナーによって生成された二値化文書画像において共通の画像アーティファクトである。しかしながら、黒の縦模様はオリジナル文書画像の一部ではなく、照明光源と走査された紙文書との間の光を遮断する一群の塵あるいは埃に起因して生じたものである。例えば、スキャナーの照明経路における透明な画像ガイド上に溜まった一群の塵あるいは埃は、スキャナーを通って移動する文書上の影付き線の原因になるだろう。文書には、ＣＣＤ装置によって電子的に撮られるとき、デジタル文書画像上に影付き線が現れるだろう。グレイスケール内の影付き縦線は、区別が付かずに画像内容の一部として取り扱われる。適応スレッショルドがグレイスケール画像に適用された後、影付き縦線が二値化画像に黒線として現れる。
【０００３】
紙の文書が製品スキャナーによって走査されて、形成されたデジタル画像はしばしば歪んでいる。歪み画像の原因は、文書が適切に送られていないか、あるいは紙の文書を搬送する間走査システムにおいて紙にかかる力が均一でないかのいずれかである。文書画像の歪みは画像を見る際に望ましくない効果を生ずるので、画像歪み補正は文書走査システムにおいては所望の特徴となっている。
【０００４】
縦線アーティファクトの現象が図１で示されている歪み画像あるいは歪み文書１上に生ずると、縦線アーティファクト３は歪み補正画像あるいは歪み補正文書１’においては図２で示すように斜線となる。
【０００５】
【課題を解決するための手段】
本願発明の目的は、歪み補正画像のためのアーティファクト検出・除去システム及び方法を提供することである。この方法は、（１）グレイスケール画像のような歪み補正画像を２つの二値化画像に変換する異なるコントラストのパラメータセッティングを伴ってエッジベース適応スレッショルド法（edge-based adaptive thresholding method）を２度用いる段階と、（２）前記の２つの二値化画像と異なるビットマップを形成する段階と、（３）投影プロファイルを形成するため、直線上の２次元ビットマップにおける黒色画素を投影及び蓄積する段階と、（４）投影プロファイルから局所ピーク（すなわち、線位置）の位置を検出する段階と、（５）歪み角度からの線の方程式及び検出された局所ピークの位置を得る段階と、（６）異なるビットマップ上の線の方程式に沿ってあるスレッショルド距離内に座標がある黒色画素をマスクする段階と、（７）スレッショルド二値化画像の線に沿って黒色画素を基礎にした二値化画像で画素を反転する段階と、を含む。
【０００６】
本発明のシステム及び方法は、グレイスケール画像のような受像された文書画像の歪みを除去する段階と；画像情報の全詳細を抽出するために通常のコントラスト設定でエッジベース適応スレッショルド法を適用する段階と；二値化画像を蓄積する段階（Ｂ１と名付けられている）と；画像の高コントラストの詳細だけを抽出する低コントラスト設定で同じエッジベース適応スレッショルド法を適用する段階（Ｂ２と名付けられている）と；Ｂ１とＢ２との差をラベルし、差のマップを蓄積する段階（Ｄと名付けられている）と；１次元直線上に２次元ビットマップ（Ｄ）の黒色画素を投影する段階であって、その投影方向が文書補正角で決められる段階と；黒色画素を蓄積して投影プロファイルを形成する段階と；検出された線が線の方程式群によって表される場所である投影プロファイルの局所ピークを検出することによって線を位置づける段階と；座標がビットマップ（Ｄ）での線の方程式に沿って一定のスレッショルド距離内にある黒色画素をマスクして、線のビットマップにする段階（Ｖと名付けられている）と；二値化画像（Ｂ１）及び線マップ（Ｖ）を読む段階と；Ｖ上の対応する黒色画素での二値化画像Ｂ１における画素を反転する段階と；を含んでいる。
【０００７】
本発明は、得られた画像を第一及び第二の二値化画像に変換する段階と；その第一及び第二の二値化画像との間の差を示すマップを作成する段階と；そのマップ上の黒色画素を線上に投影して投影プロファイルを形成する段階と；その投影プロファイルをもとにした第一の二値化画像上の画素を反転する段階と；を含む歪み補正画像を処理する画像処理方法に関するものである。
【０００８】
本発明はさらに、受像された歪み補正画像を第一及び第二の二値化画像に変換する段階と；その第一及び第二の二値化画像を比較してそれらの間の差を示すマップを作成する段階と；そのマップ上の黒色画素を線上に投影して投影プロファイルを形成する段階（ここで、その線の投影方向が得られた画像の元々の歪み角度をもとにしていること）と；特定のスレッショルドの上にある投影プロファイル上のピークを検出して、その検出ピークをもとにした線を作成する段階（ここで、検出ピークは得られた画像上のアーティファクトに対応すること）と；作成された線に隣接するマップ上の黒色画素をマスクする段階と；そのマスクされた画素をもとにした第一の二値化画像上の画素を反転する段階と；を含む歪み補正画像を処理する画像処理方法に関するものである。
【０００９】
本発明はさらに受像された歪み画像を処理する画像処理方法に関するものである。この方法は、得られた画像の歪みを除去する段階と；得られた画像から画像情報を抽出し、その情報から得られた画像を第一の二値化画像として蓄積する段階と；得られた画像から高コントラストの詳細を抽出し、その詳細から得られた画像を第二の二値化画像として蓄積する段階と；その第一及び第二の二値化画像を比較してそれらの間の差を示すマップを作成する段階と；そのマップ上の黒色画素を線上に投影して投影プロファイルを形成する段階（ここで、その線の投影方向が得られた歪み画像の歪み角度をもとにしていること）と；特定のスレッショルドの上にある投影プロファイル上のピークを検出して、その検出ピークをもとにした線を作成する段階（ここで、検出ピークは得られた画像上のアーティファクトに対応すること）と；作成された線に隣接するマップ上の黒色画素をマスクする段階と；そのマスクされた画素をもとにした第一の二値化画像上の画素を反転する段階と；を含むものである。
【００１０】
本発明はさらに、画像を受像する画像受像部と、受像した歪み補正画像のために備えられ、歪んだ受像画像を補正するのに適した画像歪み除去部と、歪み補正画像を歪み補正受像画像を示すデジタル画像情報に変換する変換部と、そのデジタル情報を受けて歪み補正受像画像を第一及び第二の二値化画像に変換する処理部とを備え、この処理部は、第一及び第二の二値化画像の差を示すマップを作成し、受像した画像の歪み角をもとにした方向付けられた線上の黒色画素を投影して投影プロファイルを形成し、さらに前記投影プロファイルをもとにした前記第一の二値化画像の画素を反転するものである、画像受像アセンブリに関するものである。
【００１１】
【発明の実施の形態】
図１は、歪み文書における一群の塵に起因した縦線アーティファクトの図形例であり；
図２は、歪み補正文書における斜線アーティファクトの図形例であり；
図３は、歪み補正されたグレイスケール画像を最小画像アーティファクトを伴った二値化画像へ変換する画像処理システムの段階流れ図であり；
図４は、本発明により画像受像アセンブリの図形表示であり；
図５は、エッジベース適合スレッショルド処理（ＡＴＰ）の段階の概略流れ図であり；
図６は、現在の画素（ｉ，ｊ）の勾配の大きさを決定する際に使用される画素位置定義の３×３行列を示しており；
図７は、画像強度記録上の現行の画素（ｉ，ｊ）に対して中央に位置する画素に隣接するＮ×Ｎを示しており；
図８は、画像強度勾配記録における画素位置（ｉ，ｊ）に対して中央に位置する画素に隣接する（Ｎ−２）×（Ｎ−２）を示しており；
図９は、２つの二値化画像の差のビットマップを作成する流れ図であり；
図１０は、線検出の流れ図であり；
図１１は、２つの二値化画像の差のビットマップから投影プロファイルを得る説明図であり；
図１２は、差のビットマップ（Ｄ）の例であり；
図１３は、図１２において得られたビットマップ（Ｄ）の投影プロファイルにおける２つの検出ピーク（Ｒ１及びＲ２）を示しており；
図１４は、ビットマップにおける２つの検出線の位置を示しており；
図１５は、ビットマップ（Ｂ１）から消去される不要な線画素を示しており；
図１６は、スレッショルド画像における黒色線を除去する流れ図であり；
図１７は、歪み角3.9°を伴った走査され、歪んだ文書画像の実際の例であり；
図１８は、図１７における画像のための歪み補正の文書画像であり；
図１９は、通常コントラストのパラメータセッティングを伴ったスレッショルド画像（Ｂ１）であり；
図２０は、低コントラストのパラメータセッティングを伴ったスレッショルド画像（Ｂ１）であり；
図２１は、図１９及び図２０におけるそれぞれ二値化画像Ｂ１及びＢ２の間の差のビットマップであり、
図２２は、図２１のビットマップから得られた投影プロファイルであり、
図２３は、検出された斜線のビットマップであり、
図２４は、スレッショルド画像（Ｂ）の最終結果である。
【００１２】
図面を参照すると（図において、符号は図面を通して同一あるいは対応する部分を示している）、グレイスケール画像の歪み除去のような画像歪み除去、及び最小の線アーティファクトでのスレッショルドを実施する線除去方法のブロック図を図３に示した。本発明は線除去について記載しているが、本発明はそれに限定されるものではない。本発明は、線、ダッシュ、ドット、マークなどの除去及びそれらのいかなる組合せの除去にも適用可能である。本発明の方法においては、デジタルグレイスケール画像データのような画像データが入力として受け取られ（段階７）、方法とシステムは以下のように作動する：（１）周知の歪み角でグレイスケール画像歪み除去を実施し（段階９）；（２）画像情報の全詳細を抽出する通常コントラストパラメータセッティングによってグレイスケール画像を二値化画像（Ｂ１）に変換するために、エッジベース適合スレッショルディング（ＡＴＰ）を最初に実施し（段階１１ａ）；（３）単に高コントラストオブジェクトを抽出する低コントラストパラメータセッティングによってグレイスケール画像を他の二値化画像（Ｂ２）に変換するために、エッジベース適合スレッショルディング（ＡＴＰ）を再び実施し（段階１１ｂ）；（４）２つの二値化画像Ｂ１及びＢ２を画素毎に比較して（段階１４）、Ｂ１及びＢ２の間の差のビットマップ（Ｄと名付けられている）を作成するために、差があれば画素を“黒色”画素として認定し、また差がなければ画素を“白色”画素として認定し；（５）ビットマップＤにおける線検出を、ビットマップＤの黒色画素を角度がオリジナル画像における負の値の歪み角に等しい直線上に最初に投影することによって行い（段階１５）、それから検出ピークの数が検出線の数を反映するように投影プロファイル上の局所ピークの位置を検出し；（６）検出された線のビットマップＬを、その検出された線に隣接するビットマップＤにおける黒色画素をマスクすることによって生成し（段階１７）；（７）対応する黒色画素を除去すること、及びビットマップＬにおける黒色画素の位置でのスレッショルド画像Ｂ１における対応する白色画素を充填することによって、最終的なスレッショルド画像を得る（段階１９）。
【００１３】
図４は、明細書に記載され例示された本発明の特徴に従い画像を処理する受像アセンブリ３００の模式図である。受像アセンブリ３００は、例えば画像を受像する電荷結合素子の形で画像受像部３０１と、歪み補正画像を供給するために歪んだ受像した画像を補正する画像歪み除去部あるいは画像歪み補正部３０２と、例えば受像した画像を受像した画像を示すデジタル情報に変換するＡ／Ｄ変換器の形で変換部３０３と、含むスキャナーであってもよい。そのデジタル情報は、図３及び図６、図７、図９、図１０、図１６を参照して記載されているようにデジタル情報を処理する処理部３０５に送られる。
【００１４】
エッジベース適合画像スレッショルディング
図５は、エッジベース適合スレッショルディングを実施する画像処理システムのブロック図である。スレッショルディング法は、スキャナーからのデジタル情報と入力パラメータIT（強度スレッショルド）及びGT（勾配スレッショルド）を特定するオペレーターとを入力して受け、以下の段階を含んでいる：
【００１５】
第一に、ソベル勾配演算子を、勾配強さ記録を形成するために画像強度記録に適用する。ソベル演算子は図６に示したように画素の３×３ウィンドウに作用し、画素位置(i,j)で水平強度勾配GX(i,j)及び垂直強度勾配GY(i,j)を計算する。画素位置(i,j)での勾配強さGS(i,j)は、それぞれ、水平強度勾配GX(i,j)及び垂直強度勾配GY(i,j)の絶対和である。GX(i,j)及びGY(i,j)は以下のように定義される：
GX(i,j)=L(i+1,j-1)+2L(i+1,j)+L(i+1,j+1)-L(i-1,j-1)-2L(i-1,j)-L(i-1,j+1)；
GY(i,j)=L(i-1,j+1)+2L(i,j+1)+L(i+1,j+1)-L(i-1,j-1)-2L(i,j-1)-L(i+1,j-1)；
GS(i,j)=｜GX(i,j)｜+｜GY(i,j)｜
ここで、GS(i,j)は、勾配操作後の画素位置(i,j)での勾配強さ記録であり、L(i,J)は画素位置(i,j)での画像強度である。
【００１６】
第二に、Ｎ×Ｎウィンドウにおける最小強度Lmin(i+1,j)及び最大強度Lmax(i+1,j)を、図７に示したように画像強度記録から測定し（段階２７）、(N-2)×(N-2)ウィンドウにおける勾配強さの和を、図８に示したようにこの勾配強さから計算される（図５の段階３）。勾配GS(i,j)の和は領域勾配として定義される。次に、３個の特徴的な値GS(i,j)、Lmin(i+1,j)、Lmax(i+1,j)を、画像強度記録において(i,j)での画素を黒色あるいは白色に分類するために使用すれる。最後の処理は、黒色画素（オブジェクト）の抽出である。抽出の第一の段階はエッジ近傍の画素の検出である。エッジ近傍の(i,j)での画素は、領域勾配が予め決められた値−勾配スレッショルド(GT)−より高くかつ大きいときはいつでも見つけられる。エッジ近傍の画素が見つけられた後、その画素（局所ウィンドウの中央画素）はその強度がLmin(i+1,j)とLmax(i+1,j)との平均より小さいときは黒色（オブジェクト）として分類される（段階２９及び３０）。すなわち、それはエッジのより暗めの側にある。他方、その強度がLmin(i+1,j)とLmax(i+1,j)との平均(PA)より大きいならば、その画素は白色（背景）に分類される。そして、平坦領域で移動するＮ×Ｎウィンドウのような、勾配スレッショルド(GT)より小さい領域勾配の場合には、分類は簡単なスレッショルディングによって行われる。すなわち、画素のグレイ値と他の予め決められた値強度スレッショルド値（IT）を比較する。画素のグレイ値がITより小さいならば、画素は黒色として分類される；さもなければ、それは白色背景として扱われる（段階３３）。
【００１７】
その技法によってスレッショルディングした後、画像の品質が２つのスレッショルド（GT及びIT）セッティングのユーザー選択によって制御される。GTはエッジの近傍での画素を分類するためにセットし、かつ、ITは一様領域での画素を分類するためにセットする。低いGTにセットすると薄いオブジェクトのエッジの画素を抽出する傾向にあり、また、低いITにセットするとグレイ一様領域のエッジの画素を白色背景に分類する傾向にある。他方、非常に高いGTにセットすると、アルゴリズムは、まるでITでのスレッショルドセットを伴った固定スレッショルディングのように作用する。この状況下ではGTは常に領域勾配より大きいので、図５に示したような画像の画素分類は、ITと対象となる画素における強度との単純な比較によって決められる。その技法は、ITを０（ゼロ）に設定することによってアウトラインイメージもできる。ITを０とした場合、領域勾配がGTより大きいエッジ画素を除いて、全画素を白色として分類する。
【００１８】
画像の差のマップの作成
図９は、２つのスレッショルドされた画像Ｂ１及びＢ２との間の画像の差のマップを作成するブロック図である。図９に示したように、画像Ｂ１の位置(i,j)での１（黒色）あるいは０（白色）のいずれかであるビットマップ値b1(i,j)が読み出され（段階４０ａ）、画像Ｂ２の対応する位置(i,j)でのビットマップ値b2(i,j)も読み出される（段階４０ｂ）。値b1(i,j)が値b2(i,j)と異なるならば、一方は白色で他方は黒色であり、新しいマップＤの位置(i,j)での値d(i,j)は１（黒色画素）としてマークされ（段階４２）、あるいは、０（白色画素）としてマークされる（段階４３）。上記のプロセスは、画像Ｂ１及びＢ２における全画素位置(i,j)に対して行われ、画像Ｂ１とＢ２との差を示す画像マップＤを生ずる。このプロセスは、低コントラストオブジェクトあるいは薄いオブジェクトだけが差のマップにおいて抽出され、かつ表示されることを示している。
【００１９】
線検出
図１０は、線の検出について記載しているが、線、ダッシュ、ドット、マークなどの検出及びそれらのいかなる組合せの検出にも適用可能である。線の検出は、ビットマップ（Ｄ）における黒色画素を図１１で示したように所定の方向を指す直線に投影し（段階７０）、かつそれらを１次元投影プロファイルP(R)（ここで、Rは角度Aで投影された線方向である）に蓄積することによって実施する。投影プロファイルは、１次元対角面における黒色画素の周波数分布である。それによって、１次元周波数分布分布におけるピークの検出（段階７１）によって線を容易に位置づけることが可能になっている。図１２は、検出線あるいはアーティファクト１００ａ，１００ｂを伴ったビットマップ（Ｄ）の例である。この投影プロファイルを図１３に示す。あるスレッショルド以上の２つのピークがR1及びR2で検出される。その２つの検出されたピークは、その検出線あるいはアーティファクト１００ａ，１００ｂを反映している。それらの方程式（段階７３）は、それぞれ、R1=x cos(A)+y sin(A)、及びR2=x cos(A)+y sin(A)である（ここで、x 及び y は図１１で定義した直交座標である）。２つの検出線１００ａ，１００ｂは図１４に示した。図１４の線に沿った領域の２つの狭いグレイストライプ（１０１）は、図１２のビットマップＤにおける不要の黒線画素をマスクするようにセットする。その結果形成された線ビットマップ１００ａ’、１００ｂ’が図１５で示されている。
【００２０】
線除去
図１６は、線の除去について記載しているが、線、ダッシュ、ドット、マークなどの除去及びそれらのいかなる組合せの除去にも適用可能である。プロセスにおいては、画像Ｂ１の位置(i,j)でのビットマップ値b1(i,j)を読み出し（段階４０ａ）、ビットマップＶにおいて対応する位置(i,j)でのビットマップ値v(i,j)も読み出す（段階８０）。“１”が黒色を、“０”が白色を示すとき、値v(i,j)が“１”としてマークされているならば（段階８２）、値b1(i,j)が調べられる（段階８３）。値b1(i,j)が“０”としてマークされているならば、b(i,j)はb1(i,j)に等しくセットされる（段階８５）。値b1(i,j)が“１”（黒色画素）としてマークされているならば（段階８３）、値b1(i,j)は“０”（白色）に変わる（段階８４）。一方、値b1(i,j)が“０”としてマークされているならば、値b1(i,j)は“１”（黒色）に変わる（段階８６）。ビットマップＢは、縦線の除去後にビットマップＢ１のコピーである（ここで、値b(i,j)は位置(i,j)でのビットマップＢの値である）。このプロセスは、画像Ｂ１及びＶにおける全画素位置(i,j)に対して実施され、線が除去されたビットマップＢが生成される。
【００２１】
実例のデモンストレーション
製造スキャナーを使用して受像された歪みグレイスケール文書画像の例を図１７に示す。わずかな薄い縦線画像アーティファクト５００は、照明光源と走査された紙文書との間で光を遮断する一群の塵に起因して観察されるものである。画像における時計回りの3.9°の歪み角が検出される。グレイスケール歪み除去後に、オリジナルの縦線アーティファクトが図１８の歪み補正画像における反時計回りの3.9°の歪み角を示すことが観察された。図１９は、記載された、歪み補正画像に対してセットされる通常コントラストを伴うエッジベース適合スレッショルディング法によって得られたスレッショルドされた画像である。通常コントラストセッティングを伴う画像スレッショルディングはグレイスケール画像における画像情報の全詳細を抽出することを試みるものなので、グレイスケール画像における不要の薄い対角線（3.9°歪み線）も抽出され、図１９の二値化画像における所々とぎれた一群の黒線セグメント５００’として現れる。低コントラストセッティングの場合には、薄い対角線、薄い文字及び他の薄いオブジェクトのような薄いコントラストのオブジェクトが、スレッショルディングプロセスにおいて無視され、図２０で示したようにそれらはスレッショルドされた画像において現れない。
【００２２】
図２１は、図１９及び図２０における２つのスレッショルドされた画像のビットマップである。反時計回りで3.9°の角度での図２１におけるビットマップの投影プロファイルを図２２に示した。投影プロファイルにおける多くのピークは、ビットマップに多重線が現れことを示している。スレッショルド値を１００にセットすると、投影プロファイルにおけるR=505, 930, 1450, 1690のそれぞれで検出された４つのピークが現れている。時計回りの3.9°の歪み角に対しては、図１１で示された投影プロファイルの角度(A)は反時計回りの-3.9°に等しい。対応する４つの直線の方程式は、以下のように得られる；
505 = a x + b y ;
930 = a x + b y ;
1450 = a x + b y ;
1690 = a x + b y ;
ここで、A＝-3.9°、a=cos(A)=0.998、a=sin(A)=-0.068である。
【００２３】
ピークの位置は、全位置でのカウントの値と例における100の値である所定のスレッショルド値とを比較することによって検出される。値がスレッショルドより大きいピークは検出線として考慮される。上記の線検出のセクションで記載したマスクプロセスに従った線ビットマップが図２３に示されている。図２４は、線アーティファクトが図１９のビットマップから除去された最終のスレッショルド画像である。
【図面の簡単な説明】
【図１】 歪み文書における一群の塵に起因した縦線アーティファクトを例示した図である。
【図２】 歪み補正文書における斜線アーティファクトを例示した図である。
【図３】 歪み補正されたグレイスケール画像を最小画像アーティファクトを伴った二値化画像へ変換する画像処理システムの段階流れ図である。
【図４】 本発明により画像受像アセンブリを示す模式図である。
【図５】 エッジベース適合スレッショルド処理（ＡＴＰ）の段階の概略流れ図である。
【図６】 現在の画素(i,j)の勾配の大きさを決定する際に使用される画素位置定義の３×３行列を示した図である。
【図７】 画像強度記録上の現行の画素(i,j)に対して中央に位置する画素に隣接するＮ×Ｎを示した図である。
【図８】 画像強度勾配記録における画素位置（ｉ，ｊ）に対して中央に位置する画素に隣接する（Ｎ−２）×（Ｎ−２）を示した図である。
【図９】 ２つの二値化画像の差のビットマップを作成する流れ図である。
【図１０】 線検出の流れ図である。
【図１１】 ２つの二値化画像の差のビットマップから投影プロファイルを得る説明図である。
【図１２】 差のビットマップ（Ｄ）の例を示した図である。
【図１３】 図１２において得られたビットマップ（Ｄ）の投影プロファイルにおける２つの検出ピーク（Ｒ１及びＲ２）を示した図である。
【図１４】 ビットマップにおける２つの検出線の位置を示した図である。
【図１５】 ビットマップ（Ｂ１）から消去される不要な線画素を示した図である。
【図１６】 スレッショルド画像における黒色線を除去する流れ図を示した図である。
【図１７】 歪み角3.9°を伴った走査され、歪んだ文書画像の実際の例を示した図面代用コピーである。
【図１８】 図１７における画像のための歪み補正の文書画像を示した図面代用コピーである。
【図１９】 通常コントラストのパラメータセッティングを伴ったスレッショルド画像（Ｂ１）を示した図面代用コピーである。
【図２０】 低コントラストのパラメータセッティングを伴ったスレッショルド画像（Ｂ１）を示した図面代用コピーである。
【図２１】 図１９及び図２０におけるそれぞれ二値化画像Ｂ１及びＢ２の間の差のビットマップを示した図である。
【図２２】 図２１のビットマップから得られた投影プロファイルである。
【図２３】 検出された斜線のビットマップを示した図面代用コピーである。
【図２４】 スレッショルド画像（Ｂ）の最終結果を示した図面代用コピーである。
【符号の説明】
１ 歪み文書
１’ 歪み補正文書
３ アーティファクト
１００ａ，１００ｂ 検出線
１００ａ’，１００ｂ’ 線ビットマップ
１０１ 狭いグレイストライプ
３００ 受像アセンブリ
３０１ 画像受像部
３０２ 画像歪み補正部
３０３ Ａ／Ｄ変換器
３０５ 処理部
５００ 縦線画像アーティファクト
５００’ 黒線セグメント
【発明の属する技術分野】
本発明は、オリジナル文書を走査して生成した歪み（傾き）補正画像において斜めにのびた線のようなアーティファクトを、画像情報を損失することなく除去する画像処理方法及びシステムに関するものである。
【０００２】
【従来の技術及び発明が解決しようとする課題】
予期していない黒の縦模様あるいは線、点、ダッシュなどのようなアーティファクトは、製品用紙スキャナーによって生成された二値化文書画像において共通の画像アーティファクトである。しかしながら、黒の縦模様はオリジナル文書画像の一部ではなく、照明光源と走査された紙文書との間の光を遮断する一群の塵あるいは埃に起因して生じたものである。例えば、スキャナーの照明経路における透明な画像ガイド上に溜まった一群の塵あるいは埃は、スキャナーを通って移動する文書上の影付き線の原因になるだろう。文書には、ＣＣＤ装置によって電子的に撮られるとき、デジタル文書画像上に影付き線が現れるだろう。グレイスケール内の影付き縦線は、区別が付かずに画像内容の一部として取り扱われる。適応スレッショルドがグレイスケール画像に適用された後、影付き縦線が二値化画像に黒線として現れる。
【０００３】
紙の文書が製品スキャナーによって走査されて、形成されたデジタル画像はしばしば歪んでいる。歪み画像の原因は、文書が適切に送られていないか、あるいは紙の文書を搬送する間走査システムにおいて紙にかかる力が均一でないかのいずれかである。文書画像の歪みは画像を見る際に望ましくない効果を生ずるので、画像歪み補正は文書走査システムにおいては所望の特徴となっている。
【０００４】
縦線アーティファクトの現象が図１で示されている歪み画像あるいは歪み文書１上に生ずると、縦線アーティファクト３は歪み補正画像あるいは歪み補正文書１’においては図２で示すように斜線となる。
【０００５】
【課題を解決するための手段】
本願発明の目的は、歪み補正画像のためのアーティファクト検出・除去システム及び方法を提供することである。この方法は、（１）グレイスケール画像のような歪み補正画像を２つの二値化画像に変換する異なるコントラストのパラメータセッティングを伴ってエッジベース適応スレッショルド法（edge-based adaptive thresholding method）を２度用いる段階と、（２）前記の２つの二値化画像と異なるビットマップを形成する段階と、（３）投影プロファイルを形成するため、直線上の２次元ビットマップにおける黒色画素を投影及び蓄積する段階と、（４）投影プロファイルから局所ピーク（すなわち、線位置）の位置を検出する段階と、（５）歪み角度からの線の方程式及び検出された局所ピークの位置を得る段階と、（６）異なるビットマップ上の線の方程式に沿ってあるスレッショルド距離内に座標がある黒色画素をマスクする段階と、（７）スレッショルド二値化画像の線に沿って黒色画素を基礎にした二値化画像で画素を反転する段階と、を含む。
【０００６】
本発明のシステム及び方法は、グレイスケール画像のような受像された文書画像の歪みを除去する段階と；画像情報の全詳細を抽出するために通常のコントラスト設定でエッジベース適応スレッショルド法を適用する段階と；二値化画像を蓄積する段階（Ｂ１と名付けられている）と；画像の高コントラストの詳細だけを抽出する低コントラスト設定で同じエッジベース適応スレッショルド法を適用する段階（Ｂ２と名付けられている）と；Ｂ１とＢ２との差をラベルし、差のマップを蓄積する段階（Ｄと名付けられている）と；１次元直線上に２次元ビットマップ（Ｄ）の黒色画素を投影する段階であって、その投影方向が文書補正角で決められる段階と；黒色画素を蓄積して投影プロファイルを形成する段階と；検出された線が線の方程式群によって表される場所である投影プロファイルの局所ピークを検出することによって線を位置づける段階と；座標がビットマップ（Ｄ）での線の方程式に沿って一定のスレッショルド距離内にある黒色画素をマスクして、線のビットマップにする段階（Ｖと名付けられている）と；二値化画像（Ｂ１）及び線マップ（Ｖ）を読む段階と；Ｖ上の対応する黒色画素での二値化画像Ｂ１における画素を反転する段階と；を含んでいる。
【０００７】
本発明は、得られた画像を第一及び第二の二値化画像に変換する段階と；その第一及び第二の二値化画像との間の差を示すマップを作成する段階と；そのマップ上の黒色画素を線上に投影して投影プロファイルを形成する段階と；その投影プロファイルをもとにした第一の二値化画像上の画素を反転する段階と；を含む歪み補正画像を処理する画像処理方法に関するものである。
【０００８】
本発明はさらに、受像された歪み補正画像を第一及び第二の二値化画像に変換する段階と；その第一及び第二の二値化画像を比較してそれらの間の差を示すマップを作成する段階と；そのマップ上の黒色画素を線上に投影して投影プロファイルを形成する段階（ここで、その線の投影方向が得られた画像の元々の歪み角度をもとにしていること）と；特定のスレッショルドの上にある投影プロファイル上のピークを検出して、その検出ピークをもとにした線を作成する段階（ここで、検出ピークは得られた画像上のアーティファクトに対応すること）と；作成された線に隣接するマップ上の黒色画素をマスクする段階と；そのマスクされた画素をもとにした第一の二値化画像上の画素を反転する段階と；を含む歪み補正画像を処理する画像処理方法に関するものである。
【０００９】
本発明はさらに受像された歪み画像を処理する画像処理方法に関するものである。この方法は、得られた画像の歪みを除去する段階と；得られた画像から画像情報を抽出し、その情報から得られた画像を第一の二値化画像として蓄積する段階と；得られた画像から高コントラストの詳細を抽出し、その詳細から得られた画像を第二の二値化画像として蓄積する段階と；その第一及び第二の二値化画像を比較してそれらの間の差を示すマップを作成する段階と；そのマップ上の黒色画素を線上に投影して投影プロファイルを形成する段階（ここで、その線の投影方向が得られた歪み画像の歪み角度をもとにしていること）と；特定のスレッショルドの上にある投影プロファイル上のピークを検出して、その検出ピークをもとにした線を作成する段階（ここで、検出ピークは得られた画像上のアーティファクトに対応すること）と；作成された線に隣接するマップ上の黒色画素をマスクする段階と；そのマスクされた画素をもとにした第一の二値化画像上の画素を反転する段階と；を含むものである。
【００１０】
本発明はさらに、画像を受像する画像受像部と、受像した歪み補正画像のために備えられ、歪んだ受像画像を補正するのに適した画像歪み除去部と、歪み補正画像を歪み補正受像画像を示すデジタル画像情報に変換する変換部と、そのデジタル情報を受けて歪み補正受像画像を第一及び第二の二値化画像に変換する処理部とを備え、この処理部は、第一及び第二の二値化画像の差を示すマップを作成し、受像した画像の歪み角をもとにした方向付けられた線上の黒色画素を投影して投影プロファイルを形成し、さらに前記投影プロファイルをもとにした前記第一の二値化画像の画素を反転するものである、画像受像アセンブリに関するものである。
【００１１】
【発明の実施の形態】
図１は、歪み文書における一群の塵に起因した縦線アーティファクトの図形例であり；
図２は、歪み補正文書における斜線アーティファクトの図形例であり；
図３は、歪み補正されたグレイスケール画像を最小画像アーティファクトを伴った二値化画像へ変換する画像処理システムの段階流れ図であり；
図４は、本発明により画像受像アセンブリの図形表示であり；
図５は、エッジベース適合スレッショルド処理（ＡＴＰ）の段階の概略流れ図であり；
図６は、現在の画素（ｉ，ｊ）の勾配の大きさを決定する際に使用される画素位置定義の３×３行列を示しており；
図７は、画像強度記録上の現行の画素（ｉ，ｊ）に対して中央に位置する画素に隣接するＮ×Ｎを示しており；
図８は、画像強度勾配記録における画素位置（ｉ，ｊ）に対して中央に位置する画素に隣接する（Ｎ−２）×（Ｎ−２）を示しており；
図９は、２つの二値化画像の差のビットマップを作成する流れ図であり；
図１０は、線検出の流れ図であり；
図１１は、２つの二値化画像の差のビットマップから投影プロファイルを得る説明図であり；
図１２は、差のビットマップ（Ｄ）の例であり；
図１３は、図１２において得られたビットマップ（Ｄ）の投影プロファイルにおける２つの検出ピーク（Ｒ１及びＲ２）を示しており；
図１４は、ビットマップにおける２つの検出線の位置を示しており；
図１５は、ビットマップ（Ｂ１）から消去される不要な線画素を示しており；
図１６は、スレッショルド画像における黒色線を除去する流れ図であり；
図１７は、歪み角3.9°を伴った走査され、歪んだ文書画像の実際の例であり；
図１８は、図１７における画像のための歪み補正の文書画像であり；
図１９は、通常コントラストのパラメータセッティングを伴ったスレッショルド画像（Ｂ１）であり；
図２０は、低コントラストのパラメータセッティングを伴ったスレッショルド画像（Ｂ１）であり；
図２１は、図１９及び図２０におけるそれぞれ二値化画像Ｂ１及びＢ２の間の差のビットマップであり、
図２２は、図２１のビットマップから得られた投影プロファイルであり、
図２３は、検出された斜線のビットマップであり、
図２４は、スレッショルド画像（Ｂ）の最終結果である。
【００１２】
図面を参照すると（図において、符号は図面を通して同一あるいは対応する部分を示している）、グレイスケール画像の歪み除去のような画像歪み除去、及び最小の線アーティファクトでのスレッショルドを実施する線除去方法のブロック図を図３に示した。本発明は線除去について記載しているが、本発明はそれに限定されるものではない。本発明は、線、ダッシュ、ドット、マークなどの除去及びそれらのいかなる組合せの除去にも適用可能である。本発明の方法においては、デジタルグレイスケール画像データのような画像データが入力として受け取られ（段階７）、方法とシステムは以下のように作動する：（１）周知の歪み角でグレイスケール画像歪み除去を実施し（段階９）；（２）画像情報の全詳細を抽出する通常コントラストパラメータセッティングによってグレイスケール画像を二値化画像（Ｂ１）に変換するために、エッジベース適合スレッショルディング（ＡＴＰ）を最初に実施し（段階１１ａ）；（３）単に高コントラストオブジェクトを抽出する低コントラストパラメータセッティングによってグレイスケール画像を他の二値化画像（Ｂ２）に変換するために、エッジベース適合スレッショルディング（ＡＴＰ）を再び実施し（段階１１ｂ）；（４）２つの二値化画像Ｂ１及びＢ２を画素毎に比較して（段階１４）、Ｂ１及びＢ２の間の差のビットマップ（Ｄと名付けられている）を作成するために、差があれば画素を“黒色”画素として認定し、また差がなければ画素を“白色”画素として認定し；（５）ビットマップＤにおける線検出を、ビットマップＤの黒色画素を角度がオリジナル画像における負の値の歪み角に等しい直線上に最初に投影することによって行い（段階１５）、それから検出ピークの数が検出線の数を反映するように投影プロファイル上の局所ピークの位置を検出し；（６）検出された線のビットマップＬを、その検出された線に隣接するビットマップＤにおける黒色画素をマスクすることによって生成し（段階１７）；（７）対応する黒色画素を除去すること、及びビットマップＬにおける黒色画素の位置でのスレッショルド画像Ｂ１における対応する白色画素を充填することによって、最終的なスレッショルド画像を得る（段階１９）。
【００１３】
図４は、明細書に記載され例示された本発明の特徴に従い画像を処理する受像アセンブリ３００の模式図である。受像アセンブリ３００は、例えば画像を受像する電荷結合素子の形で画像受像部３０１と、歪み補正画像を供給するために歪んだ受像した画像を補正する画像歪み除去部あるいは画像歪み補正部３０２と、例えば受像した画像を受像した画像を示すデジタル情報に変換するＡ／Ｄ変換器の形で変換部３０３と、含むスキャナーであってもよい。そのデジタル情報は、図３及び図６、図７、図９、図１０、図１６を参照して記載されているようにデジタル情報を処理する処理部３０５に送られる。
【００１４】
エッジベース適合画像スレッショルディング
図５は、エッジベース適合スレッショルディングを実施する画像処理システムのブロック図である。スレッショルディング法は、スキャナーからのデジタル情報と入力パラメータIT（強度スレッショルド）及びGT（勾配スレッショルド）を特定するオペレーターとを入力して受け、以下の段階を含んでいる：
【００１５】
第一に、ソベル勾配演算子を、勾配強さ記録を形成するために画像強度記録に適用する。ソベル演算子は図６に示したように画素の３×３ウィンドウに作用し、画素位置(i,j)で水平強度勾配GX(i,j)及び垂直強度勾配GY(i,j)を計算する。画素位置(i,j)での勾配強さGS(i,j)は、それぞれ、水平強度勾配GX(i,j)及び垂直強度勾配GY(i,j)の絶対和である。GX(i,j)及びGY(i,j)は以下のように定義される：
GX(i,j)=L(i+1,j-1)+2L(i+1,j)+L(i+1,j+1)-L(i-1,j-1)-2L(i-1,j)-L(i-1,j+1)；
GY(i,j)=L(i-1,j+1)+2L(i,j+1)+L(i+1,j+1)-L(i-1,j-1)-2L(i,j-1)-L(i+1,j-1)；
GS(i,j)=｜GX(i,j)｜+｜GY(i,j)｜
ここで、GS(i,j)は、勾配操作後の画素位置(i,j)での勾配強さ記録であり、L(i,J)は画素位置(i,j)での画像強度である。
【００１６】
第二に、Ｎ×Ｎウィンドウにおける最小強度Lmin(i+1,j)及び最大強度Lmax(i+1,j)を、図７に示したように画像強度記録から測定し（段階２７）、(N-2)×(N-2)ウィンドウにおける勾配強さの和を、図８に示したようにこの勾配強さから計算される（図５の段階３）。勾配GS(i,j)の和は領域勾配として定義される。次に、３個の特徴的な値GS(i,j)、Lmin(i+1,j)、Lmax(i+1,j)を、画像強度記録において(i,j)での画素を黒色あるいは白色に分類するために使用すれる。最後の処理は、黒色画素（オブジェクト）の抽出である。抽出の第一の段階はエッジ近傍の画素の検出である。エッジ近傍の(i,j)での画素は、領域勾配が予め決められた値−勾配スレッショルド(GT)−より高くかつ大きいときはいつでも見つけられる。エッジ近傍の画素が見つけられた後、その画素（局所ウィンドウの中央画素）はその強度がLmin(i+1,j)とLmax(i+1,j)との平均より小さいときは黒色（オブジェクト）として分類される（段階２９及び３０）。すなわち、それはエッジのより暗めの側にある。他方、その強度がLmin(i+1,j)とLmax(i+1,j)との平均(PA)より大きいならば、その画素は白色（背景）に分類される。そして、平坦領域で移動するＮ×Ｎウィンドウのような、勾配スレッショルド(GT)より小さい領域勾配の場合には、分類は簡単なスレッショルディングによって行われる。すなわち、画素のグレイ値と他の予め決められた値強度スレッショルド値（IT）を比較する。画素のグレイ値がITより小さいならば、画素は黒色として分類される；さもなければ、それは白色背景として扱われる（段階３３）。
【００１７】
その技法によってスレッショルディングした後、画像の品質が２つのスレッショルド（GT及びIT）セッティングのユーザー選択によって制御される。GTはエッジの近傍での画素を分類するためにセットし、かつ、ITは一様領域での画素を分類するためにセットする。低いGTにセットすると薄いオブジェクトのエッジの画素を抽出する傾向にあり、また、低いITにセットするとグレイ一様領域のエッジの画素を白色背景に分類する傾向にある。他方、非常に高いGTにセットすると、アルゴリズムは、まるでITでのスレッショルドセットを伴った固定スレッショルディングのように作用する。この状況下ではGTは常に領域勾配より大きいので、図５に示したような画像の画素分類は、ITと対象となる画素における強度との単純な比較によって決められる。その技法は、ITを０（ゼロ）に設定することによってアウトラインイメージもできる。ITを０とした場合、領域勾配がGTより大きいエッジ画素を除いて、全画素を白色として分類する。
【００１８】
画像の差のマップの作成
図９は、２つのスレッショルドされた画像Ｂ１及びＢ２との間の画像の差のマップを作成するブロック図である。図９に示したように、画像Ｂ１の位置(i,j)での１（黒色）あるいは０（白色）のいずれかであるビットマップ値b1(i,j)が読み出され（段階４０ａ）、画像Ｂ２の対応する位置(i,j)でのビットマップ値b2(i,j)も読み出される（段階４０ｂ）。値b1(i,j)が値b2(i,j)と異なるならば、一方は白色で他方は黒色であり、新しいマップＤの位置(i,j)での値d(i,j)は１（黒色画素）としてマークされ（段階４２）、あるいは、０（白色画素）としてマークされる（段階４３）。上記のプロセスは、画像Ｂ１及びＢ２における全画素位置(i,j)に対して行われ、画像Ｂ１とＢ２との差を示す画像マップＤを生ずる。このプロセスは、低コントラストオブジェクトあるいは薄いオブジェクトだけが差のマップにおいて抽出され、かつ表示されることを示している。
【００１９】
線検出
図１０は、線の検出について記載しているが、線、ダッシュ、ドット、マークなどの検出及びそれらのいかなる組合せの検出にも適用可能である。線の検出は、ビットマップ（Ｄ）における黒色画素を図１１で示したように所定の方向を指す直線に投影し（段階７０）、かつそれらを１次元投影プロファイルP(R)（ここで、Rは角度Aで投影された線方向である）に蓄積することによって実施する。投影プロファイルは、１次元対角面における黒色画素の周波数分布である。それによって、１次元周波数分布分布におけるピークの検出（段階７１）によって線を容易に位置づけることが可能になっている。図１２は、検出線あるいはアーティファクト１００ａ，１００ｂを伴ったビットマップ（Ｄ）の例である。この投影プロファイルを図１３に示す。あるスレッショルド以上の２つのピークがR1及びR2で検出される。その２つの検出されたピークは、その検出線あるいはアーティファクト１００ａ，１００ｂを反映している。それらの方程式（段階７３）は、それぞれ、R1=x cos(A)+y sin(A)、及びR2=x cos(A)+y sin(A)である（ここで、x 及び y は図１１で定義した直交座標である）。２つの検出線１００ａ，１００ｂは図１４に示した。図１４の線に沿った領域の２つの狭いグレイストライプ（１０１）は、図１２のビットマップＤにおける不要の黒線画素をマスクするようにセットする。その結果形成された線ビットマップ１００ａ’、１００ｂ’が図１５で示されている。
【００２０】
線除去
図１６は、線の除去について記載しているが、線、ダッシュ、ドット、マークなどの除去及びそれらのいかなる組合せの除去にも適用可能である。プロセスにおいては、画像Ｂ１の位置(i,j)でのビットマップ値b1(i,j)を読み出し（段階４０ａ）、ビットマップＶにおいて対応する位置(i,j)でのビットマップ値v(i,j)も読み出す（段階８０）。“１”が黒色を、“０”が白色を示すとき、値v(i,j)が“１”としてマークされているならば（段階８２）、値b1(i,j)が調べられる（段階８３）。値b1(i,j)が“０”としてマークされているならば、b(i,j)はb1(i,j)に等しくセットされる（段階８５）。値b1(i,j)が“１”（黒色画素）としてマークされているならば（段階８３）、値b1(i,j)は“０”（白色）に変わる（段階８４）。一方、値b1(i,j)が“０”としてマークされているならば、値b1(i,j)は“１”（黒色）に変わる（段階８６）。ビットマップＢは、縦線の除去後にビットマップＢ１のコピーである（ここで、値b(i,j)は位置(i,j)でのビットマップＢの値である）。このプロセスは、画像Ｂ１及びＶにおける全画素位置(i,j)に対して実施され、線が除去されたビットマップＢが生成される。
【００２１】
実例のデモンストレーション
製造スキャナーを使用して受像された歪みグレイスケール文書画像の例を図１７に示す。わずかな薄い縦線画像アーティファクト５００は、照明光源と走査された紙文書との間で光を遮断する一群の塵に起因して観察されるものである。画像における時計回りの3.9°の歪み角が検出される。グレイスケール歪み除去後に、オリジナルの縦線アーティファクトが図１８の歪み補正画像における反時計回りの3.9°の歪み角を示すことが観察された。図１９は、記載された、歪み補正画像に対してセットされる通常コントラストを伴うエッジベース適合スレッショルディング法によって得られたスレッショルドされた画像である。通常コントラストセッティングを伴う画像スレッショルディングはグレイスケール画像における画像情報の全詳細を抽出することを試みるものなので、グレイスケール画像における不要の薄い対角線（3.9°歪み線）も抽出され、図１９の二値化画像における所々とぎれた一群の黒線セグメント５００’として現れる。低コントラストセッティングの場合には、薄い対角線、薄い文字及び他の薄いオブジェクトのような薄いコントラストのオブジェクトが、スレッショルディングプロセスにおいて無視され、図２０で示したようにそれらはスレッショルドされた画像において現れない。
【００２２】
図２１は、図１９及び図２０における２つのスレッショルドされた画像のビットマップである。反時計回りで3.9°の角度での図２１におけるビットマップの投影プロファイルを図２２に示した。投影プロファイルにおける多くのピークは、ビットマップに多重線が現れことを示している。スレッショルド値を１００にセットすると、投影プロファイルにおけるR=505, 930, 1450, 1690のそれぞれで検出された４つのピークが現れている。時計回りの3.9°の歪み角に対しては、図１１で示された投影プロファイルの角度(A)は反時計回りの-3.9°に等しい。対応する４つの直線の方程式は、以下のように得られる；
505 = a x + b y ;
930 = a x + b y ;
1450 = a x + b y ;
1690 = a x + b y ;
ここで、A＝-3.9°、a=cos(A)=0.998、a=sin(A)=-0.068である。
【００２３】
ピークの位置は、全位置でのカウントの値と例における100の値である所定のスレッショルド値とを比較することによって検出される。値がスレッショルドより大きいピークは検出線として考慮される。上記の線検出のセクションで記載したマスクプロセスに従った線ビットマップが図２３に示されている。図２４は、線アーティファクトが図１９のビットマップから除去された最終のスレッショルド画像である。
【図面の簡単な説明】
【図１】 歪み文書における一群の塵に起因した縦線アーティファクトを例示した図である。
【図２】 歪み補正文書における斜線アーティファクトを例示した図である。
【図３】 歪み補正されたグレイスケール画像を最小画像アーティファクトを伴った二値化画像へ変換する画像処理システムの段階流れ図である。
【図４】 本発明により画像受像アセンブリを示す模式図である。
【図５】 エッジベース適合スレッショルド処理（ＡＴＰ）の段階の概略流れ図である。
【図６】 現在の画素(i,j)の勾配の大きさを決定する際に使用される画素位置定義の３×３行列を示した図である。
【図７】 画像強度記録上の現行の画素(i,j)に対して中央に位置する画素に隣接するＮ×Ｎを示した図である。
【図８】 画像強度勾配記録における画素位置（ｉ，ｊ）に対して中央に位置する画素に隣接する（Ｎ−２）×（Ｎ−２）を示した図である。
【図９】 ２つの二値化画像の差のビットマップを作成する流れ図である。
【図１０】 線検出の流れ図である。
【図１１】 ２つの二値化画像の差のビットマップから投影プロファイルを得る説明図である。
【図１２】 差のビットマップ（Ｄ）の例を示した図である。
【図１３】 図１２において得られたビットマップ（Ｄ）の投影プロファイルにおける２つの検出ピーク（Ｒ１及びＲ２）を示した図である。
【図１４】 ビットマップにおける２つの検出線の位置を示した図である。
【図１５】 ビットマップ（Ｂ１）から消去される不要な線画素を示した図である。
【図１６】 スレッショルド画像における黒色線を除去する流れ図を示した図である。
【図１７】 歪み角3.9°を伴った走査され、歪んだ文書画像の実際の例を示した図面代用コピーである。
【図１８】 図１７における画像のための歪み補正の文書画像を示した図面代用コピーである。
【図１９】 通常コントラストのパラメータセッティングを伴ったスレッショルド画像（Ｂ１）を示した図面代用コピーである。
【図２０】 低コントラストのパラメータセッティングを伴ったスレッショルド画像（Ｂ１）を示した図面代用コピーである。
【図２１】 図１９及び図２０におけるそれぞれ二値化画像Ｂ１及びＢ２の間の差のビットマップを示した図である。
【図２２】 図２１のビットマップから得られた投影プロファイルである。
【図２３】 検出された斜線のビットマップを示した図面代用コピーである。
【図２４】 スレッショルド画像（Ｂ）の最終結果を示した図面代用コピーである。
【符号の説明】
１ 歪み文書
１’ 歪み補正文書
３ アーティファクト
１００ａ，１００ｂ 検出線
１００ａ’，１００ｂ’ 線ビットマップ
１０１ 狭いグレイストライプ
３００ 受像アセンブリ
３０１ 画像受像部
３０２ 画像歪み補正部
３０３ Ａ／Ｄ変換器
３０５ 処理部
５００ 縦線画像アーティファクト
５００’ 黒線セグメント
Claims (6)
- 傾き補正画像を処理する画像処理方法であって、
エッジベース適合スレッショルディング（ＡＴＰ）を適用して、受像した傾き補正画像を、第一のコントラストパラメータセッティングを用いて第一の二値化画像と、第二のコントラストパラメータセッティングを用いて第二の二値化画像とに変換する段階と、
前記第一の二値化画像と第二の二値化画像との間の差を示すマップを作成する段階と、
一次元斜め面における黒色画素の周波数分布である投影プロファイルを作成するために前記マップ上の複数の黒色画素を一の線上に投影する段階と、
前記投影プロファイルをもとにした前記第一の二値化画像における画素を反転する段階と、を含む画像処理方法。 - 前記線の投影方向が前記受像した画像のオリジナル傾き角をもとにしている請求項１に記載の画像処理方法。
- 傾き補正画像を処理する画像処理方法であって、
エッジベース適合スレッショルディング（ＡＴＰ）を適用して、受像した傾き補正画像を、第一のコントラストパラメータセッティングを用いて第一の二値化画像と、第二のコントラストパラメータセッティングを用いて第二の二値化画像とに変換する段階と、
前記第一の二値化画像と第二の二値化画像とを比較して、前記第一の二値化画像と第二の二値化画像との間の差を示すマップを作成する段階と、
一次元斜め面における黒色画素の周波数分布である投影プロファイルを作成するために前記マップ上の複数の黒色画素を一の線上に投影する段階と、
特定のスレッショルド上の前記投影プロファイルにおけるピークを検出し、該ピークをもとにして一の線を生成する段階と、
生成された前記線に隣接する前記マップ上の黒色画素をマスクする段階と、
前記マスクされた画素をもとにした前記第一の二値化画像上の画素を反転する段階と、を備え、
前記線の投影方向が前記受像した画像のオリジナルの傾き角をもとにしており、前記検出されたピークは前記受像された画像上のアーティファクトに対応している画像処理方法。 - 請求項３に記載の画像処理方法がさらに、前記受像された画像にエッジベース適合スレッショルディングを適用して、前記受像された画像を前記第一の二値化画像に変換する段階と、前記受像された画像に前記エッジベース適合スレッショルディングを再度適用して、前記受像された画像を前記第二の二値化画像に変換する段階と、を備えた画像処理方法。
- 前記検出ピークが前記受像された画像において線形に配置したアーティファクトを表し、そのアーティファクトの各々が以下の等式 R = x cos(A) + y sin(B) （但し、x 及び yは前記マップ上の画素の座標であり、Aは前述の受像された負の値の傾き角である）で表される請求項３に記載の画像処理方法。
- 第一の二値化画像及び第二の二値化画像のいずれか一方が通常のコントラストパラメータを有し、かつ他方が低コントラストパラメータを有している請求項３に記載の画像処理方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US211.125 | 1998-12-14 | ||
| US09/211,125 US6282326B1 (en) | 1998-12-14 | 1998-12-14 | Artifact removal technique for skew corrected images |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000184192A JP2000184192A (ja) | 2000-06-30 |
| JP4256042B2 true JP4256042B2 (ja) | 2009-04-22 |
Family
ID=22785677
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP31878599A Expired - Lifetime JP4256042B2 (ja) | 1998-12-14 | 1999-11-09 | 画像処理方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6282326B1 (ja) |
| EP (1) | EP1014677B1 (ja) |
| JP (1) | JP4256042B2 (ja) |
| DE (1) | DE69926205T2 (ja) |
Families Citing this family (36)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6317223B1 (en) * | 1998-12-14 | 2001-11-13 | Eastman Kodak Company | Image processing system for reducing vertically disposed patterns on images produced by scanning |
| US6529641B1 (en) * | 1999-10-29 | 2003-03-04 | Eastman Kodak Company | Method for deskewing a scanned text image |
| US6606421B1 (en) * | 2000-05-25 | 2003-08-12 | Hewlett-Packard Development Company, L.P. | Geometric deformation correction method and system for dot pattern images |
| US7031543B2 (en) * | 2002-01-02 | 2006-04-18 | Xerox Corporation | Grayscale image de-speckle algorithm |
| US6947607B2 (en) | 2002-01-04 | 2005-09-20 | Warner Bros. Entertainment Inc. | Reduction of differential resolution of separations |
| US7092584B2 (en) | 2002-01-04 | 2006-08-15 | Time Warner Entertainment Company Lp | Registration of separations |
| US6873728B2 (en) * | 2002-01-16 | 2005-03-29 | Eastman Kodak Company | Vertical black line removal implementation |
| US7151859B2 (en) * | 2002-01-16 | 2006-12-19 | Ricoh Company, Ltd | Method and system for correcting direction or orientation of document image |
| US7068855B2 (en) * | 2002-07-16 | 2006-06-27 | Hewlett-Packard Development Company, L.P. | System and method for manipulating a skewed digital image |
| US7142718B2 (en) * | 2002-10-28 | 2006-11-28 | Lee Shih-Jong J | Fast pattern searching |
| US7773270B2 (en) * | 2004-01-07 | 2010-08-10 | Hewlett-Packard Development Company, L.P. | Image scanner feature detection |
| US7483591B2 (en) * | 2004-02-17 | 2009-01-27 | Xerox Corporation | Image transfer apparatus with streak removal system |
| US7593595B2 (en) * | 2004-08-26 | 2009-09-22 | Compulink Management Center, Inc. | Photographic document imaging system |
| US7391930B2 (en) * | 2004-12-17 | 2008-06-24 | Primax Electronics Ltd. | Angle de-skew device and method thereof |
| JP4123267B2 (ja) * | 2005-10-31 | 2008-07-23 | コニカミノルタビジネステクノロジーズ株式会社 | 画像処理装置 |
| US7330604B2 (en) * | 2006-03-02 | 2008-02-12 | Compulink Management Center, Inc. | Model-based dewarping method and apparatus |
| US7729559B2 (en) * | 2006-05-22 | 2010-06-01 | Ge Healthcare Bio-Sciences Corp. | System and method for optical section image line removal |
| EP2143041A4 (en) * | 2007-05-01 | 2011-05-25 | Compulink Man Ct Inc | PHOTODOCUMENTEGMENTATION METHOD AND METHOD |
| US8249391B2 (en) * | 2007-08-24 | 2012-08-21 | Ancestry.com Operations, Inc. | User interface method for skew correction |
| US9842331B2 (en) | 2008-01-18 | 2017-12-12 | Mitek Systems, Inc. | Systems and methods for mobile image capture and processing of checks |
| US8983170B2 (en) | 2008-01-18 | 2015-03-17 | Mitek Systems, Inc. | Systems and methods for developing and verifying image processing standards for mobile deposit |
| US10528925B2 (en) | 2008-01-18 | 2020-01-07 | Mitek Systems, Inc. | Systems and methods for mobile automated clearing house enrollment |
| CN102084378B (zh) * | 2008-05-06 | 2014-08-27 | 计算机连接管理中心公司 | 基于照相机的文档成像 |
| US9547799B2 (en) * | 2008-07-17 | 2017-01-17 | Sharp Laboratories Of America, Inc. | Methods and systems for content-boundary detection |
| US8370759B2 (en) | 2008-09-29 | 2013-02-05 | Ancestry.com Operations Inc | Visualizing, creating and editing blending modes methods and systems |
| US20110110604A1 (en) * | 2009-11-10 | 2011-05-12 | Prakash Reddy | Cropping scanned pages to remove artifacts |
| US8873864B2 (en) * | 2009-12-16 | 2014-10-28 | Sharp Laboratories Of America, Inc. | Methods and systems for automatic content-boundary detection |
| US10891475B2 (en) | 2010-05-12 | 2021-01-12 | Mitek Systems, Inc. | Systems and methods for enrollment and identity management using mobile imaging |
| US8903173B2 (en) * | 2011-12-21 | 2014-12-02 | Ncr Corporation | Automatic image processing for document de-skewing and cropping |
| US9241128B2 (en) | 2013-02-14 | 2016-01-19 | Warner Bros. Entertainment Inc. | Video conversion technology |
| US20140279323A1 (en) * | 2013-03-15 | 2014-09-18 | Mitek Systems, Inc. | Systems and methods for capturing critical fields from a mobile image of a credit card bill |
| US9235755B2 (en) * | 2013-08-15 | 2016-01-12 | Konica Minolta Laboratory U.S.A., Inc. | Removal of underlines and table lines in document images while preserving intersecting character strokes |
| US9495343B2 (en) * | 2014-09-30 | 2016-11-15 | Konica Minolta Laboratory U.S.A., Inc. | Horizontal and vertical line detection and removal for document images |
| JP7030425B2 (ja) * | 2017-05-22 | 2022-03-07 | キヤノン株式会社 | 画像処理装置、画像処理方法、プログラム |
| US11393272B2 (en) | 2019-09-25 | 2022-07-19 | Mitek Systems, Inc. | Systems and methods for updating an image registry for use in fraud detection related to financial documents |
| CN113852730B (zh) * | 2021-09-28 | 2023-12-01 | 科大讯飞股份有限公司 | 一种倾斜角确定方法及其相关设备 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6478381A (en) * | 1987-09-21 | 1989-03-23 | Toshiba Corp | Picture processing method |
| US5054098A (en) * | 1990-05-21 | 1991-10-01 | Eastman Kodak Company | Method of detecting the skew angle of a printed business form |
| US5214470A (en) * | 1992-04-09 | 1993-05-25 | Xerox Corporation | Method and apparatus for compensating for dirt or etched areas on a document platen |
| US5594817A (en) * | 1992-10-19 | 1997-01-14 | Fast; Bruce B. | OCR image pre-processor for detecting and reducing skew of the image of textual matter of a scanned document |
| GB9224952D0 (en) * | 1992-11-28 | 1993-01-20 | Ibm | Improvements in image processing |
| US5583659A (en) * | 1994-11-10 | 1996-12-10 | Eastman Kodak Company | Multi-windowing technique for thresholding an image using local image properties |
| US5949901A (en) * | 1996-03-21 | 1999-09-07 | Nichani; Sanjay | Semiconductor device image inspection utilizing image subtraction and threshold imaging |
| DE19613342A1 (de) * | 1996-04-03 | 1997-10-09 | Philips Patentverwaltung | Automatisches Bildauswertungsverfahren |
| US6035072A (en) * | 1997-12-08 | 2000-03-07 | Read; Robert Lee | Mapping defects or dirt dynamically affecting an image acquisition device |
-
1998
- 1998-12-14 US US09/211,125 patent/US6282326B1/en not_active Expired - Lifetime
-
1999
- 1999-11-09 JP JP31878599A patent/JP4256042B2/ja not_active Expired - Lifetime
- 1999-11-25 DE DE69926205T patent/DE69926205T2/de not_active Expired - Lifetime
- 1999-11-25 EP EP99203956A patent/EP1014677B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| DE69926205T2 (de) | 2006-05-24 |
| JP2000184192A (ja) | 2000-06-30 |
| US6282326B1 (en) | 2001-08-28 |
| EP1014677A2 (en) | 2000-06-28 |
| EP1014677A3 (en) | 2002-05-15 |
| DE69926205D1 (de) | 2005-08-25 |
| EP1014677B1 (en) | 2005-07-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4256042B2 (ja) | 画像処理方法 | |
| US6317223B1 (en) | Image processing system for reducing vertically disposed patterns on images produced by scanning | |
| JP3768052B2 (ja) | カラー画像処理方法、カラー画像処理装置、及びそのための記録媒体 | |
| US6160913A (en) | Method and apparatus for digital halftone dots detection and removal in business documents | |
| US6970606B2 (en) | Automatic image quality evaluation and correction technique for digitized and thresholded document images | |
| EP0947947B1 (en) | Robust method for finding registration marker positions | |
| Dubois et al. | Reduction of bleed-through in scanned manuscript documents | |
| US9773187B2 (en) | Method and apparatus for OCR detection of valuable documents by means of a matrix camera | |
| JP3545506B2 (ja) | 特定色領域抽出方式および特定色領域除去方式 | |
| US20060165292A1 (en) | Noise resistant edge detection | |
| JP3886727B2 (ja) | 画像処理装置 | |
| JPH09130614A (ja) | 画像処理装置 | |
| EP0505729B1 (en) | Image binarization system | |
| JP4010440B2 (ja) | 影検出を伴う画像処理装置 | |
| EP1326416A1 (en) | Compensation of lens field curvature | |
| US6181437B1 (en) | Image processing apparatus capable of producing images without jaggies at edges | |
| RU2520407C1 (ru) | Способ и система улучшения текста при цифровом копировании печатных документов | |
| JP3830350B2 (ja) | カラー画像処理方法、カラー画像処理装置、プログラム、及び記録媒体 | |
| JP2004246110A (ja) | 検版装置、印刷システム、印刷データの検版方法、およびプログラム | |
| EP0869662B1 (en) | Image binarization system | |
| JP3877535B2 (ja) | カラー画像処理方法、カラー画像処理装置、カラー画像処理プログラム、及び記録媒体 | |
| JP3216165B2 (ja) | 画像領域識別装置および画像領域識別方法 | |
| JP6732428B2 (ja) | 画像処理装置、網点判定方法、およびプログラム | |
| JP2002290748A (ja) | カラー画像処理装置、カラー画像処理方法、プログラムおよび記録媒体 | |
| Borges et al. | Segmentation of Document Images Using Higher Order Statistics |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060809 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080519 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080610 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20080910 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20080916 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081209 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090106 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090129 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120206 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4256042 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130206 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130206 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140206 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |