JP4509512B2 - スキュー検知 - Google Patents

Description

本発明は、画像処理の分野に関するものであって、更に詳細には、ドキュメント画像内のスキューの検知又は推定に関するものである。

典型的にコンピュータによるドキュメント画像の自動処理は、現在広く使用されており且つ、例えば、光学的文字認識を包含する多様な理由のために実施されている。その自動処理においてしばしば問題が存在している。何故ならば、ドキュメント画像がスキューしている場合があり、且つ更なる画像処理を適用する前に、スキュー角度を検知又は推定し且つスキューを補正することが好ましいからである。尚、本書において、「スキュー検知」及び「スキュー推定」という表現は、両方共、スキュー角度に対する値を決定する処理を示すものとして使用され、「推定」という用語はこのような値を決定する場合のより低いレベルの精度を示すものではない。

ドキュメント画像における自動的スキュー検知に対して種々の技術が提案されている。これらは、通常、最も近い隣りのもののクラスタリングに基づく方法、ハフ変換（Ｈｏｕｇｈ ｔｒａｎｓｆｏｒｍ）に基づく方法、又は投影形状（ｐｒｏｊｅｃｔｉｏｎ ｐｒｏｆｉｌｅ）の決定が関与する方法である。然しながら、これらの方法は多数の欠点を有している。しばしば、スキュー推定／検知処理は低速である。又、グレイスケール画像又は図面を包含する画像に対して適用可能な方法は殆どない。更に、殆どの既知の方法は、非欧文スクリプト（例えば、デブナガリ（Ｄｅｖｎａｇａｒｉ）及びバングラ（Ｂａｎｇｌａ）スクリプト）におけるテキストを有するドキュメントの解析に対して適用された場合に不正確な結果を発生する場合がある。

ドキュメント画像におけるスキュー検知のためのアルゴリズムにおいて数学的モルフォロジー（ｍａｔｈｅｍａｔｉｃａｌ ｍｏｒｐｈｏｌｏｇｙ）から派生された技術を使用することが提案されており、例えば、Ａ．Ｋ． Ｄａｓ 及びＢ．Ｃｈａｎｄａ著「モルフォロジーを使用したドキュメント画像のスキュー検知用高速アルゴリズム（Ａ ｆａｓｔ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｓｋｅｗ ｄｅｔｅｃｔｉｏｎ ｏｆ ｄｏｃｕｍｅｎｔ ｉｍａｇｅｓ ｕｓｉｎｇ ｍｏｒｐｈｏｌｏｇｙ）」、ＩＪＤＡＲ、即ちインターナショナル・ジャーナル・オン・ドキュメント・アナリシス・アンド・レコグニション、（２００１）４、１０９−１１４頁の文献を参照すると良い。この提案によれば、テキストラインを黒色のバンドへ変換させるためにドキュメント画像に対して「クロージング（ｃｌｏｓｉｎｇ）」及び「オープニング（ｏｐｅｎｉｎｇ）」（又は、「ダイレーション（ｄｉｌａｔｉｏｎ）」及び「エロージョン（ｅｒｏｓｉｏｎ）」）のモルフォロジー操作が適用される。その後に、該黒色のバンドは各テキストラインのベースラインピクセルを見つけ出すために解析され、ある長さのラインが抽出され、且つそのオリエンテーション即ち配向角度が計算される。スキュー角度を表わすためにメジアン角度が取られる。

Ｄａｓ及びＣｈａｎｄａにより提案されているアルゴリズムは高速であり、且つ多様なスクリプト形態に対して適用可能なものであるが、テキストのみならず図面を包含するドキュメントを処理するのに適したものではない。スキュー角度推定処理に与える図面の効果を最小とさせるために該Ｄａｓ及びＣｈａｎｄａアルゴリズムにおいて特別のステップが包含されねばならない。

本発明は、数学的モルフォロジーに基づいたスキュー推定の新しい技術を提供せんとするものである。

数学的モルフォロジーの原理はＧ． Ｍａｔｈｅｒｏｎ及びＪ．， Ｓｅｒｒａによって１９６０年代に確立されたものである。画像解析に適用された場合に、数学的モルフォロジーは画像内に存在する構造の形状及び形態を解析するためのフレームワーク即ち枠組を与える。多数の数学的モルフォロジー操作は解析中の画像の構造を調査するためにプローブ、即ち「構造要素」を使用する。構造要素の形状及び寸法は、処理すべき画像オブジェクトの幾何学的特性に対して適合されねばならない。例えば、リニア構造要素は画像中のリニアなオブジェクトを抽出するのに適している。

数学的モルフォロジー操作（演算）を表現するために、しばしば、セット即ち組の表記法が使用される。構造要素は、しばしば、それを構成する点Ｂのセット即ち組によって示される。構造要素が点ｘ上に変換されると、それはＢ_xと書かれる。黒白画像の場合には、画像中の全ての白色ピクセルのセット即ち組がその画像を記述する（同じことは、画像中の全て黒色のピクセルのセット即ち組に対しても言える）。このようなセット（組）は画像オブジェクトＦであると考えることが可能である。対応する画像オブジェクトｆはグレイスケール画像に対して定義することが可能である。二進画像又はグレイスケール画像のいずれに適用されるかに従ってモルフォロジー操作即ち演算の間に形式上の差異はない。

グレイスケール画像に関する数学的モルフォロジーの場合には、異なる等価なアプローチを取ることが可能である。単純な考えは、関数の「アンブラ（ｕｍｂｒａ）」、即ち組｛（ｙ，ｘ）｜ｙ＜ｆ（ｘ）｝を見て且つこの組に対して通常のセットオペレーター即ち集合演算子を適用することである。通常、グレイスケール画像の場合には、平坦な構造要素が使用される（例えば、球の代わりにディスクが使用される）。従って、該関数はレベルセット（ｌｅｖｅｌ ｓｅｔ）毎であると考えられる。

別のアプローチは、グレイスケール画像に対して適用される一般化した表現を使用してモルフォロジーオペレーター（演算子）を定義することである。例えば、ダイレーション（ｄｉｌａｔｉｏｎ）操作（演算）に対する表現は以下のようになる。

且つ、二進画像は、

である場合にｆ（ｘ）＝１であり且つそれ以外の場合にはｆ（ｘ）＝０である特別の場合に対応している。

以下の説明において、二進画像が関与する場合には、画像オブジェクトを指定するために記号Ｆを使用し、グレイスケール画像が関与する場合には、記号ｆが使用され、且つ画像オブジェクトがグレイスケールか二進のいずれかとすることが可能である場合には、記号Ａも使用する。

数学的モルフォロジーにおいて使用される基本的な操作即ち演算の幾つか、特に、ダイレーション（ｄｉｌａｔｉｏｎ）、エロージョン（ｅｒｏｓｉｏｎ）、オープニング（ｏｐｅｎｉｎｇ）、クロージング（ｃｌｏｓｉｎｇ）について再確認しておくことが有用であると思料される。

ダイレーション
「ダイレーション（ｄｉｌａｔｉｏｎ）」（膨張）の操作即ち演算は、「構造要素Ｂが点ｘ上に変換される場合に、それは画像オブジェクトＡを定義するセット即ち組と相互作用を行うか？」という質問に対する解答を探し出すものである。構造要素Ｂを使用する画像オブジェクトＡのダイレーションはδ_1,B（Ａ）と書くことが可能である。画像オブジェクトは繰返しダイレーションを行うことが可能である。ダイレーションがｎ回繰返される場合には、寸法ｎのダイレーションが実施されたと言われ、その結果はΔ_n,B（Ａ）と書かれる。

セットノーテーション即ち組表記法においては、画像のダイレーションはミンコウスキー（Ｍｉｎｋｏｗｓｋｉ）和で表わすことが可能であり、それは、二進画像Ｆの場合には、以下のように示される。

換言すると、ダイレーション処理した画像δ_1,B（Ｆ）は、ｘ（Ｂ_x）上に変換された場合に、オリジナルの画像Ｆと構造要素との間にインターセクション即ち交差が存在する場合に、全ての点ｘにおける画像点（典型的に、黒色ピクセル）を包含する。

グレイスケール画像ｆの場合、構造要素Ｂによる画像のダイレーションは同様に以下のように表わすことが可能である。

換言すると点ｘに対して、ダイレーション処理した画像におけるこの点の値はオリジナルのグレイスケール画像ｆにおける点（ｘ＋ｂ）において取られる値の最大であり、ｂは構造要素Ｂにおける点を画定するベクトルを表わしている。

視覚的に考えると、ダイレーションは画像中に表現されているオブジェクトに対してレイヤーを付加することに類似している。寸法ｎのダイレーションはオブジェクトに対してｎ個のレイヤーを付加する。

エロージョン
エロージョン（ｅｒｏｓｉｏｎ）はダイレーションに対して相補的なものである。「エロージョン（ｅｒｏｓｉｏｎ）」（収縮）の操作即ち演算は、「構造要素Ｂが点ｘ上に変換される場合に、その構造要素は画像オブジェクトＡを定義するセット即ち組内に完全に包含されるか否か？」という質問に対する解答を求めるものである。構造要素Ｂを使用しての画像オブジェクトＡのエロージョンは、ε_1,B（Ａ）と書くことが可能である。画像は繰返しエロージョン処理することが可能であり、且つε_n,B（Ａ）はｎ回エロージョン処理された画像Ａを示す。

セットノーテーション即ち組表記法においては、画像のエロージョンはミンコウスキー差によって表わすことが可能であり、それは、二進画像Ｆの場合に、以下の如くである。

換言すると、エロージョン処理した画像ε_1,B（Ｆ）は、構造要素がｘ上に変換された場合に、それがオリジナルの画像オブジェクト内に完全に包含される全ての点ｘにおける画像点を包含する。

グレイスケール画像ｆの場合、構造要素Ｂによるその画像のエロージョンは同様に以下の如くに表わすことが可能である。

換言すると、点ｘに対して、エロージョン処理した画像におけるこの点の値はオリジナルのグレイスケール画像ｆにおける点（ｘ＋ｂ）において取られる値の最小であり、ｂは構造要素Ｂにおける点を定義するベクトルを表わしている。

視覚的に考えると、エロージョンは画像中に表わされているオブジェクトからレイヤーを剥離することに類似している。

オープニング
オープニング（ｏｐｅｎｉｎｇ）操作は、エロージョンとそれに続くダイレーションとから構成されている（これはダイレーションとそれに続くエロージョンと等価なものではない、以下の「クロージング（ｃｌｏｓｉｎｇ）」参照）。画像Ａが構造要素Ｂによってオープニングされる場合には、その結果γ_1,B（Ａ）は多様な態様で表わすことが可能である。

（最初の３つの表現は、単に、「ＢによってクロージングされたＡ」の異なる記号表現であり、最後の表現はエロージョンとそれに続くダイレーションを表わしている）。画像に対してオープニング演算子を適用することは、画像内のオブジェクトの輪郭を滑らかにさせ、画像内の「地峡」を「メインランド」から分離させ（これら２つの間のリンクが構造要素よりも小さい場合）、且つ構造要素よりも小さなオブジェクト（又はそれらの部分）を除去する傾向となる。

クロージング
クロージング（ｃｌｏｓｉｎｇ）操作はダイレーションとそれに続くエロージョンとから構成されている。クロージング操作即ち演算は、オープニング操作の二重操作（逆ではない）である。画像Ａが構造要素Ｂによってクロージングされる場合、その結果φ_1,B（Ａ）は多様な態様で表わすことが可能である。

画像に対してのクロージング演算子の適用は、それらの構造要素よりも小さい場合には画像中の孔又はスリットを閉じ、且つ「島」と「メインランド」との間の距離が構造要素よりも小さい場合には、「島」と「メインランド」とを結合させる傾向となる。

本発明の好適実施例は、新規な態様でドキュメント画像におけるスキューを推定するために数学的モルフォロジーからのオペレーター即ち演算子を利用している。

本発明の好適実施例は、スキュー推定方法を提供しており、それはロバストで、高速で、多様なスクリプトにおけるテキストを包含するドキュメント画像に対して適用可能であり、黒白画像のみならずグレイスケール画像に対しても適用可能であり、且つ図面の存在によって不当に悪影響を受けることのないものである。

更に詳細には、本発明は、ドキュメント画像におけるスキューを推定する方法を提供しており、本方法は、ドキュメント画像をランレングス平滑化し、且つエロージョン処理した画像の表面積が最大である角度を決定するために複数個の異なる画像の各々において配向されているリニア構造要素により該ランレングス平滑化した画像のエロージョンを決定する、上記各ステップを有しており、前記角度がドキュメント画像のスキュー角度として指定される。

構造要素による画像のエロージョンは、該構造要素を変換させることが可能であり且つエロージョン前の画像内に包含させることが可能である点のセット（組）となるという事実に鑑み、該構造要素がエロージョン前の画像内の支配的なライン方向と整合したリニアな要素である場合に、エロージョン処理した画像が最大表面積を有することを直感的に理解することが可能である。従って、画像内の支配的なラインの角度は、画像をエロージョン処理するために使用したリニア構造要素のオリエンテーション即ち配向状態を変化させ、且つエロージョン処理した画像が最大表面積を有する角度を検知することによって決定することが可能である。テキストを包含するスキューしたドキュメント画像において、この支配的な角度はスキューの角度となる傾向がある。

本発明のスキュー推定方法は、二進、典型的に、黒白画像に対して及びグレイスケール画像に対して両方共良好に動作する。更に、本発明に基づく方法は、今日まで知られている最も速いスキュー推定アルゴリズムのうちの１つを提供している。

好適には、リニア構造要素を使用してドキュメントイメージをクロージング処理することによりドキュメント画像をランレングス平滑化させる。数学的モルフォロジーの分野において、「ランレングス平滑化（ｒｕｎ−ｌｅｎｇｔｈ−ｓｍｏｏｔｈｉｎｇ）」と言う表現は、通常、０゜の角度で配向された構造要素を使用してスムージングすることを意味するものと理解される。然しながら、本文書においては、「ランレングス平滑化」は構造要素のいずれかの特定の配向を参照することに制限されるものではない。

有益的なことであるが、夫々の異なる角度で配向されたリニア構造要素を使用してドキュメント画像をクロージングすることにより複数個の異なるランレングス平滑化した画像が発生される。この場合に、ランレングス平滑化した画像をエロージョン処理するステップは、そのランレングス平滑化した画像を発生する場合に使用したリニア構造要素と同一の角度で配向したリニア構造要素を使用して異なるランレングス平滑化画像の各々をエロージョン処理することを包含している。

理解すべきことであるが、本文書においては、「リニア構造要素（ｌｉｎｅａｒ−ｓｔｒｕｃｔｕｒｉｎｇ ｅｌｅｍｅｎｔ）」と言う表現は、ライン形状したセグメントに制限されるものではない。例えば、ランレングス平滑化した画像をエロージョン処理するために使用されるリニア構造要素は、特定の角度関係を具備する一対の点から構成することが可能である。このような場合において、エロージョン処理した画像の表面積がどのようにしてリニア構造要素の変化する角度配向状態に関して変化するかの決定は、その画像に対する方向のローズ（ｒｏｓｅ）、即ち画像の共分散を決定することに近似している。「方向のローズ（ｒｏｓｅ ｏｆ ｄｉｒｅｃｔｉｏｎｓ）」関数ρ（α）は、画像内のラインが特定の角度αに配向をしている確率を表わす関数と考えることが可能である。

構造要素の全ての可能な角度に対してエロージョンしたランレングス平滑化した画像の表面積を計算する代わりに、エロージョン処理した画像における最大表面積に対応する角度に対するサーチは、一次元最適化アルゴリズムを使用することにより高速化することが可能である。好適には、このようなアルゴリズムを適用する前に、その画像をサブサンプリング処理する。

本発明のスキュー推定方法における種々のダイレーション及びエロージョン操作を実施する場合に多数の計算が関与する。計算上の負担を減少させるために、グレイスケール画像を処理する場合には、これらの操作を実施するために反復的アルゴリズムを使用することが可能である。これらの操作即ち演算は、又、高速フーリエ変換を実現する現在使用可能な装置を使用して二進画像に対して実施することも可能である。

本発明のスキュー推定方法が二進ドキュメント画像に対して適用される場合に、構造要素の対数的分解を実施し、且つダイレーション操作とエロージョン操作とを実施するための並列処理を使用することにより高速化させることが可能である。より詳細には、ドキュメント画像のｗ個のピクセルをｗビットデータワードに対して割当てることが可能であり、ビット毎の演算子を使用してｗ個のピクセルに対して論理的演算子を同時的に適用することが可能である。このような場合に、本スキュー推定方法の速度は次式に従って評価することが可能である。

尚、ｋ₁はランレングス平滑化ステップにおいて使用した構造要素の長さを表わしており、ｋ₂はエロージョンステップにおいて使用した構造要素の長さを表わしており、且つｎｍはドキュメント画像におけるピクセルの数である。

本発明は、又、上述した方法を実施するべく適合された装置を提供している。この装置は、本発明に基づく方法を実現すべくプログラムされた汎用コンピュータを有することが可能である。

本発明は、更に、汎用コンピュータ上で使用される場合に、該コンピュータをして本発明に基づくスキュー推定方法のステップを実施させるための１組の命令を具備するコンピュータプログラムプロダクトを提供している。

本発明の上述した及びその他の特徴及び利点は、添付の図面を参考に例示として与えられる以下の好適実施例の説明からより明らかなものとなる。

本発明のスキュー推定方法の以下の説明は、処理中のドキュメント画像がテキストのみを包含する好適実施例について説明する。然しながら、理解すべきことであるが、本方法は、テキストのみならず図面を包含するドキュメント画像に対しても適用可能である。

本発明に基づくスキュー推定方法の現在好適な実施例は以下の２つの主要なステップ、
１．ランレングス平滑化アルゴリズムをドキュメント画像に対して適用し、且つ
２．これらの異なる角度で配向されたリニア構造要素を使用してエロージョン処理された場合のランレングス平滑化画像の表面積を決定することにより、異なる角度に対して、ランレングス平滑化した画像におけるラインが与えられた角度にあることの確率を調査する、
ことを包含している。本発明方法は、スキュー推定のみならずスキュー補正も包含するように拡張させることも可能である。

ランレングス平滑化
本発明に基づくスキュー推定方法のランレングス平滑化ステップにおいて、リニア構造要素を使用して画像Ａをクロージング処理することにより、ドキュメント画像Ａをランレングス平滑化処理することが可能である。好適には、構造要素ｋ₁Ｌ₀を使用し、それは水平リニアセグメントである（Ｌ₀は単位長さの水平リニアセグメントであり、ｋ₁はスケーリングパラメータである）。スケーリングパラメータｋ₁の値は臨界的なものではないと考えられる。テキストドキュメントの場合には、ｋ₁は、好適には、テキスト中の典型的なワードとほぼ同一の寸法である。適宜の場合において、この寸法はドキュメント画像を発生するスキャナのｄｐｉから評価することが可能である。一方、例えば、黒白画像内に存在する全ての接続したコンポーネント（即ち、文字）に対する取囲みボックスの寸法を計算することにより計算することが可能である。然しながら、ｋ₁に対して所定の値を設定することにより、スキュー推定における適宜のレベルの精度を得ることが可能であり、且つ全体的な方法をより速くレンダリングさせることが可能である。

構造要素ｋ₁Ｌ₀を使用して画像Ａをクロージング処理することからなるランレングス平滑化アルゴリズムを適用することから得られる画像は、ＲＬＳＡ₀（Ａ）によって示すことが可能であり、且つ次式の如くである。

このランレングス平滑化アルゴリズムの適用は、テキストライン内の単語をぼやかしてブロッブ（ｂｌｏｂ）とさせる傾向となり、該ブロッブは黒色バンドに合体する−この処理はスキューが存在しない場合のドキュメントにおけるテキストライン上のワードを合体する上で最も有効なものである。

然しながら、任意の選択した角度αに配向しているリニア構造要素ｋ₁Ｌ_αを使用してドキュメントＡをクロージング処理することによってもランレングス平滑化画像を得ることが可能である。換言すると、我々は次式を計算することが可能である。

この処理は、構造要素の角度αがドキュメントのスキュー角度と同一である場合においてテキストライン内の単語を１つのバンド即ち帯に合体する上で最も有効である。従って、本発明の現在好適な実施例によれば、ランレングス平滑化ステップを実施してαの複数個の異なる値に対してＲＬＳＡ_α（Ａ）を計算する。通常、スキュー角度はかなり小さな範囲の角度内にあり（典型的に±１５゜）、従って、±１５゜の範囲内においてαに対するＲＬＳＡ_α（Ａ）の値を計算するので充分なことが多い。一方、エラーに対する余裕を与えるために、予定されるスキュー角度の範囲よりも幾分広めの範囲（例えば、±１７゜又は±２０゜）においてαに対するＲＬＳＡ_α（Ａ）の値を計算することが有用である場合がある。余り広い範囲のαの値に対してＲＬＳＡ_α（Ａ）の値を計算することは、所要の計算時間を増加させて不利益となる。

本発明に基づく方法のこの段階期間中にドキュメント画像に対してクロージング操作ではなくダイレーションを適用することが理解される。然しながら、余り望ましいことではない。何故ならば、それは、より精度の悪いスキュー角度推定となり且つ実現するのに低速だからである。

ライン配向の調査
画像Ａを角度αで配向しているリニア構造要素ｋ₂Ｌ_αを使用してエロージョンする場合に、その結果は、構造要素の配向αが画像Ａにおける支配的なラインの角度と一致する場合に、最大表面積を有している。従って、関数ρ（α）は以下の如くに定義することが可能である。

尚、ｋ₂はスケーリングファクターであり、この関数ρ（α）は、画像Ｐにおける支配的なライン角度に対応する角度αにおいて最大値を有している。スケーリングパラメータｋ₁に関しては、スケーリングｋ₂の値は臨界的なものではない。然しながら、それはｋ₁よりも充分に大きなものとすべきである。例えば、適切な値は、テキストドキュメントにおける典型的な単語の寸法の１０倍程度である。

従って、本発明の好適実施例は、ランレングス平滑化したドキュメント画像に対して計算した関数ρ（α）において最大が存在する角度を決定することによりドキュメント画像におけるスキュー角度を決定する。この角度は、ドキュメント画像内の支配的なライン角度に対応している。

我々は、

を計算し、且つこの関数の最大を求めることが可能である。然しながら、このことは、小さなスキュー角度に対して正確なスキュー角度の推定を与えるに過ぎず、それは比較的計算が遅いものである。本発明の現在好適な実施例は以下の計算を行う。

換言すると、関数ρ′（α）を計算するために、各々が夫々の角度α_iにおけるリニア構造要素を使用して発生された複数個のランレングス平滑化した画像を、各々、対応する角度α_iにおいて配向された夫々のリニア構造要素を使用してエロージョン処理する。ρ′（α）が最大を有する角度が推定されたスキュー角度である。

ρ′（α）に対する上の式（１３）は、クロージング操作、即ち

とそれに続くエロージョン処理、即ち

の実施から得られるエンティティ、即ち

の表面積の計算を必要とする。然しながら、モルフォロジー演算子の連想的特性のために、このエンティティは、又、ダイレーション、即ち

と、それに続くエロージョン処理、即ち

を実施することから得られる結果と等しい。従って、本発明の好適実施例では以下の式の計算を行う。

テスト結果
図１はドキュメント画像Ａ（図１ａ）を示しており、且つランレングス平滑化し、次いで異なる角度に配向された構造要素を使用してこの画像をエロージョン処理した結果を例示している。図１（ａ）のドキュメント画像は−３゜のスキュー角度を有している。

より詳細に説明すると、図１（ｂ）は、０゜に配向されたリニア構造要素を使用してその画像をクロージング処理し、次いで０゜に配向されたリニア構造要素ｋ₂Ｌ₀を使用してランレングス平滑化画像ＲＬＳＡ₀（Ａ）をエロージョン処理することにより図１（ａ）の画像Ａをランレングス平滑化した結果を示している。図１（ｃ）は、＋１゜に配向したリニア構造要素を使用してその画像をクロージング処理し、次いで＋１゜に配向したリニア構造要素ｋ₂Ｌ₁を使用してランレングス平滑化した画像ＲＬＳＡ₁（Ａ）をエロージョン処理することによる図１（ａ）の画像をランレングス平滑化した結果を示している。図１（ｄ）は−３゜に配向したリニア構造要素を使用してその画像をクロージング処理し、次いで−３゜に配向したリニア構造要素ｋ₂Ｌ₃を使用してランレングス平滑化した画像ＲＬＳＡ_-3（Ａ）をエロージョン処理することによる図１（ａ）の画像をランレングス平滑化した結果を示している。

図１から理解されるように、構造要素の角度が正しいスキュー角度に近付くに従い、ランレングス平滑化し且つエロージョン処理した画像はより暗くより厚いバンドを有している。正に、最も暗く最も厚いバンドを有する処理済の画像が図１（ｄ）に示されており、それはスキュー角度で配向したリニア構造要素を使用してランレングス平滑化し且つエロージョン処理したオリジナルのドキュメント画像に対応している。この画像は、図２に示したように、最も大きな表面積を有している。

図２は、図１のランレングス平滑化し且つエロージョンした画像の表面積が角度αに関してどのように変化したかを示したグラフである。理解されるように、関数ρ′（α）は角度α＝−３゜において最大を有している。従って、本発明の現在好適な実施例方法は−３゜のスキュー角度推定を発生する。

図１及び２から理解されるように、本発明のスキュー推定方法は、ドキュメント画像のスキュー角度を決定することが可能である。

更に、１２１４×１１５１個のピクセルを具備するドキュメント画像におけるスキューを推定するペンチアム（Ｐｅｎｔｉｕｍ）ＩＩＩ、７３３ＭＨｚコンピュータにより計算を実現して本発明に基づく方法を使用してテストを実施した。プログラムを特に最適化したものではないが、０．７５秒未満で正確なスキュー推定が発生された。本発明に基づいて好適であるように公知のプログラミング技術を使用してプログラムを最適化した場合には、計算時間は更に減少される。従って、本発明のスキュー推定方法は公知の非常に高速に属することが明らかである。

スキュー角度推定の計算
本発明のスキュー角度推定方法を実現する場合に、計算を高速化させるために行うことが可能な多数の簡単化及び近似が存在している。

最初に注意すべきことであるが、本発明は、２ステッププロセスにより説明しているが、実際には、これらの２つのステップは統合することが可能である。即ち、本発明は、最初に全てのランレングス平滑化操作を実施し次いでその後に全てのエロージョン操作を実施する場合に制限されるものではない。注意すべきことであるが、前述したように、モルフォロジー操作の連想的特性を利用することにより、式（１４）を計算することにより本方法を高速化させることが可能である。

更に、αの多数の個々の値に対して関数ρ′（α）（又はρ（α））の値を計算する代わりに、特定のドキュメント画像に対してこの関数を決定する場合には、計算することが必要とされるρ′（α）（又はρ（α））の個々の値の数を減少させるために一次元最適化アルゴリズムを使用することが可能である。Ｗ．Ｈ． Ｐｒｅｓｓ、Ｂ．Ｐ． Ｆｌａｎｎｅｒｙ、Ｓ．Ａ． Ｔｅｕｋｏｌｓｋｙ及びＷ．Ｔ． Ｖｅｔｔｅｒｌｉｎｇ著「数値的レシピ（Ｎｕｍｅｒｉｃａｌ Ｒｅｃｉｐｅｓ）」、ケンブリッジユニバーシティプレス出版、１９８９年、２８３−６頁に記載されているブレント（Ｂｒｅｎｔ）の方法を使用してスキュー角度推定における適宜のレベルの精度を得ることが可能である。

ブレントの方法は一種の放物線補間であり、その場合に、６個のパラメータａ，ｂ，ｕ，ｖ，ｗ，ｘの値がモニタされる。パラメータａ及びｂは最小が位置しているバウンディングインターバル（ｂｏｕｎｄｉｎｇ ｉｎｔｅｒｖａｌ）の限界であり、ｘはそれまでに見つかった最低の関数値を有する点であり、ｗはそれまでに見つかった２番目に最低の関数値を有する点であり、ｕは関数が最も最近に評価された点であり、且つｖはｗの前の値である。この方法は反復的である。

ブレントの方法によれば、ｘ，ｖ，ｗの点を介してフィッティング即ち当て嵌めて放物線補間が試みられる。許容可能なものであると考えられるためには、現在の放物線補間ステップは、（ｉ）バウンディングインターバル（ａ,ｂ）内に該当する新しい最小を発生し、且つ（ｉｉ）最後の前のステップの動きの半分未満である最良の現在の値ｘからの移動（変化量）を暗示するものでなければならない。この第二の基準は、方法の相次ぐステップが収束することを確保する。最悪の場合には、相次ぐステップが放物線ステップと黄金分割部との間でほぼ交番し、黄金分割部によって究極的に収束する。

好適には、ブレントに基づく上述したアルゴリズムを適用する前に、所要の計算時間を減少させるためにドキュメント画像をサブサンプリングする。注意すべきことであるが、このサブサンプリング操作は、ダイレーション操作と同時的に実施することが可能である。

更に、理解されるように、本発明のスキュー推定方法を実現する場合に、多数のダイレーション及びエロージョン操作を実施することが必要である。例えば、グレイスケール画像のエロージョン又はダイレーションを計算する生のアルゴリズムは、その画像の各ピクセルに対して、構造要素におけるピクセルの数に等しいピクセルの数の中から最小又は最大の値を計算することからなる。ｎ個のピクセルからなる構造要素の場合、画像ピクセルあたりｎ−１最小／最大比較が存在している。この計算数は、適宜のアルゴリズム及びデータ構造を使用することにより、著しく減少させ、従って全体的な計算時間を減少させることが可能である。同様に、一般的に、本発明の方法におけるダイレーション及びエロージョン操作の実現は、適宜のアルゴリズム及びデータ構造の使用により最適化させることが可能である。幾つかの好適な技術について以下に説明する。

二進画像におけるスキュー推定の場合
ダイレーション及びエロージョンの操作はフーリエ変換を使用して実施することが可能であり、そのことについては、Ｊ．Ｅ． Ｍａｚｉｌｌｅ著「数学的モルフォロジー及びコンボルーション（Ｍａｔｈｅｍａｔｉｃａｌ ｍｏｒｐｈｏｌｏｇｙ ａｎｄ ｃｏｎｖｏｌｕｔｉｏｎ）」、ジャーナル・オブ・マイクロスコピー出版、１５６（１）：３−１３、１９８９年１０月、及びＭ． Ｋｉｌｌｉｎｇｅｒ、Ｊ．Ｌ． ｄｅ ｂｏｕｇｒｅｎｅｔ ｄｅ ｌａ Ｔｏｃｎａｙｅ、Ｐ． Ｃａｍｂｏｎ及びＣ． Ｌｅ Ｍｏｉｎｇ著「フーリエ変換フォログラムを使用したモルフォロジーフィルタ処理（Ｍｏｒｔｈｏｌｏｇｉｃａｌ ｆｉｌｔｅｒｉｎｇ ｕｓｉｎｇ ａ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ ｈｏｌｏｇｒａｍ）」、オプテックス・コミュニケーションズ出版、７３（６）：４３４−４３８、１９８９年１１月において説明されている。従って、本発明のスキュー推定方法は、Ｍａｚｉｌｌｅ及びＫｉｌｉｎｇｅｒ ｅｔ ａｌ．によって説明されている態様で、本発明に基づく方法により必要とされるダイレーション操作及びエロージョン走査を実施するために現在使用可能な高速フーリエ変換を利用することにより迅速且つ効率的な態様で実現することが可能である。

更に、上述したモルフォロジー操作の関連性の特性は、（凸状）構造要素の対数的分解に関連して使用することが可能である。特に、凸集合の極限の組の定義に基づいて、対数的表現を使用して凸集合を分解することが可能である。極限の組の関連する定義はＪ． Ｐｅｃｈｔ著「逐次的ミンコフスキー操作の高速化（Ｓｐｅｅｄｉｎｇ ｕｐ ｓｕｃｃｅｓｓｉｖｅ Ｍｉｎｋｏｗｓｋｉ ｏｐｅｒａｔｉｏｎｓ）」、パターン・レコグニション・レターズ、３（２）：１１３−１１７、１９８５年の文献において与えれている。我々の場合においては、ライン形状をした構造要素は良好に選択された一連の点に分解することが可能である。グリッド上に定義された画像を処理する場合には、長さ１のライン形状セグメントはグリッド上で互いに近接した一対の点に換言される。より長いライン形状したセグメントを取扱う場合には、グリッド上のセグメントの投影上の各点を考慮することは義務的なことではない。

更に、ダイレーション及び／又はエロージョンの操作は、二進画像の種々のビットに対して並列的に適用することが可能である。二進画像のｗ個のピクセルをｗビットデータタイプワードを使用して表わすことが可能であるので、ダイレーション／エロージョンを実現する論理的演算子は、ビット毎の演算子を使用して画像のｗ個のピクセルに対して同時的に適用することが可能である。換言すると、３２ビットデータワードを使用するマシン上において、画像の３２個のピクセルを１つのマシンサイクルで処理することが可能である。この技術はＲ． ｖａｎ ｄｅｎ Ｂｏｏｍｇａｒｄによる博士論文「数学的モルフォロジー：コンピュータビジョンへの拡張（Ｍａｔｈｅｍａｔｉｃａｌ ｍｏｒｐｈｏｌｏｇｙ： ｅｘｔｅｎｓｉｏｎ ｔｏｗａｒｄｓ ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ）」、アムステルダム大学、１９９２年において、及びＲ． ｖａｎ ｄｅｎ Ｄｏｏｎｇａａｒｄ 及びＲ． ｖａｎ Ｂａｌｅｎ著「ビットマップ型二進画像を使用した高速モルフォロジー画像変換方法（Ｍｅｔｈｏｄｓ ｆｏｒ ｆａｓｔ ｍｏｒｐｈｏｌｏｇｉｃａｌ ｉｍａｇｅ ｔｒａｎｓｆｏｒｍ ｕｓｉｎｇ ｂｉｔｍａｐｐｅｄ ｂｉｎａｒｙ ｉｍａｇｅｓ）」、コンピュータビジョン、グラフィックス・アンド・イメージ・プロセッシング：グラフィカル・モデル・アンド・イメージ・プロセシング、５４（３）：２５２−２５８、１９９２年の文献において詳細に記載されている。

構造要素の対数的分解と画像ピクセルの並列処理とを結合するアプローチを使用する場合には、スキュー推定の速度は次式を計算することにより評価することが可能である。

尚、ｋ₁及びｋ₂はランレングス平滑化及びエロージョン操作のスケーリングパラメータであり、ｎｍは画像中のビット数であり（それはｎピクセル×ｍピクセルの寸法の画像である）、且つｗはデータワード内のビット数であり、従ってハッシュテーブルを使用してその結果の表面積を計算する。

グレイスケール画像におけるスキュー推定の場合
ラインセグメントである構造要素を使用してグレイスケール画像のダイレーション及びエロージョンを計算する場合、画像ピクセルあたりの最小／最大の比較の数は、Ｍ．ｖａｎ Ｈｅｒｋ著「矩形状及び直交カーネルに関する局所的最小及び最大フィルタに対する高速アルゴリズム（Ａ ｆａｓｔ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｌｏｃａｌ ｍｉｎｉｍｕｍ ａｎｄ ｍａｘｉｍｕｍ ｆｉｌｔｅｒｓ ｏｎ ｒｅｃｔａｎｇｕｌａｒ ａｎｄ ｏｒｔｈｏｇｏｎａｌ ｋｅｒｎｅｌｓ）」、パターン・レコグニション・レターズ、１３：５１７−５２１、１９９２年の文献によって提案されている反復的アルゴリズムを使用して、ラインセグメントの長さに拘わらずに、３へ減少させることが可能である。このアルゴリズムは、Ｐ． Ｓｏｉｌｌｅ、Ｅ．Ｊ． Ｂｒｅｅｎ及びＲ． Ｊｏｎｅｓ著「任意の角度における個別的なラインに沿ってのエロージョン及びダイレーションの反復的実現（Ｒｅｃｕｒｓｉｖｅ ｉｍｐｌｅｍｅｎｔａｔｏｎ ｏｆ ｅｒｏｓｉｏｎｓ ａｎｄ ｄｉｒａｔｉｏｎｓ ａｌｏｎｇ ｄｉｓｃｒｅｔｅ ｒｉｎｅｓ ａｔ ａｒｂｉｔａｒｙ ａｎｇｌｅｓ）」、ＩＥＥＥ・トランズアクションズ・オン・ＰＡＭＩ、１８（５）：５６２−５６６、１９９６年の文献において説明されているように、任意の角度に配向されたリニア構造要素が関与するダイレーション及びエロージョンを計算する場合に適用することが可能である。ダイレーション及びエロージョンを実施する場合に、これらの反復的アルゴリズムを利用することは本発明に取って有益的である。

更に注意すべきことであるが、任意の角度におけるダイレーション／エロージョンを計算する新しいアルゴリズムが最近になってＰ． Ｓｏｉｌｌｅ及びＨ． Ｔａｌｂｏｔ著「指向性モルフォロジーフィルタリング（Ｄｉｒｅｃｔｉｏｎａｌ Ｍｏｒｐｈｏｌｏｇｉｃａｌ Ｆｉｌｔｅｒｉｎｇ）」、ＩＥＥＥ・トランズアクションズ・オン・パターン・アナリシス・アンド・マシン・インテリジェンス、２００１、ｖｏｌ．２３、ｎｏ．１１の文献において提案されている。このアルゴリズムは、本発明に基づく方法を実現する場合に使用することが可能である。

構造要素
上の記述において、本発明のランレングス平滑化ステップ及びライン方向調査ステップがリニア構造要素を利用する面を期待している。理解すべきことであるが、このことはラインセグメントとすることが可能であるが、それは、又、主要な方向を有するその他の構造とすることも可能である。例えば、ライン方向調査ステップにおいて、構造要素ｋ₂Ｐ_1,υを使用することも可能であり尚Ｐ_1,υは次式から派生することが可能である。

理解されるように、この構造要素は固定した距離ｋ₂だけ離隔されており且つ角度αを使用して記述することが可能な相対的な配向を有する一対の点［（０，０）及び（ｋ₂ｃｏｓα，ｋ₂ｓｉｎα）］から構成されている。更なる例として、ライン方向調査ステップにおいて、その最も長いライン境界が与えられた角度α（この角度αは前述した如く変化される）において配向されている矩形に対応する構造要素を使用することが可能である。当業者にとってその他の例は容易に想起される。

興味のあることであるが、固定距離だけ離隔されているが配向状態が変化する一対の点によるエロージョンの表面積は、時折、「方向のローズ（ｒｏｓｅ ｏｆ ｄｉｒｅｃｔｉｏｎｓ）」と呼ばれる極座標において表わされる。これは、０乃至３６０゜の値を取るαに対する（ρ（α），α）の曲線である。従って、本発明のライン方向調査ステップは、ランレングス平滑化した画像に対する方向のローズ即ち起源（上の式（１１）によって与えられている）を決定することに類似している。

又、画像Ａの共分散Ｋは、一対の点Ｐ_1,υによりエロージョン処理される画像Ａの体積（又は表面積）を測定することにより計算される。より詳細に説明すると、

二進画像Ｆの場合、この式は次式に還元される。

それは方向のローズと同じである。

上のことに鑑み、方向のローズを決定するため及び画像の共分散を決定するために公知の計算技術を本発明において使用すべく適合させることが可能である。

スキュー補正
ドキュメント画像のスキュー（ｓｋｅｗ）角度が推定／検知されると、例えば、簡単な回転アルゴリズムを実現することにより自動的にスキューを補正することは簡単明瞭なことである。スキュー補正した画像における位置（ｘ，ｙ）におけるピクセルに対する正しい値を計算するために、スキューした画像における対応するピクセルのオリジナルの位置（ｘ_old，ｙ_old）は次式を使用して計算される。

尚、αはドキュメント画像の推定したスキュー角度である。然しながら、（ｘ_old，ｙ_old）はスキューした画像におけるピクセル位置に対応することは稀であり、従って、加重平均を取ることによりスキューしたドキュメントにおける周りのピクセルの値の間で補間することが通常必要であり、尚、その場合の加重は位置（ｘ_old，ｙ_old）に対する夫々の取囲みピクセルの近接度に依存する。

上述したように、本発明は、又、上述した方法を実現する装置も提供している。典型的に、これは適宜プログラムした汎用コンピュータである。然しながら、本方法を実現するために専用のハードウエアを使用することも可能である。

以上、本発明の具体的実施の態様について詳細に説明したが、本発明は、これら具体例にのみ制限されるべきものではなく、本発明の技術的範囲を逸脱することなしに種々の変形が可能であることは勿論である。

（ａ）乃至（ｄ）はスキューしたドキュメント画像に関してのランレングス平滑化とそれに続くエロージョンの効果を示した各概略図。 エロージョン処理したランレングス平滑化ドキュメント画像の表面積がどのようにしてエロージョンにおいて使用した構造要素の角度に関して変化するかを示したグラフ図。

Claims (18)

1. ドキュメント画像におけるスキュー角度を推定する方法において、
   ドキュメント画像（Ａ）をランレングス平滑化し、
   複数個の異なる角度（α）の各々において配向されたリニア構造要素（ｋ_２Ｌ_α）により前記ランレングス平滑化した画像（ＲＬＳＡ）のエロージョンを決定し、それにより前記エロージョンを発生した画像の表面積が最大である角度を決定し、前記角度を前記ドキュメント画像のスキュー角度として指定する、
   上記各ステップを有しており、
   前記ドキュメント画像をランレングス平滑化するステップが、リニア構造要素（ｋ _１ Ｌ）を使用して前記ドキュメント画像をクロージングすることを包含しており、
   前記ドキュメント画像（Ａ）をランレングス平滑化するステップが、複数個の異なるランレングス平滑化画像（ＲＬＳＡ _α ）を発生することを包含しており、前記ランレングス平滑化画像（ＲＬＳＡ _α ）の各々が前記複数個の異なる角度のうちの夫々の１つ（α _ｉ ）に配向したリニア構造要素（ｋ _１ Ｌ _α ）を使用して前記ドキュメント画像（Ａ）をクロージングすることにより発生する、ことを包含しており、且つ
   前記ランレングス平滑化した画像にエロージョンを発生するステップが、夫々のランレングス平滑化した画像（ＲＬＳＡ _α ）を発生する前記クロージング操作において使用したリニア構造要素と同じ角度（α _ｉ ）に配向しているリニア構造要素（ｋ _２ Ｌ _α ）を使用して前記複数個の異なるランレングス平滑化画像（ＲＬＳＡ _α ）の各々にエロージョンを発生させることを包含している、
   方法。
2. 請求項１において、前記エロージョンを発生するステップにおいて適用される前記又は各々のリニア構造要素が特定の角度関係を具備している一対の点（Ｐ_１，ｖ）から構成されていることを特徴とする方法。
3. 請求項１乃至２のうちのいずれか１項において、前記エロージョンを発生するステップが、前記ランレングス平滑化画像の共分散（Ｋ）を決定することを包含していることを特徴とする方法。
4. 請求項１乃至３のうちのいずれか１項において、前記エロージョンを発生するステップが、ランレングス平滑化画像のエロージョンが計算される角度の数を減少させるためにエロージョンが発生される画像の表面積が最大である角度を決定するために一次元最適化アルゴリズムを適用することを包含していることを特徴とする方法。
5. 請求項４において、前記一次元最適化アルゴリズムを適用する前に前記ドキュメント画像をサブサンプリングするステップを有していることを特徴とする方法。
6. 請求項１乃至５のうちのいずれか１項において、グレイスケールドキュメント画像に対して適用され、前記ランレングス平滑化及びエロージョン発生ステップにおいてダイレーション及びエロージョン操作を実施するために反復アルゴリズムを使用することを特徴とする方法。
7. 請求項１乃至６のうちのいずれか１項において、二進ドキュメント画像に対して適用され、前記リニア構造要素が対数的に分解され、且つ前記ドキュメント画像のピクセルの並列処理を使用してダイレーション及び／又はエロージョン操作を実施することを特徴とする方法。
8. 請求項１乃至７のうちのいずれか１項において、前記ランレングス平滑化及びエロージョン発生ステップにおいてダイレーション及びエロージョン操作を実施するために高速フーリエ変換を使用することを特徴とする方法。
9. スキュー角度推定装置において、
   ドキュメント画像（Ａ）をランレングス平滑化すべく適合されている手段、
   前記ドキュメント画像のスキュー角度として指定されるべき角度であってエロージョンが発生した画像の表面積が最大である角度を決定するために複数個の異なる角度の各々において配向されているリニア構造要素によりランレングス平滑化した画像（ＲＬＳＡ）のエロージョンを決定すべく適合されている手段、
   を有しており、
   前記ランレングス平滑化手段がリニア構造要素を使用して前記ドキュメント画像をクロージングすべく適合されており、
   前記ランレングス平滑化手段が複数個の異なるランレングス平滑化画像（ＲＬＳＡ _α ）を発生すべく適合されており、前記異なるランレングス平滑化画像（ＲＬＳＡ _α ）の各々は前記複数個の異なる角度のうちの夫々の１つ（α）において配向されているリニア構造要素を使用してドキュメント画像（Ａ）をクロージングすることにより発生され、
   前記エロージョンを発生する手段が、夫々のランレングス平滑化画像（ＲＬＳＡ _α ）を発生する場合に前記ランレングス平滑化手段によって使用されるリニア構造要素と同じ角度（α）に配向されているリニア構造要素を使用して前記複数個の異なるランレングス平滑化画像（ＲＬＳＡ _α ）の各々にエロージョンを発生させるべく適合されている、
   ことを特徴とする装置。
10. 請求項９において、前記エロージョンを発生する手段により適用される前記又は各リニア構造要素が特定の角度関係を具備している一対の点から構成されていることを特徴とする装置。
11. 請求項９乃至１０のうちのいずれか１項において、前記エロージョンを発生する手段が、前記ランレングス平滑化画像の共分散（Ｋ）を決定すべく適合されている手段を有していることを特徴とする装置。
12. 請求項９乃至１１のうちのいずれか１項において、前記エロージョンを発生する手段が前記ランレングス平滑化画像のエロージョンが計算される角度の数を減少させるために前記エロージョンを発生させる画像の表面積が最大である角度を決定するために一次元最適化アルゴリズムを適用する手段を有していることを特徴とする装置。
13. 請求項１２において、前記一次元最適化アルゴリズムを適用する前に、前記ドキュメント画像をサブサンプリングすべく適合されているサブサンプリング手段を有していることを特徴とする装置。
14. 請求項９乃至１３のうちのいずれか１項において、前記ランレングス平滑化手段及びエロージョン発生手段が、前記ドキュメント画像がグレイスケール画像である場合にダイレーション及びエロージョン操作を実施するために反復アルゴリズムを使用すべく適合されていることを特徴とする装置。
15. 請求項９乃至１４のうちのいずれか１項において、ｗビットデータワードに対して前記ドキュメント画像のｗ個のピクセルを割当て且つビット毎のオペレーターを使用して前記ｗビットデータワードに対してダイレーション及び／又はエロージョン操作を適用する平滑化処理手段を有していることを特徴とする装置。
16. 請求項９乃至１５のうちのいずれか１項において、前記ランレングス平滑化手段及びエロージョン発生手段により必要とされるダイレーション及びエロージョン操作を実施するための高速フーリエ変換ユニットを有していることを特徴とする装置。
17. 請求項９乃至１６のうちのいずれか１項において、特別にプログラムされた汎用コンピュータとして実現されていることを特徴とする装置。
18. 汎用コンピュータ上で使用する場合に、前記コンピュータをして請求項１乃至８のうちのいずれか１つのスキュー推定方法のステップを実施させるための１組の命令を有していることを特徴とするコンピュータプログラム。

Images