JP3086702B2

JP3086702B2 - テキスト又は線図形を識別する方法及びデジタル処理システム

Info

Publication number: JP3086702B2
Application number: JP02322238A
Authority: JP
Inventors: エスブルームバーグダン
Original assignee: ゼロックスコーポレーション
Priority date: 1989-12-08
Filing date: 1990-11-26
Publication date: 2000-09-11
Anticipated expiration: 2015-09-11
Also published as: JPH03260787A; US5202933A

Description

【発明の詳細な説明】〔産業上の利用分野〕本発明は画像処理分野に関し、殊に、本発明は、一定
の画像におけるテキストと図形を識別し（又は）分離す
ることに関する。

〔従来の技術〕

多くの文書とその画像はテキストと図形の両方を含ん
でいる。これらの文書は、水平の線と垂直の線とによっ
て囲まれたテキストを持つ比較的簡単な文書（例えばフ
ォームや組織図）から、種々の角度で位置する線図形が
種々の角度で配置されたテキストの間に散在する機械図
面の如き比較的複雑な文書にまで及んでいる。

一定の文書とその画像においてテキストと線図形を識
別し（又は）分離することのできる能力は広範囲の業務
用途において重要である。例えば、テキスト・レコグナ
イザ（別の場合には光学文字認識又はOCRシステムと称
される）は、文書の画像中に図形が含まれている場合に
は、その性能は劣ることが普通である。従って、画像を
OCRシステムへ送る前に図形を画像から除去することが
望ましいであろう。反対に、コンパクトで正確な表現を
行うためには図形領域のみをグラフィックレコグナイザ
へ送ることも重要である。

〔発明が解決しようとする課題〕

一定の成功は納めたものの、従来のテキストと図形を
分離する方法は今日、種々の制約に遭遇している。即
ち、従来方法には、高価で複雑かつ（又は）信頼性のな
い装置を必要とするものがあったり。相当量のコンピュ
ータメモリ、計算時間等を要するものがある。また、上
記方法にはテキストと図形を検出し分離する上で信頼性
の低いものがある。従って、文書や画像におけるテキス
トと図形を分離する上で改良された方法と装置が求めら
れている所以が理解される。

〔課題を解決するための手段〕

本発明によれば、一定の文書又はその画像におけるテ
キストと図形を識別する方法と装置が開示される。上記
方法によれば、比較的限られた量のコンピュータメモリ
と処理時間しか要せず、信頼性ある結果を提供し、比較
的安価なハードウェアしか要しない。上記方法と装置
は、例えば２値画像をテキスト領域と図形領域に分割す
ることによって画像の種々の部分を単一のテキストレコ
グナイザへ送るために使用することができる。その代わ
り、同方法と装置は２値画像をテキストと図形に分割す
ることによって画像の種々の部分をグラフィックレコグ
ナイザへ送るようにして使用することもできる。

従って、本発明は、デジタル処理システムにおいて、
少なくともテキストと線図形を含む画像中の線図形領域
を識別する方法を提供するものである。この方法は、テ
キストピクセル近傍のOFFピクセルをONピクセルに変換
し、同ONピクセルの少なくとも一部が隣接テキストピク
セルを連結することによってONピクセルどうしの合体領
域をつくりだし、上記ONピクセルの合体領域を有する画
像の少なくとも一部を識別し、画像の残りの少なくとも
一部が線図形領域より成るようにするステップを備える
ものである。

もう一つの例によれば、本発明は、デジタル処理シス
テムにおいて、少なくともテキストと線図形を含む画像
におけるテキスト領域を識別する方法で、テキストピク
セルに隣接するOFFピクセルをONピクセルに変換し、同O
Nピクセルの少なくとも一部が隣接するテキストピクセ
ルを連結することによってONピクセルの合体領域をつく
りだし、上記ONピクセルの合体領域を有する画像の少な
くとも一部を識別し、同画像の少なくとも一部が上記テ
キスト領域より成るようにする方法より構成される。

本発明の性質と利点は以下の説明と図面を参照するこ
とによって一層理解することができよう。

〔実施例〕

A.定義と用語本論は２値画像を取り扱う。本書において、“画像”
という語はピクセルより構成される２次元データ構造を
表わしたものをいう、２値画像とは、一個の所与ピクセ
ルが“ON"か“OFF"かの何れかであるような画像をい
う。

２値画像は、一つもしくはそれ以上の原始画像が１つ
の目的画像上へマッピングされるような一連の処理に従
って操作される。かかる処理の結果は、一般に画像と称
される。処理の開始点となる画像は以下、原始画像と称
されることもあろう。

ピクセルはもし黒であればONと、白であればOFFと定
義される。黒をON、白をOFFと命名することは、文書が
大部分、黒の前景と白の背景を有するという事実を反映
したものであることに注意されたい。本発明の手法はネ
ガ画像にも等しく適用可能であるが、以下の論説は白地
に黒という場合について行うことにする。

画像の“べた領域”とは多数のピクセルを二次元へ広
げて、その内部で実質上全てのピクセルがONであるよう
な領域を指すものとする。

画像の“テクスチャ領域”とは、比較的きめこまかい
パターンを含む領域を指す。テクスチャ領域の例はハー
フトーン領域や点描領域である。

AND、OR、XORとは２個の画像の間でピクセル対ピクセ
ルベースで実行される論理演算である。

NOTとは単一画像に対してピクセル対ピクセルベース
で実行される論理演算である。

“拡大”とはSCALE因子Ｎを特徴とし、一個の原始画
像中の各ピクセルが、全て原始ピクセルと同一の値を有
するＮ×Ｎます目のピクセルとなるようなスケール処理
である。

“縮小”とはSCALE因子ＮとスレショルドレベルＭを
特徴とするスケール処理である。SCALE＝Ｎによる縮小
は・原始画像をＮ×Ｎます目のピクセルに分割し、かか
る原始画像内の正方形を各々目的画像上の単一のピクセ
ルへマッピングすることを伴う。上記目的画像中のピク
セルの値は、１〜N²の範囲の数であるスレショルドLEVE
L Mによって決定される。もしピクセルます目中のONピ
クセルの数がＭより大きいかそれと等しければ、目的ピ
クセルはON、さもなければOFFである。

“サブサンプリング”は、原始画像が、複数の小さい
要素（一般には正方形）に細分化される動作であり、こ
の原始画像の各要素は、目的画像における小さい要素に
マッピングされる。各目的画像要素についてのピクセル
値は、原始画像要素内の選択された複数ピクセルの小集
合部分によって定義される。代表的には、サブサンプリ
ングは、１個のピクセルのマッピングを伴うだけであ
り、目的画像のピクセル値は原始画像要素から選択され
たピクセルと同じである。この選択は、所定のもの（例
えば、左上のピクセル）でもよいし、または無作為であ
ってもよい。

“４連結領域”とは、ONピクセルの集合であって、そ
の集合内の各ピクセルが同集合内の他のピクセルの少な
くとも一つに対して水平方向又は垂直方向に隣接したON
ピクセルの集合である。

“８連結領域”とは、ONピクセルの集合であって、そ
の集合内の各ピクセルが同集合内の他のピクセルの少な
くとも一つに対して水平方向、垂直方向又は対角線方向
に隣接するONピクセルの集合をさす。

“テキスト”とは、表意記号や音節文字の如き非アル
ファベット言語文字を含む文字、数字その他の文字を含
む文書や画像の一部をさす。

“線図形”とは、グラフ、図形；あるいは全体として
テキスト内の線と比較して相当なランレングスを有する
水平線、垂直線および斜線より成るテキスト以外の図面
より構成される文書又は画像の一部をさす。図形は、例
えば組織図における水平線や垂直線から、例えば機械図
面におけるより複雑な水平線、垂直線、および斜線にま
で含まれよう。

“線隣接グラフ”（LA G）とは、２値画像を表わすデ
ータ構造であって、全体として３つの階層状のレベルの
ツリー構造を有する。前記の３つのレベルは、（ｉ）走
査線中の隣接ONピクセルのランと、（ii）連結されたラ
ンより構成されるストロークと、（iii）連結されたス
トロークより成るアイソレートされたマーク（例えば文
字）をいう。

一連の形態学的処理は、原始画像を構造要素（SE）と
称されるピクセルパターンにより規定される規則に従っ
て、等サイズの目的画像上へマッピッビングする。SEは
中心位置と、それぞれが規定値（ON又はOFF）を有する
一連のピクセル位置とにより規定される。SEを規定する
ピクセルは互いに隣接しているには及ばない。中心位置
はパターンの幾何学的中心にあるには及ばない。またパ
ターン内側にある必要もない。

“べた"SEはその内部で全てのピクセルがONとなるSE
をさす。例えば、べたの１×1SEはONピクセルの１×１
正方形である。べたSEは矩形である必要はない。

“ヒットミス"SEは、少なくとも１個のONピクセル
と、少なくとも１個のOFFピクセルを指定するSEをさ
す。

“浸食”とは、SE中心を原始画像内の対応するピクセ
ル位置上へ重ね合わせた結果SE中のONピクセルとOFFピ
クセル全体と原始画像中の下部ピクセルの間がマッチす
る場合、しかもその場合にのみ、目的画像中の所与の１
ピクセルがターンオンする形態学的処理をさす。

“膨張”とは、原始画像内の所与のピクセルがONであ
るとき、目的画像内の対応する位置にSEの中心をおい
て、SEを目的画像内へ書込む形態学的処理をさす。膨張
に使用されるSEはOFFピクセルを有しないのが普通であ
る。

“オープン処理”とは浸食後に膨張が行われる形態学
的処理をさす。その結果、原始画像内の各整合毎にSEが
目的画像内にコピーされる。

“クローズ処理”とは膨張後に浸食が行われる形態学
的処理をさす。

“塗りつぶし８処理”とは８連結領域が矩形境界ボッ
クスに塗りつぶされる画像処理をさす。

“マスク”とは通常、原始画像から導出される画像で
あって、原始画像中の関連領域に対応したONピクセルの
実質上べた領域を含むものである。このマスクは、関連
領域以外にもONピクセルの領域を含むこともできる。

以上定義した各種処理は名詞、形容詞、および動詞形
で表現される場合もある。例えば、膨張（名詞形）につ
いて述べるとき、画像を膨張するとか、画像が膨張され
る（動詞形）とか、画像が膨張処理に付される（形容詞
形）とか表現することができる。

B.実施例の概要広範囲の文書はテキストと線図形の両方を含む。かか
る文書はすこぶる簡単な文書（例えば書式や組織図を含
むもの）から、種々のタイプと角度の線図形が広範囲の
タイプのテキストとまじりあった比較的複雑な文書（例
えば、機械図等）にまで及ぶ。

本発明は、画像中のテキストと線図形を識別し、場合
によって、かかる画像をテキストと図形に分割する形態
学的方法と装置を提供するものである。上記方法は効果
的で相対的に高速かつ計算上効率的である。上記手法は
全体として、画像内に存在するテキストと図形領域を識
別するマスクを形成した後、同画像のテキストと図形部
分を分離することによって操作される。同手法は画像内
のテクスチャその他の差異を強調し、テキストの線の傾
きや接近度等に対して比較的影響を受けることはない。

本発明は画像内のテキストと図形を分離することが望
まれるような広範囲の用途に使用することができる。一
例を挙げれば、本発明は、通常、図形が画像中に散在す
る場合には、性能が低いテキストレコグナイザと共に使
用することができる。本発明はテキストレコグナイザで
処理する前に図形を画像から除去することによってかか
るテキストレコグナイザと共に使用されよう。その反対
に、グラフィックレコグナイザは、テキストを提示され
た場合、すこぶる非効率に動作する。本発明は処理前に
テキストを除去することによってかかるグラフィックレ
コグナイザと共に使用されよう。更に、本発明は電子写
システム中に使用でき、テキストを、異なる色を用いて
図形から分離するように印刷することもできる。これら
の用途は本発明が応用される専用ハードウェアを例解し
たものにすぎないことはいうまでもない。

第1A図は本発明が具体化された画像解析システム１の
ブロックダイアグラムである。システム１の基本的処理
は文書２の一定の特徴部分を抽出もしくは除去すること
である。このために、同システムは文書を１ピクセルベ
ースでデジタル化し合成データ構造を提供するスキャナ
３を備える。用途によって、上記スキャナは２値画像
（ピクセルあたり１ビット）又はグレースケール画像
（ピクセルあたり複数ビット）を提供することができ
る。このデータ構造はスキャナの解像度の精度に至るま
で文書の生の内容を合む。このデータ構造は通常、画像
と称されるが、メモリ４で送られるか、ファイル記憶装
置５内にファイルとして格納することができる。上記装
置５はディスクやその他の大容量記憶装置とすることが
できる。

プロセッサ６はデータの流れを制御して画像処理を実
行する。プロセッサ６は、汎用コンピュータでも、画像
処理用に最適化された専用コンピュータでも、また、汎
用コンピュータと補助的な専用ハードウェアを組合せた
ものであってもよい。もしファイル記憶装置を使用する
場合には、画像は処理に先立ってメモリ４へ転送され
る。また、メモリ４は中間データ構造と、恐らく最終処
理データ構造を格納するためにも使用することができ
る。

本発明の一部を構成する画像処理の結果は、導出画
像、数値データ（例えば、画像の顕著な特徴の座標値）
あるいはそれらの組合せとなる。この情報は用途固有の
ハードウェア８（プリンタ、ディスプレイ、光学文字認
識装置、グラフィックレコグナイザ、電気複写機等）に
送るか、ファイル記憶装置５に書き戻すことができる。

本発明は特殊な縮小手続と形態学的処理を活用して、
線図形を除去するようにし、他方、テキスト領域が保持
されるようにし、最終的に、べたもしくは殆んどべたの
ONピクセルの分離マスクとして合体されるようになって
いる。かくして、線図形ピクセルは除去される一方で、
テキストピクセルは合体したONピクセルのべたブロック
として保持されることになる。

好ましい実施例においては、１画像中の大きなべたON
領域（例えば、画像中のテキストや図形よりも相当大き
な距離にわたって延びるONピクセルのランレングスを有
する領域）と細かいテクスチャにされた領域（例えば、
ハーフトーンの部分や点描部分）が、先ず、画像から除
去される。かかる領域を除去するためには種々の方法が
利用可能である。残りの画像部分は、主としてもしくは
専ら、テキストと線図形を含む。かかる除去ステップ
は、特に処理さるべき画像がべたの黒、点描もしくは微
細テクスチャ領域を含むことが予想されない場合には選
択による。

第1B図は、上記方法に従って微細テクスチャ領域が除
去された入力２値画像を処理するために使用される場合
の本実施例を示す全体フローダイアグラムである。この
場合使用される特定のテキストテクスチャの性質は、
（１）水平方向テキスト用のピクセルが走査線上に比較
的緊密な間隔をおいて位置する傾向があり、（２）テキ
ストが線図形の水平線の幅より大きさ高さ（例えば、10
もしくはそれ以上のピクセル高さ）を有する傾向があ
り、（３）そのテキスト行の中心が（演繹的には知るこ
とはできないが）例えば文字の高さのほぼ３倍の値以下
の特定距離だけ隔てられる傾向があることである。

画像の図形部分の垂直方向ラン（以下、垂直方向ラン
と称する）は、ステップ10で除去され、それと同時にテ
キスト領域はべたにされる。これは、いくつかの例で
は、コントラストを強調して縮小し、クローズとオープ
ン処理の両方を使用することによって行われた。更に縮
小する場合、コントラストを弱めて、更にクローズとオ
ープンの両方の処理によって、テキスト行の輪郭を一層
はっきりさせると同時に、水平罫線と細い水平線をステ
ップ12で除去する。画像は更にコントラスト強調によっ
て縮小され、クローズや塗りつぷしの如き形態学的処理
を活用してステップ14でテキスト領域を矩形マスク内へ
固定する。最後の選択的な小さいオープン処理によって
残る図形領域は何れも除去される。大きく縮小したテキ
スト領域を表わす、残りの矩形のべた領域は、その後、
ステップ16で原寸まで拡大される。その際、一定の縮小
ステップ中に僅かな大きさの浸食を補償する調節がある
程度行われる。その結果、テキスト分離マスクが得ら
れ、ステップ18において同マスクから原始画像のテキス
トと図形の分離が行われる。

本発明では、縮小処理が効率的に行えるため、先ず、
縮小処理を例にとって説明したが、画像を縮小せずに、
全体を実寸で実行することもできることはいうまでもな
い。

C.実施例の詳細第２図は、第1B図のステップ10の一例の詳細を示す。
画像は、ステップ22と24とにおいて、それぞれ、２分の
１（スケール因子＝２）に、スレショルドレベル＝１
（即ち、もし４個のピクセルのうち何れかがONであれ
ば、目的画像中の縮小ピクセルもONである）を用いて、
縮小される。従って、画像は、スケール＝４（４分の
１）に縮小される。

この後、ステップ28において小さな水平SE（例えば3
h）によりクローズ処理が行われ文字を各ワード内に共
に結合する。これはステップ30に対する準備としてのも
ので、ステップ30は若干大きな水平SE（例えば4h）によ
るオープン処理で、垂直方向罫線と図形が全て除去され
る。文字はステップ28のクローズ処理によって共に幾分
結合されるため、それらはステップ30のオープン処理に
よっては浸食されないのが普通である。第2A図は例解の
ため使用される他のSEと共に3hと4hのSEを示す。矢印は
SEの中心点を示す。但し、ここで使用される処理の大部
分はSEの中心点とは無関係である。

上記のテクスチャの強調と区別化を実行するために
は、一連のクローズ処理とオープン処理ではなく、スレ
ショルド縮小処理を使用すると、２つの利点が得られ
る。第１は、縮小での処理が実寸での処理よりも計算上
ずっと高速であることである。処理時間は、線形縮小
（通常の縮小）のほぼ３乗の逆数で変化する。そのた
め、たとえば、スレショルドレベル＝１で縮小すること
によって、テクスチャのクローズ処理と同時に縮小画像
を作ることができる。その場合以後の処理全体はずっと
高速になる。第２の理由はより微妙である。テキストの
大きさは、演繹的には知られないので、SEがクローズ処
理でどの程度大きくされるべきかはわからない。もしテ
キスト領域内の隣接しあう部分を橋渡しするには余りに
小さなSEが選ばれた場合には、前記隣接しあう部分での
クローズ処理を行うことができず、画像に対しては何ら
の変更も行われない。従って、クローズ処理を活用する
ことは局部的には不成功に終わる恐れがある。他方、LE
VEL＝１での縮小の結果、テクスチャを黒くして、従っ
てより効果的なクローズ処理が行える。

第３図は第1B図のステップ12に詳細を示す。目標はテ
キスト行に相当するピクセルを更にべたにして、それら
のうちの幾つかが水平線図形を除去する処理に耐えるよ
うにすることである。このことは、スレショルドレベル
＝４を用いて、ステップ32で更にスケール＝８での縮小
を実行することによって行い図形を弱める（白を多くし
て薄くすることをいう）。また、この縮小はテキスト行
を弱める効果をもつため、それらはステップ34でクロー
ズ処理によって比較的大きな水平方向SE（例えば、5h又
はより大きな水平方向SE）によって強める（黒を多くし
て濃くする）。

水平方向線図形は２つの異なる方法で除去することが
できる。画像はステップ38における如く、小さな垂直SE
（例えば、2V）でオープン処理され、水平方向ラインの
うちの細い方が除去されることになろう。その代わり、
テキストラインの近傍を活用することによって、厚い方
の線図形は、ステップ40に示すようにクローズをより大
きな垂直SE（例えば、少なくとも3V）と組合せた後、ス
テップ42に示すように、垂直オープンと、また更に大き
なSE（例えば、少なくとも4V）と組合わせることによっ
て除去することができる。第１の垂直クローズの結果は
テキストラインの幾つかを共に結びつけることである。
次の垂直オープンはテキスト領域におけるピクセルの多
くを除去するが、それらが先の垂直クローズにより結び
つけられている場合には何れも除去しないであろう。

第４図は、ステップ10および12の代わりに、水平線と
垂直線とを画像から除去するのに使用できる方法を示し
ており、この方法は、ステップ10及び12の前に、画像を
処理するのにも使用できる。この方法は、例えば、垂直
罫線を含む白いスペースの狭い余白により区分けされた
テキストの欄を処理する際にはより強力（即ち、広範囲
の画像を正確に処理することができる）である。垂直罫
線がテキスト欄に近接しているとき、その垂直罫線が先
ず除去されないならば、テキストの分離は困難になるか
らである。

垂直線と水平線を除去するために、画像の２つのコピ
ーが、それぞれ、水平SEと垂直SEを用いてオープン処理
され、その２つのオープン画像（一方が垂直の線を構成
し、他方が水平線を構成する）の結合が、XOR処理によ
って、原画像から除去される。SEは、最終のXOR処理し
た画像中のテキストの何れも除去しないように、テキス
ト領域中に見出されるものよりも長い線を示すものでな
ければならない。この前処理は、第４図に示されてい
る。詳細には、原画像は、次のステップでの使用のため
にステップ35でコピーされ。コピーされた画像の１つ
は、ステップ37で、２個より多いオンピクセルを有する
水平SEを用いてオープン処理される。もう１つのコピー
画像は、ステップ39で、２個より多いオンピクセルを有
する垂直SEを用いてオープン処理される。ステップ41
で、ステップ37及び39からの２つのオープン処理画像が
OR処理され、このステップ41からのOR処理された画像
は、ステップ43で原画像とXOR処理される。その結果、
大部分、もしくは全ての水平・垂直線が除去された画像
となる。

水平線と垂直線は、今や、図形の大部分と共に除去さ
れ、テキスト領域は一定のブリッジングを有する密接な
間隔を有する水平線のテクスチャを有する。第５図は第
1B図のステップ14の詳細を示し、その場合、テキスト領
域は矩形領域として黒く塗りつぶされ、図形領域におけ
る残りのピクセルは除去される。画像はステップ44で４
回目にハイコントラストレベル＝１でSCＡLE＝16に縮小
される。ステップ46における垂直SE（例えば3V）による
クローズ処理によって隣接しあう線は接続され、その
後、画像内のマークは、選択により、ステップ48で塗り
つぶし８処理を活用して包囲境界ボックスに塗りつぶさ
れる。ステップ50における最終的なオープン処理によっ
て、先の処理後に残った大きな図形マークは何れも除去
される。このオープン処理のサイズは多くの用途で重要
である。もしオープン処理が小さなSE（２×２）で行わ
れた場合、大きな図形マークが残される。もし大きなSE
（４×４）で行われた場合には、普通、単一行のテキス
トが除去され、多数のテキスト行は保存されることにな
ろう。

さて、塗りつぶされた領域を原始サイズにまで拡大し
なおして画像の残りからテキスト領域を分離するために
マスクを形成する処理が残っている。第６図は第1B図の
ステップ16の詳細を示す。縮小プロセスにおいて、塗り
つぶされた領域の大きさは若干縮小された。これは、例
えば、ステップ52で２倍だけ画像を拡大することによっ
て補償した後、第2A図に示す３×3SEを使用してステッ
プ54で画像を膨張させることができる。中心がセンター
ピクセルにある状態で３×３ブロックSEによって膨張さ
せると、ONピクセルの各ピクセルの境界は１ピクセルだ
け外部方向に拡大する。画像は今や８の線形因子により
拡大され、実寸（スケール＝１）に戻る。このことによ
って１つのテキストマスクの抽出は完了する。同テキス
トマスクは、先にテキストを含む領域において合体した
大きなONピクセル領域を含むが、線図形領域にほとんど
もしくは全くONピクセルは含まないであろう。合体領域
によって、原始画像の隣接ONピクセル（処理前はOFFピ
クセルによってはさまれていた）は、その隣接ONピクセ
ルが追加のONピクセルによってはさまれる状態に変換さ
れたことが分かる。

第７図は２個の画像（一つはテキスト用、一つは図形
用）がつくりだされる第1B図のステップ18の詳細を示
す。テキスト分離は、ステップ58において原始画像をテ
キスト分離マスクによりAND演算することによって行わ
れる。その後、線図形分離は、ステップ60において、原
始画像を、テキスト分離マスクを用いてXOR処理するこ
とによって行われる。

第８図は、ステップ48に示す塗りつぶし８処理の詳細
を示す。２つの対角線形の構造要素を使用して浸食と膨
張を繰返すと、８連結領域は全て最小限可能な包囲矩形
に塗りつぶされる。対角線形SEの一つのパターンをマッ
チさせる画像の全ての位置について、マッチピクセルは
他のSEにより膨張させられ、その結果は原始画像とOR処
理される。このプロセスは、空自画像（ONピクセル無
し）について逐次反復をXOR演算しテストすることによ
ってテストされる際、画像が変化を停止するまで反復さ
れる。

殊に、原始画像はステップ62でコピーされる。ステッ
プ64での浸食後に、最初の対角線SEのパターンとマッチ
する画像中の全てのピクセルについて、マッチピクセル
はステップ68において原始画像とOR演算される。この結
果得られる画像はステップ70でコピーされ、逆処理され
る。即ち、画像はステップ71で第２のSEと共に浸食さ
れ、ステップ74で第２のSEと共に膨張する。その後、ス
テップ76において、その結果は第２のコピーされた画像
とOR処理される。その後、その結果はステップ78で原始
画像とXOR処理され、同プロセスは、画像が変化を停止
するまで繰返される。上記変化の停止はXOR処理によっ
てネガ画像になる（即ち、オンピクセル無し）時に起こ
る。

D.代替実施例第９図は、種画像がつくりだされ境界ボックスに塗り
つぶされテキストマスクがつくりだされるようになった
本発明の代替実施例を示す。第９図に示すステップは実
施例によっては第1B図のステップ14と16にとって替わ
り、ノイズの除去効果が改善されるだろう。

ステップ79〜81において、ステップ12より得られる画
像は例えばスレショルドレベル＝１を用い且つスケール
因子＝２を用いて３回縮小される。場合によっては同画
像は、その後、例えば、べた３×3SEを使用してステッ
プ82でクローズ処理される。画像はその後、先行するス
テップ、例えぱLEVEL＝４におけるよりも高いスレショ
ルドレベルを用いてステップ83で再度縮小される。その
後、画像は、ステップ84で、例えば６×3SEによりオー
プン処理され、残るノイズを除去し一定の種画像が得ら
れる。

第９図の右手部分は種画像がクリップされるマスクの
形成を示したものである。原始画像はステップ85〜87
で、例えばスレショルドレベル＝１を用い且つスケール
因子＝２を用いて４回縮小される。同画像はその後、小
さなSE（例えば、２×２）により膨張され、ステップ89
で種画像がクリップされるマスクが形成される。塗りつ
ぶしクリップ89の結果、分離マスクが得られるが、同マ
スクはステップ18で使用されテキストと線図形が分離さ
れる。

第10図は塗りつぶしクリップ処理89を詳解したもので
ある。ステップ90において、種画像はストアされる。そ
の後、同画像は、例えば３×3SEを使用してステップ91
で膨張される。その後、ステップ92の結果はステップ88
により得られるマスク画像とAND処理される。AND処理の
結果は、ステップ93でコピーされた画像と比較され、も
し画像が先の反復から変化していなければ、塗りつぶさ
れた種画像がテキストマスクとして出力される。もし画
像が先の反復からまだ変化中であれば、同プロセスは膨
張ステップ91において最終反復を使用して反復される。

E.画像の高速スレショルド処理縮小（および膨張）効率的セグメンテーションの一つの要求条件は、スレ
ショルド処理縮小が迅速に行われなければならないとい
うことである。一定の画像を垂直方向に２倍だけ縮小し
たいと仮定する。このことを行う一つの方法は、ラスタ
処理（bitblt−ビットブロック転写）を活用して論理的
に奇数行と偶数行を組合せせ、原画像中の各対行につい
て一行の縮小画像をつくりだすことである。その後、同
じ手続は垂直方向につぶされた画像の列に適用して、両
方向に２倍だけ縮小した画像を与えることができる。

その結果は、然しながら、水平方向と垂直方向におけ
るラスタ処理の論理演算に依存する。レベル＝１又は４
の結果を得ることは直接的である。もしOR処理が両方の
ラスタ処理方向について使用される場合には、その結果
は、もし対応する原画像の２×２ます目内の４個のピク
セルの何れかがONであったならばONピクセルとなる。こ
れは単にレベル＝１での縮小の場合にすぎない。同様に
して、もし両方のラスタ処理方向についてAND演算が使
用される場合へには、結果は、レベル＝４の縮小とな
り、その場合、４個のピクセルは全てONでなければな一
らない。レベル＝２又は３による縮小を行うには幾分異
なるアプローチが使用される。水平方向OR処理に続いて
垂直方向AND処理を行った結果が縮小画像R1とし、水平
方向AND処理の後に垂直方向ORを行った結果を画像R2で
あると仮定しよう。レベル＝２による縮小はR2とR1を処
理することによって行われ、レベル＝３での縮小はR1を
R2とAND処理することによって行われる。

手続きは以上の如く実行された場合、計算上効率的で
ないかもしれない。サン・ワークステーションの如き一
定のコンピュータではラスタ処理はソフトウェアで行わ
れる。画像は第１行の画像から初まり、左右へ移動した
後第２行等という具合に一ブロックの順次データとして
ストアされる。従って、行間のラスタ処理は、２ワード
中の16又は32ビットが１処理で結合できるため、高速で
ある。しかし、列間のラスタ処理を実行するためには、
対応するビットを、論理演算が実行できる以前に、一時
に２ビット（各列から１つずつ）発見しなければならな
い。垂直方向ラスタ処理を行うためにはピクセルあたり
の時間が水平方向よりも少なくとも25倍大きいというこ
とが判る。事実、ラスタ処理についてそのアルゴリズム
が全体として実行される場合には90％以上の時間が垂直
方向処理にささげられる。

幸いなことに、列間に論理演算を実行するために簡単
で非常に高速な方法がある。列ラスタ処理を使用する代
わりに１行に16列に相当する16の順次ビットをとろう。
これらの16ビットは短整数としてアクセスすることがで
きる。これら16ビットは８ビットオブジェクトの2¹⁶の
エントリーアレイ（即ち、ルックアップテーブル）への
索引として使用される。上記アレイの８ビットの内容
は、索引の最初のビットを第２、第３、第４番目のビッ
トから第15、第16番目のビットとOR処理した結果を与え
る。実際には、１つは８組の隣接する列をOR処理するた
めに、また、一つは列をAND処理するために２つのアレ
イが必要である。数値例は一例にすぎないことを理解さ
れたい、同様にしてこれを４ビットオブジェクトの2⁸の
エントリーアレイとして、又は一連の他の方法のうちの
何れか一つを実行することもできる。

列論理処理を実施するためにルックアップテーブルを
使用するとピクセルあたりの速さはサンワークステーシ
ョンの行ラスタ処理とほぼ同一となる。1000×1000のピ
クセル画像はサン3/260対してレベル＝１又は４の何れ
かで、0.10秒に500×500ピクセル画像に縮小することが
できる。サン4/330については、同処理はほど0.04秒か
かる。

上記した如く、２×２の縮小には行間の最初の論理演
算につづいて列間に、第２の、多分異なる論理演算が必
要となる。更に、スレショルドレベルによっては、２個
の中間縮小画像が結合される必要がある。列演算に対す
るテーブル探索手法は、もし非常に広範囲のピクセルワ
ードを有することが望ましい場合には厄介なものとなる
虞れがある。テーブルが巨大なものになるか、広幅のピ
クセルワードの一部を多数の平行テーブル内に探索する
特殊な手法が必要になる。後者の方が、明らかに優れて
いるが、実際には、さもなければ必要でないかもしれな
いデータワードの一部をメモリアドレスとして使用する
何らかの方法が必要となる。

第11図は垂直方向に隣接する2Qビットのピクセルワー
ドと、その結果得られる2Qビットピクセルワード（ビッ
ト０〜2Q−１）の対毎のビット縮小との間に論理演算を
実行するための特殊ハードウェアの論理概要である。図
面は16ピクセルワードを示すが、このハードウェアの利
点は、ルックアップテーブル技法が厄介になった場合、
ずっと長いピクセルワードについて明らかとなるであろ
う。一行の画像は数ピクセルワードしか表現しないた
め、512ビットのピクセルワードが想定される。

２個のピクセルワードの縮小は、200と202の２つの段
階で行われる。第１の段階では、垂直方向に隣接した一
対のピクセルワードが第１のメモリ203から読取られ、
所望の第２の論理演算がそれらの間で実行される。その
後、所望の第１の論理演算が、結果として得られるピク
セルワードと、１ビットだけシフトしたピクセルワード
のバージョンとの間で実行される。このことによって一
行おきのビット位置に問題のビット（妥当ビット）を有
する被処理ピクセルワードが得られる。第２の段階で、
被処理ピクセルワード中の妥当ビットは抽出・圧縮さ
れ、結果は第２のメモリ204中にストアされる。メモリ2
03はピクセルワードサイズに相当するワードサイズで編
成されることが望ましい。メモリ204も同様にして編成
することができる。

段階200の製作はインテグレーティッド・デバイス・
テクノロジーから販売のIDT 49C 402プロセッサの如き
ビットスライスプロセッサのアレイであることが望まし
い。この特殊プロセッサはそれぞれ64のシフト可能なレ
ジスタを含む16ビット幅のデバイスである。512ビット
ピクセルワードには32のかかるデバイスが好適であろ
う。簡単にするために、４個のレジスタ205,206,207,20
8を有する16ビットシステムを示す。プロセッサの演算
中には、第１と第２のレジスタの内容を論理的に組合せ
その結果を第１のレジスタ中にストアする処理がある。
プロセッサはデータバス217に接続されるデータポート2
15を備える。

第２の段階202は、それぞれピクセルワードの半分の
幅の、第１と第２のラッチトランシーバ220と222を備え
る。各トランシーバはトランシーバ220につき220aと220
bの２つのポートと、トランシーバ222につき222aと222b
の１つのポートを備える。各トランシーバはピクセルワ
ードの幅の半分である。ポート220aと222aはそれぞれ問
題ビットに相当するデータバス217の奇数ビットに接続
される。ポート220bはデータバスのビット０〜（Ｑ−
１）に連結される一方、ボード222bはビットＱ〜（2Q−
１）に接続される。バスラインはレジスタ115によりプ
ルアップされることによって非駆動ラインはＨレベルへ
上昇する。

レベル＝２による２×２縮小のケースを考えてみよ
う。処理順序は、（ａ）垂直方向に隣接する一対のピク
セルワードがAND処理されて１個の2Qピットピクセルワ
ードを形成し、隣接し創あう数対のビットがOR処理され
てＱビットピクセルワードを形成し、その結果がストア
され、（ｂ）上記垂直方向に隣接する一対のピクセルワ
ードがOR処理され、その結果として得られるＱビットの
ピクセルワードがAND処理され、結果として得られるＱ
ビットピクセルワードがストアされ、（ｃ）上記２個の
ピクセルワードがOR処理されることが必要である。

このことを行うには、一対の垂直方向に隣接一するピ
クセルワードが第１のメモリ203からデータバス217上
へ、更にレジスタ205と206内へ読込まれる。レジスタ20
5と206はAND処理され、その結果はレジスタ207と208内
へストアされる。レジスタ208の内容は１ビット右へシ
フトされ、レジスタ207と208はOR処理され、その結果は
レジスタ208内へストアされる。レジスタ205と206はOR
処理され、その結果はレジスタ206と207中へストアされ
る。レジスタ207の内容は１ビットだけ右シフトされ、
レジスタ206と207はAND処理される。その結果はレジス
タ207中へストアされる。

この時点で、レジスタ207は、２つのピクセルワード
をOR処理し数対の隣接ビットをAND処理した結果を含む
一方、レジスタ208はピクセルワードをAND処理し、数対
の隣接ビットをOR処理した結果を含んでいる。然しなが
ら、レジスタ207と208は奇数ビット位置１、３、…（2Q
−１）に妥当ビットを含む。レベル＝２による縮小の場
合、レジスタ207と208はOR処理され、その結果はデータ
バス117に接続されるプロセッサデータポート215で利用
される。

データバスの奇数ビットはポート220aを経てトランシ
ーバ220内へラッチされ、妥当ビットが隣接位置にある
Ｑビットのピクセルワードが得られる。このＱビットエ
ンティティはバス上へ読み戻され、メモリ204へ転送さ
れるけれども、両方のラッチを使用することが望まし
い。かくして、２つの新たなピクセルワード（最初の２
つに水平方向に隣接する）は上記の如く、段階200で処
理され、その結果はプロセッサデータぼト215で利用さ
れ、ポート22aを経てトランシーバ222内へラッチされ
る。その後、２つのトランシーバの内容はポート220bと
222bを介してデータバス217上へ読出されることによっ
て、４個の2Qビットピクセルワードの縮小を表現する2Q
ビットのピクセルワードが得られる。その結果は、第２
のメモリ204に転送される。この全体の順序は対行中の
ピクセルワードが全て処理され終るまでつづけられる。
いったん対行の処理が完了すると、同様にして後読の対
が処理される。

上記の如く、各ビットスライスプロセッサは64レジス
タを有する。従って、メモリアクセスは１ブロックモー
ドの方がより効率的であるから、もし８対のピクセルワ
ードがメモリ203から１ブロックの形で読取られ、上記
の如く処理され、プロセッサのレジスタ内にストアさ
れ、ブロック形でメモリ204へ書込まれるならばより高
速の処理が得られそうである。

画像拡大も同様であるが、そのステップは逆の順序で
行われる。まず、プロセッサはピクセルワードを送り、
トランシーバ220のポート220bを経て左半分を送る。こ
れはポート220aを経てバス上へ読取られる。バス上にそ
の結果得られるワード中の一つおきのピクセルだけが最
初妥当であるから、プロセッサは一連のシフトと論理演
算を活用することによってピクセル全体を妥当化する必
要があろう。レジスタ225は駆動されないバスラインを
全てプルアップするから、それぞれの非駆動ライン、こ
の場合には偶数ビット全体は１となろう。この拡大した
ピクセルワードは１とピクセルワードが交互になってい
るが、２個のレジスタ中へ読込まれる。１つのレジスタ
の内容は１桁シフトし、それらレジスタは論理的にAND
処理される。一つの奇数ビットに０が存在する場合に
は、一つの偶数／奇数の対中には00が存在することにな
ろう。他のビットは何れも影響を受けない。その後、こ
のピクセルワードは拡大画像中の２つの垂直方向に隣接
するワードに書込まれる。このプロセスはトランシーバ
222を用いてピクセルワードの右半分について繰返され
る。プロセッサは行全体を一時に１ピクセルワード、ま
た、画像全体を一時に１行拡大する。

F.実施例の図解第12A〜12D図は本発明の一実施例の動作を示す。第12
A図は原始画像を実寸で示す。同画像はテキストと線図
形を合み、線図形はそれと関連する少量のテキストを合
む。

第12B図は本発明のステップ14より得られるテキスト
マスクを示す。マスクはテキスト領域のみを形成するこ
とが判る。第12C図は分離ステップ18から得られるテキ
スト画像を示す。線図形とそれに関連するテキストは全
て除去されたが、テキストブロックの全ては残存してい
ることが判る。逆に、第12D図では、テキストブロック
の全ては除去されたが線図形とその関連するラベルは残
存することが判る。

第13A図と第13B図は同一画像に対する本発明の処理
を、16分の１倍の縮尺で描いたものである。画像の個々
のピクセルが観察できる。殊に、第13A図は一連の縮小
後に全部で16倍の縮小が行われた第12A図に示す画像で
ある。第13B図は同プロセスにより得られるテキストマ
スクを示す。マスクを拡大して原始画像とAND処理する
と、第12図に示すものと同一の分離が行える。

G.結語本発明は一定画像におけるテキストと線図形を識別す
るための相当改良された方法と装置を提供する。上記解
説は例解的なものであって限定する旨ではないことを理
解されたい。本解説を読むことによって当業者にとって
本発明の多くの変形が明らかであろう。

【図面の簡単な説明】

第1A図および第1B図は本発明が応用可能なハードウェア
と、本発明のハードウェアにおける動作とをそれぞれ示
す全体ブロック線図、第２図は第1B図に示すように垂直線を除去するための縮
小とその方法を示す詳細ブロック線図、第2A図は、他のSEと共に第２図の解説のために使用され
る3hと4hSEを示す図、第３図は、第1B図に示すような水平線を除去する方法と
して縮小を示す詳細ブロック線図、第４図は水平線と垂直線を除去するための代替的方法を
示す図、第５図は第1B図に示すようにテキスト領域を固め残存す
る図形を除去することによって縮小を行う手続を示す詳
細ブロック線図、第６図は原始テキスト領域に合致するようにマスクサイ
ズを調節する詳細を示す詳細ブロック線図、第７図はテキストと図形を分離するための方法を示す詳
細ブロック線図、第８図は、マスク内の８連結領域を最小の包囲矩形境界
ボツクスへ塗りつぶす方法を示す図（二重の矢印は一次
画像の流れを示し、一重の矢印は中間計算を示す。）、第９図はテキストシードからマスクを生成する方法を示
す図、第10図は塗りつぶしクリップ処理を示す図、第11図は本文の縮小技術を実施するための専用ハードウ
ェアを示す図、第12A図〜12D図は本発明の一例の動作を示す図、第13A図と13B図は本発明の第２例の動作を示す図。符号の説明１……画像解析システム、２……文書３……スキャナ、４……メモリ５……ファイル記憶装置、６……プロセッサ

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06K 9/20

Claims

(57)【特許請求の範囲】

【請求項１】デジタル処理システムにおいてテキストと
線図形を含む入力画像を処理して該入力画像のテキスト
部分又は線図形部分を識別する方法であって、（ａ）前記入力画像上において、オンピクセルに隣接
するオフピクセルをオンピクセルに変換するように、構
造要素を用いる少なくとも１つの形態学的処理を含む第
１組の操作を実行するステップであって、前記構造要素
は、オフピクセルから変換されたオンピクセルが前記線
図形部分におけるオフピクセルよりも前記テキスト部分
におけるオフピクセルの隙間をより高い確率でブリッジ
する寸法にされており、これによてテキスト部分にオン
ピクセルの合体領域を優先的に生成し、前記第１組の操
作は更に水平の線又は垂直の線の除去を含んでいる、第
１組の操作の実行ステップと、（ｂ）前記第１組の操作から得られた画像上におい
て、オンピクセルに隣接する少なくとも幾つかのオフピ
クセルをオンピクセルに変換することを含む第２組の操
作を実行して、前記テキスト部分を優先的にカバーする
が前記線図形部分をカバーしないオンピクセルで成る分
離マスクを生成するステップとから成り、これによっ
て、前記テキスト部分が前記分離マスク内の画像部分と
して識別され、あるいは、前記線図形部分が前記分離マ
スクの外側の画像部分として識別され得ることを特徴とする方法。
【請求項２】デジタル処理システムにおいてテキストと
線図形を含む入力画像を処理して該入力画像のテキスト
部分又は線図形部分を識別する方法であって、（ａ）種画像を生成するように、前記入力画像上に第
１組の操作を実行するステップであって、該第１組の操
作は、オンピクセルに隣接するオフピクセルをオンピク
セルに変換するように、構造要素を用いる少なくとも１
つの形態学的処理を含んでおり、前記構造要素は、オフ
ピクセルから変換されたオンピクセルが前記線図形部分
におけるオフピクセルよりも前記テキスト部分における
オフピクセルの隙間をより高い確率でブリッジする寸法
にされており、これによってテキスト部分にオンピクセ
ルの合体領域を優先的に生成し、前記第１組の操作は更
に水平の線又は垂直の線の除去を含んでおり、該第１組
の操作は、前記種画像を、少なくとも幾つかのオンピク
セルを前記テキスト部分には有するが前記線図形部分に
は実質的にオンピクセルを有しない種画像として生成す
る、第１組の操作の実行ステップと、（ｂ）クリップマスクを生成するように、前記入力画
像上に第２組の操作を実行するステップであって、該第
２組の操作は、オンピクセルに隣接する少なくとも幾つ
かのオフピクセルをオンピクセルに変換することを含
み、該第２組の操作は、前記クリップマスクを、前記テ
キスト部分をカバーするオンピクセルの密度の高いブロ
ックと前記線図形部分をカバーするオンピクセルの密度
の高いブロックを有するクリップマスクとして生成す
る、第２組の操作の実行ステップと、（ｃ）分離マスクを生成するための第３組の操作を実
行するステップであって、前記クリップマスクのオンピ
クセルの領域に対応する境界へ、前記種画像のオンピク
セルを成長させることによって分離マスクを生成し、こ
れによって、前記テキスト部分が前記分離マスク内の画
像部分として識別され、あるいは、前記線図形部分が前
記分離マスクの外側の画像部分として識別され得るよう
にする、第３組の操作の実行ステップとから成ることを特徴とする方法。
【請求項３】請求項１または２に記載の方法において、
前記第１組の操作は、スレショルドを用いた縮小処理を
含むことを特徴とする方法。
【請求項４】請求項１または２に記載の方法において、
前記第１組の操作は、水平線と垂直線の両方を除去して
おり、垂直線は、水平の構造要素を用いた形態学的オー
プン処理によって除去され、水平線は、垂直の構造要素
を用いた形態学的オープン処理によって除去されること
を特徴とする方法。
【請求項５】テキストと線図形を含む入力画像を処理し
て該入力画像のテキスト部分又は線図形部分を識別する
ようにプログラムされたデジタル処理システムであっ
て、（ａ）前記入力画像上において、オンピクセルに隣接
するオフピクセルをオンピクセルに変換するように、構
造要素を用いる少なくとも１つの形態学的処理を含む第
１組の操作を実行し、前記構造要素は、オフピクセルか
ら変換されたオンピクセルが前記線図形部分におけるオ
フピクセルよりも前記テキスト部分におけるオフピクセ
ルの隙間をより高い確率でブリッジする寸法にされてお
り、これによってテキスト部分にオンピクセルの合体領
域を優先的に生成し、前記第１組の操作は更に水平の線
又は垂直の線の除去を含む、ようにプログラムされてお
り、（ｂ）前記第１組の操作から得られた画像上におい
て、オンピクセルに隣接する少なくとも幾つかのオフピ
クセルをオンピクセルに変換することを含む第２組の操
作を実行し、前記テキスト部分を優先的にカバーするが
前記線図形部分をカバーしないオンピクセルで成る分離
マスクを生成し、これによって、前記テキスト部分が前
記分離マスク内の画像部分として識別され、あるいは、
前記線図形部分が前記分離マスクの外側の画像部分とし
て識別され得る、ようにプログラムされていることを特徴とするシステム。
【請求項６】テキストと線図形を含む入力画像を処理し
て該入力画像のテキスト部分又は線図形部分を識別する
ようにプログラムされたデジタル処理システムであっ
て、（ａ）種画像を生成するように、前記入力画像上に第
１組の操作を実行し、該第１組の操作は、オンピクセル
に隣接するオフピクセルをオンピクセルに変換するよう
に、構造要素を用いる少なくとも１つの形態学的処理を
含んでおり、前記構造要素は、オフピクセルから変換さ
れたオンピクセルが前記線図形部分におけるオフピクセ
ルよりも前記テキスト部分におけるオフピクセルの隙間
をより高い確率でブリッジする寸法にされており、これ
によってテキスト部分にオンピクセルの合体領域を優先
的に生成し、前記第１組の操作は更に水平の線又は垂直
の線の除去を含んでおり、該第１組の操作は、前記種画
像を、少なくとも幾つかのオンピクセルを前記テキスト
部分には有するが前記線図形部分には実質的にオンピク
セルを有しない種画像として生成する、ようにプログラ
ムされており、（ｂ）クリップマスクを生成するように、前記入力画
像上に第２組の操作を実行し、該第２組の操作は、オン
ピクセルに隣接する少なくとも幾つかのオフピクセルを
オンピクセルに変換することを含み、該第２組の操作
は、前記クリップマスクを、前記テキスト部分をカバー
するオンピクセルの密度の高いブロックと前記線図形部
分をカバーするオンピクセルの密度の高いブロックを有
するクリップマスクとして生成する、ようにプログラム
されており、（ｃ）分離マスクを生成するための第３組の操作を実
行し、前記クリップマスクのオンピクセルの領域に対応
する境界へ、前記種画像のオンピクセルを成長させるこ
とによって分離マスクを生成し、これによって、前記テ
キスト部分が前記分離マスク内の画像部分として識別さ
れ、あるいは、前記線図形部分が前記分離マスクの外側
の画像部分として識別され得る、ようにプログラムされ
ていることを特徴とするシステム。
【請求項７】請求項５または６に記載のシステムにおい
て、前記第１組の操作は、スレショルドを用いた縮小処
理を含むことを特徴とするシステム。
【請求項８】請求項５または６に記載のシステムにおい
て、前記第１組の操作は、水平線と垂直線の両方を除去
しており、垂直線は、水平の構造要素を用いた形態学的
オープン処理によって除去され、水平線は、垂直の構造
要素を用いた形態学的オープン処理によって除去される
ことを特徴とするシステム。