JP2818448B2 - 自動文書セグメンテーションのためのシステム及び方法 - Google Patents

自動文書セグメンテーションのためのシステム及び方法

Info

Publication number
JP2818448B2
JP2818448B2 JP1235477A JP23547789A JP2818448B2 JP 2818448 B2 JP2818448 B2 JP 2818448B2 JP 1235477 A JP1235477 A JP 1235477A JP 23547789 A JP23547789 A JP 23547789A JP 2818448 B2 JP2818448 B2 JP 2818448B2
Authority
JP
Japan
Prior art keywords
label
labels
initial
matrix
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP1235477A
Other languages
English (en)
Other versions
JPH02105978A (ja
Inventor
ヤコブ・アルベルト・ウエストデエイク
Original Assignee
オセ‐ネーデルランド・ベー・ヴエー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オセ‐ネーデルランド・ベー・ヴエー filed Critical オセ‐ネーデルランド・ベー・ヴエー
Publication of JPH02105978A publication Critical patent/JPH02105978A/ja
Application granted granted Critical
Publication of JP2818448B2 publication Critical patent/JP2818448B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/40062—Discrimination between different image types, e.g. two-tone, continuous tone

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

【発明の詳細な説明】 本発明は電子文書処理装置で走査された文書を自動的
にセグメント化するためのシステム及び方法に係わる。
電子複写機、光学式文字認識システム又はデータ圧縮
システムのような電子文書処理装置で処理されるべき文
書は、十分な複写品質及び十分な圧縮を得るためには、
及び／又は画像操作を可能とするためには異なる方法で
処理されなければならない異なる種類の情報から成る。
例えば、文書はテキスト又は図表のような白／黒の情報
はもちろん、連続階調写真、又は、以下では「ハーフト
ーン」と称されるラスタ化された（rastered）もしくは
ディザー化された（dithered）画像から成ってよい。そ
うした文書を走査することによって得られるデータが電
子複写機内で画像処理、画像保存及び印刷を受ける際に
は、テキスト又は図表を表す情報は通常では２進イメー
ジ（binary image）を得るために閾値化され、一方、周
期情報（ラスタ）はグレー値（grey−value）に閾値化
され、連続階調情報はディザー化される。その結果とし
て、異なった種類の情報を含む文書の領域又は区分の位
置を発見し及び識別することが必要である。この処理は
「セグメンテーション（segmen tation）と呼ばれる。
テキスト情報をハーフトーン画像情報から区別するこ
とが可能な従来の自動セグメンテーションシステムの一
例はEP−A2−0 202 425号に開示されている。このシス
テムでは文書の走査画像は４×４画素の大きさを有する
ブロック又はサブイメージ（subimage）のマトリックス
に小分割される。更に、これらのブロック各々がTEXT又
はIMAGEのどちらかのラベルを付けて分類される。比較
的小さなブロックのラベリングは統計学的変動を被るが
故に、このようにして得られたラベルのマトリックス
は、IMAGEブロックが優勢である領域内にはTEXTブロッ
クの短い連続を含むことが多く、その逆もまた同様であ
る。セグメンテーション処理の最終段階では、ラベルマ
トリックスがブロックのそうした短い連続を除去するこ
とによって緩和される。言い換えれば、孤立したブロッ
クのラベル又はブロックの孤立した短い連続がその環境
内において優勢なラベルと同一になるように転換される
ことを命じるコンテクスト規則が適用される。
一般に自動セグメンテーションシステムは２つの相反
する必要条件を満たさなければならない。一方では、そ
のシステムは文書の高速処理が可能なように高速でなけ
ればならない。他方では、例えばテキスト印刷の文字が
明るい色彩で印刷されもしくは色の暗い下地の上に印刷
されているために又は例えば写真が明るい領域を含むた
めに、異なった種類の情報を区別するのが困難な文書を
も取り扱うことが可能であるように、そのシステムは十
分に強力なものでなければならない。従来のセグメンテ
ーションシステムの能力を改善するためには、ラベリン
グ段階及び／又は緩和段階において多数の基準を調べる
ことが必要であり、従って処理時間が増大される。
改善された強力さ及び速度を有する自動文書セグメン
テーションのシステム及び方法を提供することが本発明
の目的である。
請求項１で明示されたシステム及び請求項17で示され
た方法によって、この目的が達成される。
本発明によれば、初期ラベリング段階で選択されるこ
とが可能な種々のラベルの数は、最終的に区別されなけ
ればならない異なった種類の情報の数よりも多い。その
結果として、初期ラベリング段階では情報の種類を確実
に同定する必要はない。この理由から、統計学的変動を
減少させるために比較的大きなサブイメージのサイズが
選ばれる場合でさえ、初期ラベリング段階は比較的短時
間で完了されることが可能である。初期ラベルによって
表される情報の種類はコンテクスト規則に基づき緩和段
階において最終的に決定される。この目的に適したコン
テクスト規則は演算時間をあまり多くは必要とせず、従
って正味の時間節約が得られるということが分かった。
更に初期ラベルが微分化された分類を与えるが故に、初
期ラベリング段階で生じた多少の誤りは、これらの誤り
がサブイメージの比較的大きな連続に生じた場合でさ
え、緩和段階において訂正されることが可能である。こ
れは本システムの改善された強力さに寄与するものであ
る。
本発明によるシステムの有益な詳細及び更なる改善
は、添付の特許請求に示されている。
以下では本発明の好ましい具体例が添付の図面に関連
して説明される。
第１図に示されるように、文書セグメンテーションシ
ステムは初期ラベリングモジュール10及び緩和モジュー
ル12から成る。文書全体の走査画像を表す信号は文書ス
キャナ（図示されていない）から初期ラベリングモジュ
ール10に伝送される。走査画像はサブイメージのマトリ
ックスから構成されると見なされる。代表的な一例で
は、A4文書が走査分解能500dpiで走査され、そのサブイ
メージの大きさは64×64画素である。各々の画素のグレ
ーレベルは256のグレーレベルの１つに対応する８ビッ
ト語で表される。
初期ラベリングモジュール10内では、個々のサブイメ
ージ各々は、サブイメージから特有の特徴を抽出する幾
つかのルーチンから成る分類器によって解析される。そ
の抽出された特徴に基づいて、特定の初期ラベルがその
サブイメージに割り当てられる。その結果として、初期
ラベルマトリックスが得られ、それは文書全体を表し、
そのマトリックス要素は個々のサブイメージのラベルで
ある。
更に初期ラベルマトリックスは緩和モジュール12内で
処理される。隣接するサブイメージに割当てられたラベ
ルに従属する初期ラベルを変換するために、幾つかのコ
ンテクスト規則が適用される。そのコンテクスト規則は
緩和処理の過程で初期ラベルの幾つかが完全に除去され
るように設計される。
その結果として本具体例では、走査された文書の連続
階調領域（例えば写真）及び白／黒領域（例えばテキス
ト又は図表）に対応するセグメントを別々に形成する異
なった２つのラベルだけから成る、緩和されたラベルマ
トリックスが得られる。
初期ラベリングモジュール内で使用される分類器は、
ヒストグラム評価、空間解析、微分演算子、スペクトル
解析又はこれらの方法の組み合わせといった画像解析の
従来方法に基づいてもよい。分類器は適用される検査ル
ーチンが先行する検査の結果に別々に従属するトリー分
類器（tree classifier）であってもよく、又はその代
わりにワンショット分類器（one−shot classifier）が
使用されてもよい。好ましい具体例として、第２図はサ
ブイメージのグレーレベルヒストグラムを評価するトリ
ー分類器を図解している。第２図で示されるトリー図式
の分岐点の各々は、ヒストグラムデータが検査される特
定の基準に対応する。例えば、次の基準が考慮に入れら
れる。
− 横座標上のヒストグラムの最高ピーク位置、即ち最
も頻繁に生じるグレーレベル。この基準はサブイメージ
の全体的明るさの概略的な指標を与える。
− ヒストグラムのピーク数。特に、別々の２つのピー
クを有するヒストグラムはテキスト又は図表の指標であ
り得る。
− ２つのピークの間の高さの差異。テキサス又は図表
情報の場合の殆どでは、最高ピークと第２の最高ピーク
との間に高さの大きな差異がある。
− ２つのピークの間のグレーレベルの差異。白／黒画
像では、この差異が大きいだろう。
− ２つの支配的なピークの間の最小レベルの高さ。連
続階調画像では、このレベルが高いだろう。
− 「信号対ノイズ懸隔」の一種のような、最高ピーク
とその片側又は両側の最小レベルとの間の高さの差異。
− ２つの主ピークの間の谷間の最小レベルよりも低い
画素の数。この数はハーフトーン画像では大きなものと
なるだろう。
− 最高ピーク又は２つの最高ピークの幅。狭い幅はテ
キスト又は図表の指標であり得る。
その分類器で使用される基準が幅広い範囲の結果をも
たらし得る場合には、実用的な数の分岐を得るためにそ
の結果が閾値化される。そのトリーの構造、それに使用
される基準及びその結果を表す閾値は、幾つかの標準文
書から得られた統計学的結果にそれらを整合させること
によって最適化されてもよい。標準文書の種類が広がれ
ば広がるほど、その分類器は強力なものとなるが、又そ
れに必要な複雑性も増大する。
第２図に示される例では、トリー分類器はそれに可能
な分類の結果として４つの異なったラベルを与え、それ
らはBW、BIM、BG及びＵと表示される。この例では、こ
れらのラベルによって表示される画像の特徴は次のよう
に説明できる。
BW:高いコントラストを有する２つの支配的なグレーレ
ベル；テキスト又は図表の候補である画像（BWは黒／白
を表す）、 BIM:2つの支配的なグレーレベルを有するが、他の基準
から見てテキスト又は図表の有力な候補ではない画像
（BIMは「２つのモードのある（bimodal）」を表す）、 BG:典型的な背景（background）領域；比較的明るく及
び低コントラストを有する；テキスト及び図表セグメン
トで生じるばかりでなく、ハーフトーンセグメントでも
生じることがあり、 U:拡散したグレーレベル分布状態を有する領域（Ｕは
「不確定（undefined）」を表す）；連続階調画像の候
補。
上記の分類器を用いて得られる初期ラベルマトリック
スの一例は第４図（Ａ）図に示されている。この初期ラ
ベルマトリックスが緩和段階において除去されなければ
ならない幾らかの変動をなお含んでいることが理解され
るだろう。
その緩和段階で使用されるコンテクスト規則は第３
（Ａ）図〜第３（Ｅ）図に関連して以下で説明されるだ
ろう。
そのマトリックス要素をその各々に隣接する要素と比
較するために、そのマトリックス要素は３×３要素の配
列A,A′に組み合わされる。第３（Ａ）図から第３
（Ｄ）図に示される４つのコンテクスト規則が個々の３
×３配列に適用される。
第３（Ａ）図に示される所謂「ローカル（LOCAL）」
コンテクスト規則は、均一的な環境内において孤立した
ラベルを除去する目的を有する。この規則は次のように
定式化される。
もしラベルＸが、ラベルＹを有する上部の、下部の、
右部の及び左部の隣接要素によって取り囲まれるなら
ば、その時ＸをＹに変換する。
この規則では、Ｘ及びＹは初期ラベルBW、BIM、BG及
びＵを表す。
第３（Ｂ）図及び第３（Ｃ）図に示されるコンテクス
ト規則は「弱拡張」規則と呼ばれてよく、次のような構
造を有している。
もし３×３配列Ａ′内の少なくとも１つの要素がラベ
ルBW（弱く広がるラベル）を有し且つその配列が予め決
められたグループからラベルを含まないならば、その時
ラベルBWをその配列全体に広げる。
第３（Ｂ）図に示される拡張規則は、BW及びBGの組み
合わせをBWに転換し、BW/BG…＞BWと簡単に書き表され
てもよい。この規則では、その配列に含まれてはならな
いラベルの「予め決められたグループ」はラベルBIM及
びＵから成る。もしこれらのラベルの何れかがその配列
内に含まれていれば、その配列はこのコンテクスト規則
によって変換されないままにされる。
第３（Ｃ）図では、禁止されたラベルの「前もって決
められたグループ」はラベルBG及びＵから成る。従っ
て、このコンテクスト規則はBW及びBIMの組み合わせか
ら成る配列だけを転換し、これはBW/BIM……＞BWと書き
表されてもよい。
その配列内に含まれてはならないラベルの他のグルー
プを定義することによって、同一の構造を持つ他のコン
テクスト規則を作ることが可能である。例えば、配列が
BW、BG及びBIMの組み合わせから成る場合には、その配
列全体を一度にBWに転換することが可能である。
更に、その配列がラベルBWを有する少なくとも２つ
の、３つの又はそれ以上の要素を含まなければならない
ということを求めることによって、これらのコンテクス
ト規則が修正されてもよい。
第３（Ｄ）図に示される「EXPAND」コンテクスト規則
は次のように規定する。
もし配列Ａ′がラベルＵ（強く広がるラベル）を有す
る要素を少なくとも１つ含むならば、ラベルＵはその配
列全体に広げられる。
この規則では、他のラベルが初期配列内に出現するこ
とに関し何ら制限はない。
第３（Ｅ）図は「FILL」と称されるコンテクスト規則
を示し、この規則は３×３配列に拘束されない。この規
則は次のように定義される。
１）ラベルＵが交差する垂直な及び水平な連続14、16を
形成する場合は、これらの連続を縦横の長さとする長方
形18全体がラベルＵで満たされる（「連続（run）」と
いう用語は、そのマトリックスの行又は列におけるラベ
ルＵの中断されることのない順序を示す）。
２）Ｕで満たされた領域を最大化するために水平及び垂
直な連続の組み合わせを検査する。
３）その最大化された領域の高さが４つの要素より小さ
いならば、又はその幅が４つの要素より小さいならば、
その時にはこの領域のすべてのラベルをBWに変換する。
コンテクスト規則FILLへの拡張として、Ｕの連続を縦
横の長さとする長方形が予め決められた比率（Ｕ最小数
/U）より多い数のラベルＵを含むならば、及び／又はそ
の長方形の形状が、例えば予め決められた最小値より大
きい又は予め決められた最大値より小さいというよう
に、特定の条件に拘束されるならば、その長方形はラベ
ルＵによって満たされるだけである。
緩和モジュール12は第３（Ａ）図〜第３（Ｅ）図に示
されるコンテクスト規則を次に示す順序で適用する。
１） LOCAL ２） BW/BG……＞BW ３） LOCAL ４） BW/BIM……＞BW ５） LOCAL ６） BW/BG……＞BW ７） LOCAL ８） EXPAND ９） LOCAL 10） FILL これらのステップの各々では、その次のステップが実
行される前に、コンテクスト規則がマトリックス全体に
適用される。コンテクスト規則LOCALの場合には、１つ
の要素のステップにおいてマトリックス全体が３×３ウ
インドを用いて走査され、従って各々の要素は一度は３
×３配列Ａの中心要素と見なされる。
ステップ２）、４）及び６）では、同一の手続きが適
用されてもよい。またその代わりに、そのマトリックス
が３×３配列Ａ′の固定グリットの中へ分割されてもよ
い。
ステップ８）では、３×３配列Ａ′の固定グリッドが
使用される。またその代わりに、浮動配列法が採用され
てもよいが、各々の配列が少なくとも２つのラベルＵを
含むことが必要とされなければならない。なぜなら、そ
うでなければ、その拡張された領域は大きすぎるものに
なるだろうからである。
ステップ１）はモジュール10内で生成される初期ラベ
ルマトリックスから開始する。他のステップすべてはそ
の先行ステップの結果として得られる修正されたマトリ
ックスに対して実行される。他のコンテクスト規則を交
互に間に入れながら規則LOCALの適用が幾度か実行され
るということが理解されるだろう。規則BW/BG……＞BW
はステップ２）に適用され、そして再びステップ６）に
適用される。
ステップ７）の終わりには、ラベルBC及びBIMの大部
分が除去され、そのマトリックスはラベルBWによって均
一的に満たされた領域を示すであろうし、一方で他の領
域は他のラベルと組合せた形でラベルＵを含む。これら
の領域内では、ラベルＵがステップ８）及び10）で広げ
られるであろうし、従ってステップ10）の終わりには、
マトリックス全体がBW又はＵによって均一的に満たされ
た長方形領域から構成される。しかし規則FILLは、Ｕで
満たされる領域が小さすぎる場合にはその領域がBWに転
換されることを命じる。こうしてステップ10）の終わり
に得られるラベルマトリックスは、走査された文書の白
／黒領域及び連続階調領域の各々を表す大きな長方形セ
グメントを形成するラベルBW及びＵだけから成る。この
マトリックスは必要とされる緩和ラベルマトリックスに
一致する。初期ラベルマトリックスからこのマトリック
スを区別するために、ラベルBW及びＵの各々は、緩和ラ
ベルＴ（「TEXT」を表す）及びＰ（「PHOTO」を表す）
に名称を変えられる。
第４（Ｂ）図は、第４（Ａ）図に示された初期ラベル
マトリックスから得られた緩和ラベルマトリックスを表
す。幾つかのテキスト形式を有するテキスト領域及び２
つの写真領域を含むテスト用文書に対して上記のセグメ
ンテーション処理を適用することによって得られた実験
結果をこの図は表している。その文書の写真領域の実際
の境界線が破線20で示されている。
第４（Ｂ）図のＰセグメントがサブイメージマトリッ
クスの分解能の範囲内で写真領域の実際の境界線と合致
するということが理解されるだろう。
第４（Ａ）図に示されるようにその写真領域は、テキ
スト領域と解釈されることも可能なラベルBW、BIM及びB
Gで満たされた相対的に大きな干渉性領域を含む。緩和
処理においては、これらの不明瞭さはコンテクスト規則
によって首尾良く取り除かれている。
第５図は自動セグメンテーションシステムのハードウ
ェア装置の一例を示している。
文書はスキャナ22内で走査され、個々の画素のグレー
レベルを表すディジタル数値がビットマップ（bitmap）
内に記憶される。更にこれらの数値は、その文書の個々
のサブイメージのためのヒストグラムを生じさせるヒス
トグラムユニット24に伝送される。ヒストグラムデータ
は第１図の初期ラベリングモジュール10に相当する分類
器26の中で評価される。分類器26はヒストグラムの特徴
を検査する特徴抽出器28、並びに検査されるべき特徴を
選択し且つ調査されたサブイメージに初期ラベルの１つ
を最終的に割当てるトリー分類器30から成る。
更に初期ラベルは、第１図の緩和モジュール12に相当
するコンテクストプロセッサ32内で処理される。コンテ
クストプロセッサは、コンテクスト規則（ステップ１）
〜ステップ10））を順次的に適用するための処理モジュ
ール34及び初期ラベルマトリックス、中間結果及び緩和
ラベルマトリックスを記憶するためのバッファ36から成
る。
改良されたハードウェア装置には、初期ラベリング段
階において複数のサブイメージが並行的に処理されるこ
とが可能なように、複数のヒストグラムユニット24及び
分類器26が揃えられてもよい。
第１図から第４図に示される具体例では、そのセグメ
ンテーションシステムは２つの異なった種類の情報だけ
を、即ち、白／黒情報（ラベルＴ）及び連続階調情報
（ラベルＰ）だけを判別するにすぎない。写真区分はラ
スタ化又はディザー化された画像のような周期的な情報
ばかりでなく、連続階調情報を含んでもよい。また本発
明による考案は、連続階調情報及び周期性情報の間を更
に判別するセグメンテーションシステムにも適用可能で
ある。例えば、第６図又は第７図に示されるようにセグ
メンテーションシステムを改良することによって、これ
を実現することができる。
この両方の図ではハーフトーン指標がハーフトーン情
報を検出するために使用される。各々のサブイメージに
対して次の基準を用いることによって、ハーフトーン情
報を検出することが可能である。
− そのスペクトラム内の第１の非DCピーク値とそのス
ペクトラムの原点との間の距離。
− そのスペクトラム内のDCピーク値と第１の非DCピー
ク値との間の比率。
第６図では、初期ラベリング処理及び緩和処理は第１
図と同一の方法で行われ、その後、写真領域（ラベル
Ｐ）が連続階調情報及び周期性情報を判別するために更
に解析される。これは前述のラスタ指標の１つを検査す
ることによって実現され、周期性モジュール38によって
実行される。第６図に示されるシステムは、時間を要す
る周期性情報の検査が、写真領域として識別された区分
だけに限定されるという利点を有する。
またその代わりに、周期性情報に対する検査が第７図
に示されるように初期ラベリング段階で行われてもよ
い。この場合には、緩和ラベルマトリックスが、連続階
調情報、周期性情報及び白／黒情報に相当する３つの異
なったラベルを含むように、初期ラベルはラスタ画像の
強力な候補であることを示す少なくとも１つのラベルを
含むだろうし、その緩和モジュール内のコンテクスト規
則はこのラベルを拡張するための規則を含むことだろ
う。
ハーフトーン情報を含む区域を見出すコンテクスト規
則は、連続階調領域を見出すよう意図された前述のコン
テクスト規則FILL及びEXPAND（第３図）と類似のもので
あることが可能である。この場合には目標ラベルＵの代
わりに、ハーフトーン情報を指示するラベルが使用され
るだろう。
第７図に示される例では、セグメント（第4B図におけ
るＰ及びＴ）と文書の写真領域の実際の境界線20との間
の一致を改善するために、境界線解析モジュール40が付
け加えられる。
例えば、サブウインドウの大きさ（即ち、1/4、1/2、
3/4）の一定割合ずつにサブイメージのグリッドを垂直
且つ水平的に移動することによって、並びにその移動さ
れたグリッドに対して初期ラベリング及び緩和手順を繰
り返すことによって、境界線解析が行われてもよい。更
にその異なった結果の比較が、写真領域境界線の実際の
位置に関するより詳細な情報を提供する。
随意に、垂直及び水平境界線に関する境界線解析は、
写真領域の垂直及び水平境界線の各々が存在するに違い
ないと予想される文書部分に限定されてもよい。
それに代わる方法では、緩和ラベルマトリックス内に
おけるラベル転移座標の中心に置かれた特定の目標領域
を更に解析することによって、境界線解析が行われても
よい。例えば、目標領域は初期ラベリング段階で使用さ
れるものよりも高い分解能を提供するサブウインドウに
更に小区分され、更に、サブウインドウ各々が境界サブ
ウインドウ又は非境界サブウインドウに分類されること
が可能である。
目標領域の解析は、緩和ラベルマトリックス内の転移
線上の孤立した場所に限定されてもよい。これらの目標
領域内で境界線の位置が正確に限定される場合には、境
界線全体の正確な位置が外挿法によって発見されてもよ
い。
以上では本発明の特定の具体例が説明されてきたが、
当業者は本特許請求に明記された発明案の範囲内にすべ
て含まれる様々な変更を案出することが可能だろう。
例えば第３図に関して言及されたコンテクスト規則
は、３×３サブイメージという前述の大きさよりも大き
いマトリックスを用いて実行されることが可能である。
【図面の簡単な説明】
第１図は自動セグメンテーションシステムの概括的な構
成を示すブロック線図、第２図は初期ラベリング段階で
使用されるトリー分類器を示す図、 第３（Ａ）図〜第３（Ｅ）図は緩和ステップに使用され
るコンテクスト規則図、第４（Ａ）図及び第４（Ｂ）図
は初期ラベルマトリックス及びそれから得られる緩和ラ
ベルマトリックスの一例を示す図、第５図は本発明によ
るシステムのハードウェア装置の一例のブロック線図、
第６図及び第７図は本セグメンテーションシステムの改
良例のブロック線図である。 10……初期ラベリングモジュール、 12……緩和モジュール、22……スキャナ、 24……ヒストグラムユニット、26……分類器、 28……特徴抽出器、30……トリー分類器、 32……コンテクストプロセッサ、 34……処理モジュール、36……バッファ、 38……周期性モジュール。

Claims (17)

    (57)【特許請求の範囲】
  1. 【請求項１】白／黒画像、連続階調画像及びその類似物
    のような種々の種類の画像情報を含む文書領域（T,P）
    を分類するために、電子文書処理装置内で走査された文
    書を自動的にセグメント化するためのシステムであっ
    て、前記システムが、文書全体を表す走査画像をサブイ
    メージのマトリックスに小区分するためのマトリックス
    生成手段と、各々のサブイメージに含まれる情報を解析
    し、且つそれによって初期ラベルマトリックスを得るた
    めに初期ラベル（BW,BIM,BG,U）を前記サブイメージに
    割当てるラベリング手段と、種々の文書領域を表す均一
    にラベルを付与されたセグメントパターンを得ることを
    目的とする、コンテクスト規則に従ってラベルを変換す
    ることによって初期ラベルマトリックスを緩和させるた
    めの緩和手段とから成り、更に前記ラベリング手段がラ
    ベルの第１の集合（BW,BIM,BG,U）から初期ラベルを選
    択するように適合させられ、前記緩和手段が初期ラベル
    を緩和されたラベル（T,P）に変換するよう適合させら
    れ、また前記の緩和されたラベルが前記の第１の集合よ
    りも数が少ない第２のラベル集合から選択されることを
    特徴とするシステム。
  2. 【請求項２】前記緩和手段内で実行されるコンテクスト
    規則が、前記初期ラベルの幾つか（BW,U）を拡張し且つ
    その他の初期ラベル（BIM,BG）を除去するための規則か
    ら成り、また拡張されたラベルがその緩和されたラベル
    （T,P）を用いて最終的に識別される請求項１に記載の
    システム。
  3. 【請求項３】前記コンテクスト規則が、 ａ） ｎが予め決められた数であり、BWが予め決められ
    た初期ラベルであり、及びＧが初期ラベル集合の予め決
    められた部分集合である時に、もし前記初期ラベルマト
    リックスにおけるマトリックス要素の予め決められた配
    列（Ａ′）内で少なくともｎ個の要素がラベルBWを有
    し、且つこの配列がグループＧからのラベルを含まない
    ならば、その時この配列内のすべてのラベルをBWに変換
    し、 ｂ） ｍが予め決められた数であり及びＵが予め決めら
    れた初期ラベルである時に、前記初期ラベルマトリック
    スにおけるマトリックス要素の予め決められた配列
    （Ａ′）内で少なくともｍつの要素がラベルＵを有する
    ならば、その時この配列内のすべてのラベルをＵに変換
    し、 ｃ） c1）ラベルＵが交差する垂直及び水平な連続を形
    成する場合には、これらの連続を縦横の長さとする長方
    形全体をラベルＵで満たし、 c2）ラベルＵで満たされるべき領域を最大にするため
    に、垂直及び水平な連続のすべての組み合わせを検査
    し、 c3）Ｕ及びBWが予め決められた初期ラベルであり、且つ
    高さの最小値及び幅の最小値が予め決められた数である
    時に、最大化された領域の高さが高さ最小値の要素より
    小さく、又はその幅が幅最小値の要素より小さいなら
    ば、この領域内のすべてのラベルをBWに変換する、 といった構造の１つを有する少なくとも１つの規則から
    成る請求項２に記載のシステム。
  4. 【請求項４】更に、前記コンテクスト規則が、 c4）c1で言及された長方形が予め決められたＵの最小数
    よりも多い数のラベルＵを含むならば、その長方形全体
    をラベルＵで満たし、 c5）最小及び最大が予め決められた数である時に、c1で
    言及された長方形の形状が、幅／高さ＞最小、且つ幅／
    高さ＜最大という条件を満足させるならば、その長方形
    全体をラベルＵで満す、 といった構造の規則から成る請求項３に記載のシステ
    ム。
  5. 【請求項５】前記コンテクスト規則（ａ）及び（ｂ）が
    適用される予め決められた配列（Ａ′）が３×３サブイ
    メージの大きさを有する請求項３又は４に記載のシステ
    ム。
  6. 【請求項６】前記緩和手段が、前記コンテクスト規則の
    各々を予め決められた順序に従って少なくとも１回は適
    用することによって前記初期ラベルマトリックスをステ
    ップ順に修正するための複数の段階から成る請求項３か
    ら５のいずれか一項に記載のシステム。
  7. 【請求項７】前記構造（ｂ）を有するコンテクスト規則
    の前に前記構造（ａ）を有するコンテクスト規則が適用
    され、且つ前記構造（ｃ）を有するコンテクスト規則の
    前に前記構造（ｂ）を有するコンテクスト規則が適用さ
    れる請求項６に記載のシステム。
  8. 【請求項８】前記コンテクスト規則が、上部、下部、右
    部及び左部に直ちに隣接するすべて同一のラベルＸを有
    する要素によって所与のマトリックス要素が取り囲まれ
    るならば、その所与のマトリックス要素のラベルもＸに
    変換されると命じるローカル規則から成り、さらに前記
    ローカル規則が前記構造（ａ）、（ｂ）又は（ｃ）を有
    する規則の各々の直前に適用される請求項６又は７に記
    載のシステム。
  9. 【請求項９】サブイメージ各々の大きさが少なくとも16
    ×16画素であり、好ましくは64×64画素であり、及び走
    査分解能が1000dpiより大きい請求項１から８のいずれ
    か一項に記載のシステム。
  10. 【請求項１０】前記ラベリング手段が、サブイメージ各
    々のグレーレベルヒストグラムを生成するためのヒスト
    グラムユニットから成る請求項９に記載のシステム。
  11. 【請求項１１】前記ラベリング手段が、トリー構造に従
    って入力データの特徴を検査することによって所与のサ
    ブイメージに割当てられるべきラベルを決定するための
    トリー分類器から成る請求項１から10のいずれか一項に
    記載のシステム。
  12. 【請求項１２】前記ラベリング手段が、ラスタ化又はデ
    ィザー化された情報を検出するための手段から成る請求
    項１から11のいずれか一項に記載のシステム。
  13. 【請求項１３】ハーフトーン領域を見出すためのコンテ
    クスト規則から成る請求項１から11のいずれか一項に記
    載のシステム。
  14. 【請求項１４】前記緩和手段によって既にセグメント化
    されている写真領域内においてだけ、ラスタ化又はディ
    ザー化された情報を検出するための手段から成る請求項
    １から11のいずれか一項に記載のシステム。
  15. 【請求項１５】複数のサブイメージからのデータを並行
    して処理するための複数のラベリング手段から成る請求
    項１から14のいずれか一項に記載のシステム。
  16. 【請求項１６】より高い分解能によってセグメント化領
    域の境界線位置を決定するための、前記緩和手段の出力
    に対して応答する境界線解析手段から成る請求項１から
    15のいずれか一項に記載のシステム。
  17. 【請求項１７】白／黒画像、連続階調画像及びその類似
    物のような種々の種類の画像情報を含む文書領域（T,
    P）を分類するために、電子文書処理装置内で走査され
    た文書を自動的にセグメンテーションするための方法で
    あって、文書全体を表す走査画像をサブイメージのマト
    リックスに小区分され、初期ラベルマトリックスをそれ
    から得る目的で初期ラベル（BW,BIM,BG,U）を前記サブ
    イメージに付与するために、各々のサブイメージに含ま
    れる情報が解析され、また前記の種々の文書領域を表す
    均一にラベルを付与されたセグメントパターンを得るた
    めに、コンテクスト規則に従って個々のマトリックス要
    素のラベルを変換することによって初期ラベルマトリッ
    クスが緩和され、更に前記初期ラベルがラベルの第１の
    集合（BW,BIM,BG,U）から選択されること、及び、緩和
    段階において、前記初期ラベルが前記の第１の集合より
    も数が少ない第２のラベル集合から選択される緩和ラベ
    ル（T.P）に変換されることを特徴とする方法。
JP1235477A 1988-09-12 1989-09-11 自動文書セグメンテーションのためのシステム及び方法 Expired - Fee Related JP2818448B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP88201987.0 1988-09-12
EP88201987A EP0358815B1 (en) 1988-09-12 1988-09-12 System and method for automatic segmentation

Publications (2)

Publication Number Publication Date
JPH02105978A JPH02105978A (ja) 1990-04-18
JP2818448B2 true JP2818448B2 (ja) 1998-10-30

Family

ID=8199857

Family Applications (1)

Application Number Title Priority Date Filing Date
JP1235477A Expired - Fee Related JP2818448B2 (ja) 1988-09-12 1989-09-11 自動文書セグメンテーションのためのシステム及び方法

Country Status (4)

Country Link
US (1) US5073953A (ja)
EP (1) EP0358815B1 (ja)
JP (1) JP2818448B2 (ja)
DE (1) DE3881392T2 (ja)

Families Citing this family (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3058168B2 (ja) * 1989-03-08 2000-07-04 キヤノン株式会社 文字処理装置及び方法
JP2865697B2 (ja) * 1989-03-20 1999-03-08 株式会社日立製作所 エクスチャ分離方法
US5272764A (en) * 1989-12-08 1993-12-21 Xerox Corporation Detection of highlighted regions
JP2564959B2 (ja) * 1990-03-07 1996-12-18 富士ゼロックス株式会社 画像処理装置の絵文字領域識別方式
DE69123991T2 (de) * 1990-03-23 1997-05-22 Canon Kk Bildverarbeitung mit neuronalem Netzwerk
JP3072776B2 (ja) * 1990-12-19 2000-08-07 キヤノン株式会社 画像処理装置
EP0497537B1 (en) * 1991-02-01 1997-07-16 Canon Kabushiki Kaisha Image processing method and apparatus
US5566255A (en) * 1991-03-05 1996-10-15 Ricoh Company, Ltd. Segmenting a page of a document into areas which are text and areas which are halftone
US5696842A (en) * 1991-07-04 1997-12-09 Ricoh Company, Ltd. Image processing system for adaptive coding of color document images
JP3278471B2 (ja) * 1991-11-29 2002-04-30 株式会社リコー 領域分割方法
JP2579397B2 (ja) * 1991-12-18 1997-02-05 インターナショナル・ビジネス・マシーンズ・コーポレイション 文書画像のレイアウトモデルを作成する方法及び装置
JPH0628126A (ja) * 1992-07-09 1994-02-04 Canon Inc 情報処理方法及び装置
JPH06105160A (ja) * 1992-08-04 1994-04-15 Matsushita Electric Ind Co Ltd イメージコントローラ
FR2695497A1 (fr) * 1992-09-09 1994-03-11 Philips Electronique Lab Dispositif de codage d'images fixes.
US5872864A (en) * 1992-09-25 1999-02-16 Olympus Optical Co., Ltd. Image processing apparatus for performing adaptive data processing in accordance with kind of image
JP2705744B2 (ja) * 1992-11-13 1998-01-28 富士ゼロックス株式会社 画像符号化装置及び復号装置
US5642204A (en) * 1992-12-02 1997-06-24 Industrial Technology Research Institute Error diffusion method
US5379130A (en) * 1992-12-02 1995-01-03 Industrial Technology Research Institute Text/image separation method
JPH06203165A (ja) * 1993-01-07 1994-07-22 Canon Inc 画像情報処理方法及び装置
US6002798A (en) * 1993-01-19 1999-12-14 Canon Kabushiki Kaisha Method and apparatus for creating, indexing and viewing abstracted documents
US5848184A (en) * 1993-03-15 1998-12-08 Unisys Corporation Document page analyzer and method
JP3302147B2 (ja) * 1993-05-12 2002-07-15 株式会社リコー 文書画像処理方法
US5327262A (en) * 1993-05-24 1994-07-05 Xerox Corporation Automatic image segmentation with smoothing
EP0632402B1 (en) * 1993-06-30 2000-09-06 International Business Machines Corporation Method for image segmentation and classification of image elements for document processing
JP2891616B2 (ja) * 1993-09-24 1999-05-17 富士通株式会社 仮ラベル割付処理方式と実ラベル割付処理方式
US5485289A (en) * 1993-10-28 1996-01-16 Xerox Corporation Hyperacuity printer architecture
CA2128858A1 (en) 1993-10-28 1995-04-29 Douglas N. Curry Two dimensional linear interpolation with slope output for a hyperacuity printer
US5592572A (en) * 1993-11-05 1997-01-07 The United States Of America As Represented By The Department Of Health And Human Services Automated portrait/landscape mode detection on a binary image
BE1007824A5 (fr) * 1993-12-14 1995-10-31 Delva Jean Pierre Procede de segmentation.
US5546474A (en) * 1993-12-21 1996-08-13 Hewlett-Packard Company Detection of photo regions in digital images
US5651077A (en) * 1993-12-21 1997-07-22 Hewlett-Packard Company Automatic threshold determination for a digital scanner
DE69524651T2 (de) * 1994-01-27 2002-06-13 Hewlett-Packard Co.(A Delaware Corporation), Palo Alto Drucksystem und -methode
US5504319A (en) * 1994-02-09 1996-04-02 Symbol Technologies, Inc. Method and system for bar code acquisition
EP0677817B1 (en) * 1994-04-15 2000-11-08 Canon Kabushiki Kaisha Page segmentation and character recognition system
US5987171A (en) * 1994-11-10 1999-11-16 Canon Kabushiki Kaisha Page analysis system
ATE185211T1 (de) * 1995-01-31 1999-10-15 United Parcel Service Inc Verfahren und gerät zum trennen des vordergrunds und hintergrunds in textenthaltenden bildern
US6549657B2 (en) * 1995-04-06 2003-04-15 Canon Kabushiki Kaisha Image processing apparatus and method
US5754673A (en) * 1995-06-19 1998-05-19 Ncr Corporation Document image processing system including a first document path for the automated processing of documents and a second document path for the processing of documents requiring operator correction
US6307962B1 (en) 1995-09-01 2001-10-23 The University Of Rochester Document data compression system which automatically segments documents and generates compressed smart documents therefrom
CA2190306A1 (en) * 1995-11-20 1997-05-21 Vadlamannati Venkateswar Compression for multi-level screened images
US6009196A (en) * 1995-11-28 1999-12-28 Xerox Corporation Method for classifying non-running text in an image
US5815595A (en) * 1995-12-29 1998-09-29 Seiko Epson Corporation Method and apparatus for identifying text fields and checkboxes in digitized images
US5883973A (en) * 1996-02-20 1999-03-16 Seiko Epson Corporation Method and apparatus for processing a document by segmentation into text and image areas
JP3380831B2 (ja) * 1996-03-08 2003-02-24 シャープ株式会社 画像形成装置
US5956468A (en) * 1996-07-12 1999-09-21 Seiko Epson Corporation Document segmentation system
US5850474A (en) * 1996-07-26 1998-12-15 Xerox Corporation Apparatus and method for segmenting and classifying image data
SE508972C2 (sv) * 1996-08-28 1998-11-23 Ralip International Ab Förfarande för kvalitetssäkring vid scanning/kopiering av bilder/dokument samt anordning för genomförande av förfarandet
US5893127A (en) * 1996-11-18 1999-04-06 Canon Information Systems, Inc. Generator for document with HTML tagged table having data elements which preserve layout relationships of information in bitmap image of original document
EP0856988A3 (en) * 1997-01-31 1998-08-12 Hewlett-Packard Company System and method for compressing textual image data
JP3891654B2 (ja) * 1997-08-20 2007-03-14 株式会社東芝 画像形成装置
US6038351A (en) * 1997-10-28 2000-03-14 Cash Management Solutions Apparatus and method for multi-entity, mixed document environment document identification and processing
EP0969656B1 (en) 1998-06-29 2007-01-24 Xerox Corporation Compression for image boundaries
US6128408A (en) * 1998-09-23 2000-10-03 Xerox Corporation Method for augmenting sum-of-laplacians in light and dark areas of halftone field to maintain reliable segmentation
US6782129B1 (en) * 1998-09-23 2004-08-24 Xerox Corporation Image segmentation apparatus and method
US6137907A (en) * 1998-09-23 2000-10-24 Xerox Corporation Method and apparatus for pixel-level override of halftone detection within classification blocks to reduce rectangular artifacts
US6373981B1 (en) 1998-12-21 2002-04-16 Xerox Corporation Method and apparatus for segmenting data to create mixed raster content planes
US6400844B1 (en) 1998-12-02 2002-06-04 Xerox Corporation Method and apparatus for segmenting data to create mixed raster content planes
US6525845B1 (en) * 1999-01-19 2003-02-25 Xerox Corporation Methods and apparatus for modifying image data based on identification of marking process
DE19919624C2 (de) 1999-04-29 2001-03-01 Oce Printing Systems Gmbh Verfahren, System und Computerprogramm zum Komprimieren und Übertragen von Bildrasterdaten
KR100319756B1 (ko) * 2000-01-21 2002-01-09 오길록 논문 문서영상 구조 분석 방법
US6778291B1 (en) 2000-06-12 2004-08-17 Hewlett-Packard Development Company, L.P. Fast page analyzer for proper selection of compression engine for rendered data
US6992789B2 (en) * 2001-06-15 2006-01-31 International Business Machines Corporation Method, system, and program for managing a multi-page document
US7039232B2 (en) * 2001-12-20 2006-05-02 Xerox Corporation Block level analysis of segmentation tags
US7278117B2 (en) * 2002-07-02 2007-10-02 Hewlett-Packard Development Company, L.P. Image segmentation and warping for specialized display viewing
US7254270B2 (en) * 2002-07-09 2007-08-07 Hewlett-Packard Development Company, L.P. System and method for bounding and classifying regions within a graphical image
KR100477656B1 (ko) * 2002-07-27 2005-03-22 삼성전자주식회사 디지털 화질 개선 방법 및 장치
EP1392047B1 (en) * 2002-08-22 2013-10-30 Samsung Electronics Co., Ltd. Digital document processing for image enhancement
KR100524072B1 (ko) 2003-06-28 2005-10-26 삼성전자주식회사 화질 개선 방법
US8614830B2 (en) * 2004-09-27 2013-12-24 Hewlett-Packard Development Company, L.P. Pixel exposure as a function of subpixels
EP1729235A1 (en) * 2005-06-03 2006-12-06 Agfa Corporation Structured reporting report data manager
US7599556B2 (en) * 2005-08-25 2009-10-06 Joseph Stanley Czyszczewski Apparatus, system, and method for scanning segmentation
US7702154B2 (en) * 2006-01-13 2010-04-20 Adobe Systems, Incorporated Method and apparatus indentifying halftone regions within a digital image
GB2434933B (en) * 2006-02-01 2009-06-03 Motorola Inc Apparatus and method for image labelling
JP4952627B2 (ja) * 2008-03-21 2012-06-13 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
US9002100B2 (en) * 2008-04-02 2015-04-07 Xerox Corporation Model uncertainty visualization for active learning
US20120159292A1 (en) 2010-12-16 2012-06-21 Oce-Technologies B.V. Method of processing an object-based image file with content type dependent image processing algorithms
US20120250985A1 (en) * 2011-03-30 2012-10-04 Jing Xiao Context Constraints for Correcting Mis-Detection of Text Contents in Scanned Images
US9223769B2 (en) 2011-09-21 2015-12-29 Roman Tsibulevskiy Data processing systems, devices, and methods for content analysis
US9058374B2 (en) 2013-09-26 2015-06-16 International Business Machines Corporation Concept driven automatic section identification
US11120054B2 (en) * 2019-06-05 2021-09-14 International Business Machines Corporation Hierarchical label generation for data entries
US11188748B2 (en) 2019-09-16 2021-11-30 International Business Machines Corporation Scalable structure learning via context-free recursive document decomposition

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4554593A (en) * 1981-01-02 1985-11-19 International Business Machines Corporation Universal thresholder/discriminator
DE3113555A1 (de) * 1981-04-03 1982-10-21 Siemens AG, 1000 Berlin und 8000 München Verfahren zum automatischen erkennen von weissbloecken sowie text-, graphik- und/oder graubildbereichen auf druckvorlagen
GB2103449B (en) * 1981-06-29 1985-05-30 Nippon Telegraph & Telephone Method and apparatus for gray level signal processing
US4741046A (en) * 1984-07-27 1988-04-26 Konishiroku Photo Industry Co., Ltd. Method of discriminating pictures
US4656665A (en) * 1985-01-15 1987-04-07 International Business Machines Corporation Thresholding technique for graphics images using histogram analysis
US4668995A (en) * 1985-04-12 1987-05-26 International Business Machines Corporation System for reproducing mixed images
JPS62137974A (ja) * 1985-12-12 1987-06-20 Ricoh Co Ltd 画像処理方式
US4856075A (en) * 1987-10-05 1989-08-08 Eastman Kodak Company Image discrimination

Also Published As

Publication number Publication date
DE3881392T2 (de) 1993-10-21
EP0358815B1 (en) 1993-05-26
EP0358815A1 (en) 1990-03-21
US5073953A (en) 1991-12-17
DE3881392D1 (de) 1993-07-01
JPH02105978A (ja) 1990-04-18

Similar Documents

Publication Publication Date Title
JP2818448B2 (ja) 自動文書セグメンテーションのためのシステム及び方法
JP3686439B2 (ja) デジタル・イメージのフォト領域検出システム、及び方法
JP3828212B2 (ja) 画像処理装置
JP5008572B2 (ja) 画像処理方法、画像処理装置およびコンピュータ可読媒体
US6574375B1 (en) Method for detecting inverted text images on a digital scanning device
JP3877916B2 (ja) デジタル画像の異常検出方法およびシステム、ならびにそのための記憶媒体
JP4295882B2 (ja) デジタル画像データの区分方法並びにデータブロックの区分方法及び分類方法
JP4242532B2 (ja) デジタル画像データ区分方法
EP2645304B1 (en) Image processing device determining binarizing threshold value
US5425110A (en) Method and apparatus for automatic language determination of Asian language documents
CA1268547A (en) Thresholding algorithm selection apparatus
JPH10506733A (ja) テキスト包含イメージにおける背景からの前景の分離方法及び装置
JP2000137788A (ja) 画像処理方法、画像処理装置及び記録媒体
JP2000132690A (ja) ト―クン化によるイメ―ジ分割を用いたイメ―ジ処理方法および装置
JP2000149018A (ja) 画像処理方法、画像処理装置及び記録媒体
JPH0721320A (ja) 自動スクリプト決定装置
US6944340B1 (en) Method and apparatus for efficient determination of recognition parameters
EP0499875B1 (en) Method of and apparatus for obtaining binary image
JP3040896B2 (ja) 画像処理装置
AU4207400A (en) Intelligent detection of text on a page
EP0600613A2 (en) Improvements in image processing
US5751855A (en) Method and apparatus for detecting whether an electronic image has been faxed
JPH0335374A (ja) 文書における文字領域と写真領域とを区別する方法及びその装置
JP3115725B2 (ja) 背景付き文字列からの文字列画像の抽出処理方式
US6650775B1 (en) Method and apparatus for implementing a streaming two-dimensional digital image segmentation

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees