JPH05217019A - ビジネスフォーム識別システム及び画像処理システム - Google Patents

ビジネスフォーム識別システム及び画像処理システム

Info

Publication number
JPH05217019A
JPH05217019A JP4203531A JP20353192A JPH05217019A JP H05217019 A JPH05217019 A JP H05217019A JP 4203531 A JP4203531 A JP 4203531A JP 20353192 A JP20353192 A JP 20353192A JP H05217019 A JPH05217019 A JP H05217019A
Authority
JP
Japan
Prior art keywords
line
lines
business form
business
template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP4203531A
Other languages
English (en)
Inventor
Pizano Aatouroo
ピザノ アートウロー
In Tan Mei
イン タン メイ
Ganbo Naoto
ガンボ ナオト
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of JPH05217019A publication Critical patent/JPH05217019A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Character Input (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Character Discrimination (AREA)

Abstract

(57)【要約】 【目的】 多様なビジネスフォームの適正なる自動的分
類を可能とすること。 【構成】 ビジネスフォームが罫線の存在を特徴とする
点に着目し、1つ又はそれ以上のビジネスフォームのテ
ンプレート12の特徴を保存するための手段18と、1
つ又はそれ以上の実際のビジネスフォーム22を走査し
てこれを表す走査データを生成するための手段24と、
走査したビジネスフォーム22上の垂直及び水平の線パ
ターンのみを認識する手段を有して前記走査データを認
識するためのパターン認識手段26と、認識したデータ
を予め保存されたフォームと照合して実際のビジネスフ
ォーム22の様式の特定を提供するための手段28と、
前記実際のビジネスフォーム22を線毎に走査すること
によってこれを表す黒画素データと白画素データを形成
する手段と、隣接する前記黒画素の1つを識別してX成
分及びY成分を有する接続した要素を認識するための手
段とによりシステム構成した。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、多様なビジネスフォー
ムを自動的に分類するためのビジネスフォーム識別シス
テム及び画像処理システムに関する。
【0002】
【従来の技術】ビジネスフォームは、通常、データの収
集又は配分に用いられる文書の特殊クラスである。これ
の用途は産業界から官庁まで広汎に渡り、業務を遂行す
る上で必要とされる書類上の作業の極めて大きな部分を
占める。本発明は、このような多様なフォーム様式を同
時に作成する能力を有する画像処理システムの開発の基
盤を提供するフォーム識別機構に関する。
【0003】文書画像を取込んで管理するためのデジタ
ル機器の使用は、ここ数年で大幅に普及した。これらの
画像の走査、処理、表示、又は保存の能力を有する多様
なシステムが現在では商業的に入手可能となっている。
これらは単純なスキャナと数メガバイトの補助メモリを
備えたスタンドアロン型パーソナルコンピュータから高
速スキャナとギガバイト単位の光記憶装置を備えたワー
クステーションとメインフレームの広域ネットワークま
で範囲が広い。
【0004】こうした文書画像管理システム(Documen
t Image Management Systems =DIMS)と称する
システムの大半は、均一な文書、例えば取消した小切
手、保険請求、又はクレジットカードの伝票などのバッ
チ処理を行なうように設計されている。
【0005】
【発明が解決しようとする課題】この方法は今日の大量
の文書操作には充分であるが、新しいアプリケーション
は異種の文書グループを処理しなければならないように
思われる。主要な文書形式が存在しないが、様式の仕分
けを要する郵便室、生産フロア、又は人事部などの部門
を含む組織の全領域にDIMSの使用が広がる場合、こ
れは特にあてはまると思われる。しかして、本発明は、
多様なビジネスフォームを自動的に分類するための方法
の改良を含むシステムを提供することを目的とする。本
発明によるビジネスフォーム識別システムは、均一なビ
ジネスフォームの流れを自動的に分類するための手段及
びこれに対応する方法を提供するものであり、この能力
は多様式文書処理アプリケーションの開発に必須とな
る。
【0006】
【課題を解決するための手段】請求項1記載の発明で
は、1つ又はそれ以上のビジネスフォームのテンプレー
トの特徴を保存するための手段と、1つ又はそれ以上の
実際のビジネスフォームを走査してこれを表す走査デー
タを生成するための手段と、走査したビジネスフォーム
上の垂直及び水平の線パターンのみを認識する手段を有
して前記走査データを認識するためのパターン認識手段
と、認識したデータを予め保存されたフォームと照合し
て実際のビジネスフォームの様式の特定を提供するため
の手段と、前記実際のビジネスフォームを線毎に走査す
ることによってこれを表す黒画素データと白画素データ
を形成する手段と、隣接する前記黒画素の1つを識別し
てX成分及びY成分を有する接続した要素を認識するた
めの手段とによりシステム構成した。
【0007】これに加えて、請求項2記載の発明では、
接続した要素が長い線分を形成するかを調べるための手
段を含むものとし、これに加えて、請求項3記載の発明
では、2つ又はそれ以上の連続した線分がビジネスフォ
ーム上の同一の線の部分をなしているか調べるための手
段と、前記同一の線の部分をなすと見做された前記線分
を併合するための手段を含むものとし、これに加えて、
請求項4記載の発明では、雑音又は歪曲情報を排除する
ための後処理手段を含むものとし、これに加えて、請求
項5記載の発明では、走査した画像の中で発見された全
ての線の長さを加算してキー値を生成するためのインデ
ックス付き辞書アクセス手段を含むものとし、これに加
えて、請求項6記載の発明では、テンプレート及び実際
のフォームからの線情報を、線と交点のカウント又は線
の長さの和などの単一のスカラー値に縮合して候補リス
トからテンプレートを破棄するようにした集合弁別手段
を含むものとした。さらに、これに加えて、請求項7記
載の発明では、2つ又はそれ以上の線のパターンの間の
空間的類似性を調べるための交点弁別手段を含むものと
し、これに加えて、請求項8記載の発明では、走査した
画像の中の線の配置を測定して、投影情報を前記画像の
所定領域内の線の存在を表現する2進数の値に縮合する
ための類似性弁別手段を含むものとし、これに加えて、
請求項9記載の発明では、線の長さと線間の距離を比較
するための投影弁別手段を含むものとし、これに加え
て、請求項10記載の発明では、実際のフォーム及びテ
ンプレートのフォーム内の前記線のパターンを分析する
ためのウインドウ照合手段を含むものとし、これに加え
て、請求項11記載の発明では、実際のビジネスフォー
ムの様式を調べるための決定関数手段を含むものとし
た。
【0008】また、請求項1記載の発明において、請求
項12記載の発明では、保存するための手段が階層的方
法でテンプレートの特徴を構成するための手段を含むも
のとし、請求項13記載の発明では、適合処理の部分的
結果を表示するための手段を含むものとした。
【0009】請求項14記載の発明では、これらをより
一般化した多様なビジネスフォームを自動的に識別し、
又は分類するための画像処理システムであって、1つ又
はそれ以上のビジネスフォームのテンプレートの特徴を
保存するための手段と、1つ又はそれ以上の実際のビジ
ネスフォームを走査するための手段と、実際のビジネス
フォームから特徴を抽出するための手段と、保存された
テンプレートの特徴と前記抽出した特徴を逐次的に照合
するための手段とにより構成するが、特徴を抽出するた
めの手段は、前記実際のビジネスフォームを線毎に走査
してこれを表す黒画素データと白画素データを構成する
ための手段と、隣接する前記黒画素の1つを識別して接
続した要素を認識するための手段と、前記接続した要素
が長い線分を形成するか調べるための手段と、2つ又は
それ以上の連続する線分が同一の線の部分をなすかを調
べるための手段と、前記同一の線の部分と見做された前
記線分を併合するための手段とを含むものとし、照合す
るための手段は、縦及び横の線を識別するための手段
と、前記走査した画像の中に発見された全ての線の長さ
を加算してキー値を生成するための手段と、前記テンプ
レート及び実際のフォームからの線情報を、線及び交点
のカウント又は線の長さの和などの単一のスカラー値に
縮合して候補リストからテンプレートを破棄するように
した手段と、2つ又はそれ以上の線のパターンの間の空
間的類似性を調べるための手段と、前記走査された画像
の中の線の配置を測定して、投影情報を前記画像の所定
の領域内の線の存在を表す2進値に縮合するための手段
と、線の長さと線間の距離を比較するための手段と、前
記実際のフォーム及びテンプレートのフォーム内の前記
線のパターンを分析するための手段と、前記実際のビジ
ネスフォームの様式を調べるための手段とを含むものと
した。
【0010】
【作用】ビジネスフォームは使用可能な空間を区切る垂
直線(又は、縦線)と水平線(又は、横線)の存在を特
徴としており、罫線と称されるこれらの線を2レベルの
デジタル化画像で識別し、特徴抽出に適用する以前に、
文字がグラフィックスから分離されることになる。つま
り、既存のベクトル化、線抽出及び文字・グラフィック
ス分離法によるものと異なり、専ら垂直線及び水平線の
識別に注目したものである。これにより、多様なビジネ
スフォームの適正なる自動的分類が可能となる。
【0011】
【実施例】以下、本発明の好適な一実施例を図面を参照
して説明する。本発明は、好適な一実施例との関連にお
いて詳述されることになるが、本発明はこれらの実施例
に限定されることを意図していないことは理解されよ
う。むしろ、本発明は特許請求の範囲に示したように代
替、変更、同等のものを包括することを意図し、これら
は本発明の精神と範囲に含まれ得るものである。
【0012】なお、本実施例は、以下の各章に分類して
順次説明するものとする。 1.方法 2.特徴抽出 3.照合 4.フォーム辞書 5.性能の評価 6.結論 7.接続した要素の識別 8.実装と試験 9.結論
【0013】1.方法 この章では、フォーム識別システムの開発のために選択
した方法を詳述する。本方法は典型的なパターン認識法
に従っており、ここで注目しているオブジェクトから特
徴が抽出され、パターンのクラスを特徴付けるテンプレ
ート群の特徴と照合される。より詳細には、ビジネスフ
ォーム識別システムは次の2段階よりなる。 1.準備−この間にアプリケーションのドメインにある
フォームのクラスを表わすテンプレートが走査され、こ
れの特徴が抽出され、結果がフォーム辞書内に編成され
る。 2.分類−この間に合致が発見されるか、又は「未知の
フォーム」の決定に到達するまで、実際の作成フォーム
の特徴が辞書のテンプレートの特徴と系統的に比較され
る。
【0014】システム構成を図1に示す。同図に示す部
材は走査モジュールを除き、以下の章で詳述する。図1
のシステム部材には適当な走査部14を備える特徴抽出
部16への入力であるテンプレートフォーム12を含
む。特徴抽出部16はフォーム辞書18内に保存される
テンプレートの特徴を提供する。実際のビジネスフォー
ム22は適切な走査部24を介して走査され、特徴抽出
部26への画像を提供する。フォームの特徴は後述する
ように抽出され、照合部28でテンプレートの特徴とフ
ォームの特徴との正確な照合を行なってフォーム識別が
出力に提供される。
【0015】2.特徴抽出 この章では、水平及び垂直の線をフォームの認識のため
の特徴として使用することを詳述する。また、既存の線
分抽出技術の限界を簡単に詳解し、より高速な識別を可
能にするためにビジネスフォームの特定の属性を使用す
る改良した方法を概説する。
【0016】ビジネスフォーム32は、図2に例示する
ように、データを入力し得るようになした所定のフィー
ルドの存在が特徴である。このようなフィールドは、通
常使用可能な空白部分を限定する水平線と垂直線との組
合せによって識別される。たいていの場合、これらの線
はフォームを個別に識別するパターンを提供しており、
そのためフォームの区別に使用することができる。本章
の残りではこれら罫線と称する線の識別を行なうアルゴ
リズムを概説する。2つのフォームが同一の線の構成を
共有している状況では、フォームを区別するフォーム識
別番号(ID)又はロゴがたいてい存在している。これ
らのオブジェクトは曖昧さの解消に使用し得る一方で、
ここで実装しているシステムは排他的に線を使用する。
【0017】ラスター画像をベクトルに変換するアルゴ
リズムを詳述した論文は多数存在する。これらの手法で
は元の画像データをアプリケーションレベルで操作する
のにさらに好適な高レベルの画像記述子へ変換してい
る。これらは光学文字認識システム(Optical Characte
r Recognition System)[文献1,2]で文字間を識別
するため、又はグラフィックスプログラム上で使用し得
るように元々紙上に製作された線画の走査画像をベクト
ル化するために使用される[文献3,4,5,6]。
【0018】ここに、 文献1 S.Mori and T.Sakura,“線の抽出と手書き漢字
の字画への用途”,第7回パターン認識国際会議抄録、
366−369ページ、1984年 文献2 Pavlidis,T.,“文書認識のためのベクトル化装置
と特徴抽出装置”,Computer Vision,Graphics, a
nd Image Processing誌、35巻、111−127ペ
ージ、1986年 文献3 H.Bunke,“回路図中の文字とグラフィックスの自動
的解釈”,パターン認識理論の応用、J.Kittler,
K.S. Fu and L.F.Pau編、D.Reidel社、B
oston, 297−310ページ、1982年 文献4 M. Karima,K.S.Sadahl, and T.O.McNei
l,“設計図からコンピュータ支援設計へ”,IEEE
コンピュータ・グラフィックスと応用、24−39ペー
ジ、1985年2月 文献5 L.A. Fletcher and R.Katsuri, “文字列とグ
ラフィックスへの2進画像の分割”, SPIE 786
号 人工知能の応用,533−540ページ、1987
年 文献6 C.C.Shih,R.Katsuri, “グラフィックス認識
用の線記述ファイルの生成”,SPIE 937号 人
工知能の応用,568−575ページ、1988年 である。
【0019】基本的に上記に列挙した複数のアルゴリズ
ムは、フォーム画像の罫線の識別に適用することができ
る。しかし、これらは線の方向又は寸法には関係なくあ
らゆる線と曲線を識別するように設計されていることか
ら、最も有効な方法で業務を遂行することはできない。
例えば、上記文献5に記載の画像分解アルゴリズムは、
ハック変換を用いて同一線上にある線分をグループ化し
ている。線分の方向が任意であるためこの操作は必要で
ある。逆に、本方法で用いた要素識別技術は、画像の軸
に平行な線分だけを区別しているため、2つのオブジェ
クトの最も近い端部の間の距離についての簡単なテスト
を用いて、2つのオブジェクトのグループ化を実行する
ことができる。先の例では、罫線の属性に関する特定の
知識を用いるより効率的な罫線識別アルゴリズムを設計
することが可能であることを示唆している。この知識は
次のように要約することができる。 1.罫線は画像の軸と平行している。これによって同一
行又は同一列内に位置する黒い接続画素のシーケンスに
アルゴリズムが合焦できる。 2.90度の角度に注目している。画像が線毎に走査さ
れる間に水平線を検索することは、画像が列毎に走査さ
れる間に、垂直線を検索することと等価である。そのた
め、次のような単純なアルゴリズム (1) 走査線と平行の線の発見に排他的に注目する (2) どちらの方向にも独立して動作可能である を有する設計が可能になる。
【0020】これらの知見は、新しい線の抽出用アルゴ
リズムの設計で勘案されたものであり、そのアルゴリズ
ムは次の4段階で識別を行なっている。 段階1:接続した要素の識別 この段階では、フォーム画像は隣接する黒い画素の組が
識別されながら、行毎(列毎)に走査される。これらの
組は“接続した要素”と称し、線の識別で基本的構成ブ
ロックを提供する。 段階2:オブジェクトの選択 接続した要素が識別された後、その高さと幅が検査され
てこれらが“線の部分”でありそうか決定される。長い
形状、即ち、幅が高さより大幅に大きい(水平線)か、
又はその逆(垂直線)の状態にある線分だけが許容され
る。 段階3:併合(マージ) 薄く接続した要素の組が識別されると、次の段階は2つ
の連続した線分が同一の線の部分をなし得るか決定する
ことである。この検査に合格した場合、その線分は併合
(マージ)され、それ以外の場合では別個のオブジェク
トと見做される。併合処理後に残る細い線分は線と見做
される。 段階4:識別後の処理 最後の段階では、画像内の雑音又は歪曲によって、線と
して誤って識別されたパターンをアルゴリズムが除外す
る。典型的なビジネスフォームに見られる線のパターン
の形式を記述する一連の規則がこの目的で使用される。
【0021】このアルゴリズムを実行した実験によれ
ば、より詳細な方法より有意に高速であることが示され
ている。例えば、前述した文献2の結果からは2048
×2048画素の画像を処理するために約3分かかるこ
とが示されている。一方、新しい識別アルゴリズムは典
型的なフォーム(1672×2176画素)を3秒以内
で処理可能である。これらの測定結果は直接比較すべき
ものではないが、各々の例で実行した動作の差が与えら
れれば、方法を特定化したことで得られた長所が一層明
示される。アルゴリズムについては以下で詳述する。
【0022】3.照合 本発明で開示したフォーム識別の形式は、アプリケーシ
ョンのドメインで発見されるべき文書のクラスを表現す
るテンプレートを含む辞書の存在を前提としている。こ
の章では、実際の製作フォーム又は単にフォームが属す
るクラスを決定するため、フォーム辞書18を系統的に
検索する照合アルゴリズムについて概説する。
【0023】罫線は、2章でフォーム識別の第1の手段
として識別されている。しかし、罫線の提供する情報の
レベルは非常に詳細であり、必ずしもあるフォームがあ
るクラスに属していないと決定するのに必要とされな
い。例えば、実際のフォームで検出された線数が35
で、テンプレートが150線を有する場合、このフォー
ムがこのクラスに属する見込みは極めて低い。よって、
実際の線の位置又はこれらの長さの比較は不要である。
【0024】一般に、フォームの照合処理はシステム
が、まず、初期候補群を構成し、次に、一連の判定用関
数を適用して、実際のフォームと適合しそうにないテン
プレートを除外するといった段階的な方法で実行し得
る。照合処理過程を図3に示す。処理は、幾つかの候補
に絞られるまで継続して、その時点で決定関数が適用さ
れ、又は候補リストが空であれば「未知」の決定に到達
する。各々の段階を次に詳述する。
【0025】3.1 インデックス付き辞書アクセス 図3を参照すると、フォーム辞書18内のテンプレート
は機能抽出処理で取得した線情報から派生する数値キー
に従って配列している。インデックス付き辞書アクセス
34の段階の間、システムは実際のフォームから同じ値
を導出し、次のようなフォーム辞書18の検索に使用す
る。 retrieve templates from dictionary where template.key > actual.key*MIN KEY DIS
C RATIO and template.key > actual.key*MAX KEY DIS
C RATIO なお、“MIN KEY DISC RATIO”と“MAX KEY DISC RATI
O”は調節可能な閾値である。
【0026】ここで、実装しているアルゴリズムは、画
像中で発見された全ての線の長さを加算し、これをキー
値として使用するものである。この式を選択する際に用
いた基準は計算の簡単さと、明らかに異なる線のパター
ンからフォームを分離する能力である。
【0027】3.2 集合の弁別 集合を基盤とする弁別(集合弁別手段36)では、テン
プレートと実際のフォームからの線情報を単一のスカラ
ー値、例えば、線数と交点数、又は線長の和に集約す
る。これらの値の比又は絶対差分を用いて候補リストか
らテンプレートを排除する。集合の弁別は、単純な算術
及び幾何計算によるものであって実際のフォームと最も
異なるテンプレートの排除を行なう安価な方法を提供し
ている。弁別式としてここで用いている集合値には、次
のような (1) 線数 (2) 「長い」線の数 (3) フォームの中心を横断する線数 が含まれる。これらの関数が選択されたのは線のパター
ンの異なる属性を測定しており、また、計算が安価なた
めである。よって、例えば、2つのフォームの線数が極
めて近接しているとしても、実際の長さの何らかの差が
全体としての線の比重に反映されることになる。同様
に、2つのフォームが同一の線比重を有している場合で
も、線の位置の差がどちらかのフォーム中心を横断する
線数に反映される。第1の2つの集合の計算にはありふ
れた算術操作が必要である。第3の例ではある線がフォ
ーム中心を横断しているか検査する必要がある。全ての
線が一定していることから、この検査は次のような記述
を評価することへ縮小される。 line.Xmin < ROW LENGTH/2 < line.Xmax (水平線) line.Ymin < LINES/2 < line.Ymax (垂直線) なお、{(Xmin,Ymin),(Xmax,Ymax)}は線の端部の
座標である。
【0028】3.3 交点の弁別 集合の弁別は、線のパターンの全体属性を測定するが、
フォーム中での線の位置は考慮していない。交点弁別手
段38による交点弁別はその名で示されるように空間的
位置関係を用いて2つの線のパターンの間の類似性を検
出するものである。これは、水平と垂直の線が交わる点
を発見することに関係する。この検査は、交点の個数の
みを使用しその位置は使用しないことから、事実上新し
い形態の集合弁別である。しかし、その計算がより高価
である(O(N2 )に対してO(N))ことから別個であると
見做し、そのため、集合の弁別に合格したフォームにつ
いてのみ実行されるべきものである。
【0029】線のパターンにおける交点を計算するため
には、線識別機構が線の位置を近似することを場合によ
っては考慮する必要がある。よって、実際のフォームに
おいて実際に抵触する線は識別後に分離されることがあ
る。以下の検査はこうした状況を勘案したものである。 交点の検査:HLを水平線、{(HL.x1,HL.y1),
(HL.x2,HL.y2)}を端部の座標とする。同様にH
Vと{(HV.x1,HV.y1),(HV.x2,HV.y2)}
を各々縦線とその座標とする。Wを次のようにHLの周
囲に作る方形として、 W.x1=HL.x1−INTER HOR WIN SIZE W.x2=HL.x2−INTER HOR WIN SIZE W.y1=HL.y1−INTER VER WIN SIZE W.y2=HL.y2−INTER VER WIN SIZE HLとHVはWとHVが交差する場合のみ交差する。
【0030】図4に図示した検査は、交差しないが抵触
する線が交差として計数されるようになしている。“IN
TER HOR WIN SIZE”と“INTER VER WIN SIZE”は調節可
能なパラメータの値である。ここで、実装しているアル
ゴリズムは各々の交点の位置を記録している。これらの
値は将来より詳細な交点を基盤とした弁別に使用するこ
とができる。
【0031】3.4 類似性の弁別 この章で議論する方法は、本システムで使用される2つ
の投影を基盤とする方法のうちの一つである。これらの
方法は、識別した線をフォームのデカルト軸(Y軸上の
水平線、X軸上の垂直線)に配当した後、この方法で生
成されたパターンを比較してこれらの類似性(近似性)
を判定する。この処理は類似性弁別手段40で行なわれ
る。図5にこの処理のための線の投影を示す。線の位置
を考慮しない集合弁別とは異なり、投影法の結果は線の
位置に影響される。計算は高価になるが、正確度は向上
し、なおかつ、識別した線の詳細な比較は回避されてい
る。
【0032】近似法では、画像内の線の配置を測定す
る。これは投影情報を所定の画像領域内における線の存
在を反映する一連の2進数に縮合する。これらの領域は
投影軸をN個のバケットに分割することによって得られ
る。図6に近似法の処理結果を示す。あるバケットに属
する値は次の公式 bi =1:領域Ni が1線以上を含む場合 bi =0:それ以外 から計算する。値{bi }の組は、文字列で構成され、
線のパターンを区別する際に用いられる新しい特徴を提
供する。
【0033】本来、2つのフォームの間の類似性は対応
する文字列の直接的比較によってもたらされ得る。しか
し、実際には画像内のフォーム位置のわずかな変化であ
っても線を別のバケットへ配当することになるため実施
されない。その代わり、以下の検査でテンプレートが候
補リスト内に残っているか又は破棄されたかを知ること
ができる。 段階1 TとAをテンプレートと実際のフォームとし、 B(T)={bi(T)}とB(A)={bi(A)}を各々の水
平2進数列(同様のことを垂直線にも行なう)とし、 S(B(T))=Σbi(T) S(B(A))=Σbi(T) をB(T)とB(A)での1の和とする。 |S(B(T))−S(B(A))| > Ti であればTを破棄し、それ以外では段階2へ進む。 段階2 M(B(T))とM(B(A))をB(T)とB(A)内の
1の配置の中央の点とし、 |M(B(T))−M(B(A))| > T2 であればTを破棄し、それ以外では段階3へ進む。 段階3 B1(T)とB2(T)をB(T)の左と右のN/2値
として、同様にA1(T)とA2(T)を決定する。 |S(B1(T))−S(B1(A))| > T3 又は |S(B2(T))−S(B2(A))| > T3 又は |M(B1(T))−M(B1(A))| > T4 又は |M(B2(T))−M(B2(A))| > T4 であればTを破棄し、それ以外であればこれを許容す
る。これらの検査は線のパターンの異なる属性を測定
し、また、2進数列にあるわずかな差を許容するように
設計された。
【0034】3.5 投影の弁別 投影弁別手段42による投影の弁別も、フォームの線を
画像の軸に配当した結果得られたヒストグラム風の構造
を用いる。しかし、線がバケットの範囲内に存在するか
ということだけに依存する近似法と異なり、投影法は投
影された画像内に出現する線の1:1の比較を実行す
る。この比較は、線の長さと線間の距離の双方に関係す
る。考慮されない唯一の知見は平行する軸に対する線の
位置である。例えば、ある列の左手側に位置する110
画素の線は同一の線長であるが列の右手側に位置してい
る線と全く同一の方法で配当される。
【0035】本方法では、図7に示すように、線の投影
のネットワーク表現を用いており、ここで節は線とその
長さを表わし、これらを隔てる距離を弧で結んでいる。
アルゴリズムは実際のフォームとテンプレートのネット
ワークを同時に検索して可能な限り多くの節と弧を照合
させようとする。フォーム内で観察された線の長さと距
離に多少の変動が存在することから、照合は閾値に対す
る差分の比較によって行なわれる。さらに、アルゴリズ
ムは一連の規則を用いて実際のフォームの節とテンプレ
ートのネットワークの間の関連性が多数:1になる場合
を判別する。こうした場合は、実際のフォームのパター
ンが、画像内の雑音又は歪曲によって生成されて寸断し
ている線又は署名、印証、又はテンプレートには存在し
なかった文章に由来する過剰な線を含む場合に発生す
る。図8には、実際のフォームとテンプレートの節との
多数:多数の相関関係を示す。
【0036】3.6 ウインドウの照合 ウインドウ照合手段44でのウインドウの照合検査は、
実際のフォームとテンプレートのフォームにある線のパ
ターンの詳細な分析を実行する。識別された線から利用
し得る全ての情報がここでは考慮される。よって、これ
はフォームを比較する最も正確な方法を提供するもので
あるが、同時に最も高価でもある。照合処理において、
このレベルに到達する候補は極めて類似した線のパター
ンを有していると推定される。
【0037】この章で詳述した方法は「ウインドウの照
合」の概念に基づいている。テンプレートのフォームの
線を包囲する方形として定義されるこれらのウインドウ
は、2つの線のパターンの間の類似性の度合を決定する
ために使用される。ウインドウはフォーム識別の準備段
階の間に作成され、識別段階の間に使用するためフォー
ム辞書18内に保存される。処理を次に詳述する。水平
線について議論を進めるが、垂直線にも等しく応用し得
るものである。以下の定義を本論を通して使用する。 T: テンプレートフォーム A: 実際のフォーム HLines(T): Tの水平線パターン HLines(A): Aの水平線パターン hli(T)=(x1,x2,y) HLines(T)のi番目 HWS 水平方向のウインドウ寸法 VWS 垂直方向のウインドウ寸法
【0038】ウインドウはシステムが準備されていると
きに定義される。この処理の間に線の組HLines(T)が
アルゴリズムに渡され、多角形の集合HPolygons(T)
とスカラー値の組HScore(T)が次のように生成され
る。図9を参照して説明する。 段階1:ウインドウの生成 各々の線hli(T) について方形のウインドウを生成す
る。 hwi(T)=(x1−HWS,x2+HWS,y−VW
S,y+VWS,)図9(b)参照。 段階2:ウインドウの併合 ウインドウhwi(T)とhwj(T)の対の各々について hwi(T) ∩ hwj(T)≠0 ならば多角形を生成し hpm(T)=hwi(T) ∪ hwj(T) 交差する全ての方形のウインドウが多角形に取り込まれ
るまでこの段階を反復する(図9(c)参照)。HPolyg
ons(T)={hpm(T)}を得られた組とする。 段階3:テンプレートの点数化 lhsmk(T)をhpm(T)内での可視のhlk(T)の部分
とし、llmk(T)をこれの長さとする(図10参照)。
各ウインドウの点数は次のように求まる。 hsm(T)=Σllmk(T) 辞書準備処理の点数化段階は組HScore(T)={hs
m(T)} の計算を行ないデータ辞書内でこれを点数化す
る。
【0039】llmk(T)の評価には、ある線とある多角
形の交差を計算する必要がある。これは従来からの公式
を介して実行され得るが、各々の多角形ウインドウがこ
れを生成した方形によって記述され得ることによって計
算は簡略化される。例えば、hpm(T)がhwi(T)とh
j(T) の交差である場合、得られる多角形は次のよう
に記述できる。 {hwi(T) ∪ hwj(T)} − {hwi(T) ∩ hwj
(T)} この等式を次のように線の全長の計算に使用することが
できる。 llmk(T)=LRIntersect(hlk(T),hwi(T))
+LRIntersect(hlk(T),hwj(T))+LRInt
ersect(hlk(T),hwi(T)∩ hwj(T)) ここで、LRIntersectは、(1) ある方形に交差する
線の線分を決定し、 (2) その長さを評価する関数である。線と方形の双方
とも常に一定であるからこれは簡単な関数である。
【0040】3つ又はそれ以上の方形が交差する場合に
対するこの式の拡張は次の等式によって可能である。 hpm(t)=∪{hwj(T)}−∪{hwi(T)∩ hwj
(T)}+∪{hwi(T)∩ hwj(T)∩ hwk(T))}
−+…
【0041】照合段階の間、HPolygons(T)内の多角
形はHLines(A) に上書きされて点数HScore(A)が
得られる。AとTの類似性はHScore(T)とHScore
(A)の値の差で決定される。より詳細には、二つのフォ
ームの間の差は次の式で測定される。 Diff(A,T)=√{Σ(hsm(T)−hsm(A))2 / Σ
(hsm(T))2 } この関数の値は常に範囲[0.0,1.0]にある。こ
こで、“0”は完全に一致、“1”は完全に不一致であ
る。T1は値Diff(A,T1) が所定の許容域値以下であ
る場合のみ許容される。
【0042】3.7 決定関数 この章では、決定関数手段46による適合処理の最終段
階を詳述する。この段階では、弁別検査の部分的結果を
用いる。これらの値は、識別されたフォームにテンプレ
ートがどの程度まで一致しているかを表しており、検査
される値のフォーム対テンプレート比から1を減算した
後、これの絶対値をとることによって計算される。例え
ば、行カウントに基づいたテンプレートの除外はテンプ
レート内の行数、例えばLCt を実際のフォーム内の行
数、例えばLCa で除算して行なう。この検査のエラー
は|1−LCt /LCa |である。1の比は完全一致で
あり0に等しいエラー値が得られる。
【0043】決定関数は得られるエラーの重み付け平均
をとり、これらの値に従って候補を順序付け、その後、
リストの最上位の候補を選択する。関係するエラー値は
次のようなものがある。 LC E: 線カウント比エラー WL E: 線重み比エラー FCC E: フォーム中心交差比エラー IC E: 交差カウント比エラー APP E: 近似比エラー PROJ E: 投影比エラー WIN E: ウインドウエラー これらの量は次のように重み付けされる。 W1(LC E+LW E+FCC E+IC E)+
2APPR R+W3PROJ R+W4WIN E ここで{W1} は定数の組で、ΣW1=1 などである。
これらの値はシステムの能力を調節するために任意に設
定でき、ウインドウ検査はより詳細であることからW4
の値が他より重み付けされると推測される。同様に次の
関係もW3>W2>W1 に保持されることになる。
【0044】4. フォーム辞書 フォーム辞書18は、適合処理を支援するために必要と
される情報を保存する部分である。その内容及び構造
は、適合アルゴリズムの必要性によって記述されること
になる。一般に、辞書は階層状に構成され、集合値は前
もって利用可能なヘッダに配置される。より詳細な情
報、例えば投影法又は線を基盤とする方法で必要とされ
る情報などは階層をさらに下って配置され、必要な場合
にのみ呼び出される。辞書準備の処理はクラスを表すフ
ォームを集め、走査し、特徴を抽出することからなる。
この動作はクラス名又はキーを決定することになる利用
者の監督下に実行すべきものである。
【0045】5. 性能の評価 この章では、正確度を測定する目的で、フォーム識別シ
ステムで実行したテストの結果を示す。テストの環境を
簡単に解説してから、システム内の基幹パラメータと有
効性にかかわる影響について議論する。
【0046】議論してきたフォーム識別システムは株式
会社リコーのソフトウェア研究センター(Ricoh Corp
oration's Software Research Center) でUNIX
/C環境に実装された。本システムの主プログラムは、 (1) フォーム画像とフォーム辞書を与えてフォーム識
別番号又はNO MATCHフラグを返す分類プログラ
ム (2) テンプレートフォームの特徴を所定の辞書に追加
する準備プログラム からなる。2つの補助プログラムがシステムを補完す
る。一方はフォーム辞書内で必要な構造を生成し、他方
はデバッグ又はパラメータの設定を目的として適合処理
の部分的結果を表示する対話型ツールである。
【0047】走査された画像フォームが識別される方法
に影響する4種類の特性は、 (1) 歪曲又は回転 (2) 2進化処理で用いる閾値(コントラスト) (3) 走査機構の不純物によって生成された背景雑音 (4) 文章及び/又は署名の存在 である。一方、システムの動作を調整するために使用し
得るパラメータが幾つか存在する。次に詳述する検査方
法は、システム内の基幹域値とその最も適切な値を認識
するために使用された。
【0048】フォーム識別システムは150文字の大き
さのテンプレートフォームを文献7(R.L.Adams,
10秒間ビジネスフォーム,Bob Adams社,Boston,
1987年)から複写し、200dpiで走査した21
76線×1672画素を用いて検査した。システムは最
初に手書きで埋めた200枚のフォームでテストした。
しかし、綿密にシステムを評価するためには注目してい
る特性を統合した一連の検査用フォームを作成する必要
があった。これらのフォームは辞書内に保存したテンプ
レートと画像にオブジェクトと雑音を付加する画像処理
関数を用いて自動的に生成した。
【0049】表1は処理内で用いた変数を示したもので
ある。全ての組合せを考慮したが、次のような2つの種
類に分類した。 分類 回転 転写 コントラスト 1 D C,D,E C 2 B、C、E、F B、C、E、F B、D グループ化した目的は、原本から(分類1)また第1の
複写(分類2)から取得した画像を模倣することであ
る。
【0050】
【表1】
【0051】これらの分類の元で行なった検査の結果
は、各々99.78%、97.32%であった。さら
に、同一のフォームにビジネスフォームで一般的に見ら
れる印章(即ち、「送信済み」、「支払い可」、「部外
秘」など)を含むように変更した。こうした異質のオブ
ジェクトの存在は、システムの正確度に重大な衝撃を与
え、観察された正確度は、各々96.25%と90.3
8%へ減少した。この低下の原因は、印章自体の中に線
が存在したことと、実際の文書の線上に上書きした場合
に生成された雑音によるものである。これらの検査で用
いたパラメータ値は、異なるパラメータ群の感度を分析
した一連の経験によって得られたものである。
【0052】システムの速度は、異なる容量の辞書と組
合せて100枚のフォームを読込ませた検査の別々のグ
ループで測定した。結果を図11に示す。図中で各フォ
ームに要した平均時間は2つの部分に分割してある。1
つは線の識別に対応し、他方は照合に対応する部分であ
る。平均線識別時間は個別に測定した。時間はサンマイ
クロシステムズ社(Sun Microsystems)のSparcSta
tion 1で測定した。
【0053】最後に、照合処理の各段階で破棄されたフ
ォームの比率の研究から下記に示すような結果が得られ
た。これらの数値は別個に勘案した場合の各方法の効率
の指標を与えるものである。 個々の弁別比 初期弁別 37.63% 集合弁別 48.18% 交差弁別 58.48% 近似弁別 70.94% 投影弁別 84.72% 最良候補の選択 84.77% ウインドウの一致 99.57%
【0054】6. 結論 フォーム識別システムは、異なるフォーム様式を同時に
取扱う必要のある文書画像化システムの開発に使用する
ことができる。本システムは各種条件の下で試験を行な
い、5章に示したように、その性能は満足すべきもので
あると証明された。プロジェクトの次の段階は本アルゴ
リズムの弱点の理解を深める目的でパラメータ感度のさ
らに詳細な分析を進めることである。
【0055】さらなる研究に関して、次の段階は本シス
テムをタイプ打ち又は手書き何れかとOCRとを組合せ
てフォームの分類をなすだけではなく、個別に識別する
ようになすことである。こうした技術のうまく行った組
合せは文書画像管理システム用の強力かつ柔軟な検索機
構をもたらすはずである。
【0056】7. 接続した要素の識別 接続した要素の識別は、連続した黒い画素を組としてグ
ループ化することによる。2つの画素が8つの接続を有
している場合、これらは連続していると言う。図12に
この例を示す。接続した要素を検出するために使用した
技術は画像を線毎に走査して、黒い画素をオブジェクト
に「併合」し「成長させる」ことよりなる。この処理
は、図13に示すような次の例で良く述解されている。
【0057】いま、図13(a)に示すような2進数の行
列を考え、これがある画像の画素配列を表すと仮定す
る。接続した要素の識別処理はマーカーのアレイを用い
て画素とオブジェクトの関連性を追跡する。このアレイ
は各々のピクセルにある組を識別する整数を付随させ
る。マーク付け処理の間、画像は線毎に左から右へ読込
まれる。前方に画素が存在せず、ある画素の接続性が決
定されるのはそれのW、NW、NEの隣に対してだけで
ある。マーク付け値は次のように決定する。 1 全ての白い画素は0にマーク付けされる。 2 黒い画素が周辺部へ接続していない場合、これには
新しいマーク番号が割当てられる。図13(b)には最初
の線が走査された後のマーク付け値を示す。 3 黒い画素が同一マークの付いた黒い画素の一つ又は
それ以上に接続している場合、この画素には同一の番号
が付けられる。図13(c)には10番目の線の後のマー
ク付け値を示す。 4 黒い画素が異なるマーク番号の2つの要素に接続し
ている場合、オブジェクトを併合する。この処理の間、
要素に付けられた最大の番号を有するマークは最低の番
号に変更される。図13(d)はマーク1,2の併合を示
す。 全ての線が走査された後で得られるマーク付けの行列
は、画像内の全ての接続した要素を記述する(図13
(e)参照)。
【0058】7.1 画像の圧縮 上述したアルゴリズムの複雑さは、N行で行当りM画素
の画像が与えられた場合、即ち、N×Mの場合である。
これはランタイムとメモリ要求の双方に適用される。本
章ではこの後、この基本的考案への変更により2MBの
メモリセルしか必要とせず、ランタイムの複雑さが1/
16のアルゴリズムが得られるようにすることについて
詳述する。
【0059】アルゴリズムのランタイムの複雑さは、画
像が画素毎ではなくバイト毎に走査された場合減少し得
る点にある。この圧縮は処理されるべき要素の数をN*
M/8へ減少させる。また、既存のプロセッサにおい
て、大半のI/O及びメモリ管理命令はバイトレベルで
動作していることから、アルゴリズムのさらに効果的な
実装が可能になる。バイトレベルでの作業には連続した
8画素で利用可能な情報が単一の値に縮小される必要が
ある。この応用の目的で、各々の可能なバイト値(0か
ら255)が0と1のパターンを表現する。このような
ビットのパターンを線分が「1」とし、残りが「0」と
して、最も発見され易くなるように割当てることによっ
て圧縮が完了する。
【0060】どのビットパターンが1に割当てられどれ
が0になるかの決定は処理する画像の形式によって変化
する。画像が明解で歪曲していなければ、8つ連続した
1を含むバイト(10進値で255)だけが選択されれ
ばよい。逆に雑音が多いか又は歪曲を有する画像の線は
孔が開くことになり、ある程度0を含むビットパターン
を許容する必要がある。
【0061】本アルゴリズムの現在のバージョンでは、
次式 SelectByte(b)=1 0の数<4で連続する0の数
≦1の場合 SelectByte(b)=0 それ以外 ………………………………(1) に従ってバイト値を配当している。
【0062】この規則は、鮮鋭度と歪曲が様々な画像に
ついて行なった実験の結果として選択した。実験の間、
黒い画素の数にだけ基づいたパターンの選択は雑音の多
い画像の場合、品質の悪い結果となり、この場合、線が
「虫食いだらけ」の状態となり易いことが判った。一
方、2つ又はそれ以上の連続する0のパターンが1に割
当てられる場合では、連続する文字要素が間違えて線と
して識別される状況が発生した。
【0063】典型的なフォームの線の長さが2バイトを
超過すると推定されるので(画像が200dpiで走査
された場合1/12インチ)、連続する2バイトを単一
の値に割当てることでさらにアルゴリズムを高速化する
ことが可能である。この割当ては次式 SelectBytes(b1,b2)=SelectRightByte(b1) AND SelectLeftByte(b2) ………………………………(2) で定義される。ここで、SelectRightByte(b)とSel
ectLeftByte(b)は、(1)式のbの10進値に割当て
られる。さらに、パターンの組{0000111,0001111,00
11111}と{11100000,11110000,11111100}は各々Se
lectRightByteとSelectLeftByte によって1に割
当てられる。選択した組へこれらのパターンを追加する
ことで歪曲した線での識別の正確度が向上する。完全な
割当てテーブルを表2に示す。
【0064】
【表2】
【0065】7.1.2 接続した要素の表 本章の冒頭で述べた方法は、接続した要素の組の全ての
画素を追跡するためのマーク付け行列に頼るものであ
る。この方法では各オブジェクトの正確な表現が提供さ
れるが、この記述には箇条データがまだ含まれており、
従って有用性が制限される。この章では、別の接続した
要素の表現を導入し、その計算のためのアルゴリズムを
提示する。
【0066】画像内の接続した要素を記述する一般的な
方法は、その組の全ての画素を含む最小の四角形の座標
を介している。この表現は、注目している特徴が始点だ
けであることから、線の記述に特に適合している。この
動作の目的では、四角形を最小の閉じた方形(Minimum
Encosing Rectangles=MER)と称し(図14参
照)、フォーム(minX,maxX,minY,maxY)の組と
して記述することにする。接続した要素を記述するため
のMERの使用でM×Nのマーク付け行列の必要がなく
なる。その代わり、現在と直前の画像列中と識別したオ
ブジェクトについてのMER座標を含む接続した要素の
表のマーク付け値の追跡を行なうために2Nの行列を有
すれば充分である。次のC風(C‐like)の構造体はこ
の表を記述したものである。 typedef struct { short id; short minX; short maxX; short minY; short maxY; u char obj; u char thin; u char line; } CComponent; 最後の3行の用途は本章で後述する。
【0067】MER座標は、画像カーソルの現在の位置
と表内に保存された値を比較することによって線毎に更
新される。処理は次のように進められる。(x,y)を画
像カーソルの現在の位置とし、カーソルが(2)式を満足
させるバイトの組を指していると仮定する。また、近隣
の4つ(W,NW,N,E)のうちの1つがMER(min
X(i),maxX(i),minY(i),maxY(i))で記述され
る接続した要素iに属すると仮定する。iの新しいME
R座標は次のように計算される。 minX(i)= min(x,minX(i)) maxX(i)= max(x,maxX(i)) minY(i)= min(y,minY(i)) maxY(i)= max(y,maxY(i)) ……………………………(3)
【0068】(x,y)の近隣が2つの異なる接続した要
素、例えばiとjに関連している場合、オブジェクトは
併合される必要がある。(minX(i),maxX(i),min
Y(i),maxY(i))と(minX(j),maxX(j),minY
(j),maxY(j))が各々のMERとして、id(i)<id
(j)だと仮定すると、併合処理中には次の計算が実行さ
れる。 id(j) = id(i) minX(i) = min(minX(i),minX(j)) maxX(i) = max(maxX(i),maxX(j)) minY(i) = min(minY(i),minY(j)) maxY(i) = max(maxY(i),maxY(j)) …………………………(4) jのMERの値は変更されず、id(i)でも同じことが行
なわれることに注意されたい。
【0069】この章は図15に示した併合の例で終りと
する。図15は、接続した要素の表の中の選択した点で
画像の処理中に発生する変化を示している。この画像は
既に圧縮されているものと仮定している。
【0070】7.1.3 線の分離 この章では、周辺のオブジェクトから水平線を分離する
ための圧縮メカニズムの能力について議論する。(1)式
と(2)式で定義されたバイト配当基準で典型的な縦線と
文字の特徴である細いストロークの大半を排除する。そ
の結果、画像内の水平線はパターンが接触しているよう
な場合であっても自動的に他のオブジェクトから分離さ
れる。図16(a)に元の画像を示し、同図(b)に圧縮後
の画像を示す。
【0071】殆どの場合で分離が行なわれるが、ロゴや
大きな文字、又は枠を含むフォームでは黒いがその太い
パターンが圧縮段階の間に排除対象から外れてしまう。
図17を参照して説明する。この場合、(2)式の選択基
準を変更して、接続した要素の識別段階で線分と思われ
る細くて長いオブジェクトだけを捉えるようにする必要
がある。この変更は次の規則に反映されている。 規則1:(2)式を満たしているバイトの対p1が、同様
に(2)式を満たしているバイトの対p2に8つ接続して
いると、p2に関連するオブジェクトの長さがp1の追
加によって増加する場合に限って圧縮処理中に1へ割当
てられる。
【0072】この規則の目的は、線の総延長に関係する
線分、例えば図17(a)で位置(3,0)−(3,7)及
び(8,0)−(8,7)にあるバイトを単に厚みに追加
されるだけの線分、例えば(0,0)−(0,2)、
(0,4)−(0,6)及び(0,8)と明確に区別する
ことである。図17(c)はこの規則が圧縮機構に組込ま
れた場合に得られる画像を示す。この規則によって水平
線を構成する全ての画素を追跡することはもはや不可能
であることに注意を要する。しかし、次の章で説明する
ように充分に引き替え可能ではある。
【0073】7.2 細いオブジェクトの選択 前章で提示した接続した要素の分析結果は、画像内のオ
ブジェクトを記述する最小の閉じた方形の集まりであ
る。本章では、この組から線分を分離するために用いた
選択基準を説明する。
【0074】細いオブジェクトの選択は、接続した要素
の高さ、幅、及び高さと幅の比を測定して、これらの値
を所定の域値と比較することよりなる。実行する検査
は、線が水平の場合は、 (height < MAX THICKNES AND ratio > MIN RATIO) 又は (width > HOR SEG LEN) ……………………………(5) 又は、線が垂直の場合は、 (width < MAX THICKNES AND ratio > MIN RATIO) 又は (height > VER SEG LEN) ……………………………(6) である。これらの条件のうち、第1の部分は選択したオ
ブジェクトが細長い形状を有していることを確認するよ
うに設計してある。第2の部分は大きな文字、ロゴ、又
は雑音によって生成される小さな線分に対応する接続し
た要素を排除することを意図している。
【0075】(5)式と(6)式を満たす接続した要素は線
分と見做される。このことは、接続した要素内の「薄
さ」変数の値を1に設定することによって記録される。
【0076】現在実装しているアルゴリズムで用いるパ
ラメータ値の議論は第4章に譲る。
【0077】7.3 線の併合 細長いオブジェクトの選択処理の後、接続した要素の表
は画像内の線分を記述する最小の閉じた方形の集まりを
含むことになる。原理的には、これらのオブジェクトは
画像内の線と一致する。しかし、雑音又は歪曲の存在に
より、しばしば線が単一の要素として識別されないこと
になる。本章では、隣接する線分のグループを分析し、
これらが同一線の部分をなすかを調べる併合アルゴリズ
ムについて記述する。
【0078】本方法に関連する検査は、近接性と連続性
の2つが存在する。近接性検査の目的は、同一の線の部
分であると見做すには離間し過ぎている線分を排除する
ことである。これは、2つの連続した線分の間の水平距
離を計算して閾値と比較することよりなる。線がこの検
査に合格した場合、併合処理が連続性検査を実行し、そ
れ以外では線分は別の線であると見做される。 Mi =abs((maxX(LSi) − minX(LSi))/2)
かつ Mj =abs((maxX(LSj) − minX(LSj))/2) を2つの線分LSiとLSjの中央点とする。以下の式を
用いて近接性検査を実行することができる。 WithinSearchRange(LSi,LSj)=TRUE
abs((Mi −Mj )/2)<MAX DISTANCEの場合 FALSE それ以外 ………………………(7)
【0079】連続性の検査は、2つの隣接する線分をよ
り詳細に観察し、これらが実際に同一線の部分をなすか
検証する。この検査では、併合するための候補の最も左
の点と最も右の点が同一の隣接部分に位置しているかを
検査することからなる。全ての2つの線分について、考
慮すべき「最も左の点/最も右の点」の組合せが2つ存
在することに注意を要する。検査は、最も近い対につい
て実行されるべきものである。次のアルゴリズムは、連
続性検査を実行するものである(図18参照)。
【0080】アルゴリズム名:連続性検査 定義:LSi及びLSjを2つの線分とし、一般性を逸失
しないようにLSi がLSjの左側にあると仮定する。 Li =minX(LSi) Ri =maxX(LSi) Mi =(maxY(LSi)−minY(LSi))/2 Lj =minX(LSj) Rj =maxX(LSj) Mj =(maxY(LSj)−minY(LSj))/2 とする。 段階1 次のように(Ri,Mi)の周囲にウインドウW
を生成する。 minX(W) = Ri − X SEP maxX(W) = Ri − X SEP minY(W) = Mi − X SEP maxY(W) = Mi − X SEP 段階2 (Lj,Mj)がW内部にあるか無いかを調べて
検査を実行する。 Contiguous(LSi,LSj)= TRUE Lj > maxX(W) /*右外側*/ 又は Lj < minX(W) /*左外側*/ 又は Mj > minY(W) /*上外側*/ 又は Mj < minY(W) /*下外側*/の場合 FALSE それ以外 …………………………………(8)
【0081】以下に完全な併合アルゴリズムを概説す
る。 アルゴリズム名:線分の併合 定義:LS={LSi }を線分の組とし、NをLSの基
本部分とする。 段階1 縦方向中央点の値に従ってLSを並べ替える。 段階2 以下の計算を実行する。 i=0;j=1;merge count=0; while (i<N) { while (WithinSearchRange (LSi,LSj)){ if (Contiguous(LSi,LSi)) CombineSegments(LSi,LSi); merge count=+1; j=+1 } i=+1; } 段階3 merge count=0なら終了;それ以外では、N
=N−merge countとして段階2へ戻る。関数Combine
Segmentsは次の計算を実行する。 id(LSj) =id(LSi) minX(LSi) =min(minX(LSi),minX(LSj)) maxX(LSi) =max(maxX(i),maxX(LSj) minY(LSi) =min(minY(LSi),minY(LSj)) maxY(i) =max(maxY(LSi),maxY(LSj))
【0082】7.4 後処理 この章では、併合処理において識別された線に適用し
て、典型的なビジネスフォームに見られる属性を満たし
ているか調べるための一連の規則について詳述する。こ
れらの規則の目的は、間違えて線として識別された画像
のオブジェクトを排除することである。このようなオブ
ジェクトは画像の雑音の結果として、又はロゴ又は大き
な文字に出現することがある。
【0083】併合処理から得られた線の表について実行
される検査は3種類ある。これらは次の基準 (1) 線の最小長さ (2) 線の最小分離 (3) 線の交差 に従っている。
【0084】線の最小長さの検査は、図19に例示する
ように、大きな文字又はロゴから抽出された短い線を排
除するために使用される。これは、線の長さと閾値(MI
NHOR LINE LEN)との単純な比較よりなる。この検査は
大半のビジネスフォームの設計で罫線を用いてデータを
書込むことができる空間を位置決めしているか、又は、
文書を構成する領域を際立たせているという知見に基づ
いている。これらは人間の肉眼で充分識別し得るだけ長
いはずである。
【0085】線の最小分離検査は、2つの連続した水平
線のY座標(線が垂直であればX座標)の間の距離を測
定し、これを閾値(MIN LINE SEPARATION) と比較する
ことからなる。この基準に合致している場合、又は、線
が少なくとも MIN OVERLAP単位で重複している場合、2
つの線の短い方が破棄される。この検査の目的は、強い
コントラストで走査された画像の文字部分に見られる雑
音によって生成された画像を排除することである。この
検査はビジネスフォーム内の線が主としてフィールドデ
リミタ(フィールド区切り)として用いられ、よって、
データがこれらの間に書込めるように最小限の分離を維
持しているはずであるとのことに基づいている。
【0086】雑音によって生成された線の排除を行なう
もう一つの方法は、交差試験によるものである。この検
査では、全ての線は線の最小長さ(MIN HOR LINE LENGT
H)より長いが第2の長さ基準(MIN NO INTERSECTION L
ENGTH)よりは短く、少なくとも垂直な線1本と交差す
るか、又は交点を形成する必要がある。識別された線が
実際に接触しないが実際のフォームでは接触していると
仮定するに充分なだけ近い場合に対応するため、本試験
は同一の隣接部分内で線が存在する長さが長いほど満た
される。ここで、隣接部分は水平線の辺縁の周囲で決定
される(図20参照)。
【0087】8. 実装と試験 この章では、アルゴリズムの実装中に集積した知見を詳
解する。開発環境について簡単に解説した後、現在まで
に実行した質的量的検査の結果を提示する。
【0088】8.1 環境 本報告で詳述した線識別アルゴリズムは、株式会社リコ
ーのカリフォルニア研究センター(Ricoh's Californ
ia Research Center)でフォーム識別システムのモジ
ュールの一つとして実装された。lrRecognizeLinesと呼
ばれる本モジュールの主要な機能はビジネスフォームの
デジタル化画像にポインタをとり、発見した罫線の座標
を含む構造体を返すことである。これらのルーチンの詳
細な説明と使用するデータ構造は、例えば文献8(W.
K.Pratt,デジタル画像処理,Wiley社,New Yor
k,523−525ページ、1978年)や文献9
(A.pizano,“ビジネスフォーム処理用の線識別アル
ゴリズム”,テクニカルレポート SRC901101,リコー
ソフトウェア研究センター、Santa Clara,CA,1
990年11月)中に示されている。線識別モジュール
の動作は、2つのモードよりなる。通常モードでは本プ
ログラムは線を識別して何らの出力も生成することなく
得られた表を作成する。デバッグモードでは、アルゴリ
ズムの中間段階の結果を示すメッセージの集合をライブ
ラリ呼出しが生成する。図21にプログラム出力の見本
として、同図(a)には元の画像を示し、同図(b)には認
識した線を示す。このような実際の画像に適用した場合
の本アルゴリズムの動作を、表3〜表6に示す。表3、
表4は接続した成分に関するもので、表5は選択された
細いオブジェクトに関するもので、表6は細いオブジェ
クトの順序に関する。
【0089】
【表3】
【0090】
【表4】
【0091】
【表5】
【0092】
【表6】
【0093】また、第1の反復に関する併合処理手順を
表7〜表9に順に示し、第1の反復後の細いオブジェク
トの順序を表10に示す。
【0094】
【表7】
【0095】
【表8】
【0096】
【表9】
【0097】
【表10】
【0098】さらに、第2の反復に関する併合処理手順
を表11〜表13に順に示し、併合後に識別した線に関
する結果を表14に示し、後処理後に識別した線に関す
る結果を表15に示す。
【0099】
【表11】
【0100】
【表12】
【0101】
【表13】
【0102】
【表14】
【0103】
【表15】
【0104】通常モードはライブラリがフォーム識別シ
ステム内に統合されている場合に選択され、デバッグモ
ードはX−Window 表示システムとともにアルゴリズム
によって生成された線の視覚表現を生成するため広汎に
使用された。ソースコードのデバッグをする補助である
ことを別として、このツールの最も重要な用途はアルゴ
リズムの基幹パラメータを識別するように実験を進める
ことにある。これらの実験結果を次に解説する。
【0105】8.2 試験 罫線が識別される方法に影響する走査画像の特徴は4つ
である。それは、 (1) 歪曲又は回転 (2) 2進化処理中に用いる閾値(コントラスト) (3) 走査機構中の不純物によって生成された背景雑音 (4) 文字及び/又は署名の存在 である。同様に、これらの変数を取扱う上で調節可能な
パラメータが幾つか存在する。このような線識別パラメ
ータに関して、下記に示す。
【0106】試験段階の主目的は、これらのパラメータ
のうちでどれが重要かを決定し、適切な値を求めること
だった。本章は、この後、この処理の間に収集した知見
を詳述する。 線識別パラメータ MAX THICKNES 7.2節 MIN RATIO 〃 MIN HOR SEG LEN 〃 MIN VER SEG LEN 〃 MAX DISTANCE 7.3節 HOR X SEP 〃 HOR Y SEP 〃 VER X SEP 〃 VER Y SEP 〃 MIN HOR LINE LEN 7.3節 MIN VER LINE LEN 〃 MIN NO INTERSECTION WIDTH 〃 MIN NO INTERSECTION HEIGHT 〃
【0107】本プロジェクトの実験段階は、上に示した
画像特性が識別処理で有する可能性のある影響の直感的
な分析から開始した。この分析では、回転の度合が小さ
くとも線が分断されることがあると示された。画像のコ
ントラストが薄すぎる場合にも同じ問題が発生し、線パ
ターンの不連続が生成してしまう。逆に、濃いフォーム
は暗い文字領域に、又は署名が出現した場合に線を生成
する傾向にある。
【0108】これらの仮定を確認するため、またアルゴ
リズムの感度を求めてパラメータ値を変更するために、
注目している特性を統合した一連の検査フォームを作成
する必要があった。このフォームは文書から直接走査し
たテンプレートフォームを用い、さらに画像処理関数を
経由して雑音(回転、文字、背景雑音、コントラスト)
を付加して自動的に生成された。
【0109】生成したフォームは全部で25枚である。
この数字は5段階の回転レベル(−2,−1,0,+
1,+2)と5段階のコントラスト分類(極めて薄い、
薄い、普通、濃い、極めて濃い)の組合せから得た。
【0110】検査処理の最初の段階は、システムを較正
してテンプレートフォーム中の線を識別させるようにす
ることからなる。下記に正しい結果を得たパラメータ値
を示す。 初期パラメータ値 MAX THICKNES 3 MIN RATIO 23.0 MIN HOR SEG LEN 33 MIN VER SEG LEN 33 MAX DISTANCE 48 HOR X SEP 16 HOR Y SEP 4 VER X SEP 16 VER Y SEP 3 MIN HOR LINE LEN 65 MIN VER LINE LEN 65 MIN NO INTERSECTION WIDTH 192 MIN NO INTERSECTION HEIGHT 192 この例では、線数は水平41、垂直20である。
【0111】これらの値を残りのフォームに適用して、
表16に示すような結果を得た。予測した通り、「薄
い」フォームから識別した線数は先に示した値を大幅に
超過していた。この実験では歪曲の度合より画像のコン
トラストに対してシステムの感度が高いことが示され
た。この知見は各々の例で発見された水平線の線数を表
示した図22で一層明らかである。
【0112】
【表16】
【0113】表16から得られるもう一つの知見は、垂
直線の数が全ての例で予測した数に近いことで、垂直線
は歪曲とコントラストによる影響が小さいことが示され
る。この事実は、画像中に出現する水平及び垂直方向の
オブジェクト(文字と陰影領域を含めて)の数の差で説
明し得るものである。歪曲と極めて濃いコントラストの
複合した試験例で識別された線を詳細に見ると、フォー
ムの陰影領域又は文字の中に多くの余分な線が発見され
たことが判る。
【0114】濃いフォームの分析で発見した接続した要
素の検討では、HOR SEG LEN の値が小さい線分を許容し
たために剰余線が抽出された領域が存在したことが明ら
かだった。これらの線分は併合した際に余分な線を生成
した。表17はHOR SEG LENを33から17へ変更した
結果を示す。予想された通り、これらのフォームで識別
された線数は予想された数の10%以内まで減少した。
しかし、この変化は薄いフォームで発見された線数には
逆に影響した。
【0115】
【表17】
【0116】9. 結論 本論では、ビジネスフォームからの特徴抽出に使用され
る新しい線識別アルゴリズムを開示した。本方法は、排
他的に罫線にのみ注目していることから他の線抽出法よ
り効果的である。また、ここではビジネスフォームの構
造に関する特有の知見も使用している。評価試験の結果
は、その正確度が満足し得るものであることを示してい
る。本システムのさらなる試験は、本アルゴリズムの上
に構築されたフォーム識別システムの評価中に行なわれ
ることになる。
【0117】本発明の好適な一実施例にかかる前述の説
明は、図示と説明とを目的として提示したものである。
これは、余すところなく、又は開示した特定の形態に本
発明を制限することを意図するものではなく、また、上
述の教示に鑑みて数多くの変更や変化が可能であると理
解すべきである。好適な実施例は本発明の原理と実際に
側した応用を最も良く説明することを目的として選択又
は詳述され、これによって当業者が企図する特定用途に
適合するように本発明と各種の実施例を各種の変更と共
に最も好適に使用し得るようになすものである。本発明
の範囲は特許請求の範囲及びそれに等価なもので定める
ことを意図している。
【0118】
【発明の効果】本発明は、上述したように、所定のテン
プレートの組に従ってビジネスフォームのデジタル化画
像を分類する認識システムに関し、処理は、テンプレー
トフォームの画像を走査し、分析し、データ辞書内に保
存する準備段階と、実際のフォームを辞書内のテンプレ
ートと比較して文書が所属するクラスを決定するための
識別段階よりなるものとし、この際、ビジネスフォーム
が使用可能な空間を区切る水平と垂直の線の存在を特徴
としている点に着目し、罫線と称するこれらの線を2レ
ベルのデジタル化画像で識別して、光学文字認識装置又
はフォーム識別システムの特徴抽出装置に適用する以前
に文字をグラフィックスから分離するようにしたので、
既存のベクトル化、線抽出、及び文字・グラフィックス
分離法とは異なり、専ら水平及び垂直の線の識別に注目
したものであり、多様なビジネスフォームの適正なる自
動的分類が可能となる。
【図面の簡単な説明】
【図1】本発明の好適な一実施例を示すビジネスフォー
ム識別システムのブロック図である。
【図2】ビジネスフォームのサンプルを示す略図であ
る。
【図3】適合処理を示すブロック図である。
【図4】線の交差の計算時に使用される模式図である。
【図5】線の投影処理を示す模式図である。
【図6】近似法処理を示す模式図である。
【図7】線の投影のネットワーク表現を示す模式図であ
る。
【図8】実際のフォームとテンプレートの節の相関関係
を示す模式図である。
【図9】ウインドウ生成処理を順に示す模式図である。
【図10】ウインドウの点数化処理を示す模式図であ
る。
【図11】識別時間を示す特性図である。
【図12】8つの接続した近隣部の様子を示す模式図で
ある。
【図13】接続した要素の識別処理を順に示す模式図で
ある。
【図14】最小の閉じた方形を示す模式図である。
【図15】マージ中の要素テーブルの変更手順を順に示
す模式図である。
【図16】圧縮中の水平線分離の様子を示す模式図であ
る。
【図17】厚みのある垂直方向の要素の処理の様子を示
す模式図である。
【図18】連続性テストの様子を示す模式図である。
【図19】大きな文字又はロゴ中に見つかった線のサン
プル例を示す模式図である。
【図20】交点ウインドウを示す模式図である。
【図21】プログラム出力例の見本を示す模式図であ
る。
【図22】初期テスト中に識別された線の数の様子を示
す特性図である。
【符号の説明】
12 テンプレート 18 保存手段 22 実際のビジネスフォーム 24 走査手段 26 パターン認識手段 28 提供手段 34 インデックス付き辞書アクセス手段 36 集合弁別手段 38 交点弁別手段 40 類似性弁別手段 42 投影弁別手段 44 ウインドウ照合手段 46 決定関数手段

Claims (14)

    【特許請求の範囲】
  1. 【請求項1】 1つ又はそれ以上のビジネスフォームの
    テンプレートの特徴を保存するための手段と、1つ又は
    それ以上の実際のビジネスフォームを走査してこれを表
    す走査データを生成するための手段と、走査したビジネ
    スフォーム上の垂直及び水平の線パターンのみを認識す
    る手段を有して前記走査データを認識するためのパター
    ン認識手段と、認識したデータを予め保存されたフォー
    ムと照合して実際のビジネスフォームの様式の特定を提
    供するための手段と、前記実際のビジネスフォームを線
    毎に走査することによってこれを表す黒画素データと白
    画素データを形成する手段と、隣接する前記黒画素の1
    つを識別してX成分及びY成分を有する接続した要素を
    認識するための手段とよりなることを特徴とするビジネ
    スフォーム識別システム。
  2. 【請求項2】 接続した要素が長い線分を形成するかを
    調べるための手段を含むことを特徴とする請求項1記載
    のビジネスフォーム識別システム。
  3. 【請求項3】 2つ又はそれ以上の連続した線分がビジ
    ネスフォーム上の同一の線の部分をなしているか調べる
    ための手段と、前記同一の線の部分をなすと見做された
    前記線分を併合するための手段を含むことを特徴とする
    請求項2記載のビジネスフォーム識別システム。
  4. 【請求項4】 雑音又は歪曲情報を排除するための後処
    理手段を含むことを特徴とする請求項3記載のビジネス
    フォーム識別システム。
  5. 【請求項5】 走査した画像の中で発見された全ての線
    の長さを加算してキー値を生成するためのインデックス
    付き辞書アクセス手段を含むことを特徴とする請求項4
    記載のビジネスフォーム識別システム。
  6. 【請求項6】 テンプレート及び実際のフォームからの
    線情報を、線と交点のカウント又は線の長さの和などの
    単一のスカラー値に縮合して候補リストからテンプレー
    トを破棄するようにした集合弁別手段を含むことを特徴
    とする請求項5記載のビジネスフォーム識別システム。
  7. 【請求項7】 2つ又はそれ以上の線のパターンの間の
    空間的類似性を調べるための交点弁別手段を含むことを
    特徴とする請求項6記載のビジネスフォーム識別システ
    ム。
  8. 【請求項8】 走査した画像の中の線の配置を測定し
    て、投影情報を前記画像の所定領域内の線の存在を表現
    する2進数の値に縮合するための類似性弁別手段を含む
    ことを特徴とする請求項7記載のビジネスフォーム識別
    システム。
  9. 【請求項9】 線の長さと線間の距離を比較するための
    投影弁別手段を含むことを特徴とする請求項8記載のビ
    ジネスフォーム識別システム。
  10. 【請求項10】 実際のフォーム及びテンプレートのフ
    ォーム内の前記線のパターンを分析するためのウインド
    ウ照合手段を含むことを特徴とする請求項9記載のビジ
    ネスフォーム識別システム。
  11. 【請求項11】 実際のビジネスフォームの様式を調べ
    るための決定関数手段を含むことを特徴とする請求項1
    0記載のビジネスフォーム識別システム。
  12. 【請求項12】 保存するための手段が階層的方法でテ
    ンプレートの特徴を構成するための手段を含むことを特
    徴とする請求項1記載のビジネスフォーム識別システ
    ム。
  13. 【請求項13】 適合処理の部分的結果を表示するため
    の手段を含むことを特徴とする請求項1記載のビジネス
    フォーム識別システム。
  14. 【請求項14】 多様なビジネスフォームを自動的に識
    別し、又は分類するための画像処理システムであって、 1つ又はそれ以上のビジネスフォームのテンプレートの
    特徴を保存するための手段と、 1つ又はそれ以上の実際のビジネスフォームを走査する
    ための手段と、 前記実際のビジネスフォームを線毎に走査してこれを表
    す黒画素データと白画素データを構成するための手段
    と、隣接する前記黒画素の1つを識別して接続した要素
    を認識するための手段と、前記接続した要素が長い線分
    を形成するか調べるための手段と、2つ又はそれ以上の
    連続する線分が同一の線の部分をなすかを調べるための
    手段と、前記同一の線の部分と見做された前記線分を併
    合するための手段とを含んで前記実際のビジネスフォー
    ムから特徴を抽出するための手段と、 縦及び横の線を識別するための手段と、前記走査した画
    像の中に発見された全ての線の長さを加算してキー値を
    生成するための手段と、前記テンプレート及び実際のフ
    ォームからの線情報を、線及び交点のカウント又は線の
    長さの和などの単一のスカラー値に縮合して候補リスト
    からテンプレートを破棄するようにした手段と、2つ又
    はそれ以上の線のパターンの間の空間的類似性を調べる
    ための手段と、前記走査された画像の中の線の配置を測
    定して、投影情報を前記画像の所定の領域内の線の存在
    を表す2進値に縮合するための手段と、線の長さと線間
    の距離を比較するための手段と、前記実際のフォーム及
    びテンプレートのフォーム内の前記線のパターンを分析
    するための手段と、前記実際のビジネスフォームの様式
    を調べるための手段とを含んで前記保存されたテンプレ
    ートの特徴と前記抽出した特徴を逐次的に照合するため
    の手段とよりなることを特徴とする画像処理システム。
JP4203531A 1991-08-06 1992-07-30 ビジネスフォーム識別システム及び画像処理システム Pending JPH05217019A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US07/741,878 US5293429A (en) 1991-08-06 1991-08-06 System and method for automatically classifying heterogeneous business forms
US07/741,878 1991-08-06

Publications (1)

Publication Number Publication Date
JPH05217019A true JPH05217019A (ja) 1993-08-27

Family

ID=24982587

Family Applications (1)

Application Number Title Priority Date Filing Date
JP4203531A Pending JPH05217019A (ja) 1991-08-06 1992-07-30 ビジネスフォーム識別システム及び画像処理システム

Country Status (2)

Country Link
US (1) US5293429A (ja)
JP (1) JPH05217019A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102129546A (zh) * 2010-01-15 2011-07-20 富士通株式会社 二值图像的识别方法和识别装置

Families Citing this family (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04343190A (ja) * 1991-05-21 1992-11-30 Hitachi Ltd 文字データ入力方式
US5666549A (en) * 1992-03-10 1997-09-09 Hitachi, Ltd. Method and system for processing a document transmitted via facsimile in an initially input form stored in a knowledge base
US5434933A (en) * 1993-10-09 1995-07-18 International Business Machines Corporation Image processing
EP0654746B1 (en) * 1993-11-24 2003-02-12 Canon Kabushiki Kaisha Form identification and processing system
JP2937729B2 (ja) * 1993-12-21 1999-08-23 株式会社バーズ情報科学研究所 パターン認識方法及び装置及び辞書作成方法
US6289109B1 (en) * 1993-12-29 2001-09-11 Pitney Bowes Inc. Method and apparatus for processing mailpieces including means for identifying the location and content of data blocks thereon
US5748780A (en) * 1994-04-07 1998-05-05 Stolfo; Salvatore J. Method and apparatus for imaging, image processing and data compression
US6268935B1 (en) * 1994-04-15 2001-07-31 Minolta Co., Ltd. Image processor
JPH0887495A (ja) * 1994-09-16 1996-04-02 Ibm Japan Ltd 表データのカット・アンド・ペースト方法及びデータ処理システム
US5982933A (en) * 1996-01-12 1999-11-09 Canon Kabushiki Kaisha Information processing method, information processing apparatus, and storage medium
US5923792A (en) * 1996-02-07 1999-07-13 Industrial Technology Research Institute Screen display methods for computer-aided data entry
US5937084A (en) * 1996-05-22 1999-08-10 Ncr Corporation Knowledge-based document analysis system
US5841905A (en) * 1996-10-25 1998-11-24 Eastman Kodak Company Business form image identification using projected profiles of graphical lines and text string lines
US5889889A (en) * 1996-12-13 1999-03-30 Lucent Technologies Inc. Method and apparatus for machine recognition of handwritten symbols from stroke-parameter data
US6327387B1 (en) 1996-12-27 2001-12-04 Fujitsu Limited Apparatus and method for extracting management information from image
SE511242C2 (sv) * 1997-04-01 1999-08-30 Readsoft Ab Förfarande och anordning för automatisk datafångst hos formulär
JP3639126B2 (ja) * 1998-01-22 2005-04-20 富士通株式会社 住所認識装置及び住所認識方法
US6363162B1 (en) * 1998-03-05 2002-03-26 Ncr Corporation System and process for assessing the quality of a signature within a binary image
US6199079B1 (en) * 1998-03-09 2001-03-06 Junglee Corporation Method and system for automatically filling forms in an integrated network based transaction environment
US6643624B2 (en) * 1998-03-09 2003-11-04 Yan Philippe Method and system for integrating transaction mechanisms over multiple internet sites
EP0984387B1 (en) * 1998-08-31 2005-08-17 International Business Machines Corporation Distinguishing between similar forms
DE69926699T2 (de) 1998-08-31 2006-06-08 International Business Machines Corp. Unterscheidung zwischen Formularen
FR2790846B1 (fr) * 1999-03-09 2001-05-04 S F C E Procede d'identification de document
US6741737B1 (en) * 1999-03-18 2004-05-25 Choicepoint Asset Company System and method for the secure data entry from document images
US6400845B1 (en) 1999-04-23 2002-06-04 Computer Services, Inc. System and method for data extraction from digital images
US6615259B1 (en) * 1999-05-20 2003-09-02 International Business Machines Corporation Method and apparatus for scanning a web site in a distributed data processing system for problem determination
US7038797B1 (en) 1999-05-25 2006-05-02 Silverbrook Research Pty Ltd Method and system for delivery of mail
JP4416890B2 (ja) * 1999-12-20 2010-02-17 富士通株式会社 帳票識別装置
US6950553B1 (en) 2000-03-23 2005-09-27 Cardiff Software, Inc. Method and system for searching form features for form identification
US6931633B1 (en) * 2000-08-01 2005-08-16 National Instruments Corporation System and method of evaluating the performance of an image processing algorithm
US6938037B2 (en) * 2001-08-31 2005-08-30 Goldman Sachs & Co. Method and apparatus for data storage and retrieval
US6978046B2 (en) * 2002-03-29 2005-12-20 Xerox Corporation Systems and methods for automated template creation using scanned input
US7142728B2 (en) * 2002-05-17 2006-11-28 Science Applications International Corporation Method and system for extracting information from a document
US20040194009A1 (en) * 2003-03-27 2004-09-30 Lacomb Christina Automated understanding, extraction and structured reformatting of information in electronic files
US20110188759A1 (en) * 2003-06-26 2011-08-04 Irina Filimonova Method and System of Pre-Analysis and Automated Classification of Documents
RU2003108433A (ru) * 2003-03-28 2004-09-27 Аби Софтвер Лтд. (Cy) Способ предварительной обработки изображения машиночитаемой формы
US7305612B2 (en) * 2003-03-31 2007-12-04 Siemens Corporate Research, Inc. Systems and methods for automatic form segmentation for raster-based passive electronic documents
RU2635259C1 (ru) 2016-06-22 2017-11-09 Общество с ограниченной ответственностью "Аби Девелопмент" Способ и устройство для определения типа цифрового документа
US20050065893A1 (en) * 2003-09-19 2005-03-24 The Alliance Group Of Texas System and Method for Commingled Remittance Payment Processing
ATE414307T1 (de) * 2004-03-30 2008-11-15 Emc Corp Dokumentenmodell und verfahren zur automatischen dokument-klassifiezierung
US20060045344A1 (en) * 2004-09-02 2006-03-02 Adi, Llc Handprint recognition test deck
US7809754B2 (en) * 2005-02-28 2010-10-05 International Business Machines Corporation Method and computer program product for generating a lightweight ontological data model
US7707158B2 (en) * 2005-02-28 2010-04-27 International Business Machines Corporation Method and computer program product for enabling dynamic and adaptive business processes through an ontological data model
US9769354B2 (en) 2005-03-24 2017-09-19 Kofax, Inc. Systems and methods of processing scanned data
AU2005201758B2 (en) * 2005-04-27 2008-12-18 Canon Kabushiki Kaisha Method of learning associations between documents and data sets
US20070168382A1 (en) * 2006-01-03 2007-07-19 Michael Tillberg Document analysis system for integration of paper records into a searchable electronic database
US20100277772A1 (en) * 2007-08-15 2010-11-04 I. R. I. S. Method for managing sets of digitally acquired images and method for separation and identification of digitally acquired documents
US8094976B2 (en) * 2007-10-03 2012-01-10 Esker, Inc. One-screen reconciliation of business document image data, optical character recognition extracted data, and enterprise resource planning data
US8108764B2 (en) * 2007-10-03 2012-01-31 Esker, Inc. Document recognition using static and variable strings to create a document signature
US20090210786A1 (en) * 2008-02-19 2009-08-20 Kabushiki Kaisha Toshiba Image processing apparatus and image processing method
US8358852B2 (en) * 2008-03-31 2013-01-22 Lexmark International, Inc. Automatic forms identification systems and methods
US9349046B2 (en) 2009-02-10 2016-05-24 Kofax, Inc. Smart optical input/output (I/O) extension for context-dependent workflows
JP5153676B2 (ja) * 2009-02-10 2013-02-27 キヤノン株式会社 画像処理装置、画像処理方法、プログラムおよび記憶媒体
US9576272B2 (en) 2009-02-10 2017-02-21 Kofax, Inc. Systems, methods and computer program products for determining document validity
US9767354B2 (en) 2009-02-10 2017-09-19 Kofax, Inc. Global geographic information retrieval, validation, and normalization
JP5640645B2 (ja) * 2010-10-26 2014-12-17 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
US9165188B2 (en) 2012-01-12 2015-10-20 Kofax, Inc. Systems and methods for mobile image capture and processing
US10146795B2 (en) 2012-01-12 2018-12-04 Kofax, Inc. Systems and methods for mobile image capture and processing
US8831361B2 (en) * 2012-03-09 2014-09-09 Ancora Software Inc. Method and system for commercial document image classification
RU2527758C2 (ru) * 2012-10-22 2014-09-10 Федеральное государственное унитарное предприятие "18 Центральный научно-исследовательский институт" Министерства обороны Российской Федерации Способ скрытного хранения конфиденциальных данных в защищенной энергонезависимой памяти и устройство для его реализации
US9208536B2 (en) 2013-09-27 2015-12-08 Kofax, Inc. Systems and methods for three dimensional geometric reconstruction of captured image data
JP2016517587A (ja) 2013-03-13 2016-06-16 コファックス, インコーポレイテッド モバイル装置を用いて取込まれたデジタル画像におけるオブジェクトの分類
US9355312B2 (en) 2013-03-13 2016-05-31 Kofax, Inc. Systems and methods for classifying objects in digital images captured using mobile devices
US20140316841A1 (en) 2013-04-23 2014-10-23 Kofax, Inc. Location-based workflows and services
DE202014011407U1 (de) 2013-05-03 2020-04-20 Kofax, Inc. Systeme zum Erkennen und Klassifizieren von Objekten in durch Mobilgeräte aufgenommenen Videos
JP2016538783A (ja) 2013-11-15 2016-12-08 コファックス, インコーポレイテッド モバイル映像データを用いて長尺文書の合成画像を生成するためのシステムおよび方法
US9760788B2 (en) 2014-10-30 2017-09-12 Kofax, Inc. Mobile document detection and orientation based on reference object characteristics
US10242285B2 (en) 2015-07-20 2019-03-26 Kofax, Inc. Iterative recognition-guided thresholding and data extraction
US10417489B2 (en) * 2015-11-19 2019-09-17 Captricity, Inc. Aligning grid lines of a table in an image of a filled-out paper form with grid lines of a reference table in an image of a template of the filled-out paper form
US9779296B1 (en) 2016-04-01 2017-10-03 Kofax, Inc. Content-based detection and three dimensional geometric reconstruction of objects in image and video data
US10013643B2 (en) * 2016-07-26 2018-07-03 Intuit Inc. Performing optical character recognition using spatial information of regions within a structured document
US11062176B2 (en) 2017-11-30 2021-07-13 Kofax, Inc. Object detection and image cropping using a multi-detector approach
US11210551B2 (en) * 2019-07-29 2021-12-28 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Iterative multi-directional image search supporting large template matching
CN112328589B (zh) * 2020-11-28 2021-08-17 河北省科学技术情报研究院(河北省科技创新战略研究院) 一种电子表格数据颗粒化及指标标准化处理方法
CN114612695A (zh) * 2022-03-11 2022-06-10 江阴市浩盛电器线缆制造有限公司 嵌入式布线规则判断系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4300123A (en) * 1979-01-02 1981-11-10 Westinghouse Electric Corp. Optical reading system
US4949392A (en) * 1988-05-20 1990-08-14 Eastman Kodak Company Document recognition and automatic indexing for optical character recognition
US5140650A (en) * 1989-02-02 1992-08-18 International Business Machines Corporation Computer-implemented method for automatic extraction of data from printed forms
US5038392A (en) * 1990-02-12 1991-08-06 International Business Machines Corporation Method and apparatus for adaptive image processing by recognizing a characterizing indicium in a captured image of a document

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102129546A (zh) * 2010-01-15 2011-07-20 富士通株式会社 二值图像的识别方法和识别装置

Also Published As

Publication number Publication date
US5293429A (en) 1994-03-08

Similar Documents

Publication Publication Date Title
US5293429A (en) System and method for automatically classifying heterogeneous business forms
US10943105B2 (en) Document field detection and parsing
Jia et al. Three-dimensional local binary patterns for hyperspectral imagery classification
Yanikoglu et al. Pink Panther: a complete environment for ground-truthing and benchmarking document page segmentation
EP1598770B1 (en) Low resolution optical character recognition for camera acquired documents
US5369714A (en) Method and apparatus for determining the frequency of phrases in a document without document image decoding
US5390259A (en) Methods and apparatus for selecting semantically significant images in a document image without decoding image content
US8351691B2 (en) Object extraction in colour compound documents
US7965890B2 (en) Target recognition system and method
US20090041361A1 (en) Character recognition apparatus, character recognition method, and computer product
EP0785522B1 (en) Method and system for detecting a pattern in an image
US20100189316A1 (en) Systems and methods for graph-based pattern recognition technology applied to the automated identification of fingerprints
WO1993020533A1 (en) Character-recognition systems and methods with means to measure endpoint features in character bit-maps
Zhu et al. Multi-scale structural saliency for signature detection
US20160048728A1 (en) Method and system for optical character recognition that short circuit processing for non-character containing candidate symbol images
Suleyman et al. An adaptive threshold algorithm for offline Uyghur handwritten text line segmentation
JPH11203415A (ja) 類似パターンカテゴリ識別辞書作成装置および方法
US6571013B1 (en) Automatic method for developing custom ICR engines
JP3917349B2 (ja) 文字認識結果を利用して情報を検索する検索装置および方法
JP4140221B2 (ja) 画像照合装置および画像照合プログラム
Musci et al. An object-based image analysis approach based on independent segmentations
Chang Retrieving information from document images: problems and solutions
Thulke et al. A general approach to quality evaluation of document segmentation results
Pizano et al. A business form recognition system
JP4418726B2 (ja) 文字列探索装置、探索方法およびこの方法のプログラム