JP2579397B2 - 文書画像のレイアウトモデルを作成する方法及び装置 - Google Patents

文書画像のレイアウトモデルを作成する方法及び装置

Info

Publication number
JP2579397B2
JP2579397B2 JP3333778A JP33377891A JP2579397B2 JP 2579397 B2 JP2579397 B2 JP 2579397B2 JP 3333778 A JP3333778 A JP 3333778A JP 33377891 A JP33377891 A JP 33377891A JP 2579397 B2 JP2579397 B2 JP 2579397B2
Authority
JP
Japan
Prior art keywords
layout model
tree structure
document image
node
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP3333778A
Other languages
English (en)
Other versions
JPH0668300A (ja
Inventor
晶夫 山下
和治 豊川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Priority to JP3333778A priority Critical patent/JP2579397B2/ja
Priority to EP92310981A priority patent/EP0547804A1/en
Publication of JPH0668300A publication Critical patent/JPH0668300A/ja
Priority to US08/507,061 priority patent/US5555362A/en
Application granted granted Critical
Publication of JP2579397B2 publication Critical patent/JP2579397B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/414—Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Character Input (AREA)
  • Processing Or Creating Images (AREA)
  • Document Processing Apparatus (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、文書画像のイメージを
解析し、その文書画像のレイアウトモデルを作成する方
法に係わる。特に、大量の文書を保管するために文書を
イメージ入力し、蓄積し、検索や読み取りを行う電子フ
ァイリングシステムに用いるのに好適な、文書画像のレ
イアウトモデルの作成方法に関する。
【０００２】
【従来の技術】印刷された文書を画像処理し、文字認識
により文書内容をコード化して読み取る文字読み取り装
置が開発されつつある。このような文字読み取り装置と
して、文書の画像イメージを解析し文字列や図形、表等
の要素に分割し、各要素間の配置関係を階層的に表現し
た木構造としてデータ構造化する方式が知られている。
例えば、特開平２−５９８８０号公報には、入力画像か
ら文書を構成する要素及び要素間の配置関係を木構造と
して構造化し、その木構造に従ってレイアウト表示され
た要素領域を指定することにより既存文書画像から所望
の領域の文字を読み取れるようにしたものが示されてい
る。一方、特開平３−１７７７１号公報には、文書処理
装置において、文字情報と画像情報とが下位からブロッ
ク、フレーム、ページ、ページセットの順のレイアウト
オブジェクトの木構造でレイアウトされる文書を作成す
るものが示されている。この方法によれば、、文書編集
する領域を指定し、指定された領域に相当するフレーム
を作成し、指定領域内のレイアウトオブジェクトを検出
し、それと指定領域との結合領域に相当する新たなレイ
アウトオブジェクトを作成し、それを作成されたフレー
ムの下位に接続することにより、異なるレイアウトオブ
ジェクトにまたがる文書の編集を可能にしている。
【０００３】これらはいずれも、文書画像の各要素を階
層的な木構造を用いてレイアウト表現している。しか
し、予め用意された木構造やレイアウトのフォームがが
そのまま適合する文書は限られている。一方、このよう
な木構造やレイアウトモデルを逐一新規に作成すること
は、複雑な階層構造の定義が必要であり、しかもこの階
層構造が直感的には分りにくい事もあって、一般のユー
ザにとっては容易なことではない。
【０００４】
【発明が解決しようとする課題】本発明の目的は、実際
の文書の画像解析結果を利用して汎用的なレイアウトモ
デルを作成する方法を提供することにある。本発明の他
の目的は、複雑なモデルの階層構造を視覚的に表示し、
文書画像レイアウトモデルの作成におけるユーザーの負
担を軽減するインターフェースを提供することにある。
【０００５】
【課題を解決するための手段】本発明では、画像解析に
より自動的に木構造を抽出した後に、ユーザーが対話入
力によってグラフィカルな修正を施すことにより、レイ
アウトモデルを新規作成する。すなわち、文書画像を物
理的に解析して文書の構成要素を区切る可能性が高いセ
パレータを自動的に抽出し、該セパレータの情報に従っ
て上記文書画像を木構造領域に区分する。そして、この
木構造の領域区分を表示装置に表示し、ユーザーが対話
入力により必要な修正を加え、所望の木構造を定義す
る。次に、この木構造の各ノードにパラメータを設定し
て汎用的なレイアウトモデルを完成させる。
【０００６】
【実施例】一般に文書画像のレイアウトを記述するのに
は、水平、垂直方向に並んだ矩形の階層からなる木構造
モデルを用いる例が多い。本発明で取り扱うレイアウト
モデルもこのような矩形の階層構造を基本としている。
以下本発明の画像解析による文書画像のレイアウトモデ
ルの作成方法について述べる。
【０００７】図１は、本発明の一実施例になる電子ファ
イリングシステムの全体構成を示す。図において、１は
レイアウトモデル作成装置であり、入力部１Ａ、処理部
１Ｂ、記録部１Ｃ及び出力部１Ｄから構成される。レイ
アウトモデルを作成すべき文書はイメージスキャナのよ
うな画像入力部２でスキャンされ、その画像情報が画像
メモリ３に記録される。この画像情報は領域生成部４の
自動領域分割部４Ａに送られ、自動的に画像の領域が分
割される。領域分割の結果は領域構造記憶部９に記録さ
れる。一方、ユーザーが各種の処理を行うのためのコマ
ンドやデータはマウスなどのコマンド・データ入力部５
で選択、入力され入力判定部６を介して処理部１Ｂの対
応する部署に送られる。例えば、領域分割の結果に対し
て分割領域の修正が必要な場合、ユーザーの操作に基づ
いて修正用のコマンドを領域構造変更部４Ｂに送る。７
は文書画像の領域分割の結果に対して必要な変更を行
い、パラメータを設定してレイアウトモデルを生成する
レイアウトモデル生成部である。１０はレイアウトモデ
ルのデータを記録するレイアウトモデル記憶部である。
８は、マクロパラメータ・ライブラリー１１に保持され
ているデータを利用してパラメータを設定するためのマ
クロ指定部である。文書画像の領域分割やレイアウトモ
デルの生成状況は、出力制御部１２を経て画面表示部１
３に逐一表示され、ユーザーの対話入力操作に供され
る。また各処理結果は、外部記憶装置１４、プリンタ１
５などに出力される。１６は文書画像のイメージ情報か
ら文字を読み取る文字認識装置、１７はレイアウトモデ
ルを利用して文書画像を検索する検索装置である。
【０００８】図２は、図１のレイアウトモデル作成装置
１の処理フローを示すものである。初めに画像入力部２
で文書画像をスキャンして、画像イメージから文字列、
縦横罫線、その他の黒画素領域(ピクチャ-エレメント)
が抽出され、画像メモリ３に記録される（ステップ２
１）。これ以降の処理は抽出された矩形データを基に行
なわれる。次に、領域生成部４Ａで文書画像の領域分割
を自動的に行う（ステップ２２）。まず矩形の座標位置
から構成要素の区切り(セパレータ)となるような長く幅
のある白領域や長い黒罫線を抽出する。次に、図形領域
を除いた後に抽出されたセパレータを用いて文字領域を
おおまかに区分けする。さらに文字領域内で行ピッチや
文字サイズの変化から構成要素の切れ目となりうる候補
(サブセパレータ)を求め、この区切りに従って領域をさ
らに細分化する。このようにして画像を解析して得られ
た領域構造データすなわち、矩形や領域の座標位置と各
領域の相互関係及びこれらに対応する木構造のデータが
領域構造記憶部９に記録される。そしてこれらの結果は
画面表示部１３に表示される。
【０００９】ユーザーは、画面表示部１３の表示を見
て、修正の要否を判断し、必要に応じて修正用のコマン
ドを入力することにより、領域構造変更部４Ｂを介して
この領域構造データの分割領域をグラフィカルに修正
し、所望の木構造を作成する（ステップ２３）。
【００１０】さらにマクロ指定部８で木構造の各ノード
についてパラメータを設定する（ステップ２４）。文書
画像の構成要素であれば、例えば最小、最大行数等が大
体特定できるので、個々のパラメータを個別に設定する
のではなく、予め定めマクロパラメータ・ライブラリー
１１に保持されているマクロパラメーターを使って設定
する。その結果、モデル生成部７でレイアウトモデルが
生成され（ステップ２５）、そのデータがレイアウトモ
デル記憶部１０に記録される。このレイアウトモデルは
画面表示部１３にも表示され、ユーザーが修正用のコマ
ンドを入力した場合、レイアウトモデル生成部７でモデ
ルの変更が行なわれる（ステップ２６）。
【００１１】次に、図２で述べた処理フローのそれぞれ
ステップについて以下詳しく述べる。最初の画像抽出
（図２のステップ２１）では、画像入力部２で文書画像
をスキャンし、次に文字列その他の黒矩形抽出を行い、
図３に示すような多数の矩形領域からなる文書画像デー
タ３０を抽出し、画像メモリ３に記録する。既知の連結
黒画素領域の追跡法や黒ランレングスの組み合わせ法に
よれば、文書画像から文字列、罫線、その他の黒画素領
域をすべて矩形で表現して抽出することが可能である。
そして、文字列（３１ａ〜３１ｎ）、縦横罫線３１ｄ等
の矩形を基に、白画素領域３２Ａ〜３２Ｎを囲む矩形集
合を求める。以下、本実施例では全ての文字列(或は文
字列候補)が矩形領域として抽出されることを前提とし
て説明する。なお、文字列抽出の方法の詳細な説明は、
次の文献の引用を以て代える。 （１） T. Amano, A. Yamashita and H. Takahashi
著, " A CharacterString Extraction Algolithum Usi
ng Horizontal Boundaries" , Proc.SPIE/SPSE, vol. 1
452-23, pp.330-339, 1991 （２）特開平１−２５３０７７号公報
【００１２】次に、自動領域分割部４Ａにおける文書画
像の領域分割の処理（ステップ２２）は、図４のような
手順で行なわれる。まず、メモリ３から文書画像データ
３０を取り込む（ステップ４１）。次に、近接し、高さ
がほぼ同じ白画素矩形同志を統合した後に、一定長さ、
幅以上の全ての矩形を縦或は横のセパレータ（３３，３
４）として抽出し（図３）、それらの文書画像上のＸ，
Ｙ座標値を領域構造記憶部９に記録する。ただし、両端
が縦のセパレータと接していない横のセパレータは記録
しない。また、一定長さ以上の黒罫線３１ｄも罫線セパ
レータ３５として記録する（ステップ４２）。幅や長さ
の閾値は文書画像毎に白画素矩形の大きさの分布を調
べ、ダイナミックに定める方法が望ましい。またここで
抽出するセパレータは続けて行われる領域分割の誤りを
防ぐために信頼性の高い(幅が広く長い)ものだけを候補
として記録する。次ぎに、縦横のセパレータ（３３，３
４）を基にして文字領域の分割を行う（ステップ４
３）。分割に先立って、これらセパレ-タと抽出された文
字列や文字列以外の矩形の分布から図形領域３６を特定
し処理対象から除く。図形領域については既存の方法で
も報告されているように、黒画素分布の複雑さ等の特徴
量を使って文字領域との分離が可能である。次に、得ら
れた矩形や領域、セパレータの階層関係から木構造を抽
出する（ステップ４４）。領域の分割方向は木構造の階
層が深くなるにつれて縦、横必ず交互に現れる。この木
構造の各ノードは構成要素を囲む矩形を表している。一
つのノードの子ノードは、そのノードの矩形を水平又は
垂直方向に切り分けた結果得られる矩形を示す。
【００１３】図形領域を除いた画像全体について、幾つ
かの領域に分割する縦のセパレータ３７が見付かれば、
これを用いて画像を更に分割する。次に各領域について
それらを幾つかの領域に再分割できる横のセパレータ３
８があれば、さらに小さな領域に分割する。このように
縦横のセパレータを交互に使いながら再帰的に分割を繰
り返し、画像全体を木構造を成す領域群に分ける。
【００１４】続いて、各領域に分けられた文字列群か
ら、行、各行毎の文字高さ、ベースラインを求め、これ
らを基に行ピッチ或は文字サイズが変化する行を推定す
る。これらの行の上にある行間を横のサブセパレータ３
９として抽出し、そのＸＹ座標値を記録する（ステップ
４５）。また縦方向に規則正しくならんだ二つの文字列
群を分離する一定の大きさ以上の白画素矩形(セパレー
タよりは小さい)が見付かった場合にはこれを縦のサブ
セパレータとして記録しておく。サブセパレータはセパ
レータにはなりえなかった構成要素の区切りを補完する
という性格を持つ。さらに、領域を縦、或は横に区切る
サブセパレータを使って領域分割を繰り返す（ステップ
４６）。
【００１５】そして、上記領域分割の結果から、全画像
を分割して図５に示すような木構造６１を抽出する（ス
テップ４７）。領域の分割の結果、最下層のターミナル
ノードに現れる矩形は、多くの場合いわゆる行に対応す
る文字列である。得られたデータは領域構造記憶部９に
記録される（ステップ４８）。
【００１６】画像が分割された結果は、図６のように表
示部１３のイメージ・ウインドウ（ImageWindow）５０
に、文書イメージ５１として表示される。また、モデル
・ウインドウ（ModelWindow）６０には、木構造６１を
模式的に表現したレイアウトモデル８０が表示される。
文書イメージ５１のそれぞれの領域（５１Ａ〜５１Ｇ）
が木構造６１の各ノード（６１Ａ〜６１Ｇ）に対応して
いる。この時点でのレイアウトモデル８０は、各ノード
が空の状態である。木構造６１の各ノードの上下に示し
たシンボルはセパレータ、或はサブセパレータを表して
いる。 線分の種類により、セパレータ６２、罫線セパ
レータ６３あるいはサブセパレータ６４等に分類され
る。文字領域の木のターミナルノードはいわゆる行にな
るが、図６のモデルの木ではターミナルノードの一段上
のノードまでしか示していない。 内部的にはターミナ
ルノードまで含めた木が生成される。以後、いわゆるタ
ーミナルノードにあたるものを矩形、矩形を内包する親
ノードあるいは、それらを内包するさらに上の親ノード
を領域と呼んで区別する。
【００１７】次に、領域構造変更部４Ｂによる分割領域
の修正の処理（ステップ２４）について述べる。先に述
べた領域分割（ステップ２２）は所定の規則に従って自
動的に処理されるので、必ずしも個々の文書の構成要素
を正しく分割しているとは限らない。例えば図８の
（Ａ）では、画像の領域５１Ｂにおいて「タイトル」領
域 ５１b1,５１b2 と「著者名」領域 ５１b3〜 b6 の
分離がされていない。図９の（Ａ）では画像５１の「本
文」部分５１Ｅの領域分割を誤っている。
【００１８】このような場合には、ユーザーの入力操作
に基づいて領域のグラフィカルな修正を行い正しい分割
に直す。図７にその手順を示す。先ず、領域構造記憶部
９に記録されている領域分割された文書イメージ５１と
その木構造６１のデータを読みだし（ステップ７１）、
夫々画面表示部１３のイメージ・ウインドウ５０、モデ
ル・ウインドウ６０に表示する（ステップ７２）。文書
イメージ５１には、セパレータやサブセパレータも併せ
表示される。ユーザは、文書イメージの文面と領域分割
の結果とを比較し、領域分割の妥当性を判断する。そし
て領域分割に誤りがあれば、コマンドを選択し、イメー
ジ・ウインドウ５０上でマウス操作により領域を指定す
ることによって修正操作を行う。領域構造変更部４Ｂで
は、ユーザーが入力したコマンドを解釈し、木構造の修
正を行う（ステップ７３〜７４）。この修正データは領
域構造記憶部９に記録される（ステップ７５）。
【００１９】領域構造修正のためのコマンドとしては、
次のようなものがあり、修正の範囲（矩形又は領域）、
位置等は、マウスで指定する。 「矩形作成」： 指定された文書イメージ５１内の矩
形領域を新たな矩形とし、そのデータ（木構造と座標
値）を記録する。 「矩形削除」：指定された矩形領域のデータを削除す
る。 「矩形変更」：指定された矩形領域のデータを変更す
る。 「グルーピング」： 既に存在する矩形又は領域を囲ん
で統合し、新しい領域を作成する。 「グルーピング解除」： 統合されている領域又は矩形
を指定して分離する。 「矩形移動」： ある領域の矩形を指定した別の領域又
は領域外に移動する。領域外に移動された矩形は単独で
も新たな領域となる。
【００２０】このようなコマンド操作を組み合わせて領
域分割を修正する。前記図８の例では孫ノードの領域５
１b1,b2と５１b3〜b6 を含む子ノードの領域５１Ｂを
「グルーピング解除」して子ノード５１Ｂの矩形データ
を削除する。次に、領域５１b1,b2と５１b3〜b6 を親
ノード５１Ｐに加えることにより、子ノードの領域５１
b1,b2,b3〜b6 とし(Ｂ)、さらに「タイトル」領域５１
Ｂ（孫ノード５１b1,b2）と「著者名」領域５１Ｃ（孫
ノード５１c1〜c4 ）に「グルーピング」し直す(Ｃ)。
【００２１】図９の例では「矩形移動」により「本文」
部分５１Ｅの領域分割を領域を修正する。すなわち、
（Ａ）のひ孫ノードe21の矩形をマウスで指定し、孫ノ
ード５１e1に移すことにより e21のデータを孫ノード
５１e２の下から削除する。次に、ひ孫ノードの無くな
った孫ノード５１e２を削除し、元のひ孫ノードe21の矩
形データを孫ノード５１e１の下に新しくひ孫ノードe16
として挿入することにより、（Ｂ）のような新しい木構
造を生成する。
【００２２】領域分割の修正における処理の対象は画像
そのものではなく、文字列抽出の結果得られた矩形集合
５１Ａ〜５１Ｇなので、カットアンドペーストのような
画像に対する処理ではなく、グラフィックエディターに
類似した処理が可能である。これらの修正は例えば図の
説明を本文と誤った場合や、その逆の場合にも有効で、
同じように「矩形移動」によって誤りを正すことができ
る。
【００２３】次に、図１０によりマクロパラメーターの
指定及びレイアウトモデルの生成（図２のステップ２
４，２５）について説明する。まず、領域構造記憶部９
から文書画像および木構造のデータを読みだし、イメー
ジ・ウインドウ５０、モデル・ウインドウ６０に表示す
る（ステップ１０１，１０２）。先にも述べたように、
木構造６１の各ノード（６１Ａ〜６１Ｇ）はブランクの
ままなので、レイアウトモデルとして完成するにはこれ
らのノードに領域名を初めとする各種パラメータをセッ
トしなければならない。 また、実画像の解析結果か
ら、上下左右のセパレータの有無、矩形の数等はわかる
が、モデルとして登録する場合には、画像ごとにばらつ
くもの(矩形の数)と比較的安定した特徴(罫線の有無)を
考慮しなければならない。そこで予めデフォルトパラメ
ータセットとしてマクロパラメータセットを定義し、ラ
イブラリー１１に記録しておく。ユーザーは、実際の解
析結果と照らし合わせ、必要な変更を加えたうえでパラ
メータを各ノードにセットする（ステップ１０３）。
【００２４】図１１にマクロパラメータの設定の状況を
示す。６５は、マクロパラメータセット・ウインドウで
あり、代表的な文書の構成要素について、木構造６１に
対応する形でマクロパラメータテーブル６６に表形式で
表されている、各パラメータのデフォルト値がセットさ
れている。なお、マクロパラメータセット・ウインドウ
６５は、画面表示部に表示されていて、マウス操作でパ
ラメータがセット出来るようになっている。マクロパラ
メータの例として、Man.はそのページ内に必ずあるか否
かを表し、Min.は子ノードの最小数、Max.は子ノードの
最大数、Separ.は上下左右のセパレータの存在を表して
いる。このようなパラメータが、出現の予想される領域
の種類に応じて、予め用意される。
【００２５】この中で階層構造を示す項目（Nest.，Nam
e,Dir.等）は解析結果の木構造から親子関係を判断し新
しくセットする。セパレータに関する項目（ Separ.）
は、デフォルトの値が実際の解析結果とそぐわない場合
に解析結果に合った値をセットしなおす。領域に内包さ
れる矩形の数についても同様である。
【００２６】このようにして模式的な木のノードにマク
ロパラメータをセットし、レイアウトモデルを定義す
る。勿論マクロを使わずに各パラメータを直接セットす
ることも可能である。かくして、一枚の文書画像から抽
出された木構造の全てのノードにマクロパラメータがセ
ットされたレイアウトモデル８０が生成され、そしてレ
イアウトモデル記憶部１０に記録される。レイアウトモ
デル記憶部１０におけるレイアウトモデル８０のデータ
形式は、図１２の通りである。（Ａ）に示すように、各
ノード６１に上記マクロパラメータと所定のデータが記
録され、親子ポインタ６７，兄弟ポインタ６８によって
各ノード間の接続関係が示されている。各ノードには、
（Ｂ）に詳細を示すように、座標値等が記録されてお
り、またポインタ６９によりセパレータの詳細な内容が
記録れている。
【００２７】図１３の表は、レイアウトモデルの定義の
一例を示すもので、外部記憶装置１４にＡＳＣＩＩファ
イルとして保存される時のテキスト形式で表している。
図１３の表において、パラメータ Nestは木構造のレベ
ルの深さ、 Dir.は子ノードの並んでいる方向、 Elemen
tは子ノードが矩形(String)か領域(Dummy)かを示す。ま
た、Recoは認識対象(Yes)か否か(No,N/A)を示す。
【００２８】なお、レイアウトモデル及びその定義、領
域分割の方法に関するより詳細な説明は、次の文献の引
用を以て代える。A. Yamashita, T. Amano, K. Toyokaw
a and H.Takahashi, " A Model BasedLayout Understan
ding Method for Document Recognition System," Pro
c.1ST INT. Conf.on Document Analysis and Recogniti
on, pp. 130-138, 1991
【００２９】次に、レイアウトモデルの汎用性を増すた
めに、必要に応じて後述するコマンドを選択入力して
（図１０のステップ１０４）レイアウトモデルの変更を
行い（ステップ１０５）、その結果をレイアウトモデル
に記録する（ステップ１０６）。
【００３０】このレイアウトモデルの変更（図１０のス
テップ１０４，１０５）に際しては、子ノ−ドの繰り返
しを定義できる。これによりレイアウトモデルは汎用性
を増し、多くの文書画像をカバーできるようになる。特
に本発明のように、一枚の文書画像からレイアウトモデ
ルを作成した場合には、冗長性を持たせることである程
度汎用的なモデルにしなければならない。
【００３１】冗長性を持たせる一つの方法として、マク
ロパラメータでデフォルト値をセットする方法がある。
別な方法として、領域に内包される領域の繰り返し定義
を行えるような仕組みを用意してもよい。 レイアウト
モデルの変更のコマンドには、「自動変更」、「単数
化」、「複数化」等がある。
【００３２】「自動変更」は、繰り返し定義が自動的に
行われる。図１４に示すように、複数のノードに同じ名
前のマクロパラメータがセットされた場合には、「自動
変更」コマンドによってノードの表示が変化して、領域
の繰り返しを示す表示となる。すなわち、元の木構造は
保存したまま、同一パラメータの指定された孫ノード６
１e1〜６１e3を削除し（Ａ）、代りに、可変個のひ孫ノ
ード em1 とダミーの孫ノード６１em を挿入する
（Ｂ）。モデルの定義上、領域が繰り返される場合には
必ずダミーのノード６１emが形成され、繰り返し数Ｍを
含んだパラメータがセットされる。
【００３３】「複数化」は、図１５の（Ａ）の状態か
ら、元の木構造は保存したまま、単一の孫ノード６１e1
を削除し、代りに、可変個のひ孫ノード em1 とダミ
ーの孫ノード６１emを挿入する（Ｂ）。画像解析の結果
一つしかなかった領域を汎用性を考えて繰り返し指定し
たい場合には、「複数化」コマンドによって繰り返し表
示に変えることができる
【００３４】「単数化」は、図１６に示すように、
（Ａ）の状態から可変個のひ孫ノード em1 とダミー
の孫ノード６１emを削除し、代りに、元の木構造の孫ノ
ード６１e1〜６１e3を挿入する。
【００３５】これらの木構造６１の子や孫ノードの数に
関する情報はマクロパラメータテーブルの親ノードの欄
に記録されるので、内部的には孫や子ノードのパラメー
タがセットされ終わった時点で親ノードのパラメータが
確定する。繰り返し数の細かなパラメータは、「設定」
コマンドによっていつでもセットし直しができる。
【００３６】以上述べた方法によって、図６の画像５１
から木構造を作成し、修正して最終的に生成されたレイ
アウトモデル８０の例を、図１７のモデル・ウインドウ
６０に示す。このように一画像の解析結果から同種の文
書画像をカバーできるような汎用的なレイアウトモデル
がグラフィカルに作成できる。
【００３７】次に、図１８により、本発明を住所録のレ
イアウトモデル作成に適用した実施例を説明する。領域
の分割方向は木構造の階層が深くなるにつれて縦、横必
ず交互に現れるが、前に述べた実施例では、最初の分割
方向を縦方向としている。これは、一般的にこのような
方向の分割頻度が高いことによる。その結果、この方法
で図１８の住所録９０を自動的に領域分割すると、物理
的な区切りと論理的な区切りが異なってしまう。すなわ
ち物理的な区切りとしての縦のセパレータ３３等により
住所録９０が領域（５１Ａ〜５１Ｄ）に分割され、これ
をそのままレイアウトモデルにすると、縦に並列に並ん
だ４カラムからなる文書という定義になる（Ｂ）。しか
し、住所録は、通常横方向に、氏名、郵便番号、住所等
が記載されており、横方向に領域分割することに論理的
な意義がある。
【００３８】このような不具合を避けるため、このよう
な特殊な分割方向を持つタイプの文書を処理するのに適
した、マクロパラメータを容易しておく。例えば、予め
パラメータ指定で、マクロパラメータ「住所録」（Addr
essBook）」として、子ノード「個人(Person)」を伴っ
たものと定義し、これを親ノードにセットしておく。こ
のマクロパラメータを用いると、自動領域分割に際し
て、モデル上で「住所録」の下のノードを調べ、該当す
るノードがあればそのノードに、なければ子ノードの挿
入が起こり図の（Ｃ）に示すように変化する。すなわ
ち、（Ｂ）の親ノード６１Ｐの下に子ノード「個人」が
無いので、親ノード６１Ｐと子ノード６１Ａ〜Ｄとの間
に、可変個の子ノード６１Ｎを挿入し、元の子ノード６
１Ａ〜Ｄが孫ノード６１a1〜a4 となるように木構造を
変更する（Ｃ）。この場合、元の解析結果では、子ノー
ド６１Ａ〜Ｄの並んでいる方向を表すパラメータDir.は
Ver (縦)であるが、パラメータ指定「住所録」によっ
て新たに挿入された子ノード６１Ｎ (Person) の下の孫
ノードの並ぶ方向は、Hor (横)となる。
【００３９】このように、物理的な解析結果と論理構造
が異なるような文書(例えば電話帳、スケジュール表の
ようなテーブル形式の文書)に対するモデル定義では、
単なるパラメータの集合だけでなく、階層構造までセッ
トされたマクロパラメータを予め用意するのがよい。こ
のマクロパラメータは、解析結果に現れなかった架空の
ノードを挿入し、子ノードの並びを解析結果と異なる方
向(縦は横に、横は縦に)に自動的に変更する機能を有す
るものである。このようなマクロパラメータを用いて、
実際に得られた物理構造を強制的に変更し正しいモデル
を作成することが出来る。勿論、画像解析結果上で一人
分の個人データを囲み直してもモデル上で同じような修
正結果が得られる。
【００４０】本発明は、電子ファイリングシステムとし
て、文書を検索し解読することにも利用できる。このよ
うな場合、汎用的なレイアウトモデルを作らず、特定の
文書について画像イメージのテキスト領域だけを指定
し、直接読むだけという使用法も考えられる。
【００４１】図１９、図２０にこのような用途に適した
実施例を示す。ここでは、パラメータのセットをモデル
ウインドウ６０だけでなくイメージウインドウ５０に対
してもできるようにしておくものである。まず、木構造
のデータを読みだし（ステップ１９１）、文書の画像イ
メージと重ねてイメージウインドウ５０に表示する（ス
テップ１９２）。そして、テキスト領域に対して直接マ
クロパラメータをセットする（ステップ１９３）。以下
モデルウインドウ６０に示したと同様ような方法でレイ
アウトモデルの作成が行われ、その結果は、レイアウト
モデル記憶部１０に記録される。この場合のモデルは、
必ずしも汎用的なものではなく、解析した文書のページ
に固有のものとなる。このようにして、イメージウイン
ドウ５０にパラメータのセット（５５Ａ〜５５Ｈ）を持
つレイアウトモデル８２が作成でき、ページとともに記
憶される（ステップ１９５）。一方、図１の文字認識装
置１６により画像イメージが文字認識され読み取られ、
上記レイアウトモデルと関連付けて記憶装置に記憶され
る。次に、このレイアウトモデル８２を利用して検索し
たいパラメータをセットすると検索装置１７により検索
され、画像イメージの該当部分の文字認識結果が読み取
られ出力される（ステップ１９６）。この方法によれ
ば、簡単に検索範囲の設定ができる。
【００４２】なお、図１のレイアウトモデル作成装置に
代えて、汎用のコンピュータのメモリに図２以下で述べ
た処理手順を含むプログラムをストアし、プロセッサで
図１のレイアウトモデル作成装置１と同様な文書画像の
領域分割やレイアウトモデルの作成機能を実行せること
も出来る。
【００４３】以上述べたように、本発明では、実際の画
像解析結果をもとに、階層構造の変更、領域の繰り返し
指定といった汎用的なレイアウトモデルの作成処理をグ
ラフィカルに行うので、ユーザーにとっては操作がわか
り易く簡単である。また例えばレイアウトモデルが無
く、その設定の必要もない一通の文書を読み取りたい時
に、本発明を用いて領域を分割し、読み取りたい領域
(ノード)を指定して文字コードに変換するといった用途
にも利用することができる。
【発明の効果】実際の文書の紙面から画像解析され抽出
された唯一つの木構造を加工して、汎用的なレイアウト
モデルを作成することが出来る。さらに、対話形式で木
構造やレイアウトモデルの作成、変更が出来るので、ユ
ーザにとっては操作が簡単である。
【図面の簡単な説明】
【図１】本発明の一実施例になる電子ファイリングシス
テムの全体構成を示す図である。
【図２】図１のレイアウトモデル作成装置の処理フロー
を示す図である。
【図３】文書画像の領域分割処理を説明する図である。
【図４】図１の自動領域分割部における領域分割の処理
フローを示す図である。
【図５】領域分割により得られる木構造のレイアウトモ
デルの例を示す図である。
【図６】画面表示部に表示された領域分割例を示す図で
ある。
【図７】分割領域修正の処理フローを示す図である。
【図８】分割領域修正における「グルーピング」処理及
び「グルーピング解除」処理を説明する図である。
【図９】分割領域修正における「矩形移動」処理を説明
する図である。
【図１０】マクロパラメーターの指定及びレイアウトモ
デルの生成の処理フローを示す図である。
【図１１】マクロパラメータの設定の状況を示す図であ
る。
【図１２】記憶部におけるレイアウトモデルのデータ形
式を示す図である。
【図１３】レイアウトモデルの定義の一例を示すもの
で、外部記憶装置にＡＳＣＩＩファイルとして保存され
る時のテキスト形式で表したものである。
【図１４】レイアウトモデルの「自動変更」コマンド処
理を説明する図である。
【図１５】レイアウトモデルの「単数化」コマンド処理
を説明する図である。
【図１６】レイアウトモデルの「複数化」コマンド処理
を説明する図である。
【図１７】図６の画面表示部に表示された領域分割を修
正して生成されたレイアウトモデルを示す図である。
【図１８】領域分割の修正を自動的に行う場合の他の実
施例を示す図である。
【図１９】本発明の他の実施例として、パラメータのセ
ットをイメージウインドウに対して行う例の処理フロー
を示す図である。
【図２０】図１９の方法によって得られた結果を示す画
面表示部のイメージウインドウの図である。
【符合の説明】
１ レイアウトモデル作成装置 ２ 画像入力部 ３ 画像メモリ ４Ａ 自動領域分割部 ４Ｂ 領域構造変更部 ５ コマンド入力部 ７ レイアウトモデル生成部 ８ マクロ指定部 ９ 領域構造記憶部 １１ マクロパラメータ・ライブラリー １０ レイアウトモデル記憶部 １３ 画面表示部 １４ 外部記憶装置
───────────────────────────────────────────────────── フロントページの続き (72)発明者 豊川 和治 東京都千代田区三番町５−19 日本ア イ・ビー・エム株式会社 東京基礎研究 所内 (56)参考文献 特開 平４−352068（ＪＰ，Ａ)

Claims (6)

    (57)【特許請求の範囲】
  1. 【請求項１】入力部、領域生成部、レイアウトモデル生
    成部、記憶部及び表示部を備えた装置により文書画像の
    構成要素を定義するレイアウトモデルを作成する方法で
    あって、 入力された文書画像を上記領域生成部で解析して文書の
    構成要素を区切る可能性が高いセパレータを抽出し、該
    セパレータの情報に従って上記文書画像の全体を木構造
    領域に区分し、 上記領域区分を上記文書画像と共に上記表示部に表示
    し、 上記領域分割を修正するための入力に応答して上記領域
    生成部で上記木構造を変更し、 上記レイアウトモデル生成部で上記木構造の各領域に対
    応する一部のパラメータが空のノードを有するレイアウ
    トモデルを生成して上記表示部に表示し、上記空の各ノ
    ードについて入力された、木構造の各ノードについての
    条件を含むマクロパラメータを設定し、 解析結果から得られた木構造に属するパラメータと上記
    マクロパラメータを融合した後に レイアウトモデルを完
    成させる、 ことを特徴とする文書画像のレイアウトモデル作成方
    法。
  2. 【請求項２】上記マクロパラメータに含まれている木構
    造の各ノードについての条件は、ページに内に必ずある
    か否か、子ノードの最小数、子ノードの最大数、上下左
    右のセパレータの存在のうちの少なくとも１つを含むも
    のである、請求項１記載の文書画像のレイアウトモデル
    作成方法。
  3. 【請求項３】上記入力部で文書画像をスキャンして、画
    像イメージから黒画素領域を抽出し、文書画像の矩形デ
    ータとして生成し、 上記領域生成部で上記矩形データから上記セパレータを
    抽出する、 ことを特徴とする請求項１記載の文書画像のレイアウト
    モデル作成方法。
  4. 【請求項４】上記マクロパラメータの詳細を予め定義し
    て上記記憶部に保持し、該マクロパラメータを用いて上
    記各ノードのパラメータ指定を行うようにした、 ことを特徴とする請求項１記載の文書画像のレイアウト
    モデル作成方法。
  5. 【請求項５】入力部、領域生成部、レイアウトモデル生
    成部、記憶部及び表示部を備えた装置により文書画像の
    構成要素を定義するレイアウトモデルを作成する方法で
    あって、 入力された文書画像を上記領域生成部で解析して文書の
    構成要素を区切る可能性が高いセパレータを抽出し、該
    セパレータの情報に従って上記文書画像の全体を木構造
    領域に区分し、上記領域区分を上記文書画像と共に上記
    表示部に表示し、 上記領域分割を修正するための入力に応答して上記領域
    生成部で上記木構造を変更し、 上記レイアウトモデル生成部で上記木構造の各領域に対
    応する一部のパラメータが空のノードを有するレイアウ
    トモデルを生成して上記表示部に表示し、上記空の各ノ
    ードについて入力された、木構造の各ノードについての
    条件を含むマクロパラメータを設定し、 解析結果から得られた木構造に属するパラメータと上記
    マクロパラメータを融合した後に レイアウトモデルを完
    成させる手段を具備する、 文書画像のレイアウトモデル作成装置。
  6. 【請求項６】上記マクロパラメータに含まれている木構
    造の各ノードについての条件は、ページに内に必ずある
    か否か、子ノードの最小数、子ノードの最大数、上下左
    右のセパレータの存在のうちの少なくとも１つを含むも
    のである、請求項５記載の文書画像のレイアウトモデル
    作成装置。
JP3333778A 1991-12-18 1991-12-18 文書画像のレイアウトモデルを作成する方法及び装置 Expired - Fee Related JP2579397B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP3333778A JP2579397B2 (ja) 1991-12-18 1991-12-18 文書画像のレイアウトモデルを作成する方法及び装置
EP92310981A EP0547804A1 (en) 1991-12-18 1992-12-02 Method and apparatus for generating a layout model to define objects of a document image
US08/507,061 US5555362A (en) 1991-12-18 1995-07-26 Method and apparatus for a layout of a document image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP3333778A JP2579397B2 (ja) 1991-12-18 1991-12-18 文書画像のレイアウトモデルを作成する方法及び装置

Publications (2)

Publication Number Publication Date
JPH0668300A JPH0668300A (ja) 1994-03-11
JP2579397B2 true JP2579397B2 (ja) 1997-02-05

Family

ID=18269856

Family Applications (1)

Application Number Title Priority Date Filing Date
JP3333778A Expired - Fee Related JP2579397B2 (ja) 1991-12-18 1991-12-18 文書画像のレイアウトモデルを作成する方法及び装置

Country Status (3)

Country Link
US (1) US5555362A (ja)
EP (1) EP0547804A1 (ja)
JP (1) JP2579397B2 (ja)

Families Citing this family (135)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5701500A (en) * 1992-06-02 1997-12-23 Fuji Xerox Co., Ltd. Document processor
US5848184A (en) * 1993-03-15 1998-12-08 Unisys Corporation Document page analyzer and method
JP3373008B2 (ja) * 1993-10-20 2003-02-04 オリンパス光学工業株式会社 画像像域分離装置
US5991782A (en) * 1994-02-18 1999-11-23 Fujitsu Limited Automated extraction and doubly linked reference marks for partialized document contents and version control
JP2618832B2 (ja) * 1994-06-16 1997-06-11 日本アイ・ビー・エム株式会社 文書の論理構造の解析方法及びシステム
JPH0887495A (ja) * 1994-09-16 1996-04-02 Ibm Japan Ltd 表データのカット・アンド・ペースト方法及びデータ処理システム
US5987171A (en) * 1994-11-10 1999-11-16 Canon Kabushiki Kaisha Page analysis system
US5907835A (en) * 1994-11-18 1999-05-25 Canon Kabushiki Kaisha Electronic filing system using different application program for processing drawing commands for printing
US5953733A (en) * 1995-06-22 1999-09-14 Cybergraphic Systems Ltd. Electronic publishing system
US5774579A (en) * 1995-08-11 1998-06-30 Canon Kabushiki Kaisha Block selection system in which overlapping blocks are decomposed
US6137905A (en) * 1995-08-31 2000-10-24 Canon Kabushiki Kaisha System for discriminating document orientation
US5748186A (en) * 1995-10-02 1998-05-05 Digital Equipment Corporation Multimodal information presentation system
US6009196A (en) * 1995-11-28 1999-12-28 Xerox Corporation Method for classifying non-running text in an image
JP2994996B2 (ja) * 1995-12-01 1999-12-27 松下電器産業株式会社 マルチメディア編集装置
US5841900A (en) * 1996-01-11 1998-11-24 Xerox Corporation Method for graph-based table recognition
US6201894B1 (en) * 1996-01-23 2001-03-13 Canon Kabushiki Kaisha Method and apparatus for extracting ruled lines or region surrounding ruled lines
US5784487A (en) * 1996-05-23 1998-07-21 Xerox Corporation System for document layout analysis
US5920877A (en) * 1996-06-17 1999-07-06 Kolster; Page N. Text acquisition and organizing system
US5956468A (en) * 1996-07-12 1999-09-21 Seiko Epson Corporation Document segmentation system
JPH1063744A (ja) * 1996-07-18 1998-03-06 Internatl Business Mach Corp <Ibm> 文書のレイアウト解析方法及びシステム
US5893127A (en) * 1996-11-18 1999-04-06 Canon Information Systems, Inc. Generator for document with HTML tagged table having data elements which preserve layout relationships of information in bitmap image of original document
US5892843A (en) * 1997-01-21 1999-04-06 Matsushita Electric Industrial Co., Ltd. Title, caption and photo extraction from scanned document images
JPH10228473A (ja) * 1997-02-13 1998-08-25 Ricoh Co Ltd 文書画像処理方法、文書画像処理装置および記憶媒体
US7278098B1 (en) * 1997-04-09 2007-10-02 Adobe Systems Incorporated Method and apparatus for implementing web pages having smart tables
US6026417A (en) * 1997-05-02 2000-02-15 Microsoft Corporation Desktop publishing software for automatically changing the layout of content-filled documents
US6298173B1 (en) 1997-10-03 2001-10-02 Matsushita Electric Corporation Of America Storage management system for document image database
US6038351A (en) * 1997-10-28 2000-03-14 Cash Management Solutions Apparatus and method for multi-entity, mixed document environment document identification and processing
US6665841B1 (en) * 1997-11-14 2003-12-16 Xerox Corporation Transmission of subsets of layout objects at different resolutions
US6269188B1 (en) 1998-03-12 2001-07-31 Canon Kabushiki Kaisha Word grouping accuracy value generation
JPH11306197A (ja) * 1998-04-24 1999-11-05 Canon Inc 画像処理装置及びその方法、コンピュータ可読メモリ
US6377704B1 (en) 1998-04-30 2002-04-23 Xerox Corporation Method for inset detection in document layout analysis
US6243501B1 (en) 1998-05-20 2001-06-05 Canon Kabushiki Kaisha Adaptive recognition of documents using layout attributes
US6466240B1 (en) * 1998-07-08 2002-10-15 Vadim Maslov Method for visually writing programs or scripts that transform structured text presented as a tree
US6327388B1 (en) 1998-08-14 2001-12-04 Matsushita Electric Industrial Co., Ltd. Identification of logos from document images
US6263122B1 (en) * 1998-09-23 2001-07-17 Hewlett Packard Company System and method for manipulating regions in a scanned image
JP2000137728A (ja) * 1998-11-02 2000-05-16 Fujitsu Ltd 文書解析装置及びプログラム記録媒体
JP3886727B2 (ja) * 1999-02-25 2007-02-28 富士通株式会社 画像処理装置
WO2000062243A1 (en) * 1999-04-14 2000-10-19 Fujitsu Limited Character string extracting device and method based on basic component in document image
US7426054B1 (en) * 1999-05-13 2008-09-16 Canon Kabushiki Kaisha Image processing apparatus, image reproduction apparatus, system, method and storage medium for image processing and image reproduction
US6880122B1 (en) 1999-05-13 2005-04-12 Hewlett-Packard Development Company, L.P. Segmenting a document into regions associated with a data type, and assigning pipelines to process such regions
DE10000935C2 (de) * 1999-05-13 2003-07-31 Hewlett Packard Co Vorrichtung und Verfahren zum Steuern einer Dokumentenbereichsanalyse
JP4310023B2 (ja) * 1999-06-17 2009-08-05 キヤノン株式会社 縮小画像作成方法及び装置、記憶媒体
US6538673B1 (en) * 1999-08-23 2003-03-25 Divine Technology Ventures Method for extracting digests, reformatting, and automatic monitoring of structured online documents based on visual programming of document tree navigation and transformation
JP2001101435A (ja) * 1999-09-27 2001-04-13 Toshiba Corp 文書画像処理装置文書画像処理方法
US6559871B1 (en) * 1999-09-29 2003-05-06 International Business Machines Corporation Asynchronous tree navigator graphical user interface and associated methods
US7184167B1 (en) * 1999-09-30 2007-02-27 Brother Kogyo Kabushiki Kaisha Data processing for arranging text and image data on a substrate
US6931591B1 (en) * 1999-10-15 2005-08-16 Saepio Technologies, Inc. Publishing layout wizard
US8132097B2 (en) * 1999-10-15 2012-03-06 Saepio Technologies, Inc. Computer-implemented system for creating a publication and method thereof
US6826727B1 (en) * 1999-11-24 2004-11-30 Bitstream Inc. Apparatus, methods, programming for automatically laying out documents
EP1109124A3 (en) * 1999-12-17 2005-01-19 Matsushita Electric Industrial Co., Ltd. Method and apparatus for image data processing and computer program product used therein
KR100319756B1 (ko) * 2000-01-21 2002-01-09 오길록 논문 문서영상 구조 분석 방법
US6948115B2 (en) * 2000-02-03 2005-09-20 Xmpie Inc. System and method for efficient production of dynamic documents
EP1128278B1 (en) * 2000-02-23 2003-09-17 SER Solutions, Inc Method and apparatus for processing electronic documents
JP3995185B2 (ja) * 2000-07-28 2007-10-24 株式会社リコー 枠認識装置及び記録媒体
JP5033277B2 (ja) * 2000-09-12 2012-09-26 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置および画像処理方法並びにコンピュータ読み取り可能な記録媒体
JP4599693B2 (ja) * 2000-09-12 2010-12-15 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置および画像処理方法並びにコンピュータ読み取り可能な記録媒体
US7221810B2 (en) * 2000-11-13 2007-05-22 Anoto Group Ab Method and device for recording of information
US7085736B2 (en) * 2001-02-27 2006-08-01 Alexa Internet Rules-based identification of items represented on web pages
US20030004946A1 (en) * 2001-06-28 2003-01-02 Vandenavond Todd M. Package labeling
GB2380009A (en) * 2001-09-21 2003-03-26 Hewlett Packard Co Apparatus and automated method of contract drafting
US7340092B2 (en) * 2001-12-21 2008-03-04 Minolta Co., Ltd. Image processing device, image processing method, program for executing image processing, and computer readable recording medium on which the program is stored
US20040205568A1 (en) * 2002-03-01 2004-10-14 Breuel Thomas M. Method and system for document image layout deconstruction and redisplay system
US7254270B2 (en) * 2002-07-09 2007-08-07 Hewlett-Packard Development Company, L.P. System and method for bounding and classifying regions within a graphical image
US7107525B2 (en) 2002-07-23 2006-09-12 Xerox Corporation Method for constraint-based document generation
US7487445B2 (en) * 2002-07-23 2009-02-03 Xerox Corporation Constraint-optimization system and method for document component layout generation
US20040034613A1 (en) * 2002-07-23 2004-02-19 Xerox Corporation System and method for dynamically generating a style sheet
US20060104511A1 (en) * 2002-08-20 2006-05-18 Guo Jinhong K Method, system and apparatus for generating structured document files
JP4462819B2 (ja) * 2002-09-26 2010-05-12 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム
US20040068521A1 (en) * 2002-10-04 2004-04-08 Haacke E. Mark Individual and user group webware for information sharing over a network among a plurality of users
JP4538214B2 (ja) * 2002-11-22 2010-09-08 オセ−テクノロジーズ・ベー・ヴエー グラフによる画像分割
JP4136634B2 (ja) * 2002-12-10 2008-08-20 キヤノン株式会社 文書処理装置及び方法
US20040133595A1 (en) * 2003-01-08 2004-07-08 Black Karl S. Generation of persistent document object models
US7600001B1 (en) * 2003-05-01 2009-10-06 Vignette Corporation Method and computer system for unstructured data integration through a graphical interface
US20050050052A1 (en) * 2003-08-20 2005-03-03 3M Innovative Properties Company Centralized management of packaging data with artwork importation module
US20050044171A1 (en) * 2003-08-21 2005-02-24 3M Innovative Properties Company Centralized management of packaging data having modular remote device control architecture
US8056013B2 (en) 2005-05-13 2011-11-08 Hewlett-Packard Development Company, L.P. Method for arranging graphic assemblies
US8065627B2 (en) * 2003-09-30 2011-11-22 Hewlett-Packard Development Company, L.P. Single pass automatic photo album page layout
US7555730B2 (en) * 2005-05-12 2009-06-30 Hewlett-Packard Development Company, L.P. Method for arranging graphic assemblies
US7743322B2 (en) * 2003-09-30 2010-06-22 Hewlett-Packard Development Company, L.P. Automatic photo album page layout
US7424672B2 (en) * 2003-10-03 2008-09-09 Hewlett-Packard Development Company, L.P. System and method of specifying image document layout definition
US7325191B2 (en) * 2003-12-08 2008-01-29 Microsoft Corporation Preservation of source code formatting
EP1603072A1 (de) * 2004-06-02 2005-12-07 CCS Content Conversion Specialists GmbH Verfahren und Einrichtung zur Strukturanalyse eines Dokuments
JP2006085665A (ja) * 2004-08-18 2006-03-30 Ricoh Co Ltd 画像処理装置、画像処理プログラム、記憶媒体、画像処理方法および画像形成装置
US7656543B2 (en) * 2004-11-12 2010-02-02 Hewlett-Packard Development Company, L.P. Albuming images
EP1836584A4 (en) * 2004-11-16 2009-05-06 Zalag Corp DISPLAY / LAYOUT PROCESSES AND DEVICES WITH CONTENTS AND DISPLAY CONTAINERS
US7757166B2 (en) * 2004-12-10 2010-07-13 Jostens, Inc. System and method for yearbook creation
US7421651B2 (en) * 2004-12-30 2008-09-02 Google Inc. Document segmentation based on visual gaps
US8245131B2 (en) * 2005-02-10 2012-08-14 Hewlett-Packard Development Company, L.P. Constraining layout variations for accommodating variable content in electronic documents
US8161377B2 (en) * 2005-03-01 2012-04-17 Hewlett-Packard Development Company, L.P. Arranging images on pages of an album
US7760956B2 (en) 2005-05-12 2010-07-20 Hewlett-Packard Development Company, L.P. System and method for producing a page using frames of a video stream
US7392473B2 (en) * 2005-05-26 2008-06-24 Xerox Corporation Method and apparatus for determining logical document structure
US7644356B2 (en) * 2005-06-10 2010-01-05 Hewlett-Packard Development Company, L.P. Constraint-based albuming of graphic elements
US7555711B2 (en) * 2005-06-24 2009-06-30 Hewlett-Packard Development Company, L.P. Generating a text layout boundary from a text block in an electronic document
US9098581B2 (en) 2005-07-27 2015-08-04 Hewlett-Packard Development Company, L.P. Method for finding text reading order in a document
JP4906044B2 (ja) * 2005-09-28 2012-03-28 キヤノン株式会社 情報検索装置及びその制御方法、コンピュータプログラム、並びに、記憶媒体
JP4944434B2 (ja) * 2005-12-06 2012-05-30 キヤノン株式会社 レイアウト方法及びプログラム
JP2007249755A (ja) * 2006-03-17 2007-09-27 Ibm Japan Ltd ドキュメントを理解する難易度を評価するシステムおよびその方法
US7743079B1 (en) 2006-07-31 2010-06-22 Microsoft Corporation Managing data across a semantic data view and a presentation data view
US8006179B2 (en) * 2006-07-31 2011-08-23 Microsoft Corporation Wrapping nodes in a drawing canvas
US20080172616A1 (en) * 2007-01-16 2008-07-17 Xerox Corporation Document information workflow
US20080189609A1 (en) * 2007-01-23 2008-08-07 Timothy Mark Larson Method and system for creating customized output
JP4940973B2 (ja) * 2007-02-02 2012-05-30 富士通株式会社 論理構造認識処理プログラム、論理構造認識処理方法および論理構造認識処理装置
JP5125238B2 (ja) * 2007-06-06 2013-01-23 コニカミノルタビジネステクノロジーズ株式会社 文書処理装置、文書処理方法および文書処理プログラム
JP5036430B2 (ja) * 2007-07-10 2012-09-26 キヤノン株式会社 画像処理装置及びその制御方法
JP5233213B2 (ja) * 2007-09-11 2013-07-10 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置、画像処理方法および画像処理プログラム
US8290272B2 (en) * 2007-09-14 2012-10-16 Abbyy Software Ltd. Creating a document template for capturing data from a document image and capturing data from a document image
US8862986B2 (en) 2007-10-01 2014-10-14 Hewlett-Packard Development Company, L.P. Arranging graphic objects on a page with relative position based control
JP4998219B2 (ja) * 2007-11-09 2012-08-15 富士通株式会社 帳票認識プログラム、帳票認識装置および帳票認識方法
JP4875024B2 (ja) * 2008-05-09 2012-02-15 株式会社東芝 画像情報伝送装置
KR20110033207A (ko) * 2008-06-17 2011-03-30 조스텐즈 인코포레이팃드 졸업 앨범 생성 시스템 및 방법
JP5073612B2 (ja) * 2008-08-19 2012-11-14 Ｋｄｄｉ株式会社 コマ割り方法および装置ならびにコマ割り評価装置
US9390321B2 (en) 2008-09-08 2016-07-12 Abbyy Development Llc Flexible structure descriptions for multi-page documents
US8547589B2 (en) 2008-09-08 2013-10-01 Abbyy Software Ltd. Data capture from multi-page documents
US9152292B2 (en) * 2009-02-05 2015-10-06 Hewlett-Packard Development Company, L.P. Image collage authoring
US8291314B2 (en) * 2009-04-23 2012-10-16 Hewlett-Packard Development Company, L.P. Arranging graphic objects on a page
US8161384B2 (en) * 2009-04-23 2012-04-17 Hewlett-Packard Development Company, L.P. Arranging graphic objects on a page with text
JP4968293B2 (ja) 2009-08-06 2012-07-04 コニカミノルタビジネステクノロジーズ株式会社 文書処理装置、文書処理方法およびプログラム
JP5538812B2 (ja) * 2009-10-23 2014-07-02 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP5163629B2 (ja) * 2009-12-18 2013-03-13 コニカミノルタビジネステクノロジーズ株式会社 文書処理装置
US20110252049A1 (en) * 2010-04-07 2011-10-13 Marinescu Dan Cristian Function execution using sql
JP5561856B2 (ja) * 2010-05-24 2014-07-30 株式会社Ｐｆｕ 帳票作成装置、帳票作成プログラム、および帳票作成方法
JP5583542B2 (ja) * 2010-05-24 2014-09-03 株式会社Ｐｆｕ 帳票処理システム、ｏｃｒ装置、ｏｃｒ処理プログラム、帳票作成装置、帳票作成プログラム、および帳票処理方法
JP2012009000A (ja) * 2010-05-24 2012-01-12 Pfu Ltd 帳票処理システム、ｏｃｒ装置、ｏｃｒ処理プログラム、帳票作成装置、帳票作成プログラム、および帳票処理方法
US9002139B2 (en) 2011-02-16 2015-04-07 Adobe Systems Incorporated Methods and systems for automated image slicing
CA2772747C (en) * 2011-03-31 2015-10-27 Accenture Global Services Limited Form layout method and system
US8989485B2 (en) 2012-04-27 2015-03-24 Abbyy Development Llc Detecting a junction in a text line of CJK characters
US8971630B2 (en) 2012-04-27 2015-03-03 Abbyy Development Llc Fast CJK character recognition
US20140282127A1 (en) * 2013-03-15 2014-09-18 Lite-On It Corporation Method of converting an application of a mobile device into a distraction-free mode
CN104376317B (zh) * 2013-08-12 2018-12-14 福建福昕软件开发股份有限公司北京分公司 一种将纸质文件转换为电子文件的方法
EP3049914B1 (en) * 2013-09-25 2020-08-12 Chartspan Medical Technologies, Inc. User-initiated data recognition and data conversion process
US10445391B2 (en) 2015-03-27 2019-10-15 Jostens, Inc. Yearbook publishing system
US10049096B2 (en) 2015-06-19 2018-08-14 Infosys Limited System and method of template creation for a data extraction tool
US10740539B2 (en) * 2017-04-17 2020-08-11 Hewlett-Packard Development Company, L.P. Page structure adjustments
AU2018100324B4 (en) * 2017-12-18 2018-07-19 LIS Pty Ltd Image Analysis
KR102530657B1 (ko) * 2020-09-15 2023-05-09 네이버 주식회사 이미지에서 인식된 텍스트를 계층화하는 방법, 시스템, 및 컴퓨터 프로그램

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58169682A (ja) * 1982-03-31 1983-10-06 Toshiba Corp 文字画像処理装置
JP2559356B2 (ja) * 1984-08-24 1996-12-04 株式会社日立製作所 文書画像処理方法
JPS6255778A (ja) * 1985-09-05 1987-03-11 Mitsubishi Electric Corp 文章読取装置
JPH0821057B2 (ja) * 1987-07-10 1996-03-04 日本電気株式会社 文書画像解析方式
JPH01130293A (ja) * 1987-11-16 1989-05-23 Nec Corp 文書画像解析方式
US5185813A (en) * 1988-01-19 1993-02-09 Kabushiki Kaisha Toshiba Document image processing apparatus
EP0358815B1 (en) * 1988-09-12 1993-05-26 Océ-Nederland B.V. System and method for automatic segmentation
JP2855797B2 (ja) * 1990-06-15 1999-02-10 富士ゼロックス株式会社 文書処理装置
JPH04352068A (ja) * 1991-05-29 1992-12-07 Nec Corp 文書編集装置

Also Published As

Publication number Publication date
JPH0668300A (ja) 1994-03-11
EP0547804A1 (en) 1993-06-23
US5555362A (en) 1996-09-10

Similar Documents

Publication Publication Date Title
JP2579397B2 (ja) 文書画像のレイアウトモデルを作成する方法及び装置
JP7655987B2 (ja) モバイル向けのおよび他の表示環境をサポートするインタラクティブなサイトおよびアプリケーションの自動変換のためのシステムおよび方法
EP0718796B1 (en) Block selection review and editing system
JP2588491B2 (ja) 画像切り出し装置及びその方法
JP3302147B2 (ja) 文書画像処理方法
EP0690415B1 (en) Editing scanned document images using simple interpretations
EP1296278A2 (en) Document analysis system and method
JP5211193B2 (ja) 翻訳表示装置
JP5439455B2 (ja) 電子コミック編集装置、方法及びプログラム
JPH10240220A (ja) 注釈表示機能を持つ情報処理機器
JPH0750483B2 (ja) 文書画像追加情報の蓄積方法
JP2000090195A (ja) 表認識方法及び装置
JPH032979A (ja) 画像修正方法及び装置
JP2008108114A (ja) 文書処理装置および文書処理方法
JP4213558B2 (ja) 文書レイアウト解析プログラム、文書レイアウト解析プログラムを記憶したコンピュータ読み取り可能な記憶媒体、文書レイアウト解析方法および文書レイアウト解析装置
JP3965836B2 (ja) 画像処理システム
JP2006262442A (ja) 画像編集装置と画像編集方法
JPH08202856A (ja) 画像処理方法
JP2606560B2 (ja) 文書画像記憶装置
JPH07107711B2 (ja) 文書画像の処理装置
JPH0259880A (ja) 文書読取装置
JPH08202859A (ja) 電子ファイリング装置及びその方法
JPH05342325A (ja) 文書処理装置およびその装置のためのフォーム登録装置
JP2800254B2 (ja) 画像一文字処理装置
KR100470346B1 (ko) 이미지의 클러스터링 방법 및 이 방법을 이용하여 문자를고속으로 입력 및 교정하는 방법

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees