JPH07192084A - 文書画像処理方法 - Google Patents

文書画像処理方法

Info

Publication number
JPH07192084A
JPH07192084A JP5327015A JP32701593A JPH07192084A JP H07192084 A JPH07192084 A JP H07192084A JP 5327015 A JP5327015 A JP 5327015A JP 32701593 A JP32701593 A JP 32701593A JP H07192084 A JPH07192084 A JP H07192084A
Authority
JP
Japan
Prior art keywords
area
node
reading order
text
text area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP5327015A
Other languages
English (en)
Other versions
JP3302147B2 (ja
Inventor
Takashi Saito
高志 齋藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP32701593A priority Critical patent/JP3302147B2/ja
Publication of JPH07192084A publication Critical patent/JPH07192084A/ja
Priority to US08/516,686 priority patent/US5774580A/en
Priority to US09/088,773 priority patent/US5907631A/en
Application granted granted Critical
Publication of JP3302147B2 publication Critical patent/JP3302147B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/414Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/1444Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Character Input (AREA)
  • Character Discrimination (AREA)

Abstract

(57)【要約】 【目的】 縦書き、横書き文書の文章領域を高精度に構
造化して、正しい読み順を抽出する。 【構成】 領域抽出手段102は、2値画像から文字領
域、図領域などの領域を抽出する。文章領域分別手段1
03は、図題、表題、ヘッダ、フッタと、それ以外の本
文領域に分類する。罫線情報生成手段104は、抽出さ
れた罫線領域や、白領域の架空罫線、図領域の端部の架
空罫線などを生成する。文章領域配置構造化手段105
は、本文領域の配置を構造化し、木グラフで表現し、読
み順抽出手段106は、このグラフ表現から読み順を決
定する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、縦書きまたは横書き何
れか一方の書式で書かれた文書画像から抽出された文章
領域を構造化して、読み順を得るようにした文書画像処
理方法に関する。
【0002】
【従来の技術】OCR装置の前処理あるいは文書データ
ベース構築の前処理においては、文書画像から抽出した
文章領域の読み順を求める必要がある。従来、文章領域
の読み順を求める方法としては、例えば、文章領域を点
座標などによって並べて初期状態を得て、この状態から
隣合う並びの領域同志について、判定手段を用いて入れ
替えを行っていくことによって、最終的に読み順に領域
が並び合うようにし、また読み取り順序の初期状態を得
る際に、罫線などの非文字領域を追加することにより、
読み取り順序の指定を容易した文書読み取り装置が提案
されている(特開平3−269689号公報を参照)。
【0003】他の方法として、文書の領域分割を行った
後に、同一段組にある文章領域をノードとする木グラフ
を作成し、このグラフから論理的構造を得て、文章画像
中の記事を読み順に従って抽出する文章画像処理装置が
提案されている(特開平1−183784号公報を参
照)。
【0004】
【発明が解決しようとする課題】上記した第1の技術
は、文章領域およびそれ以外の領域を座標などを用いて
並べて初期状態を得て、この状態から並び合う領域同志
を比較し、読み順が逆になっていると判断したとき、並
び替えるものである。この方法では、初期状態に依存
し、しかも隣合う領域同志を比較しているので、タイト
ル部位のように本文と離れている場合には初期状態で隣
合わない上に、2つの領域だけを比較した場合に、どち
らが読み順が先になるかが局所的には定まらないときに
は、最終的にタイトル部位と本文との比較が行われない
状態に陥る。また、非文字領域について、文字領域と同
様に扱う場合のみしか考慮していないので、文字列方向
と垂直方向の罫線情報や図があった場合の影響などが考
慮されていない。
【0005】また、上記した第2の技術は、前提として
段組を考慮しているので、明確な段組がない場合や、頁
の上部が2段、下部が3段の如く、変則的な段組がなさ
れていた場合に、「同一段組の文字領域を一つのノード
に相当させる」ということが難しい。この方式もまた、
文字方向と垂直方向の罫線があった場合や図表の影響が
考慮されていない。
【0006】また、第1の技術は、行方向縦を前提とし
て、読み順は隣合うブロックの場合に右から左へ進み、
第2の技術では文字方向横を前提として上下に並ぶ領域
を上から下へと並ぶようにノード内の順番を決めてい
る。つまり、両者共にどちらか一方の行方向のみに対処
している。また、何れも図表、表題やヘッダ、フッタと
いった本文領域とは異なる性質を持った文字領域の影響
を全く考慮したものではない。
【0007】本発明の目的は、縦書きまたは横書き文書
の文章領域を高精度に構造化して、正しい読み順を抽出
する文書画像処理方法を提供することにある。
【0008】本発明の他の目的は、本文領域の構造化に
失敗した場合に、読み順の再設定を行い、利用者による
修正負担を少なくした文書画像処理方法を提供すること
にある。
【0009】本発明の更に他の目的は、正しく設定され
た読み順に従って文書情報を抽出して利用する文書画像
処理方法を提供することにある。
【0010】
【課題を解決するための手段】前記第1の目的を達成す
るために、請求項1記載の発明では、入力された文書画
像から文章領域を抽出し、該抽出された文章領域を、本
文領域とそれ以外の領域に分け、該本文領域の配置構造
を求め、該配置構造を基に前記本文領域の読み順を抽出
することを特徴としている。
【0011】請求項2記載の発明では、前記文書画像が
縦書きまたは横書き書式であるとき、該縦書き横書き書
式に共通な本文領域の配置構造を求め、該配置構造を基
に該本文領域の読み順を抽出することを特徴としてい
る。
【0012】請求項3記載の発明では、前記配置構造を
木グラフで表現し、前記各本文領域を木グラフの各ノー
ドに割り当てることを特徴としている。
【0013】請求項4記載の発明では、前記文章領域を
囲み枠内の本文領域と囲み枠外の本文領域に分け、該囲
み枠内の本文領域は、囲み枠外の本文領域とは別に読み
順を抽出することを特徴としている。
【0014】前記第2の目的を達成するために、請求項
5記載の発明では、前記抽出された読み順を評価し、該
評価が偽と判定されたとき該読み順の再設定を行うこと
を特徴としている。
【0015】請求項6記載の発明では、前記読み順の評
価は、前記各本文領域に基準点を設けて、該基準点間を
読み順に従って線分で結んだとき、線分に交わりが生じ
た場合に偽と判定することを特徴としている。
【0016】請求項7記載の発明では、囲み枠内の本文
領域は、それぞれの枠内の領域について読み順の評価と
再設定を行うことを特徴としている。
【0017】前記第3の目的を達成するために、請求項
8記載の発明では、前記読み順に従って、前記各本文領
域に対して文字認識を特徴としている。
【0018】
【作用】実施例1では、まず文書のイメージより抽出さ
れた文章(文字)領域を本文領域とそれ以外の領域とに
分別する。ここで、本文領域とは読み順が設定されるべ
き文章領域のことで、それ以外の文章領域とは図題、表
題、ヘッダ、フッタ等の本文領域とは異なった性質を持
つ領域のことである。
【0019】そして、本文領域の配置構造を木グラフで
表現する。この木グラフの構築にあたって、文字行方向
に相対する座標系を採用するとともに文章領域を各ノー
ドに対応させ、また、各ノードの勢力範囲というものを
垂直罫線等を利用しながら規定し、この勢力範囲に従っ
てノード間の親子関係の探索を行なう。さらに、囲み枠
内の文章領域については、囲み枠毎に同様の木グラフを
求め、これを全体の木グラフに結合する。このようにし
て構築した本文領域の配置構造の木グラフ上で、本文領
域の先行順探索を行なうことにより、本文領域の読み順
を設定する。
【0020】文章領域を本文領域とそれ以外の領域とに
分別することによって、図題等の本文領域以外の文章領
域の影響を取り除いた本文領域の木グラフ表現を得られ
る。したがって、この木グラフに従って、本文領域とは
異なる読み順を持つ文章領域に影響させることなく、本
文領域の正しい読み順を設定できる。
【0021】文字行方向に相対する座標系を採用するこ
とにより、文字行方向が縦でも横でも木グラフを共通に
扱うことができるようになるため、縦書き書式の文書も
横書き書式も同様に処理可能になる。
【0022】本文領域を木グラフのノードに対応させる
ことによって、段組に依存しない、本文領域の大局的な
構造化が可能である。しかも、各ノードの勢力範囲を規
定し、これを利用してノードの親子関係探索を行なうた
め、単に上下に並んでいるか否かといった単純な処理方
法では対処不可能であった、タイトル部位や図等の存在
に対処して本文領域の正確な構造化が可能であり、した
がって、より正確な本文領域の読み順設定が可能であ
る。
【0023】実施例2では、読み順評価手段を設け、該
手段はグラフ化の結果から求めた読み順の線分が交わる
とき、偽と判定し、読み順再設定手段は、読み順の再設
定を行う。再設定は、各本文領域の外接矩形がより左上
にある順にソートする。これにより複雑な配置の文書に
おいても正しい読み順が得られる。さらに、実施例3で
は、実施例1の方法によって抽出された読み順に従って
文字認識を行って文書情報を得る。
【0024】
【実施例】以下、本発明の一実施例について図面を用い
て説明する。 〈実施例1〉図1は、本発明の実施例1のブロック構成
図を示す。図1において、画像入力手段101は文書を
2値画像として入力するためのスキャナ等である。領域
抽出手段102は、入力画像から文章領域、図領域、罫
線領域等の領域を抽出する手段である。文章領域分別手
段103は、領域抽出手段102により抽出された文章
(文字)領域を、読み順設定の対象である本文領域と、
それ以外の領域(図題、表題、ヘッダ、フッタ等)に分
別する手段である。罫線情報生成手段104は、領域抽
出手段102により抽出された罫線領域や、白領域の架
空罫線、図領域の端部の架空罫線などを生成する手段で
ある。文章領域配置構造化手段105は、本文相当領域
(囲み枠内も含む)を木グラフとして構造化する手段で
ある。読み順抽出手段106は、木グラフから文章領域
の読み順を抽出する手段である。108は以上の各手段
を制御する制御部、107は入力画像や抽出した領域、
作成した構造の情報等の各種データを記憶するためのデ
ータ記憶部である。109はデータ通信路である。
【0025】なお、102乃至106の各手段は、それ
ぞれ個別のハードウエア手段または個別のソフトウエア
手段として実現されてもよいし、共通のハードウエア上
でソフトウエアにより実現されてもよい。
【0026】以下、実施例1の動作及び処理内容につい
て、図2の処理フローチャートに従って、図3乃至図1
0を適宜参照しつつ説明する。
【0027】処理ステップ201;画像入力手段101
によって、処理すべき文書を2値画像として入力する。
この入力画像のデータはデータ記憶部107に記憶され
る。
【0028】処理ステップ202;領域抽出手段102
によって、入力画像の文章(文字)領域、図領域等を抽
出する。抽出された領域の情報はデータ記憶部107に
記憶される。
【0029】処理ステップ203;文章領域分別手段1
03による処理ステップであり、抽出された文章領域を
図題、表題、ヘッダ、フッタの領域と、それ以外の領域
である本文領域とに分類する。この本文領域とは、読み
順の設定されるべき文章領域である(枠で囲まれた領域
も本文領域として扱うが、枠で囲まれていない本文領域
より読み順が後に来るものとする)。以下、この分類の
処理について詳細に説明する。
【0030】まず図題、表題を分類する。この処理にお
いて、処理ステップ202で抽出された領域の表現が外
接矩形のみであった場合には、各領域の図や絵等の実体
(イメージそのもの)と、その外接矩形との相違が大き
いことがある。このような場合には、図領域と他の文章
(文字)領域との重なり等により図の外接矩形を分解し
て、いくつかの外接矩形の集合によって図の実際に存在
する範囲と、その外接矩形による表現との相違を少なく
する。
【0031】図題、表題は、図・表の近傍に存在する行
数の少ない文章領域である。そこで図と文章領域との距
離を計算する。図の輪郭形状が判明しているならば、そ
の図と文章領域との距離を計算し、図が外接矩形で表現
されているときは、その外接矩形と文章領域との距離を
計算する。そして、この距離が小さく、かつ行数の少な
い文章領域を図・表題の候補とする。
【0032】次に、図・表題の候補で、当該文章領域に
とって図・表領域の反対側に存在する文章領域との位置
関係を調べる。これを図3によって説明する。図3にお
いて、301は図領域、302は図領域301の近傍に
ある図題候補、303は図題候補の文章領域である。こ
の例のように、図題候補302の反対側に文章領域30
3があり、両領域302,303の左右位置が揃ってい
る場合には、両領域302,303を連続した本文領域
と判断し、図題候補302を図題とは分類しない。左右
いずれかでも位置が揃っていないときには図題候補30
2を図題に分類する。ただし、左右の一方の位置が揃っ
ている場合にも図題としない、という方法も採用可能で
ある。
【0033】以上の図題、表題の分類処理に続いて、ヘ
ッダの分類を行なう。ここで、本文領域が縦書きである
か横書きであるかが判定している場合には、そのいずれ
であってもヘッダは原稿の上部に存在する。縦書き原稿
でも、ヘッダは横書きで原稿上部に存在するのが普通で
ある。また、行(文字列)方向が判明していても、文字
の方向が縦か横かが分かっていない場合については、行
方向が横であっても原稿は縦書きであることがある。原
稿を90゜回転して入力した時に、そうなる。このよう
な場合でも、画像の上の方が文章の先頭にくるものとす
ると、画像左側が原稿の上部にあたる。
【0034】このような考察に基づき、行方向が横の場
合には画像の上部及び左部についてヘッダの存在を調
べ、行方向が縦の場合には画像の上部及び右部について
ヘッダの存在を調べる。
【0035】より具体的に述べる。調べる部位に対し
て、まず罫線の存在を調べる。罫線が存在する場合、こ
の罫線の長さが画像の幅または高さに対して十分に大き
く、かつ、この罫線より外側に大きな文章領域(数行を
含む文章領域)が存在しないならば、この罫線を本文と
ヘッダ部とを分ける罫線であると判断する。そして、そ
の外側に小さな文章領域があれば、それをヘッダとして
分類する。
【0036】図4に示す例で説明すると、401は入力
画像、402は罫線、403〜405は文章領域であ
る。行方向が横であることのみ判明しているとすれば、
ヘッダは上部または左部に存在する筈であるから、この
位置で十分に長い罫線を探す。図4の例においては、罫
線402が存在するので、その上側に大きな文章領域が
存在するか調べる。文章領域403は数行を含むような
大きな領域ではないので、罫線402は本文とヘッダを
分ける罫線であるあると判断する。したがって、この罫
線402より上側にある小さな文章領域403をヘッダ
として分類することになる。
【0037】該当する罫線が存在しない場合、文章領域
の存在する範囲の最上部及び最左部から、ある距離だけ
内側にはいった位置に架空の罫線を生成し、同様の方法
でヘッダの分類を行なう。
【0038】図5に示す例で説明すると、501は入力
画像、502は文章領域の存在範囲、503〜506は
文章領域である。この例では、画像の上部と左部に架空
の罫線507,508を生成することになる。この例で
は、上部の架空罫線507の上側には大きな文章領域は
存在しないので、この架空罫線507は、本文とヘッダ
とを分ける罫線として有効である。そして、この架空罫
線507の上側に小さな文章領域503があるので、こ
れをヘッダとして分類する。架空罫線508の左側には
大きな文章領域は存在しないが、大きな文章領域504
と架空罫線508が重なっている。
【0039】ヘッダの抽出率を上げたい場合には、この
架空罫線508のような文章領域と重なった罫線も有効
な罫線として扱ってよい。しかし、架空罫線と重なった
文章領域がヘッダとして誤抽出されるのを防ぎたい場合
には、そのような罫線を無効とすればよい。なお、この
例では画像の傾き(スキュー)がないが、傾きがある場
合には、その傾き角度にあわせて罫線を傾けて生成す
る。
【0040】行方向が縦の場合も同様に、ヘッダと本文
を分ける罫線を探索し、罫線がないときの架空罫線を生
成して、ヘッダの分類判定を行なう。
【0041】以上のヘッダの分類と同様にしてフッタの
分類を行なう。文字方向が判明している場合には、原稿
の下部に相当する位置についてフッタを調べる。行方向
のみ判明している場合には、行方向が横であれば画像の
下部と右部について調べ、行方向が縦であれば画像の下
部と左部について調べる。
【0042】以上のようにして分類されたヘッダ、フッ
タ、図・表題を除く領域が本文領域となる。ただし、囲
み枠が存在する場合には、枠内の文章領域を、その枠毎
に分類し、枠外の本文領域とは区別しておく。
【0043】処理ステップ204;罫線情報生成手段1
04により架空罫線の生成を行なう処理ステップであ
る。ここでいう架空罫線とは、処理ステップ203にお
けるヘッダ、フッタの分類のための架空罫線を除くもの
で、文章領域の配置構造を表わす木グラフを構築するた
めに図や白領域から新たに生成されるものである。
【0044】まず、図、表等の領域について説明する。
なお、行方向を横として座標系をとったとして以下の説
明を行なう。ここでは、図及び表領域の左右の端に垂直
架空罫線を生成する。図の存在範囲を外接矩形で表現し
ている場合には、図題の分類時に外接矩形の分割を行な
っているので、この分解された図領域について架空罫線
の生成を行なう。
【0045】図6を例に説明すれば、601は表領域、
602は図領域(の外接矩形)、605は図領域602
と重なった文章領域、603と604は図領域602を
分解した領域である。この例では、領域601,60
3,604の左右端に架空罫線606〜611をそれぞ
れ生成することになる。
【0046】次に白領域から生成する架空罫線について
説明する。この罫線は文字列(行)方向のものであり、
ここでは行方向を横としているので水平罫線となる。こ
の罫線の生成(抽出)は、縦軸への射影をとる方法によ
って、あるいは、画像の行方向へのランレングス符号化
をして、ある閾値以上の長さを持つ白ランの連結成分を
抽出し、この白連結成分の中から水平罫線を十分に構成
し得るものを、その幅と高さによって選択し、選んだ白
連結成分の中心付近に水平架空罫線を生成する方法によ
って行なうことができる。
【0047】また、座標系の一番上部に、画像の幅(行
方向が縦の場合は座標系を90゜回転しているので画像
の高さ)に等しい長さを持つ水平架空罫線を生成する。
【0048】なお、囲み枠線の4辺の線分のうち、上部
の線分は水平罫線として扱い、左右の線分は垂直罫線と
して扱う。
【0049】処理ステップ205;文章領域配置構造化
手段105により、囲み枠外の本文領域の配置構造グラ
フを作成する処理ステップである。配置構造は木グラフ
で表わされるので、あるノードが、どのノードの子に相
当するかを順次決定していくことによって木グラフを作
成することになる。
【0050】まず、ノードとして、囲み枠外の本文領
域、水平罫線(架空罫線を含む)を登録する。そして、
このノードを上部にあるものから順次処理する。
【0051】今、あるノードに着目しているとすると、
この着目ノードより処理順番が後になるノードは着目ノ
ードの子候補となる。ここで、子候補が子ノードに相当
するかどうかの判別処理を行ない、子ノードに相当する
場合は着目ノードとの間に親子のリンクを張る。ただ
し、この子に相当すると判別されたノードが既に他のノ
ードの子ノードとしてリンクされていた場合には、どち
らが親ノードとしてふさわしいか判別処理を行ない、ふ
さわしいと判断された方の親ノードと親子関係のリンク
を張り、どちらとも判別がつかない場合には木グラフの
ルートに直接つなぐようにする。また、着目ノードは、
それより前に処理したノードの子候補となっている筈
で、前のノードの処理が完了しているにも拘らず、どの
ノードの子としても未だリンクされていない場合には、
着目ノードを木グラフの子ノードとする。ただし、囲み
枠の上部の水平罫線は直接に木グラフのルートの子ノー
ドとする。
【0052】図7の例によって、より具体的に処理を説
明する。図7において、701は最上部に生成された架
空罫線、702〜705は文章領域、706〜710は
各ノードの勢力範囲(後述)、711と712はそれぞ
れ架空罫線701と文章領域702の子ノードの探索範
囲、713は図領域、714と715は架空垂直罫線、
716は文章領域704の一時的な勢力範囲、717は
文章領域である。なお、以下の説明において、領域を示
す符号を、それに対応するノードを示すためにも便宜用
いる。
【0053】まず、最上部のノード(701)が最初の
処理ノードとなる。このノードは親ノードが未定である
ので、木グラフのルートの子ノードとする。ここで、各
ノードは勢力範囲と探索範囲を持つ。勢力範囲は親から
継承するもので、探索範囲は勢力範囲と最初は等しい
が、順次更新されて狭まっていく。
【0054】さて、最初の処理ノード(701)は、親
がルートであるので、それ自体の幅に等しい勢力範囲7
06を持つとする。そして、この勢力範囲と等しい幅を
探索範囲として以下のノードの探索を行なう。
【0055】ノード(701)の探索範囲711内にノ
ード(702)が見つかるので、このノード(702)
はノード(701)の子ノード候補となる。そこで、ノ
ード(701)の探索範囲711のノード(702)の
範囲(711の黒部分)を探索済みとして、以下の探索
の範囲から除く。ノード(702)はノード(701)
の子であるので、ノード(701)と同じ幅の勢力範囲
707を継承する。
【0056】ノード(701)の残りの探索範囲で探索
すると、ノード(704)が見つかる。しかし、ノード
(704)はノード(702)との間でも親子関係がな
りたつので、ノード(701)との間で親子関係のリン
クは張らない。また、ノード(703)もノード(70
1)の探索範囲下にあるが、ノード(704)と同様に
ノード(702)の勢力範囲下にありノード(702)
と親子関係がなりたつので、ノード(701)とノード
(703)は親子ではない。ノード(705)は僅かな
がらノード(701)の勢力範囲下にあるが、探索範囲
は連続したある程度の幅のみ有効とするので、探索外と
なる。
【0057】次にノード(702)が処理ノードとな
る。まず、ノード704がノード(702)の子ノード
となる。ここで、勢力範囲は垂直罫線を越えないものと
する。したがって、ノード(704)の勢力範囲は垂直
罫線715を越えない716の範囲となる。次にノード
(705)がノード(704)の勢力範囲下にあり、探
索範囲712にも含まれるが、ノード(704)とノー
ド(705)は親子的位置関係にないので、ノード(7
05)はノード(702)の子ノードとなる。複数の子
ノードがある場合には、その勢力範囲を適当な位置で分
割する。ここでは勢力範囲を中点で分割するものとする
と、ノード(704)とノード(705)の勢力範囲
は、709の範囲と710の範囲に分割される。また、
次にノード(703)もノード(702)の探索範囲下
にあり、子ノードとなって勢力範囲を継承する。
【0058】なお、この例ではみられないが、親ノード
の勢力範囲を子ノードの領域が越える場合には、子ノー
ドの勢力範囲を継承した範囲から、その越えた分だけ拡
張する。また、囲み枠の上部の線分を水平罫線としてノ
ードにしているが、このノードの勢力範囲は親から継承
するのではなく、それ自体の幅に等しい範囲とする。次
にノード(704)が処理ノードとなる。ノード(70
4)の探索範囲709)内にノード(717)が存在す
る。したがって、ノード(717)はノード(704)
の子ノードとなり、探索範囲は全て満たされるので、次
にノード(705)のの処理に移る。
【0059】ノード(705)の探索範囲710内にも
やはりノード(717)があるが、このノード(71
7)は既にノード(704)の子ノードとなっているの
で、ここで親ノードの選択を行なうことになる。ところ
が、ノード(704)とノード(705)は同じような
幅を持ち、ノード(717)は両方の勢力範囲に十分に
はいっているため、どちらが親であるが一意に定まらな
い。そこで、ノード(717)をノード(704)の子
から外し、あらためてルートの子ノードとする。なお、
子ノードが複数ある場合、木グラフでの左右の並びは、
例えばノード(703)、ノード(704)、ノード
(705)のように普通のノードに接続する場合は、そ
の位置通りにノード(703)を一番左側、ノード(7
05)を一番右側にする。ルートの子ノードの場合は、
新しく子ノードを接続する度にとりあえず一番右側へと
接続しておき、最終的にソートする。
【0060】続いてタイトル部位の処理について、図7
及び図8に示した例によって説明する。タイトル部位の
処理は、図7に関連して説明した処理の中で行なわれ
る。各ノードには、タイトル部位であるか否かを示すタ
イトルフラグを付ける。図7の例でいえば最初のノード
(701)のタイトルフラグは必ず立て(オンし)、タ
イトル部位であるとする。次にノード(702)がノー
ド(701)の子ノードとなるわけであるが、この時
に、ノード(702)の左右に文章領域が存在するか調
べる。左右に文章領域が存在しなければ、ノード(70
2)のタイトルフラグも立てる。ただし、後にノード
(701)の他の子ノードがリンクされた場合には、ノ
ード(702)はノード(701)の唯一の子ノードで
なくなるので、ノード(702)のタイトルフラグを下
ろす(オフする)。
【0061】ノードのタイトルフラグが立っている場合
には、左側の勢力範囲を架空垂直罫線で抑えられている
ときに、その架空罫線を1回だけ無視する形で、それを
越えて拡大する。図8の例で説明する。図8において、
801は最上部の架空水平罫線、802は文章領域、8
03は図領域、804と805は図領域803の両端に
生成された架空垂直罫線、806は架空水平罫線801
の勢力範囲、807は文章領域802の勢力範囲であ
る。この勢力範囲807は、架空垂直罫線805に遮ら
れず、次の架空垂直罫線804まで延ばされる。ノード
702の勢力範囲707は、もともと遮るような垂直罫
線が存在しないので関係はない。
【0062】さて、ノード(702)の子ノードの探索
に移ると、まずノード(704)が探索されることは前
述のとおりであるが、ノード(704)の左右には文章
領域703,705が存在する。したがって、これ以降
の文章領域はタイトル部位とはならないので、ノード
(702)のタイトルフラグを下ろす。親のノードのタ
イトルフラグが立っていない場合には、その子ノードが
タイトル部位であるか否かを調べるために、左右に文章
領域が存在するか探索する必要もなくなり、以下の処理
時間が短縮される。
【0063】以上の処理を ノードに相当する文章領域
(囲み枠外のもの)について、上から下まで全てについ
て行なう。
【0064】処理ステップ206;文章領域配置構造化
手段105により、囲み枠内の文章領域をグラフ化する
処理ステップである。
【0065】基本的には先の囲み枠外の本文領域のグラ
フ化処理と同様に、処理ノードの勢力範囲下にあるノー
ドを、処理ノードの子ノードとしてリンクしていく。先
の囲み枠外本文領域のグラフ化処理でリンクが張られた
ノードは木グラフを構成している。この中には囲み枠線
の上部の水平線分もノードとして登録されている。した
がって、そのノード毎に、その囲み枠内の文章領域を対
象に木グラフを構成する。
【0066】図9の例で説明する。図9において、91
0〜916は文章領域、917と918は囲み枠であ
る。901はルート、902〜907は当該処理ステッ
プ206の前に登録されたノードである。902は最上
部架空罫線に相当するノード、903は文章領域910
に相当するノード、904は文章領域911に相当する
ノード、905は文章領域912に相当するノード、9
06は囲み枠918の上部水平罫線920に相当するノ
ード、907は囲み枠917の上部水平罫線919に相
当するノードである。
【0067】囲み枠の上部水平罫線919,920は、
先の処理ステップ205における最上部罫線(902)
に対応し、それと同様の処理を行なうことになる。ただ
し、水平罫線919,920のタイトルフラグは常にオ
フにしておく。したがって、囲み枠内では、タイトル部
位の処理は行なわれない。
【0068】図9の例では、ノード906(つまり水平
罫線920)の下には文章領域913があるので、文章
領域913を子ノードとしてノード906に接続する。
また、ノード907(つまり水平罫線919)の下に文
章領域914があるので、これを子ノードとしてノード
907に接続し、また文章領域914の下には文章領域
915,916があるので、これら二つの領域も文章領
域914に子として接続する。ここでも、先の処理ステ
ップ205での処理と同様に勢力範囲及び探索範囲を用
いて子ノードの探索、及び子ノードであるか否かの判別
を行なう。ただし、ルート901に直接接続されたノー
ド906,907の勢力範囲は、それ自体の幅に等し
い。
【0069】以上のようにして木グラフを作成したなら
ば、次にルートの子ノードのソートを行なう。ルートの
子ノードになっているのは、最上部の架空水平罫線、親
ノードが一意に定まらなかった領域、あるいは囲み枠の
上部罫線である。このようなノードのうち、囲み枠の上
部罫線は、他のノードよりも木グラフ上で右側に来るよ
うにソートする。また、囲み枠のノード同士、及び、囲
み枠の罫線同士については、より上に位置するもの、よ
り左側にあるものを、グラフ上でより左側にするように
順番を入れ替える。この際、各ルートの子ノードの勢力
範囲を使用することによって、どちらが上位にあるかを
判別することができる。
【0070】処理ステップ207;文章領域配置構造化
手段105により、図・表題の分別を再度行なう。ここ
では、グラフの葉にあたるノード(子を持たないノー
ド)が罫線ではなく、文章領域であって、その行数が少
なく(この行数の閾値は、先の処理ステップ203にお
ける図・表題の分別に使用したものと同様の値でよ
い)、かつ、その親ノードの実体との間に、ある程度大
きな図が存在する場合には、当該文章領域を図題または
表題と分別し、これを本文配置の木グラフから取り除
く。
【0071】図10の例によって説明する。図10にお
いて、1001と1002はノード、1003と100
4はそれぞれノード1001,1002の実体である文
字領域である。1005は図領域である。この例のノー
ド1002は葉に相当するもので、その実体たる文章領
域1004の行数が少ない。また、その親ノードたるノ
ード1001との間に、比較的大きな図領域1005が
存在する。したがって、ノード1002は本文配置の木
グラフから取り除かれる。
【0072】処理ステップ208;読み順抽出手段10
6において、以上の処理で得られた本文配置を示す木グ
ラフ上で先行順探索を行ない、罫線やルートを除いた文
章領域の順番を、本文領域の読み順として抽出する。
【0073】実施例1の一態様を示すと以下のようにな
る。配置構造を表す木グラフを構築する際に、文章領域
を木グラフのノードに割り当て、各ノード毎に他のノー
ドへの配置関係を表わす勢力範囲を求め、各ノードの親
子関係の探索を勢力範囲に従って行ない、子ノードに親
ノードの勢力範囲を継承させることによって勢力範囲の
更新を行ない、親子ノードの探索を繰り返すことによっ
て木グラフを構築する。このように、勢力範囲を用いて
親子ノード探索を制御することにより、タイトル部位や
図等に適切に対処して本文領域を適切に構造化し、本文
領域の読み順を正しく設定できる。
【0074】文章領域以外の特定の領域も木グラフのノ
ードに割り当てる。例えば、文字列方向と同方向の罫線
を抽出し、これを木グラフのノードに割り当てる。ま
た、白画素の領域で、ある値より文字列方向に長い白画
素領域を抽出し、これを木グラフのノードに割り当て
る。このように、文書上の文章領域以外の罫線等の様々
な要素、例えば文字列方向と同方向または垂直方向の罫
線や、空白部分、図・表領域等による文章領域の配置へ
の影響を適切に扱うことにより、そのような要素が存在
する文書の本文領域の読み順を正しく設定できる。
【0075】文字列方向と垂直の方向の罫線によって、
ノードの勢力範囲を制限する。また、図・表領域の文字
列方向についての両端に文字列方向と垂直の架空罫線を
生成し、この架空罫線によってノードの勢力範囲を制限
し、架空罫線による勢力範囲の制限をタイトル部位にお
いて変更する。このように、図・表領域の文字列方向の
両端に垂直の架空罫線を生成し、この架空罫線によって
ノードの制御範囲を制限することにより、文字列方向と
垂直方向の罫線による配置への影響を適切に処理するこ
とが可能になり、また、図・表領域による本文領域の配
置への影響を適切に処理して、本文領域の読み順を正し
く設定できる。タイトル部位において架空罫線による勢
力範囲の制限を変更することによって、タイトル部位の
配置を適切に処理することができる。
【0076】文章領域の配置構造を木グラフとして構築
し、構築された木グラフと文章領域以外の図等の領域の
位置情報とに基づいて誤って本文領域と分類された領域
を判別し、それを木グラフから取り除き、この処理の後
の木グラフに従って文章領域の読み順を設定する。この
ように、本文領域の木グラフを作成した後に、本文領域
とそれ以外の領域との細分別を行なうことによって、本
文と図・表題を高精度に分別し、より正確な文章領域の
構造化と読み順設定が可能となる。
【0077】〈実施例2〉上記した実施例1は、構造化
に失敗したり、もともと木グラフで表現することに適さ
ない構造をもつ文書である場合に、構造化できない部分
のみならず、全体的に読み順が変更されてしまう可能性
がある。そこで、本実施例2では、文章領域の配置構造
を求めて読み順を求めた後、該読み順の評価を行うよう
にした。
【0078】図11は、本発明の実施例2のブロック構
成図である。図において、1101は、画像の入力手
段、1102は、入力画像から領域を抽出する領域抽出
手段、1103は、抽出された文字領域を、本文領域と
それ以外の図題、表題、ヘッダ、フッタ等に分別する文
章領域分別手段、1104は、本文相当領域を木グラフ
として構造化する文章領域配置構造化手段、1105
は、木グラフから読み順を抽出する読み順抽出手段、1
106は、読み順抽出手段1105で抽出した読み順を
評価する読み順評価手段、1107は、評価結果が偽で
あるときの読み順を再設定する読み順再設定手段であ
る。1108は、入力画像や抽出した領域、作成した構
造の情報などの各種データを記憶するデータ記憶部、1
109は、上記した各手段を制御する制御部、1110
は、データ通信路である。
【0079】図12は、実施例2の処理フローチャート
である。以下、実施例2の動作を説明すると、まず、ス
キャナなどの画像入力手段1101によって文書を2値
画像として入力する(ステップ1201)。次いで、こ
の2値画像から文字領域、図領域などの領域を抽出する
(ステップ1202)。この抽出方法としては、例えば
特開平5−81475号公報に記載された文字領域抽出
方法などを用いればよい。
【0080】文章領域分別手段1103は、抽出した領
域を、図題、表題、ヘッダ、フッタと、それ以外の本文
領域に分類する(ステップ1203)。ここで、本文領
域とは、読み順の設定される領域で、後述するように枠
で囲まれた領域についても、枠で囲まれていない領域よ
り読み順が後にくる本文領域として処理される。
【0081】文章領域配置構造化手段1104は、本文
領域の配置を構造化し、木グラフで表現する(ステップ
1204)。そして、読み順抽出手段1105は、この
グラフ表現から先行順探索で読み順を決定する(ステッ
プ1205)。なお、ステップ1203〜1205の処
理については、前述した実施例1に記載の方法を用い
る。
【0082】その後、読み順評価手段1106は、読み
順の評価を行う(ステップ1206)。図13は、本実
施例に係る読み順の評価を説明する図である。図におい
て、1301から1307は、抽出された本文領域の外
接矩形である。まず、この各外接矩形の中心点を求め
る。1308から1314は、求められた中心点であ
る。そして、この点を読み順に従って線分で結ぶ。
【0083】いま、グラフ化の結果から求めた読み順が
図13に示すものであったとすると、中心点1312と
中心点1313との間の線分1312−1313と、中
心点1310と中心点1314との間の線分1310−
1314とが交わるため、この結果の評価は偽と判定さ
れる。
【0084】従って、読み順再設定手段1107は、読
み順の再設定を行う(ステップ1207)。再設定は、
各外接矩形の位置に着目し、より左上にある順にソート
する。例えば、外接矩形1301の下部は外接矩形13
02や1305の上部よりも上にある。このような場
合、外接矩形1301は外接矩形1302、1305よ
りも”上”と判断する(外接矩形1301>外接矩形1
302、外接矩形1301>外接矩形1305)。
【0085】また、外接矩形1302の右部は外接矩形
1305の左部よりも左にあるので、”左”と判断する
(外接矩形1302>外接矩形1305)。なお、この
ときの判断には余裕を持たせるようにしてもよい。外接
矩形1301と1302の左右の位置を比べた場合には
どちらが左とも右とも判定できない。そこで、3つの外
接矩形1301、1302、1305を比較すると、上
記した関係から外接矩形1301>外接矩形1302>
外接矩形1305となる。
【0086】このような判定方法を全ての領域に適用す
ることにより読み順を決定する。外接矩形1305と1
303を比べた場合には、上下では外接矩形1305>
1303であり、左右では外接矩形1303>1305
となる。このような場合には左右の関係を優先する。従
って、外接矩形1303>外接矩形1305となる。
【0087】上記した判定処理の結果、最終的には図1
4に示すような読み順が得られる。図14において、1
401から1407は外接矩形、1408から1414
は中心点、線分1408−1409−...−1414
は読み順を示す。
【0088】なお、本実施例の読み順の評価および再設
定は、囲み枠内のものについては、その枠内の領域に対
してのみ行い、枠外および他の枠内のものとは区別して
処理する。図15は、囲み枠線を有する本文領域の例を
示す。図において、1501から1506は本文領域、
1507は本文領域1504と1505を囲む囲み枠
線、1508は本文領域1506の囲み枠線、1509
から1514は各領域の中心である。
【0089】図15の本文領域に対して、図12のステ
ップ1201からステップ1206の処理の結果、線分
1513−1514が他の線分と交わっていると評価さ
れる。しかし、この場合、線分1513−1514は異
なる枠内領域1507と1508を結ぶ線分であること
から、評価対象外となり、再設定を行わない。評価対象
となる線分は、線分1509−1510−1511、線
分1512−1513の線分である。
【0090】〈実施例3〉本実施例は、実施例1の方法
によって抽出された読み順に従って本文領域について、
例えば文字認識を行って文書情報を得るようにしたもの
であり、実施例1によって抽出された文書情報の利用形
態に係る。
【0091】図16は、実施例3のブロック構成図であ
る。画像データは、スキャナなどの入力手段1601あ
るいは、回線に接続されたファクシミリなどの信号受信
手段1602から入力される。情報抽出処理手段160
3は、実施例1で説明した文章領域の抽出、文章領域の
判別、文章領域の配置構造化、読み順の抽出の他に、更
に文字認識を行って、文書情報を得る機能などを備えて
いる。
【0092】表示手段1604は、文章領域を表示する
例えばCRTディスプレイであり、修正指示手段160
5は、表示された抽出情報などに誤りがあった場合に修
正する例えばマウスなどのポイティングデバイスであ
り、結果出力手段1606は、紙などに出力するプリン
タ、あるいは電子情報として媒体に格納する蓄積手段、
通信回線を介して伝送する伝送手段である。
【0093】図17は、情報抽出処理手段1603の構
成を示す。ここで、領域抽出手段1702、文章領域分
別手段1703、罫線情報生成手段1704、文章領域
配置構造化手段1705、読み順抽出手段1706、デ
ータ記憶部1708、制御部1709、データ通信路1
710は、それぞれ実施例1で説明したものと同一の機
能、構成を有している。本実施例では、これら手段に加
えて、入出力データが格納され、バッファとして機能す
るデータ入出力手段1701と、文字認識手段1707
と、文字以外の領域処理手段1711が設けられてい
る。
【0094】実施例1で説明したように、領域抽出手段
1702は入力画像から文章領域とそれ以外の表領域、
図の領域などを抽出し、文章領域分別手段1703は本
文とそれ以外とを分別し、本文領域について、罫線情報
生成手段1704、文章領域配置構造化手段1705、
読み順抽出手段1706は、その配置構造と読み順を抽
出する。
【0095】文字認識手段1707は、上記した本文領
域の読み順に従って文字認識を行って、文書情報を出力
する。また、本文以外の文字領域についても文字認識を
行って、文書情報を出力する。文字以外の領域処理手段
1711は、表などの文章領域以外について、適応処理
を行う。具体的には、表であれば罫線情報を抽出し、表
内文字を文字認識手段1707で文字認識する。写真で
あれば、例えば2次元DCT変換によって適応符号化を
行い、図であれば、例えば線画を抽出してベクトル化を
行う。これら文章以外の領域についての処理は、文章領
域の処理とは別に独自に行ってもよい。このように、抽
出した文章領域以外については領域の特性に合った処理
をしているので、表や写真、図などの情報を最適な形で
利用することができる。また、実施例1で説明したよう
に、本文以外のヘッダ、フッタなどの情報を抽出するこ
とにより、本文以外の文章情報を書誌的情報として取り
出して利用することができる。
【0096】上記したようにして抽出された文字情報
は、表示手段1604に表示される。図18は、文章領
域の表示例を示し、文章領域は矩形で表示され、各領域
には読み順に従った番号が同時に表示される。すなわ
ち、図18において、表示された文書画像1801に
は、ヘッダ領域1802、本文領域1803〜180
5、図の領域1806が表示される。そして、各本文領
域1803〜1805には読み順1807(番号は
1)、1808(番号は3)、1809(番号は2)も
表示されている。なお、読み順の表示方法としては、こ
の他に各本文領域を読み順通りに矢印で結ぶ表示形式を
採ってもよい。
【0097】表示された抽出情報、読み順などに誤りが
あった場合、修正指示手段1605を用いて修正する。
例えば、マウスなどで領域の大きさ、位置を変更した
り、あるいは指定した領域の読み順をキーボードなどか
ら入力などして修正する。抽出した文字情報は修正、確
認した後、文書情報が確定し、結果出力手段1606に
出力される。このように、文書情報抽出処理において誤
った処理が行われても、その結果を確認、修正している
ので、最終的に文書情報をより迅速に得ることができ
る。
【0098】
【発明の効果】以上、説明したように、請求項1記載の
発明によれば、文章領域を本文領域とそれ以外の領域と
に分別して本文領域の配置構造を求めているので、本文
領域とは異なる読み順を持つ文章領域の影響を排除し
て、本文領域の読み順を適切に抽出することができる。
【0099】請求項2記載の発明によれば、横書き/縦
書きに共通な本文領域の配置構造を求めているので、横
書き文書も縦書き文書も同一の処理によって本文領域の
正しい読み順を抽出することが可能となる。
【0100】請求項3記載の発明によれば、本文領域を
木グラフの各ノードに割り当てることによって本文領域
の配置構造を求めているので、本文領域の配置の大局的
な構造が表現され、これによって段落の有無や段落の形
態に依存しない本文領域の読み順を抽出することができ
る。
【0101】請求項4記載の発明によれば、囲み枠の内
部の文章領域を、囲み枠の外部の文章領域から区別し、
別個に読み順を抽出しているので、文章領域の囲み枠の
存在する文書の場合にも、囲み枠の内部の文章領域も含
めて文章領域の読み順を正しく抽出することができる。
【0102】請求項5記載の発明によれば、文章領域の
配置構造を求めて読み順を求めた後、該読み順の評価を
行い、この評価が偽の判定であった場合には、読み順の
再設定を行うようにしているので、複雑な配置の文書で
あっても、正しい読み順が得られると共に、仮りに、最
初に誤った読み順が抽出されたとしても利用者による修
正負担を少なくすることが可能となる。
【0103】請求項6記載の発明によれば、読み順の評
価方法として、各領域に基準点を設けて、この基準点間
を読み順に線分で結んだときに、線分に交わりが生じた
場合に判定を偽としているので、配置構造を木グラフで
表現した結果が不自然な読み順を与えていることを判別
することができる。その判別結果から読み順の再設定を
行うことによって、利用者による修正負担を少なくする
ことが可能となる。
【0104】請求項7記載の発明によれば、囲み枠内の
本文領域は、それぞれの枠内の領域について読み順の評
価および再設定を行っているので、異なる枠内領域を結
ぶ読み順の線分が枠外本文領域間を結ぶ読み順の線分と
交差することに無関係に、線分の交差という基準に基づ
いて、読み順が正しいか否かを判別することが可能とな
る。
【0105】請求項8記載の発明によれば、複雑なレイ
アウトの文書が入力されても、入力された文書画像から
正しい読み順で文字認識を行っているので、正確な文書
情報を抽出し、利用することができる。
【図面の簡単な説明】
【図1】本発明の実施例1のブロック構成図である。
【図2】実施例1の処理フローチャートである。
【図3】図・表題の分別の説明図である。
【図4】ヘッダの分別の説明図である。
【図5】ヘッダ分別のための架空罫線の生成の説明図で
ある。
【図6】木グラフ構築のための架空罫線の生成の説明図
である。
【図7】囲み枠外の本文領域の構造化の説明図である。
【図8】架空罫線と勢力範囲との関係の説明図である。
【図9】囲み枠外の本文領域の木グラフと囲み枠内の文
章領域のグラフ化の説明図である。
【図10】図・表題と本文との再分別の説明図である。
【図11】本発明の実施例2のブロック構成図である。
【図12】実施例2の処理フローチャートである。
【図13】実施例2に係る読み順の評価を説明する図で
ある。
【図14】読み順評価の結果、再設定された読み順を示
す。
【図15】囲み枠線を有する本文領域の例を示す。
【図16】実施例3のブロック構成図である。
【図17】情報抽出処理手段の構成を示す。
【図18】文章領域の表示例を示す。
【符号の説明】
101 画像入力手段 102 領域抽出手段 103 文章領域分別手段 104 罫線情報生成手段 105 文章領域配置構造化手段 106 読み順抽出手段 107 データ記憶部 108 制御部 109 データ通信路

Claims (8)

    【特許請求の範囲】
  1. 【請求項1】 入力された文書画像から文章領域を抽出
    し、該抽出された文章領域を、本文領域とそれ以外の領
    域に分け、該本文領域の配置構造を求め、該配置構造を
    基に前記本文領域の読み順を抽出することを特徴とする
    文書画像処理方法。
  2. 【請求項2】 前記文書画像が縦書きまたは横書き書式
    であるとき、該縦書き横書き書式に共通な本文領域の配
    置構造を求め、該配置構造を基に該本文領域の読み順を
    抽出することを特徴とする請求項1記載の文書画像処理
    方法。
  3. 【請求項3】 前記配置構造を木グラフで表現し、前記
    各本文領域を木グラフの各ノードに割り当てることを特
    徴とする請求項1記載の文書画像処理方法。
  4. 【請求項4】 前記文章領域を囲み枠内の本文領域と囲
    み枠外の本文領域に分け、該囲み枠内の本文領域は、囲
    み枠外の本文領域とは別に読み順を抽出することを特徴
    とする請求項1記載の文書画像処理方法。
  5. 【請求項5】 前記抽出された読み順を評価し、該評価
    が偽と判定されたとき該読み順の再設定を行うことを特
    徴とする請求項1記載の文書画像処理方法。
  6. 【請求項6】 前記読み順の評価は、前記各本文領域に
    基準点を設けて、該基準点間を読み順に従って線分で結
    んだとき、線分に交わりが生じた場合に偽と判定するこ
    とを特徴とする請求項5記載の文書画像処理方法。
  7. 【請求項7】 囲み枠内の本文領域は、それぞれの枠内
    の領域について読み順の評価と再設定を行うことを特徴
    とする請求項5記載の文書画像処理方法。
  8. 【請求項8】 前記読み順に従って、前記各本文領域に
    対して文字認識を行うことを特徴とする請求項1記載の
    文書画像処理方法。
JP32701593A 1993-05-12 1993-12-24 文書画像処理方法 Expired - Lifetime JP3302147B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP32701593A JP3302147B2 (ja) 1993-05-12 1993-12-24 文書画像処理方法
US08/516,686 US5774580A (en) 1993-05-12 1995-08-18 Document image processing method and system having function of determining body text region reading order
US09/088,773 US5907631A (en) 1993-05-12 1998-06-02 Document image processing method and system having function of determining body text region reading order

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP5-110397 1993-05-12
JP11039793 1993-05-12
JP28896093 1993-11-18
JP5-288960 1993-11-18
JP32701593A JP3302147B2 (ja) 1993-05-12 1993-12-24 文書画像処理方法

Publications (2)

Publication Number Publication Date
JPH07192084A true JPH07192084A (ja) 1995-07-28
JP3302147B2 JP3302147B2 (ja) 2002-07-15

Family

ID=27311724

Family Applications (1)

Application Number Title Priority Date Filing Date
JP32701593A Expired - Lifetime JP3302147B2 (ja) 1993-05-12 1993-12-24 文書画像処理方法

Country Status (2)

Country Link
US (2) US5774580A (ja)
JP (1) JP3302147B2 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7298900B2 (en) 2002-09-30 2007-11-20 Canon Kabushiki Kaisha Image processing method, image processing apparatus and image processing program
JP2008225964A (ja) * 2007-03-14 2008-09-25 Ricoh Co Ltd 画像処理装置、読み順設定方法及びプログラム
JP2009531790A (ja) * 2006-03-28 2009-09-03 アマゾン・テクノロジーズ・インコーポレイテツド ディジタル画像における非リフローコンテンツの効率的な処理
JP2011034204A (ja) * 2009-07-30 2011-02-17 Internatl Business Mach Corp <Ibm> コンテンツ読み上げ順序を視覚化するための視覚化プログラム、視覚化方法、及び視覚化装置
US8413048B1 (en) 2006-03-28 2013-04-02 Amazon Technologies, Inc. Processing digital images including headers and footers into reflow content
US8499236B1 (en) 2010-01-21 2013-07-30 Amazon Technologies, Inc. Systems and methods for presenting reflowable content on a display
US8566707B1 (en) 2006-03-29 2013-10-22 Amazon Technologies, Inc. Generating image-based reflowable files for rendering on various sized displays
US8572480B1 (en) 2008-05-30 2013-10-29 Amazon Technologies, Inc. Editing the sequential flow of a page
US8782516B1 (en) 2007-12-21 2014-07-15 Amazon Technologies, Inc. Content style detection
US9208133B2 (en) 2006-09-29 2015-12-08 Amazon Technologies, Inc. Optimizing typographical content for transmission and display
US9229911B1 (en) 2008-09-30 2016-01-05 Amazon Technologies, Inc. Detecting continuation of flow of a page
US10621428B1 (en) 2019-05-17 2020-04-14 NextVPU (Shanghai) Co., Ltd. Layout analysis on image

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3302147B2 (ja) * 1993-05-12 2002-07-15 株式会社リコー 文書画像処理方法
EP0657839B1 (en) * 1993-12-10 2002-02-20 Ricoh Company, Ltd Methodsand apparatus for recognizing a specific image from an imput image signal
US6009196A (en) * 1995-11-28 1999-12-28 Xerox Corporation Method for classifying non-running text in an image
JP3814320B2 (ja) * 1995-12-14 2006-08-30 キヤノン株式会社 画像処理方法及び装置
JP3525997B2 (ja) * 1997-12-01 2004-05-10 富士通株式会社 文字認識方法
US6269188B1 (en) 1998-03-12 2001-07-31 Canon Kabushiki Kaisha Word grouping accuracy value generation
US6377704B1 (en) * 1998-04-30 2002-04-23 Xerox Corporation Method for inset detection in document layout analysis
US6243501B1 (en) * 1998-05-20 2001-06-05 Canon Kabushiki Kaisha Adaptive recognition of documents using layout attributes
KR100607018B1 (ko) * 1998-06-23 2006-08-01 샤프 가부시키가이샤 화상 처리 장치, 화상 처리 방법 및 화상 처리 프로그램을기록한 매체
JP4320064B2 (ja) * 1998-07-10 2009-08-26 富士通株式会社 画像処理装置及び記録媒体
US6445819B1 (en) * 1998-09-10 2002-09-03 Fuji Photo Film Co., Ltd. Image processing method, image processing device, and recording medium
US7099507B2 (en) * 1998-11-05 2006-08-29 Ricoh Company, Ltd Method and system for extracting title from document image
US6188779B1 (en) * 1998-12-30 2001-02-13 L&H Applications Usa, Inc. Dual page mode detection
US7864346B2 (en) * 2000-05-16 2011-01-04 Xerox Corporation Apparatus and method for describing, planning and automatically programming complex finishing tasks
FR2810765B1 (fr) * 2000-06-27 2002-08-23 Mannesmann Dematic Postal Automation Sa Segmentation d'une image numerique d'un objet postal par la transformation de hough
JP3995185B2 (ja) * 2000-07-28 2007-10-24 株式会社リコー 枠認識装置及び記録媒体
JP5033277B2 (ja) * 2000-09-12 2012-09-26 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置および画像処理方法並びにコンピュータ読み取り可能な記録媒体
US20020077901A1 (en) * 2000-12-19 2002-06-20 Catalina Marketing International, Inc. Paired promotion architecture
JP2004201069A (ja) * 2002-12-19 2004-07-15 Ricoh Co Ltd 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記憶した記録媒体
JP4200106B2 (ja) 2003-07-15 2008-12-24 株式会社リコー 画像処理装置、画像処理方法、コンピュータプログラム、及びコンピュータプログラムを記憶する記憶媒体
EP1569087A3 (en) * 2004-02-17 2007-04-25 Canon Kabushiki Kaisha Data processing apparatus, data processing method, program for implementing the method, and storage medium storing the program
US7756871B2 (en) * 2004-10-13 2010-07-13 Hewlett-Packard Development Company, L.P. Article extraction
JP4386281B2 (ja) * 2005-01-31 2009-12-16 キヤノン株式会社 画像処理方法及び画像処理装置並びにプログラム
US7865353B2 (en) * 2005-03-22 2011-01-04 Fuji Xerox Co., Ltd. Translation device, image processing device, translation method, and recording medium
US7697757B2 (en) * 2005-06-15 2010-04-13 Hewlett-Packard Development Company, L.P. Computer assisted document modification
US20060285746A1 (en) * 2005-06-17 2006-12-21 Sherif Yacoub Computer assisted document analysis
ATE530988T1 (de) 2005-07-27 2011-11-15 Hewlett Packard Development Co Verfahren zum finden der textlesereihenfolge in einem dokument
US7596270B2 (en) * 2005-09-23 2009-09-29 Dynacomware Taiwan Inc. Method of shuffling text in an Asian document image
WO2007070010A1 (en) * 2005-12-16 2007-06-21 Agency For Science, Technology And Research Improvements in electronic document analysis
US8023738B1 (en) 2006-03-28 2011-09-20 Amazon Technologies, Inc. Generating reflow files from digital images for rendering on various sized displays
US7715635B1 (en) 2006-09-28 2010-05-11 Amazon Technologies, Inc. Identifying similarly formed paragraphs in scanned images
US7801358B2 (en) * 2006-11-03 2010-09-21 Google Inc. Methods and systems for analyzing data in media material having layout
US8719701B2 (en) * 2009-01-02 2014-05-06 Apple Inc. Identification of guides and gutters of a document
JP5361574B2 (ja) * 2009-07-01 2013-12-04 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US20110173532A1 (en) * 2010-01-13 2011-07-14 George Forman Generating a layout of text line images in a reflow area
JP5772446B2 (ja) * 2010-09-29 2015-09-02 株式会社ニコン 画像処理装置及び画像処理プログラム
EP2477122B1 (en) * 2011-01-18 2018-10-24 Apple Inc. Ordering document content
US8442998B2 (en) 2011-01-18 2013-05-14 Apple Inc. Storage of a document using multiple representations
US8380753B2 (en) 2011-01-18 2013-02-19 Apple Inc. Reconstruction of lists in a document
US8543911B2 (en) 2011-01-18 2013-09-24 Apple Inc. Ordering document content based on reading flow
CN103186510B (zh) * 2011-12-30 2016-08-03 北大方正集团有限公司 一种转换文档格式的方法和装置
WO2013110286A1 (en) * 2012-01-23 2013-08-01 Microsoft Corporation Paragraph property detection and style reconstruction engine
WO2014005609A1 (en) 2012-07-06 2014-01-09 Microsoft Corporation Paragraph alignment detection and region-based section reconstruction
US20160055376A1 (en) * 2014-06-21 2016-02-25 iQG DBA iQGATEWAY LLC Method and system for identification and extraction of data from structured documents
US10042880B1 (en) * 2016-01-06 2018-08-07 Amazon Technologies, Inc. Automated identification of start-of-reading location for ebooks
US10354132B2 (en) 2017-08-22 2019-07-16 Autonom8, Inc. System and method for generating a virtual assistant
US10482323B2 (en) 2017-08-22 2019-11-19 Autonom8, Inc. System and method for semantic textual information recognition
JP7172649B2 (ja) * 2019-01-25 2022-11-16 セイコーエプソン株式会社 画像処理装置および画像処理プログラム
US11328524B2 (en) * 2019-07-08 2022-05-10 UiPath Inc. Systems and methods for automatic data extraction from document images
CN113705176B (zh) * 2020-06-22 2024-08-06 稿定(厦门)科技有限公司 平面排版方法及系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0738681B2 (ja) * 1987-03-20 1995-04-26 富士ゼロックス株式会社 領域認識装置
JPH0635782B2 (ja) * 1987-09-25 1994-05-11 重十史 冨永 移動壁の進行方向変換装置
US5185813A (en) * 1988-01-19 1993-02-09 Kabushiki Kaisha Toshiba Document image processing apparatus
JPH01183784A (ja) * 1988-01-19 1989-07-21 Toshiba Corp 文書画像処理装置
US5131053A (en) * 1988-08-10 1992-07-14 Caere Corporation Optical character recognition method and apparatus
EP0358815B1 (en) * 1988-09-12 1993-05-26 Océ-Nederland B.V. System and method for automatic segmentation
US5369716A (en) * 1989-08-31 1994-11-29 Kabushiki Kaisha Toshiba Document reader and reading processing method therefor
JP2713622B2 (ja) * 1989-11-20 1998-02-16 富士通株式会社 表形式文書読取装置
US5048109A (en) * 1989-12-08 1991-09-10 Xerox Corporation Detection of highlighted regions
JPH03269689A (ja) * 1990-03-19 1991-12-02 Nippon Telegr & Teleph Corp <Ntt> 文書読み取り装置
JP3187895B2 (ja) * 1991-05-02 2001-07-16 株式会社リコー 文字領域抽出方法
JP3302147B2 (ja) * 1993-05-12 2002-07-15 株式会社リコー 文書画像処理方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8155445B2 (en) 2002-09-30 2012-04-10 Canon Kabushiki Kaisha Image processing apparatus, method, and processing program for image inversion with tree structure
US7298900B2 (en) 2002-09-30 2007-11-20 Canon Kabushiki Kaisha Image processing method, image processing apparatus and image processing program
JP2009531790A (ja) * 2006-03-28 2009-09-03 アマゾン・テクノロジーズ・インコーポレイテツド ディジタル画像における非リフローコンテンツの効率的な処理
US8413048B1 (en) 2006-03-28 2013-04-02 Amazon Technologies, Inc. Processing digital images including headers and footers into reflow content
US8566707B1 (en) 2006-03-29 2013-10-22 Amazon Technologies, Inc. Generating image-based reflowable files for rendering on various sized displays
US9208133B2 (en) 2006-09-29 2015-12-08 Amazon Technologies, Inc. Optimizing typographical content for transmission and display
JP2008225964A (ja) * 2007-03-14 2008-09-25 Ricoh Co Ltd 画像処理装置、読み順設定方法及びプログラム
US8782516B1 (en) 2007-12-21 2014-07-15 Amazon Technologies, Inc. Content style detection
US8572480B1 (en) 2008-05-30 2013-10-29 Amazon Technologies, Inc. Editing the sequential flow of a page
US9229911B1 (en) 2008-09-30 2016-01-05 Amazon Technologies, Inc. Detecting continuation of flow of a page
US8340424B2 (en) 2009-07-30 2012-12-25 International Business Machines Corporation Visualization program, visualization method and visualization apparatus for visualizing reading order of content
JP2011034204A (ja) * 2009-07-30 2011-02-17 Internatl Business Mach Corp <Ibm> コンテンツ読み上げ順序を視覚化するための視覚化プログラム、視覚化方法、及び視覚化装置
US8588526B2 (en) 2009-07-30 2013-11-19 International Business Machines Corporation Visualization program, visualization method and visualization apparatus for visualizing reading order of content
US8499236B1 (en) 2010-01-21 2013-07-30 Amazon Technologies, Inc. Systems and methods for presenting reflowable content on a display
US10621428B1 (en) 2019-05-17 2020-04-14 NextVPU (Shanghai) Co., Ltd. Layout analysis on image
JP2020191057A (ja) * 2019-05-17 2020-11-26 ネクストヴイピーユー(シャンハイ)カンパニー リミテッドNextvpu(Shanghai)Co.,Ltd. レイアウト解析方法、読書補助装置、回路及び媒体

Also Published As

Publication number Publication date
JP3302147B2 (ja) 2002-07-15
US5774580A (en) 1998-06-30
US5907631A (en) 1999-05-25

Similar Documents

Publication Publication Date Title
JP3302147B2 (ja) 文書画像処理方法
US5799115A (en) Image filing apparatus and method
EP0854434B1 (en) Ruled line extracting apparatus for extracting ruled line from normal document image and method thereof
JP3345224B2 (ja) パターン抽出装置、パターン再認識用テーブル作成装置及びパターン認識装置
JP3278471B2 (ja) 領域分割方法
JPH0668301A (ja) 文字認識方法及び装置
JP2004139484A (ja) 帳票処理装置、該装置実行のためのプログラム、及び、帳票書式作成プログラム
US7003159B2 (en) Document frame recognition system and method
JP2002056398A (ja) 文書画像処理装置、文書画像処理方法、及び記憶媒体
JPH08212298A (ja) 文書方向自動判別装置、及び文書方向自動補正装置
CN111460355B (zh) 一种页面解析方法和装置
CN111832476A (zh) 版面分析方法、阅读辅助设备、电路和介质
Mitchell et al. Newspaper document analysis featuring connected line segmentation
Saitoh et al. Document image segmentation and layout analysis
JP2008028716A (ja) 画像処理方法及び装置
JP3852218B2 (ja) 画像処理方法および画像処理装置
JP2003058556A (ja) 文書画像のタイトル抽出方法、抽出プログラム、及びタイトル抽出装置
JP2868134B2 (ja) 画像処理方法及び装置
JP3476595B2 (ja) 画像領域分割方法、および画像2値化方法
JP3187895B2 (ja) 文字領域抽出方法
JP2786355B2 (ja) 文章画像の属性判別方法
JP3269918B2 (ja) 文章領域の読み順設定方法
JP4282467B2 (ja) 像域分離方法
JP3817442B2 (ja) 画像認識装置、画像認識方法、及び画像認識方法を実現するプログラムとこのプログラムの記録媒体
JPH09120443A (ja) 画像処理方法とその装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080426

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080426

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090426

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090426

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100426

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100426

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110426

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120426

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130426

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140426

Year of fee payment: 12

EXPY Cancellation because of completion of term