JPH07192084A - 文書画像処理方法 - Google Patents
文書画像処理方法Info
- Publication number
- JPH07192084A JPH07192084A JP5327015A JP32701593A JPH07192084A JP H07192084 A JPH07192084 A JP H07192084A JP 5327015 A JP5327015 A JP 5327015A JP 32701593 A JP32701593 A JP 32701593A JP H07192084 A JPH07192084 A JP H07192084A
- Authority
- JP
- Japan
- Prior art keywords
- area
- node
- reading order
- text
- text area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
- G06V30/414—Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/1444—Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Character Input (AREA)
- Character Discrimination (AREA)
Abstract
造化して、正しい読み順を抽出する。 【構成】 領域抽出手段102は、2値画像から文字領
域、図領域などの領域を抽出する。文章領域分別手段1
03は、図題、表題、ヘッダ、フッタと、それ以外の本
文領域に分類する。罫線情報生成手段104は、抽出さ
れた罫線領域や、白領域の架空罫線、図領域の端部の架
空罫線などを生成する。文章領域配置構造化手段105
は、本文領域の配置を構造化し、木グラフで表現し、読
み順抽出手段106は、このグラフ表現から読み順を決
定する。
Description
れか一方の書式で書かれた文書画像から抽出された文章
領域を構造化して、読み順を得るようにした文書画像処
理方法に関する。
ベース構築の前処理においては、文書画像から抽出した
文章領域の読み順を求める必要がある。従来、文章領域
の読み順を求める方法としては、例えば、文章領域を点
座標などによって並べて初期状態を得て、この状態から
隣合う並びの領域同志について、判定手段を用いて入れ
替えを行っていくことによって、最終的に読み順に領域
が並び合うようにし、また読み取り順序の初期状態を得
る際に、罫線などの非文字領域を追加することにより、
読み取り順序の指定を容易した文書読み取り装置が提案
されている(特開平3−269689号公報を参照)。
後に、同一段組にある文章領域をノードとする木グラフ
を作成し、このグラフから論理的構造を得て、文章画像
中の記事を読み順に従って抽出する文章画像処理装置が
提案されている(特開平1−183784号公報を参
照)。
は、文章領域およびそれ以外の領域を座標などを用いて
並べて初期状態を得て、この状態から並び合う領域同志
を比較し、読み順が逆になっていると判断したとき、並
び替えるものである。この方法では、初期状態に依存
し、しかも隣合う領域同志を比較しているので、タイト
ル部位のように本文と離れている場合には初期状態で隣
合わない上に、2つの領域だけを比較した場合に、どち
らが読み順が先になるかが局所的には定まらないときに
は、最終的にタイトル部位と本文との比較が行われない
状態に陥る。また、非文字領域について、文字領域と同
様に扱う場合のみしか考慮していないので、文字列方向
と垂直方向の罫線情報や図があった場合の影響などが考
慮されていない。
段組を考慮しているので、明確な段組がない場合や、頁
の上部が2段、下部が3段の如く、変則的な段組がなさ
れていた場合に、「同一段組の文字領域を一つのノード
に相当させる」ということが難しい。この方式もまた、
文字方向と垂直方向の罫線があった場合や図表の影響が
考慮されていない。
て、読み順は隣合うブロックの場合に右から左へ進み、
第2の技術では文字方向横を前提として上下に並ぶ領域
を上から下へと並ぶようにノード内の順番を決めてい
る。つまり、両者共にどちらか一方の行方向のみに対処
している。また、何れも図表、表題やヘッダ、フッタと
いった本文領域とは異なる性質を持った文字領域の影響
を全く考慮したものではない。
の文章領域を高精度に構造化して、正しい読み順を抽出
する文書画像処理方法を提供することにある。
失敗した場合に、読み順の再設定を行い、利用者による
修正負担を少なくした文書画像処理方法を提供すること
にある。
た読み順に従って文書情報を抽出して利用する文書画像
処理方法を提供することにある。
るために、請求項1記載の発明では、入力された文書画
像から文章領域を抽出し、該抽出された文章領域を、本
文領域とそれ以外の領域に分け、該本文領域の配置構造
を求め、該配置構造を基に前記本文領域の読み順を抽出
することを特徴としている。
縦書きまたは横書き書式であるとき、該縦書き横書き書
式に共通な本文領域の配置構造を求め、該配置構造を基
に該本文領域の読み順を抽出することを特徴としてい
る。
木グラフで表現し、前記各本文領域を木グラフの各ノー
ドに割り当てることを特徴としている。
囲み枠内の本文領域と囲み枠外の本文領域に分け、該囲
み枠内の本文領域は、囲み枠外の本文領域とは別に読み
順を抽出することを特徴としている。
5記載の発明では、前記抽出された読み順を評価し、該
評価が偽と判定されたとき該読み順の再設定を行うこと
を特徴としている。
価は、前記各本文領域に基準点を設けて、該基準点間を
読み順に従って線分で結んだとき、線分に交わりが生じ
た場合に偽と判定することを特徴としている。
領域は、それぞれの枠内の領域について読み順の評価と
再設定を行うことを特徴としている。
8記載の発明では、前記読み順に従って、前記各本文領
域に対して文字認識を特徴としている。
れた文章(文字)領域を本文領域とそれ以外の領域とに
分別する。ここで、本文領域とは読み順が設定されるべ
き文章領域のことで、それ以外の文章領域とは図題、表
題、ヘッダ、フッタ等の本文領域とは異なった性質を持
つ領域のことである。
表現する。この木グラフの構築にあたって、文字行方向
に相対する座標系を採用するとともに文章領域を各ノー
ドに対応させ、また、各ノードの勢力範囲というものを
垂直罫線等を利用しながら規定し、この勢力範囲に従っ
てノード間の親子関係の探索を行なう。さらに、囲み枠
内の文章領域については、囲み枠毎に同様の木グラフを
求め、これを全体の木グラフに結合する。このようにし
て構築した本文領域の配置構造の木グラフ上で、本文領
域の先行順探索を行なうことにより、本文領域の読み順
を設定する。
分別することによって、図題等の本文領域以外の文章領
域の影響を取り除いた本文領域の木グラフ表現を得られ
る。したがって、この木グラフに従って、本文領域とは
異なる読み順を持つ文章領域に影響させることなく、本
文領域の正しい読み順を設定できる。
とにより、文字行方向が縦でも横でも木グラフを共通に
扱うことができるようになるため、縦書き書式の文書も
横書き書式も同様に処理可能になる。
ことによって、段組に依存しない、本文領域の大局的な
構造化が可能である。しかも、各ノードの勢力範囲を規
定し、これを利用してノードの親子関係探索を行なうた
め、単に上下に並んでいるか否かといった単純な処理方
法では対処不可能であった、タイトル部位や図等の存在
に対処して本文領域の正確な構造化が可能であり、した
がって、より正確な本文領域の読み順設定が可能であ
る。
手段はグラフ化の結果から求めた読み順の線分が交わる
とき、偽と判定し、読み順再設定手段は、読み順の再設
定を行う。再設定は、各本文領域の外接矩形がより左上
にある順にソートする。これにより複雑な配置の文書に
おいても正しい読み順が得られる。さらに、実施例3で
は、実施例1の方法によって抽出された読み順に従って
文字認識を行って文書情報を得る。
て説明する。 〈実施例1〉図1は、本発明の実施例1のブロック構成
図を示す。図1において、画像入力手段101は文書を
2値画像として入力するためのスキャナ等である。領域
抽出手段102は、入力画像から文章領域、図領域、罫
線領域等の領域を抽出する手段である。文章領域分別手
段103は、領域抽出手段102により抽出された文章
(文字)領域を、読み順設定の対象である本文領域と、
それ以外の領域(図題、表題、ヘッダ、フッタ等)に分
別する手段である。罫線情報生成手段104は、領域抽
出手段102により抽出された罫線領域や、白領域の架
空罫線、図領域の端部の架空罫線などを生成する手段で
ある。文章領域配置構造化手段105は、本文相当領域
(囲み枠内も含む)を木グラフとして構造化する手段で
ある。読み順抽出手段106は、木グラフから文章領域
の読み順を抽出する手段である。108は以上の各手段
を制御する制御部、107は入力画像や抽出した領域、
作成した構造の情報等の各種データを記憶するためのデ
ータ記憶部である。109はデータ通信路である。
ぞれ個別のハードウエア手段または個別のソフトウエア
手段として実現されてもよいし、共通のハードウエア上
でソフトウエアにより実現されてもよい。
て、図2の処理フローチャートに従って、図3乃至図1
0を適宜参照しつつ説明する。
によって、処理すべき文書を2値画像として入力する。
この入力画像のデータはデータ記憶部107に記憶され
る。
によって、入力画像の文章(文字)領域、図領域等を抽
出する。抽出された領域の情報はデータ記憶部107に
記憶される。
03による処理ステップであり、抽出された文章領域を
図題、表題、ヘッダ、フッタの領域と、それ以外の領域
である本文領域とに分類する。この本文領域とは、読み
順の設定されるべき文章領域である(枠で囲まれた領域
も本文領域として扱うが、枠で囲まれていない本文領域
より読み順が後に来るものとする)。以下、この分類の
処理について詳細に説明する。
いて、処理ステップ202で抽出された領域の表現が外
接矩形のみであった場合には、各領域の図や絵等の実体
(イメージそのもの)と、その外接矩形との相違が大き
いことがある。このような場合には、図領域と他の文章
(文字)領域との重なり等により図の外接矩形を分解し
て、いくつかの外接矩形の集合によって図の実際に存在
する範囲と、その外接矩形による表現との相違を少なく
する。
数の少ない文章領域である。そこで図と文章領域との距
離を計算する。図の輪郭形状が判明しているならば、そ
の図と文章領域との距離を計算し、図が外接矩形で表現
されているときは、その外接矩形と文章領域との距離を
計算する。そして、この距離が小さく、かつ行数の少な
い文章領域を図・表題の候補とする。
とって図・表領域の反対側に存在する文章領域との位置
関係を調べる。これを図3によって説明する。図3にお
いて、301は図領域、302は図領域301の近傍に
ある図題候補、303は図題候補の文章領域である。こ
の例のように、図題候補302の反対側に文章領域30
3があり、両領域302,303の左右位置が揃ってい
る場合には、両領域302,303を連続した本文領域
と判断し、図題候補302を図題とは分類しない。左右
いずれかでも位置が揃っていないときには図題候補30
2を図題に分類する。ただし、左右の一方の位置が揃っ
ている場合にも図題としない、という方法も採用可能で
ある。
ッダの分類を行なう。ここで、本文領域が縦書きである
か横書きであるかが判定している場合には、そのいずれ
であってもヘッダは原稿の上部に存在する。縦書き原稿
でも、ヘッダは横書きで原稿上部に存在するのが普通で
ある。また、行(文字列)方向が判明していても、文字
の方向が縦か横かが分かっていない場合については、行
方向が横であっても原稿は縦書きであることがある。原
稿を90゜回転して入力した時に、そうなる。このよう
な場合でも、画像の上の方が文章の先頭にくるものとす
ると、画像左側が原稿の上部にあたる。
合には画像の上部及び左部についてヘッダの存在を調
べ、行方向が縦の場合には画像の上部及び右部について
ヘッダの存在を調べる。
て、まず罫線の存在を調べる。罫線が存在する場合、こ
の罫線の長さが画像の幅または高さに対して十分に大き
く、かつ、この罫線より外側に大きな文章領域(数行を
含む文章領域)が存在しないならば、この罫線を本文と
ヘッダ部とを分ける罫線であると判断する。そして、そ
の外側に小さな文章領域があれば、それをヘッダとして
分類する。
画像、402は罫線、403〜405は文章領域であ
る。行方向が横であることのみ判明しているとすれば、
ヘッダは上部または左部に存在する筈であるから、この
位置で十分に長い罫線を探す。図4の例においては、罫
線402が存在するので、その上側に大きな文章領域が
存在するか調べる。文章領域403は数行を含むような
大きな領域ではないので、罫線402は本文とヘッダを
分ける罫線であるあると判断する。したがって、この罫
線402より上側にある小さな文章領域403をヘッダ
として分類することになる。
の存在する範囲の最上部及び最左部から、ある距離だけ
内側にはいった位置に架空の罫線を生成し、同様の方法
でヘッダの分類を行なう。
画像、502は文章領域の存在範囲、503〜506は
文章領域である。この例では、画像の上部と左部に架空
の罫線507,508を生成することになる。この例で
は、上部の架空罫線507の上側には大きな文章領域は
存在しないので、この架空罫線507は、本文とヘッダ
とを分ける罫線として有効である。そして、この架空罫
線507の上側に小さな文章領域503があるので、こ
れをヘッダとして分類する。架空罫線508の左側には
大きな文章領域は存在しないが、大きな文章領域504
と架空罫線508が重なっている。
架空罫線508のような文章領域と重なった罫線も有効
な罫線として扱ってよい。しかし、架空罫線と重なった
文章領域がヘッダとして誤抽出されるのを防ぎたい場合
には、そのような罫線を無効とすればよい。なお、この
例では画像の傾き(スキュー)がないが、傾きがある場
合には、その傾き角度にあわせて罫線を傾けて生成す
る。
を分ける罫線を探索し、罫線がないときの架空罫線を生
成して、ヘッダの分類判定を行なう。
分類を行なう。文字方向が判明している場合には、原稿
の下部に相当する位置についてフッタを調べる。行方向
のみ判明している場合には、行方向が横であれば画像の
下部と右部について調べ、行方向が縦であれば画像の下
部と左部について調べる。
タ、図・表題を除く領域が本文領域となる。ただし、囲
み枠が存在する場合には、枠内の文章領域を、その枠毎
に分類し、枠外の本文領域とは区別しておく。
04により架空罫線の生成を行なう処理ステップであ
る。ここでいう架空罫線とは、処理ステップ203にお
けるヘッダ、フッタの分類のための架空罫線を除くもの
で、文章領域の配置構造を表わす木グラフを構築するた
めに図や白領域から新たに生成されるものである。
なお、行方向を横として座標系をとったとして以下の説
明を行なう。ここでは、図及び表領域の左右の端に垂直
架空罫線を生成する。図の存在範囲を外接矩形で表現し
ている場合には、図題の分類時に外接矩形の分割を行な
っているので、この分解された図領域について架空罫線
の生成を行なう。
602は図領域(の外接矩形)、605は図領域602
と重なった文章領域、603と604は図領域602を
分解した領域である。この例では、領域601,60
3,604の左右端に架空罫線606〜611をそれぞ
れ生成することになる。
説明する。この罫線は文字列(行)方向のものであり、
ここでは行方向を横としているので水平罫線となる。こ
の罫線の生成(抽出)は、縦軸への射影をとる方法によ
って、あるいは、画像の行方向へのランレングス符号化
をして、ある閾値以上の長さを持つ白ランの連結成分を
抽出し、この白連結成分の中から水平罫線を十分に構成
し得るものを、その幅と高さによって選択し、選んだ白
連結成分の中心付近に水平架空罫線を生成する方法によ
って行なうことができる。
方向が縦の場合は座標系を90゜回転しているので画像
の高さ)に等しい長さを持つ水平架空罫線を生成する。
の線分は水平罫線として扱い、左右の線分は垂直罫線と
して扱う。
手段105により、囲み枠外の本文領域の配置構造グラ
フを作成する処理ステップである。配置構造は木グラフ
で表わされるので、あるノードが、どのノードの子に相
当するかを順次決定していくことによって木グラフを作
成することになる。
域、水平罫線(架空罫線を含む)を登録する。そして、
このノードを上部にあるものから順次処理する。
この着目ノードより処理順番が後になるノードは着目ノ
ードの子候補となる。ここで、子候補が子ノードに相当
するかどうかの判別処理を行ない、子ノードに相当する
場合は着目ノードとの間に親子のリンクを張る。ただ
し、この子に相当すると判別されたノードが既に他のノ
ードの子ノードとしてリンクされていた場合には、どち
らが親ノードとしてふさわしいか判別処理を行ない、ふ
さわしいと判断された方の親ノードと親子関係のリンク
を張り、どちらとも判別がつかない場合には木グラフの
ルートに直接つなぐようにする。また、着目ノードは、
それより前に処理したノードの子候補となっている筈
で、前のノードの処理が完了しているにも拘らず、どの
ノードの子としても未だリンクされていない場合には、
着目ノードを木グラフの子ノードとする。ただし、囲み
枠の上部の水平罫線は直接に木グラフのルートの子ノー
ドとする。
明する。図7において、701は最上部に生成された架
空罫線、702〜705は文章領域、706〜710は
各ノードの勢力範囲(後述)、711と712はそれぞ
れ架空罫線701と文章領域702の子ノードの探索範
囲、713は図領域、714と715は架空垂直罫線、
716は文章領域704の一時的な勢力範囲、717は
文章領域である。なお、以下の説明において、領域を示
す符号を、それに対応するノードを示すためにも便宜用
いる。
処理ノードとなる。このノードは親ノードが未定である
ので、木グラフのルートの子ノードとする。ここで、各
ノードは勢力範囲と探索範囲を持つ。勢力範囲は親から
継承するもので、探索範囲は勢力範囲と最初は等しい
が、順次更新されて狭まっていく。
がルートであるので、それ自体の幅に等しい勢力範囲7
06を持つとする。そして、この勢力範囲と等しい幅を
探索範囲として以下のノードの探索を行なう。
ード(702)が見つかるので、このノード(702)
はノード(701)の子ノード候補となる。そこで、ノ
ード(701)の探索範囲711のノード(702)の
範囲(711の黒部分)を探索済みとして、以下の探索
の範囲から除く。ノード(702)はノード(701)
の子であるので、ノード(701)と同じ幅の勢力範囲
707を継承する。
すると、ノード(704)が見つかる。しかし、ノード
(704)はノード(702)との間でも親子関係がな
りたつので、ノード(701)との間で親子関係のリン
クは張らない。また、ノード(703)もノード(70
1)の探索範囲下にあるが、ノード(704)と同様に
ノード(702)の勢力範囲下にありノード(702)
と親子関係がなりたつので、ノード(701)とノード
(703)は親子ではない。ノード(705)は僅かな
がらノード(701)の勢力範囲下にあるが、探索範囲
は連続したある程度の幅のみ有効とするので、探索外と
なる。
る。まず、ノード704がノード(702)の子ノード
となる。ここで、勢力範囲は垂直罫線を越えないものと
する。したがって、ノード(704)の勢力範囲は垂直
罫線715を越えない716の範囲となる。次にノード
(705)がノード(704)の勢力範囲下にあり、探
索範囲712にも含まれるが、ノード(704)とノー
ド(705)は親子的位置関係にないので、ノード(7
05)はノード(702)の子ノードとなる。複数の子
ノードがある場合には、その勢力範囲を適当な位置で分
割する。ここでは勢力範囲を中点で分割するものとする
と、ノード(704)とノード(705)の勢力範囲
は、709の範囲と710の範囲に分割される。また、
次にノード(703)もノード(702)の探索範囲下
にあり、子ノードとなって勢力範囲を継承する。
の勢力範囲を子ノードの領域が越える場合には、子ノー
ドの勢力範囲を継承した範囲から、その越えた分だけ拡
張する。また、囲み枠の上部の線分を水平罫線としてノ
ードにしているが、このノードの勢力範囲は親から継承
するのではなく、それ自体の幅に等しい範囲とする。次
にノード(704)が処理ノードとなる。ノード(70
4)の探索範囲709)内にノード(717)が存在す
る。したがって、ノード(717)はノード(704)
の子ノードとなり、探索範囲は全て満たされるので、次
にノード(705)のの処理に移る。
やはりノード(717)があるが、このノード(71
7)は既にノード(704)の子ノードとなっているの
で、ここで親ノードの選択を行なうことになる。ところ
が、ノード(704)とノード(705)は同じような
幅を持ち、ノード(717)は両方の勢力範囲に十分に
はいっているため、どちらが親であるが一意に定まらな
い。そこで、ノード(717)をノード(704)の子
から外し、あらためてルートの子ノードとする。なお、
子ノードが複数ある場合、木グラフでの左右の並びは、
例えばノード(703)、ノード(704)、ノード
(705)のように普通のノードに接続する場合は、そ
の位置通りにノード(703)を一番左側、ノード(7
05)を一番右側にする。ルートの子ノードの場合は、
新しく子ノードを接続する度にとりあえず一番右側へと
接続しておき、最終的にソートする。
及び図8に示した例によって説明する。タイトル部位の
処理は、図7に関連して説明した処理の中で行なわれ
る。各ノードには、タイトル部位であるか否かを示すタ
イトルフラグを付ける。図7の例でいえば最初のノード
(701)のタイトルフラグは必ず立て(オンし)、タ
イトル部位であるとする。次にノード(702)がノー
ド(701)の子ノードとなるわけであるが、この時
に、ノード(702)の左右に文章領域が存在するか調
べる。左右に文章領域が存在しなければ、ノード(70
2)のタイトルフラグも立てる。ただし、後にノード
(701)の他の子ノードがリンクされた場合には、ノ
ード(702)はノード(701)の唯一の子ノードで
なくなるので、ノード(702)のタイトルフラグを下
ろす(オフする)。
には、左側の勢力範囲を架空垂直罫線で抑えられている
ときに、その架空罫線を1回だけ無視する形で、それを
越えて拡大する。図8の例で説明する。図8において、
801は最上部の架空水平罫線、802は文章領域、8
03は図領域、804と805は図領域803の両端に
生成された架空垂直罫線、806は架空水平罫線801
の勢力範囲、807は文章領域802の勢力範囲であ
る。この勢力範囲807は、架空垂直罫線805に遮ら
れず、次の架空垂直罫線804まで延ばされる。ノード
702の勢力範囲707は、もともと遮るような垂直罫
線が存在しないので関係はない。
に移ると、まずノード(704)が探索されることは前
述のとおりであるが、ノード(704)の左右には文章
領域703,705が存在する。したがって、これ以降
の文章領域はタイトル部位とはならないので、ノード
(702)のタイトルフラグを下ろす。親のノードのタ
イトルフラグが立っていない場合には、その子ノードが
タイトル部位であるか否かを調べるために、左右に文章
領域が存在するか探索する必要もなくなり、以下の処理
時間が短縮される。
(囲み枠外のもの)について、上から下まで全てについ
て行なう。
手段105により、囲み枠内の文章領域をグラフ化する
処理ステップである。
フ化処理と同様に、処理ノードの勢力範囲下にあるノー
ドを、処理ノードの子ノードとしてリンクしていく。先
の囲み枠外本文領域のグラフ化処理でリンクが張られた
ノードは木グラフを構成している。この中には囲み枠線
の上部の水平線分もノードとして登録されている。した
がって、そのノード毎に、その囲み枠内の文章領域を対
象に木グラフを構成する。
0〜916は文章領域、917と918は囲み枠であ
る。901はルート、902〜907は当該処理ステッ
プ206の前に登録されたノードである。902は最上
部架空罫線に相当するノード、903は文章領域910
に相当するノード、904は文章領域911に相当する
ノード、905は文章領域912に相当するノード、9
06は囲み枠918の上部水平罫線920に相当するノ
ード、907は囲み枠917の上部水平罫線919に相
当するノードである。
先の処理ステップ205における最上部罫線(902)
に対応し、それと同様の処理を行なうことになる。ただ
し、水平罫線919,920のタイトルフラグは常にオ
フにしておく。したがって、囲み枠内では、タイトル部
位の処理は行なわれない。
罫線920)の下には文章領域913があるので、文章
領域913を子ノードとしてノード906に接続する。
また、ノード907(つまり水平罫線919)の下に文
章領域914があるので、これを子ノードとしてノード
907に接続し、また文章領域914の下には文章領域
915,916があるので、これら二つの領域も文章領
域914に子として接続する。ここでも、先の処理ステ
ップ205での処理と同様に勢力範囲及び探索範囲を用
いて子ノードの探索、及び子ノードであるか否かの判別
を行なう。ただし、ルート901に直接接続されたノー
ド906,907の勢力範囲は、それ自体の幅に等し
い。
ば、次にルートの子ノードのソートを行なう。ルートの
子ノードになっているのは、最上部の架空水平罫線、親
ノードが一意に定まらなかった領域、あるいは囲み枠の
上部罫線である。このようなノードのうち、囲み枠の上
部罫線は、他のノードよりも木グラフ上で右側に来るよ
うにソートする。また、囲み枠のノード同士、及び、囲
み枠の罫線同士については、より上に位置するもの、よ
り左側にあるものを、グラフ上でより左側にするように
順番を入れ替える。この際、各ルートの子ノードの勢力
範囲を使用することによって、どちらが上位にあるかを
判別することができる。
手段105により、図・表題の分別を再度行なう。ここ
では、グラフの葉にあたるノード(子を持たないノー
ド)が罫線ではなく、文章領域であって、その行数が少
なく(この行数の閾値は、先の処理ステップ203にお
ける図・表題の分別に使用したものと同様の値でよ
い)、かつ、その親ノードの実体との間に、ある程度大
きな図が存在する場合には、当該文章領域を図題または
表題と分別し、これを本文配置の木グラフから取り除
く。
いて、1001と1002はノード、1003と100
4はそれぞれノード1001,1002の実体である文
字領域である。1005は図領域である。この例のノー
ド1002は葉に相当するもので、その実体たる文章領
域1004の行数が少ない。また、その親ノードたるノ
ード1001との間に、比較的大きな図領域1005が
存在する。したがって、ノード1002は本文配置の木
グラフから取り除かれる。
6において、以上の処理で得られた本文配置を示す木グ
ラフ上で先行順探索を行ない、罫線やルートを除いた文
章領域の順番を、本文領域の読み順として抽出する。
る。配置構造を表す木グラフを構築する際に、文章領域
を木グラフのノードに割り当て、各ノード毎に他のノー
ドへの配置関係を表わす勢力範囲を求め、各ノードの親
子関係の探索を勢力範囲に従って行ない、子ノードに親
ノードの勢力範囲を継承させることによって勢力範囲の
更新を行ない、親子ノードの探索を繰り返すことによっ
て木グラフを構築する。このように、勢力範囲を用いて
親子ノード探索を制御することにより、タイトル部位や
図等に適切に対処して本文領域を適切に構造化し、本文
領域の読み順を正しく設定できる。
ードに割り当てる。例えば、文字列方向と同方向の罫線
を抽出し、これを木グラフのノードに割り当てる。ま
た、白画素の領域で、ある値より文字列方向に長い白画
素領域を抽出し、これを木グラフのノードに割り当て
る。このように、文書上の文章領域以外の罫線等の様々
な要素、例えば文字列方向と同方向または垂直方向の罫
線や、空白部分、図・表領域等による文章領域の配置へ
の影響を適切に扱うことにより、そのような要素が存在
する文書の本文領域の読み順を正しく設定できる。
ノードの勢力範囲を制限する。また、図・表領域の文字
列方向についての両端に文字列方向と垂直の架空罫線を
生成し、この架空罫線によってノードの勢力範囲を制限
し、架空罫線による勢力範囲の制限をタイトル部位にお
いて変更する。このように、図・表領域の文字列方向の
両端に垂直の架空罫線を生成し、この架空罫線によって
ノードの制御範囲を制限することにより、文字列方向と
垂直方向の罫線による配置への影響を適切に処理するこ
とが可能になり、また、図・表領域による本文領域の配
置への影響を適切に処理して、本文領域の読み順を正し
く設定できる。タイトル部位において架空罫線による勢
力範囲の制限を変更することによって、タイトル部位の
配置を適切に処理することができる。
し、構築された木グラフと文章領域以外の図等の領域の
位置情報とに基づいて誤って本文領域と分類された領域
を判別し、それを木グラフから取り除き、この処理の後
の木グラフに従って文章領域の読み順を設定する。この
ように、本文領域の木グラフを作成した後に、本文領域
とそれ以外の領域との細分別を行なうことによって、本
文と図・表題を高精度に分別し、より正確な文章領域の
構造化と読み順設定が可能となる。
に失敗したり、もともと木グラフで表現することに適さ
ない構造をもつ文書である場合に、構造化できない部分
のみならず、全体的に読み順が変更されてしまう可能性
がある。そこで、本実施例2では、文章領域の配置構造
を求めて読み順を求めた後、該読み順の評価を行うよう
にした。
成図である。図において、1101は、画像の入力手
段、1102は、入力画像から領域を抽出する領域抽出
手段、1103は、抽出された文字領域を、本文領域と
それ以外の図題、表題、ヘッダ、フッタ等に分別する文
章領域分別手段、1104は、本文相当領域を木グラフ
として構造化する文章領域配置構造化手段、1105
は、木グラフから読み順を抽出する読み順抽出手段、1
106は、読み順抽出手段1105で抽出した読み順を
評価する読み順評価手段、1107は、評価結果が偽で
あるときの読み順を再設定する読み順再設定手段であ
る。1108は、入力画像や抽出した領域、作成した構
造の情報などの各種データを記憶するデータ記憶部、1
109は、上記した各手段を制御する制御部、1110
は、データ通信路である。
である。以下、実施例2の動作を説明すると、まず、ス
キャナなどの画像入力手段1101によって文書を2値
画像として入力する(ステップ1201)。次いで、こ
の2値画像から文字領域、図領域などの領域を抽出する
(ステップ1202)。この抽出方法としては、例えば
特開平5−81475号公報に記載された文字領域抽出
方法などを用いればよい。
域を、図題、表題、ヘッダ、フッタと、それ以外の本文
領域に分類する(ステップ1203)。ここで、本文領
域とは、読み順の設定される領域で、後述するように枠
で囲まれた領域についても、枠で囲まれていない領域よ
り読み順が後にくる本文領域として処理される。
領域の配置を構造化し、木グラフで表現する(ステップ
1204)。そして、読み順抽出手段1105は、この
グラフ表現から先行順探索で読み順を決定する(ステッ
プ1205)。なお、ステップ1203〜1205の処
理については、前述した実施例1に記載の方法を用い
る。
順の評価を行う(ステップ1206)。図13は、本実
施例に係る読み順の評価を説明する図である。図におい
て、1301から1307は、抽出された本文領域の外
接矩形である。まず、この各外接矩形の中心点を求め
る。1308から1314は、求められた中心点であ
る。そして、この点を読み順に従って線分で結ぶ。
図13に示すものであったとすると、中心点1312と
中心点1313との間の線分1312−1313と、中
心点1310と中心点1314との間の線分1310−
1314とが交わるため、この結果の評価は偽と判定さ
れる。
み順の再設定を行う(ステップ1207)。再設定は、
各外接矩形の位置に着目し、より左上にある順にソート
する。例えば、外接矩形1301の下部は外接矩形13
02や1305の上部よりも上にある。このような場
合、外接矩形1301は外接矩形1302、1305よ
りも”上”と判断する(外接矩形1301>外接矩形1
302、外接矩形1301>外接矩形1305)。
1305の左部よりも左にあるので、”左”と判断する
(外接矩形1302>外接矩形1305)。なお、この
ときの判断には余裕を持たせるようにしてもよい。外接
矩形1301と1302の左右の位置を比べた場合には
どちらが左とも右とも判定できない。そこで、3つの外
接矩形1301、1302、1305を比較すると、上
記した関係から外接矩形1301>外接矩形1302>
外接矩形1305となる。
ることにより読み順を決定する。外接矩形1305と1
303を比べた場合には、上下では外接矩形1305>
1303であり、左右では外接矩形1303>1305
となる。このような場合には左右の関係を優先する。従
って、外接矩形1303>外接矩形1305となる。
4に示すような読み順が得られる。図14において、1
401から1407は外接矩形、1408から1414
は中心点、線分1408−1409−...−1414
は読み順を示す。
定は、囲み枠内のものについては、その枠内の領域に対
してのみ行い、枠外および他の枠内のものとは区別して
処理する。図15は、囲み枠線を有する本文領域の例を
示す。図において、1501から1506は本文領域、
1507は本文領域1504と1505を囲む囲み枠
線、1508は本文領域1506の囲み枠線、1509
から1514は各領域の中心である。
ップ1201からステップ1206の処理の結果、線分
1513−1514が他の線分と交わっていると評価さ
れる。しかし、この場合、線分1513−1514は異
なる枠内領域1507と1508を結ぶ線分であること
から、評価対象外となり、再設定を行わない。評価対象
となる線分は、線分1509−1510−1511、線
分1512−1513の線分である。
によって抽出された読み順に従って本文領域について、
例えば文字認識を行って文書情報を得るようにしたもの
であり、実施例1によって抽出された文書情報の利用形
態に係る。
る。画像データは、スキャナなどの入力手段1601あ
るいは、回線に接続されたファクシミリなどの信号受信
手段1602から入力される。情報抽出処理手段160
3は、実施例1で説明した文章領域の抽出、文章領域の
判別、文章領域の配置構造化、読み順の抽出の他に、更
に文字認識を行って、文書情報を得る機能などを備えて
いる。
例えばCRTディスプレイであり、修正指示手段160
5は、表示された抽出情報などに誤りがあった場合に修
正する例えばマウスなどのポイティングデバイスであ
り、結果出力手段1606は、紙などに出力するプリン
タ、あるいは電子情報として媒体に格納する蓄積手段、
通信回線を介して伝送する伝送手段である。
成を示す。ここで、領域抽出手段1702、文章領域分
別手段1703、罫線情報生成手段1704、文章領域
配置構造化手段1705、読み順抽出手段1706、デ
ータ記憶部1708、制御部1709、データ通信路1
710は、それぞれ実施例1で説明したものと同一の機
能、構成を有している。本実施例では、これら手段に加
えて、入出力データが格納され、バッファとして機能す
るデータ入出力手段1701と、文字認識手段1707
と、文字以外の領域処理手段1711が設けられてい
る。
1702は入力画像から文章領域とそれ以外の表領域、
図の領域などを抽出し、文章領域分別手段1703は本
文とそれ以外とを分別し、本文領域について、罫線情報
生成手段1704、文章領域配置構造化手段1705、
読み順抽出手段1706は、その配置構造と読み順を抽
出する。
域の読み順に従って文字認識を行って、文書情報を出力
する。また、本文以外の文字領域についても文字認識を
行って、文書情報を出力する。文字以外の領域処理手段
1711は、表などの文章領域以外について、適応処理
を行う。具体的には、表であれば罫線情報を抽出し、表
内文字を文字認識手段1707で文字認識する。写真で
あれば、例えば2次元DCT変換によって適応符号化を
行い、図であれば、例えば線画を抽出してベクトル化を
行う。これら文章以外の領域についての処理は、文章領
域の処理とは別に独自に行ってもよい。このように、抽
出した文章領域以外については領域の特性に合った処理
をしているので、表や写真、図などの情報を最適な形で
利用することができる。また、実施例1で説明したよう
に、本文以外のヘッダ、フッタなどの情報を抽出するこ
とにより、本文以外の文章情報を書誌的情報として取り
出して利用することができる。
は、表示手段1604に表示される。図18は、文章領
域の表示例を示し、文章領域は矩形で表示され、各領域
には読み順に従った番号が同時に表示される。すなわ
ち、図18において、表示された文書画像1801に
は、ヘッダ領域1802、本文領域1803〜180
5、図の領域1806が表示される。そして、各本文領
域1803〜1805には読み順1807(番号は
1)、1808(番号は3)、1809(番号は2)も
表示されている。なお、読み順の表示方法としては、こ
の他に各本文領域を読み順通りに矢印で結ぶ表示形式を
採ってもよい。
あった場合、修正指示手段1605を用いて修正する。
例えば、マウスなどで領域の大きさ、位置を変更した
り、あるいは指定した領域の読み順をキーボードなどか
ら入力などして修正する。抽出した文字情報は修正、確
認した後、文書情報が確定し、結果出力手段1606に
出力される。このように、文書情報抽出処理において誤
った処理が行われても、その結果を確認、修正している
ので、最終的に文書情報をより迅速に得ることができ
る。
発明によれば、文章領域を本文領域とそれ以外の領域と
に分別して本文領域の配置構造を求めているので、本文
領域とは異なる読み順を持つ文章領域の影響を排除し
て、本文領域の読み順を適切に抽出することができる。
書きに共通な本文領域の配置構造を求めているので、横
書き文書も縦書き文書も同一の処理によって本文領域の
正しい読み順を抽出することが可能となる。
木グラフの各ノードに割り当てることによって本文領域
の配置構造を求めているので、本文領域の配置の大局的
な構造が表現され、これによって段落の有無や段落の形
態に依存しない本文領域の読み順を抽出することができ
る。
部の文章領域を、囲み枠の外部の文章領域から区別し、
別個に読み順を抽出しているので、文章領域の囲み枠の
存在する文書の場合にも、囲み枠の内部の文章領域も含
めて文章領域の読み順を正しく抽出することができる。
配置構造を求めて読み順を求めた後、該読み順の評価を
行い、この評価が偽の判定であった場合には、読み順の
再設定を行うようにしているので、複雑な配置の文書で
あっても、正しい読み順が得られると共に、仮りに、最
初に誤った読み順が抽出されたとしても利用者による修
正負担を少なくすることが可能となる。
価方法として、各領域に基準点を設けて、この基準点間
を読み順に線分で結んだときに、線分に交わりが生じた
場合に判定を偽としているので、配置構造を木グラフで
表現した結果が不自然な読み順を与えていることを判別
することができる。その判別結果から読み順の再設定を
行うことによって、利用者による修正負担を少なくする
ことが可能となる。
本文領域は、それぞれの枠内の領域について読み順の評
価および再設定を行っているので、異なる枠内領域を結
ぶ読み順の線分が枠外本文領域間を結ぶ読み順の線分と
交差することに無関係に、線分の交差という基準に基づ
いて、読み順が正しいか否かを判別することが可能とな
る。
アウトの文書が入力されても、入力された文書画像から
正しい読み順で文字認識を行っているので、正確な文書
情報を抽出し、利用することができる。
ある。
である。
章領域のグラフ化の説明図である。
ある。
す。
Claims (8)
- 【請求項1】 入力された文書画像から文章領域を抽出
し、該抽出された文章領域を、本文領域とそれ以外の領
域に分け、該本文領域の配置構造を求め、該配置構造を
基に前記本文領域の読み順を抽出することを特徴とする
文書画像処理方法。 - 【請求項2】 前記文書画像が縦書きまたは横書き書式
であるとき、該縦書き横書き書式に共通な本文領域の配
置構造を求め、該配置構造を基に該本文領域の読み順を
抽出することを特徴とする請求項1記載の文書画像処理
方法。 - 【請求項3】 前記配置構造を木グラフで表現し、前記
各本文領域を木グラフの各ノードに割り当てることを特
徴とする請求項1記載の文書画像処理方法。 - 【請求項4】 前記文章領域を囲み枠内の本文領域と囲
み枠外の本文領域に分け、該囲み枠内の本文領域は、囲
み枠外の本文領域とは別に読み順を抽出することを特徴
とする請求項1記載の文書画像処理方法。 - 【請求項5】 前記抽出された読み順を評価し、該評価
が偽と判定されたとき該読み順の再設定を行うことを特
徴とする請求項1記載の文書画像処理方法。 - 【請求項6】 前記読み順の評価は、前記各本文領域に
基準点を設けて、該基準点間を読み順に従って線分で結
んだとき、線分に交わりが生じた場合に偽と判定するこ
とを特徴とする請求項5記載の文書画像処理方法。 - 【請求項7】 囲み枠内の本文領域は、それぞれの枠内
の領域について読み順の評価と再設定を行うことを特徴
とする請求項5記載の文書画像処理方法。 - 【請求項8】 前記読み順に従って、前記各本文領域に
対して文字認識を行うことを特徴とする請求項1記載の
文書画像処理方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP32701593A JP3302147B2 (ja) | 1993-05-12 | 1993-12-24 | 文書画像処理方法 |
US08/516,686 US5774580A (en) | 1993-05-12 | 1995-08-18 | Document image processing method and system having function of determining body text region reading order |
US09/088,773 US5907631A (en) | 1993-05-12 | 1998-06-02 | Document image processing method and system having function of determining body text region reading order |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP5-110397 | 1993-05-12 | ||
JP11039793 | 1993-05-12 | ||
JP28896093 | 1993-11-18 | ||
JP5-288960 | 1993-11-18 | ||
JP32701593A JP3302147B2 (ja) | 1993-05-12 | 1993-12-24 | 文書画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH07192084A true JPH07192084A (ja) | 1995-07-28 |
JP3302147B2 JP3302147B2 (ja) | 2002-07-15 |
Family
ID=27311724
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP32701593A Expired - Lifetime JP3302147B2 (ja) | 1993-05-12 | 1993-12-24 | 文書画像処理方法 |
Country Status (2)
Country | Link |
---|---|
US (2) | US5774580A (ja) |
JP (1) | JP3302147B2 (ja) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7298900B2 (en) | 2002-09-30 | 2007-11-20 | Canon Kabushiki Kaisha | Image processing method, image processing apparatus and image processing program |
JP2008225964A (ja) * | 2007-03-14 | 2008-09-25 | Ricoh Co Ltd | 画像処理装置、読み順設定方法及びプログラム |
JP2009531790A (ja) * | 2006-03-28 | 2009-09-03 | アマゾン・テクノロジーズ・インコーポレイテツド | ディジタル画像における非リフローコンテンツの効率的な処理 |
JP2011034204A (ja) * | 2009-07-30 | 2011-02-17 | Internatl Business Mach Corp <Ibm> | コンテンツ読み上げ順序を視覚化するための視覚化プログラム、視覚化方法、及び視覚化装置 |
US8413048B1 (en) | 2006-03-28 | 2013-04-02 | Amazon Technologies, Inc. | Processing digital images including headers and footers into reflow content |
US8499236B1 (en) | 2010-01-21 | 2013-07-30 | Amazon Technologies, Inc. | Systems and methods for presenting reflowable content on a display |
US8566707B1 (en) | 2006-03-29 | 2013-10-22 | Amazon Technologies, Inc. | Generating image-based reflowable files for rendering on various sized displays |
US8572480B1 (en) | 2008-05-30 | 2013-10-29 | Amazon Technologies, Inc. | Editing the sequential flow of a page |
US8782516B1 (en) | 2007-12-21 | 2014-07-15 | Amazon Technologies, Inc. | Content style detection |
US9208133B2 (en) | 2006-09-29 | 2015-12-08 | Amazon Technologies, Inc. | Optimizing typographical content for transmission and display |
US9229911B1 (en) | 2008-09-30 | 2016-01-05 | Amazon Technologies, Inc. | Detecting continuation of flow of a page |
US10621428B1 (en) | 2019-05-17 | 2020-04-14 | NextVPU (Shanghai) Co., Ltd. | Layout analysis on image |
Families Citing this family (50)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3302147B2 (ja) * | 1993-05-12 | 2002-07-15 | 株式会社リコー | 文書画像処理方法 |
EP0657839B1 (en) * | 1993-12-10 | 2002-02-20 | Ricoh Company, Ltd | Methodsand apparatus for recognizing a specific image from an imput image signal |
US6009196A (en) * | 1995-11-28 | 1999-12-28 | Xerox Corporation | Method for classifying non-running text in an image |
JP3814320B2 (ja) * | 1995-12-14 | 2006-08-30 | キヤノン株式会社 | 画像処理方法及び装置 |
JP3525997B2 (ja) * | 1997-12-01 | 2004-05-10 | 富士通株式会社 | 文字認識方法 |
US6269188B1 (en) | 1998-03-12 | 2001-07-31 | Canon Kabushiki Kaisha | Word grouping accuracy value generation |
US6377704B1 (en) * | 1998-04-30 | 2002-04-23 | Xerox Corporation | Method for inset detection in document layout analysis |
US6243501B1 (en) * | 1998-05-20 | 2001-06-05 | Canon Kabushiki Kaisha | Adaptive recognition of documents using layout attributes |
KR100607018B1 (ko) * | 1998-06-23 | 2006-08-01 | 샤프 가부시키가이샤 | 화상 처리 장치, 화상 처리 방법 및 화상 처리 프로그램을기록한 매체 |
JP4320064B2 (ja) * | 1998-07-10 | 2009-08-26 | 富士通株式会社 | 画像処理装置及び記録媒体 |
US6445819B1 (en) * | 1998-09-10 | 2002-09-03 | Fuji Photo Film Co., Ltd. | Image processing method, image processing device, and recording medium |
US7099507B2 (en) * | 1998-11-05 | 2006-08-29 | Ricoh Company, Ltd | Method and system for extracting title from document image |
US6188779B1 (en) * | 1998-12-30 | 2001-02-13 | L&H Applications Usa, Inc. | Dual page mode detection |
US7864346B2 (en) * | 2000-05-16 | 2011-01-04 | Xerox Corporation | Apparatus and method for describing, planning and automatically programming complex finishing tasks |
FR2810765B1 (fr) * | 2000-06-27 | 2002-08-23 | Mannesmann Dematic Postal Automation Sa | Segmentation d'une image numerique d'un objet postal par la transformation de hough |
JP3995185B2 (ja) * | 2000-07-28 | 2007-10-24 | 株式会社リコー | 枠認識装置及び記録媒体 |
JP5033277B2 (ja) * | 2000-09-12 | 2012-09-26 | コニカミノルタビジネステクノロジーズ株式会社 | 画像処理装置および画像処理方法並びにコンピュータ読み取り可能な記録媒体 |
US20020077901A1 (en) * | 2000-12-19 | 2002-06-20 | Catalina Marketing International, Inc. | Paired promotion architecture |
JP2004201069A (ja) * | 2002-12-19 | 2004-07-15 | Ricoh Co Ltd | 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記憶した記録媒体 |
JP4200106B2 (ja) | 2003-07-15 | 2008-12-24 | 株式会社リコー | 画像処理装置、画像処理方法、コンピュータプログラム、及びコンピュータプログラムを記憶する記憶媒体 |
EP1569087A3 (en) * | 2004-02-17 | 2007-04-25 | Canon Kabushiki Kaisha | Data processing apparatus, data processing method, program for implementing the method, and storage medium storing the program |
US7756871B2 (en) * | 2004-10-13 | 2010-07-13 | Hewlett-Packard Development Company, L.P. | Article extraction |
JP4386281B2 (ja) * | 2005-01-31 | 2009-12-16 | キヤノン株式会社 | 画像処理方法及び画像処理装置並びにプログラム |
US7865353B2 (en) * | 2005-03-22 | 2011-01-04 | Fuji Xerox Co., Ltd. | Translation device, image processing device, translation method, and recording medium |
US7697757B2 (en) * | 2005-06-15 | 2010-04-13 | Hewlett-Packard Development Company, L.P. | Computer assisted document modification |
US20060285746A1 (en) * | 2005-06-17 | 2006-12-21 | Sherif Yacoub | Computer assisted document analysis |
ATE530988T1 (de) | 2005-07-27 | 2011-11-15 | Hewlett Packard Development Co | Verfahren zum finden der textlesereihenfolge in einem dokument |
US7596270B2 (en) * | 2005-09-23 | 2009-09-29 | Dynacomware Taiwan Inc. | Method of shuffling text in an Asian document image |
WO2007070010A1 (en) * | 2005-12-16 | 2007-06-21 | Agency For Science, Technology And Research | Improvements in electronic document analysis |
US8023738B1 (en) | 2006-03-28 | 2011-09-20 | Amazon Technologies, Inc. | Generating reflow files from digital images for rendering on various sized displays |
US7715635B1 (en) | 2006-09-28 | 2010-05-11 | Amazon Technologies, Inc. | Identifying similarly formed paragraphs in scanned images |
US7801358B2 (en) * | 2006-11-03 | 2010-09-21 | Google Inc. | Methods and systems for analyzing data in media material having layout |
US8719701B2 (en) * | 2009-01-02 | 2014-05-06 | Apple Inc. | Identification of guides and gutters of a document |
JP5361574B2 (ja) * | 2009-07-01 | 2013-12-04 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
US20110173532A1 (en) * | 2010-01-13 | 2011-07-14 | George Forman | Generating a layout of text line images in a reflow area |
JP5772446B2 (ja) * | 2010-09-29 | 2015-09-02 | 株式会社ニコン | 画像処理装置及び画像処理プログラム |
EP2477122B1 (en) * | 2011-01-18 | 2018-10-24 | Apple Inc. | Ordering document content |
US8442998B2 (en) | 2011-01-18 | 2013-05-14 | Apple Inc. | Storage of a document using multiple representations |
US8380753B2 (en) | 2011-01-18 | 2013-02-19 | Apple Inc. | Reconstruction of lists in a document |
US8543911B2 (en) | 2011-01-18 | 2013-09-24 | Apple Inc. | Ordering document content based on reading flow |
CN103186510B (zh) * | 2011-12-30 | 2016-08-03 | 北大方正集团有限公司 | 一种转换文档格式的方法和装置 |
WO2013110286A1 (en) * | 2012-01-23 | 2013-08-01 | Microsoft Corporation | Paragraph property detection and style reconstruction engine |
WO2014005609A1 (en) | 2012-07-06 | 2014-01-09 | Microsoft Corporation | Paragraph alignment detection and region-based section reconstruction |
US20160055376A1 (en) * | 2014-06-21 | 2016-02-25 | iQG DBA iQGATEWAY LLC | Method and system for identification and extraction of data from structured documents |
US10042880B1 (en) * | 2016-01-06 | 2018-08-07 | Amazon Technologies, Inc. | Automated identification of start-of-reading location for ebooks |
US10354132B2 (en) | 2017-08-22 | 2019-07-16 | Autonom8, Inc. | System and method for generating a virtual assistant |
US10482323B2 (en) | 2017-08-22 | 2019-11-19 | Autonom8, Inc. | System and method for semantic textual information recognition |
JP7172649B2 (ja) * | 2019-01-25 | 2022-11-16 | セイコーエプソン株式会社 | 画像処理装置および画像処理プログラム |
US11328524B2 (en) * | 2019-07-08 | 2022-05-10 | UiPath Inc. | Systems and methods for automatic data extraction from document images |
CN113705176B (zh) * | 2020-06-22 | 2024-08-06 | 稿定(厦门)科技有限公司 | 平面排版方法及系统 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0738681B2 (ja) * | 1987-03-20 | 1995-04-26 | 富士ゼロックス株式会社 | 領域認識装置 |
JPH0635782B2 (ja) * | 1987-09-25 | 1994-05-11 | 重十史 冨永 | 移動壁の進行方向変換装置 |
US5185813A (en) * | 1988-01-19 | 1993-02-09 | Kabushiki Kaisha Toshiba | Document image processing apparatus |
JPH01183784A (ja) * | 1988-01-19 | 1989-07-21 | Toshiba Corp | 文書画像処理装置 |
US5131053A (en) * | 1988-08-10 | 1992-07-14 | Caere Corporation | Optical character recognition method and apparatus |
EP0358815B1 (en) * | 1988-09-12 | 1993-05-26 | Océ-Nederland B.V. | System and method for automatic segmentation |
US5369716A (en) * | 1989-08-31 | 1994-11-29 | Kabushiki Kaisha Toshiba | Document reader and reading processing method therefor |
JP2713622B2 (ja) * | 1989-11-20 | 1998-02-16 | 富士通株式会社 | 表形式文書読取装置 |
US5048109A (en) * | 1989-12-08 | 1991-09-10 | Xerox Corporation | Detection of highlighted regions |
JPH03269689A (ja) * | 1990-03-19 | 1991-12-02 | Nippon Telegr & Teleph Corp <Ntt> | 文書読み取り装置 |
JP3187895B2 (ja) * | 1991-05-02 | 2001-07-16 | 株式会社リコー | 文字領域抽出方法 |
JP3302147B2 (ja) * | 1993-05-12 | 2002-07-15 | 株式会社リコー | 文書画像処理方法 |
-
1993
- 1993-12-24 JP JP32701593A patent/JP3302147B2/ja not_active Expired - Lifetime
-
1995
- 1995-08-18 US US08/516,686 patent/US5774580A/en not_active Expired - Lifetime
-
1998
- 1998-06-02 US US09/088,773 patent/US5907631A/en not_active Expired - Lifetime
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8155445B2 (en) | 2002-09-30 | 2012-04-10 | Canon Kabushiki Kaisha | Image processing apparatus, method, and processing program for image inversion with tree structure |
US7298900B2 (en) | 2002-09-30 | 2007-11-20 | Canon Kabushiki Kaisha | Image processing method, image processing apparatus and image processing program |
JP2009531790A (ja) * | 2006-03-28 | 2009-09-03 | アマゾン・テクノロジーズ・インコーポレイテツド | ディジタル画像における非リフローコンテンツの効率的な処理 |
US8413048B1 (en) | 2006-03-28 | 2013-04-02 | Amazon Technologies, Inc. | Processing digital images including headers and footers into reflow content |
US8566707B1 (en) | 2006-03-29 | 2013-10-22 | Amazon Technologies, Inc. | Generating image-based reflowable files for rendering on various sized displays |
US9208133B2 (en) | 2006-09-29 | 2015-12-08 | Amazon Technologies, Inc. | Optimizing typographical content for transmission and display |
JP2008225964A (ja) * | 2007-03-14 | 2008-09-25 | Ricoh Co Ltd | 画像処理装置、読み順設定方法及びプログラム |
US8782516B1 (en) | 2007-12-21 | 2014-07-15 | Amazon Technologies, Inc. | Content style detection |
US8572480B1 (en) | 2008-05-30 | 2013-10-29 | Amazon Technologies, Inc. | Editing the sequential flow of a page |
US9229911B1 (en) | 2008-09-30 | 2016-01-05 | Amazon Technologies, Inc. | Detecting continuation of flow of a page |
US8340424B2 (en) | 2009-07-30 | 2012-12-25 | International Business Machines Corporation | Visualization program, visualization method and visualization apparatus for visualizing reading order of content |
JP2011034204A (ja) * | 2009-07-30 | 2011-02-17 | Internatl Business Mach Corp <Ibm> | コンテンツ読み上げ順序を視覚化するための視覚化プログラム、視覚化方法、及び視覚化装置 |
US8588526B2 (en) | 2009-07-30 | 2013-11-19 | International Business Machines Corporation | Visualization program, visualization method and visualization apparatus for visualizing reading order of content |
US8499236B1 (en) | 2010-01-21 | 2013-07-30 | Amazon Technologies, Inc. | Systems and methods for presenting reflowable content on a display |
US10621428B1 (en) | 2019-05-17 | 2020-04-14 | NextVPU (Shanghai) Co., Ltd. | Layout analysis on image |
JP2020191057A (ja) * | 2019-05-17 | 2020-11-26 | ネクストヴイピーユー(シャンハイ)カンパニー リミテッドNextvpu(Shanghai)Co.,Ltd. | レイアウト解析方法、読書補助装置、回路及び媒体 |
Also Published As
Publication number | Publication date |
---|---|
JP3302147B2 (ja) | 2002-07-15 |
US5774580A (en) | 1998-06-30 |
US5907631A (en) | 1999-05-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3302147B2 (ja) | 文書画像処理方法 | |
US5799115A (en) | Image filing apparatus and method | |
EP0854434B1 (en) | Ruled line extracting apparatus for extracting ruled line from normal document image and method thereof | |
JP3345224B2 (ja) | パターン抽出装置、パターン再認識用テーブル作成装置及びパターン認識装置 | |
JP3278471B2 (ja) | 領域分割方法 | |
JPH0668301A (ja) | 文字認識方法及び装置 | |
JP2004139484A (ja) | 帳票処理装置、該装置実行のためのプログラム、及び、帳票書式作成プログラム | |
US7003159B2 (en) | Document frame recognition system and method | |
JP2002056398A (ja) | 文書画像処理装置、文書画像処理方法、及び記憶媒体 | |
JPH08212298A (ja) | 文書方向自動判別装置、及び文書方向自動補正装置 | |
CN111460355B (zh) | 一种页面解析方法和装置 | |
CN111832476A (zh) | 版面分析方法、阅读辅助设备、电路和介质 | |
Mitchell et al. | Newspaper document analysis featuring connected line segmentation | |
Saitoh et al. | Document image segmentation and layout analysis | |
JP2008028716A (ja) | 画像処理方法及び装置 | |
JP3852218B2 (ja) | 画像処理方法および画像処理装置 | |
JP2003058556A (ja) | 文書画像のタイトル抽出方法、抽出プログラム、及びタイトル抽出装置 | |
JP2868134B2 (ja) | 画像処理方法及び装置 | |
JP3476595B2 (ja) | 画像領域分割方法、および画像2値化方法 | |
JP3187895B2 (ja) | 文字領域抽出方法 | |
JP2786355B2 (ja) | 文章画像の属性判別方法 | |
JP3269918B2 (ja) | 文章領域の読み順設定方法 | |
JP4282467B2 (ja) | 像域分離方法 | |
JP3817442B2 (ja) | 画像認識装置、画像認識方法、及び画像認識方法を実現するプログラムとこのプログラムの記録媒体 | |
JPH09120443A (ja) | 画像処理方法とその装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080426 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080426 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090426 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090426 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100426 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100426 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110426 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120426 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130426 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140426 Year of fee payment: 12 |
|
EXPY | Cancellation because of completion of term |