JP2926066B2 - 表認識装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は文書画像処理の分野にお
いて、表画像から表の構造を認識する表認識装置に関す
る。

【０００２】

【従来の技術】従来の表認識の方式としては、表領域の
周辺分布を用いる方式や、表を構成する罫線をベクトル
線分に変換して、罫線で囲まれた矩形枠を抽出する方式
が知られている。周辺分布を使用する方式として例えば
特開平２−６１７７５公報記載のものがあり、ベクトル
線分を使用する方式として例えば特開平１−１２９３５
８公報記載のものがある。

【０００３】特開平２−６１７７５公報記載の周辺分布
を使用する方式は、表領域の画像の周辺分布をとり、そ
の周辺分布のヒストグラムからある閾値以上の高さを持
つ山から罫線の位置を推定し、罫線の位置が表の最も外
側にある外枠の罫線を取り出す。次にこの外枠に両端を
接する罫線を求め、その罫線により外枠を複数の矩形枠
に分割する。さらに、分割された各矩形枠内に対して同
様の処理を再帰的に施すことにより、罫線で囲まれた矩
形枠を抽出する。後者の特開平１−１２９３５８公報記
載の方式は、ベクトル線分を追跡して取り出した各矩形
枠の位置関係を調べることで表の認識を行なう。

【０００４】これらの方式は、表を構成する罫線に省略
が無いことを前提としているが、実際に文書中に使用さ
れる表には罫線の一部が省略されているものも結構多
い。特開平２−２６４３８６公報記載の方式においては
表の両脇の罫線が省略されている場合でも、正しく矩形
枠を取り出せる方式である。すなわち、表画像から取り
出した縦罫線、横罫線から表の両脇に罫線があるかを判
別し、無い場合に表の両脇に縦罫線を仮想的に生成する
方式である。

【０００５】

【発明が解決しようとする課題】従来、文書中に使用さ
れている表には、様々な形態のものがある。図２はその
例を示すもので、同図（ａ）の表は全ての罫線が揃った
表、（ｂ）は両脇の罫線が省略された表、（ｃ）および
（ｄ）は両脇の罫線の他にも省略されている縦罫線、横
罫線がある表、（ｅ）は全ての罫線が省略された表であ
る。このうち（ａ）および（ｂ）の各表に関しては従来
の技術によって対応可能であるが、（ｃ）（ｄ）の表の
ように両脇の罫線の他にも省略されている縦罫線、横罫
線がある場合および（ｅ）の表のように全ての罫線が省
略されている場合には表の構造を正確に認識して、表と
して意味のある単位で文字列を取り出すことができなか
った。本発明の目的は、縦罫線、横罫線の一部または全
部に省略のあるような表であっても、表を構成する各枠
を正確に切り出すことのできる、表認識装置を提供する
ことにある。

【０００６】

【課題を解決するための手段および作用】本発明の表認
識装置は、表画像から文字ブロックを抽出する文字ブロ
ック抽出手段（図１の１１、図８の８１）と、前記文字
ブロック抽出手段により抽出された文字ブロック相互の
位置関係を識別し、表の構造を表すデータを出力する位
置関係識別手段（図１の１２、図８の８２）とを基本的
な構成として備えたものである。この発明によれば、文
字ブロック抽出手段により抽出された文字ブロック相互
の位置関係を位置関係識別手段により識別する。表にお
ける文字ブロックは表の構成要素として一般に規則正し
く整列した位置関係にあるので、文字ブロック相互の位
置関係を見ることにより表の構造を認識できる。従来
は、表の罫線のみに着目して表を構成する枠を求めてい
たので、縦罫線、横罫線の一部または全部に省略のある
ような表の構造を正確に認識することができないという
問題があったが、本発明によれば文字ブロックの並びを
用いて表の構造を認識するので、その問題は解消でき
る。

【０００７】本発明の一態様によれば、前記の基本的な
構成において、前記文字ブロック抽出手段は、文字の書
かれている画素の塊を囲む矩形領域を求める文字矩形抽
出手段（図１の１１１）と、その文字矩形抽出手段で求
めた各文字矩形間の距離を求めて、その距離がある閾値
より小さな文字矩形を全て１つの文字ブロックとして統
合する文字ブロック矩形抽出手段（図１の１１２）を備
えている。その閾値は全体の文字矩形間の距離の統計を
調べて決めたり、文字の幅を基準にしてその何％という
ようにして決めたりすればよい。

【０００８】本発明の他の態様によれば、前記の基本的
な構成において、前記文字ブロック抽出手段は、表中の
文字と罫線を分離して、罫線をベクトル化する罫線ベク
トル化手段（図８の８１１）と、罫線ベクトル化手段に
より得られた罫線のベクトルデータを基に文字が書かれ
ているべき矩形領域を文字領域として抽出する文字領域
抽出手段（図８の８１２）と、その文字領域抽出手段で
求めた各文字領域に対して、文字の書かれている画素の
塊を囲む矩形領域を求める文字矩形抽出手段（図８の８
１３）と、その文字矩形抽出手段で求めた各文字矩形間
の距離を求めて、ある閾値より小さな文字矩形を全て１
つの文字ブロックとして統合する文字ブロック矩形抽出
手段（図８の８１４）とを備えている。これは前の段落
（０００７）で説明した文字ブロック抽出手段に、罫線
ベクトル化手段と文字領域抽出手段とを付加した構成の
ものである。この態様によれば、罫線ベクトル化手段で
罫線を求め、文字領域抽出手段により罫線により挟まれ
た領域を調べて文字が書かれるべき各文字領域を把握
し、その各文字領域において文字矩形を抽出するように
したので、文字ブロックを精度良く抽出することができ
る。

【０００９】本発明の他の態様によれば、前記の基本的
な構成において、前記位置関係識別手段は、文字ブロッ
ク抽出処理により抽出された文字ブロック矩形を構成枠
とし、その構成枠の行方向の並びを識別する行抽出手段
（図１の１２１、図８の８２１）と、構成枠識別手段で
抽出した表を構成する構成枠の列方向の並びを識別する
列抽出手段（図１の１２２、図８の８２２）とを備えて
いる。また、そのさらに具体的態様においては、前記行
抽出手段は各構成枠の中心のｙ座標が所定の誤差範囲で
同一である構成枠の群を同一の行として抽出するよう構
成され、前記列抽出手段は各構成枠の中心のｘ座標が所
定の誤差範囲で同一である構成枠の群を同一の列として
抽出するよう構成される。表における文字ブロックは一
般に表の行および列に沿って配置されているので、この
ように文字ブロック矩形を構成枠として行および列方向
の並びを調べ、行および列にグループ化することにより
表構造の構成要素を抽出することができる。

【００１０】さらに、本発明の他の態様では、前記の基
本的な構成において、さらに罫線によって囲まれる矩形
枠を抽出する矩形枠抽出手段を設け、位置関係識別手段
において罫線で囲まれた矩形枠と表中の文字ブロックを
同等に扱い各位置関係を識別するようにしたものであ
る。すなわち、この表認識装置は、表画像から文字ブロ
ックを抽出する文字ブロック抽出手段（図１１の１１
３）と、表画像から表を構成する罫線によって囲まれる
矩形枠を抽出する矩形枠抽出手段（図１１の１１２）
と、前記矩形枠抽出手段により抽出された矩形枠および
前記文字ブロック抽出手段により抽出された文字ブロッ
ク相互の位置関係を識別し、表の構造を表すデータを作
成する位置関係識別手段（図１１の１１４）とを備えて
いる。表の罫線で囲まれた矩形枠と表中の文字ブロック
を同等に扱うことにより、罫線で囲まれていない表中の
枠であっても、文字ブロックとして表の中の１つの構成
要素であると識別されるので、図２における（ａ），
（ｂ）の表はもちろん、（ｃ），（ｄ），（ｅ）の表も
正確に認識することができる。

【００１１】上記発明において、矩形枠抽出手段は、罫
線画像をベクトルデータに変換する罫線ベクトル化手段
（図８の１１２１）と、その罫線ベクトル化手段により
出力された罫線ベクトルの接続関係を基に矩形枠を求め
る第１の矩形枠抽出手段（図１１の１１２１）と、一端
が他のいずれの罫線ベクトルにも接続されていない罫線
ベクトルから一部の罫線が省略された矩形枠を抽出する
第２の矩形枠抽出手段（図１１の１１２３）とを備えて
いる。

【００１２】上記発明において、位置関係識別手段は、
その一態様によれば、前記矩形抽出手段により抽出した
表の罫線から構成される矩形枠と文字ブロック抽出処理
により抽出された文字ブロック矩形枠とから表を構成す
る構成枠を識別する構成枠識別手段（図１１の１１４
１）と、その構成枠識別手段で抽出した表を構成する構
成枠の行方向の並びを識別する行抽出手段（図１１の１
１４２）と、構成枠識別手段で抽出した表を構成する構
成枠の列方向の並びを識別する列抽出手段（図１１の１
１４３）を備えている。また、その構成枠識別手段は、
具体的態様においては、前記矩形抽出手段により抽出し
た矩形枠については、その矩形枠内の文字ブロックを抽
出し、複数の文字ブロックがあったときは、その複数の
文字ブロックをそれぞれ構成枠と決定し、単一の文字ブ
ロックがあったときは矩形枠を構成枠と決定するもので
ある。このように構成枠を決定（認識）することによ
り、図２の（ｄ）のように一部に罫線が省略されている
罫線の矩形枠があっても、表の構成要素である構成枠を
正確に決定することができる。

【００１３】

【実施例】

（第１の実施例）図１は本発明の第１の実施例の構成を
示す図である。この実施例の表認識装置は、一連の文字
からなる文字ブロックの配置状態を調べて表の構造を認
識するものであって、図１に示すように表画像中の文字
画像から文字ブロックを抽出する文字ブロック抽出部１
１と、文字ブロック抽出部１１により抽出された文字ブ
ロック相互の位置関係を識別し表の構造を表すデータを
得る位置関係識別部１２とを備えている。

【００１４】文字ブロック抽出部１１は、文字の書かれ
ている画素の塊を囲む矩形領域を求める文字矩形抽出処
理部１１１と、その文字矩形抽出処理部１１１で求めた
各文字矩形間の距離を求めて、その距離がある閾値より
小さな文字矩形を文字ブロックとして統合する文字ブロ
ック矩形抽出処理部１１２からなっている。また、位置
関係識別部１２は、文字ブロック抽出処理により抽出さ
れた文字ブロック矩形を構成枠として受け取り、その構
成枠の行方向の並びを識別する行抽出処理部１２１と、
構成枠の列方向の並びを識別する列抽出処理部１２２
と、位置関係の識別結果を記憶する表構造記憶部１２３
からなっている。

【００１５】以上のように構成された本実施例の各部の
処理について、詳細に説明する。本実施例で処理の対象
とする画像は、イメージスキャナなどの画像入力装置に
より入力された表を含む文書画像から表領域が分離され
て得られた表画像である。表領域の分離手段は画面上で
マウスのようなポインティングデバイスにより操作者が
指定するものや、画像の属性を基に自動的に分離する表
領域分離装置（例えば、特開平２−２１０５８６号公報
参照）などがあり、いずれも公知の技術である。文字矩
形抽出処理部１１１は、表画像中の文字画像部分に対し
て、図３の（ａ），（ｂ）に示すように、字の書かれて
いる画素の塊３１，３２，３３，３４を囲む矩形領域３
５，３６，３７，３８を求める。すなわち、表の画像が
背景の画素値が０、文字／線の画素値が１で書かれてい
る時、画素値が１である塊を取り出してその矩形領域を
求める。このとき、２つの矩形領域が重なってるとき
は、図３の（ｂ）のように２つの矩形領域３７，３８を
包含できるような矩形領域３９で表す。なお、文字の矩
形領域を抽出する方法は、良く知られている技術（例え
ば、特開平２−２６７６７８号公報参照）であるので詳
細な説明は省略する。

【００１６】さらに文字ブロック矩形抽出処理部１１２
では、文字矩形抽出処理部１１２で求めた各文字矩形間
の距離を求めて、ある閾値より小さな文字矩形を全て１
つの文字ブロックとして統合する処理を行なう。この処
理で用いる閾値は、全体の文字矩形間の距離の統計を調
べて決めてもいいし、文字の大きさの数％として決めて
もよく、ここでは特に閾値の決定方法については定めな
い。この処理を図４の（ａ）に示す罫線のない表に適用
した時の結果は、同図（ｂ）のようになる。これらの処
理の結果得られた文字ブロックの矩形枠はそれぞれに識
別子が付され矩形枠の位置（ｘ座標，ｙ座標）、幅、高
さ等がデータとして適宜のメモリに蓄積される。

【００１７】図５ａおよび図５ｂは、文字ブロック矩形
抽出処理部１１２の処理のフローを示す図である。図５
ａは文字矩形をブロックにまとめるための前記閾値を求
めるための処理手順を示すものである。処理に必要な定
数や中間結果を格納する格納部として、定数Ｎ、文字矩
形の幅の集計結果を格納する変数ｓｕｍ_w、文字矩形の
高さの集計結果を格納する変数ｓｕｍ_h、幅および高さ
の閾値Ｔ_w，Ｔ_h、変数ｉが用意されている。まず、初期
設定としてＮには文字矩形抽出処理部１１１で抽出した
文字矩形の総数を設定し、ｓｕｍ_w、ｓｕｍ_h、およびｉ
はそれぞれ０に設定する（ステップ５０１）。そして、
ｉがＮを越えていないかどうかを判定し（ステップ５０
２）、ｉ＜Ｎのときは、ｓｕｍ_w、ｓｕｍ_hに文字矩形Ｃ
ｉの幅、高さを加算し（ステップ５０３）、その加算値
を２Ｎで除する（ステップ５０４）。そしてｉを１ずつ
増加させながら（ステップ５０５）、ｉがＮより大きく
なるまでステップ５０２〜５０５の処理を繰り返す。ｉ
がＮより大きくなったとき、幅および高さの閾値Ｔ_w，
Ｔ_hは文字矩形の幅の平均値の１／２の値として得られ
る。

【００１８】図５ａの処理で閾値が得られると、図５ｂ
の処理により文字矩形をブロックにまとめる処理を行
う。変数ｊおよびＢを０に設定する（ステップ５０
６）。文字矩形Ｃ_jはいずれかの文字ブロックＣＢに登
録済かを判定する（ステップ５０７）。登録済みであれ
ば、次の文字矩形を処理するため変数ｊを１だけ増加さ
せる（ステップ５１７）。ステップ５０７の判定の結
果、文字矩形Ｃ_jがまだ未登録であったなら、文字ブロ
ックＣＢ_Bに文字矩形Ｃ_jを登録する（ステップ５０
８）。この登録された文字矩形Ｃ_jは一つの文字ブロッ
クＣＢ_Bの先頭の文字矩形となる。次に、その登録した
文字と距離が閾値Ｔ_wあるいはＴ_h以内の距離にある文字
矩形を探して文字ブロックＣＢ_Bに登録する処理を行
う。そのため、先ず変数ｋをｊに設定する（ステップ５
０９）。そして文字矩形Ｃ_kはいずれかの文字ブロック
に登録済かどうかを調べる（ステップ５１０）。登録済
みでなければ、ＣＢ_BとＣ_kとの距離Ｄを求める（ステッ
プ５１１）。求めた距離Ｄが閾値Ｔ_wあるいはＴ_h以内の
距離にあるか否かを調べる（ステップ５１２）。距離Ｄ
が閾値Ｔ_wあるいはＴ_hの範囲内にあったならば、文字矩
形Ｃ_kを文字ブロックＣＢ_Bに追加し、ＣＢ_Bの大きさを
変更する（ステップ５１３）。ステップ５１０で、文字
矩形Ｃ_kが登録済みであると判定されたとき、ステップ
５１２で距離Ｄが閾値Ｔ_wあるいはＴ_hの範囲内にないと
判定されたとき、およびステップ５１３での追加の処理
を終えたときには、次の文字矩形を探すために、ｋ＝ｋ
＋１に設定し（ステップ５１４）、すべての文字矩形に
対する処理が終えたか否かを判定した後（ステップ５１
５）、まだ処理が終わっていないときはその設定した次
の文字矩形についてステップ５１０〜５１４の処理を繰
り返す。ステップ５１５の判定で、ｋ＜Ｎではなくなっ
たときは、次の文字ブロックを求めるために、Ｂ＝Ｂ＋
１とすると共に（ステップ５１６）、ｊ＝ｊ＋１とする
（ステップ５１７）。ｊ＜Ｎの間は、ステップ５０７〜
ステップ５１８の処理を続行し、ｊ＜Ｎでなくなったと
き処理を終了する（ステップ５１９）。

【００１９】次に、位置関係識別部１２の働きについて
説明する。位置関係識別部１２は、前述のように行抽出
処理部１２１、列抽出処理部１２２の３つの処理部から
なり、以下に順をおって説明する。この実施例では、文
字ブロック抽出部１１で抽出した文字ブロックをそのま
ま構成枠として登録する。図４の（ｃ）が構成枠を示す
ものである。

【００２０】行抽出処理部１２１と列抽出処理部１２２
では、文字ブロック矩形抽出処理部１２１で抽出した文
字ブロック矩形を表を構成する構成枠とみなし、それら
の並びを識別する。図６ａおよび図６ｂは行抽出処理の
フロー、図７ａおよび図７ｂは列抽出処理のフローを示
す図である。同図に示すように、全ての構成枠の中心点
の座標を求め、行抽出処理では構成枠の中心点のＹ座標
がある誤差範囲内に並んでいる構成枠を表の行と識別
し、列抽出処理では構成枠の中心点のＸ座標がある誤差
範囲内に並んでいる構成枠を表の列と識別する。

【００２１】即ち、行抽出処理では、図６ａおよび図６
ｂに示すように、先ず構成枠の総数を変数Ｎに設定する
（ステップ６０１）。全ての構成枠の中心点のＹ座標を
求め，配列ＣＢに格納する（ステップ６０２）。全矩形
枠の中で最大の高さを持つものを探索し、その高さの１
／２を誤差範囲の閾値Ｔ_hの値とする（ステップ６０
３）。次に文字ブロックのＹ座標の配列ＣＢを昇順にソ
ートする（ステップ６０４）。そして、ｉ＝Ｇ＝０、ｙ
＝ＣＢ_iに設定し、行配列をクリアする（ステップ６０
５）。次に、配列ＣＢから一つの構成枠のＹ座標ＣＢ_i
を取り出し、行配列に登録済かどうかを判定し（ステッ
プ６０７）、登録されていない構成枠ＣＢ_iにたいして
は、ｙとの距離が閾値Ｔ_h以内の範囲にあるか否かを｜
ＣＢ_i−ｙ｜＜Ｔ_hの演算により判定し（ステップ６０
８）、ｙとの距離が閾値Ｔ_h以内の範囲にあった場合は
ＣＢ_iに対応する構成枠を行配列に格納する（ステップ
６０９）。文字ブロックが登録済みであった場合、およ
びｙとの距離が閾値Ｔ_h以内の範囲になかった場合は、
次の文字ブロックを取り出すためにｉ＝ｉ＋１とする
（ステップ６１０）。取り出した新しい文字ブロックに
対して同様の行配列への判定、登録処理（ステップ６０
７〜６０９）を行う。処理が進みｉ＜Ｎでなくなったら
（ステップ６０６の判定）、一つの行に対する抽出処理
が終了し、次の行の抽出処理を行うため図６ｂのフロー
へ進む。行配列の内容をＧ番目の行情報として出力する
（ステップ６１１）。次に行配列をクリアするととも
に、ｉ＝０、Ｇ＝Ｇ＋１に設定する（ステップ６１
２）。そして、Ｇ＋１番目の行の先頭となるべき構成枠
を探す。すなわち、構成枠を最初から一つずつ取り出
し、いずれかの行に登録済みか否かを判定し（ステップ
６１４）、最初に見つかった未登録の構成枠をＧ＋１番
目の行の先頭となるべき構成枠ｙとして指定するととも
に、ｉ＝０に設定し（ステップ６１６）、図６ａのステ
ップ６０６〜６１０の１行の抽出処理へ移る。なお、ス
テップ６１３においてｉ＜Ｎでないと判定されたとき、
すなわち未登録の構成枠がなくなったときは行の抽出処
理を終了する。

【００２２】列抽出処理は、図７ａおよび図７ｂに示す
通りであり、行抽出処理とは行と列とが入れ替わりって
いる点を除けばほぼ同様の処理を行う。すなわち、全て
の構成枠の中心点のＸ座標を配列ＣＢに格納し（ステッ
プ７０２）、昇順にソートする（ステップ７０４）。全
矩形枠の中で最大の幅の１／２を誤差範囲の閾値Ｔ_wの
値とし（ステップ７０３）、ｉ＝Ｇ＝０ 、ｘ＝ＣＢ_i
に設定し、行配列をクリアする（ステップ７０５）。次
に、配列ＣＢに格納された構成枠ＣＢ_iを一つずつ取り
出し、登録されていない構成枠ＣＢ_iにたいしては、ｘ
との距離が誤差範囲の閾値Ｔ_w以内の範囲にあるか否か
を判定し（ステップ７０７〜７０８）、誤差範囲内にあ
った場合はＣＢ _iに対応する構成枠を列配列に格納する
（ステップ７０９）。一つの列に対する抽出処理が終了
したら、次の列の抽出処理を行うため図７ｂのフローへ
進む。次に、次の列の先頭となるべき未登録の最初の構
成枠を探し（ステップ７１４〜７１５）、見つかった
ら、図７ａのステップ７０６〜７１０の１列の抽出処理
へ移る。未登録の構成枠がなくなったときは列の抽出処
理を終了する。

【００２３】行抽出処理部１２１および列抽出処理部１
２２の処理により、図４の（ｄ）（ｅ）に示すように構
成枠は行と列にグループ化される。その出力データは、
例えば、構成枠を表す識別番号に、行番号と列番号を与
えた形式で表構造記憶部１２３に記憶され、任意のシス
テム例えばワープロで利用可能な状態となる。

【００２４】以上に説明したように、この第１の実施例
は、文字ブロック抽出部１１で抽出した文字ブロックを
表の構成枠とし、その並びにより行および列からなる表
の構造を抽出するので、図４の（ａ）に示すような全く
罫線のない表であっても、表構造を認識することができ
る。なお、罫線のある表の場合でも、この第１の実施例
により同様に文字ブロックのみに基づいて表構造を認識
することができる。

【００２５】（第２の実施例）図８は本発明の第２の実
施例の構成を示す図である。この実施例の表認識装置
は、罫線を基に表における文字領域を抽出し、その文字
領域内で文字ブロックを抽出し、抽出した文字ブロック
の配置状態を調べて表の構造を認識するものであって、
図１に示す第１の実施例の構成と同様に、表画像から文
字ブロックを抽出する文字ブロック抽出部８１と、文字
ブロック抽出部８１により抽出された文字ブロック相互
の位置関係を識別し表構造を表すデータを生成する位置
関係識別部８２とからなる基本構成を備えている。そし
て、この第２の実施例は、第１の実施例とは、文字ブロ
ック抽出部８１の構成が異なり、文字矩形抽出処理部８
１３の前段に、罫線ベクトル化処理部８１１および文字
領域抽出処理部８１２からなる文字領域を求めるための
手段が付加されている。その罫線ベクトル化処理部８１
１は、表中の文字と罫線を分離して、罫線をベクトル化
するものである。また、文字領域抽出処理部８１２は、
罫線ベクトル化処理部８１１により得られた罫線のベク
トルデータを基に文字が書かれているべき矩形領域を文
字領域として抽出するものである。

【００２６】表の罫線だけをベクトル化するには表を構
成する線の部分と文字の部分とに分ける必要がある。こ
の分離処理は、図形中の文字と線分を分離する処理と同
様の既存の手法を用いることができる。なお、本願出願
人が先に特許出願した特願平３−２９０２９９号「文字
／図形分離装置」（発明者 清水昇）の技術を用いた場
合は、誤りの少ない正確な分離処理をより高速に行うこ
とができる。その文字／図形分離装置について簡単に説
明する。これは、図９に示すように、入力画像における
各黒画素塊の二以上の特徴を抽出する特徴抽出部９１
と、その特徴抽出手段９１の特徴抽出結果を利用して初
期クラスタ中心を求める初期クラスタ中心決定部９２
と、特徴抽出部９１の特徴抽出結果と初期クラスタ中心
決定部９２の決定結果とを利用してクラスタリングする
ことにより領域の判定を行う領域判定部９３とを備えて
いる。各黒画素塊の特徴量としては、たとえば黒画素塊
の面積、偏平率、輪郭線の複雑さなどを用いることがで
きる。特徴抽出部９１でこのような特徴量が抽出される
と、次に初期クラスタ中心決定部９２は、抽出された黒
画素塊の特徴量の分布を用いて初期クラスタの中心を求
める。領域判定部９３は、抽出された黒画素塊の２以上
の特徴量に対して、初期クラスタ中心決定部９２により
求められた初期クラスタ中心を用いて、クラスタリング
を行って各黒画素塊の属すべき領域を判定する。

【００２７】分離された表の罫線の領域は、２値画像
を、端点、折れ線、交差点、分岐点などの特徴点を始点
および終点とするベクトルデータに変換する。このベク
トルデータに変換する方法は既存の技術（例えば、信学
技報ＰＲＬ８３−８、ＰＲＬ８５−２４、ＰＲＬ８６−
８９、特開平２−２１０５８６号公報、特開平２−１０
５２６５号公報等参照）を用いればよいのでここでは説
明を省略する。

【００２８】図１０ａおよび図１０ｂは文字領域抽出処
理部８１２の抽出処理のフローを示す図である。罫線ベ
クトル化処理部８１１で得られた罫線ベクトルを縦罫線
ＶＲと横罫線ＨＲに分け（ステップ１００１）、それぞ
れをカウントして、縦罫線の数をＶに格納し、横罫線を
Ｈに格納する（ステップ１００２）。横罫線の有無を判
定し（ステップ１００３）、横罫線がなければ文字領域
数Ｒを１に設定し、領域の大きさを入力画像の大きさと
する（ステップ１００９）。横罫線があれば文字領域数
ＲをＨ−１に設定し、ｉを０に設定する（ステップ１０
０４）。次に、横罫線をＹ座標の昇順にソートする（ス
テップ１００５）。そして、Ｙ座標の小さい順から文字
領域に番号を割り付けて行く。すなわち、ｉ番目の横罫
線とｉ＋１番目の横罫線で区切られる領域をｉ番目の文
字領域とする（ステップ１００７）。ｉ＜Ｒでなくなっ
たら（ステップ１００６）、番号の割り付けが終わり、
図１０ｂに示す垂直方向の罫線による文字領域の処理に
移る。

【００２９】縦罫線の有無を判定し（ステップ１０１
０）、縦罫線がなければ文字領域数Ｒを１に設定し、領
域の大きさを入力画像の大きさとする（ステップ１０１
８）。縦罫線があれば、図１０ａの処理で求めた横罫線
による文字領域数Ｒの内容をＲ１に移し、ＲにはＲ＋Ｖ
−１を設定し、ｉ，ｊ，ｋをそれぞれ０に設定する（ス
テップ１０１１）。次に、縦罫線をＸ座標の昇順にソー
トする（ステップ１０１２）。そして横罫線で区切られ
た各領域ごとに、縦罫線で区切られた領域を求めて行く
（ステップ１０１４〜１０１７）。すなわち、横罫線で
区切られたｊ番目の領域について、ｉ番目とｉ＋１番目
の縦罫線で区切られる領域をｋ番目の文字領域とする
（ステップ１０１３）。この番号付けを順次ｉおよびｋ
を１ずつ増加しながら、ｊ番目の領域に縦罫線で区切ら
れた未処理の領域がなくなったと判定されるまで、繰り
返す（ステップ１０１４，１０１５）。そして、つぎの
横罫線で区切られた領域について処理するため、ｊを１
だけ増加させるとともにｉを０にクリアする。そして横
罫線で区切られた領域の最後のものについて処理が終わ
るまで、すなわちｊ＜Ｒ１ではなくなったと判定される
まで、ステップ１０１３〜１０１７を繰り返す。以上の
ようにして、罫線で区切られた文字領域が抽出され、そ
の結果は文字矩形抽出処理部８１３へ渡される。

【００３０】文字矩形抽出処理部８１３以降の処理部の
動作は、基本的には第１の実施例と同じである。ただ、
文字矩形抽出処理および文字ブロック抽出処理は、文字
領域抽出処理部８１２により抽出された文字領域の情報
を用いて行われる。従って、文字矩形の抽出が容易にな
り、しかも確実となるとともに、文字ブロックについて
も、罫線を挟んで近接している文字を一つのブロックと
して検出する誤りがなくなり、文字ブロックを確実に抽
出することができる。

【００３１】（第３の実施例）図１１は本発明の第３の
実施例を示すブロック図である。この実施例の表認識装
置は、表画像に含まれる文字部分と罫線部分を分離する
文字・罫線分離処理部１１１０と、文字・罫線分離処理
部１１１０により分離された罫線画像から表を構成する
罫線によって囲まれる矩形枠を抽出する矩形枠抽出部１
１２０と、文字・罫線分離処理部１１１０により分離さ
れた文字画像から表を構成する文字ブロック矩形枠を抽
出する文字ブロック抽出部１１３０と、矩形枠抽出部１
１２０により抽出された矩形枠および文字ブロック抽出
部１１３０により抽出された文字ブロック相互の位置関
係を識別し表の構造を表すデータを作成する位置関係識
別部１１４０と、位置関係識別部１１４０により識別さ
れた表の構造を表すデータを記憶する表構造記憶部１１
４４とを備えている。

【００３２】矩形枠抽出部１１２０は、罫線画像をベク
トル化する罫線ベクトル化処理部１１２１と、罫線ベク
トル化処理部１１２１の出力する罫線ベクトルを基に、
罫線ベクトルにより囲まれた完全な矩形枠を抽出する完
全矩形枠抽出処理部１１２２と、罫線の一部が省略され
て矩形枠の一部がない不完全な矩形枠を抽出し足りない
ところを補って矩形枠とする不完全矩形枠抽出処理部１
１２３とを備えている。

【００３３】文字ブロック抽出部１１３０は、字領域抽
出処理部１１３１と、文字矩形抽出処理部１１３１と、
文字ブロック矩形抽出処理部矩形抽出部１１とを備えて
いる。文字領域抽出処理部１１３１は、矩形枠抽出部１
１２０により得られた矩形枠により囲まれた領域をそれ
ぞれ文字領域と決定し、文字・罫線分離処理部１１１０
からの文字画像を各文字領域ごとに切り出し、文字矩形
抽出処理部１１３２へ渡す。文字矩形抽出処理部１１３
２は、文字の書かれている画素の塊を囲む矩形領域を求
めるものである。文字ブロック矩形抽出処理部１１３３
は、文字矩形抽出処理部１１３２で求めた各文字矩形間
の距離を求めて、その距離がある閾値より小さな文字矩
形を全て１つの文字ブロックとして統合するものであ
る。

【００３４】また、位置関係識別部１１４０は、矩形枠
抽出部１１２０により抽出された矩形枠および前記文字
ブロック抽出１１３により抽出された文字ブロック相互
の位置関係を識別するものであって、構成枠識別処理部
１１４１と、行抽出処理部１１４２と、列抽出処理部１
１４３と、それらの抽出結果を記憶する表構造記憶部１
１４１からなっている。構成枠識別処理部１１４１は、
前記矩形抽出手段により抽出した表の罫線から構成され
る矩形枠と文字ブロック抽出手段により抽出された文字
ブロック矩形枠から表を構成する構成枠を識別するもの
である。行抽出処理部１１４２は、構成枠識別処理部１
１４１で抽出した表を構成する構成枠の行方向の並びを
識別し、列抽出処理部１１４３は、構成枠識別処理部１
１４１で抽出した表を構成する構成枠の列方向の並びを
識別するものである。

【００３５】以上のように構成された本実施例の動作に
ついて説明する。文字・罫線分離処理部１１１０は、図
形中の文字と線分を分離する処理と同様の既存の手法を
用いることができる。なお、第２の実施例において挙げ
た特願平３−２９０２９９号「文字／図形分離装置」の
技術を用いると、誤りの少ない正確な分離処理をより高
速に行うことができる。ここで分離した罫線画像の情報
は矩形枠抽出部１１２０に出力され、文字画像の情報は
文字ブロック抽出部１１３０へ出力される。

【００３６】罫線画像は罫線ベクトル化処理部１１２１
でベクトル化される。すなわち、２値画像を、端点、折
れ線、交差点、分岐点などの特徴点を始点および終点と
するベクトルデータに変換する。このベクトルデータに
変換する方法は前掲の既存の技術を用いればよい。変換
された罫線ベクトルデータは、罫線ベクトルにより囲ま
れた完全な矩形枠を抽出する完全矩形枠抽出処理部１１
２２と、罫線の一部が省略されて矩形枠の一部がない不
完全な矩形枠を抽出し足りないところを補って矩形枠と
する不完全矩形枠抽出処理部１１２３とに渡される。

【００３７】完全矩形枠抽出処理部１１２２は、罫線ベ
クトルデータを基に罫線ベクトルにより囲まれた完全な
矩形枠を取り出す。図１２ａおよび１２ｂはその処理の
フローチャートである。表の矩形枠は、１つの水平ベク
トルデータの左右に垂直ベクトルデータが接続し、さら
にその下に水平ベクトルデータが接続していることか
ら、各水平ベクトルデータを調べて、条件を満たすベク
トルデータを図１４に示す矩形枠構成表に記入する。ま
ず、表を構成する全てのベクトルデータの数を計数する
（ステップ１２０１）。以下のステップ１２０２からス
テップ１２１２の処理を全てのベクトルデータに対して
適用する。矩形枠の上罫線となる水平ベクトルデータＶ
_iを捜す（ステップ１２０３）。これは、ベクトルデー
タと水平線とのなす角度がある閾値以下であることから
水平なベクトルデータを見つけることができる。ここで
みつけた水平ベクトルデータＶ_iは、ｋ番目の矩形枠の
上罫線となる可能性があるので、矩形枠構成表１４１の
ｋ番目の矩形枠の上罫線の欄にこのベクトルデータＶ_i
を登録する（ステップ１２０４）。次に矩形枠Ｗ_kの右
側の辺を構成するベクトルデータを捜す（ステップ１２
０５）。すなわち、ベクトルデータＶ_iの右端の端点に
接し、かつベクトルデータＶ_iに接していないほうの端
点がベクトルデータＶ_iより下にあるような垂直ベクト
ルデータをみつける処理を行なう。垂直ベクトルデータ
は、垂線とのなす角度がある閾値以下であることから容
易に求めることができる。このステップで見つけたベク
トルデータは矩形枠Ｗ_kの右罫線を構成する可能性があ
るので、矩形枠構成表１４１のｋ番目の矩形枠の右罫線
の欄に登録する（ステップ１２０６）。同様に矩形枠Ｗ
_kの左罫線を捜し（ステップ１２０７）、矩形枠構成表
１４１のｋ番目の矩形枠の左罫線の欄に登録する（ステ
ップ１２０８）。さらに、いま求めた右罫線、左罫線の
下側に接するベクトルデータを見つけ（ステップ１２０
９）、矩形枠構成表１４１のｋ番目の矩形枠の下罫線の
欄に登録する（ステップ１２１０）。以上の処理のう
ち、１つでも罫線が見つからない場合は、矩形枠構成表
１４１のｋ番目の矩形枠のすべての登録を破棄して、他
のベクトルデータで構成される矩形枠を登録できるよう
にリセットする。以上の処理を図１３の表に適用した時
の矩形枠構成表１４１は図１４のようになる。また、他
の例として図１５のような表に対する処理では、矩形枠
構成表１４１は図１６のようになる。さらに、この後の
処理に便利なように矩形枠構成表１４１を、各矩形枠の
左上隅のＸ座標、Ｙ座標と矩形の幅と高さで表す矩形枠
テーブル１７１に書き換える。図１４の矩形枠テーブル
は図１７の（ａ）のようになる。

【００３８】不完全矩形枠抽出処理部１１２３は、罫線
の一部が省略されて矩形枠の一部がない不完全な矩形枠
を抽出し足りないところを補って表の矩形枠として取り
出す。図１８ａおよび１８ｂはその処理のフローチャー
トである。まず、完全矩形枠抽出処理部１１２２により
抽出された矩形枠の要素として矩形枠構成表に登録され
ているベクトルデータ以外の未登録ベクトルを抽出する
（ステップ１８０１〜１８０６）。そのために、まず、
Ｎにベクトルデータの総数を設定し、ｉ＝ｋ＝０にクリ
アする（ステップ１８０１）。ベクトルデータＶ_iを取
り出し、矩形枠構成表に登録されているか否かを調べ
（ステップ１８０３）、登録されていなければベクトル
列ＶＶに登録するとともに（ステップ１８０４）、カウ
ンタｋにより計数する（ステップ１８０５）。そして次
のベクトルを取り出すためにｉ＝ｉ＋１とする（ステッ
プ１８０６）。ベクトルデータＶ_iが矩形枠構成表に登
録されていた場合には、そのまま次のベクトルの処理に
移る（ステップ１８０６）。ｉがＮに達したとき、すな
わちすべてのベクトルについて未登録ベクトルの登録処
理が終わったら（ステップ１８０２）、未登録ベクトル
列ＶＶ内で、最も近い２つの端点を結ぶ水平／垂直なベ
クトルを補う（ステップ１８０７）。その補った数をｎ
とする。ベクトルの総数ｋをｋ＋ｎとし、またｉ＝ｍ＝
０にクリアする（ステップ１８０８）。矩形枠の上罫線
となる水平ベクトルデータＶＶ_iを捜す（ステップ１８
１０）。これは、ベクトルデータと水平線とのなす角度
がある閾値以下であることから水平なベクトルデータを
見つけることができる。ここでみつけた水平ベクトルデ
ータＶＶ_iは、ｍ番目の矩形枠Ｗ_mの上罫線となる可能性
があるので、不完全矩形枠構成表のｍ番目の矩形枠の上
罫線の欄にこのベクトルデータＶＶ_iを登録する（ステ
ップ１８１１）。次に矩形枠Ｗ_mの右側の辺を構成する
ベクトルデータを捜す（ステップ１８１２）。すなわ
ち、ベクトルデータＶＶ_iの右端の端点に接し、かつベ
クトルデータＶＶ_iに接していないほうの端点がベクト
ルデータＶ_iより下にあるような垂直ベクトルデータを
みつける処理を行なう。垂直ベクトルデータは、垂線と
のなす角度がある閾値以下であることから容易に求める
ことができる。このステップで見つけたベクトルデータ
は矩形枠Ｗ_mの右罫線を構成する可能性があるので、不
完全矩形枠構成表のｍ番目の矩形枠の右罫線の欄に登録
する（ステップ１８１３）。同様に矩形枠Ｗ_mの左罫線
を捜し（ステップ１８１４）、不完全矩形枠構成表のｍ
番目の矩形枠の左罫線の欄に登録する（ステップ１８１
５）。さらに、いま求めた右罫線、左罫線の下側に接す
るベクトルデータを見つけ（ステップ１８１６）、不完
全矩形枠構成表のｍ番目の矩形枠Ｗ_mの下罫線の欄に登
録する（ステップ１８１７）。以上の処理のうち、１つ
でも罫線が見つからない場合は、不完全矩形枠構成表の
ｍ番目の矩形枠Ｗ_mのすべての登録を破棄して、他のベ
クトルデータで構成される矩形枠を登録できるようにリ
セットする。図２０の（ｂ）は不完全矩形枠構成表の例
を示すもので、これは図１９の表の不完全矩形枠部分を
表すものである。さらに、この後の処理に便利なように
不完全矩形枠構成表を、各矩形枠の左上隅のＸ座標、Ｙ
座標と矩形の幅と高さで表す矩形枠テーブルに書き換え
る。

【００３９】次に文字ブロック抽出部１１３０の処理に
ついて説明する。文字領域抽出処理部１１３１では、表
の中で罫線で区切られ、文字が書かれているべき矩形を
見つけ文字領域テーブルに登録する。本実施例では、完
全矩形枠抽出部および不完全矩形枠抽出部により矩形枠
が抽出されているので、これを文字領域テーブルに登録
すればよい。図１９の例では、２個の完全矩形枠に囲ま
れた文字領域と、４個の不完全矩形枠内の文字領域とが
得られる。他の例としては、図２１の（ａ）のような罫
線の不足している表に対してこの処理は、図２１の
（ｂ）のように罫線を補い、図２１の（ｃ）のように複
数の文字ブロックを包含する文字領域２１１を抽出す
る。この後の処理は、ここで求めた文字領域ごとに処理
を進める。このように文字領域を得て、文字領域ごとに
文字ブロックの抽出を行うようにすることにより罫線を
またぐような文字ブロックの抽出を防ぐことができる。

【００４０】次の文字矩形抽出処理１１３２について説
明する。ここでは、文字領域抽出処理部１１３１で求め
た各文字領域に対して、文字の書かれている画素の塊を
囲む矩形領域を求める。すなわち、表の画像が背景の画
素値が０、文字／線の画素値が１で書かれている時、画
素値が１である塊を取り出してその矩形領域を求める。
２つの矩形領域が重なってるときは、図３の（ｂ）のよ
うに２つの矩形領域３７，３８を包含できるような矩形
領域３９で表す。なお、文字の矩形領域を抽出する方法
は、既存の技術であるので詳細な説明は省略する。

【００４１】さらに文字ブロック矩形抽出処理部１１３
３では、文字矩形抽出処理部１１３２で求めた各文字矩
形間の距離を求めて、ある閾値より小さな文字矩形を全
て１つの文字ブロックとして統合する処理を行なう。そ
の処理の詳細は、第１の実施例における文字ブロック矩
形抽出処理部１１２の処理と基本的には同じであり、図
５ａおよび図５ｂのフローチャートに示されている。こ
のフローチャートについては第１の実施例において既に
説明したので、ここでの説明は省略する。ただ、第１の
実施例の場合はブロックに統合するか否かを前記閾値の
みにより判定していたが、本実施例は文字領域の情報を
参照して同じ文字領域にある場合にのみ一つの文字ブロ
ックに統合する。これにより罫線をまたぐような文字ブ
ロックの抽出を防ぐことができる。

【００４２】最後に位置関係識別部１１４０の働きにつ
いて説明する。位置関係識別１１４はさらに、構成枠識
別処理部１１４１、行抽出処理１１４２、列抽出処理１
１４３の３つの処理部からなる。構成枠識別処理では、
実際に表の構造を構成する枠は、表の罫線から構成され
る矩形枠なのか、文字ブロックの枠なのかを識別し、選
択する処理である。矩形枠の内部には少なくとも１つ以
上の文字ブロックが存在しているはずなので、矩形枠の
内部にある文字ブロックの数を計数して、２つ以上の文
字ブロックが確認された場合は、文字ブロックを構成枠
として登録し、また、１つの文字ブロックだけが存在す
る場合は、矩形枠を構成枠として登録する。

【００４３】図２２は上記の構成枠識別処理の詳細を示
すフロー図である。Ｎに完全矩形枠の総数、Ｍに文字ブ
ロックの総数を設定し、完全矩形枠ｗの配列の要素を指
定する変数ｉ、識別した構成枠の配列の要素を指定する
変数Ｃ、各完全矩形枠に含まれる文字ブロックを計数す
る変数ｓをそれぞれ０に設定する（ステップ２２０
１）。文字ブロックＣＢ_jの配列の要素を指定する変数
ｊと変数ｓを０に設定する（ステップ２２０２）。文字
ブロックＣＢ_jを取り出し、完全矩形枠Ｗ_iに含まれるか
否かを判定し（ステップ２２０３）、含まれる場合には
ｓをインクリメントし（ステップ２２０４）、含まれな
い場合には何もしない。そして、次の文字ブロックを取
り出すためｊをインクリメントする（ステップ２２０
５）。以上のステップ２２０４〜２２０５の処理を、順
次、未処理の文字ブロックがなくなったと判定される
（ステップ２２０６）まで繰り返す。このようにして、
ひとつの完全矩形枠について、すべての文字ブロックを
調べ終わったら、その完全矩形枠に含まれる文字ブロッ
クの数ｓが複数あるか否かを判定し（ステップ２２０
７）、複数あっだ場合には、完全矩形枠Ｗ_iに含まれる
ｓ個の文字ブロックを構成枠として登録する（ステップ
２２０８）。ｓ個登録したのでＣをＣ＋ｓとする（ステ
ップ２２０９）。一方、その完全矩形枠Ｗ_iに含まれる
文字ブロックの数ｓが１であったときは、完全矩形枠Ｗ
_iをＣ番目の構成枠として登録し（ステップ２２１
０）、Ｃをインクリメントする（ステップ２２１１）。
以上の処理により、ひとつの完全矩形枠について、関連
する構成枠を識別したら、次に完全矩形枠について同様
の処理を行うためｉ＝ｉ＋１とし、ステップ２２０２に
戻る。ｉ＜Ｎでないとの判定（ステップ２２１３）がな
されると、すべての処理が終了する。図２３の（ａ）お
よび（ｂ）に、構成枠を抽出した結果の一例を示す。同
図（ａ）は表の例、（ｂ）は（ａ）の表から抽出した構
成枠を示す。

【００４４】行抽出処理部１１４２と列抽出処理部１１
４３では、構成枠識別処理部１１４１で抽出した表を構
成する枠の並びを識別する。すなわち、全ての構成枠の
中心点の座標を求め、行抽出処理部１１４２では構成枠
の中心点のＹ座標がある誤差範囲内に並んでいる構成枠
を表の行と識別し、列抽出処理１１４３では構成枠の中
心点のＸ座標がある誤差範囲内に並んでいる構成枠を表
の列と識別する。この処理の詳細は、行抽出処理フロー
を図６ａおよび図６ｂに示し、列抽出処理フローを図７
ａおよび図７ｂに示す。これらの処理の詳細な説明は、
第１の実施例により説明したところと同じである。行抽
出処理１５２、列抽出処理１５３の結果を図２４と図２
５に示す。

【００４５】このような処理を行なった後に、抽出した
行と列の並びで順に番号付けを行ない、この番号付けに
従って、ワープロの表のデータを記述することで、画像
として入力した表をワープロで編集が可能な表に変換す
ることが可能である。また、構成枠を用いて文字を切り
出すことにより、図２４の（ａ）に示した表のように表
の両脇に罫線が不足している場合、図２４の（ｂ）のよ
うに表の第２列目と第３列目が罫線からなる矩形枠で、
残りは文字ブロックであるような構成枠が抽出できる。
線の不足している表も容易に文字認識装置へ入力するこ
とも可能となる。たとえば、図２４の（ａ）に示した表
のように表の両脇に罫線が不足している場合、図２４の
（ｂ）のように表の第２列目と第３列目が罫線からなる
矩形枠で、残りは文字ブロックであるような構成枠が抽
出できる。また、図２５の（ａ）に示した表のように縦
の罫線が全てと横罫線の一部が省略されている場合に
は、同図（ｂ）のように構成枠は全て文字ブロックとな
る。また、図２６の（ａ）に示した表のように表の縦罫
線、横罫線の一部が省略されている場合、表の中に罫線
からなる矩形枠を抽出することができるが、さらにその
内部に複数の文字ブロックを含んでいるために、図２６
の（ｂ）のようにその構成枠は全て文字ブロックとな
る。図２４、図２５、図２６に示したようにどのタイプ
の表に対しても、本実施例は表の行と列の構造を正確に
取り出すことができる。本実施例では少なくとも罫線が
書かれている表を対象として説明したが、同様の処理を
行なうことにより、罫線をまったく含まない表に対して
も適用しうるものである。さらに、明示的に表として書
かれていない文章、たとえば箇条書の文書に対して、表
としての構造を付加することも可能である。

【００４６】

【発明の効果】本発明によれば、文字ブロック抽出手段
により抽出された文字ブロック相互の位置関係を位置関
係識別手段により識別する。表における文字ブロックは
表の構成要素として一般に規則正しく整列した位置関係
にあるので、文字ブロック相互の位置関係を見ることに
より表の構造を認識できる。従来は、表の罫線のみに着
目して表を構成する枠を求めていたので、縦罫線、横罫
線の一部または全部に省略のあるような表の構造を正確
に認識することができないという問題があったが、本発
明によれば文字ブロックの並びを用いて表の構造を認識
するので、その問題は解消できる。

【００４７】また、本発明の文字領域抽出手段を設けた
態様によれば、文字領域抽出手段により罫線の情報を用
いて文字領域を抽出し、文字領域ごとに文字ブロックを
抽出する。したがって、罫線を挟んで近接した文字矩形
を一つのブロックとして抽出されるおそれはなく、文字
ブロックを精度よく抽出することができ、ひいては表の
構造を正確に認識することができる。

【００４８】本発明において、罫線によって囲まれる矩
形枠を抽出する矩形枠抽出手段を設け、位置関係識別手
段において罫線で囲まれた矩形枠と表中の文字ブロック
を同等に扱い各位置関係を識別するようにした態様のも
のにおいては、表の罫線で囲まれた矩形枠と表中の文字
ブロックを同等に扱うことにより、罫線で囲まれていな
い表中の枠であっても、文字ブロックとして表の中の１
つの構成要素であると識別されるので、罫線の一部また
は全部が省略された表も、罫線が全部揃っている表と同
様に正確に認識することができる。

【図面の簡単な説明】

【図１】 本発明の第１の実施例の構成を示す図

【図２】 （ａ）〜（ｅ）は文書中で使われる表の例を
示す図

【図３】 （ａ）および（ｂ）は文字矩形の例を示した
図

【図４】 （ａ）〜（ｅ）は罫線がすべて省略された表
の認識を説明するための図

【図５ａ】 文字ブロックの抽出処理のフローを示す図

【図５ｂ】 文字ブロックの抽出処理のフローを示す図
（図５ａの続き）

【図６ａ】 行抽出処理のフローを示す図

【図６ｂ】 行抽出処理のフローを示す図（図６ａの続
き）

【図７ａ】 列抽出処理のフローを示す図

【図７ｂ】 列抽出処理のフローを示す図（図７ａの続
き）

【図８】 本発明の第２の実施例の構成を示す図

【図９】

【図１０ａ】 第２の実施例における文字領域抽出処理
のフローを示す図

【図１０ｂ】 第２の実施例における文字領域抽出処理
のフローを示す図（図１０ａの続き）

【図１１】 本発明の第３の実施例の構成を示す図

【図１２ａ】 完全矩形枠抽出処理部の処理フローを示
す図

【図１２ｂ】 完全矩形枠抽出処理部の処理フローを示
す図（図１２ａの続き）

【図１３】 表を構成するベクトルデータの例を示す図

【図１４】 矩形枠構成表の一例を示す図を示す図

【図１５】 表を構成するベクトルデータの他の例を示
す図

【図１６】 矩形枠構成表の他の例を示す図

【図１７】 （ａ）矩形枠テーブルおよび（ｂ）文字領
域テーブルの一例を示す図

【図１８ａ】 不完全矩形枠抽出処理のフローを示す図

【図１８ｂ】 不完全矩形枠抽出処理のフローを示す図
（図１８ａの続き）

【図１９】 一部の罫線が省略された表を構成するベク
トルデータの例を示す図

【図２０】 図１９の表に対応する矩形枠構成表の例を
示すもので、（ａ）は完全矩形枠構成表、（ｂ）は不完
全矩形枠構成表をそれぞれ示す図

【図２１】 文字領域の抽出を説明するための図

【図２２】 構成枠識別処理部の処理のフローを示す図

【図２３】 構成枠、行および列の抽出の例を示した図
で、（ａ）は右端の縦罫線が省略された表の例、（ｂ）
は抽出された構成枠、（ｃ）は抽出された行、（ｄ）は
抽出された列をそれぞれ示す。

【図２４】 構成枠、行および列の抽出の他の例を示し
た図で、（ａ）は左右両端の縦罫線が省略された表の
例、（ｂ）は抽出された構成枠、（ｃ）は抽出された
行、（ｄ）は抽出された列をそれぞれ示す。

【図２５】 構成枠、行および列の抽出の他の例を示し
た図で、（ａ）は縦罫線がすべて省略された表の例、
（ｂ）は抽出された構成枠、（ｃ）は抽出された行、
（ｄ）は抽出された例をそれぞれ示す。

【図２６】 構成枠、行および列の抽出の他の例を示し
た図で、（ａ）は縦罫線および横罫線の一部が省略され
た表の例、（ｂ）は抽出された構成枠、（ｃ）は抽出さ
れた行、（ｄ）は抽出された列をそれぞれ示す。

【符号の説明】

１１，８１…文字ブロック抽出部、１１１，８１３…文
字矩形抽出処理部、１１２，８１４…文字ブロック矩形
抽出処理部、１２，８２…位置関係識別部、１２１，８
２１…行抽出処理部、１２２，８２２…列抽出処理部、
１２３，８２３…表構造記憶部、８１１…罫線ベクトル
化処理部、８１２…文字領域抽出処理部、１１１０…文
字・罫線分離処理部、１１２０…矩形枠抽出部、１１２
１…罫線ベクトル化処理部、１１２２…完全矩形枠抽出
処理部、１１２３…不完全矩形抽出処理部、１１３０…
文字ブロック抽出部、１１３２…文字矩形抽出処理部、
１１３３…文字ブロック矩形抽出処理部、１１４０…位
置関係識別部、１１４１…構成枠識別処理部、１１４２
…行抽出処理部、１１４３…列抽出処理部、１１４４…
表構造記憶部、３１，３２，３３，３４…黒画素塊、３
５，３６，３９…文字矩形、１６１…構成枠、１７１…
矩形枠テーブル、１７２…文字領域テーブル２１１…文
字領域。

Claims (15)

(57)【特許請求の範囲】
1. 【請求項１】 表画像から文字ブロックを抽出する文字
   ブロック抽出手段と、 前記文字ブロック抽出手段により抽出された文字ブロッ
   ク相互の位置関係を識別し、表の構造を表すデータを生
   成する位置関係識別手段とを有することを特徴とする表
   認識装置。
2. 【請求項２】 表画像を文字画像と罫線画像に分離する
   文字・罫線分離手段を設け、前記文字ブロック抽出手段
   へ前記文字・罫線分離手段により分離された文字画像を
   入力することを特徴とする請求項１記載の表認識装置。
3. 【請求項３】 前記文字ブロック抽出手段は、文字の書
   かれている画素の塊を囲む矩形領域を求める文字矩形抽
   出手段と、文字矩形抽出手段で求めた各文字矩形間の距
   離に基づいて１以上の文字矩形を文字ブロックとして統
   合する文字ブロック矩形抽出手段を備えたことを特徴と
   する請求項１記載の表認識装置。
4. 【請求項４】 文字ブロック矩形抽出手段は、文字矩形
   抽出手段で求めた各文字矩形間の距離を求めて、ある閾
   値より小さな距離で連続した文字矩形群を１つの文字ブ
   ロックとして統合する処理を行うことを特徴とする請求
   項３記載の表認識装置。
5. 【請求項５】 前記文字ブロック抽出手段は、表中の文
   字と罫線を分離して、罫線をベクトル化する罫線ベクト
   ル化手段と、その罫線ベクトル化手段により得られた罫
   線のベクトルデータを基に文字が書かれているべき矩形
   領域を文字領域として抽出する文字領域抽出手段と、そ
   の文字領域抽出手段で求めた各文字領域に対して、文字
   の書かれている画素の固まりを囲む矩形領域を求める文
   字矩形抽出手段と、その文字矩形抽出手段で求めた各文
   字矩形間の距離に基づいて１以上の文字矩形を文字ブロ
   ックとして統合する文字ブロック矩形抽出手段とを備え
   たことを特徴とする請求項１記載の表認識装置。
6. 【請求項６】 前記位置関係識別手段は、文字ブロック
   抽出手段により抽出された文字ブロック矩形を表の構成
   枠とみなし、その構成枠の行方向の並びを識別する行抽
   出手段と、前記構成枠の列方向の並びを識別する列抽出
   手段を備えたことを特徴とする請求項１記載の表認識装
   置。
7. 【請求項７】 前記行抽出手段は各構成枠の中心のｙ座
   標が所定の誤差範囲で同一である構成枠の群を同一の行
   として抽出するものであり、前記列抽出手段は各構成枠
   の中心のｘ座標が所定の誤差範囲で同一である構成枠の
   群を同一の列として抽出するものであることを特徴とす
   る請求項６記載の表認識装置。
8. 【請求項８】 対象とする表領域から表を構成する罫線
   によって囲まれる矩形枠を抽出する矩形枠抽出手段と、 対象とする表領域から文字ブロックを抽出する文字ブロ
   ック抽出手段と、 前記矩形枠抽出手段により抽出された矩形枠および前記
   文字ブロック抽出手段により抽出された文字ブロック相
   互の位置関係を識別する位置関係識別手段と、を有する
   ことを特徴とする表認識装置。
9. 【請求項９】 表画像を文字画像と罫線画像に分離する
   文字・罫線分離手段を設け、前記文字ブロック抽出手段
   へは前記文字・罫線分離手段により分離された文字画像
   を入力し、前記矩形抽出手段へは前記文字・罫線分離手
   段により分離された罫線画像を入力することを特徴とす
   る請求項８記載の表認識装置。
10. 【請求項１０】 前記矩形枠抽出手段は、文字・罫線分
    離手段により分離した罫線画像をベクトルデータに変換
    する罫線ベクトル化手段と、その罫線ベクトル化手段に
    より出力された罫線ベクトルの接続関係を基に矩形枠を
    求める第１の矩形枠抽出手段と、一端が他のいずれの罫
    線ベクトルにも接続されていない罫線ベクトルから一部
    の罫線が省略された矩形枠を推定する第２の矩形枠抽出
    手段とを備えたことを特徴とする請求項８記載の表認識
    装置。
11. 【請求項１１】 前記文字ブロック抽出手段は、文字の
    書かれている画素の塊を囲む矩形領域を求める文字矩形
    抽出手段と、その文字矩形抽出手段で求めた各文字矩形
    間の距離を求め、その距離に基づいて１以上の文字矩形
    を文字ブロックとして統合する文字ブロック矩形抽出手
    段を備えたことを特徴とする請求項８記載の表認識装
    置。
12. 【請求項１２】 前記文字ブロック抽出手段は、矩形枠
    抽出手段の出力を基に、文字が書かれているべき矩形領
    域を文字領域として抽出する文字領域抽出手段と、文字
    領域抽出手段で求めた各文字領域に対して、文字の書か
    れている画素の塊を囲む矩形領域を求める文字矩形抽出
    手段と、文字矩形抽出手段で求めた各文字矩形の間の距
    離に基づいて１以上の文字矩形を文字ブロックとして統
    合する文字ブロック矩形抽出手段とを備えたことを特徴
    とする請求項８記載の表認識装置。
13. 【請求項１３】 前記位置関係識別手段は、前記矩形抽
    出手段により抽出した表の罫線から構成される矩形枠と
    文字ブロック抽出手段により抽出された文字ブロック矩
    形とから表を構成する構成枠を識別する構成枠識別手段
    と、構成枠識別手段で抽出した表を構成する構成枠の行
    方向の並びを識別する行抽出手段と、構成枠識別手段で
    抽出した表を構成する構成枠の列方向の並びを識別する
    列抽出手段を備えたことを特徴とする請求項８記載の表
    認識装置。
14. 【請求項１４】 前記構成枠識別手段は、前記矩形抽出
    手段により抽出した矩形枠については、その矩形枠内の
    文字ブロックを抽出し、複数の文字ブロックがあったと
    きは、その複数の文字ブロックをそれぞれ構成枠と決定
    し、単一の文字ブロックがあったときは矩形枠を構成枠
    と決定する処理を行うことを特徴とする請求項１３記載
    の表認識装置。
15. 【請求項１５】 前記行抽出手段は各構成枠の中心のｙ
    座標が所定の誤差範囲で同一である構成枠の群を同一の
    行として抽出するものであり、前記列抽出手段は各構成
    枠の中心のｘ座標が所定の誤差範囲で同一である構成枠
    の群を同一の列として抽出するものであることを特徴と
    する請求項１３記載の表認識装置。