JPH09288714A - 表認識方法および装置 - Google Patents

Abstract

(57)【要約】 （修正有） 【課題】テキスト、図、および表で構成され、読み込ん
だ方向に記述されているページと９０度回転した方向で
記述されているページとが混在する文書画像に対して、
表内に書かれている文字を正しく認識する。 【解決手段】領域分割で抽出された表が読み込んだ方向
かあるいは９０度回転した方向かを判定する際、以下の
通り、文書中に占める表領域の位置または大きさに関す
る情報に基づいて判定する。（１）表領域の座標位置が
文書中の上下または左右であるかを判定する。（２）表
領域と同文書内に存在する別の表領域または表領域以外
の他の領域との位置関係を調べ、上下または左右に並ん
でいるかを判定する。（３）表を形成する罫線の部分的
な欠落を検出し、欠落罫線の位置が表の外枠の上下また
は左右であるかを判定する。（４）表領域内の罫線で区
切られた所定領域内の文字要素を抽出し、文字要素に対
して方向別に文字認識を行い、その文字認識結果の評価
を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、テキスト、図、お
よび表などが混在している文書をイメージスキャナなど
で読み込んだ画像データにおいて、画像データ内の文字
や表の座標位置など表を構成する情報を抽出する文書認
識システムに関し、特に、記述される方向がページ毎に
異なる表などが存在する文書を認識するのに有効な表認
識方法に関する。

【０００２】

【従来の技術】一般的な文書では、データの見易さや比
較のし易さなどの理由で、テキスト、図、および表など
が混在して用いられる。このような文書において、文書
内に存在する表を抽出する方法として、それぞれテキス
ト、図、および表の領域分割を行った後、表の構造解析
を行う方法がある。例えば、「表認識方式」（特願平07
-149497号）では、文書中の縦方向あるいは横方向に長
い黒ランを抽出することにより罫線の候補を求め、その
候補のうち、それぞれが互いに接続する場合に罫線とし
て抽出する方法が開示されている。

【０００３】テキスト、図、および表の領域分割処理方
法としては、「空白の構造に基づく文書画像の領域分
割」（電子情報通信学会技術研究報告，Vol.94 NO.44
4，PRU94-101，1995.1）などに開示された方法がある。
これは、文書中の白画素だけを含む矩形を抽出し、その
矩形が領域分割にどれくらい有効であるかを評価し、有
効であるとみなされた矩形に囲まれる黒画素を抽出する
ことにより領域分割を行うものである。具体的には、ま
ず、文書中の白画素だけを含む矩形のうち、外枠の面積
と幅と高さがそれぞれ一定以上のものを抽出する。抽出
された矩形内において、水平方向の白ランの左右の端
が、文書の端に位置するかあるいは黒画素の連結成分の
外接矩形に接している場合、その白ランは水平の有効な
白ランとする。同様に、垂直方向の白ランの上下の端に
ついても求め、垂直の有効な白ランとする。さらに、水
平に有効な白ランと垂直に有効な白ランが重なった白画
素を有効な白画素とし、その有効な白画素の面積が一定
以上のものを有効白矩形とする。この有効白矩形に囲ま
れた黒画素を抽出することにより領域分割を行う。

【０００４】また、表の構造解析の方法としては、「文
字ブロックの並びを考慮した表構造の認識」（電子情報
通信学会春季大会1993, D-410）などがある。これは、
表内の１つの項目であると判断された文字列を抽出し、
その文字列の矩形領域をその矩形領域を囲む上下左右の
方向に最も近い罫線まで拡張することにより表を形成す
るセルの領域を抽出し、表の構造を解析するものであ
る。

【０００５】

【発明が解決しようとする課題】イメージスキャナなど
の入力装置を用いて読み込んだ画像データに書かれてい
る文字を認識し、コードデータとして再利用する場合、
テキスト部分はもちろん、表など罫線で囲まれた領域
（以下、「セル」という）も認識の対象としなければな
らない場合もある。表は、表内の項目数や項目内の文字
列数などの文字の記入状態により、表示する向きが画像
データを読み込んだ方向（以下、「縦方向」という）で
あったり、読み込んだ方向に対して９０度回転した方向
（以下、「横方向」という）であったり、データによっ
て様々な種類が存在する。これらの種類の表が混在する
文書においては、予め方向を定めておくことができな
い。従って、これらの表や図などを含んだ文書から表の
領域と表の構造を抽出し、セル内の文字を認識するに
は、まず、この表が縦方向か横方向かを判定する必要が
ある。しかし、上記従来の技術では、所定の一方向に記
述されている文書だけを対象としているため、表の方向
を判定する必要がある文書には適用できないという問題
があった。

【０００６】本発明は、上述の従来例における問題点に
鑑み、テキスト、図、および表などが混在している文書
において、その表が縦方向や横方向の表である場合で
も、その方向を自動的に判定して表認識を行なうことが
できる表認識方法および装置を提供することを目的とす
る。

【０００７】

【課題を解決するための手段】上記目的を達成するた
め、請求項１に係る発明は、テキストや図や表が混在し
ている文書の画像データに対して、テキスト領域、図形
領域、および表領域の抽出や、テキスト領域の文字認
識、表領域の構造解析および文字認識を行う文書認識シ
ステムにおける表認識方法であって、前記画像データか
ら黒画素の集まりにより形成された罫線を抽出するステ
ップと、抽出された罫線から表の外枠を表す罫線を抽出
することにより表領域を求めるステップと、抽出された
表が所定の方向である第１の方向かあるいはこれを９０
度回転した第２の方向であるかを、文書中に占める該表
領域の位置に関する情報または大きさに関する情報に基
づいて、判定するステップとを備えたことを特徴とす
る。第１の方向と第２の方向は相対的な概念である。例
えば、画像データを読み込んだ方向を第１の方向とし、
それを９０度回転した方向を第２の方向とすればよい。

【０００８】請求項２に係る発明は、請求項１におい
て、前記求めた表領域の座標位置が文書中の上端あるい
は下端であるか、または左端あるいは右端であるかを判
定することにより、求めた表領域が前記第１の方向かま
たは前記第２の方向かを判定することを特徴とする。

【０００９】請求項３に係る発明は、請求項１におい
て、前記求めた表領域と同文書内に存在する別の表領域
または表領域以外の他の領域との位置関係を調べ、上下
に並んでいるか、または左右に並んでいるかを判定する
ことにより、求めた表領域が前記第１の方向かまたは前
記第２の方向かを判定することを特徴とする。

【００１０】請求項４に係る発明は、請求項１におい
て、前記求めた表領域の表を形成する罫線の部分的な欠
落を検出し、該欠落罫線の位置が表の外枠の上あるいは
下であるか、または該欠落罫線の位置が表の外枠の左あ
るいは右であるかを判定することにより、求めた表領域
が前記第１の方向かまたは前記第２の方向かを判定する
ことを特徴とする。

【００１１】請求項５に係る発明は、請求項１におい
て、前記求めた表領域内の罫線で区切られた所定領域内
の文字要素を抽出し、該文字要素に対して前記第１の方
向と前記第２の方向のそれぞれの方向に対して文字認識
を行い、その文字認識結果の評価により、求めた表領域
が前記第１の方向かまたは前記第２の方向かを判定する
ことを特徴とする。

【００１２】請求項６に係る発明は、テキストや図や表
が混在している文書の画像データに対して、テキスト領
域、図形領域、および表領域の抽出や、テキスト領域の
文字認識、表領域の構造解析および文字認識を行う文書
認識システムで用いる表認識装置であって、前記画像デ
ータから黒画素の集まりにより形成された罫線を抽出す
る手段と、抽出された罫線から表の外枠を表す罫線を抽
出することにより表領域を求める手段と、抽出された表
が所定の方向である第１の方向かあるいはこれを９０度
回転した第２の方向であるかを、文書中に占める該表領
域の位置に関する情報または大きさに関する情報に基づ
いて判定する手段とを備えたことを特徴とする。

【００１３】

【発明の実施の形態】以下、図面を用いて本発明の実施
の形態を説明する。

【００１４】図１は、本発明の一実施形態である文書認
識システムにおける処理の流れを説明するための図であ
る。１００は、テキスト、図、および表などが混在した
複数ページからなる画像データを示す。文書認識システ
ム１０１は、画像データ入力制御部１０５により画像デ
ータ１００を読み込み、認識制御部１０６で、テキスト
領域、表領域、および図形領域などに領域分割し、領域
毎に後述する各処理を行い、その処理の結果を表認識結
果１０２、図形データ１０３、文字認識結果１０４とし
て画像データ出力制御部１０９から出力する。文書認識
システム１０１は、具体的には、コンピュータ（画像デ
ータを入力するスキャナなどの入力装置や認識結果を出
力する出力装置などを含むものとする）とソフトウェア
から構成されている。

【００１５】認識制御部１０６は、画像データ１００中
に存在するテキスト、表、および図などに対して領域分
割処理１０７を行い、その領域分割した個々の領域毎に
所定の処理を行うものである。領域分割処理１０７は、
画像データ１００上の黒画素の連結成分（黒画素が連続
している部分）を抽出し、類似した大きさの連結成分が
並ぶ領域を検出することによりテキスト領域を特定する
とともに、罫線で囲まれた領域を抽出することにより表
領域を特定し、さらに文字とも表とも判定されない連結
成分を図形領域として特定する。領域分割処理１０７
は、そのように画像データ１００を、テキスト領域、表
領域および図形領域にそれぞれ領域分割する。

【００１６】領域分割処理１０７により分割されたテキ
スト領域に対しては、行抽出、文字の切り出し、および
文字認識などの文字認識処理１０８を行う。そして、文
字認識処理１０８の結果を、画像データ出力制御部１０
９を用いて文字認識結果１０４として出力する。図形領
域に対しては圧縮などの画像処理１１０を行い、その画
像処理１１０の結果を、画像データ出力制御部１０９を
用いて図形データ１０３として出力する。また、表領域
に対しては、表内の罫線を検出することにより表の構造
を解析し、抽出された表が画像データを読み込んだ方向
かあるいは読み込んだ画像データを９０度回転した方向
かを判定するなどの表認識処理１１１を行う。そして、
画像データ出力制御部１０９を用いて、表の位置やサイ
ズ、表内の罫線の本数や位置などを表認識結果１０２と
して出力する。表内に存在する文字は、文字認識処理１
０８と同様の処理を行い、文字認識結果１０４として出
力する。

【００１７】図２および図３に、表が含まれている画像
データ１００の例を示す。図２に示した表は、画像デー
タ入力制御部１０５で読み込み、傾きを補正した画像デ
ータ１００である。図２に示した表は、画像データを読
み込んだ方向である所定方向（以下、「縦方向」とい
う）に記載された表である。一方、図３に示した表は、
読み込んだ画像データ１００に対して傾き補正を行った
ものであるが、画像データを読み込んだ方向に対して９
０度回転した方向（以下、「横方向」という）の表であ
る。ここで説明する例では、用紙の長手方向に画像を読
み込むようにしているので、「縦方向」は用紙の長手方
向になっているが、「縦方向」と「横方向」は相対的な
概念であり、必ずしも用紙の長手方向を「縦方向」とし
なくてもよい。画像データを読み込んだ方向を縦とし、
それを９０度回転した方向を横と見ればよい。

【００１８】図２および図３において、画像データ２０
０、画像データ２０２、画像データ３００、および画像
データ３０２は、テキストと表が混在している文書の例
である。画像データ２０１および画像データ３０１は、
表だけが記載されている文書の例である。画像データ２
０３および画像データ３０３は、１ページ中に複数の表
が存在する文書の例である。画像データ２０４、画像デ
ータ２０５、および画像データ２０６、並びに、画像デ
ータ３０４、画像データ３０５、および画像データ３０
６は、１つの表が複数ページにまたがって記載されてい
る文書の例である。また、これらの表内には、文字が書
かれている。

【００１９】次に、図４を用いて、図１の文書認識シス
テム１０１により、文書中に存在する表を抽出し、その
表の構造などを認識する表解析処理について説明する。

【００２０】処理 ４００：画像データ入力制御部１０
５は、テキスト、図、および表などが混在している画像
データ１００をイメージスキャナなどの入力装置を用い
て読み込み、読み込んだ画像データ１００の傾きを補正
する。傾きの補正に関しては、画像データ１００中に存
在する罫線を抽出して傾きを求め、その傾きに応じて画
像データを回転させることにより補正する方法などがあ
る。

【００２１】処理 ４０１：領域分割処理１０７におい
て、処理４００によって読み込まれた画像データ１００
に対し、表の外枠を構成する罫線を抽出し、表領域を求
める。表領域の検出処理は、図５で詳細に説明する。

【００２２】処理 ４０２：表認識処理１１１におい
て、処理４０１により求めた表領域内の罫線を抽出する
ことにより表の構造を求める。また、抽出された表が縦
方向かあるいは横方向かを判定する。表認識処理に関し
ては、図６を用いて詳細に説明する。

【００２３】処理 ４０３：処理４０２によって求めた
表の座標位置や大きさ、表内の罫線の数およびその座標
値、さらに、表の方向などの解析結果を、画像データ出
力制御部１０９によりプリンタなどを用いて表認識結果
１０２として出力する。

【００２４】以上が表を解析する処理の流れである。次
に、この表解析処理における表領域の抽出処理（処理４
０１）について、図５を用いて詳細に説明する。

【００２５】図５は、画像データ１００中に記載されて
いる表領域を抽出する処理の流れを示した図である。表
の外枠を形成する罫線は、一般的に、その表の上部およ
び下部に存在する横罫線、および左部および右部に存在
する縦罫線の計４直線で構成される。したがって、この
ような表領域はそれらの罫線を抽出することによって求
めることが可能となる。

【００２６】処理 ５００：処理４００で読み込まれた
画像データ１００において、画像データ１００上に存在
する黒ランのうち、縦あるいは横に細長く、ある一定の
長さ以上の黒ランを抽出し、縦長の黒ランを縦罫線とし
て、横長の黒ランを横罫線として求める。ここで求めた
縦罫線および横罫線は、表の外枠を形成する罫線や表の
構造を示す罫線であり、以下の処理に用いられる。

【００２７】処理 ５０１：処理５００において求めた
縦罫線および横罫線において、縦罫線の端点と横罫線の
端点が接している箇所を求め、表の外枠を形成する４角
を検出し、表領域を求める。

【００２８】縦罫線の場合、縦罫線の始点あるいは終点
と横罫線の始点あるいは終点とが接している横罫線を抽
出し、接している箇所を表領域を形成する外枠の角とす
る。画像データ１００を読み込んだ際に傾きなどが生
じ、傾き補正などにより表の外枠罫線であるにもかかわ
らず、縦罫線と横罫線とが接していない可能性があるの
で、縦罫線の始点あるいは終点と横罫線の始点あるいは
終点との距離がしきい値α（αは所定の値）以下の場
合、この横罫線は縦罫線に接しているものとみなす。

【００２９】横罫線の場合、横罫線の始点あるいは終点
と縦罫線の始点あるいは終点とが接している縦罫線を抽
出し、接している箇所を表領域を形成する外枠の角とす
る。縦罫線の場合と同様に、しきい値α以下の距離に縦
罫線が存在する場合、これらが接しているものとする。

【００３０】表の外枠を形成する４角は、上述の縦罫線
と横罫線の接続箇所を４ヶ所検出することにより求め
る。具体的には、画像データ１００の左上を原点とし
て、罫線の２端点の座標値が小さい方を始点、他方を終
点とした場合、縦罫線Ａの始点と始点が接している横罫
線Ｂを検出し、接している箇所を表領域を形成する左上
の角とする。抽出された横罫線Ｂの終点と始点が接して
いる縦罫線Ｃを検出し、接している箇所を表領域を形成
する右上の角とする。同様に、縦罫線Ｃの終点と終点
が、縦罫線Ａの終点と始点が接している横罫線Ｄを抽出
し、縦罫線Ａと横罫線Ｄの接している箇所を左下の角と
し、縦罫線Ｃと横罫線Ｄの接している箇所を右下の角と
する。このようにして表の外枠を形成する４角を求め、
これらに囲まれた領域を表領域とする。

【００３１】なお、画像データの入力時に傾きなどが生
じて、縦罫線と横罫線の端点の距離がしきい値α以上の
場合や、表の外枠を示す罫線が元々存在しない場合、外
枠４罫線と４角を抽出できないことがある。ここでは、
外枠４罫線と４角が抽出できない場合でも、縦罫線の端
点と横罫線の端点とが一ヶ所でも接している部分があれ
ば、その縦罫線と同じ高さでその横罫線と同じ幅の領域
は表領域とみなして、処理５０２に進むものとする。外
枠を示す罫線が全く検出できなかった場合は、処理５０
４に進む。

【００３２】処理 ５０２：処理５０１で抽出された表
領域において、その領域が複数存在する場合、表内の構
造を示す罫線が、誤って外枠罫線として抽出された可能
性がある。そこで、処理５０２では表領域の重複チェッ
クを行う。まず、抽出された表領域のすべてに対して、
表領域を囲む矩形領域の４角の座標値を検出する。そし
て、その４角内に別の表領域が存在するか否かを検出す
る。例えば、第１の表領域の４角内に別の第２の表領域
が検出された場合、第１の表領域が第２の表領域を含む
ということだから、第２の表領域として抽出された縦罫
線および横罫線は、第１の表領域内の表の構造を示す罫
線とみなせる。そこで、この場合は、第１の表領域を残
し、第２の表領域については表領域として特定しない。

【００３３】処理 ５０３：１つの画像データに１つの
表が存在する場合、その表内に書かれた文字は、表の構
造を示す罫線に囲まれた領域（セル）内に存在する。し
かし、画像データ２０５のように表が複数ページにまた
がって存在する場合、セルが前ページから続いており、
さらに次ページへと続き、各ページ毎に見るとページ内
の表の外枠が罫線で閉じてない場合がある。このような
表の場合、処理５０２で抽出された表領域と平行でかつ
同じ幅あるいは同じ高さの罫線を抽出し、処理５０２で
抽出された表領域をここで抽出した罫線まで拡大する必
要がある。処理５０３では、その処理を行う。例えば、
画像データ２０５の場合、処理５０２で抽出された表領
域は２０７になる。しかし、この表は前ページ２０４か
ら続いているため、処理５０３では、表領域２０７と縦
方向に平行である罫線２０８もこの表領域に含まれるも
のとみなし、表領域を罫線２０８を含む領域に拡大す
る。

【００３４】処理 ５０４：処理５０３と同様に、セル
が前ページから続いており、あるいは次ページへと続く
場合、そのページにおける表の外枠を表す罫線が、処理
５０１では全く検出できないことがある。このような場
合、処理５００で検出した縦罫線および横罫線を用い
て、平行する罫線を抽出することにより表の外枠を求め
る。ただし、平行する罫線が３本以上存在する場合は、
セルを区切る罫線も含まれているとみなせるので、平行
する２つの罫線で囲まれた領域が最大のものを表領域と
し、その２つの罫線を表の外枠を形成する罫線とする。
例えば、画像データ３０５の場合、処理５０２では表領
域を抽出できないので、処理５０２から処理５０４に進
む。そして、処理５０４では、画像データ３０５中の平
行する罫線を抽出し、平行する２つの罫線で囲まれた領
域が最大のものを表領域とする。

【００３５】以上説明した処理により、表領域を検出す
る。次に、表のセル構造と表の方向を求める処理（処理
４０２）について、図６を用いて説明する。

【００３６】処理 ６００：ここでは、処理５０３およ
び処理５０４で抽出された表領域内におけるセルの構造
を求める。セルは一般的に罫線で区切られている場合が
多いため、その罫線を抽出することによりセルを抽出す
る。セルの抽出は、例えば「表認識方式」（特願平07-1
49497号）などに開示されている方法を用いて行う。こ
こでは、表の外枠に接している罫線を抽出し、さらに抽
出された罫線または外枠に接している別の罫線を抽出す
る。この処理を繰り返し行い、罫線で区切られた領域を
求め、セルの領域とする。

【００３７】処理 ６０１：処理６００で求めた表が縦
方向の表かあるいは横方向の表かを判定する。表の縦横
判定処理については、図７で詳細に説明する。

【００３８】図７を用いて、処理４０１で抽出された表
が縦方向の表かあるいは横方向の表かを判定する処理６
０１の流れを詳細に説明する。

【００３９】処理 ７００：画像データ２０４や画像デ
ータ３０４などのように１つの表が複数ページにまたが
って記載されている場合、表を形成する外枠の４罫線の
全てが存在するとは限らない場合もある。例えば、縦方
向の画像データ２０４は、次のページにつながっている
ために、下端部分２０９の横罫線が欠落している。ま
た、次ページの画像データ２０５の上端部分２１０は、
前ページからの続きであるため、横罫線が欠落してい
る。一方、横方向の表が記載された画像データ３０４
は、次ページに続いているため、右端部分３０７の縦罫
線が欠落している。また、次ページの画像データ３０５
は、左端部分３０８が前ページからの続きであるため、
縦罫線が欠落している。このように、抽出された表領域
の外枠を示す罫線を検出すると同時に、欠落している罫
線を見つけることにより、上横罫線あるいは下横罫線が
欠落してる場合は縦方向の表であり、左縦罫線あるいは
右縦罫線が欠落している場合は横方向の表であると判定
することができる。処理７００ではこのような判定を行
う。欠落罫線の抽出方法は、図８を用いて詳細に説明す
る。表の外枠の４罫線が全て抽出されたら（すなわち外
枠に欠落罫線がなかったとき）、処理７０１に進む。処
理７００で欠落罫線が検出され、縦方向の表と判定され
たら処理７０４へ、横方向の表と判定されたら処理７０
５へ、それぞれ進む。この処理７００により、図２
（ｃ）や図３（ｃ）に示した表の方向が判定できる。

【００４０】処理 ７０１：処理７００で表の方向が判
定されなかった画像データに対して、表領域の位置判定
を行う。

【００４１】画像データ中に複数の表が存在している画
像データ２０３のような場合、処理４０１の領域分割で
抽出される表領域は、ページ幅一杯に記述されており、
上下の位置に現れる。また、画像データ３０３のような
場合、処理４０１の領域分割で抽出される表領域は、ペ
ージ高さ一杯に記述されており、左右の位置に現れる。
そこで、処理４０１で抽出された表領域が複数存在する
場合、この領域がページ幅一杯に記述されて、上下に並
んでいれば縦方向と判定し、処理７０４に進む。また、
この領域がページ高さ一杯に記述されて、左右に並んで
いれば横方向と判定し、処理７０５に進む。画像データ
中に表が１つしか存在ない場合や、上下あるいは左右の
位置関係が判定できない場合は、処理７０２に進む。以
上の処理７０１により、図２（ｂ）や図３（ｂ）に示し
た表の方向が判定できる。

【００４２】なお、処理７０１では複数の表領域の位置
関係が上下あるいは左右になることに基づいてその表の
方向を判定しているが、さらに領域分割処理１０７によ
りテキスト領域、図形領域、および表領域を求めた際、
表領域と他の領域（テキスト領域や図形領域）の位置関
係に対しても同様に上下あるいは左右の位置判定を施す
ことにより、抽出された表の方向を判定することが可能
となる。例えば、図２（ａ）の画像データ２０１ではテ
キスト領域が上にあって表領域が下にあるので表の方向
を縦方向と判定できる。また、図３（ａ）の画像データ
３０１ではテキスト領域が左にあって表領域が右にある
ので表の方向を横方向と判定できる。

【００４３】処理 ７０２：処理４０１により抽出され
た表領域において、その表領域が画像データ１００中の
どの位置に記載されているかにより、表の方向を判定す
る。表の座標位置判定については、図９で詳しく説明す
る。表の座標位置判定で表の方向が縦方向と判定された
場合、処理７０４に進む。また、横方向と判定された場
合、処理７０５に進む。ここで判定できなかった場合
は、処理７０３に進む。以上の処理７０２により、図２
（ａ）の画像データ２００や図３（ａ）の画像データ３
００の表の方向が判定できる。

【００４４】処理 ７０３：処理７００から処理７０２
までの判定処理で、表の方向が判定できなかった表領域
に対して、文字認識を用いて方向を判定する。ここで縦
方向と判定された場合、処理７０４に進む。また、横方
向と判定された場合、処理７０５に進む。双方とも判定
不可能の場合は、エラーとして処理を終了する。文字認
識による判定については、図１１で詳細に説明する。以
上の処理７０３により、図２（ａ）の画像データ２０
１，２０２や図３（ａ）の画像データ３０１，３０２の
表の方向が判定できる。

【００４５】処理 ７０４：処理７００から処理７０３
において縦方向と判定された表に対して、判定結果を画
像データ出力制御部１０９を用いて表認識結果１０２と
して出力する。

【００４６】処理 ７０５：処理７０４と同様に、横方
向と判定された表に対して、判定結果を画像データ出力
制御部１０９を用いて表認識結果１０２として出力す
る。

【００４７】次に、図８を用いて欠落罫線の抽出方法を
説明する。本図は、画像データ２０４のように、１つの
表が複数ページにまたがっており、次ページにつながる
箇所８００の罫線が欠落している表を示している。この
ような画像データ８０１に対して、処理４０１により表
領域を抽出し、抽出された表領域の外接矩形付近に罫線
が存在するか否かをチェックする。抽出された表領域の
外接矩形を構成する４辺の線分を中心に所定の幅８０２
内を罫線検出箇所８０３（図の斜線部分）とし、この罫
線検出箇所８０３内に存在する罫線を検出する。本図の
場合、表の外枠下部分８００においては、罫線が存在し
ないため抽出不可能となり、この表は下横罫線が存在し
ない表として判定される。

【００４８】図９と図１０を用いて、画像データ中で表
領域が占める位置によりその表が縦方向かあるいは横方
向かを判定する処理について説明する。ただし、読み込
んだ画像データ中の表が縦方向の場合、ページ幅一杯に
記述されているものとし、横方向の場合、ページの高さ
一杯に記述されているものとする。

【００４９】処理 ９００：処理４０１で抽出された表
領域において、当該表領域の左端および右端に存在する
外枠の線分が所定の範囲内に存在するか否かをチェック
する。

【００５０】図１０に示した画像データ１０００は、処
理４００で読み込まれた画像データ１００の一例であ
る。画像データ中には、上下左右の縁に余白が存在する
ので、読み込んだ画像データ１０００中の上マージン１
００１、下マージン１００２、右マージン１００３、お
よび左マージン１００４を考慮する。これらの余白に囲
まれた領域内において、左端から所定の幅１００５を持
つ外枠罫線左抽出箇所１００６と右端から所定の幅１０
０５と同じ長さの幅１００７を持つ外枠罫線右抽出箇所
１００８を設定する。抽出された表１００９の外枠左端
の線分１０１０が外枠罫線左抽出箇所１００６内に存在
し、かつ、抽出された表１００９の外枠右端の線分１０
１１が外枠罫線右抽出箇所１００８に存在するか否かを
チェックする。

【００５１】処理 ９０１：処理９００と同様に、処理
４０１で抽出された表領域において、当該表領域の上端
および下端に存在する外枠の線分が所定の範囲内に存在
するか否かをチェックする。

【００５２】図１０に示した画像データ１０１２は、処
理４００で読み込まれた画像データ１００の一例であ
る。処理９００と同様に、上下左右の縁である余白を除
いた領域において、上端から所定の高さ１０１３を持つ
外枠罫線上抽出箇所１０１４と下端から所定の高さ１０
１３と同じ長さの高さ１０１５を持つ外枠罫線下抽出箇
所１０１６を設定する。抽出された表１０１７の外枠上
端の線分１０１８が外枠罫線上抽出箇所１０１４内に存
在し、かつ、抽出された表１０１７の外枠下端の線分１
０１９が外枠罫線下抽出箇所１０１６に存在するか否か
をチェックする。

【００５３】処理 ９０２：処理９００および処理９０
１のチェック結果を用いて、表領域の方向判定を行う。
処理９００において、外枠罫線左抽出箇所１００６およ
び外枠罫線右抽出箇所１００８に表の外枠の左右端の線
分が存在することが検出された場合には、抽出された表
は縦方向であると判定する。また、処理９０１におい
て、外枠罫線上抽出箇所１０１４および外枠罫線下抽出
箇所１０１６に表の外枠の上下端の線分が存在すること
が検出された場合には、抽出された表は横方向であると
判定する。

【００５４】なお、図１０の画像データ１０２０のよう
に、処理９００および処理９０１の双方で表領域の外枠
が存在すると判定されるような場合もある。このような
処理９００および処理９０１の双方で表領域の外枠が存
在すると判定された場合や、双方とも表領域の外枠が存
在しないと判定された場合は、方向の判定が不可能とす
る。

【００５５】図１１を用いて、文字認識判定処理の流れ
について説明する。処理７００から処理７０２の判定処
理を行っても、抽出された表が縦方向か横方向か判定で
きない場合がある。例えば、表の外枠罫線がすべて存在
し、画像データ全面に表領域が記載されている画像デー
タでは、表を構成する外枠罫線の欠落箇所や、表領域の
位置などから方向を判定することは難しい。具体的に
は、画像データ全面に表が存在する画像データ２０１や
画像データ３０１、画像データの端の方に表が存在する
画像データ２０２や画像データ３０２などである。そこ
で、表内に存在する文字を縦方向および横方向の双方に
関して文字認識を行い、認識結果の良好な方をその表の
方向であると判定する。

【００５６】処理 １１００：画像データ１００に対し
て処理６００で検出した表内の全セルについてセル内の
文字が書かれている領域の面積を求めることにより、文
字認識を行うセルを決定する。具体的なセルの決定方法
は、まず、セル内において連結成分（黒ランの集まり）
を抽出し、その外接矩形の面積の合計を求める。すべて
のセルについてこれらの処理を行い、面積が最大のセル
を求め、そのセルを文字認識判定用セルと決定する。例
えば図１２に示す表１２００の場合、黒画素が占める面
積が最大になるセルは１２０１であるから、このセル１
２０１を文字認識判定用セルとする。

【００５７】処理 １１０１：処理１１００で求めた文
字認識判定用セル１２０１内において、文字認識処理を
行う。この文字認識処理は、この表が縦方向であるとし
て文字認識を行うものである。セル内の連結成分を抽出
し、行抽出、文字切り出しなどを行い文字を認識する方
法としては、例えば「文字認識方法」（特開平05-25051
8号）に開示されている方法を用いる。

【００５８】処理 １１０２：横方向に向いた表の文字
認識判定用セル内の文字を認識するため、画像データ１
００を時計廻りに９０度回転する。図１２の表１２０２
は、表１２００を９０度回転した表である。文字認識判
定用セル１２０１は、画像データを９０度回転すると１
２０３の位置になる。

【００５９】処理 １１０３：処理１１０１と同様に、
処理１１０２で求めた文字認識判定用セル１２０３内に
おいて、文字認識処理を行う。この文字認識処理は、こ
の表が横方向であるとして文字認識を行うものである。

【００６０】処理 １１０４：処理１１０１および処理
１１０３で文字認識した結果、文字の認識率が良い方を
表の方向とする。認識率が処理１１０１の方が良い場
合、表は縦方向であり、また、処理１１０３の方が良い
場合、横方向であるとする。ここでは、文字認識を行っ
た結果の認識率を用いて表の方向を判定したが、単語処
理で評価する方法を用いてもよい。この方法は、文字認
識結果の文字列から単語を抽出し、より多く単語が抽出
された方向をその表の方向と判定するものである。

【００６１】

【発明の効果】以上述べたように、本発明によれば、テ
キスト、図、および表などが混在している文書から表を
抽出し、その表が読み込んだ所定の方向（第１の方向）
であるか、あるいは画像データを９０度回転した方向
（第２の方向）であるかを容易に判定することが可能と
なる。したがって、ページ内に１つの表領域と図形やテ
キストなどの他の領域が存在する場合、ページ内に複数
の表領域が存在する場合、および複数頁にまたがって表
が存在する場合などに、その表の方向を正しく判定する
ことが可能になる。

【図面の簡単な説明】

【図１】本発明に係る文書認識の流れを示す図

【図２】縦方向の表の例を示す図

【図３】横方向の表の例を示す図

【図４】表解析処理の流れを示す図

【図５】表領域の検出処理の流れを示す図

【図６】表認識処理の流れを示す図

【図７】表の縦横方向検出処理の流れを示す図

【図８】表の外枠罫線の検出範囲を示す図

【図９】表の座標位置による判定処理の流れを示す図

【図１０】表の外枠判定の方式を示す図

【図１１】文字認識判定処理の流れを示す図

【図１２】９０度回転した表内のセルの位置を示す図

【符号の説明】

１００：画像データ、１０１：文書認識システム、１０
２：表認識結果のデータ、１０３：図形データ、１０
４：文字認識結果のデータ、１０５：画像データ入力制
御部、１０６：認識制御部、１０９：画像データ出力制
御部、２０５：複数ページにまたがって表示されている
表の一部で、上下の横罫線が存在しない表、３０５：複
数ページにまたがって表示されている横方向の表の一部
で、表の左右の縦罫線が存在しない表、１２０１：縦方
向の表内に存在する文字認識の対象となるセル領域、１
２０３：横方向の表内に存在する文字認識の対象となる
セル領域。

Claims (6)

【特許請求の範囲】
1. 【請求項１】テキストや図や表が混在している文書の画
   像データに対して、テキスト領域、図形領域、および表
   領域の抽出や、テキスト領域の文字認識、表領域の構造
   解析および文字認識を行う文書認識システムにおける表
   認識方法であって、 前記画像データから黒画素の集まりにより形成された罫
   線を抽出するステップと、 抽出された罫線から表の外枠を表す罫線を抽出すること
   により表領域を求めるステップと、 抽出された表が所定の方向である第１の方向かあるいは
   これを９０度回転した第２の方向であるかを、文書中に
   占める該表領域の位置に関する情報または大きさに関す
   る情報に基づいて、判定するステップとを備えたことを
   特徴とする表認識方法。
2. 【請求項２】前記請求項１において、前記第１の方向か
   第２の方向かを判定するステップは、前記求めた表領域
   の座標位置が文書中の上端あるいは下端であるか、また
   は左端あるいは右端であるかを判定することにより、求
   めた表領域が前記第１の方向かまたは前記第２の方向か
   を判定することを特徴とする表認識方法。
3. 【請求項３】前記請求項１において、前記第１の方向か
   第２の方向かを判定するステップは、前記求めた表領域
   と同文書内に存在する別の表領域または表領域以外の他
   の領域との位置関係を調べ、上下に並んでいるか、また
   は左右に並んでいるかを判定することにより、求めた表
   領域が前記第１の方向かまたは前記第２の方向かを判定
   することを特徴とする表認識方法。
4. 【請求項４】前記請求項１において、前記第１の方向か
   第２の方向かを判定するステップは、前記求めた表領域
   の表を形成する罫線の部分的な欠落を検出し、該欠落罫
   線の位置が表の外枠の上あるいは下であるか、または該
   欠落罫線の位置が表の外枠の左あるいは右であるかを判
   定することにより、求めた表領域が前記第１の方向かま
   たは前記第２の方向かを判定することを特徴とする表認
   識方法。
5. 【請求項５】前記請求項１において、前記第１の方向か
   第２の方向かを判定するステップは、前記求めた表領域
   内の罫線で区切られた所定領域内の文字要素を抽出し、
   該文字要素に対して前記第１の方向と前記第２の方向の
   それぞれの方向に対して文字認識を行い、その文字認識
   結果の評価により、求めた表領域が前記第１の方向かま
   たは前記第２の方向かを判定することを特徴とする表認
   識方法。
6. 【請求項６】テキストや図や表が混在している文書の画
   像データに対して、テキスト領域、図形領域、および表
   領域の抽出や、テキスト領域の文字認識、表領域の構造
   解析および文字認識を行う文書認識システムで用いる表
   認識装置であって、 前記画像データから黒画素の集まりにより形成された罫
   線を抽出する手段と、 抽出された罫線から表の外枠を表す罫線を抽出すること
   により表領域を求める手段と、 抽出された表が所定の方向である第１の方向かあるいは
   これを９０度回転した第２の方向であるかを、文書中に
   占める該表領域の位置に関する情報または大きさに関す
   る情報に基づいて判定する手段とを備えたことを特徴と
   する表認識装置。