JP3443141B2 - 画像傾き検出方法及び表処理方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、イメージスキャナ等の
画像入力機器によって入力した文書もしくは帳票（これ
らを本明細書では文書類と総称する）の画像の処理に係
り、特に、罫線を含む文書類の画像の傾きの検出及び画
像中の表領域の処理に関する。

【０００２】

【従来の技術】文字認識装置において文書類の画像を処
理する場合、入力された画像が傾いていると認識率等に
悪い影響がある。複写機やファクシミリ装置、スキャナ
等の画像入力装置一般においても、入力画像の傾きは好
ましくない。

【０００３】入力した文書画像の傾きを検出する方法と
して、文書画像より文字塊ブロックを抽出し、文字塊ブ
ロック間の配置関係や中心等の特徴から、傾きを求める
方法が知られている（特開平３−６２２８４号）。

【０００４】

【発明が解決しようとする課題】しかし、特開平３−６
２２８４号の方法は、文字塊を抽出できること、つまり
入力画像中に文字が存在することが前提である。このた
め、罫線のフォーマットデータのみからなる画像の傾き
を検出することができない。

【０００５】よって本発明の目的は、罫線を含む入力画
像の傾きを、それに文字が含まれているか否かを問わず
に、検出することができる画像傾き検出方法を提供する
ことにある。本発明のもう一つの目的は、傾いて入力さ
れた画像上の表中の文字を正確に認識できる表処理方法
を提供することにある。

【０００６】

【課題を解決するための手段】請求項１の発明は、入力
画像上の一定値以上の長さの黒ランを抽出し、抽出した
黒ランで予め定められた距離内にある黒ランを、それら
全てを包含する矩形に統合し、この黒ランの統合の際に
統合される黒ランの相互の位置関係によって入力画像の
傾きの方向を判定し、さらに、矩形の内部の黒画素数を
該矩形の長手方向のサイズで除した値を、該矩形の短手
方向のサイズより減算し、該減算後のサイズと該矩形の
長手方向のサイズとから、入力画像の傾き角度を求める
ことを特徴とするものである。

【０００７】請求項２の発明は、入力画像上の一定値以
上の長さの黒ランを抽出し、抽出した黒ランで予め定め
られた距離内にある黒ランを、それら全てを包含する矩
形に統合し、黒ランを統合した矩形で予め定められた距
離内にあるものを、それら全てを包含する罫線矩形に統
合し、前記矩形の統合の際に統合される矩形の相互の位
置関係によって、入力画像の傾きの方向を判定し、さら
に、罫線矩形の内部の黒画素数を該罫線矩形の長手方向
のサイズで除した値を、該罫線矩形の短手方向のサイズ
より減算し、該減算後のサイズと該罫線矩形の長手方向
のサイズとから、入力画像の傾き角度を求めることを特
徴とするものである。

【０００８】請求項３の発明は、入力画像上の一定値以
上の長さの黒ランを抽出し、抽出した黒ランで予め定め
られた距離内にある黒ランを、それら全てを包含する矩
形に統合し、黒ランを統合した矩形で予め定められた距
離内にあるものを、それら全てを包含する罫線矩形に統
合し、前記黒ランの統合の際に統合される黒ランの相互
の位置関係、及び、前記矩形の統合の際に統合される矩
形の相互の位置関係によって、入力画像の傾きの方向を
判定し、さらに、罫線矩形の内部の黒画素数を該罫線矩
形の長手方向のサイズで除した値を、該罫線矩形の短手
方向のサイズより減算し、該減算後のサイズと該罫線矩
形の長手方向のサイズとから、入力画像 の傾き角度を求
めることを特徴とするものである。

【０００９】請求項４の発明は、請求項１乃至３のいず
れか１項に記載の画像傾き検出方法によって入力画像の
傾きの方向及び角度を検出し、該検出した傾きの方向及
び角度に基づいて該入力画像の傾きを補正した画像を作
成し、該傾き補正画像より罫線の矩形を抽出し、該抽出
した罫線の矩形の座標より表の枠を認識し、該認識した
枠の内部の文字画像を該傾き補正画像より切り出して文
字認識をすることを特徴とするものである。

【００１０】

【作用】請求項１乃至３の発明によれば、入力画像上の
罫線を基準として、画像の傾き方向を検出でき、さらに
入力画像の傾きの角度も検出できる。このように、入力
画像上に罫線が存在すれば、入力画像の傾きを的確に検
出することができるため、例えば、文字が存在しない表
のみの帳票等でも、その画像の傾き検出が可能となる。

【００１１】具体的には、請求項１または２の発明で
は、黒ランの統合の際に統合される黒ランの位置関係、
または黒ランの統合矩形の統合の際に統合される矩形の
位置関係に基づいて画像の傾きを検出するが、黒ランの
矩形統合や、その矩形の統合処理は表処理で一般に必要
な処理ステップであるため、表処理に適用するのに無駄
のない合理的な方法である。

【００１２】請求項３の発明では、罫線を構成する黒ラ
ンの位置関係に加えて、罫線を構成する黒ランの統合矩
形の位置関係を利用して、傾き方向判定に利用する。し
たがって、黒ランの位置関係のみを利用した方法に比
べ、より正確な傾き方向検出が可能である。

【００１３】さらに、請求項１乃至３の発明では、黒ラ
ンまたは矩形の始点及び終点の座標の大小関係に基づ
き、極めて単純なルールで傾き方向を判定することがで
きる。また、入力画像の傾きによる黒ラン統合矩形また
はその統合矩形の太りを考慮して、入力画像の傾き角度
を精度よく検出することができる。

【００１４】請求項４の発明によれば、入力画像の傾き
を検出して、入力画像の傾きを補正してから罫線を抽出
して表の枠を認識し、枠内の文字画像を傾き補正画像か
ら切り出すので、傾いて入力された画像上の表中の文字
を正確に認識することができる。

【００１５】

【実施例】以下、本発明の実施例について図面を用い説
明する。

【００１６】＜実施例１＞ 図１は、本実施例を説明するためのブロック図である。
図１において、２値画像入力部（イメージスキャナ等）
１０１によって、罫線を含む文書類の画像が読み取られ
２値イメージデータとして入力される。入力画像の２値
イメージデータは、２値イメージメモリ１０２に格納さ
れる。

【００１７】黒ラン抽出部１０３は、２値イメージメモ
リ１０２内の２値イメージデータをスキャンし、主走査
方向または副走査方向に一定値以上の長さを持つ黒ラン
を抽出する。そして、抽出した黒ランのデータ（始点、
終点の座標）を黒ランメモリ１０４に格納する。

【００１８】矩形統合部１０５において、黒ランメモリ
１０４内の黒ランデータを参照し、主走査方向または副
走査方向に長い黒ランに対して、予め定められた距離の
範囲内にある黒ランを、それらを全て包含する矩形に統
合する処理を行ない、黒ランの統合矩形のデータ（頂点
座標等）を矩形メモリ１０６に格納する。また、統合す
る１対の黒ランのデータ（始点、終点の座標）を矩形メ
モリ１０６の特定領域へ格納する。

【００１９】傾き検出部１０７は、矩形統合部による黒
ランの統合処理中に、統合される黒ランのペアのデータ
を矩形メモリ１０６内の特定領域より受け取って、統合
される黒ランのペアの相互の位置関係を調べることによ
って、２値画像入力部１０１に対する相対的な入力画像
の傾きの方向を判定する。この傾き方向の判定方法の例
を次に示す。

【００２０】（例１）主走査方向罫線に着目した方法 主走査方向の黒ランの統合の際に、図２に示すように、
統合される主走査方向の長い２本の黒ランＬＨ１，ＬＨ
２の始点または終点のＸ座標を比較する。図２（ａ）に
示すように、上側の黒ランＬＨ１の始点のＸ座標（ｘｓ
１）と下側の黒ランＬＨ２の始点のＸ座標（ｘｓ２）と
の関係が ｘｓ１＜ｘｓ２ ならば「右下がり」と判定
し、また図２（ｂ）に示すように 黒ランＬＨ１の終点
のＸ座標（ｘｅ１）と黒ランＬＨ２の終点のＸ座標（ｘ
ｅ２）が ｘｅ１＞ｘｅ２ ならば「右上がり」と判定す
る。そのいずれでもない場合には、傾きなしと判定す
る。

【００２１】なお、この判定を、統合される黒ランの複
数ペアについて行ない、例えば、各ペアの判定結果の多
数決により最終的な判定結果を決めてもよい。あるい
は、右下がり、右上がりのそれぞれの判定回数をカウン
トし、所定値に先に到達した傾き方向を最終的な判定結
果としてもよい。

【００２２】（例２）副走査方向罫線に着目した方法 副走査方向の黒ランの統合の際に、図３に示すように、
統合される副走査方向の長い２本の黒ランＬＶ１，ＬＶ
２の始点または終点のＹ座標を比較する。図３（ａ）に
示すように、右側の黒ランＬＶ１の始点のＹ座標（Ｙｓ
１）と下側の黒ランＬＶ２の始点のＹ座標（Ｙｓ２）と
の関係が Ｙｓ１＜Ｙｓ２ ならば「右下がり」と判定
し、また図３（ｂ）に示すように、黒ランＬＶ１の終点
のＹ座標（Ｙｅ１）と黒ランＬＶ２の終点のＹ座標（Ｙ
ｅ２）が、 Ｙｅ１＞Ｙｅ２ ならば「右上がり」と判定
する。そのいずれでもない場合には、傾きなしと判定す
る。

【００２３】なお、この判定を、統合される黒ランの複
数ペアについて行ない、例えば、各ペアの判定結果の多
数決により最終的な判定結果を決めてもよい。あるい
は、右下がり、右上がりのそれぞれの判定回数をカウン
トし、所定値に先に到達した傾き方向を最終的な判定結
果としてもよい。

【００２４】また、主走査方向の黒ランの統合矩形と副
走査方向の黒ランの統合矩形の両方が得られる場合に、
主、副各走査方向の黒ランによる傾き判定の結果が一致
した場合に判定結果を有効とし、不一致の場合に判定不
能とする等の方法を採ることもできる。あるいは、主、
副走査各方向の判定結果の確からしさを求めておき、各
方向の判定結果が不一致のときには、確からしさの高い
方の判定結果を最終判定結果とする等の方法をとること
ができる。

【００２５】＜実施例２＞ 図４は、本実施例を説明するためのブロック図である。
図４において、２値画像入力部（イメージスキャナ等）
４０１によって、罫線を含む文書類の画像が読み取られ
２値イメージデータとして２値イメージメモリ４０２に
格納される。

【００２６】黒ラン抽出部４０３は、２値イメージメモ
リ４０２内の２値イメージデータをスキャンし、主走査
方向または副走査方向に一定値以上の長さを持つ黒ラン
を抽出する。そして、抽出した黒ランのデータ（始点、
終点の座標）を黒ランメモリ４０４に格納する。

【００２７】矩形統合部４０５において、黒ランメモリ
４０４内の黒ランデータを参照し、主走査方向または副
走査方向に長い黒ランに対して、予め定められた距離の
範囲内にある黒ランを、それらを全て包含する矩形に統
合する処理を行ない、黒ランの統合矩形のデータ（頂点
座標等）を矩形メモリ４０６に格納する。

【００２８】このような主、副各走査方向の黒ランの統
合処理によって、罫線を構成する黒ランの殆どを統合す
ることができる。しかし、イメージスキャナ等で入力し
た文書類の画像では、罫線の交差、罫線のかすれ等によ
って、罫線の切れが生じることが少なからずある。

【００２９】このような切れを補正して本来の罫線を抽
出するため、罫線矩形抽出部４０７において、矩形メモ
リ４０６内の主走査方向黒ランの統合矩形及び副走査方
向黒ランの統合矩形のそれぞれに対して、罫線矩形統合
を行なう。すなわち、主走査方向の長い黒ランの統合矩
形について、予め定められた距離の範囲内にある矩形
を、それら全て包含する矩形（主走査方向罫線矩形）に
統合する。同様に、副走査方向に長い黒ランの統合矩形
について、予め定められた距離の範囲内にある矩形を、
それら全てを包含する矩形（副走査方向罫線矩形）に統
合する。そして、抽出した罫線矩形のデータ（頂点座標
等）を罫線矩形メモリ４０８に格納する。また、統合す
る矩形のデータ（頂点座標等）を、罫線矩形メモリ４０
８の特定領域に格納する。

【００３０】傾き検出部４０９において、矩形統合部４
０４及び罫線矩抽出部４０７の統合処理の際に、黒ラン
メモリ４０４内のデータ及び罫線矩形メモリ４０８内の
特定領域のデータを参照し、統合された黒ランのペアの
位置関係及び統合された矩形のペアの位置関係を調べる
ことによって、２値画像入力部４０１に対する相対的な
入力画像の傾きの方向を判定する。この傾き方向の判定
方法の例を次に示す。

【００３１】（例１）主走査方向罫線に着目した方法 主走査方向の長い黒ランの矩形統合の際、統合される黒
ランのペアについて、前記実施例１におけると同様に、
上側の黒ランの始点または終点のＸ座標と下側の黒ラン
の始点または終点のＸ座標との大小関係により、傾きの
方向を判定する（図２参照）。

【００３２】また、主走査方向の罫線矩形統合の際に、
図５に示すように、統合される１対の矩形（黒ランの統
合矩形）ＲＨ１，ＲＨ２それぞれの始点または終点のＸ
座標の大小関係により、傾きの方向を判定する。上側の
矩形ＲＨ１の始点（左上頂点）のＸ座標（Ｘｓ１）と下
側の矩形ＲＨ２の始点のＸ座標（Ｘｓ２）が、図５
（ａ）に示すように、Ｘｓ１＜Ｘｓ２の関係のときに
は、傾きの方向を「右下がり」と判定する。また、図５
（ｂ）に示すように、矩形ＲＨ１の終点（右下頂点）の
Ｘ座標（ｘｅ１）と矩形ＲＨ２の終点のＸ座標（ｘｅ
２）が、Ｘｅ１＞Ｘｅ２ の関係のときには、傾きの方
向を「右上がり」と判定する。以上のいずれの関係でも
ないときには、傾きなしと判定する。

【００３３】そして、黒ランによる判定結果と、矩形に
よる判定結果とが一致した場合に、その判定結果を最終
的な判定結果とする。

【００３４】なお、矩形による判定を統合される矩形の
複数ペアについて行ない、例えば、各ペアの判定結果の
多数決を判定結果としてもよい。あるいは、右下がり、
右上がりのそれぞれの判定回数をカウントし、所定値に
先に到達した傾き方向を判定結果としてもよい。

【００３５】（例２）副走査方向罫線に着目した方法 副走査方向の長い黒ランの矩形統合の際、統合される黒
ランのペアについて、前記実施例１におけると同様に、
右側の黒ランの始点のＹ座標と左側の黒ランの始点のＹ
座標との大小関係により、傾きの方向を判定する（図３
参照）。

【００３６】また、副走査方向の罫線矩形統合の際に、
図６に示すように、統合される１対の矩形（黒ランの統
合矩形）ＲＶ１，ＲＶ２それぞれの始点または終点のＹ
座標の大小関係により、傾きの方向を判定する。右側の
矩形ＲＶ１の始点（右上頂点）のＹ座標（Ｙｓ１）と左
側の矩形ＲＶ２の始点のＹ座標（Ｙｓ２）が、図６
（ａ）に示すように、Ｙｓ１＜Ｙｓ２の関係のときに
は、傾きの方向を「右下がり」と判定する。また、図６
（ｂ）に示すように、矩形ＲＶ１の終点（左下頂点）の
Ｙ座標（Ｙｅ１）と矩形ＲＶ２の終点のＹ座標（Ｙｅ
２）が、Ｙｅ１＞Ｙｅ２ の関係のときには、傾きの方
向を「右上がり」と判定する。以上のいずれの関係でも
ないときには、傾きなしと判定する。

【００３７】そして、黒ランによる判定結果と、矩形に
よる判定結果とが一致した場合に、その判定結果を最終
的な判定結果とする。

【００３８】なお、矩形による判定を統合される矩形の
複数ペアについて行ない、例えば、各ペアの判定結果の
多数決を判定結果としてもよい。あるいは、右下がり、
右上がりのそれぞれの判定回数をカウントし、所定値に
先に到達した傾き方向を判定結果としてもよい。

【００３９】また、主走査方向罫線と副走査方向罫線の
両方が得られる場合に、主、副各走査方向の罫線に着目
した傾き判定の結果が一致した場合に判定結果を有効と
し、不一致の場合に判定不能とする等の方法を採ること
もできる。あるいは、主、副走査各方向の判定結果の確
からしさを求めておき、各方向の判定結果が不一致のと
きには、確からしさの高い方の判定結果を最終判定結果
とする等の方法をとることもできる。

【００４０】＜実施例３＞ 図７は、本実施例を説明するためのブロック図である。
図７において、２値画像入力部（イメージスキャナ等）
７０１によって、罫線を含む文書類の画像が読み取られ
２値イメージデータとして入力される。入力画像の２値
イメージデータは、２値イメージメモリ７０２に格納さ
れる。

【００４１】黒ラン抽出部７０３は、２値イメージメモ
リ７０２内の２値イメージデータをスキャンし、主走査
方向または副走査方向に一定値以上の長さを持つ黒ラン
を抽出する。そして、抽出した黒ランのデータ（始点、
終点の座標）を黒ランメモリ７０４に格納する。

【００４２】矩形統合部７０５において、黒ランメモリ
７０４内の黒ランデータを参照し、主走査方向または副
走査方向に長い黒ランに対して、予め定められた距離の
範囲内にある黒ランを、それらを全て包含する矩形に統
合する処理を行ない、黒ランの統合矩形のデータ（頂点
座標等）を矩形メモリ７０６に格納する。また、統合す
る１対の黒ランのデータ（始点、終点の座標）を矩形メ
モリ７０６の特定領域へ格納する。

【００４３】傾き条件判定部部７０８は、矩形メモリ７
０６内の矩形のデータを参照し、主走査方向及び副走査
方向の統合矩形中で最も長い矩形を抽出する。その矩形
を、本実施例では、最も精度の高い罫線、あるいは文書
類上の表を代表する罫線とみなして、以下に述べるよう
な方法で傾きを判定する。

【００４４】まず、最も長い矩形として抽出した罫線の
範囲内について、黒ラン抽出部７０３で黒ラン抽出を再
度実行し、ここで抽出された黒ランについて矩形統合部
７０５で矩形統合を実行する。

【００４５】この矩形統合処理中に、傾き条件判定部７
０８において、矩形メモリ７０６の特定領域より統合さ
れる黒ランのペアのデータを読み込み、傾き条件に関す
る判定を行なう。この判定条件の例を次に示す。

【００４６】（１）注目している矩形が主走査方向の黒
ランの統合矩形（主走査方向罫線）の場合 図２に示すように、統合される黒ランＬＨ１，ＬＨ２の
始点または終点のＸ座標を比較する。図２（ａ）に示す
ように、上側の黒ランＬＨ１の始点のＸ座標（ｘｓ１）
と下側の黒ランＬＨ２の始点のＸ座標（ｘｓ２）との関
係が ｘｓ１＜ｘｓ２ ならば「右下がり」の条件に合致
すると判定する。また、図２（ｂ）に示すように、黒ラ
ンＬＨ１，ＬＨ２の終点のＸ座標（ｘｅ１，ｘｅ２）
が、ｘｅ１＞ｘｅ２ ならば「右上がり」の条件に合致
すると判定する。

【００４７】（２）注目している矩形が副走査方向の黒
ランの統合矩形（副走査方向罫線）の場合 図３に示すように、統合される黒ランＬＶ１，ＬＶ２の
始点または終点のＹ座標を比較する。図３（ａ）に示す
ように、右側の黒ランＬＶ１の始点のＹ座標（Ｙｓ１）
と下側の黒ランＬＶ２の始点のＹ座標（Ｙｓ２）との関
係が Ｙｓ１＜Ｙｓ２ ならば「右下がり」の条件に合致
すると判定する。また、それぞれの終点のＹ座標（Ｙｅ
１，Ｙｅ２）が、図３（ｂ）に示すように、 Ｙｅ１＞
Ｙｅ２ ならば「右上がり」の条件に合致すると判定す
る。

【００４８】そして、傾き条件判定部７０８は、「右上
がり」条件に合致したときには条件合致回数メモリ７０
９（初期値は０）の値を１だけ増加させ、「右下がり」
条件に合致したときは条件合致回数メモリ７０９の値を
１だけ減少させる。いずれの条件にも合致しない場合に
は、条件合致回数メモリ７０９の値を更新しない。

【００４９】注目した矩形に関する上記の判定が完了す
ると、傾き検出部７１０において、条件合致回数メモリ
７０９の値が正値で、絶対値が３を超えるときは、傾き
方向を「右上がり」と判定する。傾き条件合致回数メモ
リ７０９の値が負値で、絶対値が３を超えるときには、
傾き方向を「右下がり」と判定する。また、その値が±
３の範囲内のときは、「傾きなし」と判定する。なお、
±３の範囲内で「傾きなし」としたのは、入力画像上の
ノイズの影響を考慮したものである。

【００５０】＜実施例４＞ 図８は、本実施例を説明するためのブロック図である。
図８において、２値画像入力部（イメージスキャナ等）
８０１によって、罫線を含む文書類の画像が読み取ら
れ、その２値イメージデータが２値イメージメモリ８０
２に格納される。

【００５１】黒ラン抽出部８０３は、２値イメージメモ
リ８０２内の２値イメージデータをスキャンし、主走査
方向または副走査方向に一定値以上の長さを持つ黒ラン
を抽出し、抽出した黒ランのデータ（始点、終点の座
標）を黒ランメモリ８０４に格納する。

【００５２】矩形統合部８０５において、黒ランメモリ
８０４内の黒ランデータを参照し、主走査方向または副
走査方向に長い黒ランに対して、予め定められた距離の
範囲内にある黒ランを、それらを全て包含する矩形に統
合する処理を行ない、黒ランの統合矩形のデータ（頂点
座標等）を矩形メモリ８０６に格納する。罫線矩形抽出
部８０７において、矩形メモリ８０６内の矩形データを
参照し、主走査方向の長い黒ランの統合矩形について、
予め定められた距離の範囲内にある矩形を、それら全て
包含する矩形（主走査方向罫線矩形）に統合する。同様
に、副走査方向に長い黒ランの統合矩形について、予め
定められた距離の範囲内にある矩形を、それら全てを包
含する矩形（副走査方向罫線矩形）に統合する。そし
て、抽出した罫線矩形のデータ（頂点座標等）を罫線矩
形メモリ８０８に格納する。

【００５３】傾き条件判定部部８０９は、罫線矩形メモ
リ７０６内のデータを参照し、主走査方向及び副走査方
向の罫線矩形中で最も長い矩形を抽出する。その矩形
を、本実施例では、最も精度の高い罫線、あるいは文書
類上の表を代表する罫線とみなして、以下に述べるよう
な方法で傾きを判定する。

【００５４】まず、抽出した最も長い罫線矩形の範囲内
について、黒ラン抽出部８０３で黒ラン抽出を再度実行
し、ここで抽出された黒ランについて矩形統合部８０５
で矩形統合を実行し、その矩形の統合を罫線矩形抽出部
８０７で実行する。

【００５５】矩形統合部８０５による黒ランの統合処理
中に、傾き条件判定部８０９は、統合される黒ランのペ
アについて傾き条件に関する判定を行なう。この判定条
件の例を次に示す。

【００５６】（１）主走査方向の罫線矩形が処理の対象
であるとき 図２に示すように、統合される黒ランＬＨ１，ＬＨ２の
始点または終点のＸ座標を比較する。図２（ａ）に示す
ように、上側の黒ランＬＨ１の始点のＸ座標（ｘｓ１）
と下側の黒ランＬＨ２の始点のＸ座標（ｘｓ２）との関
係がｘｓ１＜ｘｓ２ ならば「右下がり」の条件に合致
すると判定する。また、図２（ｂ）に示すように、それ
ぞれの終点のＸ座標（Ｘｅ１，Ｘｅ２）が、ｘｅ１＞ｘ
ｅ２ならば「右上がり」の条件に合致すると判定する。

【００５７】（２）副走査方向の罫線矩形が処理の対象
であるとき 図３に示すように、統合される黒ランＬＶ１，ＬＶ２の
始点または終点のＹ座標を比較する。図３（ａ）に示す
ように、右側の黒ランＬＶ１の始点のＹ座標（Ｙｓ１）
と下側の黒ランＬＶ２の始点のＹ座標（Ｙｓ２）との関
係がＹｓ１＜Ｙｓ２ならば「右下がり」の条件に合致す
ると判定する。また、図３（ｂ）に示すように、それぞ
れの終点のＹ座標（Ｙｅ１，Ｙｅ２）が、Ｙｅ１＞Ｙｅ
２ならば「右上がり」の条件に合致すると判定する。

【００５８】そして、傾き条件判定部８０９は、統合さ
れる黒ランのペアが「右上がり」条件に合致したときに
は条件合致回数メモリ８１０（初期値は０）の値を１だ
け増加させ、「右下がり」条件に合致したときは条件合
致回数メモリ８１０の値を１だけ減少させる。いずれの
条件にも合致しない場合には、条件合致回数メモリ８１
０の値を更新しない。

【００５９】また、罫線矩形抽出部８０７による罫線統
合処理中に、傾き条件判定部８０９は、統合される矩形
のペアについて傾き条件に関する判定を行なう。この判
定条件の例を次に示す。

【００６０】（１）主走査方向罫線が処理対象であると
き 図５に示すように、統合される１対の矩形（黒ランの統
合矩形）ＲＨ１，ＲＨ２それぞれの始点または終点のＸ
座標の大小関係により傾きの方向を判定する。上側の矩
形ＲＨ１の始点（左上頂点）のＸ座標（Ｘｓ１）と下側
の矩形ＲＨ２の始点のＸ座標（Ｘｓ２）が、図５（ａ）
に示すように、Ｘｓ１＜Ｘｓ２の関係のときに傾きの方
向を「右下がり」と判定する。また、図５（ｂ）に示す
ように、それぞれの終点のＸ座標（Ｘｅ１，Ｘｅ２）
が、Ｘｅ１＞Ｘｅ２の関係のときには、傾きの方向を
「右上がり」と判定する。

【００６１】そして、傾き条件判定部８０９は、統合さ
れる矩形のペアが「右上がり」条件に合致したときには
条件合致回数メモリ８１０（初期値は０）の値を１だけ
増加させ、「右下がり」条件に合致したときは条件合致
回数メモリ８１０の値を１だけ減少させる。いずれの条
件にも合致しない場合には、条件合致回数メモリ８１０
の値を更新しない。

【００６２】このようしにて、注目した罫線矩形に関す
る統合処理が終了した段階で、傾き検出部８１１は、条
件合致回数メモリ８１０の値が正値で絶対値が５を超え
るときは、傾き方向を「右上がり」と判定する。傾き条
件合致回数メモリ８１０の値が負値で、絶対値が５を超
えるときには、傾き方向を「右下がり」と判定する。ま
た、その値が±５の範囲内のときは、「傾きなし」と判
定する。なお、±５の範囲内で「傾きなし」としたの
は、入力画像上のノイズの影響を考慮したものである。

【００６３】なお、本実施例では、最も長い罫線矩形を
選び、それを代表として、黒ラン抽出、その統合、罫線
矩形統合を改めて行ない、その際に条件判定を行なうこ
とによって傾き方向を検出したが、全ての罫線を対象と
して同様の条件判定を行なって傾きを検出することもで
きることは当然である。

【００６４】すなわち、矩形統合部８０５による黒ラン
統合処理中に、傾き条件判定部８０９で、すべての統合
される黒ランのペアに関して前述の如き条件判定を行な
い、その結果に応じて条件合致回数メモリ８１０の更新
を行なう。また、罫線矩形抽出部８０７による矩形統合
中に、全ての統合される矩形のペアに関して前述の如き
条件判定を行ない、その結果に応じて条件合致回数メモ
リ８１０の更新を行なう。そして、以上の処理を完了し
た段階での条件合致回数メモリ８１０の値によって、傾
き検出部８１１において前述の如き傾き方向の判定を行
なう。

【００６５】＜実施例５＞ 前記各実施例では傾きの方向だけを検出したが、本実施
例では傾きの角度も検出する。

【００６６】図９は、本実施例の説明のためのブロック
図である。ここに示すシステム構成は前記実施例４に類
似しており、傾きの方向の検出に関しては前記実施例４
と同様である。ただし、前記実施例１，２または３と同
様の方法で傾きの方向を検出してもよい（実施例１また
は３の場合には、黒ランの統合矩形を罫線矩形として扱
う）。

【００６７】前記実施例４と全く同様に、２値画像入力
部９０１によって文書類の２値イメージデータを２値イ
メージメモリ９０２に入力し、そのイメージ上の主走査
方向及び副走査方向に長い黒ランを黒ラン抽出部９０３
で抽出し、そのデータを黒ランメモリ９０６に格納す
る。矩形統合部９０５で黒ランを矩形に統合し、そのデ
ータを矩形メモリ９０６に格納する。罫線矩形抽出部９
０７で、その矩形の統合をして罫線矩形を抽出し、その
データを罫線矩形メモリ９０８に格納する。傾き条件判
定部９０９で最大長の罫線矩形を抽出する。そして、そ
の罫線矩形の範囲について、黒ラン抽出、黒ラン統合、
罫線矩形抽出を実行し、傾き条件判定部９０９で、黒ラ
ンのペア及び矩形のペアに関する傾きの条件の判定を行
なって条件合致回数メモリ９１０を更新する。そして、
傾き検出部９１１で、条件合致回数メモリ９１０の値よ
り傾きの方向を判定する。

【００６８】さて、以上のような傾き方向の検出のため
の動作と並行して、本実施例では次に述べるような傾き
角度検出のための処理を行なう。図１０は、その処理の
説明図である。

【００６９】黒ラン抽出部９０３において、注目した罫
線矩形の範囲内の２値イメージをスキャンして黒ランを
抽出する際に、当該罫線矩形の内部の黒画素数（pixe
l）を求め、その値を黒画素数メモリ９１３に格納す
る。なお、この黒画素数（pixel）を、罫線矩形に包含
される黒ランのデータ（黒ランメモリ９０４内）より求
めてもよい。

【００７０】次に、傾き検出部９１１において、罫線矩
形メモリ９０８内のデータより注目した罫線の幅（widt
h）を求め、それと黒画素数（pixel）とから次式によっ
て罫線の太さ（thickness）を計算する。

【００７１】thickness＝pixel／width 傾き検出部９１１はまた、罫線矩形メモリ９０８内のデ
ータより注目した罫線の高さ（height）を求め、これと
罫線の太さ（thickness）とから次式によって罫線のず
れ（tilt）を計算する。

【００７２】tilt＝height−thickness そして、次式によって、傾きの角度（θ）を求める。

【００７３】tanθ＝tilt／width ＜実施例６＞ 図１１は、本実施例を説明するためのブロック図であ
る。図１１において、破線の枠１００１の内部の構成
は、入力イメージの傾き検出に関しては図９に示した前
記実施例５の構成と同一であるので、その説明を省略す
る。なお、図９中の各部と対応する部分には同一の符号
で示されている。

【００７４】図１１において、画像補正部１００２は、
傾き検出部９１１より出力された傾きの方向及び角度の
情報に応じて、画像の傾きと逆方向へ、傾きの角度と同
じ角度だけ、２値イメージメモリ９０２内の２値イメー
ジデータを回転させることによって、傾きを補正した２
値イメージを作成し、それを補正２値イメージメモリ１
００３に格納する。

【００７５】この補正２値イメージメモリ１００３内の
２値イメージデータに対して、黒ラン抽出部９０３によ
り、主走査方向及び副走査方向に一定値以上の長さを持
つ黒ランを抽出し、黒ランのデータを黒ランメモリ９０
４に格納する。黒ランメモリ９０４内の古いデータ（傾
き検出のための黒ランデータ）は廃棄される。

【００７６】矩形統合部９０５において、黒ランメモリ
９０４内のデータを参照し、主走査方向の黒ラン及び副
走査方向の黒ランのそれぞれに対して、予め定められた
距離の範囲内の黒ランを、それらを全部包含する矩形に
統合する処理を行ない、その矩形のデータを矩形メモリ
９０６に格納する。矩形メモリ９０６内の古いデータは
廃棄される。

【００７７】罫線矩形抽出部９０７において、矩形メモ
リ９０６内のデータを参照し、主走査方向黒ランの統合
矩形及び副走査方向黒ランの統合矩形のそれぞれに対し
て、予め定められた距離の範囲内の黒ランを、それらを
全部包含する矩形に統合する処理を行ない、統合した矩
形（罫線矩形）のデータを罫線矩形メモリ９０８に格納
する。罫線矩形メモリ９０８内の古いデータは廃棄され
る。このようにして、文書類の傾きが補正されたイメー
ジ上の罫線矩形が抽出されたことになる。

【００７８】次に、枠認識部１００４において、罫線矩
形メモリ９０８内の罫線矩形のデータを基に、表の枠
（縦横の罫線で囲まれた矩形領域）を認識し、各枠の座
標（対角頂点座標）を枠座標メモリ１００５に格納す
る。そして、この枠座標を基に、枠内文字抽出部１００
６によって各枠の内部の文字の画像を、補正２値イメー
ジメモリ１００３内の補正２値イメージより切り出し、
切り出した文字画像を文字認識部１００７へ渡し、文字
認識を行なわせる。かくして、傾いて入力された文書類
上の表の文字を、正確に認識できる。

【００７９】

【発明の効果】以上に説明した如く、本発明によれば以
下のような効果を得られる。

【００８０】（１）請求項１乃至３の発明によれば、入
力画像上の罫線を基準として、画像の傾き方向を検出で
き、さらに入力画像の傾きの角度も検出できる。このよ
うに、罫線を基準とする方法であるので、例えば、文字
が存在しない表のみの帳票等でも、その画像の傾き検出
が可能となる。

【００８１】（２）具体的には、請求項１または２の発
明の方法では、黒ランの統合の際に統合される黒ランの
位置関係、または黒ランの統合矩形の統合の際に統合さ
れる矩形の位置関係に基づいて画像の傾きを検出する
が、黒ランの矩形統合や、その矩形の統合処理は表処理
で一般に必要な処理ステップであるため、表処理に適用
するのに無駄のない合理的な方法である。

【００８２】（３）また、請求項３の発明の方法によれ
ば、罫線を構成する黒ランの位置関係に加えて、罫線を
構成する黒ランの統合矩形の位置関係を利用して、傾き
方向判定に利用するため、黒ランの位置関係のみを利用
した方法に比べ、より正確な傾き方向検出が可能であ
る。

【００８３】（４）さらに請求項１乃至３の発明の方法
によれば、黒ランまたは矩形の始点及び終点の座標の大
小関係に基づき、極めて単純なルールで傾き方向を判定
することができる。また、入力画像の傾きによる黒ラン
統合矩形またはその統合矩形の太りを考慮して、入力画
像の傾き角度を精度よく検出することができる。

【００８４】請求項４の発明によれば、入力画像の傾き
を検出して、入力画像の傾きを補正してから罫線を抽出
して表の枠を認識し、枠内の文字画像を傾き補正画像か
ら切り出すので、傾いて入力された画像上の表中の文字
を正確に認識することができる。

【図面の簡単な説明】

【図１】本発明の実施例１を説明するためのブロック図
である。

【図２】（ａ）右下がりに傾いた画像上の主走査方向罫
線を構成する黒ランのペアの位置関係の例を示す。 （ｂ）右上がりに傾いた画像上の主走査方向罫線を構成
する黒ランのペアの位置関係の例を示す。

【図３】（ａ）右下がりに傾いた画像上の副走査方向罫
線を構成する黒ランのペアの位置関係の例を示す。 （ｂ）右上がりに傾いた画像上の副走査方向罫線を構成
する黒ランのペアの位置関係の例を示す。

【図４】本発明の実施例２を説明するためのブロック図
である。

【図５】（ａ）右下がりに傾いた画像上の主走査方向罫
線を構成する矩形のペアの位置関係の例を示す。 （ｂ）右上がりに傾いた画像上の主走査方向罫線を構成
する矩形のペアの位置関係の例を示す。

【図６】（ａ）右下がりに傾いた画像上の副走査方向罫
線を構成する矩形のペアの位置関係の例を示す。 （ｂ）右上がりに傾いた画像上の副走査方向罫線を構成
する矩形のペアの位置関係の例を示す。

【図７】本発明の実施例３を説明するためのブロック図
である。

【図８】本発明の実施例４を説明するためのブロック図
である。

【図９】本発明の実施例５を説明するためのブロック図
である。

【図１０】主走査方向罫線の場合の傾き角度を検出の説
明図である。

【図１１】本発明の実施例６を説明するためのブロック
図である。

【符号の説明】

１０１，４０１，７０１，８０１，９０１ ２値画像入
力部 １０２，４０２，７０２，８０２，９０２ ２値イメー
ジメモリ １０３，４０３，７０３，８０３，９０３ 黒ラン抽出
部 １０４，４０４，７０４，８０４，９０４ 黒ランメモ
リ １０５，４０５，７０５，８０５，９０５ 矩形統合部 １０６，４０６，７０６，８０６，９０６ 矩形メモリ １０７，４０９，７１０，８１１，９１１ 傾き検出部 ４０７，８０７，９０７ 罫線矩形抽出部 ４０８，８０８，９０８ 罫線矩形メモリ ８０９，９０９ 傾き条件判定部 ８１０，９１０ 条件合致回数メモリ １００２ 画像補正部 １００３ 補正２値イメージメモリ １００４ 枠認識部 １００５ 枠座標メモリ １００６ 枠内文字抽出部 １００７ 文字認識部 ＬＨ 主走査方向罫線の黒ラン ＬＶ 副走査方向罫線の黒ラン ＲＨ 主走査方向罫線の黒ラン統合矩形 ＲＶ 副走査方向罫線の黒ラン統合矩形

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平４−96878（ＪＰ，Ａ) 特開 平６−76108（ＪＰ，Ａ) 特開 平５−128306（ＪＰ，Ａ) 特開 平６−150060（ＪＰ，Ａ) 特開 平６−52309（ＪＰ，Ａ) 特開 昭59−142678（ＪＰ，Ａ) 特開 平６−203202（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06K 9/00 - 9/82

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】 入力画像上の一定値以上の長さの黒ラン
   を抽出し、抽出した黒ランで予め定められた距離内にあ
   る黒ランを、それら全てを包含する矩形に統合し、この
   黒ランの統合の際に統合される黒ランの相互の位置関係
   によって入力画像の傾きの方向を判定し、 矩形の内部の黒画素数を該矩形の長手方向のサイズで除
   した値を、該矩形の短手方向のサイズより減算し、該減
   算後のサイズと該矩形の長手方向のサイズとから、入力
   画像の傾き角度を求めることを特徴とする画像傾き検出
   方法。
2. 【請求項２】 入力画像上の一定値以上の長さの黒ラン
   を抽出し、抽出した黒ランで予め定められた距離内にあ
   る黒ランを、それら全てを包含する矩形に統合し、黒ラ
   ンを統合した矩形で予め定められた距離内にあるもの
   を、それら全てを包含する罫線矩形に統合し、前記矩形
   の統合の際に統合される矩形の相互の位置関係によっ
   て、入力画像の傾きの方向を判定し、 罫線矩形の内部の黒画素数を該罫線矩形の長手方向のサ
   イズで除した値を、該罫線矩形の短手方向のサイズより
   減算し、該減算後のサイズと該罫線矩形の長手方向のサ
   イズとから、入力画像の傾き角度を求めることを特徴と
   する画像傾き検出方法。
3. 【請求項３】 入力画像上の一定値以上の長さの黒ラン
   を抽出し、抽出した黒ランで予め定められた距離内にあ
   る黒ランを、それら全てを包含する矩形に統合し、黒ラ
   ンを統合した矩形で予め定められた距離内にあるもの
   を、それら全てを包含する罫線矩形に統合し、前記黒ラ
   ンの統合の際に統合される黒ランの相互の位置関係、及
   び、前記矩形の統合の際に統合される矩形の相互の位置
   関係によって、入力画像の傾きの方向を判定し、 罫線矩形の内部の黒画素数を該罫線矩形の長手方向のサ
   イズで除した値を、該罫線矩形の短手方向のサイズより
   減算し、該減算後のサイズと該罫線矩形の長手方向のサ
   イズとから、入力画像の傾き角度を求めることを特徴と
   する画像傾き検出方法。
4. 【請求項４】 請求項１乃至３のいずれか１項に記載の
   画像傾き検出方法によって入力画像の傾きの方向及び角
   度を検出し、該検出した傾きの方向及び角度に基づいて
   該入力画像の傾きを補正した画像を作成し、該傾き補正
   画像より罫線の矩形を抽出し、該抽出した罫線の矩形の
   座標より表の枠を認識し、該認識した枠の内部の文字画
   像を該傾き補正画像より切り出して文字認識をすること
   を特徴とする表処理方法。