JP6573124B2 - 画像処理装置 - Google Patents

Description

本発明は、画像処理装置に関するものである。

ある罫線検出方法では、原画像から縮小画像を生成し、生成した縮小画像において、原画像内の罫線に対応する黒画素の連結成分を検出している（例えば特許文献１，２参照）。

特開平６−４７０４号公報 特開２００３−３１７１０７号公報

原画像を縮小する場合、一般的に、水平方向および垂直方向において同時に原画像が縮小され、原画像における所定サイズ（例えば２画素×２画素）のウィンドウ内の画素の画素値から、縮小画像の１画素の画素が決定される。

例えば、原画像におけるウィンドウ内の画素の画素値の平均値が、縮小画像の１画素の画素とされる。また、例えば、原画像が２値画像である場合、原画像におけるウィンドウ内の画素の画素値の論理和が、縮小画像の１画素の画素とされる。

原画像におけるウィンドウ内の画素の画素値の平均値を、縮小画像の１画素の画素とする場合、原画像内の１画素幅の細線である罫線に対応する、縮小画像内の連結画素の濃度が低くなってしまい（輝度値が高くなってしまい）、縮小画像内の連結画素が正確に検出されず、ひいては、原画像内の罫線が正確に検出されないことがある。

また、原画像におけるウィンドウ内の画素の画素値の論理和を、縮小画像の１画素の画素とする場合、原画像内の罫線ではない模様などのパターンが、縮小画像内で連結画素として現れることがあり、原画像内の罫線として誤検出されてしまうことがある。

本発明は、上記の問題に鑑みてなされたものであり、原画像内の罫線を正確に検出する画像処理装置を得ることを目的とする。

本発明に係る画像処理装置は、水平方向および垂直方向のうちの一方の方向を縮小方向とし、前記縮小方向に対して垂直な方向に沿って縮小せずに前記縮小方向に沿って原画像を所定の縮小率で縮小して縮小画像を生成する縮小処理部と、前記縮小画像において、前記縮小方向に沿って連続的に延びる連結画素群を検出する連結画素群検出部と、前記縮小画像において検出された前記連結画素群のうち、前記原画像における文字に対応する連結画素群を除外する文字除外部と、前記縮小率に基づいて、前記縮小画像において検出された前記連結画素群のうち、前記文字除外部により除外されなかった連結画素群の位置から、前記原画像における罫線の位置を特定する罫線特定部とを備える。さらに、次の（Ａ）〜（Ｄ）のいずれかの構成を備える。（Ａ）前記文字除外部は、前記縮小画像において検出された前記連結画素群に対応する、前記原画像における領域の内側から外側へ連結画素が延びている箇所の数が所定閾値以上である場合には、その連結画素群を除外する。（Ｂ）前記文字除外部は、前記縮小画像において検出された前記連結画素群に対応する、前記原画像における領域において、前記縮小方向に対して垂直な方向におけるオブジェクトの数を、前記縮小方向に沿って複数の位置で検出し、前記複数の位置で検出した前記オブジェクトの数が互いに異なる場合には、その連結画素群を除外する。（Ｃ）前記縮小処理部は、前記原画像内の複数の画素を前記縮小画像内の１つの画素へ変換し、前記原画像内の複数の画素の画素値の平均値を、前記縮小画像内の１つの画素の画素値とする。（Ｄ）前記縮小率は、前記原画像において検出すべき破線罫線の破線内の線分間の間隔に対応して設定されている。

本発明によれば、原画像内の罫線を正確に検出する画像処理装置が得られる。

本発明の上記又は他の目的、特徴および優位性は、添付の図面とともに以下の詳細な説明から更に明らかになる。

図１は、本発明の実施の形態に係る画像処理装置の構成を示すブロック図である。 図２は、図１に示す画像処理装置における原画像内の水平方向の罫線の検出について説明する図である。 図３は、実施の形態１における文字除外部２３の動作について説明する図である。 図４は、図１に示す画像処理装置における原画像内の垂直方向の罫線の検出について説明する図である。 図５は、図１に示す画像処理装置における原画像内の破線罫線の検出について説明する図である。 図６は、実施の形態２における文字除外部２３の動作について説明する図である。

以下、図に基づいて本発明の実施の形態を説明する。

実施の形態１．

図１は、本発明の実施の形態に係る画像処理装置の構成を示すブロック図である。図１に示す画像処理装置は、画像読取装置１、記憶装置２、通信装置３、印刷装置４、および演算処理装置５を備える。

画像読取装置１は、原稿から原稿画像を光学的に読み取り、原稿画像の画像データ（ここでは、ＲＧＢデータ）を生成する内部装置である。

また、記憶装置２は、各種データやプログラムを格納可能な装置である。記憶装置２としては、不揮発性メモリー、ハードディスクドライブなどの不揮発性の大容量記憶媒体が使用される。記憶装置２には、例えば原稿画像の画像データを記憶することができる。

また、通信装置３は、外部装置との間でデータ通信を行う装置である。通信装置３としては、ネットワーク通信を行うネットワークインターフェイス、ファクシミリ通信を行うモデムなどが使用される。

また、印刷装置４は、色変換、ハーフトーン処理などの、印刷のための画像処理を施された原稿画像の画像データに基づき原稿画像の印刷を実行する。

また、演算処理装置５は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などを有するコンピューターであり、ＲＯＭや記憶装置２などからＲＡＭへプログラムをロードし、そのプログラムをＣＰＵで実行することにより、各種処理部を実現する。この実施の形態では、演算処理装置５において、読取処理部１１および罫線検出部１２が実現される。

読取処理部１１は、画像読取装置１を制御して、原稿画像を取得し、原稿画像の画像データを記憶装置２、ＲＡＭなどに記憶する。

罫線検出部１２は、原稿画像（原画像）内の罫線を検出する。ここでは、検出すべき罫線は、１画素幅の細線である。

罫線検出部１２は、縮小処理部２１、連結画素群検出部２２、文字除外部２３、および罫線特定部２４を備える。

縮小処理部２１は、水平方向（主走査方向）および垂直方向（副走査方向）のうちの一方の方向を縮小方向とし、その縮小方向に対して垂直な方向に沿って縮小せずにその縮小方向に沿って原画像を所定の縮小率で縮小して縮小画像を生成する。

その際、縮小処理部２１は、原画像内の複数の画素を縮小画像内の１つの画素へ変換し、原画像内の複数の画素の画素値の平均値を、縮小画像内の１つの画素の画素値とする。例えば、原画像内の水平方向に連続する２画素を縮小画像内の１画素へ変換する場合、その原画像内の２画素の画素値の平均値が、縮小画像内の１画素の画素値とされる。

上述の縮小率は、原画像において検出すべき破線罫線の破線内の線分間の間隔に対応して設定されている。破線は、複数の線分を所定間隔で有している。その線分間の間隔の画素数より大きい数の逆数が縮小率とされる。このようにすることで、検出すべき破線罫線が、縮小画像内では、連続する連結画素群として現れる。

連結画素群検出部２２は、縮小処理部２１により生成された縮小画像において、上述の縮小方向に沿って連続的に延びる連結画素群を検出する。例えば、連結画素群検出部２２は、既存のエッジ抽出処理、ラベリング処理などで連結画素群を検出する。

ここでは、連結画素群は、所定の閾値以上の濃度を有し、かつ直線状に連続している複数の画素である。また、ここでは、検出すべき罫線が１画素幅の細線であるので、連結画素群も１画素幅となる。

文字除外部２３は、縮小画像において検出された連結画素群のうち、原画像における文字に対応する連結画素群を除外する。原画像内に文字列があると、縮小率によっては、縮小画像内で連結画素群として現れる。そのため、文字除外部２３は、そのような連結画素群を罫線検出の対象から除外する。

実施の形態１では、文字除外部２３は、縮小画像において検出された連結画素群に対応する、原画像における領域の内側から外側へ連結画素が延びている箇所の数が所定閾値以上である場合には、その連結画素群を除外する。

例えば、上述の所定閾値は、３以上のいずれかの値に設定される。例えば、表組みにおけるセルのように水平方向の罫線の両端に２つの垂直方向の罫線が接続している場合には、原画像において対応する領域の内側から外側へ連結画素が延びている箇所の数が２となるので、そのような表組みが原画像に含まれていることが予めわかっている場合には、上述の所定閾値は、３以上のいずれかの値に設定される。

罫線特定部２４は、上述の縮小率に基づいて、上述の縮小画像において検出された連結画素群のうち、文字除外部２３により除外されなかった連結画素群の位置（例えば、２端点の画素座標値）から、原画像においてその連結画素群に対応する罫線の位置（例えば、２端点の画素座標値）を特定する。原画像内の画素と縮小画像内の画素との対応関係は縮小率によって決まるため、縮小率に基づいて、縮小画像内の画素に対応する原画像内の画素が特定される。つまり、文字除外部２３により除外された連結画素群に対応する原画像内のオブジェクトは、罫線として検出されない。

次に、上記実施の形態１に係る画像処理装置の動作について説明する。

（ａ）水平方向の罫線の検出

図２は、図１に示す画像処理装置における原画像内の水平方向の罫線の検出について説明する図である。

原画像内の水平方向の罫線を検出する場合、縮小処理部２１は、水平方向を縮小方向とし、垂直方向に沿って縮小せずに水平方向に沿って原画像を所定の縮小率で縮小して縮小画像を生成する。これにより、例えば図２に示すように、原画像における濃度１００％の水平方向の罫線は、縮小画像において、濃度１００％の水平方向の連結画素群として現れる。

連結画素群検出部２２は、縮小画像において、垂直方向の各画素位置において水平方向に沿って画素値を順番に参照していき、水平方向に沿って連続的に延びる連結画素群を検出し、検出した連結画素群の位置情報をメモリーなどに格納する。

その後、実施の形態１では、文字除外部２３は、縮小画像において検出された各連結画素群について、その連結画素群に対応する、原画像における領域の内側から外側へ連結画素が延びている箇所の数が所定閾値以上であるか否かを判定し、そのような箇所が所定閾値以上である連結画素群を罫線検出の対象から除外し、そのような箇所の数が所定閾値未満である連結画素群を罫線検出の対象とする。

図３は、実施の形態１における文字除外部２３の動作について説明する図である。

例えば図３に示すように、原画像において、連続する複数の文字「０」が含まれている場合、縮小率によっては、複数の文字「０」の上端部分が連結画素群として検出されることがある。その場合、文字除外部２３は、縮小画像におけるその連結画素群に対応する、原画像における領域４１の内側から外側へ連結画素が延びている箇所４２−１〜４２−ｎの数ｎ（図５ではｎ＝６）が所定閾値以上である場合には、その連結画素群を除外する。例えば、この閾値が４に設定されている場合、縮小画像におけるこの連結画素群は、罫線検出の対象から除外される。

そして、罫線特定部２４は、罫線検出の対象とされた連結画素群の位置から、原画像においてその連結画素群に対応する水平方向の罫線の位置を特定する。図２に示す例では、原画像内の水平方向の２本の罫線が特定される。

（ｂ）垂直方向の罫線の検出

図４は、図１に示す画像処理装置における原画像内の垂直方向の罫線の検出について説明する図である。

原画像内の垂直方向の罫線を検出する場合、縮小処理部２１は、垂直方向を縮小方向とし、水平方向に沿って縮小せずに垂直方向に沿って原画像を所定の縮小率で縮小して縮小画像を生成する。これにより、例えば図４に示すように、原画像における濃度１００％の垂直方向の罫線は、縮小画像において、濃度１００％の垂直方向の連結画素群として現れる。

連結画素群検出部２２は、縮小画像において、水平方向の各画素位置において垂直方向に沿って画素値を順番に参照していき、垂直方向に沿って連続的に延びる連結画素群を検出し、検出した連結画素群の位置情報をメモリーなどに格納する。

その後、実施の形態１では、文字除外部２３は、縮小画像において検出された各連結画素群について、その連結画素群に対応する、原画像における領域の内側から外側へ連結画素が延びている箇所の数が所定閾値以上であるか否かを判定し、そのような箇所が所定閾値以上である連結画素群を罫線検出の対象から除外し、そのような箇所の数が所定閾値未満である連結画素群を罫線検出の対象とする。

そして、罫線特定部２４は、罫線検出の対象とされた連結画素群の位置から、原画像においてその連結画素群に対応する垂直方向の罫線の位置を特定する。図４に示す例では、原画像内の垂直方向の２本の罫線が特定される。

（ｃ）破線罫線の検出

図５は、図１に示す画像処理装置における原画像内の破線罫線の検出について説明する図である。

上述の処理によって、実線罫線だけではなく破線罫線も検出される。例えば図５に示すように、線分が濃度１００％の１画素でありかつ線分間隔が１画素である破線罫線は、縮小率５０％の縮小画像では、濃度５０％の連結画素群として現れる。

したがって、連結画素群検出部２２、文字除外部２３、および罫線特定部２４によって上述の場合と同様にして、実線罫線と区別することなく破線罫線も特定される。

以上のように、上記実施の形態１によれば、縮小処理部２１は、水平方向および垂直方向のうちの一方の方向を縮小方向とし、その縮小方向に対して垂直な方向に沿って縮小せずに縮小方向に沿って原画像を所定の縮小率で縮小して縮小画像を生成する。そして、連結画素群検出部２２は、縮小画像において、縮小方向に沿って連続的に延びる連結画素群を検出し、文字除外部２３は、縮小画像において検出された連結画素群のうち、原画像における文字に対応する連結画素群を除外し、罫線特定部２４は、縮小率に基づいて、文字除外部２３により除外されなかった連結画素群の位置から、原画像における罫線の位置を特定する。

これにより、縮小画像内の連結画素群の濃度が十分高くなるとともに、罫線以外のオブジェクト（特に文字オブジェクト）が罫線として誤検出されにくいため、原画像内の罫線が正確に検出される。

実施の形態２．

実施の形態２では、文字除外部２３は、縮小画像において検出された連結画素群に対応する、原画像における領域において、縮小方向に対して垂直な方向におけるオブジェクトの数を、縮小方向に沿って複数の位置で検出し、その複数の位置で検出したオブジェクトの数が互いに異なる場合には、その連結画素群を罫線検出の対象から除外する。

図６は、実施の形態２における文字除外部２３の動作について説明する図である。

例えば図６に示すように、縮小画像において検出された連結画素群が、罫線についてのものである場合には、検出されるオブジェクト数は、一定（ここでは１）となる。したがって、罫線についての連結画素群は除外されない。一方、縮小画像において検出された連結画素群が、文字についてのものである場合には、検出されるオブジェクト数は、一定とはならず、例えば図６に示すように変動する。したがって、文字についての連結画素群は除外される。

なお、オブジェクト数を検出する上述の複数の位置は、１画素ごとの位置（つまり、縮小方向におけるすべての画素位置）でもよいし、一定画素間隔の位置でもよいし、ランダムに指定されてもよい。

なお、実施の形態２に係る画像処理装置のその他の構成については実施の形態１と同様であるので、その説明を省略する。

次に、上記実施の形態２に係る画像処理装置の動作について説明する。

（ａ）水平方向の罫線の検出

原画像内の水平方向の罫線を検出する場合、縮小処理部２１は、水平方向を縮小方向とし、垂直方向に沿って縮小せずに水平方向に沿って原画像を所定の縮小率で縮小して縮小画像を生成する。

連結画素群検出部２２は、縮小画像において、垂直方向の各画素位置において水平方向に沿って画素値を順番に参照していき、水平方向に沿って連続的に延びる連結画素群を検出し、検出した連結画素群の位置情報をメモリーなどに格納する。

その後、実施の形態２では、文字除外部２３は、縮小画像において検出された連結画素群に対応する、原画像における領域において、垂直方向におけるオブジェクトの数を、水平方向に沿って複数の位置で検出し、その複数の位置で検出したオブジェクトの数が互いに異なる場合には、その連結画素群を罫線検出の対象から除外する。

そして、罫線特定部２４は、罫線検出の対象とされた連結画素群の位置から、原画像においてその連結画素群に対応する水平方向の罫線の位置を特定する。

（ｂ）垂直方向の罫線の検出

原画像内の垂直方向の罫線を検出する場合、縮小処理部２１は、垂直方向を縮小方向とし、水平方向に沿って縮小せずに垂直方向に沿って原画像を所定の縮小率で縮小して縮小画像を生成する。

連結画素群検出部２２は、縮小画像において、水平方向の各画素位置において垂直方向に沿って画素値を順番に参照していき、垂直方向に沿って連続的に延びる連結画素群を検出し、検出した連結画素群の位置情報をメモリーなどに格納する。

その後、実施の形態２では、文字除外部２３は、縮小画像において検出された連結画素群に対応する、原画像における領域において、水平方向におけるオブジェクトの数を、垂直方向に沿って複数の位置で検出し、その複数の位置で検出したオブジェクトの数が互いに異なる場合には、その連結画素群を罫線検出の対象から除外する。

そして、罫線特定部２４は、罫線検出の対象とされた連結画素群の位置から、原画像においてその連結画素群に対応する垂直方向の罫線の位置を特定する。

（ｃ）破線罫線の検出

実施の形態２においても、上述の処理によって、実線罫線だけではなく破線罫線も検出される。したがって、連結画素群検出部２２、文字除外部２３、および罫線特定部２４によって上述の場合と同様にして、実線罫線と区別することなく破線罫線も特定される。

以上のように、上記実施の形態２によれば、実施の形態１と同様に、罫線以外のオブジェクト（特に文字オブジェクト）が罫線として誤検出されにくいため、原画像内の罫線が正確に検出される。

なお、上述の実施の形態に対する様々な変更および修正については、当業者には明らかである。そのような変更および修正は、その主題の趣旨および範囲から離れることなく、かつ、意図された利点を弱めることなく行われてもよい。つまり、そのような変更および修正が請求の範囲に含まれることを意図している。

例えば、上記実施の形態において、縮小処理部２１は、水平方向を縮小方向とし、その縮小方向に沿って原画像を所定の縮小率で縮小して水平縮小画像を生成し、また、垂直方向を縮小方向とし、その縮小方向に沿って原画像を所定の縮小率で縮小して垂直縮小画像を生成し、連結画素群検出部２２は、水平縮小画像において、水平方向に沿って連続的に延びる水平連結画素群を検出し、垂直縮小画像において、垂直方向に沿って連続的に延びる垂直連結画素群を検出し、罫線特定部２４は、水平連結画素群の位置から、原画像における水平罫線の位置を特定し、垂直連結画素群の位置から、原画像における垂直罫線の位置を特定し、特定した水平罫線の位置および特定した垂直罫線の位置に基づいて、原画像内の表組みの位置を特定するようにしてもよい。その場合、例えば、水平罫線と垂直罫線との交点が特定され、その交点の位置に基づいて表組み内のセルが特定され、ひいては表組み全体の位置が特定される。

また、上記実施の形態において、縮小処理部２１を、専用ハードウェアで構成することで、処理時間を短くすることができる。

本発明は、例えば、複写機、複合機などの画像形成装置に適用可能である。

２１ 縮小処理部
２２ 連結画素群検出部
２３ 文字除外部
２４ 罫線特定部

Claims (6)

1. 水平方向および垂直方向のうちの一方の方向を縮小方向とし、前記縮小方向に対して垂直な方向に沿って縮小せずに前記縮小方向に沿って原画像を所定の縮小率で縮小して縮小画像を生成する縮小処理部と、
   前記縮小画像において、前記縮小方向に沿って連続的に延びる連結画素群を検出する連結画素群検出部と、
   前記縮小画像において検出された前記連結画素群のうち、前記原画像における文字に対応する連結画素群を除外する文字除外部と、
   前記縮小率に基づいて、前記縮小画像において検出された前記連結画素群のうち、前記文字除外部により除外されなかった連結画素群の位置から、前記原画像における罫線の位置を特定する罫線特定部と、
   を備え、
   前記文字除外部は、前記縮小画像において検出された前記連結画素群に対応する、前記原画像における領域の内側から外側へ連結画素が延びている箇所の数が所定閾値以上である場合には、その連結画素群を除外すること、
   を特徴とする画像処理装置。
2. 前記所定閾値は、３以上であることを特徴とする請求項１記載の画像処理装置。
3. 水平方向および垂直方向のうちの一方の方向を縮小方向とし、前記縮小方向に対して垂直な方向に沿って縮小せずに前記縮小方向に沿って原画像を所定の縮小率で縮小して縮小画像を生成する縮小処理部と、
   前記縮小画像において、前記縮小方向に沿って連続的に延びる連結画素群を検出する連結画素群検出部と、
   前記縮小画像において検出された前記連結画素群のうち、前記原画像における文字に対応する連結画素群を除外する文字除外部と、
   前記縮小率に基づいて、前記縮小画像において検出された前記連結画素群のうち、前記文字除外部により除外されなかった連結画素群の位置から、前記原画像における罫線の位置を特定する罫線特定部と、
   を備え、
   前記文字除外部は、前記縮小画像において検出された前記連結画素群に対応する、前記原画像における領域において、前記縮小方向に対して垂直な方向におけるオブジェクトの数を、前記縮小方向に沿って複数の位置で検出し、前記複数の位置で検出した前記オブジェクトの数が互いに異なる場合には、その連結画素群を除外することを特徴とする画像処理装置。
4. 水平方向および垂直方向のうちの一方の方向を縮小方向とし、前記縮小方向に対して垂直な方向に沿って縮小せずに前記縮小方向に沿って原画像を所定の縮小率で縮小して縮小画像を生成する縮小処理部と、
   前記縮小画像において、前記縮小方向に沿って連続的に延びる連結画素群を検出する連結画素群検出部と、
   前記縮小画像において検出された前記連結画素群のうち、前記原画像における文字に対応する連結画素群を除外する文字除外部と、
   前記縮小率に基づいて、前記縮小画像において検出された前記連結画素群のうち、前記文字除外部により除外されなかった連結画素群の位置から、前記原画像における罫線の位置を特定する罫線特定部と、
   を備え、
   前記縮小処理部は、前記原画像内の複数の画素を前記縮小画像内の１つの画素へ変換し、前記原画像内の複数の画素の画素値の平均値を、前記縮小画像内の１つの画素の画素値とすることを特徴とする画像処理装置。
5. 水平方向および垂直方向のうちの一方の方向を縮小方向とし、前記縮小方向に対して垂直な方向に沿って縮小せずに前記縮小方向に沿って原画像を所定の縮小率で縮小して縮小画像を生成する縮小処理部と、
   前記縮小画像において、前記縮小方向に沿って連続的に延びる連結画素群を検出する連結画素群検出部と、
   前記縮小画像において検出された前記連結画素群のうち、前記原画像における文字に対応する連結画素群を除外する文字除外部と、
   前記縮小率に基づいて、前記縮小画像において検出された前記連結画素群のうち、前記文字除外部により除外されなかった連結画素群の位置から、前記原画像における罫線の位置を特定する罫線特定部と、
   を備え、
   前記縮小率は、前記原画像において検出すべき破線罫線の破線内の線分間の間隔に対応して設定されていることを特徴とする画像処理装置。
6. 前記縮小処理部は、水平方向を前記縮小方向とし、前記縮小方向に沿って前記原画像を所定の縮小率で縮小して水平縮小画像を生成し、垂直方向を前記縮小方向とし、前記縮小方向に沿って前記原画像を所定の縮小率で縮小して垂直縮小画像を生成し、
   前記連結画素群検出部は、前記水平縮小画像において、前記縮小方向に沿って連続的に延びる水平連結画素群を検出し、前記垂直縮小画像において、前記縮小方向に沿って連続的に延びる垂直連結画素群を検出し、
   前記罫線特定部は、前記水平連結画素群の位置から、前記原画像における水平罫線の位置を特定し、前記垂直連結画素群の位置から、前記原画像における垂直罫線の位置を特定し、特定した前記水平罫線の位置および特定した前記垂直罫線の位置に基づいて、前記原画像内の表組みの位置を特定すること、
   を特徴とする請求項１記載の画像処理装置。

Images