JP5732217B2 - 画像２値化方法および画像２値化装置 - Google Patents

Description

本発明は、帳票等の入力画像を２値化する画像２値化方法および画像２値化装置に関する。

従来、帳票等の入力画像に対して画像処理やパターン認識を行う場合には、前処理として２値化処理を行うことが多い。ここで、２値化処理とは、入力画像の輝度値を所定の閾値を用いて２値化することで、罫線や文字といった対象画像を背景と分離する処理のことを指す。

たとえば、特許文献１には、入力画像の２次微分値に基づいて文字領域のヒストグラムおよび背景領域のヒストグラムを作成し、両ヒストグラムの交点を閾値として決定したうえで、かかる閾値を用いて入力画像を２値化する画像２値化手法が開示されている。

また、特許文献２には、入力画像をあらかじめ設定された複数のブロックに分割したうえで、ブロックごとに閾値を決定する画像２値化方法が開示されている。

特許第３８３１７９７号公報 特開２００５−１６５９２５号公報

しかしながら、特許文献１に記載の画像２値化方法のように、単一の閾値を用いて入力画像を２値化することとすると、入力画像の罫線や文字あるいは背景に多様な濃淡差がある場合に適切な２値画像を得ることが困難であるという問題があった。

たとえば、白地の背景の一部に罫線や文字と同一輝度の背景が含まれる場合に、単一の閾値を用いて２値化を行うと、かかる背景部分が２値画像において残存してしまうおそれがある。また、かかる背景部分を除外するために閾値を暗めに設定すると、背景部分とともに罫線や文字まで消えてしまうおそれがある。

なお、特許文献２に記載の画像２値化方法のように、あらかじめ決められたブロックごとに閾値を決定したとしても、ブロック内に輝度の異なる背景が混在する場合には、２値画像において背景が残存するおそれがあるため、適切な２値化画像を得ることは困難である。

これらのことから、入力画像の罫線や文字あるいは背景に多様な濃淡差がある場合であっても適切な２値画像を得ることができる画像２値化方法あるいは画像２値化装置をいかにして実現するかが大きな課題となっている。

本発明は、上述した従来技術の課題を解決するためになされたものであり、入力画像の罫線や文字あるいは背景に多様な濃淡差がある場合であっても適切な２値画像を得ることができる画像２値化方法および画像２値化装置を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、入力画像を２値化する画像２値化方法であって、前記入力画像の微分値の絶対値であるエッジ強度を求めるとともに、当該エッジ強度が所定のエッジ強度閾値以上の画素を有効画素とし前記エッジ強度閾値未満の画素を無効画素とした２値のマスク画像を生成するマスク画像生成工程と、前記マスク画像の有効画素に対応する画素を前記入力画像から抽出することによって型抜き画像を生成する型抜き工程と、前記マスク画像の有効画素を連続領域ごとに区分けする区分け工程と、前記連続領域に対応する前記型抜き画像の個別領域ごとに、当該個別領域の輝度分布に基づいて２値化閾値を決定する閾値決定工程と、前記個別領域ごとに、前記閾値決定工程において決定した２値化閾値を用いて当該個別領域に含まれる画素を２値化する２値化工程とを含み、前記マスク画像生成工程は、前記入力画像のエッジ強度を用いてエッジ強度分布を生成するとともに、生成したエッジ強度分布の２次微分値に基づいて当該エッジ強度分布の変曲点を検出し、検出した変曲点におけるエッジ強度を前記エッジ強度閾値として決定することを特徴とする。

また、本発明は、上記の発明において、前記エッジ強度が前記エッジ強度閾値以上の画素のうち前記微分値が正である正エッジ画素と前記微分値が負である負エッジ画素との境界領域であって、前記正エッジ画素および前記負エッジ画素の並び順が、１つの線分から得られる前記正エッジ画素および前記負エッジ画素の並び順とは逆である境界領域を谷領域として抽出し、抽出した谷領域に位置する前記マスク画像の有効画素を無効画素と置き換える無効化工程をさらに含んだことを特徴とする。

また、本発明は、上記の発明において、前記エッジ強度が前記エッジ強度閾値以上の画素のうち前記微分値が正である正エッジ画素と前記微分値が負である負エッジ画素との境界領域であって、前記正エッジ画素および前記負エッジ画素の並び順が、１つの線分から得られる前記正エッジ画素および前記負エッジ画素の並び順と同じである境界領域を山領域として抽出し、抽出した山領に位置する前記マスク画像の無効画素を有効画素と置き換える有効化工程をさらに含んだことを特徴とする。

また、本発明は、上記の発明において、前記閾値決定工程は、前記個別領域の輝度分布において最も高輝度側に位置する山部と当該山部に隣接する他の山部とによって形成される谷部における輝度値を前記２値化閾値として決定することを特徴とする。

また、本発明は、入力画像を２値化する画像２値化装置であって、前記入力画像の微分値の絶対値であるエッジ強度を求めるとともに、当該エッジ強度が所定のエッジ強度閾値以上の画素を有効画素とし前記エッジ強度閾値未満の画素を無効画素とした２値のマスク画像を生成するマスク画像生成手段と、前記マスク画像の有効画素に対応する画素を前記入力画像から抽出することによって型抜き画像を生成する型抜き手段と、前記マスク画像の有効画素を連続領域ごとに区分けする区分け手段と、前記連続領域に対応する前記型抜き画像の個別領域ごとに、当該個別領域の輝度分布に基づいて２値化閾値を決定する閾値決定手段と、前記個別領域ごとに、前記閾値決定手段によって決定された２値化閾値を用いて当該個別領域に含まれる画素を２値化する２値化手段とを備え、前記マスク画像生成手段は、前記入力画像のエッジ強度を用いてエッジ強度分布を生成するとともに、生成したエッジ強度分布の２次微分値に基づいて当該エッジ強度分布の変曲点を検出し、検出した変曲点におけるエッジ強度を前記エッジ強度閾値として決定することを特徴とする。

本発明によれば、入力画像の微分値の絶対値であるエッジ強度を求めるとともに、当該エッジ強度が所定のエッジ強度閾値以上の画素を有効画素としエッジ強度閾値未満の画素を無効画素とした２値のマスク画像を生成し、マスク画像の有効画素に対応する画素を入力画像から抽出することによって型抜き画像を生成し、マスク画像の有効画素を連続領域ごとに区分けし、連続領域に対応する型抜き画像の個別領域ごとに、当該個別領域の輝度分布に基づいて２値化閾値を決定し、個別領域ごとに、２値化閾値を用いて当該個別領域に含まれる画素を２値化することとしたため、入力画像の罫線や文字あるいは背景に多様な濃淡差がある場合であっても適切な２値画像を得ることができるという効果を奏する。

また、本発明によれば、入力画像のエッジ強度を用いてエッジ強度分布を生成するとともに、生成したエッジ強度分布の２次微分値に基づいて当該エッジ強度分布の変曲点を検出し、検出した変曲点におけるエッジ強度をエッジ強度閾値として決定することとしたため、罫線・文字領域と背景領域とを適切に分離することができるという効果を奏する。

また、本発明によれば、エッジ強度がエッジ強度閾値以上の画素のうち前記微分値が正である正エッジ画素と前記微分値が負である負エッジ画素との境界領域であって、正エッジ画素および負エッジ画素の並び順が、１つの線分から得られる正エッジ画素および負エッジ画素の並び順とは逆である境界領域を谷領域として抽出し、抽出した谷領域に位置するマスク画像の有効画素を無効画素と置き換えることとしたため、マスク画像において結合してしまった罫線や文字同士を適切に分離することができるという効果を奏する。

また、本発明によれば、エッジ強度がエッジ強度閾値以上の画素のうち前記微分値が正である正エッジ画素と前記微分値が負である負エッジ画素との境界領域であって、正エッジ画素および負エッジ画素の並び順が、１つの線分から得られる正エッジ画素および負エッジ画素の並び順と同じである境界領域を山領域として抽出し、抽出した山領に位置するマスク画像の無効画素を有効画素と置き換えることとしたため、マスク画像において分離してしまった１つの罫線や文字を適切に結合することができるという効果を奏する。

また、本発明によれば、個別領域の輝度分布において最も高輝度側に位置する山部と当該山部に隣接する他の山部とによって形成される谷部における輝度値を２値化閾値として決定することとしたため、型抜き工程において除去しきれなかった背景領域を２値化工程において確実に除去することができるという効果を奏する。

図１は、本発明に係る画像２値化手法の概要を示す図である。 図２は、本実施例に係る画像２値化装置の構成を示すブロック図である。 図３は、マスク画像生成処理の処理手順を示す図である。 図４は、エッジ強度閾値決定処理の説明図である。 図５は、マスク画像修正処理の説明図である。 図６は、閾値決定処理の説明図である。 図７は、画像２値化装置が実行する処理手順を示すフローチャートである。 図８は、マスク画像修正処理の他の処理手順を示すフローチャートである。

以下に、添付図面を参照して、本発明に係る画像２値化方法および画像２値化装置の好適な実施例を詳細に説明する。

まず、実施例の詳細な説明に先立って、本発明に係る画像２値化手法の概要について図１を用いて説明する。図１は、本発明に係る画像２値化手法の概要を示す図である。なお、同図の（Ａ）には、従来の画像２値化手法によって得られる２値画像の一例を、同図の（Ｂ）には、本発明に係る画像２値化手法の概要を、それぞれ示している。

図１の（Ａ）に示したように、従来の画像２値化手法では、たとえば入力画像の輝度分布に基づいて１つの２値化閾値を決定し、決定した２値化閾値を入力画像全体に適用して２値画像を生成していた。

このため、従来の画像２値化手法では、入力画像の背景に濃淡差がある場合に（図１の（Ａ−１）参照）、濃い背景部分が２値画像において残ってしまうおそれがあり（図１の（Ａ−２）参照）、適切な２値画像を得ることが困難であった。また、かかる背景部分を除外するために２値化閾値を高めに設定すると、背景部分とともに罫線や文字まで消えてしまうおそれもあった。

そこで、本発明に係る画像２値化手法では、所定のマスク画像を用いて入力画像から罫線領域および文字領域（以下、「罫線・文字領域」と記載する）を抽出する（すなわち、背景領域を除外する）型抜きを行う。そして、型抜きによって得られた型抜き画像を個別領域へ区分けしたうえで、個別領域ごとに２値化閾値を決定することとした。

まず、本発明に係る画像２値化手法では、図１の（Ｂ）に示したように、入力画像のエッジ強度に基づいてマスク画像を生成する（同図の（Ｂ−１）参照）。

具体的には、本発明に係る画像２値化手法では、ソーベルフィルタ等の微分フィルタを用いて入力画像の微分値を求め、この微分値の絶対値であるエッジ強度を求める。そして、本発明に係る画像２値化手法では、エッジ強度が所定のエッジ強度閾値以上の画素を有効画素（白画素）とし、エッジ強度閾値未満の画素を無効画素（黒画素）とする２値のマスク画像を生成する。

これにより、背景領域と比較してエッジ強度の大きい罫線・文字領域が白画素であらわされ、罫線・文字領域と比較してエッジ強度の小さい背景部分が黒画素であらわされたマスク画像を得ることができる。

なお、かかるマスク画像は、入力画像の罫線や文字を膨張させたような画像となる。これは、微分フィルタが、注目画素およびその周囲の画素の画素値を用いてエッジ強度を求めるものであり、罫線や文字を構成する画素の画素値がその周囲の画素のエッジ強度に影響を及ぼすためである。

つづいて、本発明に係る画像２値化手法では、生成したマスク画像を用いて入力画像の型抜きを行う（図１の（Ｂ−２）参照）。具体的には、マスク画像の有効画素（白画素）に対応する画素を入力画像から抽出する。

これにより、入力画像から罫線・文字領域を抜き出した（言い換えれば、入力画像から背景領域が除去された）型抜き画像が得られる。ただし、上述したように、入力画像の罫線や文字よりもマスク画像の罫線や文字の方が太いため、実際には、罫線や文字だけでなくその周囲の背景も抜き出されることとなる。

つづいて、本発明に係る画像２値化手法では、マスク画像を連続領域ごとに区分けする（図１の（Ｂ−３）参照）。ここで、連続領域とは、マスク画像において有効画素（白画素）が連続している領域である。かかる処理によりマスク画像は、罫線や文字ごとに区分けされる。

つづいて、本発明に係る画像２値化手法では、マスク画像の連続領域に対応する型抜き画像の個別領域ごとに、かかる個別領域の輝度分布に基づいて２値化閾値を決定する（図１の（Ｂ−４）参照）。

具体的には、本発明に係る画像２値化手法では、個別領域の輝度分布において最も高輝度側に位置する山部とかかる山部に隣接する他の山部とによって形成される谷部における輝度値を２値化閾値として決定する。

すなわち、背景色は、罫線や文字の色よりも薄い（すなわち白に近い）のが通常であるので、最も高輝度側（すなわち、白に近い側）に位置する山部が、マスク画像によって除去しきれなかった背景領域の分布に相当すると考えられる。したがって、かかる山部と他の山部との谷部における輝度値を２値化閾値として決定することで、罫線・文字領域と背景領域とを確実に分離することができる。

そして、本発明に係る画像２値化手法では、個別領域ごとに決定した２値化閾値をそれぞれ用いて個別領域ごとに２値化を行う（図１の（Ｂ−５）参照）。この結果、従来の２値画像とは異なり、背景領域が確実に除去された２値画像を得ることができる。

このように、本発明に係る画像２値化手法では、入力画像のエッジ強度に基づいてマスク画像を生成するとともに、生成したマスク画像を用いて入力画像の型抜きを行う。また、本発明に係る画像２値化手法では、マスク画像の有効画素を連続領域ごとに区分けし、連続領域に対応する型抜き画像の個別領域ごとに、かかる個別領域の輝度分布に基づいて２値化閾値を決定する。

そして、本発明に係る画像２値化手法では、個別領域ごとに決定した２値化閾値をそれぞれ用いて各個別領域を２値化することとした。したがって、本発明に係る画像２値化手法によれば、入力画像の罫線や文字あるいは背景に多様な濃淡差がある場合であっても適切な２値画像を得ることができる。

なお、本発明に係る画像２値化手法では、背景領域のエッジ強度分布および罫線・文字領域のエッジ強度分布の形状の違いに着目し、入力画像のエッジ強度分布の変曲点におけるエッジ強度をエッジ強度閾値として決定することとしているが、かかる点の詳細については、後述する。

また、上述したように、マスク画像では、罫線や文字が入力画像よりも太くなるため、近接する罫線や文字同士が結合してしまう場合がある。また、エッジ強度に基づいてマスク画像を生成するため、１本の線が２本に分離してしまう場合もある。

そこで、本発明に係る画像２値化手法では、エッジ強度がエッジ強度閾値以上の画素のうち微分値が正である正エッジ画素と微分値が負である負エッジ画素との境界領域における正エッジ画素および負エッジ画素の並び順に基づき、分離すべき領域（谷領域）および結合すべき領域（山領域）を検出し、検出した谷領域および山領域に基づいてマスク画像を修正することとしている。なお、かかる点についても、後述することとする。

以下では、図１を用いて説明した画像２値化手法を適用した画像２値化方法および画像２値化装置についての実施例を詳細に説明する。なお、以下では、画像読取装置（たとえば、スキャナ装置）から入力画像を取得する画像２値化装置について説明するが、スキャナ装置を含んだ画像２値化装置を構成することとしてもよい。

図２は、本実施例に係る画像２値化装置１０の構成を示すブロック図である。なお、同図には、画像２値化装置１０の特徴を説明するために必要な構成要素のみを示しており、一般的な構成要素についての記載を省略している。

図２に示すように、画像２値化装置１０は、画像読取装置２０と接続されており、画像読取装置２０が読み取った画像（たとえば、帳票をスキャンした画像）を取得する。なお、画像読取装置２０としては、たとえば、いわゆるスキャナ装置を用いることができる。

画像２値化装置１０は、制御部１１と、記憶部１２とを備えており、制御部１１は、マスク画像生成部１１ａと、マスク画像修正部１１ｂと、型抜き部１１ｃと、ラベリング部１１ｄと、閾値決定部１１ｅと、２値化処理部１１ｆとをさらに備えている。そして、記憶部１２は、ラベル情報１２ａと、閾値情報１２ｂとを記憶する。

マスク画像生成部１１ａは、画像読取装置２０から入力画像が入力された場合に、入力画像のエッジ強度に基づくマスク画像を生成する処理部である。具体的には、マスク画像生成部１１ａは、ソーベルフィルタを用いて入力画像からエッジを抽出することによって微分画像を生成し、生成した微分画像を所定のエッジ強度閾値を用いて閾値処理することでマスク画像を生成する。

ここで、マスク画像生成部１１ａによるマスク画像生成処理の処理手順について図３を用いて説明しておく。図３は、マスク画像生成処理の処理手順を示す図である。

図３に示すように、マスク画像生成部１１ａは、水平方向および垂直方向のソーベルフィルタを入力画像に対してそれぞれ掛けることにより、微分値を各画素値とする水平方向のエッジ画像および垂直方向の微分画像を生成する（図３の（１）参照）。

なお、本実施例では、微分フィルタの一例としてソーベルフィルタを用いる場合について説明するが、プレヴィットフィルタやラプラシアンフィルタ等のソーベルフィルタ以外のフィルタを微分フィルタとして用いてもよい。

つづいて、マスク画像生成部１１ａは、水平方向および垂直方法のそれぞれの微分画像ごとにエッジ強度閾値を決定する（図３の（２）参照）。なお、かかるエッジ強度閾値決定処理の具体的な内容については、図４を用いて後述することとする。

つづいて、マスク画像生成部１１ａは、微分画像ごとに決定したエッジ強度閾値をそれぞれ用いて各微分画像の閾値処理を行う（図３の（３）参照）。

具体的には、マスク画像生成部１１ａは、微分値の絶対値であるエッジ強度がエッジ強度閾値以上の画素のうち、微分値が負の画素を黒画素（画素値「−１」）とし、微分値が正の画素を白画素（画素値「１」）とする。また、マスク画像生成部１１ａは、エッジ強度がエッジ強度閾値未満の画素をグレー画素（画素値「０」）とする。これにより、黒、白またはグレーの３色であらわされたエッジ画像が得られる。このように、閾値処理後の微分値画像がエッジ画像となる。

そして、マスク画像生成部１１ａは、エッジ画像の各画素のうち黒画素または白画素を「白画素」へ変換するとともにグレー画素を「黒画素」へ変換したうえで、両エッジ画像を合成することで（図３の（４）参照）、白黒２値のマスク画像を生成する。なお、以下では、マスク画像の白画素を「有効画素」と呼び、黒画素を「無効画素」と呼ぶ場合がある。

ここで、図３の（２）に示したエッジ強度閾値決定処理について図４を用いて説明する。図４は、エッジ強度閾値決定処理の説明図である。なお、同図では、一例として、水平方向の微分画像についてのエッジ強度閾値決定処理を示している。また、同図の（Ａ）には、水平方向の微分画像の微分値分布を、同図の（Ｂ）には、エッジ強度分布の２次微分値に基づいてエッジ強度閾値が決定される様子を、それぞれ示している。なお、エッジ強度分布とは、微分値の絶対値であるエッジ強度の分布である。

図４の（Ａ）に示したように、入力画像の微分値分布（言い換えると、微分画像の画素値分布）は、なだらかな分布の山の頂点付近（微分値が「０」の近傍）に急峻なピークを有する形状となっている（同図の（Ａ−１）参照）。ここで、かかる微分値分布は、同図の（Ａ−２）に示した背景領域の微分値分布と、同図の（Ａ−３）に示した罫線・文字領域の微分値分布とが合成されていると考えられる。

具体的には、背景領域の画素は、微分値が「０」のものが圧倒的に多い。これは、背景領域には、エッジが存在しないのが通常であるためである。ただし、汚れ等による微小な濃淡差もあるため、背景領域には微分値が「０」以外の画素もわずかながら存在する。したがって、背景領域のエッジ強度分布は、図４の（Ａ−２）に示したように、微分値「０」を頂点として指数関数的に減少する傾向がある。

一方、罫線や文字を構成する画素は、背景領域との濃淡差によってさまざまなエッジ強度を持つこととなる。ただし、背景領域との境界部分では画像ぼけ等によって濃淡変化がなだらなかとなるため、微分値「０」近傍の値を持つ画素が相対的に多くなる。したがって、罫線・文字領域の微分値分布は、図４の（Ａ−３）に示したように、微分値「０」を頂点としてなだらかに減少する傾向がある。

そこで、マスク画像生成部１１ａは、微分画像のエッジ強度分布の変曲点を検出し、検出した変曲点におけるエッジ強度をエッジ強度閾値とすることで、背景領域および罫線・文字領域を分離することとした。

具体的には、マスク画像生成部１１ａは、図４の（Ｂ）に示したように、エッジ画像の微分値の絶対値であるエッジ強度の分布を取ることで、エッジ強度を階級値とするエッジ強度分布を生成する。

また、マスク画像生成部１１ａは、かかるエッジ強度分布の１次微分値を求める。また、マスク画像生成部１１ａは、反転後の１次微分値をさらに１次微分することによってエッジ強度分布の２次微分値を得る。なお、図４の（Ｂ）では、１次微分値に対して「−１」を掛けて正負を反転させたものを示している。

なお、図４の（Ｂ）に示したエッジ強度分布の左側の縦軸は「画素数」であり、「●」印でプロットされた分布の度数をあらわしている。また、同エッジ強度分布の右側の縦軸は「微分値」であり、「▲」印でプロットされた分布および「■」印でプロットされた分布の度数をあらわしている。

つづいて、マスク画像生成部１１ａは、エッジ強度分布の２次微分値の正負が変わる点（ゼロクロス点）を変曲点として検出する。具体的には、マスク画像生成部１１ａは、正負が変わる前後の各２次微分値（プロット値）を結ぶ直線と微分値「０」との交点を変曲点として検出する。そして、マスク画像生成部１１ａは、検出した変曲点におけるエッジ強度をエッジ強度閾値として決定する。

このように、マスク画像生成部１１ａは、入力画像のエッジ強度を用いてエッジ強度分布を生成するとともに、生成したエッジ強度分布の２次微分値に基づいて当該エッジ強度分布の変曲点を検出し、検出した変曲点におけるエッジ強度をエッジ強度閾値として決定する。したがって、罫線・文字領域と背景領域とが適切に分離されたマスク画像を得ることができる。

また、本実施例では、背景領域のエッジ強度分布および罫線・文字領域のエッジ強度分布の形状の違いに着目してエッジ強度閾値を決定することとした。したがって、図４の（Ａ）に示したように、２つの分布が重なっている場合であっても、背景領域と罫線・文字領域とを適切に分離することができる。

なお、ここでは、ゼロクロス点を変曲点として検出する場合について説明したが、これに限ったものではない。たとえば、正負が変わった直前または直後のプロット値を変曲点として検出してもよい。このようにすれば、ゼロクロス点を算出する必要がなくなるため、変曲点の検出に要する処理負荷を低減することができる。また、移動平均等により平滑化した値を用いて変曲点を検出することとすれば、ノイズの影響が除外されるため、変曲点をより適切に検出することができる。

また、ここでは、水平方向のエッジ画像についてのエッジ強度閾値決定処理について説明したが、垂直方向のエッジ画像についても同様の手順でエッジ強度閾値を決定することができる。また、マスク画像生成部１１ａは、マスク画像を生成すると、生成したマスク画像をエッジ画像とともにマスク画像修正部１１ｂへ渡す処理を行う。

図２の説明に戻り、マスク画像修正部１１ｂについて説明する。マスク画像修正部１１ｂは、エッジ画像を用いてマスク画像の修正を行う処理部である。

ここで、マスク画像修正部１１ｂによるマスク画像修正処理について図５を用いて説明する。図５は、マスク画像修正処理の説明図である。なお、同図の（Ａ）には、マスク画像の修正すべき箇所を、同図の（Ｂ）には、マスク画像修正処理の動作例を、同図の（Ｃ）には、谷画像および山画像による修正後のマスク画像の一例を、それぞれ示している。

図５の（Ａ−１）に示したように、入力画像において２つの線が近接している場合、エッジ画像では、一方の線から得られるエッジ画素のうち正のエッジ強度を持つ正エッジ画素（白画素）が、他方の線から得られるエッジ画素のうち負のエッジ強度を持つ負エッジ画素（黒画素）と接することがある。このような場合、マスク画像では、これら２つの線が１本の線としてあらわされることとなる。

また、図５の（Ａ−２）に示したように、入力画像中に太い線が存在する場合、エッジ画像では、かかる線から得られる正エッジ画素（白画素）および負エッジ画素（黒画素）が離れる場合がある。このような場合、マスク画像では、１本の線が２本線としてあらわされることとなる。

そこで、マスク画像修正部１１ｂは、異なる線からそれぞれ得られる正エッジ画素および負エッジ画素間の境界（図５の（Ａ−１）に示した「谷」）を検出し、かかる谷を含んだ谷領域に位置するマスク画像の白画素を黒画素へ置き換えることで、１つに結合した線を本来の２本線に修正する。

また、マスク画像修正部１１ｂは、１つの線から得られる正エッジ画素および負エッジ画素間の境界（図５の（Ａ−２）に示した「山」）を検出し、かかる山を含んだ山領域に位置するマスク画像上の黒画素を白画素へ置き換えることで、２本に分離した線を本来の１本線に修正する。

具体的には、図５の（Ｂ）に示したように、マスク画像修正部１１ｂは、エッジ画像を所定の走査方向（ここでは、右方向）に向かって１画素ずつ走査していき、白画素から黒画素へ変化している境界である谷を検出する。そして、マスク画像修正部１１ｂは、谷を検出すると、検出した谷の両側に位置する白画素および黒画素を含んだ領域を谷領域として抽出する（同図の（Ｂ−１）参照）。

同様に、マスク画像修正部１１ｂは、黒画素から白画素へ変化している境界である山を検出すると、検出した山の両側に位置する黒画素および白画素を含んだ領域を山領域として抽出する（図５の（Ｂ−２）参照）。

また、マスク画像修正部１１ｂは、黒画素および白画素が隣接している領域だけでなく、黒画素および白画素がグレー画素を介して所定の幅閾値（ここでは、８画素）以内で近接している領域も谷領域や山領域として抽出する。たとえば、マスク画像修正部１１ｂは、黒画素からグレー画素を１画素介して白画素へ変化している場合には、これら黒画素、グレー画素および白画素を含んだ領域を山領域として抽出する（図５の（Ｂ−３）参照）。

なお、マスク画像修正部１１ｂは、白画素および黒画素がグレー画素を介して所定の幅閾値以上離れている場合には、かかる領域を谷領域または山領域として検出しない（図５の（Ｂ−４）参照）。また、ここでは、水平方向のエッジ画像から谷領域および山領域を抽出する場合のみを示しているが、垂直方向のエッジ画像からも同様に谷領域および山領域を抽出する。

つづいて、マスク画像修正部１１ｂは、抽出した谷領域を黒画素（無効画素）としその他の領域を白画素（有効画素）とした谷画像を生成する。同様に、マスク画像修正部１１ｂは、抽出した山領域を白画素（有効画素）としその他の領域を黒画素（無効画素）とした山画像を生成する。

そして、マスク画像修正部１１ｂは、谷画像の黒画素（無効画素）に対応するマスク画像の白画素（有効画素）を黒画素（無効画素）へ置き換える。すなわち、マスク画像に谷画像を重ね合わせて、谷画像の黒い部分に位置するマスク画像の白い部分を黒に置き換える。これにより、図５の（Ｃ）に示したように、異なる線同士の境界部分が黒画素となり、結合してしまった罫線や文字同士が分離される。

また、マスク画像修正部１１ｂは、山画像の白画素（有効画素）に対応するマスク画像の黒画素（無効画素）を白画素（有効画素）へ置き換える。これにより、図５の（Ｃ）に示したように、本来ならば１つの線であるべき２本線の境界部分が白画素となり、分離してしまった１つの罫線や文字が結合される。

つまり、谷画像や山画像を用いてマスク画像を修正することによって、後述するラベリング処理を適切に行うことが可能となる。

このように、マスク画像修正部１１ｂは、正エッジ画素（白画素）と負エッジ画素（黒画素）との境界領域であって、正エッジ画素および負エッジ画素の並び順が、１つの線分から得られる正エッジ画素および負エッジ画素の並び順とは逆である境界領域を谷領域として抽出する。また、マスク画像修正部１１ｂは、抽出した谷領域に位置するマスク画像の有効画素（白画素）を無効画素（黒画素）と置き換える。したがって、マスク画像において結合してしまった罫線や文字同士を適切に分離することができる。

また、マスク画像修正部１１ｂは、正エッジ画素（白画素）と負エッジ画素（黒画素）との境界領域であって、正エッジ画素および負エッジ画素の並び順が、１つの線分から得られる正エッジ画素および負エッジ画素の並び順と同じである境界領域を山領域として抽出する。また、マスク画像修正部１１ｂは、抽出した山領に位置するマスク画像の無効画素（黒画素）を有効画素（白画素）と置き換える。したがって、マスク画像において分離してしまった１つの罫線や文字を適切に結合することができる。

なお、マスク画像修正部１１ｂは、修正後のマスク画像を型抜き部１１ｃおよびラベリング部１１ｄへ渡す処理を併せて行う。

図２の説明に戻り、型抜き部１１ｃについて説明する。型抜き部１１ｃは、マスク画像修正部１１ｂから修正後のマスク画像（以下、単に「マスク画像」と記載する）を受け取った場合に、受け取ったマスク画像を用いて入力画像の型抜きを行う処理部である。具体的には、型抜き部１１ｃは、マスク画像の有効画素（白画素）に対応する画素を入力画像から抽出することによって型抜き画像を生成する処理を行う。

また、型抜き部１１ｃは、型抜き画像を生成すると、生成した型抜き画像を閾値決定部１１ｅおよび２値化処理部１１ｆへ渡す処理を併せて行う。

ラベリング部１１ｄは、マスク画像修正部１１ｂからマスク画像を受け取った場合に、受け取ったマスク画像の有効画素を連続領域ごとに区分けするラベリング処理を行う処理部である。これにより、マスク画像は、罫線ごとあるいは文字ごとに区分けされる。

また、ラベリング部１１ｄは、ラベリング処理を完了すると、各連続領域の位置情報をラベル情報１２ａとして記憶部１２へ記憶させる。

閾値決定部１１ｅは、型抜き部１１ｃから型抜き画像を受け取った場合に、マスク画像の各連続領域に対応する型抜き画像の個別領域をラベル情報１２ａに基づいて特定し、特定した個別領域ごとに２値化閾値を決定する処理部である。具体的には、閾値決定部１１ｅは、個別領域の輝度分布を生成し、生成した輝度分布に基づいて２値化閾値を決定する処理を行う。

ここで、閾値決定部１１ｅによる閾値決定処理について図６を用いて説明する。図６は、閾値決定処理の説明図である。なお、同図の（Ａ−１）には、入力画像の一例を、同図の（Ａ−２）には、入力画像から生成されるマスク画像を、同図の（Ａ−３）には、入力画像上にマスク画像を重ね合わせた図を、同図の（Ａ−４）には、入力画像の２値画像をそれぞれ示している。また、同図の（Ｂ）には、個別領域の輝度分布の一例を、それぞれ示している。

図６の（Ａ−２）に示したマスク画像を用いて同図の（Ａ−１）に示した入力画像を型抜きすると、同図の（Ａ−３）の領域２００ａや領域２００ｂに示したように、入力画像の罫線や文字とともに周囲の背景も抜き出されることとなる。これは、マスク画像では、罫線や文字が入力画像よりも太く、背景を完全に除去しきれないためである。なお、同図の（Ａ−３）に示した領域２００ａは、同図の（Ａ−２）に示した連続領域１００ａに対応する型抜き画像の個別領域の一部であり、同図の（Ａ−３）に示した領域２００ｂは、同図の（Ａ−２）に示した連続領域１００ｂに対応する型抜き画像の個別領域の一部である。

ここで、背景領域の色は、罫線・文字領域の色よりも薄いのが通常である。言い換えれば、背景領域の輝度は、罫線・文字領域の輝度よりも高いのが通常である。そこで、閾値決定部１１ｅは、図６の（Ｂ）に示したように、個別領域の輝度分布を生成し、生成した輝度分布のうち、最も高輝度側に位置する山部とかかる山部に隣接する他の山部によって形成される谷部４００における輝度値を２値化閾値として決定する。これにより、型抜き処理において除去しきれなかった背景領域をより確実に除去する２値化閾値を個別領域ごとに得ることができる。そして、この結果、同図の（Ａ−４）に示したように、型抜き処理において除去しきれなかった背景領域がより確実に除去された２値画像を得ることができる。

なお、図６の（Ａ−３）に示した領域２００ａのように、罫線の外側および内側に存在する背景の輝度が異なる領域では、輝度の高い（明るい）背景のみが除去され、輝度の低い（暗い）背景が除去されずに残存することとなる。このため、同図の（Ａ−４）に示した領域３００ａのように、２値画像では、一部が入力画像と比較して若干太く表示される場合がある。ただし、マスク画像を用いて入力画像の型抜きを行った時点で、大部分の背景領域を罫線・文字領域から分離することができているため、背景領域がわずかに残っていたとしても、これによって２値画像の視認性が損なわれることはない。

また、閾値決定部１１ｅは、２値化閾値を決定すると、決定した２値化閾値を対応する個別領域の位置情報とともに閾値情報１２ｂとして記憶部１２へ記憶させる処理を併せて行う。

図２の説明に戻り、２値化処理部１１ｆについて説明する。２値化処理部１１ｆは、型抜き部１１ｃから型抜き画像を受け取った場合に、型抜き画像の個別領域および各個別領域に適用すべき２値化閾値を閾値情報１２ｂに基づいて特定したうえで、個別領域ごとに２値化処理を行う処理部である。なお、２値化処理部１１ｆは、全ての個別領域についての２値化を終えると、２値化後の型抜き画像を２値画像として出力する。

記憶部１２は、不揮発性メモリやハードディスクドライブといった記憶デバイスで構成される記憶部であり、ラベル情報１２ａと、閾値情報１２ｂとを記憶する。ラベル情報１２ａは、ラベリング部１１ｄによって生成される情報であり、マスク画像の連続領域を識別する識別情報ごとに、対応する連続領域の位置情報を関連付けた情報である。また、閾値情報１２ｂは、閾値決定部１１ｅによって生成される情報であり、個別領域の位置情報ごとに、対応する個別領域に対して適用される２値化閾値を関連付けた情報である。

次に、本実施例に係る画像２値化装置１０が実行する処理手順について図７を用いて説明する。図７は、画像２値化装置１０が実行する処理手順を示すフローチャートである。

図７に示すように、画像２値化装置１０では、マスク画像生成部１１ａが、平均値フィルタ等を用いて入力画像を平滑化したうえで（ステップＳ１０１）、ソーベルフィルタを用いて水平方向および垂直方向に一次微分を行って微分画像をそれぞれ生成する（ステップＳ１０２）。

つづいて、マスク画像生成部１１ａは、エッジ強度分布を用いて各微分画像のエッジ強度閾値を決定し（ステップＳ１０３）、決定したエッジ強度閾値を用いて各微分画像を閾値処理することによってエッジ画像を生成する（ステップＳ１０４）。そして、マスク画像生成部１１ａは、各エッジ画像を合成することによってマスク画像を生成する（ステップＳ１０５）。

つづいて、画像２値化装置１０では、マスク画像修正部１１ｂが、各エッジ画像を用いて谷画像および山画像を生成するとともに生成した谷画像および山画像を用いてマスク画像を修正し（ステップＳ１０６）、型抜き部１１ｃが、修正後のマスク画像を用いて入力画像の型抜きを行うことによって型抜き画像を生成する（ステップＳ１０７）。また、ラベリング部１１ｄは、修正後のマスク画像のラベリング処理を行う（ステップＳ１０８）。

つづいて、画像２値化装置１０では、閾値決定部１１ｅが、型抜き画像の個別領域を１つ選択し（ステップＳ１０９）、選択した個別領域の輝度分布に基づいて２値化閾値を決定し（ステップＳ１１０）、２値化処理部１１ｆが、決定した２値化閾値を用いて個別領域内の画素を２値化する（ステップＳ１１１）。

そして、画像２値化装置１０では、全ての個別領域について処理済みか否かを判定し（ステップＳ１１２）、処理済みでなければ（ステップＳ１１２、Ｎｏ）、未処理の個別領域についてステップＳ１０９〜Ｓ１１２の処理を繰り返す。一方、全ての個別領域について処理済みである場合には（ステップＳ１１２、Ｙｅｓ）、処理を終了する。

上述してきたように、本実施例では、マスク画像生成部が、入力画像の微分値の絶対値であるエッジ強度を求めるとともに、かかるエッジ強度が所定のエッジ強度閾値以上の画素を有効画素としエッジ強度閾値未満の画素を無効画素とした２値のマスク画像を生成し、型抜き部が、マスク画像の有効画素に対応する画素を入力画像から抽出することによって型抜き画像を生成し、ラベリング部が、マスク画像の有効画素を連続領域ごとに区分けし、閾値決定部が、連続領域に対応する型抜き画像の個別領域ごとに、かかる個別領域の輝度分布に基づいて２値化閾値を決定し、２値化処理部が、個別領域ごとに、２値化閾値を用いてかかる個別領域に含まれる画素を２値化することとした。したがって、入力画像の罫線や文字あるいは背景に多様な濃淡差がある場合であっても適切な２値画像を得ることができる。

ところで、帳票等では、各項目の境界線が、罫線ではなく背景色の違いで表現される場合がある。このような境界線では、罫線とは異なりエッジが片側にしかあらわれないため、マスク画像においてかすれが生じ易く、適切な型抜き画像を生成することができないおそれがある。

そこで、マスク画像修正部１１ｂは、上記のような境界線や罫線のように比較的長く連続する線分のエッジをエッジ強度閾値とは異なる条件を用いて検出し、検出結果を用いてマスク画像を修正することによって上記のかすれを解消することとしてもよい。ここで、かかるマスク画像修正処理について図８を用いて説明する。図８は、マスク画像修正処理の他の処理手順を示すフローチャートである。

図８に示すように、マスク画像修正部１１ｂは、所定のエッジ強度以上の画素が水平方向に所定以上連続している領域を水平方向の微分画像から抽出する（ステップＳ２０１）。同様に、マスク画像修正部１１ｂは、所定のエッジ強度以上の画素が垂直方向に所定以上連続している領域を垂直方向の微分画像から抽出する（ステップＳ２０２）。たとえば、マスク画像修正部１１ｂは、エッジ強度が「２」以上の画素が５０画素以上連続している領域を各エッジ画像から抽出する。

つづいて、マスク画像修正部１１ｂは、各微分画像から抽出した領域に対応するマスク画像の無効画素（黒画素）を有効画素（白画素）へ置き換え（ステップＳ２０３）、処理を終了する。

これにより、背景色の違いで表現された境界線や罫線のマスク画像におけるかすれを解消できるため、より適切な型抜き画像を得ることができる。

また、上述してきた実施例では、マスク画像を用いて入力画像から罫線および文字の両方を抜き出すこととしたが、罫線だけあるいは文字だけを入力画像から抜き出すこともできる。

かかる場合、型抜き部１１ｃは、マスク画像の各連続領域の中から所定の条件に合致する連続領域をラベル情報１２ａを用いて特定し、特定した連続領域のみを用いて入力画像の型抜きを行う。たとえば、型抜き部１１ｃは、水平方向または垂直方向に５０画素以上連続している連続領域のみを用いて入力画像の型抜きを行うことで、文字や点線あるいはノイズを抜き出すことなく、罫線だけを抜き出すことができる。

以上のように、本発明に係る画像２値化方法および画像２値化装置は、入力画像の罫線や文字あるいは背景に濃淡差がある場合であっても適切な２値画像を得たい場合に有用であり、特に、フリーフォーマットの帳票を２値化したい場合に適している。

１０ 画像２値化装置
１１ 制御部
１１ａ マスク画像生成部
１１ｂ マスク画像修正部
１１ｃ 型抜き部
１１ｄ ラベリング部
１１ｅ 閾値決定部
１１ｆ ２値化処理部
１２ 記憶部
１２ａ ラベル情報
１２ｂ 閾値情報
２０ 画像読取装置

Claims (5)

1. 入力画像を２値化する画像２値化方法であって、
   前記入力画像の微分値の絶対値であるエッジ強度を求めるとともに、当該エッジ強度が所定のエッジ強度閾値以上の画素を有効画素とし前記エッジ強度閾値未満の画素を無効画素とした２値のマスク画像を生成するマスク画像生成工程と、
   前記マスク画像の有効画素に対応する画素を前記入力画像から抽出することによって型抜き画像を生成する型抜き工程と、
   前記マスク画像の有効画素を連続領域ごとに区分けする区分け工程と、
   前記連続領域に対応する前記型抜き画像の個別領域ごとに、当該個別領域の輝度分布に基づいて２値化閾値を決定する閾値決定工程と、
   前記個別領域ごとに、前記閾値決定工程において決定した２値化閾値を用いて当該個別領域に含まれる画素を２値化する２値化工程と
   を含み、
   前記マスク画像生成工程は、
   前記入力画像のエッジ強度を用いてエッジ強度分布を生成するとともに、生成したエッジ強度分布の２次微分値に基づいて当該エッジ強度分布の変曲点を検出し、検出した変曲点におけるエッジ強度を前記エッジ強度閾値として決定する
   ことを特徴とする画像２値化方法。
2. 前記エッジ強度が前記エッジ強度閾値以上の画素のうち前記微分値が正である正エッジ画素と前記微分値が負である負エッジ画素との境界領域であって、前記正エッジ画素および前記負エッジ画素の並び順が、１つの線分から得られる前記正エッジ画素および前記負エッジ画素の並び順とは逆である境界領域を谷領域として抽出し、抽出した谷領域に位置する前記マスク画像の有効画素を無効画素と置き換える無効化工程
   をさらに含んだことを特徴とする請求項１に記載の画像２値化方法。
3. 前記エッジ強度が前記エッジ強度閾値以上の画素のうち前記微分値が正である正エッジ画素と前記微分値が負である負エッジ画素との境界領域であって、前記正エッジ画素および前記負エッジ画素の並び順が、１つの線分から得られる前記正エッジ画素および前記負エッジ画素の並び順と同じである境界領域を山領域として抽出し、抽出した山領に位置する前記マスク画像の無効画素を有効画素と置き換える有効化工程
   をさらに含んだことを特徴とする請求項１または２に記載の画像２値化方法。
4. 前記閾値決定工程は、
   前記個別領域の輝度分布において最も高輝度側に位置する山部と当該山部に隣接する他の山部とによって形成される谷部における輝度値を前記２値化閾値として決定することを特徴とする請求項１〜３のいずれか一つに記載の画像２値化方法。
5. 入力画像を２値化する画像２値化装置であって、
   前記入力画像の微分値の絶対値であるエッジ強度を求めるとともに、当該エッジ強度が所定のエッジ強度閾値以上の画素を有効画素とし前記エッジ強度閾値未満の画素を無効画素とした２値のマスク画像を生成するマスク画像生成手段と、
   前記マスク画像の有効画素に対応する画素を前記入力画像から抽出することによって型抜き画像を生成する型抜き手段と、
   前記マスク画像の有効画素を連続領域ごとに区分けする区分け手段と、
   前記連続領域に対応する前記型抜き画像の個別領域ごとに、当該個別領域の輝度分布に基づいて２値化閾値を決定する閾値決定手段と、
   前記個別領域ごとに、前記閾値決定手段によって決定された２値化閾値を用いて当該個別領域に含まれる画素を２値化する２値化手段と
   を備え、
   前記マスク画像生成手段は、
   前記入力画像のエッジ強度を用いてエッジ強度分布を生成するとともに、生成したエッジ強度分布の２次微分値に基づいて当該エッジ強度分布の変曲点を検出し、検出した変曲点におけるエッジ強度を前記エッジ強度閾値として決定する
   ことを特徴とする画像２値化装置。

Images