JP3759349B2 - 画像解析装置と画像解析方法 - Google Patents
画像解析装置と画像解析方法 Download PDFInfo
- Publication number
- JP3759349B2 JP3759349B2 JP25345399A JP25345399A JP3759349B2 JP 3759349 B2 JP3759349 B2 JP 3759349B2 JP 25345399 A JP25345399 A JP 25345399A JP 25345399 A JP25345399 A JP 25345399A JP 3759349 B2 JP3759349 B2 JP 3759349B2
- Authority
- JP
- Japan
- Prior art keywords
- histogram
- image
- value
- pixel
- brightness
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Character Input (AREA)
- Image Input (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、多値画像中に含まれる処理対象となる画像の形状解析に利用される画像解析装置と画像解析方法に関する。
【０００２】
【従来の技術】
例えば、帳票に記入された文字を認識する場合に、帳票に予め印刷された枠と、その枠の中に記入された文字とを区別して、文字の部分を切り出し、認識を行うといった処理がされる。帳票が多値画像で処理される場合に、文字と背景色とのコントラストが十分にある場合、２値化をして文字の画像を抽出することが可能である。しかしながら、実際には、微妙な濃淡の変化が存在することが多い。そこで、ヒストグラム等によって濃淡の境目を検出し、その境目の値を閾値として、一方を背景色他方を対象物の画像とするといった方式が採用されている。（画像解析ハンドブック第５０２ページ〜第５０５ページ 高木幹雄、下田陽久監修 東京大学出版）
【０００３】
【発明が解決しようとする課題】
ところで、上記のような従来の技術には次のような解決すべき課題があった。
例えば、帳票に、２種以上の濃度の異なる背景色を施した部分が設けられ、それぞれの部分に文字が記入されていたとする。このような場合にはヒストグラムが複雑になり、単純に１つの閾値を用いて２値化処理をすることができなくなる。また、例えば白抜き文字等が存在した場合には、２値化処理をしてもＯＣＲ（光学的文字読み取り装置）によって文字を認識することができない。
【０００４】
【課題を解決するための手段】
本発明は以上の点を解決するため次の構成を採用する。
〈構成１〉
解析対象となる画像に含まれる各画素の明度値を読み取り、それぞれ同一の明度値を持つ画素の数を計数して、明度値毎の画素数の分布を示すヒストグラムを生成する明度値ヒストグラム生成部と、解析対象となる画像に含まれる画素のとる明度値の範囲で閾値を変化させて、各閾値毎に各画素の明度値を２値化したとき画像中に発生した黒の孤立点の数を計数し、閾値毎の黒の孤立点数の分布を示すヒストグラムを生成する黒孤立点ヒストグラム生成部と、解析対象となる画像に含まれる画素のとる明度値の範囲で閾値を変化させて、各閾値毎に各画素の明度値を２値化したとき、画像中に発生した白の孤立点の数を計数し、閾値毎の白の孤立点数の分布を示すヒストグラムを生成する白孤立点ヒストグラム生成部と、上記明度値ヒストグラムを、一定以上の大きさのピークを含み、これらのピーク間に挟まれた明度値が極小値を示す位置を境界とする、複数の明度領域に分割する明度領域分割部と、上記各明度領域において、上記黒孤立点ヒストグラムと上記白孤立点ヒストグラムとを参照して、上記ピークの前後の明度値において、黒孤立点ヒストグラムのピークの形状と白孤立点ヒストグラムのピークの形状を比較して、両者が十分に近似しているとき、上記ピークの明度値を持つ画素群を背景色を描画する画素群と判定する属性判定部とを備えたことを特徴とする画像解析装置。
【０００５】
〈構成２〉
構成１に記載の画像解析装置において、属性判定部において背景色を描画すると判定された画素群を白画素とし、当該画素群以外の画素群を黒画素にする２値化部を備えたことを特徴とする画像解析装置。
【０００６】
〈構成３〉
構成２に記載の画像解析装置において、それぞれ一つの明度領域に着目して２値化処理を行い、他の明度領域を白とする処理を、背景色を描画すると判定された画素群以外の全ての明度領域について行う２値化部と、上記２値化部の出力から黒の孤立点を除去するノイズ除去部と、ノイズを除去した上記２値化部の出力を比較して、いずれかの出力で黒となる画素を黒画素とし、全ての出力で白となる部分を白画素とするように合成する合成部とを備えたことを特徴とする画像解析装置。
【０００７】
〈構成４〉
構成１に記載の画像解析装置において、属性判定部は、黒孤立点ヒストグラムのピークの形状と白孤立点ヒストグラムのピークの形状を比較して、両者の近似度が、画像の性質に従って予め設定した基準に達しているとき、上記ピークの明度値を持つ画素群を背景色を描画する画素群と判定することを特徴とする画像解析装置。
【０００８】
〈構成５〉
解析対象となる画像に含まれる各画素の明度値を読み取り、それぞれ同一の明度値を持つ画素の数を計数して、明度値毎の画素数の分布を示すヒストグラムを生成し、解析対象となる画像に含まれる画素のとる明度値の範囲で閾値を変化させて、各閾値毎に各画素の明度値を２値化したとき画像中に発生した黒の孤立点の数を計数し、閾値毎の黒の孤立点数の分布を示すヒストグラムを生成し、解析対象となる画像に含まれる画素のとる明度値の範囲で閾値を変化させて、各閾値毎に各画素の明度値を２値化したとき、画像中に発生した白の孤立点の数を計数し、閾値毎の白の孤立点数の分布を示すヒストグラムを生成し、上記明度値ヒストグラムを、一定以上の大きさのピークを含み、これらのピーク間に挟まれた極小値を示す位置を境界とする、複数の明度領域に分割して、上記各明度領域において、上記黒孤立点ヒストグラムと上記白孤立点ヒストグラムとを参照して、上記ピークの前後の明度値において、黒孤立点ヒストグラムのピークの形状と白孤立点ヒストグラムのピークの形状を比較して、両者が十分に近似しているとき、上記ピークの明度値を持つ画素群を背景色を描画する画素群と判定することを特徴とする画像解析方法。
【０００９】
〈構成６〉
解析対象となる画像に含まれる各画素の明度値を読み取り、それぞれ同一の明度値を持つ画素の数を計数して、明度値毎の画素数の分布を示すヒストグラムを生成する明度値ヒストグラム生成部と、解析対象となる画像に含まれる画素のとる明度値の範囲で閾値を変化させて、各閾値毎に各画素の明度値を２値化したとき画像中に発生した黒の孤立点の数を計数し、閾値毎の黒の孤立点数の分布を示すヒストグラムを生成する黒孤立点ヒストグラム生成部と、解析対象となる画像に含まれる画素のとる明度値の範囲で閾値を変化させて、各閾値毎に各画素の明度値を２値化したとき、画像中に発生した白の孤立点の数を計数し、閾値毎の白の孤立点数の分布を示すヒストグラムを生成する白孤立点ヒストグラム生成部と、上記明度値ヒストグラムを、一定以上の大きさのピークを含み、これらのピーク間に挟まれた明度値が極小値を示す位置を境界とする、複数の明度領域に分割する明度領域分割部と、各明度領域毎に、黒孤立点ヒストグラムのピークの形状と白孤立点ヒストグラムのピークの形状を比較して、両者の近似度に基づいて、当該明度領域の画像の属性を判定する属性判定部を備えたことを特徴とする画像解析装置。
【００１０】
【発明の実施の形態】
以下、本発明の実施の形態を具体例を用いて説明する。
〈具体例１〉
図１は、具体例１の画像解析装置を示すブロック図である。
この装置は、入力部１、明度値ヒストグラム生成部３、黒孤立点ヒストグラム生成部４、白孤立点ヒストグラム生成部５、明度領域分割部７、属性判定部８を備えている。入力部１は、例えばスキャナやＣＣＤカメラ等、文書や帳票等のイメージデータを多値画像として取り込むことのできるデバイスにより構成される。この入力部１以外の部分は、例えばパーソナルコンピュータ等により構成され、それぞれ以下のような処理を実行するプログラムモジュール等によって実現される。
【００１１】
解析対象となる画像は多値の画像であるが、明度値ヒストグラム生成部３は、この画像中に含まれる各画素の明度値を１つずつ読み取り、それぞれ同一の明度値を持つ画素の数を計数する。明度値は、例えば８ビットのディジタル値等で表現されるから、全ての画素についてその明度値を読み取り、明度値毎に設けたカウンタを順にインクリメントしていけばよい。こうして得られたカウンタのカウント値列が、明度値毎の画素数の分布を示すヒストグラムとなる。
【００１２】
コンピュータ上では、カウント値のリストであって、例えば明度値０が1100、明度値１が７００、明度値２５０が15000といったデータの内容となる。これから説明するヒストグラムは理解を容易にするためにグラフ化するが、コンピュータ上はこのようなデータリストでよい。明度値ヒストグラム生成部３の得るヒストグラムを明度値ヒストグラムと呼ぶ。
【００１３】
また、黒孤立点ヒストグラム生成部４は、解析対象となる画像に含まれる画像のとる明度値の範囲で閾値を変化させて、閾値毎に各画素の明度値を２値化したとき画像中に発生した黒の孤立点の数を計数し、閾値毎の黒の孤立点数の分布を示すヒストグラムを生成する部分である。
【００１４】
多値画像の画素が明度値０〜２５６の範囲に分布しているとき、閾値を明度値０から２５６まで順に変化させる。そして、例えば閾値の明度値が１００のとき各画素を２値化して、その画像中に発生した黒の孤立点を数える。黒の孤立点は１個の画素の周囲が全て白の画素により囲まれている状態の部分をカウントすればよい。このヒストグラムは、閾値の値と黒の孤立点の値とを対応付けたデータ列としてコンピュータのメモリ上に保持される。
【００１５】
白孤立点ヒストグラム生成部５は、黒孤立点ヒストグラム生成部４と同様の方法によって白孤立点を見つける部分である。即ち、解析対象となる画像に含まれる画素のとる明度値の範囲で閾値を変化させて、各閾値毎に各画素の明度値を２値化したとき画像中に発生した白の孤立点の数を計数し、閾値毎の白の孤立点数の分布を示すヒストグラムを生成する。
【００１６】
明度領域分割部７は、明度値ヒストグラム生成部３の出力を参照して、画素値が極小値を示す位置を境界にして、複数の明度領域にヒストグラムを分割する部分である。明度値ヒストグラムをグラフ化すると、同一の濃度の画素群によっていくつかのピークが認められる。一定以上の大きさのピークを検出し、これらのピーク間に挟まれた明度値が極小値を示す位置を境界とする。この処理の具体的な説明は、後で図４を用いて行う。
【００１７】
属性判定部８は、後で説明するように、各明度領域において、黒孤立点ヒストグラムと白孤立点ヒストグラムとを参照して、ピークの前後の明度値において黒孤立点と白孤立点の数を比較し、両者が十分近似しているとき、ピークの明度値を持つ画素群を、背景色を描画する画素群と判定する処理を行う。即ち、この属性判定部８によって、明度値ヒストグラムによって得られたいくつかの画素群が背景色に該当するか、文字等の認識対象となる画素群に該当するかを区別し、各画素群の属性値を求めてメモリに記憶する。なお、この具体例では黒孤立点と白孤立点の数を比較するが、黒孤立点と白孤立点のヒストグラムの、高さや面積や幅等、ピークの形状全体をみて、その特徴部分を適宜選択して比較をし、両者が十分近似しているかどうかで判定を下すようにすればよい。どのような特徴部分を選択するかは画像の性質から判断すればよい。以下の具体例でも同様である。
【００１８】
図２に、解析対象となる文書画像例の説明図を示す。
この発明の装置は、このような画像中に含まれる文字の部分を抽出して、例えばＯＣＲで認識するためのデータを生成することができる。図の画像は、４種類の濃度値を持つ画素群により描画されている。最も明度値の低い画素群がＢ１、次はＢ２、その次はＢ３で、最も明度値の高い画素群がＢ４である。この画像は多値の画像であるから、各Ｂ１，Ｂ２，Ｂ３，Ｂ４の画素群の明度値は必ずしも同一明度値に集中しない。それぞれある明度値を中心としてやや分散している。従って、明度値ヒストグラムは次のようになる。
【００１９】
図３には、ヒストグラム例説明図を示す。
図の横軸は明度値で、一番左側が明度値０即ち黒色の部分で、一番右側は明度値が２５５即ち白の部分である。図の縦軸は画素数を示す。図の実線に示したものが明度値ヒストグラムであって、４つのピークＰ１１，Ｐ１２，Ｐ１３，Ｐ１４を持つ。ピークＰ１１は、図２に示した画素群Ｂ１によるものである。また、ピークＰ１２は、図２に示した画素群Ｂ２によるものである。ピークＰ１３は、図２に示した画素群Ｂ３によるものである。ピークＰ１４は、図２に示した画素群Ｂ４によるものである。
【００２０】
次に、孤立点が発生するメカニズムを説明する。
図４は、孤立点の説明図である。
図４（ａ）には、白色Ｗの背景色の上に黒色Ｂの直線が描かれている状態を示す。この直線は、１画素分の太さで描かれているものとする。なお、黒色Ｂは明度値が０ではなく、例えば明度値が５０に近い画素の集合とする。このとき、閾値を明度値５０に選定して、この画像の２値化処理を行うと、直線上に配列された黒画素のうちのいずれかは白と判断され、残りは黒と判断される。従って、図４（ｂ）に示すように、直線が寸断された２値化出力が得られる。
【００２１】
ここで、図の右側に存在する画素ＫＢは、その周囲が全て白色の画素に囲まれた孤立点となる。図１に示した黒孤立点ヒストグラム生成部４は、このように例えば閾値を明度値５０としたとき、黒の孤立点が“１”という結果を得て、ヒストグラム用のデータにする。
【００２２】
図４の（ｃ）には、上半分が白画素群、下半分が黒画素群により描画された画像を示す。白画素群の明度値の中心は、例えば２００であるとする。また、黒画素群の明度値の中心は５０であるとする。この場合、閾値を５０より明度値の低い、例えば４５に設定すると、図の（ｂ）に示したような要領で黒の孤立点が発生しやすくなる。
【００２３】
一方、閾値を５５に設定した場合には、図の黒の画素群の大部分が黒画素と判定され、その一部が白画素と判定されるから、白の孤立点が増えることになる。（ａ）と（ｃ）とを比較した場合に、（ａ）の場合は黒で描かれた線が細いため、黒の孤立点が発生しやすいが、白の孤立点は発生しにくい。即ち、文字や罫線等を描画するための細い線を構成する画素群の場合、黒の孤立点の方が白の孤立点よりも多く発生する傾向がある。一方、（ｃ）に示すように、背景色となるような面積の広い黒画素群の場合、黒孤立点と白孤立点の発生割合がほぼ近い値になる。この発明では、こうした画像の性質を利用する。
【００２４】
再び、図３に戻って、黒孤立点、白孤立点のヒストグラムについて説明をする。この図に示すピークＰ２１，Ｐ２２，Ｐ２３，Ｐ２４が黒孤立点ヒストグラムである。また、ピークＰ３１，Ｐ３２，Ｐ３３，Ｐ３４は白孤立点ヒストグラムを示す。例えば、図２に示す画素群Ｂ１は、明度値ヒストグラムのピークＰ１１と対応するが、閾値をこのピークの明度値を中心に左から右に向かって順に変化させて２値化処理を行うと、黒孤立点のヒストグラムのピークがＰ２１となり、白孤立点のヒストグラムのピークがＰ３１になる。
【００２５】
図４を用いて説明したように、画素群Ｂ１は、背景色であって、黒孤立点と白孤立点のピークの大きさがほぼ等しい。一方、ピークＰ１２は、図２に示す画素群Ｂ２に相当する。これは、文字を構成する細い線から成るため、図４を用いて説明したように、黒孤立点ヒストグラムのピークＰ２２が白孤立点ヒストグラムのピークＰ３２に比べてかなり大きい。
【００２６】
このような性質から、ピークＰ１１が背景色の画素群であり、ピークＰ１２は文字や罫線等の描画のための画素群であると判定できる。図１に示す属性判定部８は、このような判定を行う。なお、こうした判定を行うために、予め明度領域分割部７は、図３に示す各明度値ヒストグラムのピークＰ１１，Ｐ１２，Ｐ１３，Ｐ１４の間にある明度値が極小値をとる部分を、境界Ｖ２１，Ｖ２２，Ｖ２３，Ｖ２３に設定する。そして、４つの明度領域即ち０〜Ｖ２１，Ｖ２１〜Ｖ２２，Ｖ２２〜Ｖ２３，Ｖ２３〜２５５の設定を行う。こうして分割された明度領域毎にヒストグラムの解析を行う。
【００２７】
なお、上記孤立点ヒストグラムの生成のための演算処理は、閾値を０〜２５５の範囲で変化させて、それぞれ各画素値を２値化する方法により行うことができる。また、この他に各画素の明度値と、その画素に接しその画素の周囲を取り囲む全ての画素の明度値とを取得する。そして、着目する画素の明度値をＭとする。また、周囲の画素のうち、最も暗い画素の明度値をＳとする。そして、Ｍの方がＳよりも小さい場合、即ちＭの方が明度値が低い場合には、ＳとＭとの間の明度値をとる閾値によって着目する画素が必ず黒の孤立点になる。このような判断を全ての画素について行えばよい。
【００２８】
上記明度領域の分割は、明度値ヒストグラム中から一定以上の大きさのピークを見つけて行う。また、黒孤立点ヒストグラムと白孤立点ヒストグラムの比較は、ピークの大きさを比較する。このように、ピークの大きさを判断する場合には、ピークの最大値を比較する他、ピークの面積を比較してもよい。孤立点が一定の明度値の範囲に幅広く分布する場合もあるからである。また、グラデーションで表現されたような文字もあるからである。
【００２９】
なお、このようなピークの大きさの判断とピークの比較判断のための基準は、解析対象となる画像に応じて実験的に最適なものを選択することが好ましい。ピークが近似しているかどうかの判断には、ピークの最大値の比や面積の差、面積の比の比較等、様々な比較方法が選定できる。
【００３０】
〈具体例１の効果〉
以上のように、図１に示した入力部１から入力された解析対象となる画像を元に、明度値ヒストグラムと、黒孤立点ヒストグラムと、白孤立点ヒストグラムをそれぞれ生成し、明度領域分割部７によって画素群を所定の明度領域に分割し、それぞれについて黒孤立点ヒストグラムと白孤立点ヒストグラムとを比較し、両者が十分に近似している場合を背景色とし、その他の場合を文字等の意味のある図形を描画する画素群と判定すれば、各明度値を持つ画素群の属性を比較的簡単な演算処理によって明確に区別することが可能になる。
【００３１】
〈具体例２〉
上記の具体例では、例えば図２に示した画素群Ｂ１を背景色とし、Ｂ３はその中に描かれた文字等と判定し、Ｂ４は背景色とし、Ｂ２はその中に書かれた文字等と判定する。ところが、このような背景上に記入された文字をＯＣＲを用いて認識する場合には、２値化された画像であって、文字の部分が黒になるようなデータが望ましい。この具体例では、図１に示した装置に２値化部を追加することによってこれを実現する。
【００３２】
図５には、具体例２の画像解析装置ブロック図を示す。
この装置の、入力部１、明度値ヒストグラム生成部３、黒孤立点ヒストグラム生成部４、白孤立点ヒストグラム生成部５、明度領域分割部７及び属性判定部８は、具体例１に示したものと同一のものである。そして、属性判定部８の出力側に新たに２値化部９を設ける。この２値化部９は、入力部１から入力された解析対象となる画像に対し、属性判定部８において判定された属性を利用して２値化処理を行う。具体的には、背景色と判定された画素群を白とし、それ以外の画素群を黒にするように２値化処理を行う。
【００３３】
具体的には、図３に示すヒストグラムを参照し、明度値が０〜Ｖ２１の範囲にある画素群は背景色と判定されたから、これらを白画素とする。また、明度領域Ｖ２１〜Ｖ２２の間に存在する画素群は、背景色以外のものと判定されたから黒画素にする。明度領域Ｖ２２〜Ｖ２３にある画素群も黒画素にする。明度領域Ｖ２３〜明度値２５５の範囲にある画素群は背景色であるから、白画素にする。こうすれば、２値化処理された画像を得る。
【００３４】
図６に、具体例２の２値化出力説明図を示す。
図５に示す２値化部９の出力は、この図に示すようになる。即ち、図２に示した背景色の部分は全て白となり、それ以外の部分は黒になる。このようにして文字認識が可能になる。
【００３５】
〈具体例２の効果〉
以上のように、属性判定部において、背景色を描画すると判定された画素群を白画素とし、背景色と判定された画素群以外の画素群を黒画素にすれば、多値画像であって、様々な背景色の上に描かれた文字等をＯＣＲで認識できる画像に変換することが可能になる。
【００３６】
〈具体例３〉
上記具体例２では、図２に示すように、例えば画像の上半分と下半分の背景領域の色が異なっていても、それぞれの背景領域を白に変換して、文字の部分を全て黒画像にすることが可能になる。しかしながら、このような変換処理を行った場合、丁度領域の境界部分に存在する画素のうち、いくらかの画素は白色に変換されず、ノイズとなって残ることがある。具体例３では、このようなノイズを減少させる。
【００３７】
図７は、具体例３の画像解析装置ブロック図を示す。
この図では、具体例２の装置に対し、２値化部９を部分２値化部１１に置き換える。そして、その出力側にノイズ除去部１２と合成部１３とを備える。
【００３８】
図８に、ノイズの説明図を示す。
図６を用いて説明した具体例２の２値化出力の、丁度上辺と下辺の中間部分を拡大すると、この図に示すようになる。即ち、ごく少量であるがノイズＮ１が残っていることがわかる。背景色の切り替わる境界部分で、中間的な明度値の画素がいくらか存在するためである。このようなノイズの量が増えると、文字認識等の誤りを発生する。具体例３の装置は、まず部分２値化部１１が明度領域別に２値化を行う。
【００３９】
即ち、図３を参照して説明すれば、明度値Ｖ２１〜Ｖ２２の範囲にあるピークＰ１２を形成する画素群を黒画素にし、その他の画素を白画素にするように２値化処理を行う。明度値Ｖ２２〜Ｖ２３の範囲の明度領域については、ピークＰ１３を形成する画素値を黒画素にし、その他の画素を白画素にするように２値化処理を行う。
【００４０】
更に、図７に示すノイズ除去部１２は、各２値化画像について、それぞれノイズ除去を行う。ノイズ除去の手法は従来からよく知られており、いわゆる孤立点の除去を行う処理である。例えば、背景色白色の部分に、黒の孤立点があれば全てこれを白に反転する。こうした処理によって、主として境界部分のノイズを効果的に除去できる。
【００４１】
図９には、部分２値画像のノイズ除去処理例説明図を示す。
図９（ａ）に示したものが部分２値化部１１の出力である。この部分２値化部１１の出力した２値画像は、白色の地色である部分にノイズが存在する。（ｂ）にはその拡大図を示す。ここで、（ｃ）に示すような孤立点を画像中で探索し、孤立点を白色に反転する処理を行う。この結果、図の（ｄ）に示すようにして、ノイズが除去される。この２値画像は、上部の文字に着目して２値化処理を行っているから、それ以外の部分はノイズ除去によって大部分が背景色に変換される。
【００４２】
部分２値化部１１の２種類の２値化出力について、それぞれノイズ除去を行い、更に合成部１３で各出力を合成する。このとき、合成部１３は、いずれかの出力で黒となる画素を黒画素とし、全ての出力で白となる部分を白画素とするように合成する。以上のような処理を行うと、特に、２種の背景色の境界部分で中間的な明度を持つ画素がにじみ出すようにして生じるノイズを十分に削減することができる。上記のように、分割した明度領域毎にノイズ除去を行えば、各領域に含まれる画素群は、いずれも同一の属性値を持つため、ノイズと区別しやすいからノイズ除去が容易になる。
【００４３】
〈具体例３の効果〉
以上のように、明度領域毎にノイズ除去を施して、２値化画像を合成すると、ノイズの少ない高品質な２値化画像を得ることができる。即ち、図１０に示すように、ノイズを除去した画像を上部の部分の２値化画像（ａ）と、ノイズを除去した画像下部の部分２値画像（ｂ）とを重ね合わせて、ノイズの少ない合成出力（ｃ）を得ることができる。
【００４４】
〈具体例４〉
この具体例では、例えば文字枠が印刷された帳票に角印を押したような画像であっても、このような角印部分を除外して帳票の罫線を認識することを可能にする。
【００４５】
図１１は、具体例４の画像解析装置ブロック図を示す。
この装置には、具体例３の装置の合成部に代えて、帳票解析部１５と帳票処理部１６を追加する。
【００４６】
図１２には、角印を押した帳票画像例説明図を示す。
この図に示すように、黒の文字枠に対し朱肉を用いて角印を押した場合、肉眼では罫線部分と角印の部分を区別できる。しかしながら、これを２値化処理すると、例えば角印の周辺を取り囲む枠の部分も帳票の罫線と認識されることがある。これに対し、本発明の装置は、次のような処理によって罫線と角印を押した部分を区別する。
【００４７】
図１３に、帳票のヒストグラム例説明図を示す。
このヒストグラムは、図３に示した例と全く同様の要領で、明度値ヒストグラム生成部３と、黒孤立点ヒストグラム生成部４と、白孤立点ヒストグラム生成部５とが生成処理したものである。図のピークＰ４１，Ｐ４２，Ｐ４３は、明度値ヒストグラム、Ｐ５１，Ｐ５２，Ｐ５３は、黒孤立点ヒストグラム、Ｐ６１，Ｐ６２，Ｐ６３は、白孤立点ヒストグラムを示す。
【００４８】
ここで、図１２に示す印鑑の画像に着目する。この印影は帳票の罫線と比較すると、太く、更に濃度がやや明るくややムラがある。従って、罫線と全く同一のヒストグラムにはならない。
【００４９】
図１３に示す明度値０〜Ｖ５１までの範囲の明度領域には、罫線の画素群によるヒストグラムが得られている。また、明度領域Ｖ５１〜Ｖ５２の間には、印鑑の画素群によるヒストグラムが得られている。両者を比較すると、罫線の場合には、これまで説明したように、黒孤立点ヒストグラムと白孤立点ヒストグラムのピーク値の比がかなり大きい。面積を比べても、黒孤立点ヒストグラムが十分大きい。これに対し、印鑑の印影を形成する画素群では、黒孤立点ヒストグラムが白孤立点ヒストグラムのピークよりもやや大きいものの、罫線ほどの違いはない。
【００５０】
一方、背景色を表す明度値Ｖ５２〜２５５までの間の明度領域では、これまで説明した通り、黒孤立点ヒストグラムと白孤立点ヒストグラムとがほぼ同等の大きさになっている。従って、属性判定部８は、両ヒストグラムの比が２以上の場合に罫線と判定し、両ヒストグラムの比が１．２〜２の範囲にある場合にはその他の画素群と判定し、両ヒストグラムの比が１．２以下の場合には背景色の画素群と判定する。もちろん、この数値は、画素の性質が異なれば自由に変更できる値であって、解析を行う画像に応じて実験的に最適値を定めればよい。
【００５１】
以上の処理の結果、部分２値化部１１は、属性判定部８の判定結果に基づいて、印鑑の印影部分は背景色と同一の色に、即ち白色に変換する。これにより、図１４に示すように、印鑑の印影を除外した罫線のみを含む帳票の画像を２値化出力することができる。
【００５２】
図１１に示すノイズ除去部１２は、これまで説明した通りの方法で孤立点等を除去するノイズ除去処理を行う。帳票解析部１５は、この出力を受け入れてノイズが除去され罫線のみを含んだ画像に対し、罫線の位置、セルの位置等の情報を出力する帳票解析処理を行う。この画像には印影が含まれていないため角印の枠を帳票の罫線と誤ることなく、より正確に帳票解析処理を行うことができる。なお、帳票解析処理は長い黒ランを検索して罫線として検出する等、従来の手法でよい。帳票処理部１６は、帳票解析部１５で出力されたセル位置等の表情報に従って、入力部１で得られた画像もしくは２値化された画像について、文字認識、印鑑照合等の帳票処理を行う。
【００５３】
上記の属性判定部８の判定結果を利用すれば、各明度領域の画像がそれぞれどのような性質の画像かを区別できる。従って例えば帳票中にさまざまな性質の画像が含まれている場合に、この発明によって各画像を区別し、それぞれ別々の処理をすることが可能になる。例えば、特定の属性を持つ明度の画素を黒画素とし、それ以外の画素を背景色とする２値化処理を行えば、帳票に含まれる印鑑の画像のみを切り出すことが可能になる。さらに別の属性を持つ明度の画素以外の画素を背景色の画像とする２値化処理を行えば、別の画像の切り出しが可能になる。こうして２値化部の出力する２種以上の２値化画像を使用して、それぞれの２値化画像に適した処理を行うことが可能になる。
【００５４】
〈具体例４の効果〉
明度領域毎に処理を行わせることにより、以上に例示したように帳票解析においては罫線の明度領域の画素についてのみ処理が行われるため、印鑑等の帳票以外のものを罫線等の帳票の構成要素として誤認識することがなく処理を行える等、画像処理の性能向上を図ることができる。
【図面の簡単な説明】
【図１】具体例１の画像解析装置ブロック図である。
【図２】文書画像例説明図である。
【図３】ヒストグラム例説明図である。
【図４】孤立点の説明図である。
【図５】具体例２の画像解析装置ブロック図である。
【図６】具体例２の２値化出力説明図である。
【図７】具体例３の画像解析装置ブロック図である。
【図８】ノイズの説明図である。
【図９】部分２値画像のノイズ除去処理例説明図である。
【図１０】具体例３の動作説明図である。
【図１１】具体例４の画像解析装置ブロック図である。
【図１２】帳票画像例説明図である。
【図１３】帳票のヒストグラム例説明図である。
【図１４】部分２値化出力説明図である。
【符号の説明】
１ 入力部
３ 明度値ヒストグラム生成部
４ 黒孤立点ヒストグラム生成部
５ 白孤立点ヒストグラム生成部
７ 明度領域分割部
８ 属性判定部
【発明の属する技術分野】
本発明は、多値画像中に含まれる処理対象となる画像の形状解析に利用される画像解析装置と画像解析方法に関する。
【０００２】
【従来の技術】
例えば、帳票に記入された文字を認識する場合に、帳票に予め印刷された枠と、その枠の中に記入された文字とを区別して、文字の部分を切り出し、認識を行うといった処理がされる。帳票が多値画像で処理される場合に、文字と背景色とのコントラストが十分にある場合、２値化をして文字の画像を抽出することが可能である。しかしながら、実際には、微妙な濃淡の変化が存在することが多い。そこで、ヒストグラム等によって濃淡の境目を検出し、その境目の値を閾値として、一方を背景色他方を対象物の画像とするといった方式が採用されている。（画像解析ハンドブック第５０２ページ〜第５０５ページ 高木幹雄、下田陽久監修 東京大学出版）
【０００３】
【発明が解決しようとする課題】
ところで、上記のような従来の技術には次のような解決すべき課題があった。
例えば、帳票に、２種以上の濃度の異なる背景色を施した部分が設けられ、それぞれの部分に文字が記入されていたとする。このような場合にはヒストグラムが複雑になり、単純に１つの閾値を用いて２値化処理をすることができなくなる。また、例えば白抜き文字等が存在した場合には、２値化処理をしてもＯＣＲ（光学的文字読み取り装置）によって文字を認識することができない。
【０００４】
【課題を解決するための手段】
本発明は以上の点を解決するため次の構成を採用する。
〈構成１〉
解析対象となる画像に含まれる各画素の明度値を読み取り、それぞれ同一の明度値を持つ画素の数を計数して、明度値毎の画素数の分布を示すヒストグラムを生成する明度値ヒストグラム生成部と、解析対象となる画像に含まれる画素のとる明度値の範囲で閾値を変化させて、各閾値毎に各画素の明度値を２値化したとき画像中に発生した黒の孤立点の数を計数し、閾値毎の黒の孤立点数の分布を示すヒストグラムを生成する黒孤立点ヒストグラム生成部と、解析対象となる画像に含まれる画素のとる明度値の範囲で閾値を変化させて、各閾値毎に各画素の明度値を２値化したとき、画像中に発生した白の孤立点の数を計数し、閾値毎の白の孤立点数の分布を示すヒストグラムを生成する白孤立点ヒストグラム生成部と、上記明度値ヒストグラムを、一定以上の大きさのピークを含み、これらのピーク間に挟まれた明度値が極小値を示す位置を境界とする、複数の明度領域に分割する明度領域分割部と、上記各明度領域において、上記黒孤立点ヒストグラムと上記白孤立点ヒストグラムとを参照して、上記ピークの前後の明度値において、黒孤立点ヒストグラムのピークの形状と白孤立点ヒストグラムのピークの形状を比較して、両者が十分に近似しているとき、上記ピークの明度値を持つ画素群を背景色を描画する画素群と判定する属性判定部とを備えたことを特徴とする画像解析装置。
【０００５】
〈構成２〉
構成１に記載の画像解析装置において、属性判定部において背景色を描画すると判定された画素群を白画素とし、当該画素群以外の画素群を黒画素にする２値化部を備えたことを特徴とする画像解析装置。
【０００６】
〈構成３〉
構成２に記載の画像解析装置において、それぞれ一つの明度領域に着目して２値化処理を行い、他の明度領域を白とする処理を、背景色を描画すると判定された画素群以外の全ての明度領域について行う２値化部と、上記２値化部の出力から黒の孤立点を除去するノイズ除去部と、ノイズを除去した上記２値化部の出力を比較して、いずれかの出力で黒となる画素を黒画素とし、全ての出力で白となる部分を白画素とするように合成する合成部とを備えたことを特徴とする画像解析装置。
【０００７】
〈構成４〉
構成１に記載の画像解析装置において、属性判定部は、黒孤立点ヒストグラムのピークの形状と白孤立点ヒストグラムのピークの形状を比較して、両者の近似度が、画像の性質に従って予め設定した基準に達しているとき、上記ピークの明度値を持つ画素群を背景色を描画する画素群と判定することを特徴とする画像解析装置。
【０００８】
〈構成５〉
解析対象となる画像に含まれる各画素の明度値を読み取り、それぞれ同一の明度値を持つ画素の数を計数して、明度値毎の画素数の分布を示すヒストグラムを生成し、解析対象となる画像に含まれる画素のとる明度値の範囲で閾値を変化させて、各閾値毎に各画素の明度値を２値化したとき画像中に発生した黒の孤立点の数を計数し、閾値毎の黒の孤立点数の分布を示すヒストグラムを生成し、解析対象となる画像に含まれる画素のとる明度値の範囲で閾値を変化させて、各閾値毎に各画素の明度値を２値化したとき、画像中に発生した白の孤立点の数を計数し、閾値毎の白の孤立点数の分布を示すヒストグラムを生成し、上記明度値ヒストグラムを、一定以上の大きさのピークを含み、これらのピーク間に挟まれた極小値を示す位置を境界とする、複数の明度領域に分割して、上記各明度領域において、上記黒孤立点ヒストグラムと上記白孤立点ヒストグラムとを参照して、上記ピークの前後の明度値において、黒孤立点ヒストグラムのピークの形状と白孤立点ヒストグラムのピークの形状を比較して、両者が十分に近似しているとき、上記ピークの明度値を持つ画素群を背景色を描画する画素群と判定することを特徴とする画像解析方法。
【０００９】
〈構成６〉
解析対象となる画像に含まれる各画素の明度値を読み取り、それぞれ同一の明度値を持つ画素の数を計数して、明度値毎の画素数の分布を示すヒストグラムを生成する明度値ヒストグラム生成部と、解析対象となる画像に含まれる画素のとる明度値の範囲で閾値を変化させて、各閾値毎に各画素の明度値を２値化したとき画像中に発生した黒の孤立点の数を計数し、閾値毎の黒の孤立点数の分布を示すヒストグラムを生成する黒孤立点ヒストグラム生成部と、解析対象となる画像に含まれる画素のとる明度値の範囲で閾値を変化させて、各閾値毎に各画素の明度値を２値化したとき、画像中に発生した白の孤立点の数を計数し、閾値毎の白の孤立点数の分布を示すヒストグラムを生成する白孤立点ヒストグラム生成部と、上記明度値ヒストグラムを、一定以上の大きさのピークを含み、これらのピーク間に挟まれた明度値が極小値を示す位置を境界とする、複数の明度領域に分割する明度領域分割部と、各明度領域毎に、黒孤立点ヒストグラムのピークの形状と白孤立点ヒストグラムのピークの形状を比較して、両者の近似度に基づいて、当該明度領域の画像の属性を判定する属性判定部を備えたことを特徴とする画像解析装置。
【００１０】
【発明の実施の形態】
以下、本発明の実施の形態を具体例を用いて説明する。
〈具体例１〉
図１は、具体例１の画像解析装置を示すブロック図である。
この装置は、入力部１、明度値ヒストグラム生成部３、黒孤立点ヒストグラム生成部４、白孤立点ヒストグラム生成部５、明度領域分割部７、属性判定部８を備えている。入力部１は、例えばスキャナやＣＣＤカメラ等、文書や帳票等のイメージデータを多値画像として取り込むことのできるデバイスにより構成される。この入力部１以外の部分は、例えばパーソナルコンピュータ等により構成され、それぞれ以下のような処理を実行するプログラムモジュール等によって実現される。
【００１１】
解析対象となる画像は多値の画像であるが、明度値ヒストグラム生成部３は、この画像中に含まれる各画素の明度値を１つずつ読み取り、それぞれ同一の明度値を持つ画素の数を計数する。明度値は、例えば８ビットのディジタル値等で表現されるから、全ての画素についてその明度値を読み取り、明度値毎に設けたカウンタを順にインクリメントしていけばよい。こうして得られたカウンタのカウント値列が、明度値毎の画素数の分布を示すヒストグラムとなる。
【００１２】
コンピュータ上では、カウント値のリストであって、例えば明度値０が1100、明度値１が７００、明度値２５０が15000といったデータの内容となる。これから説明するヒストグラムは理解を容易にするためにグラフ化するが、コンピュータ上はこのようなデータリストでよい。明度値ヒストグラム生成部３の得るヒストグラムを明度値ヒストグラムと呼ぶ。
【００１３】
また、黒孤立点ヒストグラム生成部４は、解析対象となる画像に含まれる画像のとる明度値の範囲で閾値を変化させて、閾値毎に各画素の明度値を２値化したとき画像中に発生した黒の孤立点の数を計数し、閾値毎の黒の孤立点数の分布を示すヒストグラムを生成する部分である。
【００１４】
多値画像の画素が明度値０〜２５６の範囲に分布しているとき、閾値を明度値０から２５６まで順に変化させる。そして、例えば閾値の明度値が１００のとき各画素を２値化して、その画像中に発生した黒の孤立点を数える。黒の孤立点は１個の画素の周囲が全て白の画素により囲まれている状態の部分をカウントすればよい。このヒストグラムは、閾値の値と黒の孤立点の値とを対応付けたデータ列としてコンピュータのメモリ上に保持される。
【００１５】
白孤立点ヒストグラム生成部５は、黒孤立点ヒストグラム生成部４と同様の方法によって白孤立点を見つける部分である。即ち、解析対象となる画像に含まれる画素のとる明度値の範囲で閾値を変化させて、各閾値毎に各画素の明度値を２値化したとき画像中に発生した白の孤立点の数を計数し、閾値毎の白の孤立点数の分布を示すヒストグラムを生成する。
【００１６】
明度領域分割部７は、明度値ヒストグラム生成部３の出力を参照して、画素値が極小値を示す位置を境界にして、複数の明度領域にヒストグラムを分割する部分である。明度値ヒストグラムをグラフ化すると、同一の濃度の画素群によっていくつかのピークが認められる。一定以上の大きさのピークを検出し、これらのピーク間に挟まれた明度値が極小値を示す位置を境界とする。この処理の具体的な説明は、後で図４を用いて行う。
【００１７】
属性判定部８は、後で説明するように、各明度領域において、黒孤立点ヒストグラムと白孤立点ヒストグラムとを参照して、ピークの前後の明度値において黒孤立点と白孤立点の数を比較し、両者が十分近似しているとき、ピークの明度値を持つ画素群を、背景色を描画する画素群と判定する処理を行う。即ち、この属性判定部８によって、明度値ヒストグラムによって得られたいくつかの画素群が背景色に該当するか、文字等の認識対象となる画素群に該当するかを区別し、各画素群の属性値を求めてメモリに記憶する。なお、この具体例では黒孤立点と白孤立点の数を比較するが、黒孤立点と白孤立点のヒストグラムの、高さや面積や幅等、ピークの形状全体をみて、その特徴部分を適宜選択して比較をし、両者が十分近似しているかどうかで判定を下すようにすればよい。どのような特徴部分を選択するかは画像の性質から判断すればよい。以下の具体例でも同様である。
【００１８】
図２に、解析対象となる文書画像例の説明図を示す。
この発明の装置は、このような画像中に含まれる文字の部分を抽出して、例えばＯＣＲで認識するためのデータを生成することができる。図の画像は、４種類の濃度値を持つ画素群により描画されている。最も明度値の低い画素群がＢ１、次はＢ２、その次はＢ３で、最も明度値の高い画素群がＢ４である。この画像は多値の画像であるから、各Ｂ１，Ｂ２，Ｂ３，Ｂ４の画素群の明度値は必ずしも同一明度値に集中しない。それぞれある明度値を中心としてやや分散している。従って、明度値ヒストグラムは次のようになる。
【００１９】
図３には、ヒストグラム例説明図を示す。
図の横軸は明度値で、一番左側が明度値０即ち黒色の部分で、一番右側は明度値が２５５即ち白の部分である。図の縦軸は画素数を示す。図の実線に示したものが明度値ヒストグラムであって、４つのピークＰ１１，Ｐ１２，Ｐ１３，Ｐ１４を持つ。ピークＰ１１は、図２に示した画素群Ｂ１によるものである。また、ピークＰ１２は、図２に示した画素群Ｂ２によるものである。ピークＰ１３は、図２に示した画素群Ｂ３によるものである。ピークＰ１４は、図２に示した画素群Ｂ４によるものである。
【００２０】
次に、孤立点が発生するメカニズムを説明する。
図４は、孤立点の説明図である。
図４（ａ）には、白色Ｗの背景色の上に黒色Ｂの直線が描かれている状態を示す。この直線は、１画素分の太さで描かれているものとする。なお、黒色Ｂは明度値が０ではなく、例えば明度値が５０に近い画素の集合とする。このとき、閾値を明度値５０に選定して、この画像の２値化処理を行うと、直線上に配列された黒画素のうちのいずれかは白と判断され、残りは黒と判断される。従って、図４（ｂ）に示すように、直線が寸断された２値化出力が得られる。
【００２１】
ここで、図の右側に存在する画素ＫＢは、その周囲が全て白色の画素に囲まれた孤立点となる。図１に示した黒孤立点ヒストグラム生成部４は、このように例えば閾値を明度値５０としたとき、黒の孤立点が“１”という結果を得て、ヒストグラム用のデータにする。
【００２２】
図４の（ｃ）には、上半分が白画素群、下半分が黒画素群により描画された画像を示す。白画素群の明度値の中心は、例えば２００であるとする。また、黒画素群の明度値の中心は５０であるとする。この場合、閾値を５０より明度値の低い、例えば４５に設定すると、図の（ｂ）に示したような要領で黒の孤立点が発生しやすくなる。
【００２３】
一方、閾値を５５に設定した場合には、図の黒の画素群の大部分が黒画素と判定され、その一部が白画素と判定されるから、白の孤立点が増えることになる。（ａ）と（ｃ）とを比較した場合に、（ａ）の場合は黒で描かれた線が細いため、黒の孤立点が発生しやすいが、白の孤立点は発生しにくい。即ち、文字や罫線等を描画するための細い線を構成する画素群の場合、黒の孤立点の方が白の孤立点よりも多く発生する傾向がある。一方、（ｃ）に示すように、背景色となるような面積の広い黒画素群の場合、黒孤立点と白孤立点の発生割合がほぼ近い値になる。この発明では、こうした画像の性質を利用する。
【００２４】
再び、図３に戻って、黒孤立点、白孤立点のヒストグラムについて説明をする。この図に示すピークＰ２１，Ｐ２２，Ｐ２３，Ｐ２４が黒孤立点ヒストグラムである。また、ピークＰ３１，Ｐ３２，Ｐ３３，Ｐ３４は白孤立点ヒストグラムを示す。例えば、図２に示す画素群Ｂ１は、明度値ヒストグラムのピークＰ１１と対応するが、閾値をこのピークの明度値を中心に左から右に向かって順に変化させて２値化処理を行うと、黒孤立点のヒストグラムのピークがＰ２１となり、白孤立点のヒストグラムのピークがＰ３１になる。
【００２５】
図４を用いて説明したように、画素群Ｂ１は、背景色であって、黒孤立点と白孤立点のピークの大きさがほぼ等しい。一方、ピークＰ１２は、図２に示す画素群Ｂ２に相当する。これは、文字を構成する細い線から成るため、図４を用いて説明したように、黒孤立点ヒストグラムのピークＰ２２が白孤立点ヒストグラムのピークＰ３２に比べてかなり大きい。
【００２６】
このような性質から、ピークＰ１１が背景色の画素群であり、ピークＰ１２は文字や罫線等の描画のための画素群であると判定できる。図１に示す属性判定部８は、このような判定を行う。なお、こうした判定を行うために、予め明度領域分割部７は、図３に示す各明度値ヒストグラムのピークＰ１１，Ｐ１２，Ｐ１３，Ｐ１４の間にある明度値が極小値をとる部分を、境界Ｖ２１，Ｖ２２，Ｖ２３，Ｖ２３に設定する。そして、４つの明度領域即ち０〜Ｖ２１，Ｖ２１〜Ｖ２２，Ｖ２２〜Ｖ２３，Ｖ２３〜２５５の設定を行う。こうして分割された明度領域毎にヒストグラムの解析を行う。
【００２７】
なお、上記孤立点ヒストグラムの生成のための演算処理は、閾値を０〜２５５の範囲で変化させて、それぞれ各画素値を２値化する方法により行うことができる。また、この他に各画素の明度値と、その画素に接しその画素の周囲を取り囲む全ての画素の明度値とを取得する。そして、着目する画素の明度値をＭとする。また、周囲の画素のうち、最も暗い画素の明度値をＳとする。そして、Ｍの方がＳよりも小さい場合、即ちＭの方が明度値が低い場合には、ＳとＭとの間の明度値をとる閾値によって着目する画素が必ず黒の孤立点になる。このような判断を全ての画素について行えばよい。
【００２８】
上記明度領域の分割は、明度値ヒストグラム中から一定以上の大きさのピークを見つけて行う。また、黒孤立点ヒストグラムと白孤立点ヒストグラムの比較は、ピークの大きさを比較する。このように、ピークの大きさを判断する場合には、ピークの最大値を比較する他、ピークの面積を比較してもよい。孤立点が一定の明度値の範囲に幅広く分布する場合もあるからである。また、グラデーションで表現されたような文字もあるからである。
【００２９】
なお、このようなピークの大きさの判断とピークの比較判断のための基準は、解析対象となる画像に応じて実験的に最適なものを選択することが好ましい。ピークが近似しているかどうかの判断には、ピークの最大値の比や面積の差、面積の比の比較等、様々な比較方法が選定できる。
【００３０】
〈具体例１の効果〉
以上のように、図１に示した入力部１から入力された解析対象となる画像を元に、明度値ヒストグラムと、黒孤立点ヒストグラムと、白孤立点ヒストグラムをそれぞれ生成し、明度領域分割部７によって画素群を所定の明度領域に分割し、それぞれについて黒孤立点ヒストグラムと白孤立点ヒストグラムとを比較し、両者が十分に近似している場合を背景色とし、その他の場合を文字等の意味のある図形を描画する画素群と判定すれば、各明度値を持つ画素群の属性を比較的簡単な演算処理によって明確に区別することが可能になる。
【００３１】
〈具体例２〉
上記の具体例では、例えば図２に示した画素群Ｂ１を背景色とし、Ｂ３はその中に描かれた文字等と判定し、Ｂ４は背景色とし、Ｂ２はその中に書かれた文字等と判定する。ところが、このような背景上に記入された文字をＯＣＲを用いて認識する場合には、２値化された画像であって、文字の部分が黒になるようなデータが望ましい。この具体例では、図１に示した装置に２値化部を追加することによってこれを実現する。
【００３２】
図５には、具体例２の画像解析装置ブロック図を示す。
この装置の、入力部１、明度値ヒストグラム生成部３、黒孤立点ヒストグラム生成部４、白孤立点ヒストグラム生成部５、明度領域分割部７及び属性判定部８は、具体例１に示したものと同一のものである。そして、属性判定部８の出力側に新たに２値化部９を設ける。この２値化部９は、入力部１から入力された解析対象となる画像に対し、属性判定部８において判定された属性を利用して２値化処理を行う。具体的には、背景色と判定された画素群を白とし、それ以外の画素群を黒にするように２値化処理を行う。
【００３３】
具体的には、図３に示すヒストグラムを参照し、明度値が０〜Ｖ２１の範囲にある画素群は背景色と判定されたから、これらを白画素とする。また、明度領域Ｖ２１〜Ｖ２２の間に存在する画素群は、背景色以外のものと判定されたから黒画素にする。明度領域Ｖ２２〜Ｖ２３にある画素群も黒画素にする。明度領域Ｖ２３〜明度値２５５の範囲にある画素群は背景色であるから、白画素にする。こうすれば、２値化処理された画像を得る。
【００３４】
図６に、具体例２の２値化出力説明図を示す。
図５に示す２値化部９の出力は、この図に示すようになる。即ち、図２に示した背景色の部分は全て白となり、それ以外の部分は黒になる。このようにして文字認識が可能になる。
【００３５】
〈具体例２の効果〉
以上のように、属性判定部において、背景色を描画すると判定された画素群を白画素とし、背景色と判定された画素群以外の画素群を黒画素にすれば、多値画像であって、様々な背景色の上に描かれた文字等をＯＣＲで認識できる画像に変換することが可能になる。
【００３６】
〈具体例３〉
上記具体例２では、図２に示すように、例えば画像の上半分と下半分の背景領域の色が異なっていても、それぞれの背景領域を白に変換して、文字の部分を全て黒画像にすることが可能になる。しかしながら、このような変換処理を行った場合、丁度領域の境界部分に存在する画素のうち、いくらかの画素は白色に変換されず、ノイズとなって残ることがある。具体例３では、このようなノイズを減少させる。
【００３７】
図７は、具体例３の画像解析装置ブロック図を示す。
この図では、具体例２の装置に対し、２値化部９を部分２値化部１１に置き換える。そして、その出力側にノイズ除去部１２と合成部１３とを備える。
【００３８】
図８に、ノイズの説明図を示す。
図６を用いて説明した具体例２の２値化出力の、丁度上辺と下辺の中間部分を拡大すると、この図に示すようになる。即ち、ごく少量であるがノイズＮ１が残っていることがわかる。背景色の切り替わる境界部分で、中間的な明度値の画素がいくらか存在するためである。このようなノイズの量が増えると、文字認識等の誤りを発生する。具体例３の装置は、まず部分２値化部１１が明度領域別に２値化を行う。
【００３９】
即ち、図３を参照して説明すれば、明度値Ｖ２１〜Ｖ２２の範囲にあるピークＰ１２を形成する画素群を黒画素にし、その他の画素を白画素にするように２値化処理を行う。明度値Ｖ２２〜Ｖ２３の範囲の明度領域については、ピークＰ１３を形成する画素値を黒画素にし、その他の画素を白画素にするように２値化処理を行う。
【００４０】
更に、図７に示すノイズ除去部１２は、各２値化画像について、それぞれノイズ除去を行う。ノイズ除去の手法は従来からよく知られており、いわゆる孤立点の除去を行う処理である。例えば、背景色白色の部分に、黒の孤立点があれば全てこれを白に反転する。こうした処理によって、主として境界部分のノイズを効果的に除去できる。
【００４１】
図９には、部分２値画像のノイズ除去処理例説明図を示す。
図９（ａ）に示したものが部分２値化部１１の出力である。この部分２値化部１１の出力した２値画像は、白色の地色である部分にノイズが存在する。（ｂ）にはその拡大図を示す。ここで、（ｃ）に示すような孤立点を画像中で探索し、孤立点を白色に反転する処理を行う。この結果、図の（ｄ）に示すようにして、ノイズが除去される。この２値画像は、上部の文字に着目して２値化処理を行っているから、それ以外の部分はノイズ除去によって大部分が背景色に変換される。
【００４２】
部分２値化部１１の２種類の２値化出力について、それぞれノイズ除去を行い、更に合成部１３で各出力を合成する。このとき、合成部１３は、いずれかの出力で黒となる画素を黒画素とし、全ての出力で白となる部分を白画素とするように合成する。以上のような処理を行うと、特に、２種の背景色の境界部分で中間的な明度を持つ画素がにじみ出すようにして生じるノイズを十分に削減することができる。上記のように、分割した明度領域毎にノイズ除去を行えば、各領域に含まれる画素群は、いずれも同一の属性値を持つため、ノイズと区別しやすいからノイズ除去が容易になる。
【００４３】
〈具体例３の効果〉
以上のように、明度領域毎にノイズ除去を施して、２値化画像を合成すると、ノイズの少ない高品質な２値化画像を得ることができる。即ち、図１０に示すように、ノイズを除去した画像を上部の部分の２値化画像（ａ）と、ノイズを除去した画像下部の部分２値画像（ｂ）とを重ね合わせて、ノイズの少ない合成出力（ｃ）を得ることができる。
【００４４】
〈具体例４〉
この具体例では、例えば文字枠が印刷された帳票に角印を押したような画像であっても、このような角印部分を除外して帳票の罫線を認識することを可能にする。
【００４５】
図１１は、具体例４の画像解析装置ブロック図を示す。
この装置には、具体例３の装置の合成部に代えて、帳票解析部１５と帳票処理部１６を追加する。
【００４６】
図１２には、角印を押した帳票画像例説明図を示す。
この図に示すように、黒の文字枠に対し朱肉を用いて角印を押した場合、肉眼では罫線部分と角印の部分を区別できる。しかしながら、これを２値化処理すると、例えば角印の周辺を取り囲む枠の部分も帳票の罫線と認識されることがある。これに対し、本発明の装置は、次のような処理によって罫線と角印を押した部分を区別する。
【００４７】
図１３に、帳票のヒストグラム例説明図を示す。
このヒストグラムは、図３に示した例と全く同様の要領で、明度値ヒストグラム生成部３と、黒孤立点ヒストグラム生成部４と、白孤立点ヒストグラム生成部５とが生成処理したものである。図のピークＰ４１，Ｐ４２，Ｐ４３は、明度値ヒストグラム、Ｐ５１，Ｐ５２，Ｐ５３は、黒孤立点ヒストグラム、Ｐ６１，Ｐ６２，Ｐ６３は、白孤立点ヒストグラムを示す。
【００４８】
ここで、図１２に示す印鑑の画像に着目する。この印影は帳票の罫線と比較すると、太く、更に濃度がやや明るくややムラがある。従って、罫線と全く同一のヒストグラムにはならない。
【００４９】
図１３に示す明度値０〜Ｖ５１までの範囲の明度領域には、罫線の画素群によるヒストグラムが得られている。また、明度領域Ｖ５１〜Ｖ５２の間には、印鑑の画素群によるヒストグラムが得られている。両者を比較すると、罫線の場合には、これまで説明したように、黒孤立点ヒストグラムと白孤立点ヒストグラムのピーク値の比がかなり大きい。面積を比べても、黒孤立点ヒストグラムが十分大きい。これに対し、印鑑の印影を形成する画素群では、黒孤立点ヒストグラムが白孤立点ヒストグラムのピークよりもやや大きいものの、罫線ほどの違いはない。
【００５０】
一方、背景色を表す明度値Ｖ５２〜２５５までの間の明度領域では、これまで説明した通り、黒孤立点ヒストグラムと白孤立点ヒストグラムとがほぼ同等の大きさになっている。従って、属性判定部８は、両ヒストグラムの比が２以上の場合に罫線と判定し、両ヒストグラムの比が１．２〜２の範囲にある場合にはその他の画素群と判定し、両ヒストグラムの比が１．２以下の場合には背景色の画素群と判定する。もちろん、この数値は、画素の性質が異なれば自由に変更できる値であって、解析を行う画像に応じて実験的に最適値を定めればよい。
【００５１】
以上の処理の結果、部分２値化部１１は、属性判定部８の判定結果に基づいて、印鑑の印影部分は背景色と同一の色に、即ち白色に変換する。これにより、図１４に示すように、印鑑の印影を除外した罫線のみを含む帳票の画像を２値化出力することができる。
【００５２】
図１１に示すノイズ除去部１２は、これまで説明した通りの方法で孤立点等を除去するノイズ除去処理を行う。帳票解析部１５は、この出力を受け入れてノイズが除去され罫線のみを含んだ画像に対し、罫線の位置、セルの位置等の情報を出力する帳票解析処理を行う。この画像には印影が含まれていないため角印の枠を帳票の罫線と誤ることなく、より正確に帳票解析処理を行うことができる。なお、帳票解析処理は長い黒ランを検索して罫線として検出する等、従来の手法でよい。帳票処理部１６は、帳票解析部１５で出力されたセル位置等の表情報に従って、入力部１で得られた画像もしくは２値化された画像について、文字認識、印鑑照合等の帳票処理を行う。
【００５３】
上記の属性判定部８の判定結果を利用すれば、各明度領域の画像がそれぞれどのような性質の画像かを区別できる。従って例えば帳票中にさまざまな性質の画像が含まれている場合に、この発明によって各画像を区別し、それぞれ別々の処理をすることが可能になる。例えば、特定の属性を持つ明度の画素を黒画素とし、それ以外の画素を背景色とする２値化処理を行えば、帳票に含まれる印鑑の画像のみを切り出すことが可能になる。さらに別の属性を持つ明度の画素以外の画素を背景色の画像とする２値化処理を行えば、別の画像の切り出しが可能になる。こうして２値化部の出力する２種以上の２値化画像を使用して、それぞれの２値化画像に適した処理を行うことが可能になる。
【００５４】
〈具体例４の効果〉
明度領域毎に処理を行わせることにより、以上に例示したように帳票解析においては罫線の明度領域の画素についてのみ処理が行われるため、印鑑等の帳票以外のものを罫線等の帳票の構成要素として誤認識することがなく処理を行える等、画像処理の性能向上を図ることができる。
【図面の簡単な説明】
【図１】具体例１の画像解析装置ブロック図である。
【図２】文書画像例説明図である。
【図３】ヒストグラム例説明図である。
【図４】孤立点の説明図である。
【図５】具体例２の画像解析装置ブロック図である。
【図６】具体例２の２値化出力説明図である。
【図７】具体例３の画像解析装置ブロック図である。
【図８】ノイズの説明図である。
【図９】部分２値画像のノイズ除去処理例説明図である。
【図１０】具体例３の動作説明図である。
【図１１】具体例４の画像解析装置ブロック図である。
【図１２】帳票画像例説明図である。
【図１３】帳票のヒストグラム例説明図である。
【図１４】部分２値化出力説明図である。
【符号の説明】
１ 入力部
３ 明度値ヒストグラム生成部
４ 黒孤立点ヒストグラム生成部
５ 白孤立点ヒストグラム生成部
７ 明度領域分割部
８ 属性判定部
Claims (6)
- 解析対象となる画像に含まれる各画素の明度値を読み取り、それぞれ同一の明度値を持つ画素の数を計数して、明度値毎の画素数の分布を示すヒストグラムを生成する明度値ヒストグラム生成部と、
解析対象となる画像に含まれる画素のとる明度値の範囲で閾値を変化させて、各閾値毎に各画素の明度値を２値化したとき画像中に発生した黒の孤立点の数を計数し、閾値毎の黒の孤立点数の分布を示すヒストグラムを生成する黒孤立点ヒストグラム生成部と、
解析対象となる画像に含まれる画素のとる明度値の範囲で閾値を変化させて、各閾値毎に各画素の明度値を２値化したとき、画像中に発生した白の孤立点の数を計数し、閾値毎の白の孤立点数の分布を示すヒストグラムを生成する白孤立点ヒストグラム生成部と、
前記明度値ヒストグラムを、一定以上の大きさのピークを含み、これらのピーク間に挟まれた明度値が極小値を示す位置を境界とする、複数の明度領域に分割する明度領域分割部と、
前記各明度領域において、前記黒孤立点ヒストグラムと前記白孤立点ヒストグラムとを参照して、前記ピークの前後の明度値において、黒孤立点ヒストグラムのピークの形状と白孤立点ヒストグラムのピークの形状を比較して、両者が十分に近似しているとき、前記ピークの明度値を持つ画素群を背景色を描画する画素群と判定する属性判定部とを備えたことを特徴とする画像解析装置。 - 請求項１に記載の画像解析装置において、
属性判定部において背景色を描画すると判定された画素群を白画素とし、当該画素群以外の画素群を黒画素にする２値化部を備えたことを特徴とする画像解析装置。 - 請求項２に記載の画像解析装置において、
それぞれ一つの明度領域に着目して２値化処理を行い、他の明度領域を白とする処理を、背景色を描画すると判定された画素群以外の全ての明度領域について行う２値化部と、
前記２値化部の出力から黒の孤立点を除去するノイズ除去部と、
ノイズを除去した前記２値化部の出力を比較して、いずれかの出力で黒となる画素を黒画素とし、全ての出力で白となる部分を白画素とするように合成する合成部とを備えたことを特徴とする画像解析装置。 - 請求項１に記載の画像解析装置において、
属性判定部は、
黒孤立点ヒストグラムのピークの形状と白孤立点ヒストグラムのピークの形状を比較して、両者の近似度が、画像の性質に従って予め設定した基準に達しているとき、前記ピークの明度値を持つ画素群を背景色を描画する画素群と判定することを特徴とする画像解析装置。 - 解析対象となる画像に含まれる各画素の明度値を読み取り、それぞれ同一の明度値を持つ画素の数を計数して、明度値毎の画素数の分布を示すヒストグラムを生成し、
解析対象となる画像に含まれる画素のとる明度値の範囲で閾値を変化させて、各閾値毎に各画素の明度値を２値化したとき画像中に発生した黒の孤立点の数を計数し、閾値毎の黒の孤立点数の分布を示すヒストグラムを生成し、
解析対象となる画像に含まれる画素のとる明度値の範囲で閾値を変化させて、各閾値毎に各画素の明度値を２値化したとき、画像中に発生した白の孤立点の数を計数し、閾値毎の白の孤立点数の分布を示すヒストグラムを生成し、
前記明度値ヒストグラムを、一定以上の大きさのピークを含み、これらのピーク間に挟まれた極小値を示す位置を境界とする、複数の明度領域に分割して、
前記各明度領域において、前記黒孤立点ヒストグラムと前記白孤立点ヒストグラムとを参照して、前記ピークの前後の明度値において、黒孤立点ヒストグラムのピークの形状と白孤立点ヒストグラムのピークの形状を比較して、両者が十分に近似しているとき、前記ピークの明度値を持つ画素群を背景色を描画する画素群と判定することを特徴とする画像解析方法。 - 解析対象となる画像に含まれる各画素の明度値を読み取り、それぞれ同一の明度値を持つ画素の数を計数して、明度値毎の画素数の分布を示すヒストグラムを生成する明度値ヒストグラム生成部と、
解析対象となる画像に含まれる画素のとる明度値の範囲で閾値を変化させて、各閾値毎に各画素の明度値を２値化したとき画像中に発生した黒の孤立点の数を計数し、閾値毎の黒の孤立点数の分布を示すヒストグラムを生成する黒孤立点ヒストグラム生成部と、
解析対象となる画像に含まれる画素のとる明度値の範囲で閾値を変化させて、各閾値毎に各画素の明度値を２値化したとき、画像中に発生した白の孤立点の数を計数し、閾値毎の白の孤立点数の分布を示すヒストグラムを生成する白孤立点ヒストグラム生成部と、
前記明度値ヒストグラムを、一定以上の大きさのピークを含み、これらのピーク間に挟まれた明度値が極小値を示す位置を境界とする、複数の明度領域に分割する明度領域分割部と、
各明度領域毎に、黒孤立点ヒストグラムのピークの形状と白孤立点ヒストグラムのピークの形状を比較して、両者の近似度に基づいて、当該明度領域の画像の属性を判定する属性判定部を備えたことを特徴とする画像解析装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25345399A JP3759349B2 (ja) | 1999-09-07 | 1999-09-07 | 画像解析装置と画像解析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25345399A JP3759349B2 (ja) | 1999-09-07 | 1999-09-07 | 画像解析装置と画像解析方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001076096A JP2001076096A (ja) | 2001-03-23 |
| JP3759349B2 true JP3759349B2 (ja) | 2006-03-22 |
Family
ID=17251616
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP25345399A Expired - Fee Related JP3759349B2 (ja) | 1999-09-07 | 1999-09-07 | 画像解析装置と画像解析方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3759349B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8693743B1 (en) | 2010-02-19 | 2014-04-08 | Olive Tree Media, LLC | Analysis and display of multiple biomarker co-expression in cells and tissues |
-
1999
- 1999-09-07 JP JP25345399A patent/JP3759349B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001076096A (ja) | 2001-03-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10455117B2 (en) | Image processing apparatus, method, and storage medium | |
| JP4016342B2 (ja) | コード認識のための装置及びその方法 | |
| CN111401372B (zh) | 一种扫描文档图文信息提取与鉴别的方法 | |
| JP6139396B2 (ja) | 文書を表す二値画像を圧縮する方法及びプログラム | |
| EP1173003B1 (en) | Image processing method and image processing apparatus | |
| US8351720B2 (en) | Method and system providing edge enhanced image binarization | |
| JP2008148298A (ja) | 画像における異なった内容の領域を識別する方法、画像における異なった内容の領域を識別する装置、および画像における異なった内容の領域を識別するコンピュータ・プログラムを具現するコンピュータ読み取り可能な媒体 | |
| EP1269394A2 (en) | Improved method for image binarization | |
| JP5337563B2 (ja) | 帳票認識方法および装置 | |
| KR20120132314A (ko) | 화상 처리 장치, 화상 처리 방법, 및 컴퓨터 판독 가능한 매체 | |
| CN110598566A (zh) | 图像处理方法、装置、终端和计算机可读存储介质 | |
| JP2018139457A (ja) | 画像処理装置、画像処理の制御方法、及びプログラム | |
| JP4077919B2 (ja) | 画像処理方法及び装置及びその記憶媒体 | |
| JP3906221B2 (ja) | 画像処理方法及び画像処理装置 | |
| JP2010186246A (ja) | 画像処理装置、方法、及び、プログラム | |
| CN111445402A (zh) | 一种图像去噪方法及装置 | |
| JP3759349B2 (ja) | 画像解析装置と画像解析方法 | |
| JP5979008B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| RU2571510C2 (ru) | Метод и устройство, использующие увеличение изображения для подавления визуально заметных дефектов на изображении | |
| JP3115725B2 (ja) | 背景付き文字列からの文字列画像の抽出処理方式 | |
| JPH08123901A (ja) | 文字抽出装置及び該装置を用いた文字認識装置 | |
| WO2017168889A1 (en) | Object detection device and vehicle having the object detection device | |
| KR100537827B1 (ko) | 경계선 분포를 이용한 스캔 영상의 상역 분리 방법 | |
| JP3268542B2 (ja) | 微細文字画像の拡大方法 | |
| Boiangiu et al. | Bitonal image creation for automatic content conversion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051122 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051129 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051228 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100113 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100113 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110113 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110113 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120113 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130113 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140113 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |