JP5900208B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、画像処理装置及び画像処理方法に関し、具他的には、画像中の文字及び線を認識するための画像処理装置及び画像処理方法に関する。

文書から文字及び図面を分離する技術は有用であり、文書の分布に対する分析、文書画像の各層ごとで圧縮することなどに利用することができる。商業化された製品に含まれる文書画像の圧縮技術としては、例えばカラーモードにおいて３００ＤＰＩでサンプリングする場合は、典型的な雑誌ページを４０〜６０ＫＢまで圧縮することができる。このような圧縮率はＪＰＥＧ圧縮率の略５〜１０倍であり、主観的な近似画像の品質も維持される。典型的な画像圧縮技術は、先ず二次元の隠れマルコフモデル（HMM：Hidden Markov Model）により前景（文字）と背景（図及び文書背景）とを分ける。しかし、このような技術では、前景を分離する初期段階にしばしば分割過ぎてしまい、大量の明らかなエラーを各種の周波数フィルタを用いて削除する必要がある。

本発明は、上述の従来技術の問題点に鑑み、画像における文字及び／又は線を識別できる画像処理装置及び画像処理方法を提供することを目的とする。

本発明の一の態様は、処理される画像の局部平均値図を生成する局部平均値図生成部と、前記画像の二値化図を生成する二値化図生成部であって、前記二値化図において、前記画像における高周波数領域に対応する画素が第１の階調を有し、前記画像における低周波数領域に対応する画素が第２の階調を有する、二値化図生成部と、前記画像と前記局部平均値図とを比較して、前記二値化図における前記第１の階調を有する領域を、前記第１の階調を有する領域と第３の階調を有する領域とに区分することで、三値化図を生成する三値化図生成部と、前記三値化図において前記第２の階調を有する連続領域を識別し、前記連続領域の境界において前記第１の階調を有する画素の前記第３の階調を有する画素に対する数の比率が所定の閾値を超えた場合は、前記連続領域を前記第１の階調で充填し、前記連続領域の境界において前記第３の階調を有する画素の前記第１の階調を有する画素に対する数の比率が前記所定の閾値を超えた場合は、前記連続領域を前記第３の階調で充填する充填部と、前記充填された三値化図における対象境界の階調の一致度に基づいて、前記画像における文字及び／又は線を識別する識別部と、を含む画像処理装置を提供する。

また、本発明の他の態様は、処理される画像の局部平均値図を生成するステップと、前記画像の二値化図を生成するステップであって、前記二値化図において、前記画像における高周波数領域に対応する画素が第１の階調を有し、前記画像における低周波数領域に対応する画素が第２の階調を有する、ステップと、前記画像と前記局部平均値図とを比較して、前記二値化図における前記第１の階調を有する領域を、前記第１の階調を有する領域と第３の階調を有する領域とに区分することで、三値化図を生成するステップと、前記三値化図において前記第２の階調を有する連続領域を識別し、前記連続領域の境界において前記第１の階調を有する画素の前記第３の階調を有する画素に対する数の比率が所定の閾値を超えた場合は、前記連続領域を前記第１の階調で充填し、前記連続領域の境界において前記第３の階調を有する画素の前記第１の階調を有する画素に対する数の比率が前記所定の閾値を超えた場合は、前記連続領域を前記第３の階調で充填するステップと、前記充填された三値化図における対象境界の階調の一致度に基づいて、前記画像における文字及び／又は線を識別するステップと、を含む画像処理方法を提供する。

本発明によれば、画像における文字及び／又は線を識別できる画像処理装置及び画像処理方法を提供することができる。

本発明の実施例に係る画像処理装置の構成例を示す図である。 画像処理の対象の例を示す図である。 図２Ａに示す画像の局部平均値図である。 図２Ａに示す画像の局部バリオグラム（variogram）である。 図２Ａに示す画像及びその局部平均値図に基づいて生成された三値化図である。 充填された図２Ｄの三値化図である。 図２Ｅの充填された三値化図から識別された対象を示す図である。 明るい色の背景における濃い色の文字を識別する具体例を示す図である。 濃い色の背景における明るい色の文字を識別する具体例を示す図である。 文字及び線を含まない画像部分に対する処理結果の例を示す図である。 本発明の他の実施例に係る画像処理装置の構成例を示すブロック図である。 四値化図に対して指向性を有する拡張を行う例を示す図である。 四値化図に対して指向性を有する拡張を行う例を示す図である。 四値化図に対して指向性を有する拡張を行う例を示す図である。 Ａ及びＢは、四値化図から分離された文字の例を示す図である。。 本発明の実施例に係る画像処理装置による図形、文字及び線を含む画像の処理結果の例を示す図である。 本発明の実施例に係る画像処理装置による図形、文字及び線を含む画像の処理結果の例を示す図である。 本発明の実施例に係る画像処理方法を示すフローチャートである。 本発明の他の実施例に係る画像処理方法を示すフローチャートである。 本発明に係る画像処理装置及び画像処理方法を実現するためのコンピュータの構成例を示すブロック図である。

本発明の上述の及びその他の目的、特徴及び効果は、図面を参照しながら、好適な実施形態の詳細な説明に示されるように、明らかである。

次に、本発明を実施するための形態を図面に基づいて説明する。

図１は、本発明の実施例に係る画像処理装置の構成例を示している。画像処理装置１００は、局部平均値図生成部１１０、二値化図生成部１２０、三値化図生成部１３０、充填部１４０、及び識別部１５０を含む。

画像処理装置１００の処理対象としての画像は、グレースケール画像又はカラー画像（カラー画像の場合は、本発明の技術分野における通常の方法でカラー画像をグレースケール画像に変換してもよい）であってもよい。この画像は、図形、文字及び線などの内容を含んでもよい。画像処理装置１００は、入力画像が高度に圧縮された画像である場合は、低域フィルター（例えばガウスフィルター）を用いて、画像を平滑化し、圧縮によるノイズを抑制してもよい。

例えば、図２Ａに画像処理装置１００の処理対象としての入力画像の例を示す。この画像は、左上部の比較的大きな文字、左下部の比較的小さな文字、及び右側の図形を含む。

入力画像は局部平均値図生成部１１０に供給され、局部平均値図生成部１１０は入力された画像に基づいて局部平均値図を計算（生成）する。具体的には、局部平均値図生成部１１０は、局部ウインドウ（５ピクセル×５ピクセル、又は７ピクセル×７ピクセルのウインドウ）を用いて、局部平均値を画素毎に計算して局部平均値図を生成する。本発明の実施例では、処理対象の画像内の文字（文字の字画）及び／又は線の太さに基づいて、局部平均値図生成部１１０に用いられる局部ウインドウのサイズを設定してもよい。

例えば、図２Ｂは、局部平均値図生成部１１０が図２Ａに例示される入力画像に基づいて生成された局部平均値図を示している。

入力画像は二値化図生成部１２０にも供給される。二値化図生成部１２０は、入力画像に基づいて二値化図を生成する。二値化図においては、入力画像における高周波数領域に対応する位置にある画素が第１の階調を有し、入力画像における低周波数領域に対応する位置にある画素が第２の階調を有する。例えば、局部バリオグラム（ｖａｒｉｏｇｒａｍ）又はグラデーション（ｇｒａｄｉｅｎｔ）図であってもよく、二値化図生成部１２０は局部ウインドウ（例えば５ピクセル×５ピクセル、又は７ピクセル×７ピクセルのウインドウ）を用いて、局部の平方偏差（ｖａｒｉａｎｃｅ）又は階調度（ｇｒａｄｉｅｎｔ）を画素毎に計算して二値化図を生成してもよい。本発明の実施例では、処理対象の画像における文字及び／又は線の太さに基づいて、二値化図生成部１２０に用いられる局部ウインドウのサイズを設定してもよい。

本発明の一つの具他的な実施例では、８ビット（合計２５６階調）のグレースケール画像を用いる場合は、第１の階調を０（黒）に設定し、第２の階調を２５５（白）に設定する。

例えば、図２Ｃは、二値化図生成部１２０が図２Ａに示す入力画像に基づいて生成した局部バリオグラムを示している。この局部バリオグラムにおいて、入力画像における高周波数領域（高平方偏差を有する領域）に対応する領域は階調０（黒い部分）を有し、入力画像における低周波数領域（低平方偏差を有する領域）に対応する領域は階調２５５（白い部分）を有する。

二値化図生成部１２０は、入力画像に基づいて生成した二値化図を三値化図生成部１３０に供給する。三値化図生成部１３０は、入力画像と局部平均値図とを比較して、二値化図生成部１２０から供給された二値化図内の第１の階調を有する領域を、第１の階調を有する領域と第３の階調を有する領域とに区分することで、三値化図を生成する。

本発明の一つの実施例では、三値化図生成部１３０は、以下の規則に従って、二値化図を区部して三値化図を生成する。

Ｖ（i，ｊ）＝０且つＩ（i，ｊ）≦Ｍ（i，ｊ）の場合は、Ｔ（i，ｊ）＝０；
Ｖ（i，ｊ）＝０且つＩ（i，ｊ）＞Ｍ（i，ｊ）の場合は、Ｔ（i，ｊ）＝１２８；
Ｖ（i，ｊ）＝２５５の場合は、Ｔ（i，ｊ）＝２５５。

式中、Ｖ（i，ｊ）は二値化図における画素（i，ｊ）の階調値を表し、Ｉ（i，ｊ）は入力画像における画素（i，ｊ）の階調値を表し、Ｍ（i，ｊ）は局部平均値図における画素（i，ｊ）の階調値を表し、Ｔ（i，ｊ）は三値化図における画素（i，ｊ）の階調値を表す。本実施例では、第３の階調を１２８に設定する。

言い換えれば、入力画像と局部平均値図とを比較することで、二値化図における第１の階調領域の一部を第３の階調に変換し、この一部に対応する画素は、入力画像の階調値が局部平均値図の階調値よりも大きい。

例えば、図２Ｄは、図２Ａに示す入力画像と図２Ｂの局部平均値図とを比較することで、図２Ｃの二値化図から生成された三値化図を示している。図２Ｄにおける濃い灰色の領域（第３階調、即ち階調が１２８の画素領域）は、図２Ａの入力画像における階調値が図２Ｂの局部平均値図における対応画素の階調値よりも大きい画素領域に対応している。

三値化図生成部１３０は、生成した三値化図を充填部１４０に供給する。充填部１４０は、三値化図内の第２の階調を有する連続領域を識別し、所定の規則に従って、第２の階調を有する充填領域を第１の階調又は第３の階調で充填する。具体的には、連続領域の境界において第１の階調を有する画素と第３の階調を有する画素に対する数の比率が所定の閾値を超えた場合は、連続領域を第１の階調で充填し、連続領域の境界において第３の階調を有する画素と第１の階調を有する画素に対する数の比率が所定の閾値を超えた場合は、連続領域を第３の階調で充填する。充填部１４０が行った充填プロセスは、三値化図における比較的太い文字（文字の字画）又は線の内部に存在し得る第２の階調領域を充填するためのものであり、この充填プロセスは、三値化図において対象である文字又は線の境界の階調が一般に比較的高い一致度を有するという特徴を利用している。

本発明の一つの実施例では、階調２５５（第２の階調）の連続領域の境界において隣接する画素がＮ_０／（Ｎ_０＋Ｎ_１２８）＞Ｔ_{ｒａｔｉｏ}を満たした場合は、連続領域を階調０（第１の階調）で充填し、連続領域の境界においてＮ_１２８／（Ｎ_０＋Ｎ_１２８）＞Ｔ_{ｒａｔｉｏ}を満たした場合は、連続領域を階調１２８（第３の階調）で充填する。ここで、Ｎ_０及びＮ_１２８は、それぞれ連続領域において隣接する階調０又は階調１２８を有する画素の数を表し、Ｎ_{ｒａｔｉｏ}は画素数の比率の閾値を表す。本発明の一つの実施例では、Ｎ_{ｒａｔｉｏ}＝９５％となっている。なお、異なる入力画像、並びに局部平均値図生成部１１０及び二値化図生成部１２０が用いる局部ウインドウのサイズに基づいて閾値を設定してもよい。

図２Ｅは、充填された図２Ｄの三値化図を示している。図２Ｅに示すように、図２Ｄの左上部の比較的大きな文字内の白色の連続領域は、第１の階調の充填要件を満たしたため、図２Ｅにおいて黒色が充填され、図２Ｄの左下部の比較的小さな文字内の白色の連続領域は、第３の階調の充填要件を満たしたため、図２Ｅにおいて濃い灰色が充填され、図２Ｄの右側の図形部分における、充填要件を満たした一部の白色の連続領域は、図２Ｅにおいて黒色又は濃い灰色がそれぞれ充填されている。

また、充填部１４０が文字又は線内の第２の階調領域のみを充填することを保証するため、充填部１４０は、上述した境界画素の数の比率の他にも、以下の基準の一つ又は全てに従って、三値化図における第２の階調の連続領域を充填するか否かを決定してもよい。

（ａ）連続領域の面積が所定の閾値よりも小さいこと、及び
（ｂ）連続領域内の階調の一致度が所定の基準に達したこと、即ちその領域内の画素の階調変化の範囲が所定の閾値よりも小さいこと。

充填部１４０は、充填した三値化図を識別部１５０に供給する。識別部１５０は、充填された三値化図における対象の境界の階調の一致度に基づいて、画像における文字（文字の字画）及び／又は線を識別する。具体的には、識別部１５０は、充填された三値化図における第１の階調及び第３の階調が共同で構成する連続領域（対象）の境界にある、第１の階調を有する画素の第３の階調を有する画素に対する数の比率に基づいて、文字及び／又は線を識別する。例えば、境界の画素数の比率がＮ_１２８／（Ｎ_０＋Ｎ_１２８）＞Ｔ_{ｒａｔｉｏ}を満たした場合は、該対象における階調が０の部分を文字及び／又は線と識別し、境界のＮ_０／（Ｎ_０＋Ｎ_１２８）＞Ｔ_{ｒａｔｉｏ}を満たした場合は、該対象における階調が１２８の部分を文字及び／又は線と識別する。本発明の一つの具体的な実施例では、Ｎ_{ｒａｔｉｏ}＝９５％となっている。なお、異なる入力画像、並びに局部平均値図生成部１１０及び二値化図生成部１２０が用いる局部ウインドウのサイズに基づいて閾値を設定してもよい。

図２Ｆは、識別部１５０により図２Ｅの充填された三値化図から識別された文字及び／又は線を示している。そのうち、左上部の比較的大きな文字及び左下部の比較的小さな文字は共に識別された。また、右側の図形部分における、充填要件を満たした部分も文字及び／又は線として識別された。

図３Ａは、明るい色の背景における濃い色の文字を識別する具体例を示し、図３Ｂは、濃い色の背景における明るい色の文字を識別する具体例を示している。図３Ａ及び図３Ｂにおける１、２、３、４は、それぞれ入力画像、三値化図、充填された三値化図、及び識別された文字を指す。

図３Ａの１における入力画像には、明るい色の背景における濃い色の文字「ｍ」が存在する。図３Ａの２において、第２の階調（白）の連続領域の境界における隣接する画素が殆ど第１の階調（黒）画素であるため、図３Ａの３では、該連続領域を第１の階調で充填する。また、充填された対象の境界における画素が殆ど第３の階調（濃い灰色）の画素であるため、図３Ａの４では、第１の階調の画素領域を文字と識別する。

図３Ｂの１における入力画像には、濃い色の背景における明るい色の文字「Ｋ」が存在する。図３Ｂの２において、第２の階調（白）の連続領域の境界における隣接する画素が殆ど第３の階調（濃い灰色）画素であるため、図３Ｂの３では、該連続領域を第３の階調で充填する。また、充填された対象の境界における画素が殆ど第１の階調（黒）の画素であるため、図３Ｂの４では、第３の階調の画素領域を文字と識別する。

従って、本発明に係る画像処理装置は、濃い色の背景における明るい色の文字を識別できると共に、明るい色の背景における濃い色の文字も識別できる。

また、本発明に係る画像処理装置は、各種の文字サイズを有する文字を同時に識別できると共に、各種の文字（文字の字画）の太さを有する文字（文字の字画）を同時に識別できる。また、本発明に係る画像処理装置は、文字の言語の種類に限らず、文字を識別できる。さらにまた、本発明に係る画像処理装置は、表又は線を識別できる。

図４は、本発明の実施例に係る画像処理装置による、文字及び線を含まない画像部分に対する処理結果の例を示している。図４の左側は充填された三値化図であり、該三値化図内の対象の境界には、多くの第１の階調画素を有すると共に、多くの第３の階調画素を有するため、該対象は識別要件を満たしていないものであり、文字又は線が識別されなかった。

次に、図５を参照しながら、本発明の他の実施例に係る画像処理装置２００の構成例を説明する。

画像処理装置２００は、局部平均値図生成部２１０、二値化図生成部２２０、三値化図生成部２３０、充填部２４０、四値化部２５０、指向性拡張部２６０、及び対象分離部２７０を含む。局部平均値生成部２１０、二値化図生成部２２０、三値化図生成部２３０及び充填部２４０は、図１に示されている局部平均値生成部１１０、二値化図生成部１２０、三値化図生成部１３０及び充填部１４０と類似し、ここでその説明を適宜省略することとする。

充填部２４０は、充填された三値化図を四値化部２５０に供給する。四値化部２５０は、入力画像の対応領域における画素の階調値に基づいて、充填された三値化図における第２の階調を有する領域を背景領域と図形領域とに区分することで、四値化図を生成する。該背景領域は第２の階調を有し、該図形領域は第４の階調を有する。本発明の一つの実施例では、四値化部２５０は、階調の閾値に基づいて、入力画像における、充填された三値化図における第２の階調を有する領域に対応する領域を区分し、階調値の高い部分を背景部分として区分し、階調値の低い部分を図形部分として区分する。

なお、四値化部２５０は、入力画像における対応領域の階調の一致度、即ち該領域内の画素の階調変化の範囲に基づいて、背景部分又は図形部分とに区分してもよい。例えば、階調変化の小さい領域を背景部分として区分し、階調変化の大きい領域を図形部分として区分する。本発明の一つの具体的な実施例では、８ビットのグレースケール画像を用いる場合は、第４の階調を１９２（明るい灰色）に設定する。

四値化図２５０は、四値化図を指向性拡張部２６０に供給する。指向性拡張部２６０は、指向性を有する拡張処理により四値化図の背景領域及び図形領域の境界における第１の階調を有する部分及び第３の階調を有する部分を除去することで、背景領域及び図形領域の境界における余計な線を除去する。

一つの具体的な実施例では、指向性拡張部２６０は以下の規則に従って、指向性を有する拡張処理を行う。

（ａ）背景領域及び図形領域の境界における第３の階調の画素領域が第２の階調の画素領域と相接している場合は、該第３の階調の画素領域を第２の階調に変更し（１２８→２５５）、
（ｂ）背景領域及び図形領域の境界における第１の階調の画素領域が第４の階調の画素領域と相接している場合は、該第１の階調の画素領域を第４の階調に変更し（０→１９２）、
（ｃ）背景領域及び図形領域の境界における第３の階調の画素領域が第４の階調の画素領域と相接している場合は、該第３の階調の画素領域を第４の階調に変更する（１２８→１９２）。

図６Ａ乃至図６Ｃは、上述した規則に従って、四値化図に対して指向性を有する拡張処理を行う例を示している。図６Ａは入力画像であり、図６Ｂは四値化画像である。図６Ｂ中、白色部分は背景領域と識別された部分であり、明るい灰色部分は図形領域と識別された部分である。なお、図６Ｂ中の矢印ａ、ｂ及びｃは、それぞれ上述した規則に従って指向性を有する拡張処理を行う部分を示している。図６Ｃは指向性を有する拡張処理が行われた画像を示し、図６Ｃにおいては、背景領域及び図形領域の境界における第１の階調（黒）を有する部分及び第３の階調（濃い灰色）を有する部分が除去された。

指向性拡張部２６０は、指向性を有する拡張処理が行われた四値化図を対象分離部２７０に供給する。対象分離部２７０は、指向性を有する拡張処理が行われた四値化図から、第１の階調を有する領域及び／又は第３の階調を有する領域を文字及び／又は線として分離する。

図７Ａは、四値化図から分離された文字及び線の例を示している。

図７Ａに示すように、分離された第１又は第３の階調の文字部分には、第３又は第１の階調の画素部分が入り混じることがある。従って、一つの実施例では、対象分離部２７０は、以下の規則に従って、指向性を有する拡張処理が行われた四値化図における第１の階調画素と第３の階調画素が共同で構成する連続領域（対象）を処理してもよい。

（１）対象に隣接する第２の階調画素の第４の階調画素に対する数の比率が所定の閾値よりも大きい（Ｎ_２５５／（Ｎ_１９２＋Ｎ_２５５）＞Ｔ_{ｒａｔｉｏ}）場合は、対象における第３の階調画素を第２の階調に変換し（１２８→２５５）（背景領域の黒色文字の場合）、一方、
（２）対象に隣接する第１の階調画素の第３の階調画素に対する数の比率が所定の閾値よりも大きい（Ｎ_０／（Ｎ_０＋Ｎ_１２８）＞Ｔ_{ｒａｔｉｏ}）場合は、対象における第３の階調画素を第４の階調に変換し（１２８→１９２）（図形領域の黒色文字の場合）、
（３）対象に隣接する第３の階調画素の第１の階調画素に対する数の比率が所定の閾値よりも大きい（Ｎ_１２８／（Ｎ_０＋Ｎ_１２８）＞Ｔ_{ｒａｔｉｏ}）場合は、対象における第１の階調画素を第４の階調に変換する（０→１９２）（図形領域の濃い灰色文字の場合）。

図７Ｂは、図７Ａにおける対象に対して上述した処理を行った結果を示している。

本発明の一つの具体的な実施例では、Ｎ_{ｒａｔｉｏ}＝９５％となっている。なお、異なる入力画像、並びに局部平均値図生成部２１０及び二値化図生成部２２０が用いる局部ウインドウのサイズに基づいて閾値を設定してもよい。

図８Ａ及び図８Ｂは、本発明の実施例に係る画像処理装置２００による図形、文字及び線を含む画像の処理結果の例を示している。

図８Ａに示すように、入力画像は背景、背景上の文字（「董事長……０１年７月）」）、図形（写真）、図形領域における文字（「富士通……開業儀式」）、及び線などを含む。

図８Ｂに示すように、出力画像は一つの四値画像であり、画素は四種類、即ち濃い色の文字又は線（黒色、階調０）、明るい色の文字又は線（濃い灰色、階調１２８）、図形領域（明るい灰色、階調１９２）、及び背景領域（白色、階調２５５）に分けられている。

図８に示すように、本発明の実施例に係る画像処理装置２００によれば、背景領域の文字及び線、並びに図形領域の文字及び線を分離することができ、また、明るい色の背景における濃い色の文字を分離できると共に、濃い色の背景における明るい色の文字を分離できる。

図９は、本発明の実施例に係る画像処理方法を示すフローチャートを示している。

ステップＳ１１０において、処理される画像の局部平均値図を生成する。

ステップＳ１２０において、該画像の二値化図を生成する。二値化図において、画像における高周波数領域に対応する画素が第１の階調を有し、画像における低周波数領域に対応する画素が第２の階調を有する。

ステップＳ１２０において、画像と局部平均値図とを比較して、二値化図における第１の階調を有する領域を、第１の階調を有する領域と第３の階調を有する領域とに区分することで、三値化図を生成する。

ステップＳ１４０において、三値化図の第２の階調を有する連続領域を識別し、連続領域の境界において第１の階調を有する画素の第３の階調を有する画素に対する数の比率が所定の閾値を超えた場合は、連続領域を第１の階調で充填し、連続領域の境界において第３の階調を有する画素の第１の階調を有する画素に対する数の比率が所定の閾値を超えた場合は、連続領域を第３の階調で充填する。

ステップＳ１５０において、充填された三値化図における対象境界の階調の一致度に基づいて、画像における文字及び／又は線を識別する。

図１０は、本発明の他の実施例に係る画像処理方法を示している。

ステップＳ２１０において、処理される画像の局部平均値図を生成する。

ステップＳ２２０において、画像の二値化図を生成する。二値化図において、画像における高周波数領域に対応する画素が第１の階調を有し、画像における低周波数領域に対応する画素が第２の階調を有する。

ステップＳ２３０において、画像と局部平均値図とを比較して、二値化図における第１の階調を有する領域を、第１の階調を有する領域と第３の階調を有する領域とに区分することで、三値化図を生成する。

ステップＳ２４０において、三値化図の第２の階調を有する連続領域を識別し、連続領域の境界において第１の階調を有する画素の第３の階調を有する画素に対する数の比率が所定の閾値を超えた場合は、連続領域を第１の階調で充填し、連続領域の境界において第３の階調を有する画素の第１の階調を有する画素に対する数の比率が所定の閾値を超えた場合は、連続領域を第３の階調で充填する。

ステップＳ２５０において、画像の対応領域における画素の階調値に基づいて、充填された三値化図における第２の階調を有する領域を、第２の階調を有する背景領域と第４の階調を有する図形領域とに区分することで、四値化図を生成する。

ステップＳ２６０において、指向性を有する拡張処理により、四値化図の背景領域及び図形領域の境界における第１の階調を有する部分及び第３の階調を有する部分を除去する。

ステップＳ２７０において、指向性を有する拡張処理が行われた四値化図から、第１の階調を有する領域及び／又は第３の階調を有する領域を文字及び／又は線として分離する。

本発明は装置、方法又はコンピュータプログラムのプロダクトであってもよいことは、当業者にとって理解される。このため、本発明は以下の具体的な形式で実現されてもよく、例えば、完全なハードウェア、完全なソフトウェア（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、又はソフトウェア部とハードウェア部との組み合わせであってもよい。また、本発明は如何なる有形の表現媒体におけるコンピュータソフトウェアのプロダクトを用いてもよく、該媒体にはコンピュータが使用可能なプログラムコードを含む。

本発明は、一つ又は複数のコンピュータが読取可能な媒体の如何なる組み合わせを用いてもよい。コンピュータ読取可能な媒体は、コンピュータが読取可能な信号媒体又は記憶媒体であってもよく、コンピュータが読取可能な記憶媒体は電気的、磁気的、光学的、電磁的、赤外線の、又は半導体のシステム、装置、機器の部分品、伝播媒体、或いはそれらの適当な組み合わせであってもよいが、ここに例示されるものに限定されない。コンピュータが読取可能な記憶媒体は、より具体的な例として、一つ又は複数の導線間の電気接続、携帯可能なコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去及びプログラム可能読取り専用記憶装置（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバー、コンパクトディスク（ＣＤ−ＲＯＭ）、光学記憶装置、磁気記憶装置、又はそれらの適当な組みあわせを含む。本明細書では、コンピュータが読取可能な記憶媒体は、指令実行システム、装置若しくは機器に適用される、又は指令実行システム、装置若しくは機器に関するプログラムを含む或いは記憶する、如何なる有形媒体であってもよい。

本発明を実行するための操作のコンピュータプログラムコードは、一つのプログラミング言語又は複数のプログラミング言語の如何なる組み合わせで開発してもよく、プログラミング言語は、例えばＪａｖａ(登録商標)、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語を含み、例えば「Ｃ」プログラミング言語又は類似なプログラミング言語などの通常の手続き型プログラミング言語をさらに含む。プログラムコードは完全にユーザのコンピュータで実行してもよいし、部分的にユーザのコンピュータで実行してもよいし、独立のソフトウェアパッケージとして実行してもよいし、一部がユーザのコンピュータで実行し一部がリモートコンピュータで実行してもよいし、完全にリモートコンピュータ又はサーバで実行してもよい。後者の場合は、リモートコンピュータは、例えば地域ネットワーク（ＬＡＮ）又は広域ネットワーク（ＷＡＮ）などの如何なるネットワークを介してユーザのコンピュータに接続されてもよいし、或いは（インターネットのプロバイダによるインターネットを介して）外部コンピュータに接続されてもよい。

図１１は、本発明に係る画像処理装置及び画像処理方法を実現するためのコンピュータの構成例を示すブロック図を示している。

図１１に示すように、中央処理ユニット（ＣＰＵ）１１０１が、リードオンリーメモリ（ＲＯＭ）１１０２に記憶されているプログラム、又は記憶部１１０８からランダムアクセスメモリ（ＲＡＭ）１１０３にロードされているプログラムに基づいて各種の処理を行う。ＲＡＭ１１０３は、必要に応じてＣＰＵ１１０１が各種の処理などを実行するときに必要なデータを記憶してもよい。

ＣＰＵ１１０１、ＲＯＭ１１０２及びＲＡＭ１１０３は、バス１１０４を介して互いに接続される。また、入力／出力インターフェース１１０５もバス１１０４に接続される。

入力／出力インターフェース１１０５には、入力部１１０６（キーボード、マウスなどを含む）、出力部分１１０７（例えばＣＲＴなどの表示器、ＬＣＤ、スピーカーなどを含む）、記憶部１１０８（ハードディスクなどを含む）、及び通信部１１０９（例えばＬＡＮカードなどのネットワーク接続カード、モデムなどを含む）が接続される。通信部１１０９は、ネットワーク例えばインターネットを介して通信処理を行う。

駆動装置（ドライブ）１１１０は、必要に応じて入力／出力インターフェース１１０５に接続されてもよい。また、必要に応じて、例えば磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどの取り外し可能な媒体１１１１を駆動装置１１１０にセットすることにより、その中から読み出したコンピュータプログラムを記憶部１１０８にインストールしてもよい。

ソフトウェアにより上述の一連の処理を実現する場合は、ネットワーク例えばインターネット、又は記憶媒体例えば取り外し可能な媒体１１１１から、このソフトウェアを構成するプログラムをインストールしてもよい。

なお、当業者が理解すべきこととしては、このような記憶媒体は、中にプログラムが記憶されており、ユーザにプログラムを提供するよう装置と独立して配られる図１１に示すような取り外し可能な媒体１１１１に限定されないということである。取り外し可能な媒体１１１１の例としては、磁気ディスク（フロッピーディスク（登録商標）を含む）、光ディスク（ＣＤ−ＲＯＭ及びＤＶＤを含む）、光磁気ディスク（ＭＤ（登録商標）を含む）、及び半導体メモリを含む。或いは、記憶媒体はＲＯＭ１１０２、記憶部１１０８に含まれるハードディスクなどであってもよく、それらにはプログラムが記憶されており、且つそれらを含む装置とともにユーザに配られてもよい。

上記の説明は、本発明の好適な実施例に過ぎず、本発明の実施の範囲がこれらに限定されず、本発明の特許請求の範囲及び明細書の内容に基づいて、当業者によって任意の変更及び変形が可能であり、本発明の保護範囲は特許請求の範囲を基準とする。また、本発明の実施例又は特許請求の範囲は何れも本発明により開示された目的又は利点又は特徴の全てを必ずしも実現する必要はない。さらにまた、本明細書及び特許請求の範囲に言及される「第１の」、「第２の」等の用語は、単なる構成要素を命名する、或いは異なる実施例又は範囲を区別するものであり、構成要素の数の上限又は下限を限定するものではない。

また、上述の各実施例を含む実施形態に関し、更に以下の付記を開示する。

（付記１）
処理される画像の局部平均値図を生成する局部平均値図生成部と、
前記画像の二値化図を生成する二値化図生成部であって、前記二値化図において、前記画像における高周波数領域に対応する画素が第１の階調を有し、前記画像における低周波数領域に対応する画素が第２の階調を有する、二値化図生成部と、
前記画像と前記局部平均値図とを比較して、前記二値化図における前記第１の階調を有する領域を、前記第１の階調を有する領域と第３の階調を有する領域とに区分することで、三値化図を生成する三値化図生成部と、
前記三値化図において前記第２の階調を有する連続領域を識別し、前記連続領域の境界において前記第１の階調を有する画素の前記第３の階調を有する画素に対する数の比率が所定の閾値を超えた場合は、前記連続領域を前記第１の階調で充填し、前記連続領域の境界において前記第３の階調を有する画素の前記第１の階調を有する画素に対する数の比率が前記所定の閾値を超えた場合は、前記連続領域を前記第３の階調で充填する充填部と、
前記充填された三値化図における対象境界の階調の一致度に基づいて、前記画像における文字及び／又は線を識別する識別部と、を含む画像処理装置。

（付記２）
前記充填部は、前記連続領域の面積が所定の閾値未満である、及び／又は前記連続領域の階調の一致度が所定の基準に達した場合は、前記充填を行う付記１に記載の画像処理装置。

（付記３）
前記画像の対応領域における画素の階調値に基づいて、前記充填された三値化図における前記第２の階調を有する領域を、前記第２の階調を有する背景領域と第４の階調を有する図形領域とに区分することで、四値化図を生成する四値化部をさらに含む付記１又は２に記載の画像処理装置。

（付記４）
指向性を有する拡張処理により、前記四値化図の前記背景領域及び前記図形領域の境界における前記第１の階調を有する部分及び前記第３の階調を有する部分を除去する指向性拡張部をさらに含む付記３に記載の画像処理装置。

（付記５）
前記指向性を有する拡張処理が行われた四値化図から、前記第１の階調を有する領域及び／又は前記第３の階調を有する領域を前記文字及び／又は線として分離する対象分離部をさらに含む付記４に記載の画像処理装置。

（付記６）
処理される画像の局部平均値図を生成するステップと、
前記画像の二値化図を生成するステップであって、前記二値化図において、前記画像における高周波数領域に対応する画素が第１の階調を有し、前記画像における低周波数領域に対応する画素が第２の階調を有する、ステップと、
前記画像と前記局部平均値図とを比較して、前記二値化図における前記第１の階調を有する領域を、前記第１の階調を有する領域と第３の階調を有する領域とに区分することで、三値化図を生成するステップと、
前記三値化図において前記第２の階調を有する連続領域を識別し、前記連続領域の境界において前記第１の階調を有する画素の前記第３の階調を有する画素に対する数の比率が所定の閾値を超えた場合は、前記連続領域を前記第１の階調で充填し、前記連続領域の境界において前記第３の階調を有する画素の前記第１の階調を有する画素に対する数の比率が前記所定の閾値を超えた場合は、前記連続領域を前記第３の階調で充填するステップと、
前記充填された三値化図における対象境界の階調の一致度に基づいて、前記画像における文字及び／又は線を識別するステップと、を含む画像処理方法。

（付記７）
前記連続領域を充填するステップにおいては、前記連続領域の面積が所定の閾値未満である、及び／又は前記連続領域の階調の一致度が所定の基準に達した場合は、前記充填を行う付記６に記載の画像処理方法。

（付記８）
前記画像の対応領域における画素の階調値に基づいて、前記充填された三値化図における前記第２の階調を有する領域を、前記第２の階調を有する背景領域と第４の階調を有する図形領域とに区分することで、四値化図を生成するステップをさらに含む付記６又は７に記載の画像処理方法。

（付記９）
指向性を有する拡張処理により、前記四値化図の前記背景領域及び前記図形領域の境界における前記第１の階調を有する部分及び前記第３の階調を有する部分を除去するステップをさらに含む付記８に記載の画像処理方法。

（付記１０）
前記指向性を有する拡張処理が行われた四値化図から、前記第１の階調を有する領域及び／又は前記第３の階調を有する領域を前記文字及び／又は線として分離するステップをさらに含む付記９に記載の画像処理方法。

１００、２００ 画像処理装置
１１０、２１０ 局部平均値図生成部
１２０、２２０ 二値化図生成部
１３０、２３０ 三値化図生成部
１４０、２４０ 充填部
１５０ 識別部
２５０ 四値化部
２６０ 指向性拡張部
２７０ 対象分離部

Claims (10)

1. 処理される画像の局部平均値図を生成する局部平均値図生成部と、
   前記画像の二値化図を生成する二値化図生成部であって、前記二値化図において、前記画像における高周波数領域に対応する画素が第１の階調を有し、前記画像における低周波数領域に対応する画素が第２の階調を有する、二値化図生成部と、
   前記画像と前記局部平均値図とを比較して、前記二値化図における前記第１の階調を有する領域を、前記第１の階調を有する領域と第３の階調を有する領域とに区分することで、三値化図を生成する三値化図生成部と、
   前記三値化図において前記第２の階調を有する連続領域を識別し、前記連続領域の境界において前記第１の階調を有する画素の前記第３の階調を有する画素に対する数の比率が所定の閾値を超えた場合は、前記連続領域を前記第１の階調で充填し、前記連続領域の境界において前記第３の階調を有する画素の前記第１の階調を有する画素に対する数の比率が前記所定の閾値を超えた場合は、前記連続領域を前記第３の階調で充填する充填部と、
   前記充填された三値化図における対象境界の階調の一致度に基づいて、前記画像における文字及び／又は線を識別する識別部と、を含む画像処理装置。
2. 前記充填部は、前記連続領域の面積が所定の閾値未満である、及び／又は前記連続領域の階調の一致度が所定の基準に達した場合は、前記充填を行う請求項１に記載の画像処理装置。
3. 前記画像の対応領域における画素の階調値に基づいて、前記充填された三値化図における前記第２の階調を有する領域を、前記第２の階調を有する背景領域と第４の階調を有する図形領域とに区分することで、四値化図を生成する四値化部をさらに含む請求項１又は２に記載の画像処理装置。
4. 指向性を有する拡張処理により、前記四値化図の前記背景領域及び前記図形領域の境界における前記第１の階調を有する部分及び前記第３の階調を有する部分を除去する指向性拡張部をさらに含む請求項３に記載の画像処理装置。
5. 前記指向性を有する拡張処理が行われた四値化図から、前記第１の階調を有する領域及び／又は前記第３の階調を有する領域を前記文字及び／又は線として分離する対象分離部をさらに含む請求項４に記載の画像処理装置。
6. 処理される画像の局部平均値図を生成するステップと、
   前記画像の二値化図を生成するステップであって、前記二値化図において、前記画像における高周波数領域に対応する画素が第１の階調を有し、前記画像における低周波数領域に対応する画素が第２の階調を有する、ステップと、
   前記画像と前記局部平均値図とを比較して、前記二値化図における前記第１の階調を有する領域を、前記第１の階調を有する領域と第３の階調を有する領域とに区分することで、三値化図を生成するステップと、
   前記三値化図において前記第２の階調を有する連続領域を識別し、前記連続領域の境界において前記第１の階調を有する画素の前記第３の階調を有する画素に対する数の比率が所定の閾値を超えた場合は、前記連続領域を前記第１の階調で充填し、前記連続領域の境界において前記第３の階調を有する画素の前記第１の階調を有する画素に対する数の比率が前記所定の閾値を超えた場合は、前記連続領域を前記第３の階調で充填するステップと、
   前記充填された三値化図における対象境界の階調の一致度に基づいて、前記画像における文字及び／又は線を識別するステップと、を含む画像処理方法。
7. 前記連続領域を充填するステップにおいては、前記連続領域の面積が所定の閾値未満である、及び／又は前記連続領域の階調の一致度が所定の基準に達した場合は、前記充填を行う請求項６に記載の画像処理方法。
8. 前記画像の対応領域における画素の階調値に基づいて、前記充填された三値化図における前記第２の階調を有する領域を、前記第２の階調を有する背景領域と第４の階調を有する図形領域とに区分することで、四値化図を生成するステップをさらに含む請求項６又は７に記載の画像処理方法。
9. 指向性を有する拡張処理により、前記四値化図の前記背景領域及び前記図形領域の境界における前記第１の階調を有する部分及び前記第３の階調を有する部分を除去するステップをさらに含む請求項８に記載の画像処理方法。
10. 前記指向性を有する拡張処理が行われた四値化図から、前記第１の階調を有する領域及び／又は前記第３の階調を有する領域を前記文字及び／又は線として分離するステップをさらに含む請求項９に記載の画像処理方法。