JPH08221513A - 画像処理装置及びその方法 - Google Patents

Abstract

(57)【要約】 【目的】 ３つ以上の輝度レベル対象が存在した画像を
処理する場合においても、輝度階層別に高精度に文字認
識が可能となる画像処理装置及びその方法を提供するこ
とを目的とする。 【構成】 輝度頻度のピークが３つ以上存在する画像に
対して、まず第１の閾値ＴＨ１による２値化により第１
の輝度レベルを持つ領域Ａを分割する。次に画像全体か
ら領域Ａを削除し、領域Ｂに対して第２の閾値ＴＨ２に
よる２値化を行い、第２の輝度レベルを持つ領域Ｃを分
割する。そして、領域Ａ及び領域Ｃ内の文字領域に対し
てそれぞれ文字認識処理を行うことにより、文字認識率
が向上する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は画像処理装置及びその方
法に関し、例えば、画像中の文字認識処理のための画像
領域分割処理を行なう画像処理装置及びその方法に関す
るものである。

【０００２】

【従来の技術】近年の画像処理技術の進歩に伴い、文字
や写真、グラフ等が混在した画像を例えばコンピュータ
等の画像処理装置において処理することが増えてきた。
この場合の処理手順としては、まずスキャナ等の画像入
力装置で処理対象の画像を読み取り、画像処理装置に入
力する。そして、画像処理装置では入力された画像に対
して領域分割処理や光学的文字認識処理（以下、ＯＣＲ
処理）等を施し、文書管理を行って、得られた画像や文
字を利用していた。尚、領域分割処理とは、画像中の文
字／写真／グラフ／表等の領域をそれぞれの特徴によっ
て分離し、各領域情報を取り出す処理である。また、Ｏ
ＣＲ処理とは、画像内の文字領域について、該文字イメ
ージを形成するビットマップを文字コードへ変換する文
字認識処理である。

【０００３】次に、上述した従来の画像処理装置におけ
る文字を含んだ画像処理を図２２のフローチャートに示
し、説明する。

【０００４】まず、ステップＳ２２１で原稿となる画像
をスキャナ等の画像処理装置により入力する。尚、この
入力は、例えば８ビットの多値画像データとして行なわ
れる。次にステップＳ２２２において、画像入力時に発
生するスキャナの電気的ノイズの除去をはじめ、入力さ
れた原稿画像の劣化、原稿の傾き等を補正する。次いで
ステップＳ２２３で、入力画像に対して所定の固定閾値
による単純２値化を施して領域分割処理を行い、各領域
データを出力することにより、文字領域を抽出する。
尚、この時の単純２値化処理は、例えば入力画像の濃度
に応じた２値化処理であっても良い。そしてステップＳ
２２４では、抽出された文字領域に対して各領域毎にＯ
ＣＲ処理又は擬似中間調処理等の所望する画像処理を行
なうことにより、文字認識を行う。そして最後にステッ
プＳ２２５において、認識された文字等の処理結果を表
示する。

【０００５】以上説明した様に従来の画像処理装置にお
いては、入力画像を固定閾値での単純２値化、又は原稿
画像の濃度に応じた単純２値化の後、領域分割処理を行
うことによって画像中の文書領域を抽出し、文字認識処
理を行っていた。

【０００６】

【発明が解決しようとする課題】しかしながら、上記従
来の画像処理装置においては、以下に示す問題点があっ
た。

【０００７】例えば、原稿画像の下地が白であって、文
字が黒色、又は灰色によって描かれている場合について
考える。この場合、即ち原稿画像内に３つ以上の輝度レ
ベル対象が混在しており、このような画像に対して固定
閾値による単純２値化を施すと、灰色の文字領域につい
ては「白」として２値化される領域と、「黒」として２
値化される領域とが発生する。これら２領域は不規則に
発生するため、灰色文字のつぶれやかすれ等が発生し、
高精度の２値化結果が得られなかった。従って正確な文
字認識処理を行うことができず、特に灰色文字の認識率
が著しく低下してしまっていた。

【０００８】また、原稿画像の濃度に応じた単純２値化
を行う場合においても、例えば下地も純粋に「白」では
ないため、下地を「白」、黒色文字と灰色文字を「黒」
として２値化したり、又は、下地と灰色文字を「白」、
黒色文字を「黒」として２値化してしまっていた。従っ
て、やはり灰色文字を精度良く２値化することができな
いため正確な文字認識処理を行うことができず、灰色文
字の認識率が著しく低下してしまっていた。

【０００９】更に、灰色文字の文字認識ができたとして
も、黒色文字と区別して認識することはできなかった。

【００１０】本発明は上述した問題点を解決するために
なされたものであり、３つ以上の輝度レベル対象が存在
した画像を処理する場合においても、輝度階層別に高精
度に文字認識が可能となる画像処理装置及びその方法を
提供することを目的とする。

【００１１】

【課題を解決するための手段】上述した目的を達成する
ために、本発明は以下の構成を備える。

【００１２】即ち、入力画像の輝度階層別に２値化閾値
を設定する第１の閾値設定手段と、前記第１の閾値設定
手段により設定された輝度階層別の２値化閾値により前
記入力画像を２値化して輝度階層別の第１の２値画像を
生成する第１の２値化手段と、前記輝度階層別の第１の
２値画像から所定の領域を分割する領域分割手段と、前
記輝度階層別の分割済み領域以外の領域の２値化閾値を
設定する第２の閾値設定手段と、前記第２の閾値設定手
段により設定された２値化閾値により前記輝度階層別の
分割済み領域以外の領域を２値化して輝度階層別の第２
の２値画像を生成する第２の２値化手段と、前記輝度階
層別の第２の２値画像に対して文字認識を行なう文字認
識手段とを有することを特徴とする。

【００１３】更に、入力画像の輝度頻度を累計する累計
手段を有し、前記第１の閾値設定手段は、前記累計手段
による輝度頻度の累計結果により第１の２値化閾値を設
定することを特徴とする。

【００１４】例えば、前記第１の閾値設定手段は、前記
累計手段による輝度頻度の累計が極小となる領域を特定
し、該領域における平均輝度を２値化閾値とすることを
特徴とする。

【００１５】例えば、前記第２の閾値設定手段は、前記
輝度階層別の分割済み領域以外の領域の特徴に基づいて
２値化閾値を設定することを特徴とする。

【００１６】例えば、前記第２の閾値設定手段は、前記
輝度階層別の分割済み領域以外の領域の濃度及び高さ
と、前記入力画像の解像度とに基づいて２値化閾値を設
定することを特徴とする。

【００１７】例えば、前記第２の閾値設定手段は、前記
輝度階層別の分割済み領域以外の領域の黒比率が所定値
となるように２値化閾値を設定することを特徴とする。

【００１８】例えば、前記第１の２値化手段は、前記入
力画像を単純２値化することを特徴とする。

【００１９】

【作用】以上の構成により、輝度階層別に２値化閾値を
算出し、該輝度階層別の２値化閾値により輝度階層別の
２値画像を作成し、該輝度階層別の２値画像から黒画素
領域を分割し、該分割済み領域以外の領域の２値化閾値
を算出し、該２値化閾値により２値画像を作成し、該２
値画像に対して文字認識処理を行なうことができる。

【００２０】これにより、画像中の輝度階層別の文字認
識処理を施すことができる画像処理装置及びその方法を
提供することができるという特有の作用効果が得られ
る。

【００２１】

【実施例】以下、本発明に係る一実施例について、図面
を参照して詳細に説明する。

【００２２】図１は、本実施例における画像処理装置を
含んだシステム構成を示すブロック図である。図１に示
す各構成における動作の詳細については、後述する。

【００２３】図１において、１は本実施例における文書
管理を行なう画像処理装置であり、２は画像を入力する
スキャナ等の画像入力装置、３は処理後の画像を表示す
る画像表示装置である。

【００２４】画像処理装置１において、４は画像入力装
置２とのインターフェースとなる入力部、５は処理中の
データを記憶するメモリ等の記憶部、６は入力画像の輝
度頻度（ヒストグラム）を累計する輝度頻度累計部であ
る。７は入力画像の輝度階層別の２値化閾値を算出する
２値化閾値算出部であり、８は２値化閾値算出部７にお
いて算出された閾値を用いて輝度階層別の２値画像を作
成する２値化部である。９は画像を属性毎の領域に分割
する領域分割部であり、１０は領域分割により文字領域
として抽出された領域に対する文字認識処理を行う文字
認識部、１１は文字領域以外に分割された領域に対する
各種画像処理を行う画像処理部、１２は画像表示装置３
とのインターフェースとなる出力部である。これら各構
成は、不図示のＣＰＵにより統括的に制御されている。

【００２５】以下、画像処理装置１における画像処理を
図２のフローチャートに示し、説明する。

【００２６】まずステップＳ２１で、画像入力装置２に
より原稿となる画像を入力部４を介して画像処理装置１
に入力する。尚、この入力は８ビットの多値画像データ
として行い、入力画像は不図示の作業用メモリに展開さ
れる。そしてステップＳ２２では、画像入力時に発生す
る画像入力装置２の電気的ノイズの除去や、原稿画像の
劣化、原稿の傾き等、入力画像に対する補正を行う。次
にステップＳ２３に進み、輝度頻度累計部６，２値化閾
値算出部７，及び２値化部８による輝度階層別の２値化
処理と、領域分割部９による領域分割処理を行なう。ス
テップＳ２３における輝度階層別領域分割処理の詳細に
ついては、後述する。

【００２７】次にステップＳ２４に進み、ステップＳ２
３における輝度階層別の領域分割結果に応じて、文字領
域に対しては文字認識部１０でＯＣＲ処理を、文字領域
以外に対しては画像処理部１１で誤差拡散法やディザ法
等の擬似中間調処理等の画像処理を行なう。そしてステ
ップＳ２５に進み、輝度階層別に画像処理された各領域
を１枚の画像に合成し、合成された画像をステップＳ２
６で出力部１２を介して画像表示装置３に表示する。

【００２８】＜輝度階層別領域分割処理＞次に、図２の
ステップＳ２３に示す輝度階層別領域分割処理につい
て、詳細に説明する。

【００２９】本実施例においては、白地に黒色文字と灰
色文字による文字が描かれている画像を処理する場合を
例として、以下説明する。

【００３０】図４に、本実施例において処理される文字
領域を含む画像の輝度頻度（ヒストグラム）の例を示
す。

【００３１】図４に示すヒストグラムにおいて、横軸は
左端が「０」、右端が「２５５」を表す輝度値であり、
この値はデジタル値である。即ち、横軸の左端が
「黒」、右端が「白」に相当する。また、縦軸は、夫々
のデジタル値の頻度を表している。従って図４におい
て、処理対象となる画像の白地部分は高輝度であるため
右側の山に相当し、黒色文字部分は低輝度であるため左
側の山に相当し、また、灰色文字は中輝度であるため、
中央の山に相当する。

【００３２】以下、本実施例における輝度階層別領域分
割処理を図３のフローチャートに示し、説明する。

【００３３】まず、ステップＳ３１で輝度階層番号を
「１」にセットする。ここで、輝度階層番号とは画像内
の輝度頻度の特徴（山の数）に基づいて設定されるもの
であり、図４に示した例の場合、黒色文字の輝度階層番
号が「１」、灰色文字の輝度階層番号が「２」、白地の
輝度階層番号が「３」である。輝度階層番号は最終的に
文字認識を行いたい輝度レベル毎に付与される。

【００３４】続いてステップＳ３２において、領域分割
の前処理として領域分割に最も適した閾値による単純２
値化を行なう。その後ステップＳ３３において、２値化
された画像から黒画素領域を抽出して、その特徴等によ
り文字領域、写真領域、図形領域等に分割する領域分割
処理を行い、後述する領域データを出力する。そしてス
テップＳ３４に進み、領域分割の後処理として領域誤り
を除去する。ステップＳ３４の領域誤り除去処理につい
ては、詳細を後述する。次にステップＳ３５では、輝度
階層番号が「１」以下であるか否かを判断する。輝度階
層番号が「１」以下である、即ち「１」であれば処理は
ステップＳ３６へ進み、「１」以下でない、即ち「２」
以上であれば処理を終了する。

【００３５】尚、ステップＳ３５においては輝度階層番
号が「１」以下であるか否かの判定を行うが、この値は
輝度階層番号の最大値「３」から固定値「２」を減じる
ことにより設定する。これにより、本実施例は輝度階層
数の増減にも対応することができる。

【００３６】ステップＳ３６では、輝度階層番号が
「１」、即ち黒色文字として分割された黒画素領域を、
分割済み領域として入力画像から削除して記憶部５に格
納しておく。この削除を行うことにより、輝度階層番号
が「２」である領域、即ち灰色文字領域の分割処理を行
なう際に、輝度階層番号が「１」である黒色文字領域を
除いた領域のみに注目して処理することができる。そし
てステップＳ３７では、輝度階層番号に「１」を加算
し、ステップＳ３２の領域分割前処理へ戻る。

【００３７】以上説明したように本実施例の輝度階層別
領域分割処理においては、まず輝度階層番号が「１」、
即ち黒色文字領域である場合について２値化を行い、領
域分割の後に領域誤りが除去され、該分割された黒画素
領域が削除された後に、今度は輝度階層番号が「２」、
即ち灰色文字領域である場合について２値化を行い、領
域分割、領域誤り除去が行われる。

【００３８】＜＜領域分割前処理（２値化処理）＞＞次
に、図３のステップＳ３２における領域分割前処理とし
ての２値化処理について、図５のフローチャートを参照
して詳細に説明する。ステップＳ３２の領域分割前処理
は、輝度階層番号が「１」である場合と「２」である場
合との２回実行される。従って、それぞれに対応する２
値化閾値としてＴＨ１，ＴＨ２をパラメータとして使用
するが、図５においてはこれをＴＨで一括して表記する
こととする。

【００３９】まず、輝度階層番号が「１」である場合に
ついて説明する。

【００４０】図５のステップＳ５１においては、入力画
像のヒストグラムを算出する。ここでは、画像中の全画
素を用い、８ビット、即ち「０」から「２５５」までの
各デジタル値に対する頻度を計算する。これにより、例
えば図４に示したヒストグラムが得られる。

【００４１】次にステップＳ５２において、パラメータ
ＳＴＡＲＴ，ＥＮＤにそれぞれ「０」、「２５５」をセ
ットする。ＳＴＡＲＴ，ＥＮＤはそれぞれ、後段のステ
ップＳ５３やステップＳ５４で求める輝度値の統計量の
始点及び終点に対応する。

【００４２】ステップＳ５３では、ＳＴＡＲＴからＥＮ
Ｄまでのデジタル値に対応する画素の平均値ＡＶを算出
する。例えば、ＳＴＡＲＴ＝０，ＥＮＤ＝２５５であれ
ば「０」から「２５５」の値を持つ画素（この場合、全
画素）の平均値ＡＶを算出し、ＳＴＡＲＴ＝０，ＥＮＤ
＝１７７であれば「０」から「１７７」の値を持つ画素
の平均値ＡＶを算出する。

【００４３】ステップＳ５４では、ＳＴＡＲＴからＥＮ
Ｄまでの輝度値に対応する画素のスキュー値ＳＫを算出
する。スキュー値とは、ヒストグラム分布の偏りを示す
統計量である。スキュー値の算出には、以下に示す
（１）式を用いる。

【００４４】 ＳＫ＝（Σ（Ｘｉ−ＡＶ）^3）／Ｄ ・・・（１） （尚、Ｒ^3 の表記によってＲの３乗を示すものとす
る。） ここで、Ｘｉは画素の輝度値である。また、Ｄは画像全
体の分散値であり、（２）式により算出される。

【００４５】 Ｄ＝Σ（Ｘｉ−ＡＶ）^2 ・・・（２） （尚、Ｒ^2 の表記によってＲの２乗を示すものとす
る。） 続いてステップＳ５５、Ｓ５６では、ヒストグラムの偏
りの方向を判断する。まずステップＳ５５では、以下に
示す（３）式によりヒストグラムの偏りの方向を判断す
る。これは、ヒストグラムの偏りが左方向であるか否か
の判断となる。

【００４６】 ＳＫ＜−１．０ ・・・（３） ステップＳ５５において（３）式が真ならばステップＳ
５９へ進み、偽ならばステップＳ５６へ進む。ステップ
Ｓ５９では、ＳＴＡＲＴは変化させず、ＥＮＤに平均値
ＡＶをセットする。そしてステップＳ５３に戻り、再び
ＳＴＡＲＴ値からＥＮＤ値までの平均値ＡＶを算出す
る。

【００４７】一方、ステップＳ５６では以下に示す
（４）式によりヒストグラムの偏りの方向を判断する。
これは、ヒストグラムの偏りが右方向であるか否かの判
断となる。

【００４８】 ＳＫ＞１．０ ・・・（４） ステップＳ５６において（４）式が真ならばステップＳ
５１０へ進み、偽ならばステップＳ５７へ進む。ステッ
プＳ５１０では、ＳＴＡＲＴに平均値ＡＶをセットし、
ＥＮＤは変化させない。そしてステップＳ５３に戻り、
再びＳＴＡＲＴ値からＥＮＤ値までの平均値ＡＶを算出
する。

【００４９】一方、ステップＳ５７ではステップＳ５
５，Ｓ５６における条件が共に偽である場合の平均値Ａ
Ｖを、２値化閾値ＴＨ１として設定する。そして、ステ
ップＳ５８で２値化閾値ＴＨ１を用いた単純２値化処理
を行なう。

【００５０】以上説明したようにして、本実施例では輝
度階層番号が「１」である場合の２値化処理が行われ
る。この処理により、黒色文字が描かれた領域について
の適切な２値化閾値が設定され、単純２値化処理が行わ
れる。言い換えれば、黒色文字領域において適切な２値
化が行われる。

【００５１】次に、図４に示すヒストグラムの例を用い
て、上述した２値化閾値ＴＨ１の決定処理について、更
に詳細に説明する。

【００５２】図６は、図４に示す様なヒストグラムを有
する画像に対して、上述した図５で示す領域分割前処理
を行った際の、各パラメータの値の変化を示す図であ
る。図６において示される各パラメータ値は、図５のフ
ローチャートにおいてステップＳ５３及びＳ５４を通過
する回数によって、それぞれ示されている。

【００５３】まず、ステップＳ５３及びＳ５４を通過す
る１回目の処理では、ＳＴＡＲＴ＝０，ＥＮＤ＝２５５
で平均値ＡＶ，統計量ＳＫを計算し、それぞれ「１８
５」，「−１０２．５」という値を得る。この場合、統
計量ＳＫが「−１．０」未満であるため、ステップＳ５
９においてＳＴＡＲＴ＝０，ＥＮＤ＝１８５が設定され
る。

【００５４】続いて２回目の処理ではＳＴＡＲＴ＝０，
ＥＮＤ＝１８５における平均値ＡＶ，統計量ＳＫを計算
し、それぞれ「９８」，「−１４．６」という値を得
る。これも、統計量ＳＫが「−１．０」未満であるた
め、ステップＳ５９においてＳＴＡＲＴ＝０，ＥＮＤ＝
９８が設定される。

【００５５】続いて３回目の処理では、ＳＴＡＲＴ＝
０，ＥＮＤ＝９８における平均値ＡＶ，統計量ＳＫを計
算し、それぞれ「４５」，「１０．７」という値を得
る。この場合は、統計量ＳＫが「１．０」を超えるた
め、ステップＳ５１０においてＳＴＡＲＴ＝４５，ＥＮ
Ｄ＝９８が設定される。

【００５６】続いて４回目の処理では、ＳＴＡＲＴ＝４
５，ＥＮＤ＝９８における平均値ＡＶ，統計量ＳＫを計
算し、それぞれ「７７」，「−８．２」という値を得
る。これも、統計量ＳＫが「−１．０」未満であるた
め、ステップＳ５９においてＳＴＡＲＴ＝４５，ＥＮＤ
＝７７が設定される。

【００５７】続いて５回目の処理では、ＳＴＡＲＴ＝４
５，ＥＮＤ＝７７における平均値ＡＶ，統計量ＳＫを計
算し、それぞれ「６３」，「−３．０」という値を得
る。これも、統計量ＳＫが「−１．０」未満であるた
め、ステップＳ５９においてＳＴＡＲＴ＝４５，ＥＮＤ
＝６３が設定される。

【００５８】そして６回目の処理では、ＳＴＡＲＴ＝４
５，ＥＮＤ＝６３における平均値ＡＶ，統計量ＳＫを計
算し、それぞれ「５４」，「−０．９」という値を得
る。ここで、統計量ＳＫが「−１．０」以上かつ「１．
０」以下であるため、ステップＳ５５，Ｓ５６の条件を
満たさず、ステップＳ５７へ進んで２値化閾値ＴＨ１と
して、「５４」が設定される。そしてステップＳ５８に
おいて、２値化閾値ＴＨ１を用いた単純２値化処理が行
われる。

【００５９】以上説明したように、スキュー値が所定値
まで収束するように、２値化閾値を決定する。

【００６０】以上、輝度階層番号が「１」である場合の
２値化処理について説明したが、次に、輝度階層番号が
「２」である中輝度文字の２値化処理について、上述し
た図５のフローチャートを参照して同様に説明する。

【００６１】まずステップＳ５１において、対象画像の
ヒストグラムを算出する。この場合、上述した図３にお
けるステップＳ３６で、輝度階層番号が「１」である分
割済み領域（黒色文字領域）を削除し、ステップＳ３７
で輝度階層番号を「２」にセットしてあるため、ステッ
プＳ５１では画像中の輝度階層番号が「１」である分割
済み領域以外の画素を用いて、輝度階層番号「２」に対
応する輝度値に対する頻度を算出することができる。

【００６２】その結果、ステップＳ５１において得られ
るヒストグラムは、図７に示すような形状を呈する。
尚、図４と図７においては、縦軸のスケールは異なって
いる。そして、ステップＳ５２からステップＳ５８まで
の処理は上述した輝度階層番号が「１」である場合と同
様であるが、もちろん決定される２値化閾値ＴＨ２は、
上述した２値化閾値ＴＨ１とは異なっている。

【００６３】以下、図７に示すヒストグラムの例を用い
て、上述した２値化閾値ＴＨ２の決定処理について、更
に詳細に説明する。

【００６４】図８は、図７に示す様なヒストグラムを有
する画像に対して、上述した図５で示す領域分割前処理
を行った際の、各パラメータの値の変化を示す図であ
る。図８において示される各パラメータ値は、図５のフ
ローチャートにおいてステップＳ５３及びＳ５４を通過
する回数によって、それぞれ示されている。

【００６５】まず、ステップＳ５３及びＳ５４を通過す
る１回目の処理では、ＳＴＡＲＴ＝０，ＥＮＤ＝２５５
で平均値ＡＶ，統計量ＳＫを計算し、それぞれ「１８
６」，「−５３．４」という値を得る。この場合、統計
量ＳＫが「−１．０」未満であるため、ステップＳ５９
においてＳＴＡＲＴ＝０，ＥＮＤ＝１８６が設定され
る。

【００６６】続いて２回目の処理では、ＳＴＡＲＴ＝
０，ＥＮＤ＝１８６における平均値ＡＶ，統計量ＳＫを
計算し、それぞれ「１２２」，「４．２」という値を得
る。この場合、統計量ＳＫが「１．０」を超えるため、
ステップＳ５１０においてＳＴＡＲＴ＝１２２，ＥＮＤ
＝１８６が設定される。

【００６７】続いて３回目の処理では、ＳＴＡＲＴ＝１
２２，ＥＮＤ＝１８６における平均値ＡＶ，統計量ＳＫ
を計算し、それぞれ「１４９」，「５．８」という値を
得る。この場合は、統計量ＳＫが「１．０」を超えるた
め、ステップＳ５１０においてＳＴＡＲＴ＝１４９，Ｅ
ＮＤ＝１８６が設定される。

【００６８】そして４回目の処理では、ＳＴＡＲＴ＝１
４９，ＥＮＤ＝１８６における平均値ＡＶ，統計量ＳＫ
を計算し、それぞれ「１６７」，「−０．５」という値
を得る。ここで、統計量ＳＫが「−１．０」以上かつ
「１．０」以下となるため、ステップＳ５５，Ｓ５６で
示される条件を満たさないため、ステップＳ５７へ進ん
で２値化閾値ＴＨ２＝１６７が設定される。そしてステ
ップＳ５８において、２値化閾値ＴＨ２を用いて単純２
値化処理が行われる。

【００６９】以上説明したようにして、輝度階層番号が
「２」である領域について２値化処理が行われる。

【００７０】以上説明した、輝度階層番号が「１」であ
る場合の２値化閾値ＴＨ１と、輝度階層番号が「２」で
ある場合の２値化閾値ＴＨ２とは、図９の示すような関
係にになる。図９に示すのヒストグラムは図４のそれと
同一であり、全画素による輝度頻度を表わしている。即
ち、まず輝度階層番号が「１」について２値化閾値ＴＨ
１＝５４で２値化され、「黒」となる領域Ａが「白」と
なる領域Ｂから分割される。また、輝度階層番号が
「２」について、全画素から領域Ａを削除した領域、即
ち領域Ｂの画像が２値化閾値ＴＨ２＝１６７で２値化さ
れ、「黒」となる領域Ｃが「白」となる領域Ｄから分割
される。

【００７１】以上説明したように図９によれば、本実施
例において全画素は輝度値が「０〜５４」（領域Ａ），
「５４〜１６７」（領域Ｃ），「１６７〜２５５」（領
域Ｄ）の３領域に分割されることが分かる。

【００７２】＜＜領域分割処理＞＞次に、上述した図３
のステップＳ３３で示した領域分割処理について、図１
０のフローチャートを参照して詳細に説明する。

【００７３】まず、ステップＳ１０１において、入力部
４を介して入力した２値画像を作業用メモリに入力す
る。そしてステップＳ１０２ではｍ×ｎ画素が１画素と
なるように入力画像を間引き、領域分割用の画像を生成
する。この時、ｍ×ｎ画素中に１つでも黒色画素が存在
していれば、該ｍ×ｎ画素を黒の１画素とする。

【００７４】そしてステップＳ１０３では、領域分割用
画像の全画素について、黒画素が上下、左右、斜めの方
向に所定数連続している領域を一つの領域として、領域
分割を行なう。その際、領域の検出順に番号を付すこと
により、各領域に対するラベル付けを行なう。次にステ
ップＳ１０４において、各領域の幅、高さ、面積、領域
内の黒画素密度により領域を分類し、属性のラベル付け
を行なう。領域の属性としては、詳細は後述するが、
「テーブル」，「外枠領域」，「テキスト」等がある。

【００７５】そしてステップＳ１０５では、「テキス
ト」とラベル付けされた全ての領域の幅と高さの平均を
算出し、得られた平均幅が平均高さより大きい場合には
処理画像は横書きの文書であるとみなし、逆の場合は縦
書きの文書であるとみなすことにより、文字組みを判断
する。同時に、横書きならば平均高さを、縦書きならば
平均幅をもって、一文字の文字サイズとする。

【００７６】また、領域分割用画像上の縦方向（横書き
時）または横方向（縦書き時）の「テキスト」領域全て
のヒストグラムから、文章の段組、行間隔、が検出され
る。ステップＳ１０６では、「テキスト」領域において
文字サイズが大きい領域については、「タイトル」とす
る。そしてステップＳ１０７では、何の関連もなくばら
ばらに存在したままの「タイトル」領域、「テキスト」
領域を、周りの領域との間隔に応じて併合し、一つのま
とまった領域とする。次にステップＳ１０８において、
各領域毎に属性、原画像における座標や大きさ等の領域
データを記憶部５に出力し、記憶する。

【００７７】以上の処理を行なうことにより、本実施例
では２値画像の領域分割処理を行い、各領域データが得
られる。

【００７８】図１１に、上述した領域データの例を示
す。図１１に示す各領域データ項目について、以下説明
する。 ・「番号」：領域の検出順序を示す。 ・「属性」：領域の属性情報を示し、以下に示す８通り
が用意されている。

【００７９】「ルート」 入力画像そのものである
ことを示す。

【００８０】「テキスト」 文字領域であることを示
す。

【００８１】「タイトル」 見出し領域であることを
示す。

【００８２】「テーブル」 表領域であることを示
す。

【００８３】「ノイズ」 文字領域とも画像領域と
も判断できなかった領域であることを示す。

【００８４】「外枠」 罫線等の領域であること
を示す。

【００８５】「写真画像」 写真領域であることを示
す。

【００８６】「線画像」 線画像領域であることを
示す。 ・「始点座標」：原画像における領域開始のＸ，Ｙ座標
を示す。 ・「終点座標」：原画像における領域終了のＸ，Ｙ座標
を示す。 ・「画素数」：領域内の全画素数を示す。 ・「文字組情報」：縦書き，横書き，不明の３通りの文
字組情報を示す。

【００８７】図１１に示す領域データについて、「属
性」が「テキスト」で示される領域のみ、図１０に示す
ステップＳ１０７における併合前の、行に関する領域デ
ータ（行領域データ）を階層的に保持している。

【００８８】以上説明したようにして、本実施例では領
域分割処理が行われる。尚、図１１に示した領域データ
は本実施例を適用した一例にすぎず、画像処理装置に応
じて例えば他の情報を適宜追加しても良いし、または減
らしても良い。

【００８９】＜＜領域分割後処理（領域除去処理）＞＞
次に、図３のステップＳ３４に示す領域分割後処理につ
いて、図１２のフローチャートを参照して詳細に説明す
る。本実施例における領域分割後処理は、領域分割され
た各領域のうち、領域分割誤りの領域を除去する処理で
あり、以下、レイアウトノイズリダクション（ＬＮＲ）
と称する。

【００９０】まずステップＳ１２１で、領域分割後の各
領域データはルート領域であるか否かが判断される。ル
ート領域とは画像全体を囲む領域、即ち全体領域のこと
であり、ルート領域であればステップＳ１２６に進み、
ＬＮＲ処理は施さない。ルート領域でなければステップ
Ｓ１２２に進み、テキスト領域（文字領域）であるか、
またはノイズ領域であるかが判断される。テキスト領域
またはノイズ領域である場合には処理はステップＳ１２
３へ、いずれでもない場合はステップＳ１２５へ進む。

【００９１】ステップＳ１２３では、領域の大きさに応
じて領域データが領域分割誤りとして除去されるＬＮＲ
処理１を行い、次にステップＳ１２４で、領域内の黒比
率に応じて領域データが領域分割誤りとして除去される
ＬＮＲ処理３を行う。一方、ステップＳ１２５では、テ
キスト領域でなく、かつノイズ領域でもない領域データ
が、領域の大きさに応じて領域分割誤りとして除去され
るＬＮＲ処理２が行われる。尚、ステップＳ１２３，Ｓ
１２４，Ｓ１２５におけるＬＮＲ処理１，３，２につい
ては、それぞれ以下に詳述する。

【００９２】そしてステップＳ１２６において、全ての
領域に対する処理が終了したか否かが判断され、終了し
ていなければステップＳ１２１へ戻り、終了していれば
ＬＮＲ処理を終了する。

【００９３】以上説明したようにして、本実施例におい
ては領域分割により黒画素領域として分割された領域デ
ータから、領域分割誤りとなる領域を除去する。

【００９４】以下、まずステップＳ１２３に示すＬＮＲ
処理１について詳細に説明する。図１３は、ＬＮＲ処理
１を示すフローチャートである。まずステップＳ１３１
で、処理対象領域の領域データから高さＨ１，幅Ｗ１を
参照する。そして、領域の大きさの判断に用いる高さの
閾値ＨＴ１，幅の閾値ＷＴ１を算出するために、ステッ
プＳ１３２において、スキャナ等の画像入力装置２の読
み取り解像度ＳＲと、画像中の除去しない最小文字のポ
イント数ＭＰ１をそれぞれ高さ，幅についてＭＰ１ｈ，
ＭＰ１ｗとして設定する。

【００９５】本実施例において、閾値ＨＴ１，ＷＴ１は
以下に示す（５），（６）式により算出される。

【００９６】 ＨＴ１＝（ＳＲ／７２．０）×ＭＰ１ｈ ・・・（５） ＷＴ１＝（ＳＲ／７２．０）×ＭＰ１ｗ ・・・（６） ステップＳ１３３では、（５）式により高さの閾値ＨＴ
１を算出する。例えば、画像入力装置２の解像度ＳＲが
４００ｄｐｉで、画像中の最小文字の高さポイント数Ｍ
Ｐ１ｈが４ポイントである場合、高さの閾値ＨＴ１は
「２２」として算出される。そしてステップＳ１３４
で、領域データの高さＨ１とステップＳ１３３で算出し
た高さの閾値ＨＴ１との比較を行なう。領域データの高
さＨ１が閾値ＨＴ１より大きい場合はステップＳ１３５
へ進み、閾値ＨＴ１より小さい場合はステップＳ１３８
へ進む。

【００９７】ステップＳ１３５では、（６）式により幅
の閾値ＷＴ１を算出する。続いてステップＳ１３６で、
領域データの幅Ｗ１とステップＳ１３５で算出した幅の
閾値ＷＴ１との比較を行なう。領域データの幅Ｗ１が閾
値ＷＴ１よりも大きい場合には、ＬＮＲ処理１は終了す
る。一方、領域データの幅Ｗ１が閾値ＷＴ１よりも小さ
い場合はステップＳ１３７に進み、領域データの高さＨ
１と幅Ｗ１との比Ｈ１／Ｗ１の判断を行なう。この比が
「２」以下である場合には、ＬＮＲ処理１は終了する。
一方、比が「２」を超える場合には処理中の領域が領域
分割誤りであると判断されるため、ステップＳ１３８へ
進んで、該領域が除去される。

【００９８】次に、図１２のステップＳ１２４に示すＬ
ＮＲ処理３について、図１４のフローチャートを参照し
て詳細に説明する。まずステップＳ１４１において、領
域中の黒画素数ＢＣを累計する。そしてステップＳ１４
２で、領域中の黒比率ＢＲ１を以下に示す（７）式によ
り計算する。

【００９９】 ＢＲ１＝ＢＣ／（Ｗ１×Ｈ１）×１００ ・・・（７） 次にステップＳ１４３において、最小黒比率ＢＲＴ１
と、最大黒比率ＢＲＴ２とを設定する。ＢＲＴ１とＢＲ
Ｔ２は、文字の黒比率特性により予め設定されており、
例えばＢＲＴ１＝５，ＢＲＴ２＝５２である。

【０１００】ステップＳ１４４では、領域中の黒比率Ｂ
Ｒ１と、最小黒比率ＢＲＴ１及び最大黒比率ＢＲＴ２と
の比較を行なう。黒比率ＢＲ１が最小黒比率ＢＲＴ１よ
り小さい、又は最大黒比率ＢＲＴ２より大きい場合に
は、処理中の領域が領域分割誤りであると判断され、ス
テップＳ１４５に進んで該領域が除去される。その他の
場合は、ＬＮＲ処理３は終了する。

【０１０１】次に、図１２のステップＳ１２５に示すＬ
ＮＲ処理２について、図１５のフローチャートを参照し
て詳細に説明する。まずステップＳ１５１において、処
理対象領域の領域データから高さＨ２，幅Ｗ２を参照す
る。そして、領域の大きさの判断に用いる高さの閾値Ｈ
Ｔ２，幅の閾値ＷＴ２を算出するために、ステップＳ１
５２において、画像入力装置２の解像度ＳＲを設定す
る。そして、ステップＳ１５３において、処理中の領域
の属性が外枠領域であるか否かが判断される。そして、
外枠領域であればステップＳ１５４へ、外枠領域でなけ
ればステップＳ１５７へ進む。

【０１０２】ステップＳ１５４においては、最小ポイン
ト数ＭＰ２１をそれぞれ高さ，幅についてＭＰ２１ｈ，
ＭＰ２１ｗとして設定する。また、ステップＳ１５７で
も同様に、最小ポイント数ＭＰ２２をそれぞれ高さ，幅
についてＭＰ２２ｈ，ＭＰ２２ｗとして設定する。ここ
で最小ポイント数ＭＰ２１，ＭＰ２２とは、ＬＮＲ処理
２において外枠領域であるか否かに応じて、除去しない
領域の最小サイズを文字のポイント数により表わしたも
のである。

【０１０３】そして、ステップＳ１５５およびＳ１５８
においては、上述した（５），（６）式により、高さの
閾値ＨＴ２１，ＨＴ２２と幅の閾値ＷＴ２１，ＷＴ２２
を算出する。例えば、画像入力装置２の解像度ＳＲが４
００ｄｐｉで、最小ポイント数ＭＰ２２が高さ、幅共に
４ポイントである場合、各閾値ＨＴ２２，ＷＴ２２は
「２２」として算出される。そして、ステップＳ１５６
およびＳ１５９において、それぞれ高さの閾値ＨＴ２と
幅の閾値ＷＴ２を設定する。

【０１０４】続いてステップＳ１５１０では、領域デー
タの高さＨ２と、ステップＳ１５６およびＳ１５９で設
定した高さの閾値ＨＴ２との比較、及び領域データの幅
Ｗ２と同じく幅の閾値ＷＴ２との比較を行なう。領域デ
ータの高さＨ２が閾値ＨＴ２より小さい、または幅Ｗ２
が閾値ＷＴ２より小さい場合、処理中の領域が領域分割
誤りであると判断され、ステップＳ１５１１において該
領域が除去される。その他の場合は、ＬＮＲ処理２を終
了する。

【０１０５】以上説明したように本実施例のＬＮＲ処理
は、３種類の処理によって領域分割誤りと判断される領
域を除去する。

【０１０６】＜輝度階層別画像処理＞次に、上述した図
２のステップＳ２４に示す輝度階層別画像処理につい
て、図１６のフローチャートを参照して詳細に説明す
る。

【０１０７】まずステップＳ１６１において、上述した
図３のステップＳ３６において入力画像から削除され、
記憶部５に格納された輝度階層番号が「１」である領域
データを読み込む。そしてステップＳ１６２では、該領
域データの属性により、文字領域であるか否かの判断を
行なう。文字領域である場合にはステップＳ１６３に進
み、詳細は後述するが、後段のＯＣＲによる文書認識処
理に最も適した閾値で単純２値化を行う。そしてステッ
プＳ１６４でＯＣＲ処理を行なう。一方、文字領域でな
い場合には画像領域であると見なし、ステップＳ１６５
に進んで誤差拡散法やディザ法等の擬似中間調処理を行
って２値化する。

【０１０８】次にステップＳ１６６において、未処理の
領域が残っているかを判断し、残っている場合はステッ
プＳ１６２へ、残っていない場合はステップＳ１６７へ
進む。ステップＳ１６７では、処理中の領域データの輝
度階層番号が「１」であるか否かの判断を行い、「１」
であればステップＳ１６８へ、「１」でなければ輝度階
層別画像処理を終了する。ステップＳ１６８では、輝度
階層番号が「２」である領域データを読み込み、ステッ
プＳ１６２へ戻る。

【０１０９】即ち本実施例においては、輝度階層別に、
文字領域に対してそれぞれ独立して文字認識処理を行
う。

【０１１０】＜＜文字認識前処理＞＞次に、図１６のス
テップＳ１６３で示した文字認識前処理について、図１
７のフローチャートを参照して詳細に説明する。図１７
は、文字認識前処理である２値化処理の特徴を最もよく
表すフローチャートである。

【０１１１】まずステップＳ１７１において、文字領域
内の行領域の領域データから、高さＨ、幅Ｗを入力す
る。そしてステップＳ１７２で、スキャナ等の画像入力
装置２の解像度ＳＲを設定する。次にステップＳ１７３
では、処理対象の行領域の８ビットの多値画像を作業用
メモリに読み込む。ステップＳ１７４では、処理対象の
行領域のヒストグラム（「０」〜「２５５」の各デジタ
ル値の頻度）の累計を算出する。そしてステップＳ１７
５では、行領域の高さＨと画像入力装置２の解像度ＳＲ
との関係に基づいて予め設定されている黒比率ＢＲを読
み込む。尚、この黒比率ＢＲについての詳細は後述する
が、上記はテキストが縦書きの場合であり、横書きの場
合には文字領域の幅Ｗと解像度ＳＲとにより、ＢＲが設
定される。

【０１１２】続いてステップＳ１７６では、詳細は後述
するが、ＢＲ値に基づいて２値化の閾値を設定する。そ
してステップＳ１７７において、ステップＳ１７６で設
定された閾値を用い、単純２値化を行う。そして最後に
ステップＳ１７８で未処理の行領域が残っているかを判
断し、文字領域内の行領域が全て２値化されるまで上述
した処理を繰り返す。

【０１１３】以下、上述した行領域の高さＨと画像入力
装置２の解像度ＳＲとの関係により予め設定される黒比
率ＢＲについて、図１８を参照して詳細に説明する。

【０１１４】図１８に示すように、ＢＲ値は文字のポイ
ント数Ｐ毎に設定される。文字のポイント数Ｐは、以下
に示す（８）式により算出される。

【０１１５】 Ｐ＝（７２．０／ＳＲ）×Ｈ ・・・（８） （８）式から分かるように、行領域の高さＨと解像度Ｓ
Ｒとによって、対象行領域の文字ポイント数Ｐが算出で
きるため、該ポイント数Ｐの文字が最も良く認識される
ような行領域の黒比率ＢＲを実験的に求め、図１８のよ
うに設定しておく。例えば行領域の高さＨが「５６」
で、入力時の解像度が４００ｄｐｉの場合には、この行
領域の文字のポイント数Ｐは「１０」となる。１０ポイ
ントの文字は、領域内の黒比率が１４％である時に、最
も文字認識率が高いという実験結果に基づいて、ＢＲ値
は「１４」に設定される。

【０１１６】即ち、文字認識前処理は輝度階層番号が
「１」である領域と、「２」である領域についてそれぞ
れ独立して行われるため、各ヒストグラムに応じて適切
な２値化を行った後に、確実に文字認識を行うことがで
きる。

【０１１７】＜具体例＞以下、上述した本実施例におけ
る画像処理装置２において、実際にテキストを含んだ画
像を画像入力装置２から入力して、画像表示装置３に表
示する例を説明する。原稿画像として、ゴシック体で
『文字』と書かれた文字領域を抜粋して説明する。

【０１１８】まず、上述した原稿画像がスキャナ等の画
像入力装置２により入力されると、白に近い下地にテキ
ストが黒色文字で描かれている場合を図１９の（ａ）に
示し、同様にテキストが灰色文字で描かれている場合を
図１９の（ｂ）に示す。ここで、行領域の高さＨが「３
４」、画像入力装置２における入力時の解像度が４００
ｄｐｉであるとする。すると、上述した（８）式より文
字のポイント数Ｐが「６」と算出されるため、図１８に
よりＢＲ値は「１３」である。そして、それぞれの画像
のヒストグラムを算出すると、図２０の（ａ），（ｂ）
に示すようになる。これらのヒストグラムに対し、黒比
率が１３％になるような閾値は、それぞれ「２９」と
「１２３」である。これらの閾値により図１９の
（ａ），（ｂ）を２値化した結果が、図２１の（ａ），
（ｂ）となる。これにより、黒色文字，灰色文字のいず
れも適切に２値化されていることが分かる。

【０１１９】以上説明したように、ＯＣＲに適する２値
化のための閾値を適切に求めることにより、行領域の多
値画像が劣化することなく適切に２値化される。従っ
て、ＯＣＲによる文字認識処理における認識率を向上さ
せることができる。

【０１２０】以上説明したように本実施例によれば、３
つ以上の輝度レベル（白，灰色，黒）が混在した画像を
処理する場合においても、灰色文字に対しても高精度の
２値化処理が行えるため、より正確な文字認識処理を行
うことができる。

【０１２１】

【他の実施例】上述した実施例においては、輝度階層を
３つとして説明を行ったが、本発明はこの例に限定され
るものではなく、実際の画像に応じて輝度階層数を決定
すれば良い。

【０１２２】また、実施例において入力される画像は８
ビットの多値画像データとしたが、これに限定する必要
はなく、例えばカラー画像等、即ち、２値化するために
画像情報として複数ビットの情報があれば良い。

【０１２３】また、ヒストグラムを算出する際の画像に
おけるサンプリングについて、全画素でも、数画素おき
でもよく限定しない。さらに、平均ＡＶや統計量ＳＫ等
の計算は、必ずしも８ビットで行う必要はなく、高速
化、メモリの削減等のため、少ないビット数で演算する
ようにしてもよい。

【０１２４】また、統計量であるスキュー値ＳＫの収束
条件を±１．０としたが、これに限定されるものではな
い。スキュー値ＳＫを用いて２値化の閾値を決定するよ
うに構成されていれば良い。

【０１２５】また、前記実施例において、黒比率ＢＲの
例としてゴシック体について説明を行ったが、もちろん
他の書体についても同様に処理されることは言うまでも
ない。更には、書体によってＢＲ値の設定を切り替える
ようにしても良い。

【０１２６】また、前記実施例においては、黒比率ＢＲ
を予めテーブルに設定しておき、文字領域の高さと画像
入力装置の解像度から、文字領域毎のＢＲ値を選択する
例について説明したが、操作者が文字領域毎に好みのＢ
Ｒ値を定めるようにしても良い。即ち、何らかの手段に
よってＢＲ値が決定されればよい。

【０１２７】更に、前記実施例では文字領域中の各行領
域毎にそれぞれ閾値を定めるとして説明したが、閾値の
設定方法はこの例に限定されるものではなく、例えば、
同一文字領域内の他の行領域の閾値を参照して、同一文
字領域内での閾値に大きな隔たりがないよう、各閾値に
制限を加えるようにしても良い。

【０１２８】また、更に領域データに輝度階層情報を設
けることにより、灰色文字領域と黒色文字領域とを区別
して文字認識を行うことも可能となる。

【０１２９】尚、本発明は、イメージスキャナ、プリン
タコントローラ、プリンタ等の複数の機器から構成され
るシステムに適用しても、カラー複写機のような１つの
機器から成る装置に適用しても良い。また、本発明は上
述のように画像処理装置にハードウェアを設けるものに
限らず、システム或は装置に磁気ディスク等の媒体に記
憶されたプログラムを供給することによって達成される
場合にも適用できることはいうまでもない。

【０１３０】

【発明の効果】以上説明したように本発明によれば、輝
度階層別に第１の２値化閾値を算出して２値化を行って
から領域分割を行い、その結果分割済み領域以外の領域
に対して第２の２値化閾値を算出して２値化を行い、該
２値化された文字領域に対して文字認識処理を行なうこ
とにより、３つ以上の輝度レベル対象が混在した画像を
処理する場合においても、それぞれの輝度レベルに対し
て高精度の２値化結果が得られるため、より正確な文字
認識処理を行なうことができる。従って、例えば灰色文
字の文字認識率が向上する。

【０１３１】更に、各領域を複数の輝度階層毎に区別す
ることができるため、灰色文字領域と黒色文字領域とを
区別して文字認識処理を行なうことも可能となる。

【０１３２】

【図面の簡単な説明】

【図１】本発明に係る一実施例における画像処理装置の
システム構成を示すブロック図である。

【図２】本実施例における文字を含んだ画像処理を示す
フローチャートである。

【図３】本実施例における輝度階層別領域分割処理を示
すフローチャートである。

【図４】本実施例における原稿画像のヒストグラムの例
を示す図である。

【図５】本実施例における領域分割前処理を示すフロー
チャートである。

【図６】本実施例の領域分割前処理における各変数値の
例を示す図である。

【図７】本実施例における原稿画像の輝度階層番号が
「２」である領域のヒストグラムの例を示す図である。

【図８】本実施例の領域分割前処理における各変数値の
例を示す図である。

【図９】本実施例における領域分割前処理における輝度
階層毎の２値化結果を示す図である。

【図１０】本実施例における領域分割処理を示すフロー
チャートである。

【図１１】本実施例における領域分割処理により得られ
る領域データ例を示す図である。

【図１２】本実施例における領域分割後処理を示すフロ
ーチャートである。

【図１３】本実施例における領域の大きさによる領域除
去処理１を示すフローチャートである。

【図１４】本実施例における黒比率による領域除去処理
２を示すフローチャートである。

【図１５】本実施例における領域の大きさによる領域除
去処理３を示すフローチャートである。

【図１６】本実施例における輝度階層別画像処理を示す
フローチャートである。

【図１７】本実施例における文字認識前処理を示すフロ
ーチャートである。

【図１８】本実施例における黒比率を設定するテーブル
例を示す図である。

【図１９】本実施例における入力多値画像の例を示す図
である。

【図２０】本実施例における入力多値画像のヒストグラ
ム例を示す図である。

【図２１】本実施例における入力多値画像を２値化した
画像例を示す図である。

【図２２】従来の画像処理装置における文字を含んだ画
像処理を示すフローチャートである。

【符号の説明】

１ 画像処理装置 ２ 画像入力装置 ３ 画像表示装置 ４ 入力部 ５ 記憶部 ６ 輝度頻度累計部 ７ ２値化閾値算出部 ８ ２値化部 ９ 領域分割部 １０ 文字認識部 １１ 画像処理部 １２ 出力部

Claims (23)

【特許請求の範囲】
1. 【請求項１】 入力画像の輝度階層別に２値化閾値を設
   定する第１の閾値設定手段と、 前記第１の閾値設定手段により設定された輝度階層別の
   ２値化閾値により前記入力画像を２値化して輝度階層別
   の第１の２値画像を生成する第１の２値化手段と、 前記輝度階層別の第１の２値画像から所定の領域を分割
   する領域分割手段と、 前記輝度階層別の分割済み領域以外の領域の２値化閾値
   を設定する第２の閾値設定手段と、 前記第２の閾値設定手段により設定された２値化閾値に
   より前記輝度階層別の分割済み領域以外の領域を２値化
   して輝度階層別の第２の２値画像を生成する第２の２値
   化手段と、 前記輝度階層別の第２の２値画像に対して文字認識を行
   なう文字認識手段とを有することを特徴とする画像処理
   装置。
2. 【請求項２】 更に、入力画像の輝度頻度を累計する累
   計手段を有し、 前記第１の閾値設定手段は、前記累計手段による輝度頻
   度の累計結果により第１の２値化閾値を設定することを
   特徴とする請求項１記載の画像処理装置。
3. 【請求項３】 前記第１の閾値設定手段は、前記累計手
   段による輝度頻度の累計が極小となる領域を特定し、該
   領域における平均輝度を２値化閾値とすることを特徴と
   する請求項２記載の画像処理装置。
4. 【請求項４】 前記第２の閾値設定手段は、前記輝度階
   層別の分割済み領域以外の領域の特徴に基づいて２値化
   閾値を設定することを特徴とする請求項１記載の画像処
   理装置。
5. 【請求項５】 前記第２の閾値設定手段は、前記輝度階
   層別の分割済み領域以外の領域の濃度及び高さと、前記
   入力画像の解像度とに基づいて２値化閾値を設定するこ
   とを特徴とする請求項４記載の画像処理装置。
6. 【請求項６】 前記第２の閾値設定手段は、前記輝度階
   層別の分割済み領域以外の領域の黒比率が所定値となる
   ように２値化閾値を設定することを特徴とする請求項４
   記載の画像処理装置。
7. 【請求項７】 前記第１の２値化手段は、前記入力画像
   を単純２値化することを特徴とする請求項１記載の画像
   処理装置。
8. 【請求項８】 入力画像の輝度階層別に２値化閾値を設
   定する第１の閾値設定工程と、 前記第１の閾値設定工程により設定された輝度階層別の
   ２値化閾値により前記入力画像を２値化して輝度階層別
   の第１の２値画像を生成する第１の２値化工程と、 前記輝度階層別の第１の２値画像から所定の領域を分割
   する領域分割工程と、 前記輝度階層別の分割済み領域以外の領域の２値化閾値
   を設定する第２の閾値設定工程と、 前記第２の閾値設定工程により設定された２値化閾値に
   より前記輝度階層別の分割済み領域以外の領域を２値化
   して輝度階層別の第２の２値画像を生成する第２の２値
   化工程と、 前記輝度階層別の第２の２値画像に対して文字認識を行
   なう文字認識工程とを有することを特徴とする画像処理
   方法。
9. 【請求項９】 更に、入力画像の輝度頻度を累計する累
   計工程を有し、 前記第１の閾値設定工程は、前記累計工程による輝度頻
   度の累計結果により第１の２値化閾値を設定することを
   特徴とする請求項８記載の画像処理方法。
10. 【請求項１０】 前記第１の閾値設定工程は、前記累計
    工程による輝度頻度の累計が極小となる領域を特定し、
    該領域における平均輝度を２値化閾値とすることを特徴
    とする請求項９記載の画像処理方法。
11. 【請求項１１】 前記第２の閾値設定工程は、前記輝度
    階層別の分割済み領域以外の領域の特徴に基づいて２値
    化閾値を設定することを特徴とする請求項８記載の画像
    処理方法。
12. 【請求項１２】 前記第２の閾値設定工程は、前記輝度
    階層別の分割済み領域以外の領域の濃度及び高さと、前
    記入力画像の解像度とに基づいて２値化閾値を設定する
    ことを特徴とする請求項１１記載の画像処理方法。
13. 【請求項１３】 前記第２の閾値設定工程は、前記輝度
    階層別の分割済み領域以外の領域の黒比率が所定値とな
    るように２値化閾値を設定することを特徴とする請求項
    １１記載の画像処理方法。
14. 【請求項１４】 前記黒比率は、前記輝度階層別の分割
    済み領域以外の領域内の黒画素密度であり、該領域の高
    さ、該領域の解像度、該領域内の文字フォントの種類に
    応じて変化することを特徴とする請求項１３記載の画像
    処理方法。
15. 【請求項１５】 前記輝度階層別の分割済み領域以外の
    領域の高さは該領域内の文字の大きさであることを特徴
    とする請求項１４記載の画像処理方法。
16. 【請求項１６】 前記第２の閾値設定工程は、前記第２
    の閾値を前記輝度階層別の分割済み領域以外の領域の行
    領域単位に設定することを特徴とする請求項８記載の画
    像処理方法。
17. 【請求項１７】 前記第２の閾値設定工程は、前記第２
    の閾値を前記輝度階層別の分割済み領域以外の領域の他
    の行における閾値により制限することを特徴とする請求
    項１６記載の画像処理方法。
18. 【請求項１８】 前記領域分割工程は、前記第１の２値
    画像から所定の領域を分割し、その画像特徴に基づいて
    領域を抽出することを特徴とする請求項８記載の画像処
    理方法。
19. 【請求項１９】 前記第１の２値化工程は、前記入力画
    像を単純２値化することを特徴とする請求項８記載の画
    像処理方法。
20. 【請求項２０】 第１の入力画像の２値化閾値を設定す
    る第１の閾値設定工程と、 前記第１の閾値設定工程により設定された２値化閾値に
    より前記第１の入力画像を２値化して第１の２値画像を
    生成する第１の２値化工程と、 前記第１の２値画像から所定の黒画素領域を分割して文
    字領域を抽出する第１の領域分割工程と、 前記第１の入力画像から前記第１の領域分割工程により
    分割された黒画素領域を削除して第２の入力画像を生成
    する第２画像生成工程と、 前記第２の入力画像の２値化閾値を設定する第２の閾値
    設定工程と、 前記第２の閾値設定工程により設定された２値化閾値に
    より前記第２の入力画像を２値化して第２の２値画像を
    生成する第２の２値化工程と、 前記第２の２値画像から黒画素領域を分割して文字領域
    を抽出する第２の領域分割工程と、 前記第１の領域分割工程により抽出された文字領域と、
    前記第２の領域分割工程により抽出された文字領域に対
    して文字認識を行う文字認識工程とを有することを特徴
    とする画像処理方法。
21. 【請求項２１】 更に、前記第１の入力画像の輝度頻度
    を累計する第１の累計工程と、 前記第２の入力画像の輝度頻度を累計する第２の累計工
    程とを有し、 前記第１の閾値設定工程は、前記第１の累計工程による
    輝度頻度の累計結果により第１の２値化閾値を設定し、 前記第２の閾値設定工程は、前記第２の累計工程による
    輝度頻度の累計結果により第２の２値化閾値を設定する
    ことを特徴とする請求項２０記載の画像処理方法。
22. 【請求項２２】 更に、前記第１の領域分割工程により
    分割された黒画素領域から領域分割誤りを除去する第１
    の除去工程と、 前記第２の領域分割工程により分割された黒画素領域か
    ら領域分割誤りを除去する第２の除去工程とを有し、 前記文字認識工程は、前記第１の除去工程により領域分
    割誤りを除去した文字領域と、前記第２の除去工程によ
    り領域分割誤りを除去した文字領域に対して文字認識を
    行うことを特徴とする請求項２０記載の画像処理方法。
23. 【請求項２３】 前記第１の２値化工程及び前記第２の
    ２値化工程は、単純２値化を行うことを特徴とする請求
    項２０記載の画像処理方法。