JP3661677B2 - 画像処理方法および画像処理装置 - Google Patents
画像処理方法および画像処理装置 Download PDFInfo
- Publication number
- JP3661677B2 JP3661677B2 JP2002285895A JP2002285895A JP3661677B2 JP 3661677 B2 JP3661677 B2 JP 3661677B2 JP 2002285895 A JP2002285895 A JP 2002285895A JP 2002285895 A JP2002285895 A JP 2002285895A JP 3661677 B2 JP3661677 B2 JP 3661677B2
- Authority
- JP
- Japan
- Prior art keywords
- image quality
- evaluation value
- image
- feature
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Image Processing (AREA)
- Facsimiles In General (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Analysis (AREA)
Description
【０００１】
【産業上の利用分野】
本発明は、たとえばコピー機におけるコピー品質を客観的に評価して、品質の劣化した画像に対しては画像の修復を可能とし、さらに文字認識（ＯＣＲ）処理を行う際の前処理としても利用可能な画像処理方法および画像処理装置に関する。
【０００２】
【従来の技術】
近年、コピー機が広く普及しているが、最近のコピー機は、画像を忠実に再現する性能は著しく向上している。特に、現在、普及しつつあるディジタルコピ−機においては、高忠実度のコピー性能を生かしてあるがままの状態を保持した高品質なコピ−がなされる。
【０００３】
したがって、コピーを行おうとする原稿の画像がはっきりしてきれいな画像は、ディジタルコピ−機の持つ高い忠実度のコピ−性能を生かして、あるがままの状態を保持した高品質なコピ−がなされるが、従来のアナログコピ−機を用いて複数回のコピ−を行った後の劣化した画像をコピ−すると、それもあるがままの状態でのコピ−がなされることになる。
【０００４】
また、最近では活字印刷された文書をスキャナで読み込んで、この読み込んだ画像デ−タから文字を抽出し、それをコ−ド化する文字認識技術が広い分野で用いられてきている。このような文字認識において、文書をスキャナで読み込む際、文書がコピ−機でコピ−されたものでなく、原本である場合、たとえば、図４１（ａ）に示すように文字画像がはっきりしてきれいな場合は、高い認識率が得られる。
【０００５】
しかし、原本がこのように、はっきりしてきれいな画像であっても、コピ−機でコピ−を繰り返したりすると、画像の劣化が生じて、このような劣化した画像をスキャナで読み取ると、図４１（ｂ），（ｃ）のような画質の劣化した画像となる場合もある。同図（ｂ）は原本の画像を１回コピ−した画像をスキャナで読み取った画像、同図（ｃ）は１回コピ−した画像をさらにもう一回コピ−した画像（２回コピ−した画像という）をスキャナで読み取った画像を示している。
【０００６】
このようなコピ−による画像の品質の劣化への対応は、従来は、文字認識エンジン側で対応していた。すなわち、ある程度劣化した文字画像にも対応できるように、劣化した文字画像を含めた文字認識用の辞書を作成したり、あるいは、多少の凹凸は修復するなどにより対応していた。
【０００７】
【発明が解決しようとする課題】
前記したように、コピ−機はあるがままの状態を保持する高い忠実度のコピ−性能が要求されているが、従来のアナログコピー機などで複数回のコピ−を行った後の劣化した画像（図４１（ｂ）,（ｃ） ）を、高い忠実度のコピ−性能を有するディジタルコピ−機でコピ−すると、それもあるがままの状態でのコピ−がなされることになり、高品質のコピ−画像が得られないという問題があった。
【０００８】
また、コピー機の性能評価（画像品質の評価）は主に主観的な評価によって行われるのが普通である。つまり。コピー後の画像を人間の見た目で判断してそのコピー機の性能を判断するのが一般的である。コピ−機において、コピ−を繰り返すことによる劣化した文字を文字認識対象やコピ−対象とする場合、従来技術では、その劣化した文字の多少の凹凸を無くしたりする技術はあるが、画像の品質を数値による客観的な評価を行い、画像、特に文字のいわゆる「かすれ」や「つぶれ」などを判断し、その劣化状態に応じて適格に修復するという技術はなかった。
【０００９】
また、読み込んだ画像デ−タから文字を抽出し、それをコ−ド化する文字認識技術において、前記した従来の方式では、劣化した文字に対して十分な対応がとれず、たとえば、図４１（ａ），（ｂ），（ｃ）の文字画像を文字認識したとすると、同図（ａ）を１００％の文字認識率とした場合、同図（ｂ）は９０％、同図（ｃ）は８０％というように認識率が大幅に低下する。このように、劣化した画像のままでは十分な認識率が得られないばかりか、見た目としても良い画像が得られないという問題があった。
【００１０】
さらに、文字画像を２値化する際には最適な２値化閾値を決定する必要があるが、従来の２値化閾値の決定方法は、必ずしも、文字に適合した２値化閾値が決定されるものではなく、決定された２値化閾値によって２値化されたのちに、かすれやつぶれが生じる場合もあった。
【００１１】
そこで、本発明はこれらの課題を解決するもので、コピー機においては、コピー後の画像の品質を客観的に評価し、画像の劣化部分を判断して、劣化部分に対しては、その劣化状態に応じた画質の改善処理を施すことを可能とするとともに、文字に適した最適な２値化閾値の決定を可能とし、また、文字認識装置などの前処理としての利用価値が高い画像処理方法および画像処理装置を提供することを目的としている。
【００２６】
【課題を解決するための手段】
本発明の画像処理方法は、画像入力手段により入力された画像データの画質を判断するための特徴量を抽出し、その特徴量を評価値として算出する画質算出工程と、前記画質算出工程で算出した評価値に基づいて画質改善処理を行う画質改善工程とを有する画像処理方法であって、前記画質算出工程は、画素の特徴を特徴点として予め幾つかのパターンを用意し、処理ラインにおける前記特徴点の出現回数と、黒画素と白画素の反転回数との比を、第１の評価値として算出する第１の特徴量抽出工程を有し、前記画質改善工程は、対面している特徴点同士を抽出する特徴点抽出工程と、前記抽出した特徴点同士の対面のパターンが、予め設定されたパターンに合致している場合、前記対面している特徴点同士を画質改善対象候補として決定する候補決定工程と、前記候補決定工程により決定された画質改善対象候補における特徴点同士の間の距離と、前記画質算出工程により算出された第１の評価値に基づいて定められる閾値とを比較し、当該比較の結果に基づいて、前記画質改善対象候補における特徴点同士の間の画素の補間を行うか否かを決定し、前記画素の補間を行うと決定した場合に、前記画素の補間を行う画素加工工程と、を有することを特徴とする。
また、上記の画像処理方法において、前記画質算出工程は、文字の大きさにほぼ相当する黒画素の連続したつながりの平均的な長さを求めるとともに、前記平均的な長さ以上の黒画素の連続したつながりの数を求め、この平均的な長さ以上の黒画素の連続したつながりの数と、黒画素と白画素の反転回数の１／２の数との比を第２の評価値として算出する第２の特徴量抽出工程を有し、前記第１の評価値と前記第２の評価値とを用いて演算した評価値を求め、前記画素加工工程は、前記候補決定工程により決定された画質改善対象候補における特徴点同士の間の距離と、前記画質算出工程により算出された前記第１の評価値と前記第２の評価値とを用いて演算した評価値に基づいて定められる閾値とを比較し、当該比較の結果に基づいて、前記画質改善対象候補における特徴点同士の間の画素の補間を行うか否かを決定し、前記画素の補間を行うと決定した場合に、前記画素の補間を行うことを特徴とする。
【００２７】
また、本発明の画像処理方法は、画像入力手段により入力された画像データの画質を判断するための特徴量を抽出し、その特徴量を評価値として算出する画質算出工程と、前記画質算出工程で算出した評価値に基づいて画質改善処理を行う画質改善工程とを有する画像処理方法であって、前記画質算出工程は、文字の大きさにほぼ相当する黒画素の連続したつながりの平均的な長さを求めるとともに、前記平均的な長さ以上の黒画素の連続したつながりの数を求め、この平均的な長さ以上の黒画素の連続したつながりの数と、黒画素と白画素の反転回数の１／２の数との比を第２の評価値として算出する第２の特徴量抽出工程を有し、前記画質改善工程は、対面している特徴点同士を抽出する特徴点抽出工程と、前記抽出した特徴点同士の対面のパターンが、予め設定されたパターンに合致している場合、前記対面している特徴点同士を画質改善対象候補として決定する候補決定工程と、前記候補決定工程により決定された画質改善対象候補における特徴点同士の間の距離と、前記画質算出工程により算出された第２の評価値に基づいて定められる閾値とを比較し、当該比較の結果に基づいて、前記画質改善対象候補における特徴点同士の間の画素の補間を行うか否かを決定し、前記画素の補間を行うと決定した場合に、前記画素の補間を行う画素加工工程と、を有することを特徴とする。
【００２８】
また、上記の画像処理方法において、前記画質算出工程は、黒画素の連続したつながりの平均的な長さを文字の大きさにほぼ相当する第３の特徴量として抽出する第３の特徴量抽出工程を有し、前記第１の評価値および／または前記第２の評価値と、前記第３の特徴量とを用いて演算した評価値を求め、前記画素加工工程は、前記候補決定工程により決定された画質改善対象候補における特徴点同士の間の距離と、前記画質算出工程により算出された前記第１の評価値および／または前記第２の評価値と、前記第３の特徴量と、を用いて演算した評価値に基づいて定められる閾値とを比較し、当該比較の結果に基づいて、前記画質改善対象候補における特徴点同士の間の画素の補間を行うか否かを決定し、前記画素の補間を行うと決定した場合に、前記画素の補間を行うことを特徴とする。
【００２９】
また、本発明の画像処理方法は、画像入力手段により入力された画像データの画質を判断するための特徴量を抽出し、その特徴量を評価値として算出する画質算出工程と、前記画質算出工程で算出した評価値に基づいて画質改善処理を行う画質改善工程とを有する画像処理方法であって、 前記画質算出工程は、入力された画像データから周波数領域への直交変換を行い、この直交変換後の高周波成分に注目して「かすれ」の度合いを表わす第４の評価値を算出する工程を有し、前記画質改善工程は、対面している特徴点同士を抽出する特徴点抽出工程と、前記抽出した特徴点同士の対面のパターンが、予め設定されたパターンに合致している場合、前記対面している特徴点同士を画質改善対象候補として決定する候補決定工程と、前記候補決定工程により決定された画質改善対象候補における特徴点同士の間の距離と、前記画質算出工程により算出された第４の評価値に基づいて定められる閾値とを比較し、当該比較の結果に基づいて、前記画質改善対象候補における特徴点同士の間の画素の補間を行うか否かを決定し、前記画素の補間を行うと決定した場合に、前記画素の補間を行う画素加工工程と、を有することを特徴とする。
また、上記の画像処理方法において、前記画質算出工程は、入力された画像データから周波数領域への直交変換を行い、この直交変換後の低周波成分に注目して「つぶれ」の度合いを表わす第５の評価値を算出し、前記画素加工工程は、前記候補決定工程により決定された画質改善対象候補における特徴点同士の間の距離と、前記画質算出工程により算出された前記第４の評価値と前記第５の評価値とを用いて演算した評価値に基づいて定められる閾値とを比較し、当該比較の結果に基づいて、前記画質改善対象候補における特徴点同士の間の画素の補間を行うか否かを決定し、前記画素の補間を行うと決定した場合に、前記画素の補間を行うことを特徴とする。
【００３０】
また、本発明の画像処理方法は、画像入力手段により入力された画像データの画質を判断するための特徴量を抽出し、その特徴量を評価値として算出する画質算出工程と、前記画質算出工程で算出した評価値に基づいて画質改善処理を行う画質改善工程とを有する画像処理方法であって、前記画質算出工程は、入力された画像データから周波数領域への直交変換を行い、この直交変換後の低周波成分に注目して「つぶれ」の度合いを表わす第５の評価値を算出する工程を有し、前記画質改善工程は、対面している特徴点同士を抽出する特徴点抽出工程と、前記抽出した特徴点同士の対面のパターンが、予め設定されたパターンに合致している場合、前記対面している特徴点同士を画質改善対象候補として決定する候補決定工程と、前記候補決定工程により決定された画質改善対象候補における特徴点同士の間の距離と、前記画質算出工程により算出された第５の評価値に基づいて定められる閾値とを比較し、当該比較の結果に基づいて、前記画質改善対象候補における特徴点同士の間の画素の補間を行うか否かを決定し、前記画素の補間を行うと決定した場合に、前記画素の補間を行う画素加工工程と、を有することを特徴とする。
【００３１】
また、上記の画像処理方法において、前記画質算出工程は、黒画素の連続したつながりの平均的な長さを文字の大きさにほぼ相当する第３の特徴量として抽出する第３の特徴量抽出工程を有し、前記第４の評価値および／または前記第５の評価値と、前記第３の特徴量とを用いて演算した評価値を求め、前記画素加工工程は、前記候補決定工程により決定された画質改善対象候補における特徴点同士の間の距離と、前記画質算出工程により算出された前記第４の評価値および／または前記第５の評価値と、前記第３の特徴量と、を用いて演算した評価値に基づいて定められる閾値とを比較し、当該比較の結果に基づいて、前記画質改善対象候補における特徴点同士の間の画素の補間を行うか否かを決定し、前記画素の補間を行うと決定した場合に、前記画素の補間を行うことを特徴とする。
【００３２】
また、上記の画像処理方法において、前記画素加工工程は、文字領域を切り出す文字切り出し工程を有し、当該文字切り出し工程により切り出された文字領域内において、画素の補間を行うことを特徴とする。
【００３３】
また、上記の画像処理方法において、前記画質算出工程により算出された評価値に基づいて、処理対象の画像に対する２値化閾値を決定する２値化閾値決定工程を有し、前記画質改善工程は、前記２値化閾値決定工程により決定された２値化閾値を用いて２値化された画像に対して、前記画質算出工程で算出した評価値に基づいて画質改善処理を行うことを特徴とする。
【００４８】
また、本発明の画像処理装置は、画像を入力する画像入力手段と、前記画像入力手段により入力された画像データの画質を判断するための特徴量を抽出し、その特徴量を評価値として算出する画質算出手段と、前記画質算出手段で算出した評価値に基づいて画質改善処理を行う画質改善手段とを有する画像処理装置であって、前記画質算出手段は、画素の特徴を特徴点として予め幾つかのパターンを用意し、処理ラインにおける前記特徴点の出現回数と、黒画素と白画素の反転回数との比を、第１の評価値として算出する第１の特徴量抽出手段を有し、前記画質改善手段は、対面している特徴点同士を抽出する特徴点抽出手段と、前記抽出した特徴点同士の対面のパターンが、予め設定されたパターンに合致している場合、前記対面している特徴点同士を画質改善対象候補として決定する候補決定手段と、前記候補決定手段により決定された画質改善対象候補における特徴点同士の間の距離と、前記画質算出手段により算出された第１の評価値に基づいて定められる閾値とを比較し、当該比較の結果に基づいて、前記画質改善対象候補における特徴点同士の間の画素の補間を行うか否かを決定し、前記画素の補間を行うと決定した場合に、前記画素の補間を行う画素加工手段と、を有することを特徴とする。
また、上記の画像処理装置において、前記画質算出手段は、文字の大きさにほぼ相当する黒画素の連続したつながりの平均的な長さを求めるとともに、前記平均的な長さ以上の黒画素の連続したつながりの数を求め、この平均的な長さ以上の黒画素の連続したつながりの数と、黒画素と白画素の反転回数の１／２の数との比を第２の評価値として算出する第２の特徴量抽出手段を有し、前記第１の評価値と前記第２の評価値とを用いて演算した評価値を求め、 前記画素加工手段は、前記候補決定手段により決定された画質改善対象候補における特徴点同士の間の距離と、前記画質算出手段により算出された前記第１の評価値と前記第２の評価値とを用いて演算した評価値に基づいて定められる閾値とを比較し、当該比較の結果に基づいて、前記画質改善対象候補における特徴点同士の間の画素の補間を行うか否かを決定し、前記画素の補間を行うと決定した場合に、前記画素の補間を行うことを特徴とする。
【００４９】
また、本発明の画像処理装置は、画像を入力する画像入力手段と、前記画像入力手段により入力された画像データの画質を判断するための特徴量を抽出し、その特徴量を評価値として算出する画質算出手段と、前記画質算出手段で算出した評価値に基づいて画質改善処理を行う画質改善手段とを有する画像処理装置であって、前記画質算出手段は、文字の大きさにほぼ相当する黒画素の連続したつながりの平均的な長さを求めるとともに、前記平均的な長さ以上の黒画素の連続したつながりの数を求め、この平均的な長さ以上の黒画素の連続したつながりの数と、黒画素と白画素の反転回数の１／２の数との比を第２の評価値として算出する第２の特徴量抽出手段を有し、前記画質改善手段は、対面している特徴点同士を抽出する特徴点抽出手段と、前記抽出した特徴点同士の対面のパターンが、予め設定されたパターンに合致している場合、前記対面している特徴点同士を画質改善対象候補として決定する候補決定手段と、前記候補決定手段により決定された画質改善対象候補における特徴点同士の間の距離と、前記画質算出手段により算出された第２の評価値に基づいて定められる閾値とを比較し、当該比較の結果に基づいて、前記画質改善対象候補における特徴点同士の間の画素の補間を行うか否かを決定し、前記画素の補間を行うと決定した場合に、前記画素の補間を行う画素加工手段と、を有することを特徴とする。
【００５０】
また、上記の画像処理装置において、前記画質算出手段は、黒画素の連続したつながりの平均的な長さを文字の大きさにほぼ相当する第３の特徴量として抽出する第３の特徴量抽出手段を有し、前記第１の評価値および／または前記第２の評価値と、前記第３の特徴量とを用いて演算した評価値を求め、前記画素加工手段は、前記候補決定手段により決定された画質改善対象候補における特徴点同士の間の距離と、前記画質算出手段により算出された前記第１の評価値および／または前記第２の評価値と、前記第３の特徴量と、を用いて演算した評価値に基づいて定められる閾値とを比較し、当該比較の結果に基づいて、前記画質改善対象候補における特徴点同士の間の画素の補間を行うか否かを決定し、前記画素の補間を行うと決定した場合に、前記画素の補間を行うことを特徴とする。
【００５１】
また、本発明の画像処理装置は、画像を入力する画像入力手段と、前記画像入力手段により入力された画像データの画質を判断するための特徴量を抽出し、その特徴量を評価値として算出する画質算出手段と、前記画質算出手段で算出した評価値に基づいて画質改善処理を行う画質改善手段とを有する画像処理装置であって、前記画質算出手段は、入力された画像データから周波数領域への直交変換を行い、この直交変換後の高周波成分に注目して「かすれ」の度合いを表わす第４の評価値を算出する手段を有し、前記画質改善手段は、対面している特徴点同士を抽出する特徴点抽出手段と、前記抽出した特徴点同士の対面のパターンが、予め設定されたパターンに合致している場合、前記対面している特徴点同士を画質改善対象候補として決定する候補決定手段と、前記候補決定手段により決定された画質改善対象候補における特徴点同士の間の距離と、前記画質算出手段により算出された第４の評価値に基づいて定められる閾値とを比較し、当該比較の結果に基づいて、前記画質改善対象候補における特徴点同士の間の画素の補間を行うか否かを決定し、前記画素の補間を行うと決定した場合に、前記画素の補間を行う画素加工手段と、を有することを特徴とする。
また、上記の画像処理装置において、前記画質算出手段は、入力された画像データから周波数領域への直交変換を行い、この直交変換後の低周波成分に注目して「つぶれ」の度合いを表わす第５の評価値を算出する手段を有し、前記画素加工手段は、前記候補決定工程により決定された画質改善対象候補における特徴点同士の間の距離と、前記画質算出手段により算出された前記第４の評価値と前記第５の評価値とを用いて演算した評価値に基づいて定められる閾値とを比較し、当該比較の結果に基づいて、前記画質改善対象候補における特徴点同士の間の画素の補間を行うか否かを決定し、前記画素の補間を行うと決定した場合に、前記画素の補間を行うことを特徴とする。
【００５２】
また、本発明の画像処理装置は、画像を入力する画像入力手段と、前記画像入力手段により入力された画像データの画質を判断するための特徴量を抽出し、その特徴量を評価値として算出する画質算出手段と、前記画質算出手段で算出した評価値に基づいて画質改善処理を行う画質改善手段とを有する画像処理装置であって、前記画質算出手段は、入力された画像データから周波数領域への直交変換を行い、この直交変換後の高周波成分に注目して「かすれ」の度合いを表わす第４の評価値を算出する手段を有し、前記画質改善手段は、対面している特徴点同士を抽出する特徴点抽出手段と、前記抽出した特徴点同士の対面のパターンが、予め設定されたパターンに合致している場合、前記対面している特徴点同士を画質改善対象候補として決定する候補決定手段と、前記候補決定手段により決定された画質改善対象候補における特徴点同士の間の距離と、前記画質算出手段により算出された第４の評価値に基づいて定められる閾値とを比較し、当該比較の結果に基づいて、前記画質改善対象候補における特徴点同士の間の画素の補間を行うか否かを決定し、前記画素の補間を行うと決定した場合に、前記画素の補間を行う画素加工手段と、を有することを特徴とする。
【００５３】
また、上記の画像処理装置において、前記画質算出手段は、黒画素の連続したつながりの平均的な長さを文字の大きさにほぼ相当する第３の特徴量として抽出する第３の特徴量抽出手段を有し、前記第４の評価値および／または前記第５の評価値と、前記第３の特徴量とを用いて演算した評価値を求め、前記画素加工手段は、前記候補決定手段により決定された画質改善対象候補における特徴点同士の間の距離と、前記画質算出工程により算出された前記第４の評価値および／または前記第５の評価値と、前記第３の特徴量と、を用いて演算した評価値に基づいて定められる閾値とを比較し、当該比較の結果に基づいて、前記画質改善対象候補における特徴点同士の間の画素の補間を行うか否かを決定し、前記画素の補間を行うと決定した場合に、前記画素の補間を行うことを特徴とする。
【００５４】
また、上記の画像処理装置において、前記画素加工手段は、文字領域を切り出す文字切り出し手段を有し、当該文字切り出し手段により切り出された文字領域内において、画素の補間を行うことを特徴とする。
【００５５】
また、上記の画像処理装置において、前記画質算出手段により算出された評価値に基づいて、処理対象の画像に対する２値化閾値を決定する２値化閾値決定手段を有し、前記画質改善手段は、前記２値化閾値決定手段により決定された２値化閾値を用いて２値化された画像に対して、前記画質算出手段で算出した評価値に基づいて画質改善処理を行うことを特徴とする。
【００６２】
本発明の画質改善部は、対面している特徴点同士を抽出し、前記抽出した特徴点同士の対面のパターンが、予め設定されたパターンに合致している場合、前記対面している特徴点同士を画質改善対象候補として決定する。そして、決定された画質改善対象候補における特徴点同士の間の距離と、画質算出部により算出された第１の評価値に基づいて定められる閾値とを比較し、当該比較の結果に基づいて、前記画質改善対象候補における特徴点同士の間の画素の補間を行うか否かを決定し、前記画素の補間を行うと決定した場合に、前記画素の補間を行う。
【００６３】
このような手段により、文字の「かすれ」や「つぶれ」などの劣化部分を的確に判断することができ、これにより判断した劣化部分として画素の欠落部分に対しては、欠落している間隔をあらかじめ設定した閾値と比較して、画素の補間が必要か否かを判断して補間処理を行うようにしている。したがって、画質に見合った修復処理が可能となる。
【００６５】
そして、画質算出部により算出された評価値に基づいて、処理対象の画像に対する２値化閾値を決定し、決定された２値化閾値を用いて２値化された画像に対して、前記画質算出部で算出した評価値に基づいて画質改善処理を行うことにより、「かすれ」や「つぶれ」などによる画像の品質を的確にしかも客観的に判断することができ、これら「かすれ」と「つぶれ」を示す２つの評価値を考慮した評価値をもとに、求めるべき２値化閾値を決定するようにしているので、最も画質の良くなる２値化閾値を求めるべき２値化閾値として決定できることから最適な２値化処理が行え、さらに、２値化後の画像に対して、「かすれ」による画素の欠落部分が有る場合には、画素の補間が必要か否かを判断して補間処理を行うことができる。
【００６６】
【発明の実施の形態】
以下、本発明の実施例を説明する。なお、この実施例では、画像の解像度は３００ＤＰＩであって、処理対象画像としては文字とし、この文字は白色の背景（白色の原稿用紙）に黒で描かれているものとして説明する。
【００６７】
（第１の実施例）
まず、第１の実施例として、たとえばコピー機によりコピーされた文字あるいはスキャナで読み取られ文字認識される前の文字の画質がどの程度劣化しているかを算出する文字の画質算出手段について説明する。
【００６８】
図１において、この第１の実施例における画像処理装置１０は、画質算出部１１（詳細は後述する）、全体の処理を制御するＣＰＵ１２、ＲＡＭ１３などを主な構成要素とし、画像入力装置１４、画像出力装置１５が接続された構成となっている。そして、これら画質算出部１１、ＲＡＭ１３、画像入力装置１４、画像出力装置１５はバス１６を介してＣＰＵ１２に接続されている。
【００６９】
前記画像入力装置１４は光学的な画像入力を行う場合は光学的画像入力装置（たとえばスキャナ）や通信による入力装置、あるいは画像デ−タを蓄える記憶装置などである。また、画像出力装置１５は入力された画像デ−タを所定の処理を経て出力（表示、印刷、通信による出力など）するものである。
【００７０】
また、ＲＡＭ１３にはこの実施例における処理の対象となる画像（文字）デ−タを蓄えるラインデ−タ用バッファや各種処理の際に必要となるワ−クエリアを有している。
【００７１】
前記画質算出部１１は、第１の特徴量抽出手段１１１、第２の特徴量抽出手段１１２、第３の特徴量抽出手段１１３、第４の特徴量抽出手段１１４、第５の特徴量抽出手段１１５を主な構成要素としている。
【００７２】
この画質算出部１１は前述したように文字の品質を算出するものであるが、文字の品質判断の基準として、「かすれ」、「つぶれ」、「文字の大きさ」といった特徴量が考えられる。
【００７３】
前記第１の特徴量抽出手段１１１および第４の特徴量抽出手段１１４は「かすれ」という特徴量を抽出するものであり、この特徴量を抽出することによって画像の品質を判断する。また、前記第２の特徴量抽出手段１１２および第５の特徴量抽出手段１１５は「つぶれ」という特徴量を抽出するもので、この特徴量を抽出することによって画像の品質を判断する。また、前記第３の特徴量抽出手段１１３は「文字の大きさ」に相当する横方向の長さという特徴量を抽出するもので、この特徴量を前記「かすれ」、「つぶれ」という２つの特徴量に加えることで後述する画質改善部における画質改善処理をより効果的に行う。
【００７４】
以下、これら第１〜第５の各特徴量抽出手段１１１〜１１５における特徴量抽出処理について個々に説明するが、ここでは、まず、第１，第２，第３の各特徴量抽出手段１１１，１１２、１１３について説明し、第４，第５の特徴量抽出手段１１４，１１５についての説明は後述する。
【００７５】
まず、第１の特徴量抽出手段１１１について説明する。
【００７６】
この第１の特徴量抽出手段１１１は前記したように、「かすれ」という特徴量を抽出するものであり、図２および図３を用いて説明する。
【００７７】
図２（ａ）は「倉」という文字画像であるが、これは図４１（ｃ）で示したものと同じ程度のかすれを生じている。この図２（ａ）のかすれを生じた或る一部分（丸印で示した部分）を取り出して拡大したものが同図（ｂ）である。この図２（ｂ）を見ると、かすれの生じている部分は、縦方向に並んだ幾つかの画素（１画素から２画素、さらには３画素）が横方向に凸部となっていることがわかる。この横方向に凸部というのは、１画素から２画素（さらには３画素）の上下方向にそれ以上の画素が存在しない状態をいう。
【００７８】
たとえば、図２（ｂ）において、一点鎖線で示す範囲を考え、この範囲のうちＬ１を注目ラインとすると、この注目ラインＬ１においては、かすれの生じているのはＫ１，Ｋ２，Ｋ３の部分である。ここで、Ｋ２は１画素分がかすれて空白となっている状態であり、Ｋ３は２画素分がかすれて空白となっている状態であるということになる。そして、かすれＫ１の部分は縦方向の２画素分の凸部Ｐ１が存在し、かすれＫ２の部分は２画素分の凸部Ｐ２と１画素分の凸部Ｐ３が対面しており、また、かすれＫ３の部分は１画素分の凸部Ｐ４と２画素分の凸部Ｐ５が対面しているといった状態となっている。
【００７９】
そこで、このような凸部を利用して第１の特徴量を算出する。この算出式は以下のように表される。
【００８０】
第１の特徴量＝特徴点の出現回数／画素の白黒反転回数・・・〔１〕
これにより求めた第１の特徴量を、品質の良い悪いを示す１つの評価値（以下これを第１の評価値という）とする。
【００８１】
前記〔１〕式における「特徴点」とは、前記した凸部の特徴を表すもので、ここでは図３のように定義する。図３（ａ），（ｂ）は１画素特徴点（１画素の凸部に対応）を示し、同図（ａ）は図示上下方向と右側方向に画素の存在しない部分（以下、これを空白部分という）を有し、同図（ｂ）は図示上下方向と左側方向に空白部分を有している。また、同図（ｃ），（ｄ）は２画素特徴点（縦方向に並んだ２画素の凸部に対応）を示し、同図（ｃ）は図示上下方向と右側方向に空白部分を有し、同図（ｄ）は図示上下方向と左側方向に空白部分を有している。また、同図（ｅ），（ｆ）は３画素特徴点（縦方向に並んだ３画素の凸部に対応）を示し、同図（ｅ）は図示上下方向と右側方向に空白部分を有し、同図（ｆ）は図示上下方向と左側方向に空白部分を有している。したがって、３画素特徴点までを調べるには、５ライン分の画素デ−タ（たとえば図２（ｂ）における一点鎖線の範囲）を用意する必要がある。そしてこの場合、５ラインのうち上から２番目を注目ラインＬ１とする。
【００８２】
このようにして、図２（ｂ）における注目ラインＬ１における画素の特徴点の出現回数を用意した５ラインについて取り出すと、この特徴点の出現回数は、凸部Ｐ１（図３（ｄ）に相当）で１回、凸部Ｐ２（図３（ｃ）に相当）で１回、凸部Ｐ３（図３（ｂ）に相当）で１回、凸部Ｐ４（図３（ａ）に相当）で１回、凸部Ｐ５（図３（ｄ）に相当）で１回の合計５回である。また、〔１〕式における画素の白黒反転回数は、この場合、かすれＫ１から凸部Ｐ１の部分で１回、凸部Ｐ２からかすれＫ２の部分で１回、かすれＫ２から凸部Ｐ３の部分で１回、凸部Ｐ４からかすれＫ３の部分で１回、かすれＫ３から凸部Ｐ５の部分で１回、最後にこのライン上におけるこの文字の終わりの部分で１回というように合計６回である。したがって、この図２（ｂ）における第１の特徴量は第１の特徴量＝５／６で表せる。ただし、これは、図２（ｂ）に示された範囲以内の数値であリ、実際は、注目ラインＬ１は処理対象となる原稿全面を横方向に１ライン毎にスキャンして行くため、そのライン上の文字全体から得られる数値となるため、算出される第１の特徴量は当然のことながら異なったものとなる。
【００８３】
以上の第１の特徴量算出処理のフロ−チャ−トを図４に示す。なお、この第１の特徴量算出処理は、文字の書かれた原稿上をスキャナが行カウンタの指示により行ごとに読み取り走査を行いながら特徴量算出処理を行う。図４において、まず、画素の白黒反転回数をカウントする白黒反転カウンタと特徴点の出現回数をカウントする特徴点カウンタを初期化する（ステップＳ１）。次に、行カウンタが指示する行から５ラインまでのラインデ−タを準備（ステップＳ２）し、その２番目のラインを注目ラインとして、そのラインのスキャンを行い、白黒反転の回数のカウントするとともに、特徴点出現回数のカウントを行う（ステップＳ３）。なお、この場合、重複したカウントを避けるため、図３の上から２ライン目が注目ラインに対応する場合にカウントする。
【００８４】
そして、その注目ラインについて白黒反転回数のカウントおよび特徴点出現回数のカウントが終了するごとに、前記した〔１〕式により第１の特徴量を算出する（ステップＳ４）。次に、原稿上の処理対象全面について第１の特徴量を算出処理が終了したか否かを判断（ステップＳ５）して、処理が終了していなければ、行カウンタをインクリメント（ステップＳ６）して、前記ステップＳ２からステップＳ５の処理を行う。
【００８５】
すなわち、行カウンタが次に指示する行から５ラインまでのラインデ−タを準備（ステップＳ２）し、その２番目のラインを注目ラインとして、そのラインのスキャンを行い、上記同様の処理を行って、前回求められた白黒反転の回数に今回カウントされた白黒反転の回数を加算するとともに、前回求められた特徴点出現回数に今回カウントされた特徴点出現回数を加算して、〔１〕式により第１の特徴量を算出する。このようにして原稿上の処理対象全面について第１の特徴量を算出処理を行う。このように、前回求められた値に今回の求めた値を加算するのは、デ−タ量を多くすることで、評価値としての信頼性を向上させるためである。これは、以下の各評価値を求める処理でも同じである。
【００８６】
なお、以上の処理において、ある注目ラインの白黒反転回数カウント処理および特徴点出現回数カウント処理が終了するごとに、第１の特徴量を算出するのは、この画質算出部１１におけるこのような画質判断処理と、後述する画質改善部における画質の改善処理あるいは２値化閾値決定部における２値化閾値決定処理を並行して行うためである。しかし、処理対象の画像全体を、まず、上記したような画質算出処理を行ったのち、そのあとで、まとめて画質の改善処理あるいは２値化閾値決定処理を行う場合は、図４の処理フロ−において、処理対象原稿全面の白黒反転回数カウント処理および特徴点出現回数カウント処理が終わった後に、第１の特徴量を算出するようにしてもよい。
【００８７】
次に、あるサンプル文字画像（ここでは「倉」という文字を含むサンプル文字画像））における前記第１の特徴量の妥当性について説明する。
【００８８】
図５はサンプル文字画像のうち「倉」という文字を１６階調（グレ−レベル）でスキャナ入力して、そのうちのある階調（ここでは「５」〜「１２」）を２値化閾値として２値化した文字画像を示している。なお、この閾値は後述の説明で出てくる他の幾つかの閾値と区別するため以下２値化閾値ＴＨ１という。このような方法によって画質を変化させた文字画像を用いて前記第１の特徴量の評価を行う。この評価方法として、ここでは、文字認識率を用いて評価を行う。なお、文字認識率による評価においても文字認識方法によって同じ画像でも認識率は変化するが傾向は同じようなものとなる。
【００８９】
図６（ａ）は図５で示した２値化閾値ＴＨ１が「５」〜「１２」の各画像に対する誤り率（認識できなかった率）の関係（点線で示す）と、この２値化閾値ＴＨ１が「５」〜「１２」の各画像に対する第１の評価値（この評価値は前記第１の特徴量そのものの値である）の関係（実線で示す）を示すものである。図６（ａ）からもわかるように、２値化閾値ＴＨ１が「７」の画像が最も誤り率が低くなっている。また、第１の評価値は数値が高いほどかすれが大きいことを示している。したがって、２値化閾値ＴＨ１が「５」，「６」はかすれによる画質の劣化で誤り率が高くなっている。また、２値化閾値ＴＨ１が「７」以上で誤り率が高くなっているのはつぶれによる画質の劣化で誤り率が高くなっていると考えられる。
【００９０】
ところで、ここでの評価は「かすれ」を基準とした評価である。つまり、「かすれ」が大きいほど第１の評価値の数値は大きくなり、それに伴って誤り率も高くなるというのがここで求めたい評価である。図６（ａ）からわかるように、２値化閾値ＴＨ１が「７」より小さいときはこの関係が成り立っている。ところが、２値化閾値ＴＨ１が「７」以上は第１の評価値が小さくなるに連れて誤り率が高くなるという関係となり、２値化閾値ＴＨ１が「７」を境にして第１の評価値と誤り率の関係が逆になる。これは、２値化閾値ＴＨ１が「７」以上では前記したように「つぶれ」による誤り率が増加するからである。このように、２値化閾値ＴＨ１が「７」以上では、つぶれによる画質の劣化が生じていることになり、前記したように２値化閾値ＴＨ１が「７」を境にして第１の評価値と誤り率の関係が逆になる。すなわち、かすれとつぶれは相反する関係にあり、第１の評価値が小さくなるほどつぶれによる画質が低下している。ここでの評価は「かすれ」を基準とした評価であるから、２値化閾値ＴＨ１が「７」以上における第１の評価値を図６の一点鎖線を中心に折り返すと図６（ｂ）のようになる。この図６（ｂ）によれば、誤り率（点線で示す）と第１の評価値（実線で示す）の相関をとると相関係数は０．８６ととなる。なお、相関係数は１から−１の値をとり、相関係数が１で最も正の相関が高く両者が同一であることを示している。したがって、相関係数が０．８６というのは、ここで求めた第１の評価値と誤り率とが同じような関係となり、この第１の評価値は画像の品質の判断として十分な指標となることを示している。
【００９１】
また、この第１の特徴量の評価を、人間の目で見た感性から評価すれば、図５において、かすれが大きくなればなるほど図６（ａ）における第１の評価値は大きくなっており、これは人間の目で見た感性と一致することになり、この第１の評価値は画像の品質の判断として十分な指標となることを示している。
【００９２】
このように第１の評価値から文字のかすれの度合いが判断できる。
【００９３】
次に、第２の特徴量抽出手段について説明する。この第２の特徴量とは「つぶれ」であり。ここではこの「つぶれ」という特徴量を抽出ことにより、画像の品質判断しようとするものである。以下これについて説明する。
【００９４】
前述の説明で用いた図５において、２値化閾値ＴＨ１が大きいほど、横方向の黒ラン（黒い画素の連続したつながりをいう）の数が増加し、その結果、つぶれによる画質の劣化が生じていることがわかる。そこで、文字の大きさに近い横方向の黒ランの数を用いて画像の品質を算出する。ここで求めようとする第２の特徴量は以下の式により算出する。
【００９５】
第２の特徴量＝一定長以上の黒ラン数／黒ランの総数・・・〔２〕
これにより算出された値が画質の良い悪い判断する１つの評価値となる。ここで、前記〔２〕式における「一定長以上の黒ラン数」というのは、文字の大きさに近い横方向の黒ランの数をいい、以下に示す閾値ＴＨ２以上の黒ランの数をカウントする。なお、黒ランとは前述したように黒い画素の連続したつながりをいう。
【００９６】
まず、閾値ＴＨ２の初期値を設定する。この閾値ＴＨ２は処理対象原稿の処理ラインをスキャンするごとに設定され、その初期値をＴＨ０で表すと、ＴＨ０＝２４画素とする。この２４画素というのは、解像度が３００ＤＰＩの場合、８ポイント（３mm角の大きさ) の文字の約７割の大きさに相当する。この初期値ＴＨ０を２４画素としたのは、それ以下の文字は通常あまり用いられることがないためである。この閾値ＴＨ２は上記したように、処理対象原稿の処理ラインをスキャンするごとに設定される。つまり実際に使われている文字に対応して設定して行く。たとえば、多数の文字の書かれている原稿上を１ライン毎にスキャンする場合、最初の行をスキャンする場合の初期値ＴＨ０は２４であり、そのライン上の文字についてそれぞれ２４画素以上の長さのある黒ランの平均の長さ求め、その値に或る値α（０．６〜１．０）を掛ける。そして、次は、これによって求めた閾値を初期値として新たな閾値（閾値ＴＨ２）を求める。したがって、この閾値ＴＨ２は或るラインにおけるそれまでの各文字の平均的な１文字の横方向の長さにほぼ匹敵する黒ランの長さということになる。
【００９７】
ここで、閾値ＴＨ２は、
ＴＨ２＝或るラインにおけるそれまでの第２の閾値ＴＨ２以上の黒ランの平均長×α・・・〔３〕
で表される。この〔３〕式において、αは０．６〜１．０の範囲で設定するが、実験では０．８５とした場合が最も適切であった。このように、スキャンするラインごとに閾値ＴＨ２を変更して行くことにより、文字の大きさが変動しても対応が可能となる。
【００９８】
また、前記〔２〕式における「黒ランの総数」とは、画像を横方向にスキャンしたときの黒ランの総数であり、この数値は、前記〔１〕式における「画素の白黒反転回数」の１／２であるため、図４の処理フロ−におけるステップＳ３で求めた「画素の白黒反転回数」を用いて、それを１／２することによっても求められる。
【００９９】
以上のような第２の特徴量算出の処理のフロ−チャ−トを図７に示す。図７において、まず、白黒反転回数をカウントする白黒反転カウンタ、ある１ライン毎の閾値ＴＨ２以上の黒ランの平均の長さを求めるために、そのラインにおける閾値ＴＨ２以上の黒ランの長さを加算したものを蓄えるラン長レジスタ、ある１ライン毎における閾値ＴＨ２以上の黒ランが何個あったかを数えるラン数カウンタ、各ラインごとの閾値ＴＨ２を求めるための基となる閾値（最初は初期値ＴＨ０として２４画素）が格納されている閾値レジスタ、処理対象となる行を指示する行カウンタの初期値化を行う（ステップＳ１１）。
【０１００】
次に、行カウンタが指示する行から５ラインまでのラインデ−タを準備（ステップＳ１２）し、その２番目のラインを注目ラインとして、そのラインのスキャンを行い、白黒反転回数をカウントするとともに、閾値ＴＨ２以上の黒ランの数を検出する（ステップＳ１３）。つまり、このステップＳ１３においては、白黒反転回数のカウントの他、閾値ＴＨ２以上の黒ランの数を検出するために、前記〔３〕式により、閾値レジスタに格納されている値（最初は２４）を基に、閾値ＴＨ２を求め、この閾値ＴＨ２以上の黒ランの数を検出し、ラン数カウンタによりこの黒ランの数をカウントする。そして、これにより求めた閾値を基となる値とするために、前記閾値レジスタの内容の更新を行う（ステップＳ１４）。
【０１０１】
次に、ステップＳ１３により検出された値をもとに前記〔２〕式により第２の特徴量を算出する（ステップＳ１５）。そして、原稿の処理対象全面について第２の特徴量を算出処理が終了したか否かを判断（ステップＳ１６）して、処理が終了していなければ、行カウンタをインクリメント（ステップＳ１７）して、前記ステップＳ１２からステップＳ１６の処理を行う。
【０１０２】
すなわち、行カウンタが次に指示する行から５ラインまでのラインデ−タを準備（ステップＳ１２）し、その２番目のラインを注目ラインとして、そのラインのスキャンを行い、上記同様の処理を行って、前回求められた一定長以上の黒ランの数に今回求められた一定長以上の黒ランの数を加算するとともに、前回求められた黒ランの総数に今回カウントされた黒ランの総数を加算して、〔２〕式により第２の特徴量を算出する。このようにして原稿上の処理対象全面について第２の特徴量を算出処理を行う。
【０１０３】
また、この第２の特徴量を抽出する処理は、ラインバッファ数は５ライン分を用意しなくても１ラインでもよく、その場合の注目ラインは行カウンタの指示ラインと一致する。
【０１０４】
なお、以上の処理において、ステップＳ１３の処理を終了するごとに、第２の特徴量を算出するのは、この画質算出部１１における画質判断処理と、後述する画質改善部における画質の改善処理あるいは２値化閾値決定部における２値化閾値決定処理を並行して行うためである。しかし、処理対象の画像全体を、まず、上記したような画質算出処理を行ったのち、そのあとで、まとめて画質の改善処理あるいは２値化閾値決定処理を行う場合は、図７の処理フロ−において、処理画像全体についてまず前記ステップＳ１３、Ｓ１４の処理を行い、その処理がすべて終わった後に、まとめて第２の特徴量を算出するようにしてもよい。
【０１０５】
次に、あるサンプル文字画像（ここでは「倉」という文字を含むサンプル文字画像）におけるこの第２の特徴量の妥当性について説明する。
【０１０６】
この場合も、前記第１の特徴量の妥当性についての説明に用いた図５を参照しながらこの第２の特徴量の評価を行う。この評価方法としては、ここでも、文字認識率を用いて評価を行う。なお、文字認識率による評価においても文字認識方法によって同じ画像でも認識率は変化するが傾向は同じようなものとなる。
【０１０７】
図８（ａ）は図５で示した２値化閾値ＴＨ１が「５」〜「１２」の各画像に対する誤り率（認識できなかった率）の関係（点線で示す）と、この２値化閾値ＴＨ１が「５」〜「１２」の各画像に対する評価値（この評価値はこの第２の特徴量そのものの値であり、以下第２の評価値という）の関係（実線で示す）を示すものである。同図からもわかるように、２値化閾値ＴＨ１が「７」の画像が最も誤り率が低くなっている。また、第２の評価値は数値が高いほど「つぶれ」かすれが大きいことを示している。したがって、この図８（ａ）の場合は、２値化閾値ＴＨ１が「５」，「６」ではかすれによる画質の劣化で誤り率が高くなっており、また、２値化閾値ＴＨ１が「７」以上ではつぶれによる画質の劣化で誤り率が高くなっている。
【０１０８】
ところで、ここでの評価は「つぶれ」を基準とした評価である。つまり、「つぶれ」が大きいほど第２の評価値の数値は大きくなり、それに伴って誤り率も高くなるというのがここで求めたい評価である。図８（ａ）からわかるように、２値化閾値ＴＨ１が「７」より大きいときはこの関係が成り立っている。ところが、２値化閾値ＴＨ１が「７」より小さいときは第２の評価値が小さくなるに連れて誤り率が高くなるという関係となり、２値化閾値ＴＨ１が「７」を境にして第２の評価値と誤り率の関係が逆になる。これは、２値化閾値ＴＨ１が「７」より小さいときは前記したように「かすれ」による誤り率が増加するからである。
【０１０９】
このように、２値化閾値ＴＨ１が「７」より小さいときは、第２の評価値が小さいほどかすれによる画質の劣化が生じていることになり、前記したように２値化閾値ＴＨ１が「７」を境にして評価値と誤り率の関係が逆になる。そこで、ここでの評価は「つぶれ」を基準とした評価であって、「つぶれ」の場合は第２の評価値の数値の増加に対して誤り率が増加するという関係であるから、２値化閾値ＴＨ１が「７」より小さいときの第２の評価値を図８の一点鎖線を中心に線対称に折り返すと図８（ｂ）のようになる。この図８（ｂ）によれば、誤り率（点線で示す）と第２の評価値（実線で示す）の相関をとると相関係数は０．７０となる。特に、２値化閾値ＴＨ１が「７」以上のつぶれの部分における両者の相関係数は０．９８となり、点線で示す誤り率と実線で示す第２の評価値とが殆ど同じ関係となり、「つぶれ」の検出には特に有効なものとなる。
【０１１０】
また、この第２の特徴量の評価を、人間の目で見た感性から評価すれば、図５において、つぶれが大きくなればなるほど図８における第２の評価値はおおきくなっており、これは人間の目で見た感性と一致することになり、この第２の評価値は画像の品質の判断として十分な指標となることを示している。
【０１１１】
このように第２の評価値から文字のつぶれの度合いが判断できる。
【０１１２】
そして、以上の処理により求めた第１の特徴量および第２の特徴量の両方を考慮した評価値を算出する。つまり、第１の特徴量である「かすれ」と第２の特徴量である「つぶれ」とを考慮した新たな評価値を算出することにより、より正確な画質の判断を行う。この新たな評価値の算出方法の一例としては以下の式がある。ここで新たな評価値を評価値Ａとする。
【０１１３】
評価値Ａ＝第１の特徴量−第２の特徴量・・・〔４〕
この評価値Ａの算出処理のフロ−チャ−トを図９に示す。図９において、まず、前記した図４、図７のフロ−チャ−トで示した各種カウンタや各種レジスタを初期化する（ステップＳ２１）。次に、行カウンタが指示する行から５ラインまでのラインデ−タを準備（ステップＳ２２）し、その２番目のラインを注目ラインとして、そのラインのスキャンを行い、前記した第１の特徴量および第２の特徴量を算出する（ステップＳ２３）。
【０１１４】
そして、これら第１の特徴量および第２の特徴量が算出されるごとに、前記した〔４〕式により評価値Ａを算出する（ステップＳ２４）。次に、原稿の処理対象全面について評価値Ａの算出処理が終了したか否かを判断（ステップＳ２５）して、処理が終了していなければ、行カウンタをインクリメント（ステップＳ２６）して、前記ステップＳ２２からステップＳ２５の処理を行う。
【０１１５】
なお、以上の処理において、ステップＳ２３の処理を終了するごとに、評価値Ａを算出するのは、この画質算出部１１におけるこのような画質判断処理と、後述する画質改善部における画質の改善処理あるいは２値化閾値決定部における２値化閾値決定処理を並行して行うためである。しかし、処理対象の画像全体を、まず、上記したような画質算出処理を行ったのち、そのあとで、まとめて画質の改善処理あるいは２値化閾値決定処理を行う場合は、図９の処理フロ−において、処理対象画像全体についてステップＳ２３の処理が終わった後に、まとめて評価値Ａを算出するようにしてもよい。
【０１１６】
次に、あるサンプル文字画像（ここでは「倉」という文字を含むサンプル文字画像）におけるこの第１，第２の特徴量を考慮した評価値Ａの妥当性について説明する。
【０１１７】
この場合も、前記第１，第２の特徴量の妥当性についての説明に用いた図５を参照しながらこの評価値Ａの評価を行う。この評価方法としては、ここでも、文字認識率を用いて評価を行う。なお、文字認識率による評価においても文字認識方法によって同じ画像でも認識率は変化するが傾向は同じようなものとなる。
【０１１８】
図１０（ａ）は図５で示した２値化閾値ＴＨ１が「５」〜「１２」の各画像に対する誤り率（認識できなかった率）の関係（点線で示す）と、この２値化閾値ＴＨ１が「５」〜「１２」の各画像に対する評価値Ａの関係（実線で示す）を示すものである。図１０（ａ）からもわかるように、２値化閾値ＴＨ１が「７」の画像が最も誤り率が低くなっている。また、この場合、評価値Ａは第１の特徴量から第２の特徴量を引いたものであるから、たとえば、２値化閾値ＴＨ１が「５」である場合に対する第１の特徴量（第１の評価値）は図６（ａ）から０．１１であり、そのときの第２の特徴量（第２の評価値）は図８（ａ）から０である。したがって、第１，第２の特徴量を考慮した評価値Ａは０．１１となる。
【０１１９】
また、２値化閾値ＴＨ１が「７」である場合に対する第１の特徴量（第１の評価値）は図６（ａ）から０．０４であり、そのときの第２の特徴量（第２の評価値）は図８（ａ）から０．０２である。したがって、評価値Ａは０．０２となる。また、２値化閾値ＴＨ１が「１２」である場合に対する第１の特徴量（第１の評価値）は図６（ａ）から０．０２であり、そのときの第２の特徴量（第２の評価値）は図８（ａ）から０．０９である。したがって、評価値Ａは−０．０７となる。このようにして、評価値Ａが算出される。
【０１２０】
図１０（ａ）において、２値化閾値ＴＨ１が閾値「５」，「６」である場合はかすれによる画質の劣化で誤り率が高くなっており、また、２値化閾値ＴＨ１が「７」以上ではつぶれによる画質の劣化で誤り率が高くなっている。
【０１２１】
この図の場合も、前記したように２値化閾値ＴＨ１が「７」を境にして評価値と誤り率の関係が逆になる。ここでは「かすれ」に関する第１の特徴量から「つぶれ」に関する第２の特徴量を引いていることから、この場合も「かすれ」を基準に考えているということができ、前記図６同様、２値化閾値ＴＨ１が「７」以上における評価値を図１０の一点鎖線を中心に折り返すと図１０（ｂ）のようになる。この図１０（ｂ）によれば、誤り率（点線で示す）と評価値Ａ（実線で示す）の相関をとると相関係数は０．９０ととなる。このように、第１，第２の特徴量を考慮した評価値Ａを算出して画像の品質を判断することにより、第１の特徴量、第２の特徴量を単独で用いるよりも高い相関係数が得られ、画像の品質の判断としてきわめて信頼性の高い指標となることを示している。
【０１２２】
なお、第１の特徴量である「かすれ」と第２の特徴量である「つぶれ」とを考慮した評価値を算出するに当たって、前記した例では、第１の特徴量から第２の特徴量の差を求めて新たな評価値を算出したが、以下の式のように第１の特徴量と第２の特徴量との和から新たな評価値（これを評価値Ｂという）を求めてもよい。
【０１２３】
評価値Ｂ＝第１の特徴量＋第２の特徴量・・・〔５〕
この評価値Ｂの算出処理のフロ−チャ−トは基本的には図９と同じであるが、ステップＳ２４における処理は、第１の特徴量および第２の特徴量が算出されるごとに、前記〔４〕式の代わりに〔５〕式により評価値Ｂを算出する点が異なるだけである。
【０１２４】
また、以上の処理において、ズテップＳ２３の処理を終了するごとに、評価値Ｂを算出するのは、この画質算出部１１におけるこのような画質判断処理と、後述する画質改善部における画質の改善処理あるいは２値化閾値決定部における最適な２値化閾値決定処理を並行して行うためである。しかし、処理対象の画像全体を、まず、上記したような画質算出処理を行ったのち、そのあとで、まとめて画質の改善処理あるいは２値化閾値決定処理を行う場合は、図９の処理フロ−において、処理対象画像全体についてステップＳ２３の処理が終わった後に、まとめて評価値Ｂを算出するようにしてもよい。
【０１２５】
次に、あるサンプル文字画像（ここでは「倉」という文字を含むサンプル文字画像）におけるこの第１，第２の特徴量を考慮した評価値Ｂの妥当性について説明する。
【０１２６】
この場合も、図５を参照しながらこの評価値Ｂの評価を行う。この評価方法としては、ここでも、文字認識率を用いて評価を行う。なお、文字認識率による評価においても文字認識方法によって同じ画像でも認識率は変化するが傾向は同じようなものとなる。
【０１２７】
図１１は図５で示した２値化閾値ＴＨ１が「５」〜「１２」の各画像に対する誤り率（認識できなかった率）の関係（点線で示す）と、この２値化閾値ＴＨ１が「５」〜「１２」の各画像に対する評価値Ｂの関係（実線で示す）を示すものである。図１１からもわかるように、２値化閾値ＴＨ１が「７」の画像が最も誤り率が低くなっている。また、この場合、評価値Ｂは第１の特徴量に第２の特徴量をたしたものであるから、たとえば、２値化閾値ＴＨ１が「５」である場合に対する第１の特徴量（第１の評価値）は図６（ａ）から０．１１であり、そのときの第２の特徴量（第２の評価値）は図８（ａ）から０である。したがって、第１，第２の特徴量を考慮した評価値Ｂは０．１１となる。また、２値化閾値ＴＨ１が「７」である場合に対する第１の特徴量（第１の評価値）は図６（ａ）から０．０４であり、そのときの第２の特徴量（第２の評価値）は図８（ａ）から０．０２である。したがって、評価値Ｂは０．０６となる。また、２値化閾値ＴＨ１が「１２」である場合に対する第１の特徴量（第１の評価値）は図６（ａ）から０．０２であり、そのときの第２の特徴量（第２の評価値）は図８（ａ）から０．０９である。したがって、評価値Ｂは０．１１となる。このようにして、評価値Ｂが算出される。
【０１２８】
この図１１によれば、誤り率（点線で示す）と評価値Ｂ（実線で示す）の相関をとると相関係数は０．９６と高い値となる。このように、第１，第２の特徴量を考慮した評価値Ｂを算出して画像の品質を判断することにより、第１の特徴量、第２の特徴量を単独で用いるよりも高い相関係数が得られ、画像の品質の判断としてきわめて信頼性の高い指標となることを示している。
【０１２９】
また、この図１１からも明らかなように、評価値Ｂが最小となる点の２値化閾値は「７」であり、２値化閾値が「７」のときがここでは最も良い画質が得られることから、評価値Ｂが最小となる部分の２値化閾値を２値化するための閾値として選べばよい。つまり、第１の特徴量＋第２の特徴量とした場合は、それによって得られる評価値Ｂが最小となる点が最も画質のよくなる閾値となるので、それを２値化するための閾値として選べばよいことから、２値化するための閾値を容易に決定することができる（この２値化するための閾値についての説明は後述する）。なお、たとえば図１０（ａ）の場合は、或る基準となる評価値より大きければ、かすれが生じ、或る基準となる評価値より小さければ、つぶれが生じることになるが、その或る基準となる評価値をどこにするかは特定しにくいため、２値化するに最適な閾値を即座に得ることは、図１１ほどには容易にはできない。これは、図６、図８についても同様に、或る基準となる評価値をどこにするかは特定しにくいため、２値化するに最適な閾値を即座に得ることは、図１１ほどには容易にはできない。
【０１３０】
次に前記した第１の特徴量および第２の特徴量にもう一つの特徴量（第３の特徴量という）を加えることにより、後述する画質改善部における処理をより効果的なものとする評価値を得る。この第３の特徴量は図１における第３の特徴量抽出手段１１３により算出されるもので、その特徴量とは文字の大きさに相当する横方向の長さである。
【０１３１】
後述する画質改善部では、画素の欠けを修復する処理を主に行うが、この場合、文字の大きさによって、欠ける画素数が異なってくる。つまり、大きな文字は欠ける画素数も多く、小さな文字は欠ける画素数も少ないと考えられる。そこで、前記した第１，第２の評価値および評価値Ａ，Ｂにこの第３の特徴量である文字の大きさを掛けて求められる値を新たな評価値Ｃとすることにより、画質改善部において、より効果的な処理が行えるようにする。
【０１３２】
この第３の特徴量というのは、一定長以上の黒ランの平均長であり、これは前述したように文字の大きさに近い値である。なお、一定長以上の黒ランの平均長というのは、前記第２の特徴量を求めるときに用いた「一定長以上の黒ラン」の平均の長さである。また、評価値Ｃは次式で算出される。
【０１３３】
評価値Ｃ＝（第１，第２の評価値または評価値Ａ，Ｂ）×第３の特徴量・・・〔６〕
この評価値Ｃの算出処理のフロ−チャ−トを図１２に示す。図１２において、まず、前記した図９のフロ−チャ−トで示した処理と同様に、各種カウンタや各種レジスタを初期化する（ステップＳ３１）。次に、行カウンタが指示する行から５ラインまでのラインデ−タを準備（ステップＳ３２）し、その２番目のラインを注目ラインとして、そのラインのスキャンを行い、前記した第１の特徴量、第２の特徴量、第３の特徴量を算出する（ステップＳ３３）。
【０１３４】
そして、これら第１，第２，第３の特徴量が算出されるごとに、前記した〔６〕式により評価値Ｃを算出する（ステップＳ３４）。次に、処理対象全面について評価値Ｃの算出処理が終了したか否かを判断（ステップＳ３５）して、処理が終了していなければ、行カウンタをインクリメント（ステップＳ３６）して、前記ステップＳ３２からステップＳ３５の処理を行う。
【０１３５】
なお、以上の処理において、ステップＳ２３の処理を終了するごとに、評価値Ｃを算出するのは、この画質算出部１１におけるこのような画質判断処理と、後述する画質改善部における画質の改善処理あるいは２値化閾値決定部における最適な２値化閾値決定処理を並行して行うためである。しかし、処理対象の画像全体を、まず、上記したような画質算出処理を行ったのち、そのあとで、まとめて画質の改善処理あるいは２値化閾値決定処理を行う場合は、図１１の処理フロ−において、ある画像全体についてステップＳ３３の処理が終わった後に、まとめて評価値Ｃを算出するようにしてもよい。
【０１３６】
ところで、この評価値Ｃは、次の４つのパタ−ンが考えられる。
【０１３７】
（イ）評価値Ｃ＝第１の特徴量（第１の評価値）×第３の特徴量
（ロ）評価値Ｃ＝第２の特徴量（第２の評価値）×第３の特徴量
（ハ）評価値Ｃ＝第１の特徴量に第２の特徴量を考慮した評価値（評価値Ａ）×第３の特徴量
（ニ）評価値Ｃ＝第１の特徴量に第２の特徴量を考慮した評価値（評価値Ｂ）×第３の特徴量
上記（イ）を評価値Ｃ１、（ロ）を評価値Ｃ２、（ハ）を評価値Ｃ３、（ニ）を評価値Ｃ４という。
【０１３８】
このように、文字の大きさという第３の特徴量を用いることにより、後述する画質改善部における画質改善処理をより効率的に行うことができる。
【０１３９】
ところで、以上説明した各特徴量の抽出は、実空間（人間の目で見たままの画像）におけるものであったが、次に、周波数空間における特徴量の抽出について説明する。
【０１４０】
まず、この周波数空間において「かすれ」に関する特徴量（これを第４の特徴量という）を抽出する方法について説明する。この周波数空間において「かすれ」に関する特徴量を抽出するということにおいて、まず、「かすれ」という特徴量と周波数との関係についてを説明する。
【０１４１】
図４１から分かるように「かすれ」が生じると、線のエッジ部分が不鮮明になる。エッジが不鮮明になるということは、高周波成分が減るものと考えられる。したがって、高周波成分を着目することにより、かすれの度合いを知ることができる。
【０１４２】
このようなことを踏まえて、周波数空間において「かすれ」に関する特徴量（第４の特徴量）を抽出する方法について説明する。この第４の特徴量の抽出は図１における第４の特徴量抽出手段１１４にて行われる。周波数空間への直行変換方法として、フーリエ変換、ディスクリート・コサイン変換、アダマール変換などがあり、どの直行変換方法を用いてもよいが、ここでは、演算処理が和と差のみで済むアダマール変換を用いた場合を例にとって説明する。
【０１４３】
このアダマール変換における処理手順は概略的には、図１３のフローチャートに示すように、まず、処理対象となる画像をｎ画素×ｍ画素の大きさのブロックに分割し（ステップＳ４１）、分割したブロックに対して直行変換（この場合はアダマール変換）を行う（ステップＳ４２）。なお、前記分割の大きさは任意でよいが、ここではｎ，ｍは１〜３２の範囲とするのが都合がよい。そして、アダマール変換により得られた高周波成分（アダマール変換においては高シーケンシという）に着目し、第４の評価値の算出を行う（ステップＳ４３）。この第４の評価値の算出方法については後述する。
【０１４４】
なお、アダマール変換は次式のようにして行う。
【０１４５】
【数１】
【０１４６】
上式において、Ｙはｎ行ｍ列におけるアダマール変換後の行列、Ｈn ，Ｈm はそれぞれｎ次、ｍ次におけるアダマール変換するための行列、Ｘはｎ画素×ｍ画素の部分画像行列を表す。ここで、ｎ，ｍをそれぞれ４画素（４次）とした場合のアダマール変換を行うための行列Ｈn ，Ｈm は、
【０１４７】
【数２】
【０１４８】
となる。また、部分画像行列を示すＸは、ｎ×ｍの各画素の白黒の状態を示すデータ（白を「０」、黒を「１」とする）で表される行列である。
【０１４９】
このようにして求められたｎ行ｍ列におけるアダマール変換後の行列Ｙ（ここでは、ｎ，ｍをそれぞれ４画素とする）は、図１４に示すように、ｎ，ｍの数値が大きくなればなるほど高周波成分（高シーケンシ）となり、また、ｎ，ｍの数値が小さくなればなるほど低周波成分（低シーケンシ）となるという特徴がある。したがって、ｎ行ｍ列におけるアダマール変換後の行列Ｙ（ここでは、ｎ，ｍをそれぞれ４画素とする）において、高周波成分を調べる場合は、ｎ，ｍの数値の大きい部分に着目すればよく、低周波成分を調べる場合は、ｎ，ｍの数値の小さい部分に着目すればよいことになる。具体的には、ｎ，ｍをそれぞれ４画素（ｎ＝ｍ＝４）とした場合、図１４の点線で示すように、ｎ，ｍが０，１を低周波成分とし、ｎ，ｍが２，３を高周波成分とする。
【０１５０】
このアダマール変換により、ｎ行ｍ列のアダマール変換後の行列Ｙが、分割されたブロック数分できる。つまり、分割されたブロック数をＮとすれば、ｎ行ｍ列のアダマール変換後の行列Ｙ１，Ｙ２，・・・，ＹＮを得ることになる。ここで、アダマール変換後の行列Ｙ１，Ｙ２，・・・，ＹＮの各要素をУij（０≦ｉ≦ｎ−１，０≦ｊ≦ｍ−１）で表すとすると、各要素ごとの分散σijは以下の式で表される。
【０１５１】
【数３】
【０１５２】
また、このとき、アダマール変換後の行列Ｙ１，Ｙ２，・・・，ＹＮの各要素のУijにおける分散の比ρijは総分散をσx とすると、
【０１５３】
【数４】
【０１５４】
のように定義される。ここで、〔１０〕式において総分散σx は、
【０１５５】
【数５】
【０１５６】
で表される。
【０１５７】
図１５は、或るサンプル画像に対してコピーを行い、かすれを生じさせた場合、各シーケンシ（周波数成分）における分散の比を示す図である。ここでは、ｎ＝ｍ＝８とし、行方向および列方向のシーケンシは共に「０」から「７」であり、また、コピーの回数が０回（これは図５における２値化閾値ＴＨ１＝「７」に相当する）、コピーの回数が１回（図５における２値化閾値ＴＨ１＝「６」に相当する）、コピーの回数が２回（図５における２値化閾値ＴＨ１＝「５」に相当する）とし、図１５において、２値化閾値ＴＨ１＝「７」における各シーケンシと分散の比の関係を実線、２値化閾値ＴＨ１＝「６」における各シーケンシと分散の比の関係を点線、２値化閾値ＴＨ１＝「５」における各シーケンシと分散の比の関係を一点鎖線で表している。また、この図１５においては、横書きの原稿を縦方向に入力して横方向（行方向）に走査した場合のデータであり、同図（ａ）は、横方向（行方向）の成分（ｉ＝０，ｊ＝０〜７）における各シーケンシと分散の比の関係、同図（ｂ）は、縦方向（列方向）の成分（ｉ＝０〜７，ｊ＝０）における各シーケンシと分散の比の関係を表したものである。
【０１５８】
ここでは、横書きの原稿を縦方向に入力して横方向（行方向）に走査した場合であるため、横方向（行方向）においてかすれが生じやすいため、図１５（ａ），（ｂ）からもわかるように、横方向（行方向）において、コピー回数の違いがかすれの度合いの違いとして現れている。つまり、同図（ａ）において、高シーケンシ部分（シーケンシ「４」）以上に着目すると、コピー回数の違いがかすれの度合いの違いとして現れていることがわかる。そこで、この高シーケンシ部分に着目して「かすれ」に関する評価値（この評価値を第４の評価値という）を求めることができる。
【０１５９】
この第４の評価値の算出の方法としては、以下の方法が挙げられる。
【０１６０】
（Ｉ）高シーケンシ部分における分散の比の和を第４の評価値とする。すなわち、第４の評価値は、
【０１６１】
【数６】
【０１６２】
で表される。これは、図１４に示すような高周波成分における全ての分散の比を考慮したものであるが、もし、かすれている方向が予めわかっているる場合、たとえば、前記したように横方向へのかすれが生じていることがわかっているる場合は、第４の評価値は図１５（ａ）のみを考慮（ｊ成分のみを考慮）すればよいから、
【０１６３】
【数７】
【０１６４】
によって求められる。この〔１３〕式は、コピー回数の違いがかすれの度合いの違いとして明確に表れている数値（分散の比）のみを用いているため、求められる評価値の精度を高いものとすることができる。なお、〔１２〕式および〔１３〕式において、逆数をとるのは、かすれの大きさに比例して評価値を大きな数値とするためである。上記〔１３〕式によって得られた第４の評価値と前記２値化閾値ＴＨ１（ＴＨ１＝「５」〜「１２」）との関係を図１６により説明する。ここで、ブロックの大きさはｎ×ｍ＝８×８であるので、高シーケンシ部分は、前記〔１３〕式により、ｎ／２〜ｎ−１の範囲、つまり、シーケンシ４〜７となる。今、２値化閾値ＴＨ１＝「５」におけるシーケンシ４〜７に対する横方向の分散の比は、計算により、たとえばシーケンシ４では「0.0055」、シーケンシ５では「0.0070」、シーケンシ６では「0.0068」、シーケンシ７では「0.0039」と求められたとすると、その和は「0.0232」となる。これの逆数をとると、43.1となり、この値が第４の評価値となる。同様に、２値化閾値ＴＨ１＝「６」におけるシーケンシ４〜７に対する横方向の分散の比の和は、計算により、0.0288と求められたとすると、その逆数は、34.7となり、この値が第４の評価値となる。また、２値化閾値ＴＨ１＝「７」に対するシーケンシ４〜７における横方向の分散の比の和は、計算により、0.0431と求められたとすると、その逆数は、23.2となり、これらの値が第４の評価値となる。このように求められた２値化閾値ＴＨ１が「５」から「７」に対する第４の評価値の曲線（図１６）は、前述の図６（ａ）にて示した２値化閾値ＴＨ１が「５」から「７」に対する第１の評価値の曲線と同じようなカーブを描く。
なお、図１５（ａ）からは、２値化閾値ＴＨ１が「５」から「７」までの範囲における評価値しか求められないが、２値化閾値ＴＨ１が「８」以降においても、前述の図６（ａ）と同じようなカーブを描くことは明らかであり、結局は、２値化閾値ＴＨ１が「５」から「１２」までの範囲において図６（ａ）と同じような曲線を得ることができる。また、図１６において、点線で示す曲線は、２値化閾値ＴＨ１が「５」から「１２」におけるシーケンシ４〜７に対する縦方向の分散の比の和（図１５（ｂ） 参照）を示すもので、この場合、縦方向へのかすれは小さいので、２値化閾値が「５」から「１２」までの範囲においてそれぞれの評価値にあまり大きな違いは生じない。
【０１６５】
以上のようにして、第４の評価値を求めることができるが、この方法は、〔１２〕式および〔１３〕式からもわかるように、分散の比を求めるために、積和演算を多く用いるので、より簡単な方法として次の方法がある。
【０１６６】
（ＩＩ）アダマール変換後の行列Ｙ（行列Ｙ１〜ＹＮ）における全成分の絶対値の和と、アダマール変換後の行列Ｙ（行列Ｙ１〜ＹＮ）における高シーケンシ部分の絶対値の和の比をとって、この比をもとに第４の評価値を求める。
【０１６７】
以下、この（ＩＩ）の方法について説明する。
【０１６８】
前記分散の比が大きいということは、分散が相対的に大きいということである。また、アダマール変換の場合には、ＤＣ成分（ｉ＝０，ｊ＝０）以外は、図１７に示すように、平均値が０のラプラス分布で近似できる。このことから、図１５（ａ）において、たとえば、２値化閾値ＴＨ１が「５」である画像の場合のように、高シーケンシ部分における分散の比が相対的に小さい（かすれが大きい）ということは、図１７（ａ）のごとく、０を中心として分布の幅が相対的に小さく、結果として、変換後の行列Ｙ（行列Ｙ１〜ＹＮ）における高シーケンシ部分の絶対値の和も相対的に小さくなるということである。
【０１６９】
一方、２値化閾値ＴＨ１が「７」である画像の場合のように、高シーケンシ部分における分散の比が相対的に大きい（かすれが小さい）ということは、図１７（ｂ）のごとく、０を中心として分布の幅が相対的に大きく、結果として、変換後の行列Ｙ（行列Ｙ１〜ＹＮ）における高シーケンシ部分の絶対値の和も相対的に大きくなるということである。
【０１７０】
なお、図１７（ａ）は図１５（ａ）において、２値化閾値ＴＨ１が「５」における変換後の行列Ｙ（行列Ｙ１〜ＹＮ）の高シーケンシ部分の値（ここではシーケンシ「４」に対応する各Ｙの値）の分布を示すものであり、同図（ｂ）は図１５（ａ）において、２値化閾値ＴＨ１が「７」における変換後の行列Ｙ（行列Ｙ１〜ＹＮ）の高シーケンシ成分の値（ここではシーケンシ「４」に対応する各Ｙの値）の分布を示すものである。この図からもわかるように、高シーケンシ（この場合、シーケンシ「４」）において、かすれの大きい画像とかすれの小さい画像とでは、かすれの大きい画像の方がかすれの小さい画像よりも分布の幅が小さく、これにより、結果として、かすれの大きい画像は、かすれの小さい画像に対して、すべての高シーケンシ成分における絶対値の和も相対的に小さくなる。このことから、行列Ｙ（行列Ｙ１〜ＹＮ）におけるすべての高シーケンシ成分における絶対値の和をもとに評価値を算出することができる。
【０１７１】
したがって、第４の評価値は以下の式で表すことができる。
【０１７２】
【数８】
【０１７３】
上記〔１４〕式において、Σ｜Уij｜はＮ個のブロックにおいて各ブロックの変換後の行列Ｙ（行列Ｙ１〜ＹＮ）のij成分の総和を表している。さらに、前記したように、もし、かすれている方向が予めわかる場合、たとえば、前記したように横方向へのかすれが生じていることがわかる場合はｊ成分のみを考慮すればよいから、上記〔１４〕式は、
【０１７４】
【数９】
【０１７５】
によって求められる。この〔１５〕式は、コピー回数の違いがかすれの度合いの違いとして明確に表れている数値（分散の比）のみを用いているため、求められる評価値の精度を高いものとすることができる。なお、〔１４〕式および〔１５〕式において、逆数をとるのは、かすれの大きさに比例して評価値を大きな数値とするためである。
【０１７６】
上記〔１５〕式によって得られた第４の評価値と前記２値化閾値ＴＨ１（ＴＨ１＝「５」から「１２」）との関係を図１８により説明する。ここで、分割されたブロックの大きさはｎ×ｍ＝８×８であり、また、ブロック数Ｎは３個であるとする。そして今、２値化閾値ＴＨ１が「６」の場合、１番目のブロックにおける変換後の行列Ｙ１のУ0j（０≦ｊ≦７）成分が（１４，６，−５，２，１，−２，−２，１）、第２番目のブロックにおける変換後の行列Ｙ２のУ0j（０≦ｊ≦７）成分が（１３，−７、０，−４，０，２，０，−１）、第３番目のブロックにおける変換後の行列Ｙ３のУ0j（０≦ｊ≦７）成分が（１２，５、−３，０，−２，１，０，１）であったとする。
【０１７７】
ここで、〔１５〕式により、第１番目のブロックにおける変換後の行列Ｙ１の全成分の絶対値の和は、14＋6 ＋5 ＋2 ＋1 ＋2 ＋2 ＋1 ＝33であり、また、そのうちの高シーケンシ部分（シーケンシ４以上）における絶対値の和は、1 ＋2 ＋2 ＋1 ＝6 となる。また、第２番目のブロックにおける変換後の行列Ｙ２の全成分の絶対値の和は同様に計算すると２７となり、そのうちの高シーケンシ成分における絶対値の和は３となる。さらに、同様に、第３番目のブロックにおける変換後の行列Ｙ３の全成分の絶対値の和は２４となり、そのうちの高シーケンシ成分における絶対値の和は４となる。
【０１７８】
よって、この２値化閾値ＴＨ１が「６」の場合の第４の評価値は、〔１５〕式により、第４の評価値＝１／（高シーケンシ成分の絶対値の和／全成分の絶対値の和）であり、これに前記数値を代入すると、第４の評価値＝１／｛（6 ＋3 ＋4 ）／（33＋27＋24）｝となって、第４の評価値は約6.6 と求められる。
【０１７９】
以上のようにして同様に、２値化閾値ＴＨ１が「５」の場合、２値化閾値ＴＨ１が「７」の場合などについて、〔１５〕式を用いて第４の評価値を求めたものが図１８である。この図１８の曲線は図６と同じようなカーブを描く。また、図１８において、点線で示す曲線は、２値化閾値ＴＨ１が「５」から「１２」の各画像における縦方向に対する評価値を示すもので、この場合、縦方向へのかすれは小さいので、２値化閾値「５」から「１２」までのそれぞれの画像においてそれぞれの評価値にあまり大きな違いは生じない。
【０１８０】
以上のようにして、周波数空間において特徴量を抽出することによって、「かすれ」に関する第４の評価値を算出することができる。ところで、図１６と図１８において、ここでの説明は前記したように、横書きの原稿を縦方向に入力して横方向（行方向）に走査した場合のデータであるため、各画像の評価値は横方向のかすれに影響を受けた結果となっている。したがって、この図１６と図１８の結果をみれば、かすれの生じている方向、あるいは、画像の入力方向（縦方向の入力か横方向の入力か）を判断することができる。
【０１８１】
また、前記の説明では、横方向と縦方向の２つの方向のみについて説明したが、変換後の行列Ｙから０°〜９０°の範囲でのかすれの生じている方向の検出が可能となる。たとえば、４５°の方向を調べるには、変換後の行列Ｙのｉ＝ｊ（０≦ｉ≦ｎ−１）成分より求めることができる。
【０１８２】
なお、〔１２〕式においては、高周波成分におけるすべての要素の分散の比を考慮して第４の評価値の算出を行い、また、〔１３〕式においては、かすれの生じている方向における高周波成分のすべての要素の分散の比を考慮して第４の評価値の算出を行っているが、高周波成分の１または２以上の要素のみの分散の比を考慮して第４の評価値の算出を行ってもよい。同様のことが〔１４〕、〔１５〕式においても言える。
【０１８３】
以上の説明は、周波数空間において「かすれ」に関する特徴量（第４の特徴量）を抽出する方法について説明したが、つぎに、周波数空間において「つぶれ」に関する特徴量（これを第５の特徴量という）を抽出する方法について説明する。この周波数空間において「つぶれ」に関する特徴量を抽出するということにおいて、まず、「つぶれ」という特徴量と周波数との関係について説明する。
【０１８４】
前記したように、つぶれが生じているということは画素が黒べた状態となって、画素の白黒反転数が少なくなっているということであり、白黒反転数が少なければより多くのつぶれが生じていると言える。この白黒反転数を周波数と考えれば、つぶれの生じている部分は低周波成分と考えられ、この低周波成分を着目することにより、かすれの度合いを知ることができる。
【０１８５】
このようなことを踏まえて、周波数空間において「つぶれ」に関する特徴量（第５の特徴量）を抽出する方法について説明する。この第５の特徴量の抽出は図１における第５の特徴量抽出手段１１５にて行われる。周波数空間への直行変換方法として、前記したように、フーリエ変換、ディスクリート・コサイン変換、アダマール変換などがあり、どの直行変換を用いてもよいが、ここでは、演算処理が和と差のみで済むアダマール変換を用いた場合を例にとって説明する。
【０１８６】
このアダマール変換における処理手順は概略的には、図１９のフローチャートに示すように、まず、処理対象となる画像をｎ画素×ｍ画素の大きさのブロックに分割し（ステップＳ５１）、分割したブロックに対して直行変換（この場合はアダマール変換）を行う（ステップＳ５２）。なお、前記分割の大きさは任意でよいが、ここではｎ，ｍは１〜３２の範囲とするのが都合がよい。そして、アダマール変換により得られた変換後の行列ＹのＤＣ成分（直流成分、つまり、ｉ＝ｊ＝０の成分）または低周波成分（低シーケンシ）に着目し、評価値（この評価値を第５の評価値という）の算出を行う（ステップＳ５３）。
【０１８７】
この第５の評価値の算出方法としては、
（Ｉ）アダマール変換後の行列Ｙ（Ｙ１〜ＹＮ）におけるＤＣ成分に着目し、そのＤＣ成分におけるたとえば分散値（前記[9] 式により求められる）を第５の評価値とする。
【０１８８】
前記ＤＣ成分の数値は、各ブロックにおける黒画素数に相当する値である。よって、つぶれが生じているほど、ＤＣ成分における数値の分布幅が広くなり、結果として分散が大きくなる。したがって、このＤＣ成分に着目するとにより、「つぶれ」に関する評価値とすることができる。
【０１８９】
（ＩＩ）アダマール変換後の行列Ｙ（Ｙ１〜ＹＮ）の低周波成分（低シーケンシ）に着目して評価値を算出する。
【０１９０】
これは、ＤＣ成分以外の低シーケンシ（ブロックの大きさがｎ＝ｍ＝８の場合、シーケンシ１〜３）の分散値（前記[9] 式により求められる）をそのまま評価値として用いる。あるいは、ＤＣ成分を含めた低シーケンシ（シーケンシ０〜３）の２以上の要素の分散値の和を評価値として用いることもできる。
【０１９１】
図２０はアダマール変換後の行列Ｙの低シーケンシ（シーケンシ０〜３）における画像の状態（２値化閾値ＴＨ１＝「５」〜「１２」）に対する分散値の変化を示すものであり（１ブロックの大きさはｎ×ｍ＝８×８）、この図からも明らかなように、画像のつぶれが大きいほど分散値が大きくなっている。したがって、この分散値を評価値とすることができる。なお、この場合、前記（Ｉ）で示したように、ＤＣ成分のみに着目してそのＤＣ成分における分散値をそのまま評価値としてもよく、また、（ＩＩ）で示したように、ＤＣ成分以外の低シーケンシ（シーケンシ１〜３）のいずれかの分散値を評価値として用いることもでき、さらに、ＤＣ成分を含めた低シーケンシ（シーケンシ０〜３）の２以上の要素の分散値の和を評価値として用いることもできる。
【０１９２】
（ＩＩＩ）アダマール変換後の行列Ｙ（Ｙ１〜ＹＮ）における低周波成分（低シーケンシ）の各成分の絶対値の和を評価値とする。
【０１９３】
前記図２０からもわかるように、つぶれが大きいほど分散値が大きくなっている。分散値が大きいということは、変換後の行列Ｙ（Ｙ１〜ＹＮ）における各Ｙijの数値の分布の幅が広いということである。このことから、たとえば、２値化閾値ＴＨ１が「１２」の画像のように、低シーケンシにおける分散が大きい（つぶれが多い）ということは、数値の分布の幅が大きく、結果として変換後の行列Ｙ（Ｙ１〜ＹＮ）における各成分の絶対値の和も大きくなる。これに対して、低シーケンシにおける分散値が小さい（つぶれが少ない）ということは、数値の分布の幅が小さく、結果として変換後の行列Ｙ（Ｙ１〜ＹＮ）における各成分の絶対値の和も小さくなる。
【０１９４】
よって、低シーケンシにおける変換後の行列Ｙ（Ｙ１〜ＹＮ）における各成分の絶対値の和によって、「つぶれ」に関する特徴量を抽出することでき、その評価値（第５の評価値）を算出することができる。第５の評価値は次式により求められる。
【０１９５】
【数１０】
【０１９６】
この〔１６〕式において、ブロック数Ｎで割るのは、ブロックの数により評価値の大きさが変わるのを防止するため（数値の正規化のため）である。なお、上記〔１６〕式において、処理を簡略化するために、かすれている方向での値のみを用いるようにしてもよい。ここで、つぶれに関する評価値算出式にも係わらず、「かすれている方向」としたのは、前記した「かすれ」の算出処理に合わせるためであり、また、かすれ易い方向において、つぶれがより多く生じているか否かの判断が容易に行えるからである。したがって、前記同様、かすれが横方向に顕著に生じる場合は、前記〔１６〕式は、
【０１９７】
【数１１】
【０１９８】
で表される。
【０１９９】
この〔１７〕式によって得られた第５の評価値と前記２値化閾値ＴＨ１（ＴＨ１＝「５」〜「１２」）との関係を図２１により説明する。ここで、分割されたブロックの大きさはｎ×ｍ＝８×８であり、また、ブロック数Ｎは３個であるとする。そして今、第１の閾値ＴＨ１＝「６」の場合、１番目のブロックにおける変換後の行列Ｙ１のУ0j（０≦ｊ≦７）成分が（１４，６，−５，２，１，−２，−２，１）、第２番目のブロックにおける変換後の行列Ｙ２のУ0j（０≦ｊ≦７）成分が（１３，−７、０，−４，０，２，０，−１）、第３番目のブロックにおける変換後の行列Ｙ３のУ0j（０≦ｊ≦７）成分が（１２，５、−３，０，−２，１，０，１）であったとする。
【０２００】
前記〔１７〕式により、第１番目のブロックにおける変換後の行列Ｙ１の低シーケンシ（シーケンシ０〜３）における絶対値の和は、14＋6 ＋5 ＋2 ＝27となる。同様に計算すると、第２番目のブロックにおける変換後の行列Ｙ２の低シーケンシ成分における絶対値の和は２４となる。さらに、同様に、第３番目のブロックにおける変換後の行列Ｙ３の低シーケンシ成分における絶対値の和は２０となる。
【０２０１】
よって、この２値化閾値ＴＨ１が「６」の場合の評価値は、〔１７〕式により、第５の評価値＝低シーケンシ成分の絶対値の和／ブロック数Ｎであり、これに前記数値を代入すると、第５の評価値＝(27 ＋24＋20）／3 となって、第５の評価値は約23.7と求められる。なお、実際には処理対象画像が描かれている原稿面上には空白部分がかなり存在するため、実際の数値は上記した数値より小さい値となるが、ここでの説明は上記数値をそのまま用いても何ら差し支えないので説明の都合上、上記計算結果の数値をそのまま用いる。
【０２０２】
同様に、２値化閾値ＴＨ１が「５」から「１２」について、〔１７〕式を用いて評価値を求めたものが図２１である。この図２１の曲線は図８（ａ）と同じようなカーブを描く。
【０２０３】
以上のようにして、周波数空間において特徴量を抽出することによって、「つぶれ」に関する第５の評価値を算出することができる。
【０２０４】
なお、〔１６〕式においては、低周波成分におけるすべての要素を考慮して第５の評価値の算出を行い、また、〔１７〕式においては、かすれの生じている方向における低周波成分のすべての要素を考慮して第５の評価値の算出を行っているが、低周波成分の１または２以上の要素のみを考慮して第５の評価値の算出を行ってもよい。
【０２０５】
次に、以上の処理により求めた第４の特徴量および第５の特徴量の両方を考慮した評価値を算出する。つまり、第４の特徴量である「かすれ」と第５の特徴量である「つぶれ」とを考慮した評価値を算出することにより、より正確な画質の判断を行う。この評価値の算出方法として、前記したように、第４の評価値と第５の評価値の差で求める方法と第４の評価値と第５の評価値の和で求める方法があるが、ここでは、第４の評価値と第５の評価値の和で求める場合について説明する。なお、第４の評価値と第５の評価値の差で求められた評価値を評価値Ｄとし、第４の評価値と第５の評価値の和で求められた評価値を評価値Ｅとする。ここで、評価値Ｅは次式で算出される。
【０２０６】
評価値Ｅ＝第４の特徴量（第４の評価値）＋第５の特徴量（第５の評価値）・・・〔１８〕
この評価値Ｅの算出処理のフローチャートを図２２に示す。図２２において、まず、処理対象となる画像をｎ画素×ｍ画素の大きさのブロックに分割し（ステップＳ６１）、分割したブロックに対して直行変換（この場合はアダマール変換）を行う（ステップＳ６２）。そして、前記第４の評価値および第５の評価値を考慮した評価値Ｅの算出を行う（ステップＳ６３）。
【０２０７】
ここで、前記〔１８〕式の計算を行うに当たって、両者の評価値の絶対値が大きく異なる場合には、絶対値の大きな方の影響を受けて絶対値の小さな方の評価値を有効に活用できない。たとえば、図２３に示すように、同図（ａ）の（イ）はかすれを示す曲線（図１８に相当する）であり、（ロ）はつぶれを示す曲線（図２１に相当する）であるが、これらは、それぞれの評価値の絶対値が大きく異なっている。このように評価値の絶対値が大きく異なったまま、両者を加算すると、（ハ）のような曲線となる。つまり、２値化閾値ＴＨ１が「５」から「７」の間は、本来、かすれが大きく評価値も大きい値であるはずが、絶対値の大きな方の影響を受けて絶対値の小さな方の評価値を有効に活用できないという不都合が生じる。
【０２０８】
したがって、このような場合には、ある基準となる２値化閾値（ここでは、ＴＨ１＝「７」）におけるそれぞれの評価値の絶対値が等しくなるようにするとともに、その変化の範囲も同じにするために評価値の補正を行う。なお、以下の例では、第４の評価値は第４の特徴量抽出の説明における（ＩＩ）の方法により得られた値（図１８参照）、第５の評価値は第５の特徴量抽出の説明における（ＩＩＩ）の方法により得られた値（図１９参照）を用いるものとする。
【０２０９】
前記評価値の補正は以下のようにして行う。つまり、補正後の新評価値は、
新評価値＝｛（他の評価値の最大値−他の評価値の最小値）／（補正対象の評価値の最大値−補正対象の評価値の最小値）｝×（評価値−補正対象の評価値の基準値）＋他の評価値の基準値・・・・・〔１９〕
によって求められる。ここで、「補正対象の評価値」とは補正される側の評価値、「他の評価値」とは補正されない方の評価値を指す。また、基準値とは基準となる２値化閾値ＴＨ１における評価値をいう。たとえば、図２３（ａ）の場合、（イ）で示す「かすれ」の評価値を「補正対象の評価値」とし、基準となる２値化閾値ＴＨ１＝「７」とすると、
新評価値＝｛（５０−２０）／（８−４）｝×（評価値−５）＋２５
となり、この式において、（評価値−５）の評価値に、この場合、２値化閾値ＴＨ１＝「７」における評価値「５」を代入すると、２値化閾値ＴＨ１＝「７」における求めるべき新評価値は「２５」と求められる。また、（評価値−５）の評価値に、２値化閾値ＴＨ１＝「５」における評価値「８」を代入すると、２値化閾値ＴＨ１＝「５」における求めるべき新評価値は「４７．５」と求められ、また、（評価値−５）の評価値に、２値化閾値ＴＨ１＝「１２」における評価値「４」を代入すると、２値化閾値ＴＨ１＝「１２」における求めるべき新評価値は「１７．５」と求められ、補正後の新評価値によるカーブは図２３（ｂ）の（ニ）のようになる。
【０２１０】
したがって、図２３（ｂ）の（ニ）と（ホ）を加算することにより、（ヘ）のような２値化閾値ＴＨ１＝「５」〜「１２」に対する評価値Ｅの曲線が得られる。なお、この補正は、標準となる画像について行うことにより、他の画像においてもそのまま用いることができる。
【０２１１】
このようにして求められた第４の特徴量（第４の評価値）に第５の特徴量（第５の評価値）加算した評価値Ｅの曲線からもわかるように、最も画像の品質が良くなる２値化閾値ＴＨ１は、評価値が最小となるところであり、このことから、評価値が最小となるところを検出することにより、２値化するに当たって最適な２値化閾値ＴＨ１を決定することができる。よって、文字の２値化を行う際の２値化閾値の決定を極めて簡単にしかも的確に行うことができる。
【０２１２】
次に前記した第４の特徴量および第５の特徴量にもう一つの特徴量（前記した第３の特徴量）を加えることにより、後述する画質改善部における処理をより効果的なものとする評価値を得る。この第３の特徴量は前記したように、図１における第３の特徴量抽出手段１１３により算出されるもので、その特徴量とは文字の大きさに相当する横方向の長さである。
【０２１３】
後述する画質改善部では、画素の欠けを修復する処理を主に行うが、この場合、文字の大きさによって、欠ける画素数が異なってくる。つまり、大きな文字は欠ける画素数も多く、小さな文字は欠ける画素数も少ないと考えられる。そこで、前記した第４、第５の評価値および評価値Ｄ，Ｅにこの第３の特徴量である文字の大きさを掛けた値を新たな評価値（これを評価値Ｆという）とすることにより、画質改善部において、より効果的な処理が行えるようにする。
【０２１４】
この第３の特徴量というのは、一定長以上の黒ランの平均長であり、これは前述したように文字の大きさに近い値である。なお、一定長以上の黒ランの平均長というのは、前記第２の特徴量を求めるときに用いた「一定長以上の黒ラン」の平均の長さである。また、この評価値Ｆは、
評価値Ｆ＝（第４，第５の評価値または評価値Ｄ，Ｅ）×第３の特徴量・・・・・・〔２０〕
で表せる。
【０２１５】
この評価値Ｆの算出処理手順を図２４に示す。この図２４は図１２で示したフロ−チャ−トと基本的には同じである。図２４において、まず、前記した図９のフロ−チャ−トで示した処理と同様に、各種カウンタや各種レジスタを初期化する（ステップＳ７１）。次に、直行変換はｎ行単位に行われることから、行カウンタが指示する行からｎラインまでのラインデ−タを準備（ステップＳ７２）し、この場合は、このｎラインデータより第４の特徴量、第５の特徴量、第３の特徴量を算出する（ステップＳ７３）。そして、これら第４，第５，第３の特徴量が算出されるごとに、前記した〔２０〕式により評価値Ｆを算出する（ステップＳ７４）。次に、処理対象全面について評価値Ｆの算出処理が終了したか否かを判断（ステップＳ７５）して、処理が終了していなければ、行カウンタをｎ行分インクリメント（ステップＳ７６）して、前記ステップＳ７２からステップＳ７５の処理を行う。
【０２１６】
なお、以上の処理において、ステップＳ７３が終了するごとに、評価値Ｆを算出するのは、この画質算出部１１におけるこのような画質判断処理と、後述する画質改善部における画質の改善処理あるいは２値化閾値決定部における２値化閾値決定処理を並行して行うためである。しかし、処理対象の画像全体を、まず、上記したような画質算出処理を行ったのち、そのあとで、まとめて画質の改善処理あるいは２値化閾値決定処理を行う場合は、図２４の処理フロ−において、ある画像全体についてステップＳ７３の処理が終わった後に、まとめて評価値Ｆを算出するようにしてもよい。同様に、前記第４の評価値、第５の評価値または評価値Ｄ，Ｅもｎラインデータ単位での評価値の算出を行ってもよいし、画像全体についてまとめて評価値の算出を行ってもよい。
【０２１７】
ところで、この評価値Ｆは、次の４つのパタ−ンが考えられる。
【０２１８】
（イ）評価値Ｆ＝第４の特徴量（第４の評価値）×第３の特徴量
（ロ）評価値Ｆ＝第５の特徴量（第５の評価値）×第３の特徴量
（ハ）評価値Ｆ＝第４の特徴量に第５の特徴量を考慮した評価値（評価値Ｄ）×第３の特徴量
（ニ）評価値Ｆ＝第４の特徴量に第５の特徴量を考慮した評価値（評価値Ｅ）×第３の特徴量
上記（イ）を評価値Ｆ１、（ロ）を評価値Ｆ２、（ハ）を評価値Ｆ３、（ニ）を評価値Ｆ４という。
【０２１９】
このように、文字の大きさという第３の特徴量を用いることにより、後述する画質改善部における画質改善処理をより効率的に行うことができる。
【０２２０】
なお、この実施例では、画質算出部１１には、第１の特徴量抽出手段１１１、第２の特徴量抽出手段１１２、第３の特徴量抽出手段１１３、第４の特徴量抽出手段１１４、第５の特徴量抽出手段１１５の５つの特徴量抽出手段を設けた例を示している。そして、これまで述べたようにして、各評価値を算出したが、画質算出部１１としては、第１の特徴量抽出手段１１１または第４の特徴量抽出手段１１４のいずれかを用いて「かすれ」についての単独の画質の判断も可能であり、また、第２の特徴量抽出手段１１１または第５の特徴量抽出手段１１４のいずれかを用いて「つぶれ」についての単独の画質の判断も可能である。
【０２２１】
次に、これまでに述べた画質算出を行うに際して、図２５（ａ）に示すように、処理対象とする紙面上に異なる文字領域（たとえば、文字の劣化の生じにくいゴシック体の文字領域Ｚ１とかすれなど劣化の生じやすい明朝体の文字領域Ｚ２）が存在する場合の処理について説明する。
【０２２２】
このように、種類の異なる文字領域が存在する場合は、前記したように、評価値を算出する際におけるデータを順次蓄積して行く方法では、領域の変化している部分において、正しい評価値が得られないという問題がある。これを同図（ｂ），（ｃ）を用いて説明する。同図（ｂ），（ｃ）において、太い実線Ｌ１は領域Ｚ１において求められるべき理想的な評価値、太い実線Ｌ２は領域Ｚ２において求められるべき理想的な評価値であるとする。同図（ｂ）からもわかるように、データを順次蓄積して評価値を算出する方法では、実際に求められる評価値は細い実線Ｌ３で示すように、領域Ｚ１から領域Ｚ２に変わるところからしばらくの間（図中、ｗ１で示す範囲）は、正しい評価値が得られないことになる。
【０２２３】
そこで本発明では、評価値算出を行う範囲に制限を設け、種類の異なる文字領域が存在する場合においても適切な評価値の算出が可能となるようにする。その方法を以下に説明する。
【０２２４】
異なる文字種の存在する画像においては、文字の種類が行の途中で変わることは少なく、行単位で変わる場合が殆どである。したがって、或る行数単位ごとに評価値を求めるのも一つの方法である。
【０２２５】
このように、或る行数単位ごとに評価値を求める一例として、１行ごとに処理する場合を説明する。この場合は、まず、画像から１行分の文書画像を切り出し、この切り出した行の範囲で評価値を求める。なお、行の切り出し方法としては、図２６のように、行方向の画素の累積値である射影を求め、この射影からその谷間が行間であると判断して行の切り出しを行う方法がある。さらに簡単な方法として、画像を走査する段階において、画素の有無を検出して画素の無い部分が行間であると判断し、行の切り出しを行う方法もある。そして、このように切り出された行単位で前述したような方法にて評価値を求める。
【０２２６】
また、種類の異なる文字領域が存在する場合においても適切な評価値の算出が可能とする他の方法として、処理対象ラインの白黒反転数を求め、この白黒反転数が所定の数（評価値を求めるに必要とする数を予め設定しておく）以上に達するまでのラインに逆上って、その範囲内における評価値を求める。たとえば、評価値を求めるに必要とする白黒反転数が２０００程度であるとすると、白黒反転数が２０００に達したところで、この白黒反転数が２０００に達したところまでの範囲内にて評価値を求める。この方法では、行の切り出しという処理が不要となる。
【０２２７】
このように、評価値算出を行う範囲に制限を設けて、所定範囲ごとに評価値を算出することにより、図２５（ｃ）に示すように、それぞれの領域（この場合は、領域Ｚ１、領域Ｚ２）ごとに最適な評価値を求めることが可能となる。つまり、領域Ｚ１および領域Ｚ２において求められるべき理想的な評価値（太い実線Ｌ１，Ｌ２）と実際に求められる評価値（細い実線Ｌ３）がほぼ一致する。
【０２２８】
ここで説明した各領域ごとに最適な評価値を求めるという処理は、後述する画質の改善処理、画像に適した２値化閾値の決定処理において重要な処理である。つまり、これら画質の改善処理、画像に適した２値化閾値の決定処理は、各領域ごと（文字の種類ごと）にその領域に適した評価値が必要となってくるからである。
【０２２９】
（第２の実施例）
次に、この発明の第２の実施例として、前記第１の実施例で説明した画質算出部１１の結果を用いて画質改善を行う画質改善部（詳細は後述する）を備えた画像処理装置について説明する。
【０２３０】
図２７はこの第２の実施例の構成を示すもので、画質算出部１１、ＣＰＵ１２，ＲＡＭ１３、画像入力装置１４、画像出力装置１５、バスライン１６などは図１で説明したものと同じであり、この図２７では、これらの他に、画質改善部２１が前記バスライン１６に接続された構成となっている。
【０２３１】
この画質改善部２１は、画素の欠けた可能性のある部分を抽出して、前記画質算出部１１で算出した評価値を用いて、画素の欠けた部分の補間を行うもので、処理候補抽出手段２２、画素加工手段２３を主な構成要素としている。以下、これら処理候補抽出手段２２、画素加工手段２３について説明する。
【０２３２】
処理候補抽出手段２２は、画素の欠けた可能性のある部分の抽出を行うもので、特徴点抽出手段２２１、候補決定手段２２２からなる。また、画素加工手段２３は、処理候補抽出手段２２で抽出した画素の欠けた可能性のある部分を前記画質算出部１１で算出した各評価値を用いて画素の補間を行うもので、閾値算出手段２３１、文字切り出し手段２３２を有している。以下、個々に説明する。
【０２３３】
特徴点抽出手段２２１は、画質の劣化した部分の跡を抽出する。すなわち、前記したように、図２（ｂ）を見ると、かすれの生じている部分は、縦方向に並んだ１画素から２画素（または３画素）の画素が横方向に凸部となっていることがわかる。そこで、このような部分の抽出を行う。このとき具体的には、図３（ａ）〜（ｆ）で示した６種類のパタ−ンの特徴点の抽出となる。
【０２３４】
候補決定手段２２２は、上記特徴点抽出手段２２１により抽出した特徴点の位置関係から劣化した部分の決定を行う。ここで図２（ｂ）をみると、画質の劣化した部分は、主に図中Ａの部分のように特徴点が向かい合っている（対面）部分である。しかし、一部にはＢの部分のように特徴点と特徴点でない黒画素が向かい合っている部分もある。そこで、この候補決定手段２２２では、このような部分の抽出を行って画質の劣化した可能性のある部分として決定する。
【０２３５】
なお、劣化した部分の特徴点の組み合わせはここでは以下のように定める。ただしこれに限られるものではない。
【０２３６】
（１）３画素特徴点同志の対面（たとえば図３（ｅ）と（ｆ））
（２）３画素特徴点と２画素特徴点の対面（たとえば図３（ｃ）と（ｆ））
（３）３画素特徴点と１画素特徴点の対面（たとえば図３（ａ）と（ｄ））
（４）２画素特徴点同志の対面（たとえば図３（ｃ）と（ｄ））
（５）２画素特徴点と１画素特徴点の対面（たとえば図３（ａ）と（ｄ））
（６）１画素特徴点同志の対面（たとえば図３（ａ）と（ｂ））
（７）３画素特徴点と特徴点以外の黒画素との対面
（８）２画素特徴点と特徴点以外の黒画素との対面
（９）１画素特徴点と特徴点以外の黒画素との対面
このような組み合わせにおいて（２）から（６）のような特徴点同志の対面の場合は、条件１として、一部分でも特徴点の対面があれば、画素の補間の必要有り（処理候補）と見做すが、特徴点同志の対面の場合であっても、（１）の３画素特徴点同志の対面の場合は、条件２として、２画素以上の対面がある場合のみを画素の補間の必要有り（処理候補）と見做す。この関係を図２８に示す。図２８（ａ）は上記条件１を満たす場合であり、この場合は、（２）の３画素特徴点と２画素特徴点の対面であって、そのうちの１画素が対面している例を示している。また、同図（ｂ）は上記条件２を満たす場合であり、この場合は、（１）の３画素特徴点同志の対面であって、そのうちの２画素が対面している例を示している。また、同図（ｃ）は（１）の３画素特徴点同志の対面であるが、この場合は、２画素以上の対面がないので条件２を満たしていないと判断される。
【０２３７】
また、図２８において、対面する画素の間隔（図示矢印で示す）が所定の画素数分の間隔以内の場合に、その間に画素の補間を行う。つまり、対面する画素（黒画素）の間に幾つの白画素が有るかを判断して、その白画素の閾値を設定し、閾値以下の場合はその白画素部分を「かすれ」と見做して、その部分に黒画素を補間する。これについては以下に詳細に説明する。
【０２３８】
次に、前記画素加工手段２３において、画素の欠けた部分を前記画質算出部１１で算出した各評価値を用いて画素の補間を行う処理を説明する。
【０２３９】
この画素加工手段２３は閾値算出手段２３１、文字切り出し手段２３２を有している。この閾値算出手段２３１は、前記画質算出手段１１にて算出した各評価値を変数として画素の補間を行う際の閾値（この閾値を閾値ＴＨ３という）を算出する。以下にこの閾値算出手段２３１について説明する。
【０２４０】
処理候補抽出手段２２における候補決定手段２２２にて、劣化部分と判断された部分には、たとえば、図２（ｂ）のＡ，Ｂの部分のように黒画素間に数画素分の間隔（白画素）が存在する。また、従来の技術の項の説明で用いた図４１（ｂ），（ｃ）を比較すると、画質の劣化が大きいほどその間隔が広くなる。そこで、画質の劣化が大きいほど、劣化した部分の間隔は広いものと考え、どの程度の間隔までなら画素の補間を行うかの指標を閾値ＴＨ３として設定する。すなわち、画質が良い場合に、白画素部分の補間を行う処理をすると、本来画素の無い部分にまで画素を補間してしまうことになる。そこで、このような誤った処理を防止するため、画質に合わせた閾値ＴＨ３を閾値算出手段２３１にて算出する。
【０２４１】
この閾値算出手段２３１における閾値ＴＨ３の算出方法を以下に説明する。
【０２４２】
閾値ＴＨ３の算出は前記（１）から（９）で示した劣化部分の９通りの組み合わせ毎に算出する。この理由は、前記（１）から（９）で示したそれぞれの組み合わせ毎にその組み合わせにとって最も適切な閾値が存在するからである。よって、閾値ＴＨ３は以下の式で算出される。
【０２４３】
閾値ＴＨ３（ｎ）＝ｆ（ｎ）（ｘ）・・・〔２１〕
ここで、ｎは１≦ｎ≦９であり、この１から９までの数値は、前記（１）から（９）で示した劣化部分の９通りの組み合わせの括弧内の数値を示している。また、ｆ（ｎ）（ｘ）は各組み合わせ毎に異なる閾値算出のための関数（作成方法は後述する）であり、ｘを変数としている。この変数ｘはこの場合、評価値である。したがって、上記〔２１〕式は、
閾値ＴＨ３（ｎ）＝ｆ（ｎ）（評価値）・・・〔２２〕
と表せる。ここで評価値とは画質算出部１１により求めた各種評価値である。このように、（１）から（９）で示した劣化部分の９通りの組み合わせによって、個々の組み合わせに対応した閾値ＴＨ３が設定される。そして、候補決定手段２２２により求めた画質の劣化の可能性のある部分の間隔が〔２２〕式により求められた閾値ＴＨ３（ｎ）以下であれば、画素加工手段２１にてその部分に画素の補間を行い、間隔が〔２２〕式により求められた閾値ＴＨ３（ｎ）より大きければ、画素の補間は行わない。
【０２４４】
ところで、前記閾値ＴＨ３を算出するための関数は次のようにして算出する。ここでは、図２９（ａ）のように劣化していない元の画像と、同図（ｂ）のように画質のやや劣化した画像、ここでは図示しないが、さらに画質の劣化した画像の３種類を基準画像として用意する。
【０２４５】
同図（ｂ）のように画質のやや劣化した画像において、候補決定手段２２２により画質の劣化したと思われる部分（図中、Ｃで示す部分）の抽出を行う。また、抽出した部分の特徴点の組み合わせの種類と画素の間隔を調べるとともに、その画質の劣化したと思われる部分を、元の画像と対比させて実際に劣化した部分か否かを調べる。ここで、図中、Ｃで示す部分の特徴点の組み合わせの種類は、２画素特徴点と１画素特徴点の対面であるから（５）の種類であり、また、その間隔はこの場合、２画素とする。
【０２４６】
これを処理対象画像全面について調べ、ここでは、図２９（ｂ）のように画質のやや劣化した画像の２画素特徴点と１画素特徴点の対面の部分（前記(5）の組み合わせ）を全て取り出して、その劣化部分の間隔と、その劣化部分を元の画像と対比させて実際に劣化した部分か否かを調べた結果の関係を図３０に示す。
【０２４７】
この図３０のグラフは、横軸に劣化部分の間隔（画素数）をとり、縦軸には劣化部分を元の画像と対比させて実際に劣化した部分か否かを調べた結果、実際の劣化部分であった場合を正解としその正解の数、または劣化部分を元の画像と対比させて実際に劣化した部分か否かを調べた結果、劣化部分ではなく、もともと白画素部分であった場合を不正解としその不正解の数を取っている。なお、同図において、実線で示すものが正解の数を表し、点線で示すものが不正解の数を表している。
【０２４８】
このグラフによれば、間隔が３画素までは正解（劣化部分）が多く、間隔が４画素となると不正解（もともと白画素部分）が多くなることがわかる（図３０において斜線を施した部分は正解の数の多い部分である）。したがって、この場合は、閾値ＴＨ３（５）を「３」とする。すなわち、前記（５）の組み合わせにおいては、間隔が「３」までは劣化部分と見做してその間隔を補間しても差し支えないということを示している。逆に、間隔が「４」以上であればその間隔はもともと存在する間隔であると判断し、補間処理は行わない方がよいということを示している。
【０２４９】
同様に、さらに劣化した画像の２画素特徴点と１画素特徴点の対面の場合における劣化部分の間隔と、その劣化部分を元の画像と対比させて実際に劣化した部分か否かを調べた結果を示すグラフを求めた結果、閾値ＴＨ３（５） が「６」であったとする。
【０２５０】
また、前記図２９（ｂ）で示したやや劣化した画像の評価値（第１の実施例で算出した幾つかの評価値のうちいずれの評価値を用いてもよい）が０．４９であったとし、また、さらに劣化した画像の評価値（これも第１の実施例で算出した幾つかの評価値のうちいずれの評価値を用いてもよい）が０．９９であったとする。
【０２５１】
ここで前記関数ｆ（ｎ）（評価値）をたとえば、ａｘ＋ｂというような１次関数で表すとすると、この場合、変数ｘは評価値であるから、
閾値ＴＨ３（ｎ）＝ａ×評価値＋ｂ・・・〔２３〕
となる。この場合、ｎ＝５であるから、
閾値ＴＨ３（５）＝ａ×評価値＋ｂ・・・〔２４〕
となる。この〔２４〕式に、上記の如く求めた閾値ＴＨ３（５）＝3、評価値＝0.49および閾値ＴＨ３（５）＝6、評価値＝0.99を代入して、係数ａ，ｂを求めると、ａ＝6、ｂ＝0.06となり、処理対象画像の「（５）２画素特徴点と１画素特徴点の対面」における関数が決定される。以上のようにして、（１）から（９）の各組み合わせの種類毎に、それぞれ関数を決定する。
【０２５２】
このようにして（１）から（９）の各組み合わせの種類毎に関数が決定する。すなわち、この場合、評価値を変数とする図３１のような直線が得られ、これにより、他の閾値ＴＨ（ｎ）が求められる。
【０２５３】
なお、閾値は整数値であるから、ここでは上記関数より求めた値の小数点以下を四捨五入して整数化した値を閾値ＴＨ３として用いてもよい。そして、この閾値ＴＨ３と検出された間隔の関係から画素を補間するか否かを判断する。すなわち、検出された間隔が閾値ＴＨ３以下であればその間隔には画素の補間を行い、検出された間隔が閾値ＴＨ３より大きければ、その間隔はもともと空白であったと見做して画素の補間は行わないようにする。
【０２５４】
以上の処理フロ−チャ−トを図３２に示す。
【０２５５】
図３２において、各種カウンタやレジスタなどの初期化を行う（ステップＳ８１）。この処理は図７のフロ−チャ−トのステップＳ１１と同じである。次に、行カウンタが示す行から６ラインのデ−タの準備を行う（ステップＳ８２）。この場合、図２８（ｂ）で示した３画素特徴点同志の対面において、そのうちの２画素が対面しているか否かという条件２を判断するために６ライン以上のデ−タが必要となってくる。
【０２５６】
そして、前記第１の実施例で説明したように、各評価値の算出をライン毎に行う。このステップＳ８１からステップＳ８５の一連の処理は図１２の処理フロ−と殆ど同じである。
【０２５７】
一方、ステップＳ８３の処理に並行して、画像改善処理を行う。すなわち、前記した（１）から（９）までの特徴点の組み合わせ検出を行い、その間隔の判断を行う（ステップＳ８６）。そして、上記（１）から（９）までの特徴点の組み合わせ番号、評価値などから閾値ＴＨ３（ｎ）を求め（ステップＳ８７）、この閾値ＴＨ３（ｎ）とステップＳ８６で検出された間隔とを比較して（ステップＳ８８）、間隔≦閾値ＴＨ３（ｎ）であれば画素の補間を行う（ステップＳ８９）。
【０２５８】
なお、図２７で説明した画質改善部２１の画素加工手段２３に文字切り出し手段２３２を設けたのは、たとえば、図３３に示すように、隣接する文字間において、誤った画素の補間処理がなされる場合があることから、文字を１文字１文字切り出した上で補間処理を行おうとするためである。つまり、図３３に示すように、隣接した文字同志に極めて接近した部分ｓがあると、その接近した部分ｓは画素の補間の必要とする部分であると判断されて、誤った処理がなされる可能性があるからであり、それを防止するために、文字を１文字１文字切り出して、切り出された文字の範囲内で補間処理を行おうとするものである。これにより、隣接する文字間における誤った画素の補間処理の防止が図れる。
【０２５９】
図３４は以上説明した画像の修復処理により修復された画像の具体例を示すものである。同図（ａ）の（Ｉ）は図４０（ｂ）で示した１回コピ−した画像であり、同図（ｂ）の（Ｉ）は図４０（ｃ）で示した２回コピ−した画像である。これを前記した処理を施すことにより、同図（ＩＩ）に示す如く、「かすれ」部分が殆ど修復された画像となる。また、この処理とともに、画像の凹凸を無くす処理（スム−ジング処理）を施すと、同図（ＩＩＩ）に示す如く、さらに見た目のよい画像となる。
【０２６０】
このような処理を施した場合の、文字認識装置における認識率は、同図（ａ）の１回コピ−した画像は、（Ｉ）の画像では９３．４％であったものが、（ＩＩ）では９７．１％に改善され、また、同図（ｂ）の２回コピ−した画像は、（Ｉ）の画像では８２．３％であったものが、（ＩＩ）では９３．１％に改善された。
【０２６１】
このように、画質に応じた閾値ＴＨ３を設定することにより、検出された間隔がその閾値より小さければその間隔には画素の補間を行い、検出された間隔がその閾値より大きければ、その間隔はもともと空白であったと見做して画素の補間は行わないので、本来、画素の無い部分にまで画素を補間してしまうという誤った処理を防止することができ、かすれなどにより劣化した部分のみを確実に修復処理することができる。
【０２６２】
したがって、この画像改善装置をディジタルコピ−機や文字認識装置などに適用すればその効果は絶大なるものがある。特にディジタルコピ−機においてその効果はより顕著なものとなる。すなわち、ディジタルコピ−機は画像を忠実に再現するための装置であり、元の原稿がかすれていたりすると、かすれたままのコピーがなされる。しかし、本発明の画像処理装置を適用することにより、画像の品質が悪いと判断した場合には、品質に合わせた画質の改善処理を行うことができる。つまり、元の原稿がかすれていたりした場合には、かすれを修復（画素の補間など）したコピーを行えるので、元の原稿よりも品質のよいコピー原稿が得られる。また、画像の品質を判断しながら処理を行うので、品質の良い原稿に対しては余計な処理を加えることがないので、悪影響を与えることはない。また、文字認識装置においても、文字認識処理前に画像の品質を判断し、画像の品質が悪いと判断した場合には、品質に合わせた画質の改善処理を行うことにより、文字認識率を大幅に向上することができる。
【０２６３】
なお、この第２の実施例において、閾値ＴＨ３を求める変数としての評価値は、前記第１の実施例で算出した種々の評価値、つまり、第１の特徴量である第１の評価値、第２の特徴量である第２の評価値、第１の特徴量と第２の特徴量とを考慮した評価値（たとえば第１の特徴量−第２の特徴量による評価値Ａ、第１の特徴量＋第２の特徴量による評価値Ｂ）、これら各評価値に第３の特徴量を掛けて求めた評価値Ｃ１〜Ｃ４、または、第４の特徴量である第４の評価値、第５の特徴量である第５の評価値、第４の特徴量と第５の特徴量とを考慮した評価値（たとえば第４の特徴量−第５の特徴量による評価値Ｄ、第４の特徴量＋第５の特徴量による評価値Ｅ）、これら各評価値に第３の特徴量を掛けて求めた評価値Ｆ１〜Ｆ４のいずれも使用することができるが、評価値Ｃ１〜Ｃ４または評価値Ｆ１〜Ｆ４のいずれかを用いればより優れた効果を得ることができる。
【０２６４】
また、この第２の実施例では、閾値ＴＨ３を求めるための〔２２〕式における関数を、一次関数としたが、多数の劣化した画像を用意することにより、たとえばｎ次関数とすることもできる。さらに、処理を簡便にするために〔２２〕式における関数を、評価値を変数とした関数とせずに、固定値としてもよい。
【０２６５】
（第３の実施例）
次に、この発明の第３の実施例として、文字画像に適合した最適な２値化閾値を決定する手段について説明する。
【０２６６】
２値化方法としては従来より数多く提案されているが、これら従来の方法は必ずしも文字画像に適合した２値化方法とはいえない。つまり、２値化後にかすれやつぶれが生じる場合もある。そこで、この実施例では、前記画質算出部１１にて求められた評価値を用いて２値化閾値を決定する方法を説明する。
【０２６７】
図３５はこの第３の実施例の全体的な構成を示す図であり、図１で示した構成に２値化閾値決定部３１を設けた構成となっている。
【０２６８】
この２値化閾値決定部３１の処理内容を図３６のフローチャートを参照しながら説明する。
【０２６９】
まず、処理対象とする画像を多値で入力する（ステップＳ９１）。なお、ここでは１６階調での入力とし、また、白の階調を「０」、黒の階調を「１５」とする。次に、２値化するための仮の２値化閾値を決定する（ステップＳ９２）。１６階調における中央値は「７」もしくは「８」であり、ここでは、仮の２値化閾値の設定範囲を５〜１１の階調の範囲で変化させるものとし、仮の２値化閾値の初期値を「８」とする。ここで、仮の２値化閾値の設定範囲を５〜１１としたのは、１６階調入力の場合、一般に、この範囲内に２値化に適した閾値が存在するからである。
【０２７０】
そして、このように設定された仮の２値化閾値を用いて２値化を行う（ステップＳ９３）。この２値化処理のあと、評価値の算出を行う（ステップＳ９４）。ここでの評価値の算出方法は前記したいずれの方法を用いてもよいが、ここでは、図２３で説明したように、第４の特徴量＋第５の特徴量にて求めた評価値（評価値Ｅ）を用いた例について説明する。この場合、前述したように、評価値Ｅが最小となるところが最良の画質が得られるところである。したがって、この評価値Ｅが最小となるところを２値化閾値として決定すればよい。以下に評価値Ｅが最小となる閾値の判断について説明する。図３７は、処理対象となる画像の２値化閾値ＴＨ１と誤り率（点線で示す）および評価値Ｅ（実線で示す）の関係を示す図であり、評価値Ｅは第４の特徴量＋第５の特徴量にて求めたものである。この図３７において、評価値Ｅを示す曲線に付された「＋」、「−」は、「かすれ」の値が「つぶれ」の値以上の場合を「＋」、それ以外を「−」として示したものである。以下、処理手順を図３８のフローチャートを参照して説明する。
【０２７１】
図３８において、まず、仮の２値化閾値ＴＨ１の初期値を「８」と設定（ステップＳ１０１）し、この仮の２値化閾値ＴＨ１の初期値「８」における評価値を求め、そのときにおけるかすれとつぶれの大きさの判断、つまり、「かすれ≧つぶれ」であるか否かを判断する（ステップＳ１０２）。この判断において、図３７からわかるように、この場合、つぶれがかすれより大きいので、求めるべき２値化閾値は「８」より小さいと判断して、仮の２値化閾値ＴＨ１を「６」と設定する（ステップＳ１０３）。そして、仮の２値化閾値ＴＨ１が「６」における評価値を求め、そのときにおけるかすれとつぶれの大きさの判断、つまり、「かすれ≧つぶれ」であるか否かを判断する（ステップＳ１０４）。この判断において、この場合、「かすれ≧つぶれ」であるので、仮の２値化閾値ＴＨ１は「７」と決定される（ステップＳ１０５）。そして、仮の２値化閾値ＴＨ１が「７」における評価値を求めると、「かすれ≧つぶれ」となる。よって、仮の２値化閾値ＴＨ１＝「７」はかすれ寄りに、ＴＨ１＝「８」ではつぶれ寄りになることから、このいずれかが最適の２値化閾値となる。そこで、この２つ（もとめた３つの評価値でもかまわない）の評価値のうち最小となる評価値に対応する２値化閾値が１６階調における最適の２値化閾値となり、この場合、その最適の２値化閾値はＴＨ１＝「７」となる。つまり、２値化閾値ＴＨ１は「７」に収束したものと判断（ステップＳ１０６）される。このように、この場合は、３回の仮の２値化閾値設定処理および評価値計算により求めるべき２値化閾値が決定することができる。
【０２７２】
なお、ここでは第４の特徴量＋第５の特徴量にて求めた評価値Ｅを用いた例について説明したが、図６（ａ）あるいは図８（ａ）のように単純減少あるいは単純増加となる評価値を用いた場合は、評価値に基準となる点を設定（たとえば図示一点鎖線で示す）することにより、上記同様の処理を行うことができる。また、階調は１６階調に限られるものではなく、２値化閾値を決定するための収束方法も上記方法に限られるものではない。また、これをスキャナに応用する場合は、多値データの入力はデータ転送に時間がかかるため、仮の２値化閾値でスキャナから２値入力し、パソコンで評価値算出および収束判断を行ないながら、順次、２値化閾値を変更してスキャナから２値入力および２値化閾値の決定を行うようにしてもよい。また、一部の領域について多値で入力し、２値化閾値を決定したあと、その２値化閾値による２値データでの全面入力を行うようにしてもよい。さらに、入力する画像を幾つかの領域（たとえば文字列単位）に分割し、その分割された領域ごとに２値化閾値の決定を行うようにしてもよい。
【０２７３】
以上説明したように、この実施例では、最良の画質が得られるところを２値化閾値として決定できるので、コピー機やスキャナなどに応用することにより、かすれやつぶれの少ない高品質な画像を得ることができる。また、ＯＣＲの前処理として用いることにより、図３７を例にすると、従来、デフォルトの２値化閾値がＴＨ１＝「８」であったとすると、自動的に高認識率の得られるＴＨ１＝「７」に設定でき、高い認識率を得ることができる。
【０２７４】
図３９は上記したような２値化閾値の決定方法により２値化を行うとともに、かすれやつぶれなどによって劣化した画像の改善処理を可能とした画像処理装置の構成を示す図であり、基本的な構成は図２７と同じであり、この図２７の構成にさらに前記実施例３で説明した２値化閾値決定部３１が設けられている。つまり、画質算出部１１、画質改善部２１、２値化閾値決定部３１を組み合わせた構成としたものである。
【０２７５】
この画像処理装置の概略的な処理としては、前記画質算出部１１にて求められた評価値を用いて２値化閾値を決定して２値化を行い、２値化後の画像に対して、前記評価値を用いて画質の改善処理を行うというものである。なお、この処理における評価値算出処理、この評価値を用いた２値化閾値決定処理、前記評価値を用いた画質の改善処理などについては、これまでに詳細に説明したので、ここではこれらの処理手順などについての説明は省略する。
【０２７６】
なお、評価値を用いて２値化閾値を決定して２値化を行う処理と、２値化後の画像に対して、前記評価値を用いて画質の改善を行う処理は、まず、対象となる画像に全面に対して２値化閾値を決定して２値化を行ったあとに、画質の改善を行うようにしてもよく、また、これらの処理を並行（２値化閾値を決定して２値化を行う処理が先行する）して行うようにしてもよい。
【０２７７】
このように、画質算出部１１にて求められた評価値を用いて２値化閾値を決定して２値化を行い、２値化後の画像に対して、前記評価値を用いて画質の改善処理を行うことにより、最良の画質が得られるところを２値化閾値として決定できるので、２値化の段階においてかすれやつぶれの少ない高品質な画像を得ることができる。また、画像の品質が悪いと判断した場合には、さらに品質に合わせた画質の改善処理を行うことができる。つまり、元の原稿がかすれていたりした場合には、たとえ２値化閾値を最適に設定しても、かすれ等がなくなるわけではない。よって、さらに画質の改善処理を行うことにより、かすれを修復（画素の補間など）したコピーが行えるので、元の原稿よりも品質のよいコピー原稿が得られる。また、画像の品質を判断しながら処理を行うので、品質の良い原稿に対しては余計な処理を加えることがないので、悪影響を与えることはない。また、文字認識装置においても、文字認識処理前に画像の品質を判断し、画像の品質が悪いと判断した場合には、品質に合わせた画質の改善処理を行うことにより、文字認識率を大幅に向上することができる。
【０２７８】
また、これまで説明した実施例では、主として日本語に適用するものとしての説明であるが、アルファニュ−メリック（αＮ）への対応も、以下のような変更を施すことにより可能となる。
【０２７９】
まず、第１の実施例に記載の部分では以下のように対処する。
１）前記〔１〕式で示した第１の特徴量算出式を次式のように変更する。
【０２８０】
第１の特徴量＝１画素特徴点の出現回数／白黒反転回数
ここで、１画素特徴点とは、図３（ａ），（ｂ）に示す特徴点である。この変更理由としては、アルファニュ−メリックの場合、「かすれ」部分は殆どが１画素の凸部であるためである。
２）前記〔２〕式、つまり、第２の特徴量算出式
第２の特徴量＝一定長以上の黒ランの数／黒ランの総数
において、黒ランの数をカウントするための閾値ＴＨ２の算出方法を変更する。第１の実施例における閾値ＴＨ２は、文字の大きさに近い横線の画素数を基準に求めていたが、アルファベットなどは日本語に比べ、横線の直線性が低く、横線により文字の大きさを判断するするのは困難である。また、アルファベットなどの文字は縦線の太さを基にして文字の大きさを判断したほうがより適格に判断できる。これらの点から、
閾値ＴＨ２＝文字の縦線の太さの平均×α
とする。ここで、αは３．０〜４．０の範囲とする。これは、アルファベットなどの文字の大きさは文字の縦線の太さの約３〜４倍であることが多いからであり、実験によれば、α＝３．４が適当であった。つまり、文字の縦線の太さを約３．４倍したものがその文字の横方向の画素のつながりの長さであると判断できる。ここで、文字の縦線の太さは、６画素（３００ＤＰＩ入力時、文字の大きさの約１／３〜１／４に相当）以下の黒ランの長さの平均としている。
【０２８１】
また、第２の実施例に記載された部分においては以下のように対処する。
３）画素加工手段２３の変更
アルファニュ−メリックにおいては、文字のベ−スライン付近における隣接文字との接触は比較的多いことから、ベ−スライン付近での接触が多少あっても認識率の低下にはつながらず、また、見た目としても悪くないことから、ベ−スライン付近での補間処理における閾値とベ−スライン付近以外での補間処理における閾値とを分けて設定する。
【０２８２】
これを図４０を用いて説明する。
【０２８３】
図４０には一例として「ｂｒｉ」というアルファベットが書かれた例が示されているが、アルファベットの場合は、前記したように、ベ−スライン３０１付近での隣接文字との接触が多少あっても認識率の低下にはつながらず、また、見た目としても悪くないといえる。これに対して、ベ−スライン３０１以外の部分、たとえば、図中３０２で示す部分がつながってしまうと、この場合は「ｎ」に見えたりすることもある。したがって、ベ−スライン３０１以外の部分では閾値ＴＨ３を小さく設定して、なるべく補間処理を行わないようにする。なお、ベ−スライン３０１付近では、これより閾値ＴＨ３を多少大きくとっても差し支えない。
【０２８４】
このような処理を行うに際してのベ−スライン３０１の検出は、画像の劣化候補部分、たとえば、図中３０３で示す部分の或る点Ｑ１から２画素程度下のラインを調べて、そのライン３０４に上記Ｐ１を中心に左右１０画素程度づつ（合計２０画素）の黒画素が存在していなければ、上記点Ｑ１部分はベ−スラインであると判断する。なお、上記２０画素の黒画素というのは約１文字に相当する大きさである。
【０２８５】
このような処理を行うことにより、アルファニュ−メリックにおいても画素修復が可能となる。
【０２８６】
また、前記各実施例では、文字の解像度として３００ＤＰＩの場合について各閾値などの設定を行う例を説明したが、他の解像度にも対応可能である。たとえば、解像度を２００ＤＰＩとした場合は、各閾値などを２／３とすればよい。
【０２８７】
また、前記各実施例では、処理対象を文字としているため、図表やノイズとの区別は、黒画素のつながりの長さで判断する。つまり、図表は黒画素のつながりの長さは文字に比べれば極めて長いのが普通であり、ノイズは逆に短い。したがって、この長さより図表やノイズを判断して、これらは処理対象としないようにする。なお、図表などにおいては、評価値の算出という点では本発明の対象とはしないが、劣化した部分に対して画素を追加して修復するという技術は適応可能となる。
【０２８８】
また、本発明では、カラ−への対応も可能となる。すなわち、２値化されたＲＢＧごとにこの実施例で説明した処理を行うことにより対応可能となる。
【０３０３】
以上述べたように本発明によれば、例えば画像入力手段により入力された画像デ−タの画質を判断するための特徴量を抽出し、その特徴量を評価値として算出する画質算出工程と、画質の劣化した可能性のある部分をその特徴を基に抽出して画質改善処理対象候補を決定し、この画質改善処理対象候補に対して前記画質算出工程で求めた評価値を用いて画質改善処理を行う画質改善工程とを有したことにより、画像の劣化部分を的確に判断でき、しかも、その劣化部分の画素の欠けを判断して、劣化による画素の欠けの場合のみに、画素の補間処理を可能とし、劣化した画像の的確な修復を行うことができる。したがって、これをコピ−機に適用することにより、たとえば、元の原稿がかすれていた場合には、通常は、コピー後の原稿はかすれたままあるいはそれ以上のかすれを有した原稿となるが、本発明によれば、かすれ部分が修復されるので、元の原稿よりも高品質な原稿が得られる。また、画質を判断しながら処理を行うので、品質のよい原稿に対しては何も処理を行わないので、品質のよい原稿に対しては何ら影響を与えない。また、文字認識装置などに適用することにより、高い認識率を得ることができる。
【０３０４】
また、画質改善処理対象となる候補を抽出する処理候補抽出工程と、この処理候補抽出工程により抽出された処理候補に対して画質改善を行うために画素の補間を行う画素加工工程とを有し、画質の劣化した部分のみを抽出し、前記画質算出部で算出された評価値を用いて、この抽出された部分に対して画質改善処理を施すようにしたので、画質の悪い場合にのみ画質改善処理を施すようにし、たとえば、もともと空白であった部分に新たに画素を追加するという誤った処理を行うのを確実に防止することができる。
【０３０５】
また、画質の劣化した部分に対して劣化により生じる特徴点を検出してその特徴点を抽出する特徴点抽出工程と、この特徴点抽出工程により抽出した特徴点の位置関係から画質改善対象候補を決定する候補決定工程とを有することにより、画質の劣化部分を、劣化により生じる空間を挟んだ画素同志の対面による特徴点を抽出し、この抽出された特徴点の位置関係から画質改善対象候補を決定することができ、画質改善対象とすべく劣化部分を効率よく的確に抽出することができる。
【０３０６】
また、閾値算出工程を有し、前記画質算出工程により求められた評価値を用いて、この評価値を変数とする関数により或る閾値を求め、画素の補間を行おうとする間隔と前記閾値とを比較し、その比較結果から画素の補間処理を行うか否かを決定するようにしたので、画質の劣化に応じて画素が欠けて劣化した部分に対してのみに補間処理が施され、もともと空白であった部分に新たに画素を追加するという誤った処理を行うのを確実に防止することができる。
【０３０７】
また、文字切り出し工程を有し、この文字切り出し工程により切り出された文字領域内において、画質改善を行うために画素の補間を行うようにしたので、隣接する文字間で誤った画素の補間処理がなされるのを確実に防止することができる。
【０３０８】
また、画像入力手段により入力された画像デ−タの画質を判断するための特徴量を抽出し、その特徴量を評価値として算出する画質算出工程と、この画質算出工程により得られた評価値を用いて処理対象の画像に対する２値化閾値を決定する２値化閾値決定工程とを有しているので、文字に適合した２値化閾値を決定することができ、これにより２値化処理された画像は「かすれ」や「つぶれ」を極力少なくすることができる。
【０３０９】
また、前記画質算出工程から得られる評価値のうち第１の評価値と第２の評価値を加算して評価値を得る場合には、２つの評価値を加算して得られる評価値が最小となる部分に対応する閾値を、求めるべき２値化閾値とすることにより、最も画質の良くなる２値化閾値を簡単に決定することができ、２値化閾値の決定処理を簡略化することができる。
【０３１０】
また、画像入力手段により入力された画像デ−タの画質を判断するための特徴量を抽出し、その特徴量を評価値として算出する画質算出工程と、この画質算出工程で得られた評価値を用いて処理対象の画像に対する２値化閾値を決定する２値化閾値決定工程と、画質の劣化した可能性のある部分をその特徴を基に抽出して画質改善処理対象候補を決定し、この画質改善処理対象候補に対して前記画質算出工程で得られた評価値を用いて画質改善処理を行う画質改善工程とを有しているので、文字に適合した２値化閾値を決定することができ、これにより２値化処理された画像は「かすれ」や「つぶれ」を極力少なくすることができ、さらに劣化した部分の改善がなされるので、コピー機や文字認識装置などに適用することにより、その効果は極めて大きなものとなる。
【０３２５】
また、例えば画像入力手段により読み取られた画像デ−タの画質を判断して特徴量を抽出し、その特徴量を評価値として算出する画質算出手段と、画質の劣化した可能性のある部分をその特徴を基に抽出して画質改善処理対象候補を決定し、この画質改善処理対象候補に対して前記画質算出手段で求めた評価値を用いて画質改善処理を行う画質改善手段とを有したことにより、画像の劣化部分を的確に判断でき、しかも、その劣化部分の画素の欠けを判断して、劣化による画素の欠けの場合のみに、画素の補間処理を可能とし、劣化した画像の的確な修復を行うことができる。したがって、これをコピ−機に適用することにより、たとえば、元の原稿がかすれていた場合には、通常は、コピー後の原稿はかすれたままあるいはそれ以上のかすれを有した原稿となるが、本発明によれば、かすれ部分が修復されるので、元の原稿よりも高品質な原稿が得られる。また、画質を判断しながら処理を行うので、品質のよい原稿に対しては何も処理を行わないので、品質のよい原稿に対しては何ら影響を与えない。また、文字認識装置などに適用することにより、高い認識率を得ることができる。
【０３２６】
また、画質改善処理対象となる候補を抽出する処理候補抽出手段と、この処理候補抽出手段により抽出された処理候補に対して画質改善を行うために画素の補間を行う画素加工手段とを有し、画質の劣化した部分のみを抽出し、前記画質算出部で算出された評価値を用いて、この抽出された部分に対して画質改善処理を施すようにしたので、画質の悪い場合にのみ画質改善処理を施すようにし、たとえば、もともと空白であった部分に新たに画素を追加するという誤った処理を行うのを確実に防止することができる。
【０３２７】
また、画質の劣化した部分に対して劣化により生じる特徴点を検出してその特徴点を抽出する特徴点抽出手段と、この特徴点抽出手段により抽出した特徴点の位置関係から画質改善対象候補を決定する候補決定手段とを有することにより、画質の劣化部分を、劣化により生じる空間を挟んだ画素同志の対面による特徴点を抽出し、この抽出された特徴点の位置関係から画質改善対象候補を決定することができ、画質改善対象とすべく劣化部分を効率よく的確に抽出することができる。
【０３２８】
また、閾値算出手段を有し、前記画質算出手段により求められた評価値を用いて、この評価値を変数とする関数により或る閾値を求め、画素の補間を行おうとする間隔と前記閾値とを比較し、その比較結果から画素の補間処理を行うか否かを決定するようにしたので、画質の劣化に応じて画素が欠けて劣化した部分に対してのみに補間処理が施され、もともと空白であった部分に新たに画素を追加するという誤った処理を行うのを確実に防止することができる。
【０３２９】
また、文字切り出し手段を有し、この文字切り出し手段により切り出された文字領域内において、画質改善を行うために画素の補間を行うようにしたので、隣接する文字間で誤った画素の補間処理がなされるのを確実に防止することができる。
【０３３０】
また、画像入力手段により入力された画像デ−タの画質を判断するための特徴量を抽出し、その特徴量を評価値として算出する画質算出手段と、この画質算出工程により得られた評価値を用いて処理対象の画像に対する２値化閾値を決定する２値化閾値決定手段とを有しているので、文字に適合した２値化閾値を決定することができ、これにより２値化処理された画像は「かすれ」や「つぶれ」を極力少なくすることができる。
【０３３１】
また、前記画質算出手段から得られる評価値のうち第１の評価値と第２の評価値を加算して評価値を得る場合には、２つの評価値を加算して得られる評価値が最小となる部分に対応する閾値を、求めるべき２値化閾値とすることにより、最も画質の良くなる２値化閾値を簡単に決定することができ、２値化閾値の決定処理を簡略化することができる。
【０３３２】
また、画像入力手段により入力された画像デ−タの画質を判断するための特徴量を抽出し、その特徴量を評価値として算出する画質算出手段と、画質の劣化した可能性のある部分をその特徴を基に抽出して画質改善処理対象候補を決定し、この画質改善処理対象候補に対して前記画質算出手段で得られた評価値を用いて画質改善処理を行う画質改善手段と前記画質算出手段で得られた評価値を用いて処理対象の画像に対する２値化閾値を決定する２値化閾値決定手段とを有しているので、文字に適合した２値化閾値を決定することができ、これにより２値化処理された画像は「かすれ」や「つぶれ」を極力少なくすることができ、さらに劣化した部分の改善が行われるので、コピー機や文字認識装置などに適用することにより、その効果は極めて大きなものとなる。
【図面の簡単な説明】
【図１】 本発明の第１の実施例の構成図。
【図２】 「かすれ」について説明する図。
【図３】 「かすれ」における特徴点を説明する図。
【図４】 第１の実施例における第１の特徴量抽出処理を説明するフロ−チャ−ト。
【図５】 第１の実施例における「かすれ」度合い（「つぶれ」度合い）を用いて２値化閾値を説明する図。
【図６】 第１の実施例における「かすれ」を基準とした２値化閾値と文字認識誤り率および第１の評価値の関係を説明する図。
【図７】 第１の実施例における第２の特徴量抽出処理を説明するフロ−チャ−ト。
【図８】 第１の実施例における「つぶれ」を基準とした２値化閾値と文字認識誤り率および第２の評価値の関係を説明する図。
【図９】 第１の実施例における第１の評価値に第２の評価値を考慮した評価値Ａの算出処理を説明するフロ−チャ−ト。
【図１０】 第１の実施例における「かすれ」を基準とした２値化閾値と文字認識誤り率および評価値Ａ（第１の評価値−第２の評価値）の関係を説明する図。
【図１１】 第１の実施例における「かすれ」を基準とした２値化閾値と文字認識誤り率および評価値Ｂ（第１の評価値＋第２の評価値）の関係を説明する図。
【図１２】 第１の実施例における第１の評価値、第２の評価値に第３の特徴量を考慮した評価値Ｃの算出処理を説明するフロ−チャ−ト。
【図１３】 第１の実施例において周波数領域における第４の評価値の算出処理を説明するフロ−チャ−ト。
【図１４】 アダマール変換後の行列における高周波成分と低周波成分を説明する図。
【図１５】 或る２値化閾値におけるシーケンシと分散の比の関係を説明する図。
【図１６】 ２値化閾値と周波数領域において求められた第４の評価値との関係を説明する図（その１）。
【図１７】 アダマール変換におけるＤＣ成分以外の或るシーケンシにおける分布を説明する図。
【図１８】 ２値化閾値と周波数領域において求められた第４の評価値との関係を説明する図（その２）。
【図１９】 第１の実施例において周波数領域における第５の評価値の算出処理を説明するフロ−チャ−ト。
【図２０】 ２値化閾値と周波数領域において求められた第５の評価値との関係を説明する図（その１）。
【図２１】 ２値化閾値と周波数領域において求められた第５の評価値との関係を説明する図（その２）。
【図２２】 第１の実施例における第４の評価値に第５の評価値を考慮した評価値Ｄまたは評価値Ｅの算出処理を説明するフロ−チャ−ト。
【図２３】 第１の実施例における第４の評価値に第５の評価値を考慮（第４の評価値＋第５の評価値）した評価値Ｅの算出処理を説明する図。
【図２４】 第１の実施例における第４の評価値、第５の評価値に第３の特徴量を考慮した評価値Ｆの算出処理を説明するフロ−チャ−ト。
【図２５】 処理対象となる原稿上で異なる領域が存在する場合における特徴量抽出範囲に制限を設けた例を説明する図。
【図２６】 原稿上で異なる領域を検出するための一例を説明する図。
【図２７】 本発明の第２の実施例の構成図。
【図２８】 第２の実施例における特徴点同志の対面例において補間候補とする条件を説明する図。
【図２９】 第２の実施例において画像の劣化度合い応じた画素の状態を説明する図。
【図３０】 第２の実施例において画素の間隔とその部分が劣化による空白部かもともとの空白部かを説明する図。
【図３１】 第２の実施例において評価値を変数とする関数により閾値ＴＨ３を求める一例を説明する図。
【図３２】 第２の実施例の全体的な処理を説明するフロ−チャ−ト。
【図３３】 文字を切り出したのち画素の補間処理を行う例を説明するための隣接した文字の一例を示す図。
【図３４】 第２の実施例により画質改善された例を示す図。
【図３５】 本発明の第３の実施例の構成図。
【図３６】 第３の実施例の全体的な処理を説明するフロ−チャ−ト。
【図３７】 第３の実施例における２値化閾値の決定処理を説明する図。
【図３８】 第３の実施例における２値化閾値の決定処理を説明するフロ−チャ−ト。
【図３９】 画質算出部、２値化閾値決定部、画質改善部を組み合わせた構成図。
【図４０】 本発明をアルファニュ−メリックに適用する場合におけるベ−スライン検出を説明する図。
【図４１】 スキャナで読み取った後の画像の一例を説明する図。
【符号の説明】
１０・・・画像処理装置
１１・・・画質算出部
２１・・・画質改善部
３１・・・２値化閾値決定部
２２・・・処理候補抽出手段
２３・・・画素加工手段
１１１・・・第１の特徴量抽出手段
１１２・・・第２の特徴量抽出手段
１１３・・・第３の特徴量抽出手段
１１４・・・第４の特徴量抽出手段
１１５・・・第５の特徴量抽出手段
２２１・・・特徴点抽出手段
２２２・・・候補決定手段
２３１・・・閾値算出手段
２３２・・・文字切り出し手段
【産業上の利用分野】
本発明は、たとえばコピー機におけるコピー品質を客観的に評価して、品質の劣化した画像に対しては画像の修復を可能とし、さらに文字認識（ＯＣＲ）処理を行う際の前処理としても利用可能な画像処理方法および画像処理装置に関する。
【０００２】
【従来の技術】
近年、コピー機が広く普及しているが、最近のコピー機は、画像を忠実に再現する性能は著しく向上している。特に、現在、普及しつつあるディジタルコピ−機においては、高忠実度のコピー性能を生かしてあるがままの状態を保持した高品質なコピ−がなされる。
【０００３】
したがって、コピーを行おうとする原稿の画像がはっきりしてきれいな画像は、ディジタルコピ−機の持つ高い忠実度のコピ−性能を生かして、あるがままの状態を保持した高品質なコピ−がなされるが、従来のアナログコピ−機を用いて複数回のコピ−を行った後の劣化した画像をコピ−すると、それもあるがままの状態でのコピ−がなされることになる。
【０００４】
また、最近では活字印刷された文書をスキャナで読み込んで、この読み込んだ画像デ−タから文字を抽出し、それをコ−ド化する文字認識技術が広い分野で用いられてきている。このような文字認識において、文書をスキャナで読み込む際、文書がコピ−機でコピ−されたものでなく、原本である場合、たとえば、図４１（ａ）に示すように文字画像がはっきりしてきれいな場合は、高い認識率が得られる。
【０００５】
しかし、原本がこのように、はっきりしてきれいな画像であっても、コピ−機でコピ−を繰り返したりすると、画像の劣化が生じて、このような劣化した画像をスキャナで読み取ると、図４１（ｂ），（ｃ）のような画質の劣化した画像となる場合もある。同図（ｂ）は原本の画像を１回コピ−した画像をスキャナで読み取った画像、同図（ｃ）は１回コピ−した画像をさらにもう一回コピ−した画像（２回コピ−した画像という）をスキャナで読み取った画像を示している。
【０００６】
このようなコピ−による画像の品質の劣化への対応は、従来は、文字認識エンジン側で対応していた。すなわち、ある程度劣化した文字画像にも対応できるように、劣化した文字画像を含めた文字認識用の辞書を作成したり、あるいは、多少の凹凸は修復するなどにより対応していた。
【０００７】
【発明が解決しようとする課題】
前記したように、コピ−機はあるがままの状態を保持する高い忠実度のコピ−性能が要求されているが、従来のアナログコピー機などで複数回のコピ−を行った後の劣化した画像（図４１（ｂ）,（ｃ） ）を、高い忠実度のコピ−性能を有するディジタルコピ−機でコピ−すると、それもあるがままの状態でのコピ−がなされることになり、高品質のコピ−画像が得られないという問題があった。
【０００８】
また、コピー機の性能評価（画像品質の評価）は主に主観的な評価によって行われるのが普通である。つまり。コピー後の画像を人間の見た目で判断してそのコピー機の性能を判断するのが一般的である。コピ−機において、コピ−を繰り返すことによる劣化した文字を文字認識対象やコピ−対象とする場合、従来技術では、その劣化した文字の多少の凹凸を無くしたりする技術はあるが、画像の品質を数値による客観的な評価を行い、画像、特に文字のいわゆる「かすれ」や「つぶれ」などを判断し、その劣化状態に応じて適格に修復するという技術はなかった。
【０００９】
また、読み込んだ画像デ−タから文字を抽出し、それをコ−ド化する文字認識技術において、前記した従来の方式では、劣化した文字に対して十分な対応がとれず、たとえば、図４１（ａ），（ｂ），（ｃ）の文字画像を文字認識したとすると、同図（ａ）を１００％の文字認識率とした場合、同図（ｂ）は９０％、同図（ｃ）は８０％というように認識率が大幅に低下する。このように、劣化した画像のままでは十分な認識率が得られないばかりか、見た目としても良い画像が得られないという問題があった。
【００１０】
さらに、文字画像を２値化する際には最適な２値化閾値を決定する必要があるが、従来の２値化閾値の決定方法は、必ずしも、文字に適合した２値化閾値が決定されるものではなく、決定された２値化閾値によって２値化されたのちに、かすれやつぶれが生じる場合もあった。
【００１１】
そこで、本発明はこれらの課題を解決するもので、コピー機においては、コピー後の画像の品質を客観的に評価し、画像の劣化部分を判断して、劣化部分に対しては、その劣化状態に応じた画質の改善処理を施すことを可能とするとともに、文字に適した最適な２値化閾値の決定を可能とし、また、文字認識装置などの前処理としての利用価値が高い画像処理方法および画像処理装置を提供することを目的としている。
【００２６】
【課題を解決するための手段】
本発明の画像処理方法は、画像入力手段により入力された画像データの画質を判断するための特徴量を抽出し、その特徴量を評価値として算出する画質算出工程と、前記画質算出工程で算出した評価値に基づいて画質改善処理を行う画質改善工程とを有する画像処理方法であって、前記画質算出工程は、画素の特徴を特徴点として予め幾つかのパターンを用意し、処理ラインにおける前記特徴点の出現回数と、黒画素と白画素の反転回数との比を、第１の評価値として算出する第１の特徴量抽出工程を有し、前記画質改善工程は、対面している特徴点同士を抽出する特徴点抽出工程と、前記抽出した特徴点同士の対面のパターンが、予め設定されたパターンに合致している場合、前記対面している特徴点同士を画質改善対象候補として決定する候補決定工程と、前記候補決定工程により決定された画質改善対象候補における特徴点同士の間の距離と、前記画質算出工程により算出された第１の評価値に基づいて定められる閾値とを比較し、当該比較の結果に基づいて、前記画質改善対象候補における特徴点同士の間の画素の補間を行うか否かを決定し、前記画素の補間を行うと決定した場合に、前記画素の補間を行う画素加工工程と、を有することを特徴とする。
また、上記の画像処理方法において、前記画質算出工程は、文字の大きさにほぼ相当する黒画素の連続したつながりの平均的な長さを求めるとともに、前記平均的な長さ以上の黒画素の連続したつながりの数を求め、この平均的な長さ以上の黒画素の連続したつながりの数と、黒画素と白画素の反転回数の１／２の数との比を第２の評価値として算出する第２の特徴量抽出工程を有し、前記第１の評価値と前記第２の評価値とを用いて演算した評価値を求め、前記画素加工工程は、前記候補決定工程により決定された画質改善対象候補における特徴点同士の間の距離と、前記画質算出工程により算出された前記第１の評価値と前記第２の評価値とを用いて演算した評価値に基づいて定められる閾値とを比較し、当該比較の結果に基づいて、前記画質改善対象候補における特徴点同士の間の画素の補間を行うか否かを決定し、前記画素の補間を行うと決定した場合に、前記画素の補間を行うことを特徴とする。
【００２７】
また、本発明の画像処理方法は、画像入力手段により入力された画像データの画質を判断するための特徴量を抽出し、その特徴量を評価値として算出する画質算出工程と、前記画質算出工程で算出した評価値に基づいて画質改善処理を行う画質改善工程とを有する画像処理方法であって、前記画質算出工程は、文字の大きさにほぼ相当する黒画素の連続したつながりの平均的な長さを求めるとともに、前記平均的な長さ以上の黒画素の連続したつながりの数を求め、この平均的な長さ以上の黒画素の連続したつながりの数と、黒画素と白画素の反転回数の１／２の数との比を第２の評価値として算出する第２の特徴量抽出工程を有し、前記画質改善工程は、対面している特徴点同士を抽出する特徴点抽出工程と、前記抽出した特徴点同士の対面のパターンが、予め設定されたパターンに合致している場合、前記対面している特徴点同士を画質改善対象候補として決定する候補決定工程と、前記候補決定工程により決定された画質改善対象候補における特徴点同士の間の距離と、前記画質算出工程により算出された第２の評価値に基づいて定められる閾値とを比較し、当該比較の結果に基づいて、前記画質改善対象候補における特徴点同士の間の画素の補間を行うか否かを決定し、前記画素の補間を行うと決定した場合に、前記画素の補間を行う画素加工工程と、を有することを特徴とする。
【００２８】
また、上記の画像処理方法において、前記画質算出工程は、黒画素の連続したつながりの平均的な長さを文字の大きさにほぼ相当する第３の特徴量として抽出する第３の特徴量抽出工程を有し、前記第１の評価値および／または前記第２の評価値と、前記第３の特徴量とを用いて演算した評価値を求め、前記画素加工工程は、前記候補決定工程により決定された画質改善対象候補における特徴点同士の間の距離と、前記画質算出工程により算出された前記第１の評価値および／または前記第２の評価値と、前記第３の特徴量と、を用いて演算した評価値に基づいて定められる閾値とを比較し、当該比較の結果に基づいて、前記画質改善対象候補における特徴点同士の間の画素の補間を行うか否かを決定し、前記画素の補間を行うと決定した場合に、前記画素の補間を行うことを特徴とする。
【００２９】
また、本発明の画像処理方法は、画像入力手段により入力された画像データの画質を判断するための特徴量を抽出し、その特徴量を評価値として算出する画質算出工程と、前記画質算出工程で算出した評価値に基づいて画質改善処理を行う画質改善工程とを有する画像処理方法であって、 前記画質算出工程は、入力された画像データから周波数領域への直交変換を行い、この直交変換後の高周波成分に注目して「かすれ」の度合いを表わす第４の評価値を算出する工程を有し、前記画質改善工程は、対面している特徴点同士を抽出する特徴点抽出工程と、前記抽出した特徴点同士の対面のパターンが、予め設定されたパターンに合致している場合、前記対面している特徴点同士を画質改善対象候補として決定する候補決定工程と、前記候補決定工程により決定された画質改善対象候補における特徴点同士の間の距離と、前記画質算出工程により算出された第４の評価値に基づいて定められる閾値とを比較し、当該比較の結果に基づいて、前記画質改善対象候補における特徴点同士の間の画素の補間を行うか否かを決定し、前記画素の補間を行うと決定した場合に、前記画素の補間を行う画素加工工程と、を有することを特徴とする。
また、上記の画像処理方法において、前記画質算出工程は、入力された画像データから周波数領域への直交変換を行い、この直交変換後の低周波成分に注目して「つぶれ」の度合いを表わす第５の評価値を算出し、前記画素加工工程は、前記候補決定工程により決定された画質改善対象候補における特徴点同士の間の距離と、前記画質算出工程により算出された前記第４の評価値と前記第５の評価値とを用いて演算した評価値に基づいて定められる閾値とを比較し、当該比較の結果に基づいて、前記画質改善対象候補における特徴点同士の間の画素の補間を行うか否かを決定し、前記画素の補間を行うと決定した場合に、前記画素の補間を行うことを特徴とする。
【００３０】
また、本発明の画像処理方法は、画像入力手段により入力された画像データの画質を判断するための特徴量を抽出し、その特徴量を評価値として算出する画質算出工程と、前記画質算出工程で算出した評価値に基づいて画質改善処理を行う画質改善工程とを有する画像処理方法であって、前記画質算出工程は、入力された画像データから周波数領域への直交変換を行い、この直交変換後の低周波成分に注目して「つぶれ」の度合いを表わす第５の評価値を算出する工程を有し、前記画質改善工程は、対面している特徴点同士を抽出する特徴点抽出工程と、前記抽出した特徴点同士の対面のパターンが、予め設定されたパターンに合致している場合、前記対面している特徴点同士を画質改善対象候補として決定する候補決定工程と、前記候補決定工程により決定された画質改善対象候補における特徴点同士の間の距離と、前記画質算出工程により算出された第５の評価値に基づいて定められる閾値とを比較し、当該比較の結果に基づいて、前記画質改善対象候補における特徴点同士の間の画素の補間を行うか否かを決定し、前記画素の補間を行うと決定した場合に、前記画素の補間を行う画素加工工程と、を有することを特徴とする。
【００３１】
また、上記の画像処理方法において、前記画質算出工程は、黒画素の連続したつながりの平均的な長さを文字の大きさにほぼ相当する第３の特徴量として抽出する第３の特徴量抽出工程を有し、前記第４の評価値および／または前記第５の評価値と、前記第３の特徴量とを用いて演算した評価値を求め、前記画素加工工程は、前記候補決定工程により決定された画質改善対象候補における特徴点同士の間の距離と、前記画質算出工程により算出された前記第４の評価値および／または前記第５の評価値と、前記第３の特徴量と、を用いて演算した評価値に基づいて定められる閾値とを比較し、当該比較の結果に基づいて、前記画質改善対象候補における特徴点同士の間の画素の補間を行うか否かを決定し、前記画素の補間を行うと決定した場合に、前記画素の補間を行うことを特徴とする。
【００３２】
また、上記の画像処理方法において、前記画素加工工程は、文字領域を切り出す文字切り出し工程を有し、当該文字切り出し工程により切り出された文字領域内において、画素の補間を行うことを特徴とする。
【００３３】
また、上記の画像処理方法において、前記画質算出工程により算出された評価値に基づいて、処理対象の画像に対する２値化閾値を決定する２値化閾値決定工程を有し、前記画質改善工程は、前記２値化閾値決定工程により決定された２値化閾値を用いて２値化された画像に対して、前記画質算出工程で算出した評価値に基づいて画質改善処理を行うことを特徴とする。
【００４８】
また、本発明の画像処理装置は、画像を入力する画像入力手段と、前記画像入力手段により入力された画像データの画質を判断するための特徴量を抽出し、その特徴量を評価値として算出する画質算出手段と、前記画質算出手段で算出した評価値に基づいて画質改善処理を行う画質改善手段とを有する画像処理装置であって、前記画質算出手段は、画素の特徴を特徴点として予め幾つかのパターンを用意し、処理ラインにおける前記特徴点の出現回数と、黒画素と白画素の反転回数との比を、第１の評価値として算出する第１の特徴量抽出手段を有し、前記画質改善手段は、対面している特徴点同士を抽出する特徴点抽出手段と、前記抽出した特徴点同士の対面のパターンが、予め設定されたパターンに合致している場合、前記対面している特徴点同士を画質改善対象候補として決定する候補決定手段と、前記候補決定手段により決定された画質改善対象候補における特徴点同士の間の距離と、前記画質算出手段により算出された第１の評価値に基づいて定められる閾値とを比較し、当該比較の結果に基づいて、前記画質改善対象候補における特徴点同士の間の画素の補間を行うか否かを決定し、前記画素の補間を行うと決定した場合に、前記画素の補間を行う画素加工手段と、を有することを特徴とする。
また、上記の画像処理装置において、前記画質算出手段は、文字の大きさにほぼ相当する黒画素の連続したつながりの平均的な長さを求めるとともに、前記平均的な長さ以上の黒画素の連続したつながりの数を求め、この平均的な長さ以上の黒画素の連続したつながりの数と、黒画素と白画素の反転回数の１／２の数との比を第２の評価値として算出する第２の特徴量抽出手段を有し、前記第１の評価値と前記第２の評価値とを用いて演算した評価値を求め、 前記画素加工手段は、前記候補決定手段により決定された画質改善対象候補における特徴点同士の間の距離と、前記画質算出手段により算出された前記第１の評価値と前記第２の評価値とを用いて演算した評価値に基づいて定められる閾値とを比較し、当該比較の結果に基づいて、前記画質改善対象候補における特徴点同士の間の画素の補間を行うか否かを決定し、前記画素の補間を行うと決定した場合に、前記画素の補間を行うことを特徴とする。
【００４９】
また、本発明の画像処理装置は、画像を入力する画像入力手段と、前記画像入力手段により入力された画像データの画質を判断するための特徴量を抽出し、その特徴量を評価値として算出する画質算出手段と、前記画質算出手段で算出した評価値に基づいて画質改善処理を行う画質改善手段とを有する画像処理装置であって、前記画質算出手段は、文字の大きさにほぼ相当する黒画素の連続したつながりの平均的な長さを求めるとともに、前記平均的な長さ以上の黒画素の連続したつながりの数を求め、この平均的な長さ以上の黒画素の連続したつながりの数と、黒画素と白画素の反転回数の１／２の数との比を第２の評価値として算出する第２の特徴量抽出手段を有し、前記画質改善手段は、対面している特徴点同士を抽出する特徴点抽出手段と、前記抽出した特徴点同士の対面のパターンが、予め設定されたパターンに合致している場合、前記対面している特徴点同士を画質改善対象候補として決定する候補決定手段と、前記候補決定手段により決定された画質改善対象候補における特徴点同士の間の距離と、前記画質算出手段により算出された第２の評価値に基づいて定められる閾値とを比較し、当該比較の結果に基づいて、前記画質改善対象候補における特徴点同士の間の画素の補間を行うか否かを決定し、前記画素の補間を行うと決定した場合に、前記画素の補間を行う画素加工手段と、を有することを特徴とする。
【００５０】
また、上記の画像処理装置において、前記画質算出手段は、黒画素の連続したつながりの平均的な長さを文字の大きさにほぼ相当する第３の特徴量として抽出する第３の特徴量抽出手段を有し、前記第１の評価値および／または前記第２の評価値と、前記第３の特徴量とを用いて演算した評価値を求め、前記画素加工手段は、前記候補決定手段により決定された画質改善対象候補における特徴点同士の間の距離と、前記画質算出手段により算出された前記第１の評価値および／または前記第２の評価値と、前記第３の特徴量と、を用いて演算した評価値に基づいて定められる閾値とを比較し、当該比較の結果に基づいて、前記画質改善対象候補における特徴点同士の間の画素の補間を行うか否かを決定し、前記画素の補間を行うと決定した場合に、前記画素の補間を行うことを特徴とする。
【００５１】
また、本発明の画像処理装置は、画像を入力する画像入力手段と、前記画像入力手段により入力された画像データの画質を判断するための特徴量を抽出し、その特徴量を評価値として算出する画質算出手段と、前記画質算出手段で算出した評価値に基づいて画質改善処理を行う画質改善手段とを有する画像処理装置であって、前記画質算出手段は、入力された画像データから周波数領域への直交変換を行い、この直交変換後の高周波成分に注目して「かすれ」の度合いを表わす第４の評価値を算出する手段を有し、前記画質改善手段は、対面している特徴点同士を抽出する特徴点抽出手段と、前記抽出した特徴点同士の対面のパターンが、予め設定されたパターンに合致している場合、前記対面している特徴点同士を画質改善対象候補として決定する候補決定手段と、前記候補決定手段により決定された画質改善対象候補における特徴点同士の間の距離と、前記画質算出手段により算出された第４の評価値に基づいて定められる閾値とを比較し、当該比較の結果に基づいて、前記画質改善対象候補における特徴点同士の間の画素の補間を行うか否かを決定し、前記画素の補間を行うと決定した場合に、前記画素の補間を行う画素加工手段と、を有することを特徴とする。
また、上記の画像処理装置において、前記画質算出手段は、入力された画像データから周波数領域への直交変換を行い、この直交変換後の低周波成分に注目して「つぶれ」の度合いを表わす第５の評価値を算出する手段を有し、前記画素加工手段は、前記候補決定工程により決定された画質改善対象候補における特徴点同士の間の距離と、前記画質算出手段により算出された前記第４の評価値と前記第５の評価値とを用いて演算した評価値に基づいて定められる閾値とを比較し、当該比較の結果に基づいて、前記画質改善対象候補における特徴点同士の間の画素の補間を行うか否かを決定し、前記画素の補間を行うと決定した場合に、前記画素の補間を行うことを特徴とする。
【００５２】
また、本発明の画像処理装置は、画像を入力する画像入力手段と、前記画像入力手段により入力された画像データの画質を判断するための特徴量を抽出し、その特徴量を評価値として算出する画質算出手段と、前記画質算出手段で算出した評価値に基づいて画質改善処理を行う画質改善手段とを有する画像処理装置であって、前記画質算出手段は、入力された画像データから周波数領域への直交変換を行い、この直交変換後の高周波成分に注目して「かすれ」の度合いを表わす第４の評価値を算出する手段を有し、前記画質改善手段は、対面している特徴点同士を抽出する特徴点抽出手段と、前記抽出した特徴点同士の対面のパターンが、予め設定されたパターンに合致している場合、前記対面している特徴点同士を画質改善対象候補として決定する候補決定手段と、前記候補決定手段により決定された画質改善対象候補における特徴点同士の間の距離と、前記画質算出手段により算出された第４の評価値に基づいて定められる閾値とを比較し、当該比較の結果に基づいて、前記画質改善対象候補における特徴点同士の間の画素の補間を行うか否かを決定し、前記画素の補間を行うと決定した場合に、前記画素の補間を行う画素加工手段と、を有することを特徴とする。
【００５３】
また、上記の画像処理装置において、前記画質算出手段は、黒画素の連続したつながりの平均的な長さを文字の大きさにほぼ相当する第３の特徴量として抽出する第３の特徴量抽出手段を有し、前記第４の評価値および／または前記第５の評価値と、前記第３の特徴量とを用いて演算した評価値を求め、前記画素加工手段は、前記候補決定手段により決定された画質改善対象候補における特徴点同士の間の距離と、前記画質算出工程により算出された前記第４の評価値および／または前記第５の評価値と、前記第３の特徴量と、を用いて演算した評価値に基づいて定められる閾値とを比較し、当該比較の結果に基づいて、前記画質改善対象候補における特徴点同士の間の画素の補間を行うか否かを決定し、前記画素の補間を行うと決定した場合に、前記画素の補間を行うことを特徴とする。
【００５４】
また、上記の画像処理装置において、前記画素加工手段は、文字領域を切り出す文字切り出し手段を有し、当該文字切り出し手段により切り出された文字領域内において、画素の補間を行うことを特徴とする。
【００５５】
また、上記の画像処理装置において、前記画質算出手段により算出された評価値に基づいて、処理対象の画像に対する２値化閾値を決定する２値化閾値決定手段を有し、前記画質改善手段は、前記２値化閾値決定手段により決定された２値化閾値を用いて２値化された画像に対して、前記画質算出手段で算出した評価値に基づいて画質改善処理を行うことを特徴とする。
【００６２】
本発明の画質改善部は、対面している特徴点同士を抽出し、前記抽出した特徴点同士の対面のパターンが、予め設定されたパターンに合致している場合、前記対面している特徴点同士を画質改善対象候補として決定する。そして、決定された画質改善対象候補における特徴点同士の間の距離と、画質算出部により算出された第１の評価値に基づいて定められる閾値とを比較し、当該比較の結果に基づいて、前記画質改善対象候補における特徴点同士の間の画素の補間を行うか否かを決定し、前記画素の補間を行うと決定した場合に、前記画素の補間を行う。
【００６３】
このような手段により、文字の「かすれ」や「つぶれ」などの劣化部分を的確に判断することができ、これにより判断した劣化部分として画素の欠落部分に対しては、欠落している間隔をあらかじめ設定した閾値と比較して、画素の補間が必要か否かを判断して補間処理を行うようにしている。したがって、画質に見合った修復処理が可能となる。
【００６５】
そして、画質算出部により算出された評価値に基づいて、処理対象の画像に対する２値化閾値を決定し、決定された２値化閾値を用いて２値化された画像に対して、前記画質算出部で算出した評価値に基づいて画質改善処理を行うことにより、「かすれ」や「つぶれ」などによる画像の品質を的確にしかも客観的に判断することができ、これら「かすれ」と「つぶれ」を示す２つの評価値を考慮した評価値をもとに、求めるべき２値化閾値を決定するようにしているので、最も画質の良くなる２値化閾値を求めるべき２値化閾値として決定できることから最適な２値化処理が行え、さらに、２値化後の画像に対して、「かすれ」による画素の欠落部分が有る場合には、画素の補間が必要か否かを判断して補間処理を行うことができる。
【００６６】
【発明の実施の形態】
以下、本発明の実施例を説明する。なお、この実施例では、画像の解像度は３００ＤＰＩであって、処理対象画像としては文字とし、この文字は白色の背景（白色の原稿用紙）に黒で描かれているものとして説明する。
【００６７】
（第１の実施例）
まず、第１の実施例として、たとえばコピー機によりコピーされた文字あるいはスキャナで読み取られ文字認識される前の文字の画質がどの程度劣化しているかを算出する文字の画質算出手段について説明する。
【００６８】
図１において、この第１の実施例における画像処理装置１０は、画質算出部１１（詳細は後述する）、全体の処理を制御するＣＰＵ１２、ＲＡＭ１３などを主な構成要素とし、画像入力装置１４、画像出力装置１５が接続された構成となっている。そして、これら画質算出部１１、ＲＡＭ１３、画像入力装置１４、画像出力装置１５はバス１６を介してＣＰＵ１２に接続されている。
【００６９】
前記画像入力装置１４は光学的な画像入力を行う場合は光学的画像入力装置（たとえばスキャナ）や通信による入力装置、あるいは画像デ−タを蓄える記憶装置などである。また、画像出力装置１５は入力された画像デ−タを所定の処理を経て出力（表示、印刷、通信による出力など）するものである。
【００７０】
また、ＲＡＭ１３にはこの実施例における処理の対象となる画像（文字）デ−タを蓄えるラインデ−タ用バッファや各種処理の際に必要となるワ−クエリアを有している。
【００７１】
前記画質算出部１１は、第１の特徴量抽出手段１１１、第２の特徴量抽出手段１１２、第３の特徴量抽出手段１１３、第４の特徴量抽出手段１１４、第５の特徴量抽出手段１１５を主な構成要素としている。
【００７２】
この画質算出部１１は前述したように文字の品質を算出するものであるが、文字の品質判断の基準として、「かすれ」、「つぶれ」、「文字の大きさ」といった特徴量が考えられる。
【００７３】
前記第１の特徴量抽出手段１１１および第４の特徴量抽出手段１１４は「かすれ」という特徴量を抽出するものであり、この特徴量を抽出することによって画像の品質を判断する。また、前記第２の特徴量抽出手段１１２および第５の特徴量抽出手段１１５は「つぶれ」という特徴量を抽出するもので、この特徴量を抽出することによって画像の品質を判断する。また、前記第３の特徴量抽出手段１１３は「文字の大きさ」に相当する横方向の長さという特徴量を抽出するもので、この特徴量を前記「かすれ」、「つぶれ」という２つの特徴量に加えることで後述する画質改善部における画質改善処理をより効果的に行う。
【００７４】
以下、これら第１〜第５の各特徴量抽出手段１１１〜１１５における特徴量抽出処理について個々に説明するが、ここでは、まず、第１，第２，第３の各特徴量抽出手段１１１，１１２、１１３について説明し、第４，第５の特徴量抽出手段１１４，１１５についての説明は後述する。
【００７５】
まず、第１の特徴量抽出手段１１１について説明する。
【００７６】
この第１の特徴量抽出手段１１１は前記したように、「かすれ」という特徴量を抽出するものであり、図２および図３を用いて説明する。
【００７７】
図２（ａ）は「倉」という文字画像であるが、これは図４１（ｃ）で示したものと同じ程度のかすれを生じている。この図２（ａ）のかすれを生じた或る一部分（丸印で示した部分）を取り出して拡大したものが同図（ｂ）である。この図２（ｂ）を見ると、かすれの生じている部分は、縦方向に並んだ幾つかの画素（１画素から２画素、さらには３画素）が横方向に凸部となっていることがわかる。この横方向に凸部というのは、１画素から２画素（さらには３画素）の上下方向にそれ以上の画素が存在しない状態をいう。
【００７８】
たとえば、図２（ｂ）において、一点鎖線で示す範囲を考え、この範囲のうちＬ１を注目ラインとすると、この注目ラインＬ１においては、かすれの生じているのはＫ１，Ｋ２，Ｋ３の部分である。ここで、Ｋ２は１画素分がかすれて空白となっている状態であり、Ｋ３は２画素分がかすれて空白となっている状態であるということになる。そして、かすれＫ１の部分は縦方向の２画素分の凸部Ｐ１が存在し、かすれＫ２の部分は２画素分の凸部Ｐ２と１画素分の凸部Ｐ３が対面しており、また、かすれＫ３の部分は１画素分の凸部Ｐ４と２画素分の凸部Ｐ５が対面しているといった状態となっている。
【００７９】
そこで、このような凸部を利用して第１の特徴量を算出する。この算出式は以下のように表される。
【００８０】
第１の特徴量＝特徴点の出現回数／画素の白黒反転回数・・・〔１〕
これにより求めた第１の特徴量を、品質の良い悪いを示す１つの評価値（以下これを第１の評価値という）とする。
【００８１】
前記〔１〕式における「特徴点」とは、前記した凸部の特徴を表すもので、ここでは図３のように定義する。図３（ａ），（ｂ）は１画素特徴点（１画素の凸部に対応）を示し、同図（ａ）は図示上下方向と右側方向に画素の存在しない部分（以下、これを空白部分という）を有し、同図（ｂ）は図示上下方向と左側方向に空白部分を有している。また、同図（ｃ），（ｄ）は２画素特徴点（縦方向に並んだ２画素の凸部に対応）を示し、同図（ｃ）は図示上下方向と右側方向に空白部分を有し、同図（ｄ）は図示上下方向と左側方向に空白部分を有している。また、同図（ｅ），（ｆ）は３画素特徴点（縦方向に並んだ３画素の凸部に対応）を示し、同図（ｅ）は図示上下方向と右側方向に空白部分を有し、同図（ｆ）は図示上下方向と左側方向に空白部分を有している。したがって、３画素特徴点までを調べるには、５ライン分の画素デ−タ（たとえば図２（ｂ）における一点鎖線の範囲）を用意する必要がある。そしてこの場合、５ラインのうち上から２番目を注目ラインＬ１とする。
【００８２】
このようにして、図２（ｂ）における注目ラインＬ１における画素の特徴点の出現回数を用意した５ラインについて取り出すと、この特徴点の出現回数は、凸部Ｐ１（図３（ｄ）に相当）で１回、凸部Ｐ２（図３（ｃ）に相当）で１回、凸部Ｐ３（図３（ｂ）に相当）で１回、凸部Ｐ４（図３（ａ）に相当）で１回、凸部Ｐ５（図３（ｄ）に相当）で１回の合計５回である。また、〔１〕式における画素の白黒反転回数は、この場合、かすれＫ１から凸部Ｐ１の部分で１回、凸部Ｐ２からかすれＫ２の部分で１回、かすれＫ２から凸部Ｐ３の部分で１回、凸部Ｐ４からかすれＫ３の部分で１回、かすれＫ３から凸部Ｐ５の部分で１回、最後にこのライン上におけるこの文字の終わりの部分で１回というように合計６回である。したがって、この図２（ｂ）における第１の特徴量は第１の特徴量＝５／６で表せる。ただし、これは、図２（ｂ）に示された範囲以内の数値であリ、実際は、注目ラインＬ１は処理対象となる原稿全面を横方向に１ライン毎にスキャンして行くため、そのライン上の文字全体から得られる数値となるため、算出される第１の特徴量は当然のことながら異なったものとなる。
【００８３】
以上の第１の特徴量算出処理のフロ−チャ−トを図４に示す。なお、この第１の特徴量算出処理は、文字の書かれた原稿上をスキャナが行カウンタの指示により行ごとに読み取り走査を行いながら特徴量算出処理を行う。図４において、まず、画素の白黒反転回数をカウントする白黒反転カウンタと特徴点の出現回数をカウントする特徴点カウンタを初期化する（ステップＳ１）。次に、行カウンタが指示する行から５ラインまでのラインデ−タを準備（ステップＳ２）し、その２番目のラインを注目ラインとして、そのラインのスキャンを行い、白黒反転の回数のカウントするとともに、特徴点出現回数のカウントを行う（ステップＳ３）。なお、この場合、重複したカウントを避けるため、図３の上から２ライン目が注目ラインに対応する場合にカウントする。
【００８４】
そして、その注目ラインについて白黒反転回数のカウントおよび特徴点出現回数のカウントが終了するごとに、前記した〔１〕式により第１の特徴量を算出する（ステップＳ４）。次に、原稿上の処理対象全面について第１の特徴量を算出処理が終了したか否かを判断（ステップＳ５）して、処理が終了していなければ、行カウンタをインクリメント（ステップＳ６）して、前記ステップＳ２からステップＳ５の処理を行う。
【００８５】
すなわち、行カウンタが次に指示する行から５ラインまでのラインデ−タを準備（ステップＳ２）し、その２番目のラインを注目ラインとして、そのラインのスキャンを行い、上記同様の処理を行って、前回求められた白黒反転の回数に今回カウントされた白黒反転の回数を加算するとともに、前回求められた特徴点出現回数に今回カウントされた特徴点出現回数を加算して、〔１〕式により第１の特徴量を算出する。このようにして原稿上の処理対象全面について第１の特徴量を算出処理を行う。このように、前回求められた値に今回の求めた値を加算するのは、デ−タ量を多くすることで、評価値としての信頼性を向上させるためである。これは、以下の各評価値を求める処理でも同じである。
【００８６】
なお、以上の処理において、ある注目ラインの白黒反転回数カウント処理および特徴点出現回数カウント処理が終了するごとに、第１の特徴量を算出するのは、この画質算出部１１におけるこのような画質判断処理と、後述する画質改善部における画質の改善処理あるいは２値化閾値決定部における２値化閾値決定処理を並行して行うためである。しかし、処理対象の画像全体を、まず、上記したような画質算出処理を行ったのち、そのあとで、まとめて画質の改善処理あるいは２値化閾値決定処理を行う場合は、図４の処理フロ−において、処理対象原稿全面の白黒反転回数カウント処理および特徴点出現回数カウント処理が終わった後に、第１の特徴量を算出するようにしてもよい。
【００８７】
次に、あるサンプル文字画像（ここでは「倉」という文字を含むサンプル文字画像））における前記第１の特徴量の妥当性について説明する。
【００８８】
図５はサンプル文字画像のうち「倉」という文字を１６階調（グレ−レベル）でスキャナ入力して、そのうちのある階調（ここでは「５」〜「１２」）を２値化閾値として２値化した文字画像を示している。なお、この閾値は後述の説明で出てくる他の幾つかの閾値と区別するため以下２値化閾値ＴＨ１という。このような方法によって画質を変化させた文字画像を用いて前記第１の特徴量の評価を行う。この評価方法として、ここでは、文字認識率を用いて評価を行う。なお、文字認識率による評価においても文字認識方法によって同じ画像でも認識率は変化するが傾向は同じようなものとなる。
【００８９】
図６（ａ）は図５で示した２値化閾値ＴＨ１が「５」〜「１２」の各画像に対する誤り率（認識できなかった率）の関係（点線で示す）と、この２値化閾値ＴＨ１が「５」〜「１２」の各画像に対する第１の評価値（この評価値は前記第１の特徴量そのものの値である）の関係（実線で示す）を示すものである。図６（ａ）からもわかるように、２値化閾値ＴＨ１が「７」の画像が最も誤り率が低くなっている。また、第１の評価値は数値が高いほどかすれが大きいことを示している。したがって、２値化閾値ＴＨ１が「５」，「６」はかすれによる画質の劣化で誤り率が高くなっている。また、２値化閾値ＴＨ１が「７」以上で誤り率が高くなっているのはつぶれによる画質の劣化で誤り率が高くなっていると考えられる。
【００９０】
ところで、ここでの評価は「かすれ」を基準とした評価である。つまり、「かすれ」が大きいほど第１の評価値の数値は大きくなり、それに伴って誤り率も高くなるというのがここで求めたい評価である。図６（ａ）からわかるように、２値化閾値ＴＨ１が「７」より小さいときはこの関係が成り立っている。ところが、２値化閾値ＴＨ１が「７」以上は第１の評価値が小さくなるに連れて誤り率が高くなるという関係となり、２値化閾値ＴＨ１が「７」を境にして第１の評価値と誤り率の関係が逆になる。これは、２値化閾値ＴＨ１が「７」以上では前記したように「つぶれ」による誤り率が増加するからである。このように、２値化閾値ＴＨ１が「７」以上では、つぶれによる画質の劣化が生じていることになり、前記したように２値化閾値ＴＨ１が「７」を境にして第１の評価値と誤り率の関係が逆になる。すなわち、かすれとつぶれは相反する関係にあり、第１の評価値が小さくなるほどつぶれによる画質が低下している。ここでの評価は「かすれ」を基準とした評価であるから、２値化閾値ＴＨ１が「７」以上における第１の評価値を図６の一点鎖線を中心に折り返すと図６（ｂ）のようになる。この図６（ｂ）によれば、誤り率（点線で示す）と第１の評価値（実線で示す）の相関をとると相関係数は０．８６ととなる。なお、相関係数は１から−１の値をとり、相関係数が１で最も正の相関が高く両者が同一であることを示している。したがって、相関係数が０．８６というのは、ここで求めた第１の評価値と誤り率とが同じような関係となり、この第１の評価値は画像の品質の判断として十分な指標となることを示している。
【００９１】
また、この第１の特徴量の評価を、人間の目で見た感性から評価すれば、図５において、かすれが大きくなればなるほど図６（ａ）における第１の評価値は大きくなっており、これは人間の目で見た感性と一致することになり、この第１の評価値は画像の品質の判断として十分な指標となることを示している。
【００９２】
このように第１の評価値から文字のかすれの度合いが判断できる。
【００９３】
次に、第２の特徴量抽出手段について説明する。この第２の特徴量とは「つぶれ」であり。ここではこの「つぶれ」という特徴量を抽出ことにより、画像の品質判断しようとするものである。以下これについて説明する。
【００９４】
前述の説明で用いた図５において、２値化閾値ＴＨ１が大きいほど、横方向の黒ラン（黒い画素の連続したつながりをいう）の数が増加し、その結果、つぶれによる画質の劣化が生じていることがわかる。そこで、文字の大きさに近い横方向の黒ランの数を用いて画像の品質を算出する。ここで求めようとする第２の特徴量は以下の式により算出する。
【００９５】
第２の特徴量＝一定長以上の黒ラン数／黒ランの総数・・・〔２〕
これにより算出された値が画質の良い悪い判断する１つの評価値となる。ここで、前記〔２〕式における「一定長以上の黒ラン数」というのは、文字の大きさに近い横方向の黒ランの数をいい、以下に示す閾値ＴＨ２以上の黒ランの数をカウントする。なお、黒ランとは前述したように黒い画素の連続したつながりをいう。
【００９６】
まず、閾値ＴＨ２の初期値を設定する。この閾値ＴＨ２は処理対象原稿の処理ラインをスキャンするごとに設定され、その初期値をＴＨ０で表すと、ＴＨ０＝２４画素とする。この２４画素というのは、解像度が３００ＤＰＩの場合、８ポイント（３mm角の大きさ) の文字の約７割の大きさに相当する。この初期値ＴＨ０を２４画素としたのは、それ以下の文字は通常あまり用いられることがないためである。この閾値ＴＨ２は上記したように、処理対象原稿の処理ラインをスキャンするごとに設定される。つまり実際に使われている文字に対応して設定して行く。たとえば、多数の文字の書かれている原稿上を１ライン毎にスキャンする場合、最初の行をスキャンする場合の初期値ＴＨ０は２４であり、そのライン上の文字についてそれぞれ２４画素以上の長さのある黒ランの平均の長さ求め、その値に或る値α（０．６〜１．０）を掛ける。そして、次は、これによって求めた閾値を初期値として新たな閾値（閾値ＴＨ２）を求める。したがって、この閾値ＴＨ２は或るラインにおけるそれまでの各文字の平均的な１文字の横方向の長さにほぼ匹敵する黒ランの長さということになる。
【００９７】
ここで、閾値ＴＨ２は、
ＴＨ２＝或るラインにおけるそれまでの第２の閾値ＴＨ２以上の黒ランの平均長×α・・・〔３〕
で表される。この〔３〕式において、αは０．６〜１．０の範囲で設定するが、実験では０．８５とした場合が最も適切であった。このように、スキャンするラインごとに閾値ＴＨ２を変更して行くことにより、文字の大きさが変動しても対応が可能となる。
【００９８】
また、前記〔２〕式における「黒ランの総数」とは、画像を横方向にスキャンしたときの黒ランの総数であり、この数値は、前記〔１〕式における「画素の白黒反転回数」の１／２であるため、図４の処理フロ−におけるステップＳ３で求めた「画素の白黒反転回数」を用いて、それを１／２することによっても求められる。
【００９９】
以上のような第２の特徴量算出の処理のフロ−チャ−トを図７に示す。図７において、まず、白黒反転回数をカウントする白黒反転カウンタ、ある１ライン毎の閾値ＴＨ２以上の黒ランの平均の長さを求めるために、そのラインにおける閾値ＴＨ２以上の黒ランの長さを加算したものを蓄えるラン長レジスタ、ある１ライン毎における閾値ＴＨ２以上の黒ランが何個あったかを数えるラン数カウンタ、各ラインごとの閾値ＴＨ２を求めるための基となる閾値（最初は初期値ＴＨ０として２４画素）が格納されている閾値レジスタ、処理対象となる行を指示する行カウンタの初期値化を行う（ステップＳ１１）。
【０１００】
次に、行カウンタが指示する行から５ラインまでのラインデ−タを準備（ステップＳ１２）し、その２番目のラインを注目ラインとして、そのラインのスキャンを行い、白黒反転回数をカウントするとともに、閾値ＴＨ２以上の黒ランの数を検出する（ステップＳ１３）。つまり、このステップＳ１３においては、白黒反転回数のカウントの他、閾値ＴＨ２以上の黒ランの数を検出するために、前記〔３〕式により、閾値レジスタに格納されている値（最初は２４）を基に、閾値ＴＨ２を求め、この閾値ＴＨ２以上の黒ランの数を検出し、ラン数カウンタによりこの黒ランの数をカウントする。そして、これにより求めた閾値を基となる値とするために、前記閾値レジスタの内容の更新を行う（ステップＳ１４）。
【０１０１】
次に、ステップＳ１３により検出された値をもとに前記〔２〕式により第２の特徴量を算出する（ステップＳ１５）。そして、原稿の処理対象全面について第２の特徴量を算出処理が終了したか否かを判断（ステップＳ１６）して、処理が終了していなければ、行カウンタをインクリメント（ステップＳ１７）して、前記ステップＳ１２からステップＳ１６の処理を行う。
【０１０２】
すなわち、行カウンタが次に指示する行から５ラインまでのラインデ−タを準備（ステップＳ１２）し、その２番目のラインを注目ラインとして、そのラインのスキャンを行い、上記同様の処理を行って、前回求められた一定長以上の黒ランの数に今回求められた一定長以上の黒ランの数を加算するとともに、前回求められた黒ランの総数に今回カウントされた黒ランの総数を加算して、〔２〕式により第２の特徴量を算出する。このようにして原稿上の処理対象全面について第２の特徴量を算出処理を行う。
【０１０３】
また、この第２の特徴量を抽出する処理は、ラインバッファ数は５ライン分を用意しなくても１ラインでもよく、その場合の注目ラインは行カウンタの指示ラインと一致する。
【０１０４】
なお、以上の処理において、ステップＳ１３の処理を終了するごとに、第２の特徴量を算出するのは、この画質算出部１１における画質判断処理と、後述する画質改善部における画質の改善処理あるいは２値化閾値決定部における２値化閾値決定処理を並行して行うためである。しかし、処理対象の画像全体を、まず、上記したような画質算出処理を行ったのち、そのあとで、まとめて画質の改善処理あるいは２値化閾値決定処理を行う場合は、図７の処理フロ−において、処理画像全体についてまず前記ステップＳ１３、Ｓ１４の処理を行い、その処理がすべて終わった後に、まとめて第２の特徴量を算出するようにしてもよい。
【０１０５】
次に、あるサンプル文字画像（ここでは「倉」という文字を含むサンプル文字画像）におけるこの第２の特徴量の妥当性について説明する。
【０１０６】
この場合も、前記第１の特徴量の妥当性についての説明に用いた図５を参照しながらこの第２の特徴量の評価を行う。この評価方法としては、ここでも、文字認識率を用いて評価を行う。なお、文字認識率による評価においても文字認識方法によって同じ画像でも認識率は変化するが傾向は同じようなものとなる。
【０１０７】
図８（ａ）は図５で示した２値化閾値ＴＨ１が「５」〜「１２」の各画像に対する誤り率（認識できなかった率）の関係（点線で示す）と、この２値化閾値ＴＨ１が「５」〜「１２」の各画像に対する評価値（この評価値はこの第２の特徴量そのものの値であり、以下第２の評価値という）の関係（実線で示す）を示すものである。同図からもわかるように、２値化閾値ＴＨ１が「７」の画像が最も誤り率が低くなっている。また、第２の評価値は数値が高いほど「つぶれ」かすれが大きいことを示している。したがって、この図８（ａ）の場合は、２値化閾値ＴＨ１が「５」，「６」ではかすれによる画質の劣化で誤り率が高くなっており、また、２値化閾値ＴＨ１が「７」以上ではつぶれによる画質の劣化で誤り率が高くなっている。
【０１０８】
ところで、ここでの評価は「つぶれ」を基準とした評価である。つまり、「つぶれ」が大きいほど第２の評価値の数値は大きくなり、それに伴って誤り率も高くなるというのがここで求めたい評価である。図８（ａ）からわかるように、２値化閾値ＴＨ１が「７」より大きいときはこの関係が成り立っている。ところが、２値化閾値ＴＨ１が「７」より小さいときは第２の評価値が小さくなるに連れて誤り率が高くなるという関係となり、２値化閾値ＴＨ１が「７」を境にして第２の評価値と誤り率の関係が逆になる。これは、２値化閾値ＴＨ１が「７」より小さいときは前記したように「かすれ」による誤り率が増加するからである。
【０１０９】
このように、２値化閾値ＴＨ１が「７」より小さいときは、第２の評価値が小さいほどかすれによる画質の劣化が生じていることになり、前記したように２値化閾値ＴＨ１が「７」を境にして評価値と誤り率の関係が逆になる。そこで、ここでの評価は「つぶれ」を基準とした評価であって、「つぶれ」の場合は第２の評価値の数値の増加に対して誤り率が増加するという関係であるから、２値化閾値ＴＨ１が「７」より小さいときの第２の評価値を図８の一点鎖線を中心に線対称に折り返すと図８（ｂ）のようになる。この図８（ｂ）によれば、誤り率（点線で示す）と第２の評価値（実線で示す）の相関をとると相関係数は０．７０となる。特に、２値化閾値ＴＨ１が「７」以上のつぶれの部分における両者の相関係数は０．９８となり、点線で示す誤り率と実線で示す第２の評価値とが殆ど同じ関係となり、「つぶれ」の検出には特に有効なものとなる。
【０１１０】
また、この第２の特徴量の評価を、人間の目で見た感性から評価すれば、図５において、つぶれが大きくなればなるほど図８における第２の評価値はおおきくなっており、これは人間の目で見た感性と一致することになり、この第２の評価値は画像の品質の判断として十分な指標となることを示している。
【０１１１】
このように第２の評価値から文字のつぶれの度合いが判断できる。
【０１１２】
そして、以上の処理により求めた第１の特徴量および第２の特徴量の両方を考慮した評価値を算出する。つまり、第１の特徴量である「かすれ」と第２の特徴量である「つぶれ」とを考慮した新たな評価値を算出することにより、より正確な画質の判断を行う。この新たな評価値の算出方法の一例としては以下の式がある。ここで新たな評価値を評価値Ａとする。
【０１１３】
評価値Ａ＝第１の特徴量−第２の特徴量・・・〔４〕
この評価値Ａの算出処理のフロ−チャ−トを図９に示す。図９において、まず、前記した図４、図７のフロ−チャ−トで示した各種カウンタや各種レジスタを初期化する（ステップＳ２１）。次に、行カウンタが指示する行から５ラインまでのラインデ−タを準備（ステップＳ２２）し、その２番目のラインを注目ラインとして、そのラインのスキャンを行い、前記した第１の特徴量および第２の特徴量を算出する（ステップＳ２３）。
【０１１４】
そして、これら第１の特徴量および第２の特徴量が算出されるごとに、前記した〔４〕式により評価値Ａを算出する（ステップＳ２４）。次に、原稿の処理対象全面について評価値Ａの算出処理が終了したか否かを判断（ステップＳ２５）して、処理が終了していなければ、行カウンタをインクリメント（ステップＳ２６）して、前記ステップＳ２２からステップＳ２５の処理を行う。
【０１１５】
なお、以上の処理において、ステップＳ２３の処理を終了するごとに、評価値Ａを算出するのは、この画質算出部１１におけるこのような画質判断処理と、後述する画質改善部における画質の改善処理あるいは２値化閾値決定部における２値化閾値決定処理を並行して行うためである。しかし、処理対象の画像全体を、まず、上記したような画質算出処理を行ったのち、そのあとで、まとめて画質の改善処理あるいは２値化閾値決定処理を行う場合は、図９の処理フロ−において、処理対象画像全体についてステップＳ２３の処理が終わった後に、まとめて評価値Ａを算出するようにしてもよい。
【０１１６】
次に、あるサンプル文字画像（ここでは「倉」という文字を含むサンプル文字画像）におけるこの第１，第２の特徴量を考慮した評価値Ａの妥当性について説明する。
【０１１７】
この場合も、前記第１，第２の特徴量の妥当性についての説明に用いた図５を参照しながらこの評価値Ａの評価を行う。この評価方法としては、ここでも、文字認識率を用いて評価を行う。なお、文字認識率による評価においても文字認識方法によって同じ画像でも認識率は変化するが傾向は同じようなものとなる。
【０１１８】
図１０（ａ）は図５で示した２値化閾値ＴＨ１が「５」〜「１２」の各画像に対する誤り率（認識できなかった率）の関係（点線で示す）と、この２値化閾値ＴＨ１が「５」〜「１２」の各画像に対する評価値Ａの関係（実線で示す）を示すものである。図１０（ａ）からもわかるように、２値化閾値ＴＨ１が「７」の画像が最も誤り率が低くなっている。また、この場合、評価値Ａは第１の特徴量から第２の特徴量を引いたものであるから、たとえば、２値化閾値ＴＨ１が「５」である場合に対する第１の特徴量（第１の評価値）は図６（ａ）から０．１１であり、そのときの第２の特徴量（第２の評価値）は図８（ａ）から０である。したがって、第１，第２の特徴量を考慮した評価値Ａは０．１１となる。
【０１１９】
また、２値化閾値ＴＨ１が「７」である場合に対する第１の特徴量（第１の評価値）は図６（ａ）から０．０４であり、そのときの第２の特徴量（第２の評価値）は図８（ａ）から０．０２である。したがって、評価値Ａは０．０２となる。また、２値化閾値ＴＨ１が「１２」である場合に対する第１の特徴量（第１の評価値）は図６（ａ）から０．０２であり、そのときの第２の特徴量（第２の評価値）は図８（ａ）から０．０９である。したがって、評価値Ａは−０．０７となる。このようにして、評価値Ａが算出される。
【０１２０】
図１０（ａ）において、２値化閾値ＴＨ１が閾値「５」，「６」である場合はかすれによる画質の劣化で誤り率が高くなっており、また、２値化閾値ＴＨ１が「７」以上ではつぶれによる画質の劣化で誤り率が高くなっている。
【０１２１】
この図の場合も、前記したように２値化閾値ＴＨ１が「７」を境にして評価値と誤り率の関係が逆になる。ここでは「かすれ」に関する第１の特徴量から「つぶれ」に関する第２の特徴量を引いていることから、この場合も「かすれ」を基準に考えているということができ、前記図６同様、２値化閾値ＴＨ１が「７」以上における評価値を図１０の一点鎖線を中心に折り返すと図１０（ｂ）のようになる。この図１０（ｂ）によれば、誤り率（点線で示す）と評価値Ａ（実線で示す）の相関をとると相関係数は０．９０ととなる。このように、第１，第２の特徴量を考慮した評価値Ａを算出して画像の品質を判断することにより、第１の特徴量、第２の特徴量を単独で用いるよりも高い相関係数が得られ、画像の品質の判断としてきわめて信頼性の高い指標となることを示している。
【０１２２】
なお、第１の特徴量である「かすれ」と第２の特徴量である「つぶれ」とを考慮した評価値を算出するに当たって、前記した例では、第１の特徴量から第２の特徴量の差を求めて新たな評価値を算出したが、以下の式のように第１の特徴量と第２の特徴量との和から新たな評価値（これを評価値Ｂという）を求めてもよい。
【０１２３】
評価値Ｂ＝第１の特徴量＋第２の特徴量・・・〔５〕
この評価値Ｂの算出処理のフロ−チャ−トは基本的には図９と同じであるが、ステップＳ２４における処理は、第１の特徴量および第２の特徴量が算出されるごとに、前記〔４〕式の代わりに〔５〕式により評価値Ｂを算出する点が異なるだけである。
【０１２４】
また、以上の処理において、ズテップＳ２３の処理を終了するごとに、評価値Ｂを算出するのは、この画質算出部１１におけるこのような画質判断処理と、後述する画質改善部における画質の改善処理あるいは２値化閾値決定部における最適な２値化閾値決定処理を並行して行うためである。しかし、処理対象の画像全体を、まず、上記したような画質算出処理を行ったのち、そのあとで、まとめて画質の改善処理あるいは２値化閾値決定処理を行う場合は、図９の処理フロ−において、処理対象画像全体についてステップＳ２３の処理が終わった後に、まとめて評価値Ｂを算出するようにしてもよい。
【０１２５】
次に、あるサンプル文字画像（ここでは「倉」という文字を含むサンプル文字画像）におけるこの第１，第２の特徴量を考慮した評価値Ｂの妥当性について説明する。
【０１２６】
この場合も、図５を参照しながらこの評価値Ｂの評価を行う。この評価方法としては、ここでも、文字認識率を用いて評価を行う。なお、文字認識率による評価においても文字認識方法によって同じ画像でも認識率は変化するが傾向は同じようなものとなる。
【０１２７】
図１１は図５で示した２値化閾値ＴＨ１が「５」〜「１２」の各画像に対する誤り率（認識できなかった率）の関係（点線で示す）と、この２値化閾値ＴＨ１が「５」〜「１２」の各画像に対する評価値Ｂの関係（実線で示す）を示すものである。図１１からもわかるように、２値化閾値ＴＨ１が「７」の画像が最も誤り率が低くなっている。また、この場合、評価値Ｂは第１の特徴量に第２の特徴量をたしたものであるから、たとえば、２値化閾値ＴＨ１が「５」である場合に対する第１の特徴量（第１の評価値）は図６（ａ）から０．１１であり、そのときの第２の特徴量（第２の評価値）は図８（ａ）から０である。したがって、第１，第２の特徴量を考慮した評価値Ｂは０．１１となる。また、２値化閾値ＴＨ１が「７」である場合に対する第１の特徴量（第１の評価値）は図６（ａ）から０．０４であり、そのときの第２の特徴量（第２の評価値）は図８（ａ）から０．０２である。したがって、評価値Ｂは０．０６となる。また、２値化閾値ＴＨ１が「１２」である場合に対する第１の特徴量（第１の評価値）は図６（ａ）から０．０２であり、そのときの第２の特徴量（第２の評価値）は図８（ａ）から０．０９である。したがって、評価値Ｂは０．１１となる。このようにして、評価値Ｂが算出される。
【０１２８】
この図１１によれば、誤り率（点線で示す）と評価値Ｂ（実線で示す）の相関をとると相関係数は０．９６と高い値となる。このように、第１，第２の特徴量を考慮した評価値Ｂを算出して画像の品質を判断することにより、第１の特徴量、第２の特徴量を単独で用いるよりも高い相関係数が得られ、画像の品質の判断としてきわめて信頼性の高い指標となることを示している。
【０１２９】
また、この図１１からも明らかなように、評価値Ｂが最小となる点の２値化閾値は「７」であり、２値化閾値が「７」のときがここでは最も良い画質が得られることから、評価値Ｂが最小となる部分の２値化閾値を２値化するための閾値として選べばよい。つまり、第１の特徴量＋第２の特徴量とした場合は、それによって得られる評価値Ｂが最小となる点が最も画質のよくなる閾値となるので、それを２値化するための閾値として選べばよいことから、２値化するための閾値を容易に決定することができる（この２値化するための閾値についての説明は後述する）。なお、たとえば図１０（ａ）の場合は、或る基準となる評価値より大きければ、かすれが生じ、或る基準となる評価値より小さければ、つぶれが生じることになるが、その或る基準となる評価値をどこにするかは特定しにくいため、２値化するに最適な閾値を即座に得ることは、図１１ほどには容易にはできない。これは、図６、図８についても同様に、或る基準となる評価値をどこにするかは特定しにくいため、２値化するに最適な閾値を即座に得ることは、図１１ほどには容易にはできない。
【０１３０】
次に前記した第１の特徴量および第２の特徴量にもう一つの特徴量（第３の特徴量という）を加えることにより、後述する画質改善部における処理をより効果的なものとする評価値を得る。この第３の特徴量は図１における第３の特徴量抽出手段１１３により算出されるもので、その特徴量とは文字の大きさに相当する横方向の長さである。
【０１３１】
後述する画質改善部では、画素の欠けを修復する処理を主に行うが、この場合、文字の大きさによって、欠ける画素数が異なってくる。つまり、大きな文字は欠ける画素数も多く、小さな文字は欠ける画素数も少ないと考えられる。そこで、前記した第１，第２の評価値および評価値Ａ，Ｂにこの第３の特徴量である文字の大きさを掛けて求められる値を新たな評価値Ｃとすることにより、画質改善部において、より効果的な処理が行えるようにする。
【０１３２】
この第３の特徴量というのは、一定長以上の黒ランの平均長であり、これは前述したように文字の大きさに近い値である。なお、一定長以上の黒ランの平均長というのは、前記第２の特徴量を求めるときに用いた「一定長以上の黒ラン」の平均の長さである。また、評価値Ｃは次式で算出される。
【０１３３】
評価値Ｃ＝（第１，第２の評価値または評価値Ａ，Ｂ）×第３の特徴量・・・〔６〕
この評価値Ｃの算出処理のフロ−チャ−トを図１２に示す。図１２において、まず、前記した図９のフロ−チャ−トで示した処理と同様に、各種カウンタや各種レジスタを初期化する（ステップＳ３１）。次に、行カウンタが指示する行から５ラインまでのラインデ−タを準備（ステップＳ３２）し、その２番目のラインを注目ラインとして、そのラインのスキャンを行い、前記した第１の特徴量、第２の特徴量、第３の特徴量を算出する（ステップＳ３３）。
【０１３４】
そして、これら第１，第２，第３の特徴量が算出されるごとに、前記した〔６〕式により評価値Ｃを算出する（ステップＳ３４）。次に、処理対象全面について評価値Ｃの算出処理が終了したか否かを判断（ステップＳ３５）して、処理が終了していなければ、行カウンタをインクリメント（ステップＳ３６）して、前記ステップＳ３２からステップＳ３５の処理を行う。
【０１３５】
なお、以上の処理において、ステップＳ２３の処理を終了するごとに、評価値Ｃを算出するのは、この画質算出部１１におけるこのような画質判断処理と、後述する画質改善部における画質の改善処理あるいは２値化閾値決定部における最適な２値化閾値決定処理を並行して行うためである。しかし、処理対象の画像全体を、まず、上記したような画質算出処理を行ったのち、そのあとで、まとめて画質の改善処理あるいは２値化閾値決定処理を行う場合は、図１１の処理フロ−において、ある画像全体についてステップＳ３３の処理が終わった後に、まとめて評価値Ｃを算出するようにしてもよい。
【０１３６】
ところで、この評価値Ｃは、次の４つのパタ−ンが考えられる。
【０１３７】
（イ）評価値Ｃ＝第１の特徴量（第１の評価値）×第３の特徴量
（ロ）評価値Ｃ＝第２の特徴量（第２の評価値）×第３の特徴量
（ハ）評価値Ｃ＝第１の特徴量に第２の特徴量を考慮した評価値（評価値Ａ）×第３の特徴量
（ニ）評価値Ｃ＝第１の特徴量に第２の特徴量を考慮した評価値（評価値Ｂ）×第３の特徴量
上記（イ）を評価値Ｃ１、（ロ）を評価値Ｃ２、（ハ）を評価値Ｃ３、（ニ）を評価値Ｃ４という。
【０１３８】
このように、文字の大きさという第３の特徴量を用いることにより、後述する画質改善部における画質改善処理をより効率的に行うことができる。
【０１３９】
ところで、以上説明した各特徴量の抽出は、実空間（人間の目で見たままの画像）におけるものであったが、次に、周波数空間における特徴量の抽出について説明する。
【０１４０】
まず、この周波数空間において「かすれ」に関する特徴量（これを第４の特徴量という）を抽出する方法について説明する。この周波数空間において「かすれ」に関する特徴量を抽出するということにおいて、まず、「かすれ」という特徴量と周波数との関係についてを説明する。
【０１４１】
図４１から分かるように「かすれ」が生じると、線のエッジ部分が不鮮明になる。エッジが不鮮明になるということは、高周波成分が減るものと考えられる。したがって、高周波成分を着目することにより、かすれの度合いを知ることができる。
【０１４２】
このようなことを踏まえて、周波数空間において「かすれ」に関する特徴量（第４の特徴量）を抽出する方法について説明する。この第４の特徴量の抽出は図１における第４の特徴量抽出手段１１４にて行われる。周波数空間への直行変換方法として、フーリエ変換、ディスクリート・コサイン変換、アダマール変換などがあり、どの直行変換方法を用いてもよいが、ここでは、演算処理が和と差のみで済むアダマール変換を用いた場合を例にとって説明する。
【０１４３】
このアダマール変換における処理手順は概略的には、図１３のフローチャートに示すように、まず、処理対象となる画像をｎ画素×ｍ画素の大きさのブロックに分割し（ステップＳ４１）、分割したブロックに対して直行変換（この場合はアダマール変換）を行う（ステップＳ４２）。なお、前記分割の大きさは任意でよいが、ここではｎ，ｍは１〜３２の範囲とするのが都合がよい。そして、アダマール変換により得られた高周波成分（アダマール変換においては高シーケンシという）に着目し、第４の評価値の算出を行う（ステップＳ４３）。この第４の評価値の算出方法については後述する。
【０１４４】
なお、アダマール変換は次式のようにして行う。
【０１４５】
【数１】
上式において、Ｙはｎ行ｍ列におけるアダマール変換後の行列、Ｈn ，Ｈm はそれぞれｎ次、ｍ次におけるアダマール変換するための行列、Ｘはｎ画素×ｍ画素の部分画像行列を表す。ここで、ｎ，ｍをそれぞれ４画素（４次）とした場合のアダマール変換を行うための行列Ｈn ，Ｈm は、
【０１４７】
【数２】
となる。また、部分画像行列を示すＸは、ｎ×ｍの各画素の白黒の状態を示すデータ（白を「０」、黒を「１」とする）で表される行列である。
【０１４９】
このようにして求められたｎ行ｍ列におけるアダマール変換後の行列Ｙ（ここでは、ｎ，ｍをそれぞれ４画素とする）は、図１４に示すように、ｎ，ｍの数値が大きくなればなるほど高周波成分（高シーケンシ）となり、また、ｎ，ｍの数値が小さくなればなるほど低周波成分（低シーケンシ）となるという特徴がある。したがって、ｎ行ｍ列におけるアダマール変換後の行列Ｙ（ここでは、ｎ，ｍをそれぞれ４画素とする）において、高周波成分を調べる場合は、ｎ，ｍの数値の大きい部分に着目すればよく、低周波成分を調べる場合は、ｎ，ｍの数値の小さい部分に着目すればよいことになる。具体的には、ｎ，ｍをそれぞれ４画素（ｎ＝ｍ＝４）とした場合、図１４の点線で示すように、ｎ，ｍが０，１を低周波成分とし、ｎ，ｍが２，３を高周波成分とする。
【０１５０】
このアダマール変換により、ｎ行ｍ列のアダマール変換後の行列Ｙが、分割されたブロック数分できる。つまり、分割されたブロック数をＮとすれば、ｎ行ｍ列のアダマール変換後の行列Ｙ１，Ｙ２，・・・，ＹＮを得ることになる。ここで、アダマール変換後の行列Ｙ１，Ｙ２，・・・，ＹＮの各要素をУij（０≦ｉ≦ｎ−１，０≦ｊ≦ｍ−１）で表すとすると、各要素ごとの分散σijは以下の式で表される。
【０１５１】
【数３】
また、このとき、アダマール変換後の行列Ｙ１，Ｙ２，・・・，ＹＮの各要素のУijにおける分散の比ρijは総分散をσx とすると、
【０１５３】
【数４】
のように定義される。ここで、〔１０〕式において総分散σx は、
【０１５５】
【数５】
で表される。
【０１５７】
図１５は、或るサンプル画像に対してコピーを行い、かすれを生じさせた場合、各シーケンシ（周波数成分）における分散の比を示す図である。ここでは、ｎ＝ｍ＝８とし、行方向および列方向のシーケンシは共に「０」から「７」であり、また、コピーの回数が０回（これは図５における２値化閾値ＴＨ１＝「７」に相当する）、コピーの回数が１回（図５における２値化閾値ＴＨ１＝「６」に相当する）、コピーの回数が２回（図５における２値化閾値ＴＨ１＝「５」に相当する）とし、図１５において、２値化閾値ＴＨ１＝「７」における各シーケンシと分散の比の関係を実線、２値化閾値ＴＨ１＝「６」における各シーケンシと分散の比の関係を点線、２値化閾値ＴＨ１＝「５」における各シーケンシと分散の比の関係を一点鎖線で表している。また、この図１５においては、横書きの原稿を縦方向に入力して横方向（行方向）に走査した場合のデータであり、同図（ａ）は、横方向（行方向）の成分（ｉ＝０，ｊ＝０〜７）における各シーケンシと分散の比の関係、同図（ｂ）は、縦方向（列方向）の成分（ｉ＝０〜７，ｊ＝０）における各シーケンシと分散の比の関係を表したものである。
【０１５８】
ここでは、横書きの原稿を縦方向に入力して横方向（行方向）に走査した場合であるため、横方向（行方向）においてかすれが生じやすいため、図１５（ａ），（ｂ）からもわかるように、横方向（行方向）において、コピー回数の違いがかすれの度合いの違いとして現れている。つまり、同図（ａ）において、高シーケンシ部分（シーケンシ「４」）以上に着目すると、コピー回数の違いがかすれの度合いの違いとして現れていることがわかる。そこで、この高シーケンシ部分に着目して「かすれ」に関する評価値（この評価値を第４の評価値という）を求めることができる。
【０１５９】
この第４の評価値の算出の方法としては、以下の方法が挙げられる。
【０１６０】
（Ｉ）高シーケンシ部分における分散の比の和を第４の評価値とする。すなわち、第４の評価値は、
【０１６１】
【数６】
で表される。これは、図１４に示すような高周波成分における全ての分散の比を考慮したものであるが、もし、かすれている方向が予めわかっているる場合、たとえば、前記したように横方向へのかすれが生じていることがわかっているる場合は、第４の評価値は図１５（ａ）のみを考慮（ｊ成分のみを考慮）すればよいから、
【０１６３】
【数７】
によって求められる。この〔１３〕式は、コピー回数の違いがかすれの度合いの違いとして明確に表れている数値（分散の比）のみを用いているため、求められる評価値の精度を高いものとすることができる。なお、〔１２〕式および〔１３〕式において、逆数をとるのは、かすれの大きさに比例して評価値を大きな数値とするためである。上記〔１３〕式によって得られた第４の評価値と前記２値化閾値ＴＨ１（ＴＨ１＝「５」〜「１２」）との関係を図１６により説明する。ここで、ブロックの大きさはｎ×ｍ＝８×８であるので、高シーケンシ部分は、前記〔１３〕式により、ｎ／２〜ｎ−１の範囲、つまり、シーケンシ４〜７となる。今、２値化閾値ＴＨ１＝「５」におけるシーケンシ４〜７に対する横方向の分散の比は、計算により、たとえばシーケンシ４では「0.0055」、シーケンシ５では「0.0070」、シーケンシ６では「0.0068」、シーケンシ７では「0.0039」と求められたとすると、その和は「0.0232」となる。これの逆数をとると、43.1となり、この値が第４の評価値となる。同様に、２値化閾値ＴＨ１＝「６」におけるシーケンシ４〜７に対する横方向の分散の比の和は、計算により、0.0288と求められたとすると、その逆数は、34.7となり、この値が第４の評価値となる。また、２値化閾値ＴＨ１＝「７」に対するシーケンシ４〜７における横方向の分散の比の和は、計算により、0.0431と求められたとすると、その逆数は、23.2となり、これらの値が第４の評価値となる。このように求められた２値化閾値ＴＨ１が「５」から「７」に対する第４の評価値の曲線（図１６）は、前述の図６（ａ）にて示した２値化閾値ＴＨ１が「５」から「７」に対する第１の評価値の曲線と同じようなカーブを描く。
なお、図１５（ａ）からは、２値化閾値ＴＨ１が「５」から「７」までの範囲における評価値しか求められないが、２値化閾値ＴＨ１が「８」以降においても、前述の図６（ａ）と同じようなカーブを描くことは明らかであり、結局は、２値化閾値ＴＨ１が「５」から「１２」までの範囲において図６（ａ）と同じような曲線を得ることができる。また、図１６において、点線で示す曲線は、２値化閾値ＴＨ１が「５」から「１２」におけるシーケンシ４〜７に対する縦方向の分散の比の和（図１５（ｂ） 参照）を示すもので、この場合、縦方向へのかすれは小さいので、２値化閾値が「５」から「１２」までの範囲においてそれぞれの評価値にあまり大きな違いは生じない。
【０１６５】
以上のようにして、第４の評価値を求めることができるが、この方法は、〔１２〕式および〔１３〕式からもわかるように、分散の比を求めるために、積和演算を多く用いるので、より簡単な方法として次の方法がある。
【０１６６】
（ＩＩ）アダマール変換後の行列Ｙ（行列Ｙ１〜ＹＮ）における全成分の絶対値の和と、アダマール変換後の行列Ｙ（行列Ｙ１〜ＹＮ）における高シーケンシ部分の絶対値の和の比をとって、この比をもとに第４の評価値を求める。
【０１６７】
以下、この（ＩＩ）の方法について説明する。
【０１６８】
前記分散の比が大きいということは、分散が相対的に大きいということである。また、アダマール変換の場合には、ＤＣ成分（ｉ＝０，ｊ＝０）以外は、図１７に示すように、平均値が０のラプラス分布で近似できる。このことから、図１５（ａ）において、たとえば、２値化閾値ＴＨ１が「５」である画像の場合のように、高シーケンシ部分における分散の比が相対的に小さい（かすれが大きい）ということは、図１７（ａ）のごとく、０を中心として分布の幅が相対的に小さく、結果として、変換後の行列Ｙ（行列Ｙ１〜ＹＮ）における高シーケンシ部分の絶対値の和も相対的に小さくなるということである。
【０１６９】
一方、２値化閾値ＴＨ１が「７」である画像の場合のように、高シーケンシ部分における分散の比が相対的に大きい（かすれが小さい）ということは、図１７（ｂ）のごとく、０を中心として分布の幅が相対的に大きく、結果として、変換後の行列Ｙ（行列Ｙ１〜ＹＮ）における高シーケンシ部分の絶対値の和も相対的に大きくなるということである。
【０１７０】
なお、図１７（ａ）は図１５（ａ）において、２値化閾値ＴＨ１が「５」における変換後の行列Ｙ（行列Ｙ１〜ＹＮ）の高シーケンシ部分の値（ここではシーケンシ「４」に対応する各Ｙの値）の分布を示すものであり、同図（ｂ）は図１５（ａ）において、２値化閾値ＴＨ１が「７」における変換後の行列Ｙ（行列Ｙ１〜ＹＮ）の高シーケンシ成分の値（ここではシーケンシ「４」に対応する各Ｙの値）の分布を示すものである。この図からもわかるように、高シーケンシ（この場合、シーケンシ「４」）において、かすれの大きい画像とかすれの小さい画像とでは、かすれの大きい画像の方がかすれの小さい画像よりも分布の幅が小さく、これにより、結果として、かすれの大きい画像は、かすれの小さい画像に対して、すべての高シーケンシ成分における絶対値の和も相対的に小さくなる。このことから、行列Ｙ（行列Ｙ１〜ＹＮ）におけるすべての高シーケンシ成分における絶対値の和をもとに評価値を算出することができる。
【０１７１】
したがって、第４の評価値は以下の式で表すことができる。
【０１７２】
【数８】
上記〔１４〕式において、Σ｜Уij｜はＮ個のブロックにおいて各ブロックの変換後の行列Ｙ（行列Ｙ１〜ＹＮ）のij成分の総和を表している。さらに、前記したように、もし、かすれている方向が予めわかる場合、たとえば、前記したように横方向へのかすれが生じていることがわかる場合はｊ成分のみを考慮すればよいから、上記〔１４〕式は、
【０１７４】
【数９】
によって求められる。この〔１５〕式は、コピー回数の違いがかすれの度合いの違いとして明確に表れている数値（分散の比）のみを用いているため、求められる評価値の精度を高いものとすることができる。なお、〔１４〕式および〔１５〕式において、逆数をとるのは、かすれの大きさに比例して評価値を大きな数値とするためである。
【０１７６】
上記〔１５〕式によって得られた第４の評価値と前記２値化閾値ＴＨ１（ＴＨ１＝「５」から「１２」）との関係を図１８により説明する。ここで、分割されたブロックの大きさはｎ×ｍ＝８×８であり、また、ブロック数Ｎは３個であるとする。そして今、２値化閾値ＴＨ１が「６」の場合、１番目のブロックにおける変換後の行列Ｙ１のУ0j（０≦ｊ≦７）成分が（１４，６，−５，２，１，−２，−２，１）、第２番目のブロックにおける変換後の行列Ｙ２のУ0j（０≦ｊ≦７）成分が（１３，−７、０，−４，０，２，０，−１）、第３番目のブロックにおける変換後の行列Ｙ３のУ0j（０≦ｊ≦７）成分が（１２，５、−３，０，−２，１，０，１）であったとする。
【０１７７】
ここで、〔１５〕式により、第１番目のブロックにおける変換後の行列Ｙ１の全成分の絶対値の和は、14＋6 ＋5 ＋2 ＋1 ＋2 ＋2 ＋1 ＝33であり、また、そのうちの高シーケンシ部分（シーケンシ４以上）における絶対値の和は、1 ＋2 ＋2 ＋1 ＝6 となる。また、第２番目のブロックにおける変換後の行列Ｙ２の全成分の絶対値の和は同様に計算すると２７となり、そのうちの高シーケンシ成分における絶対値の和は３となる。さらに、同様に、第３番目のブロックにおける変換後の行列Ｙ３の全成分の絶対値の和は２４となり、そのうちの高シーケンシ成分における絶対値の和は４となる。
【０１７８】
よって、この２値化閾値ＴＨ１が「６」の場合の第４の評価値は、〔１５〕式により、第４の評価値＝１／（高シーケンシ成分の絶対値の和／全成分の絶対値の和）であり、これに前記数値を代入すると、第４の評価値＝１／｛（6 ＋3 ＋4 ）／（33＋27＋24）｝となって、第４の評価値は約6.6 と求められる。
【０１７９】
以上のようにして同様に、２値化閾値ＴＨ１が「５」の場合、２値化閾値ＴＨ１が「７」の場合などについて、〔１５〕式を用いて第４の評価値を求めたものが図１８である。この図１８の曲線は図６と同じようなカーブを描く。また、図１８において、点線で示す曲線は、２値化閾値ＴＨ１が「５」から「１２」の各画像における縦方向に対する評価値を示すもので、この場合、縦方向へのかすれは小さいので、２値化閾値「５」から「１２」までのそれぞれの画像においてそれぞれの評価値にあまり大きな違いは生じない。
【０１８０】
以上のようにして、周波数空間において特徴量を抽出することによって、「かすれ」に関する第４の評価値を算出することができる。ところで、図１６と図１８において、ここでの説明は前記したように、横書きの原稿を縦方向に入力して横方向（行方向）に走査した場合のデータであるため、各画像の評価値は横方向のかすれに影響を受けた結果となっている。したがって、この図１６と図１８の結果をみれば、かすれの生じている方向、あるいは、画像の入力方向（縦方向の入力か横方向の入力か）を判断することができる。
【０１８１】
また、前記の説明では、横方向と縦方向の２つの方向のみについて説明したが、変換後の行列Ｙから０°〜９０°の範囲でのかすれの生じている方向の検出が可能となる。たとえば、４５°の方向を調べるには、変換後の行列Ｙのｉ＝ｊ（０≦ｉ≦ｎ−１）成分より求めることができる。
【０１８２】
なお、〔１２〕式においては、高周波成分におけるすべての要素の分散の比を考慮して第４の評価値の算出を行い、また、〔１３〕式においては、かすれの生じている方向における高周波成分のすべての要素の分散の比を考慮して第４の評価値の算出を行っているが、高周波成分の１または２以上の要素のみの分散の比を考慮して第４の評価値の算出を行ってもよい。同様のことが〔１４〕、〔１５〕式においても言える。
【０１８３】
以上の説明は、周波数空間において「かすれ」に関する特徴量（第４の特徴量）を抽出する方法について説明したが、つぎに、周波数空間において「つぶれ」に関する特徴量（これを第５の特徴量という）を抽出する方法について説明する。この周波数空間において「つぶれ」に関する特徴量を抽出するということにおいて、まず、「つぶれ」という特徴量と周波数との関係について説明する。
【０１８４】
前記したように、つぶれが生じているということは画素が黒べた状態となって、画素の白黒反転数が少なくなっているということであり、白黒反転数が少なければより多くのつぶれが生じていると言える。この白黒反転数を周波数と考えれば、つぶれの生じている部分は低周波成分と考えられ、この低周波成分を着目することにより、かすれの度合いを知ることができる。
【０１８５】
このようなことを踏まえて、周波数空間において「つぶれ」に関する特徴量（第５の特徴量）を抽出する方法について説明する。この第５の特徴量の抽出は図１における第５の特徴量抽出手段１１５にて行われる。周波数空間への直行変換方法として、前記したように、フーリエ変換、ディスクリート・コサイン変換、アダマール変換などがあり、どの直行変換を用いてもよいが、ここでは、演算処理が和と差のみで済むアダマール変換を用いた場合を例にとって説明する。
【０１８６】
このアダマール変換における処理手順は概略的には、図１９のフローチャートに示すように、まず、処理対象となる画像をｎ画素×ｍ画素の大きさのブロックに分割し（ステップＳ５１）、分割したブロックに対して直行変換（この場合はアダマール変換）を行う（ステップＳ５２）。なお、前記分割の大きさは任意でよいが、ここではｎ，ｍは１〜３２の範囲とするのが都合がよい。そして、アダマール変換により得られた変換後の行列ＹのＤＣ成分（直流成分、つまり、ｉ＝ｊ＝０の成分）または低周波成分（低シーケンシ）に着目し、評価値（この評価値を第５の評価値という）の算出を行う（ステップＳ５３）。
【０１８７】
この第５の評価値の算出方法としては、
（Ｉ）アダマール変換後の行列Ｙ（Ｙ１〜ＹＮ）におけるＤＣ成分に着目し、そのＤＣ成分におけるたとえば分散値（前記[9] 式により求められる）を第５の評価値とする。
【０１８８】
前記ＤＣ成分の数値は、各ブロックにおける黒画素数に相当する値である。よって、つぶれが生じているほど、ＤＣ成分における数値の分布幅が広くなり、結果として分散が大きくなる。したがって、このＤＣ成分に着目するとにより、「つぶれ」に関する評価値とすることができる。
【０１８９】
（ＩＩ）アダマール変換後の行列Ｙ（Ｙ１〜ＹＮ）の低周波成分（低シーケンシ）に着目して評価値を算出する。
【０１９０】
これは、ＤＣ成分以外の低シーケンシ（ブロックの大きさがｎ＝ｍ＝８の場合、シーケンシ１〜３）の分散値（前記[9] 式により求められる）をそのまま評価値として用いる。あるいは、ＤＣ成分を含めた低シーケンシ（シーケンシ０〜３）の２以上の要素の分散値の和を評価値として用いることもできる。
【０１９１】
図２０はアダマール変換後の行列Ｙの低シーケンシ（シーケンシ０〜３）における画像の状態（２値化閾値ＴＨ１＝「５」〜「１２」）に対する分散値の変化を示すものであり（１ブロックの大きさはｎ×ｍ＝８×８）、この図からも明らかなように、画像のつぶれが大きいほど分散値が大きくなっている。したがって、この分散値を評価値とすることができる。なお、この場合、前記（Ｉ）で示したように、ＤＣ成分のみに着目してそのＤＣ成分における分散値をそのまま評価値としてもよく、また、（ＩＩ）で示したように、ＤＣ成分以外の低シーケンシ（シーケンシ１〜３）のいずれかの分散値を評価値として用いることもでき、さらに、ＤＣ成分を含めた低シーケンシ（シーケンシ０〜３）の２以上の要素の分散値の和を評価値として用いることもできる。
【０１９２】
（ＩＩＩ）アダマール変換後の行列Ｙ（Ｙ１〜ＹＮ）における低周波成分（低シーケンシ）の各成分の絶対値の和を評価値とする。
【０１９３】
前記図２０からもわかるように、つぶれが大きいほど分散値が大きくなっている。分散値が大きいということは、変換後の行列Ｙ（Ｙ１〜ＹＮ）における各Ｙijの数値の分布の幅が広いということである。このことから、たとえば、２値化閾値ＴＨ１が「１２」の画像のように、低シーケンシにおける分散が大きい（つぶれが多い）ということは、数値の分布の幅が大きく、結果として変換後の行列Ｙ（Ｙ１〜ＹＮ）における各成分の絶対値の和も大きくなる。これに対して、低シーケンシにおける分散値が小さい（つぶれが少ない）ということは、数値の分布の幅が小さく、結果として変換後の行列Ｙ（Ｙ１〜ＹＮ）における各成分の絶対値の和も小さくなる。
【０１９４】
よって、低シーケンシにおける変換後の行列Ｙ（Ｙ１〜ＹＮ）における各成分の絶対値の和によって、「つぶれ」に関する特徴量を抽出することでき、その評価値（第５の評価値）を算出することができる。第５の評価値は次式により求められる。
【０１９５】
【数１０】
この〔１６〕式において、ブロック数Ｎで割るのは、ブロックの数により評価値の大きさが変わるのを防止するため（数値の正規化のため）である。なお、上記〔１６〕式において、処理を簡略化するために、かすれている方向での値のみを用いるようにしてもよい。ここで、つぶれに関する評価値算出式にも係わらず、「かすれている方向」としたのは、前記した「かすれ」の算出処理に合わせるためであり、また、かすれ易い方向において、つぶれがより多く生じているか否かの判断が容易に行えるからである。したがって、前記同様、かすれが横方向に顕著に生じる場合は、前記〔１６〕式は、
【０１９７】
【数１１】
で表される。
【０１９９】
この〔１７〕式によって得られた第５の評価値と前記２値化閾値ＴＨ１（ＴＨ１＝「５」〜「１２」）との関係を図２１により説明する。ここで、分割されたブロックの大きさはｎ×ｍ＝８×８であり、また、ブロック数Ｎは３個であるとする。そして今、第１の閾値ＴＨ１＝「６」の場合、１番目のブロックにおける変換後の行列Ｙ１のУ0j（０≦ｊ≦７）成分が（１４，６，−５，２，１，−２，−２，１）、第２番目のブロックにおける変換後の行列Ｙ２のУ0j（０≦ｊ≦７）成分が（１３，−７、０，−４，０，２，０，−１）、第３番目のブロックにおける変換後の行列Ｙ３のУ0j（０≦ｊ≦７）成分が（１２，５、−３，０，−２，１，０，１）であったとする。
【０２００】
前記〔１７〕式により、第１番目のブロックにおける変換後の行列Ｙ１の低シーケンシ（シーケンシ０〜３）における絶対値の和は、14＋6 ＋5 ＋2 ＝27となる。同様に計算すると、第２番目のブロックにおける変換後の行列Ｙ２の低シーケンシ成分における絶対値の和は２４となる。さらに、同様に、第３番目のブロックにおける変換後の行列Ｙ３の低シーケンシ成分における絶対値の和は２０となる。
【０２０１】
よって、この２値化閾値ＴＨ１が「６」の場合の評価値は、〔１７〕式により、第５の評価値＝低シーケンシ成分の絶対値の和／ブロック数Ｎであり、これに前記数値を代入すると、第５の評価値＝(27 ＋24＋20）／3 となって、第５の評価値は約23.7と求められる。なお、実際には処理対象画像が描かれている原稿面上には空白部分がかなり存在するため、実際の数値は上記した数値より小さい値となるが、ここでの説明は上記数値をそのまま用いても何ら差し支えないので説明の都合上、上記計算結果の数値をそのまま用いる。
【０２０２】
同様に、２値化閾値ＴＨ１が「５」から「１２」について、〔１７〕式を用いて評価値を求めたものが図２１である。この図２１の曲線は図８（ａ）と同じようなカーブを描く。
【０２０３】
以上のようにして、周波数空間において特徴量を抽出することによって、「つぶれ」に関する第５の評価値を算出することができる。
【０２０４】
なお、〔１６〕式においては、低周波成分におけるすべての要素を考慮して第５の評価値の算出を行い、また、〔１７〕式においては、かすれの生じている方向における低周波成分のすべての要素を考慮して第５の評価値の算出を行っているが、低周波成分の１または２以上の要素のみを考慮して第５の評価値の算出を行ってもよい。
【０２０５】
次に、以上の処理により求めた第４の特徴量および第５の特徴量の両方を考慮した評価値を算出する。つまり、第４の特徴量である「かすれ」と第５の特徴量である「つぶれ」とを考慮した評価値を算出することにより、より正確な画質の判断を行う。この評価値の算出方法として、前記したように、第４の評価値と第５の評価値の差で求める方法と第４の評価値と第５の評価値の和で求める方法があるが、ここでは、第４の評価値と第５の評価値の和で求める場合について説明する。なお、第４の評価値と第５の評価値の差で求められた評価値を評価値Ｄとし、第４の評価値と第５の評価値の和で求められた評価値を評価値Ｅとする。ここで、評価値Ｅは次式で算出される。
【０２０６】
評価値Ｅ＝第４の特徴量（第４の評価値）＋第５の特徴量（第５の評価値）・・・〔１８〕
この評価値Ｅの算出処理のフローチャートを図２２に示す。図２２において、まず、処理対象となる画像をｎ画素×ｍ画素の大きさのブロックに分割し（ステップＳ６１）、分割したブロックに対して直行変換（この場合はアダマール変換）を行う（ステップＳ６２）。そして、前記第４の評価値および第５の評価値を考慮した評価値Ｅの算出を行う（ステップＳ６３）。
【０２０７】
ここで、前記〔１８〕式の計算を行うに当たって、両者の評価値の絶対値が大きく異なる場合には、絶対値の大きな方の影響を受けて絶対値の小さな方の評価値を有効に活用できない。たとえば、図２３に示すように、同図（ａ）の（イ）はかすれを示す曲線（図１８に相当する）であり、（ロ）はつぶれを示す曲線（図２１に相当する）であるが、これらは、それぞれの評価値の絶対値が大きく異なっている。このように評価値の絶対値が大きく異なったまま、両者を加算すると、（ハ）のような曲線となる。つまり、２値化閾値ＴＨ１が「５」から「７」の間は、本来、かすれが大きく評価値も大きい値であるはずが、絶対値の大きな方の影響を受けて絶対値の小さな方の評価値を有効に活用できないという不都合が生じる。
【０２０８】
したがって、このような場合には、ある基準となる２値化閾値（ここでは、ＴＨ１＝「７」）におけるそれぞれの評価値の絶対値が等しくなるようにするとともに、その変化の範囲も同じにするために評価値の補正を行う。なお、以下の例では、第４の評価値は第４の特徴量抽出の説明における（ＩＩ）の方法により得られた値（図１８参照）、第５の評価値は第５の特徴量抽出の説明における（ＩＩＩ）の方法により得られた値（図１９参照）を用いるものとする。
【０２０９】
前記評価値の補正は以下のようにして行う。つまり、補正後の新評価値は、
新評価値＝｛（他の評価値の最大値−他の評価値の最小値）／（補正対象の評価値の最大値−補正対象の評価値の最小値）｝×（評価値−補正対象の評価値の基準値）＋他の評価値の基準値・・・・・〔１９〕
によって求められる。ここで、「補正対象の評価値」とは補正される側の評価値、「他の評価値」とは補正されない方の評価値を指す。また、基準値とは基準となる２値化閾値ＴＨ１における評価値をいう。たとえば、図２３（ａ）の場合、（イ）で示す「かすれ」の評価値を「補正対象の評価値」とし、基準となる２値化閾値ＴＨ１＝「７」とすると、
新評価値＝｛（５０−２０）／（８−４）｝×（評価値−５）＋２５
となり、この式において、（評価値−５）の評価値に、この場合、２値化閾値ＴＨ１＝「７」における評価値「５」を代入すると、２値化閾値ＴＨ１＝「７」における求めるべき新評価値は「２５」と求められる。また、（評価値−５）の評価値に、２値化閾値ＴＨ１＝「５」における評価値「８」を代入すると、２値化閾値ＴＨ１＝「５」における求めるべき新評価値は「４７．５」と求められ、また、（評価値−５）の評価値に、２値化閾値ＴＨ１＝「１２」における評価値「４」を代入すると、２値化閾値ＴＨ１＝「１２」における求めるべき新評価値は「１７．５」と求められ、補正後の新評価値によるカーブは図２３（ｂ）の（ニ）のようになる。
【０２１０】
したがって、図２３（ｂ）の（ニ）と（ホ）を加算することにより、（ヘ）のような２値化閾値ＴＨ１＝「５」〜「１２」に対する評価値Ｅの曲線が得られる。なお、この補正は、標準となる画像について行うことにより、他の画像においてもそのまま用いることができる。
【０２１１】
このようにして求められた第４の特徴量（第４の評価値）に第５の特徴量（第５の評価値）加算した評価値Ｅの曲線からもわかるように、最も画像の品質が良くなる２値化閾値ＴＨ１は、評価値が最小となるところであり、このことから、評価値が最小となるところを検出することにより、２値化するに当たって最適な２値化閾値ＴＨ１を決定することができる。よって、文字の２値化を行う際の２値化閾値の決定を極めて簡単にしかも的確に行うことができる。
【０２１２】
次に前記した第４の特徴量および第５の特徴量にもう一つの特徴量（前記した第３の特徴量）を加えることにより、後述する画質改善部における処理をより効果的なものとする評価値を得る。この第３の特徴量は前記したように、図１における第３の特徴量抽出手段１１３により算出されるもので、その特徴量とは文字の大きさに相当する横方向の長さである。
【０２１３】
後述する画質改善部では、画素の欠けを修復する処理を主に行うが、この場合、文字の大きさによって、欠ける画素数が異なってくる。つまり、大きな文字は欠ける画素数も多く、小さな文字は欠ける画素数も少ないと考えられる。そこで、前記した第４、第５の評価値および評価値Ｄ，Ｅにこの第３の特徴量である文字の大きさを掛けた値を新たな評価値（これを評価値Ｆという）とすることにより、画質改善部において、より効果的な処理が行えるようにする。
【０２１４】
この第３の特徴量というのは、一定長以上の黒ランの平均長であり、これは前述したように文字の大きさに近い値である。なお、一定長以上の黒ランの平均長というのは、前記第２の特徴量を求めるときに用いた「一定長以上の黒ラン」の平均の長さである。また、この評価値Ｆは、
評価値Ｆ＝（第４，第５の評価値または評価値Ｄ，Ｅ）×第３の特徴量・・・・・・〔２０〕
で表せる。
【０２１５】
この評価値Ｆの算出処理手順を図２４に示す。この図２４は図１２で示したフロ−チャ−トと基本的には同じである。図２４において、まず、前記した図９のフロ−チャ−トで示した処理と同様に、各種カウンタや各種レジスタを初期化する（ステップＳ７１）。次に、直行変換はｎ行単位に行われることから、行カウンタが指示する行からｎラインまでのラインデ−タを準備（ステップＳ７２）し、この場合は、このｎラインデータより第４の特徴量、第５の特徴量、第３の特徴量を算出する（ステップＳ７３）。そして、これら第４，第５，第３の特徴量が算出されるごとに、前記した〔２０〕式により評価値Ｆを算出する（ステップＳ７４）。次に、処理対象全面について評価値Ｆの算出処理が終了したか否かを判断（ステップＳ７５）して、処理が終了していなければ、行カウンタをｎ行分インクリメント（ステップＳ７６）して、前記ステップＳ７２からステップＳ７５の処理を行う。
【０２１６】
なお、以上の処理において、ステップＳ７３が終了するごとに、評価値Ｆを算出するのは、この画質算出部１１におけるこのような画質判断処理と、後述する画質改善部における画質の改善処理あるいは２値化閾値決定部における２値化閾値決定処理を並行して行うためである。しかし、処理対象の画像全体を、まず、上記したような画質算出処理を行ったのち、そのあとで、まとめて画質の改善処理あるいは２値化閾値決定処理を行う場合は、図２４の処理フロ−において、ある画像全体についてステップＳ７３の処理が終わった後に、まとめて評価値Ｆを算出するようにしてもよい。同様に、前記第４の評価値、第５の評価値または評価値Ｄ，Ｅもｎラインデータ単位での評価値の算出を行ってもよいし、画像全体についてまとめて評価値の算出を行ってもよい。
【０２１７】
ところで、この評価値Ｆは、次の４つのパタ−ンが考えられる。
【０２１８】
（イ）評価値Ｆ＝第４の特徴量（第４の評価値）×第３の特徴量
（ロ）評価値Ｆ＝第５の特徴量（第５の評価値）×第３の特徴量
（ハ）評価値Ｆ＝第４の特徴量に第５の特徴量を考慮した評価値（評価値Ｄ）×第３の特徴量
（ニ）評価値Ｆ＝第４の特徴量に第５の特徴量を考慮した評価値（評価値Ｅ）×第３の特徴量
上記（イ）を評価値Ｆ１、（ロ）を評価値Ｆ２、（ハ）を評価値Ｆ３、（ニ）を評価値Ｆ４という。
【０２１９】
このように、文字の大きさという第３の特徴量を用いることにより、後述する画質改善部における画質改善処理をより効率的に行うことができる。
【０２２０】
なお、この実施例では、画質算出部１１には、第１の特徴量抽出手段１１１、第２の特徴量抽出手段１１２、第３の特徴量抽出手段１１３、第４の特徴量抽出手段１１４、第５の特徴量抽出手段１１５の５つの特徴量抽出手段を設けた例を示している。そして、これまで述べたようにして、各評価値を算出したが、画質算出部１１としては、第１の特徴量抽出手段１１１または第４の特徴量抽出手段１１４のいずれかを用いて「かすれ」についての単独の画質の判断も可能であり、また、第２の特徴量抽出手段１１１または第５の特徴量抽出手段１１４のいずれかを用いて「つぶれ」についての単独の画質の判断も可能である。
【０２２１】
次に、これまでに述べた画質算出を行うに際して、図２５（ａ）に示すように、処理対象とする紙面上に異なる文字領域（たとえば、文字の劣化の生じにくいゴシック体の文字領域Ｚ１とかすれなど劣化の生じやすい明朝体の文字領域Ｚ２）が存在する場合の処理について説明する。
【０２２２】
このように、種類の異なる文字領域が存在する場合は、前記したように、評価値を算出する際におけるデータを順次蓄積して行く方法では、領域の変化している部分において、正しい評価値が得られないという問題がある。これを同図（ｂ），（ｃ）を用いて説明する。同図（ｂ），（ｃ）において、太い実線Ｌ１は領域Ｚ１において求められるべき理想的な評価値、太い実線Ｌ２は領域Ｚ２において求められるべき理想的な評価値であるとする。同図（ｂ）からもわかるように、データを順次蓄積して評価値を算出する方法では、実際に求められる評価値は細い実線Ｌ３で示すように、領域Ｚ１から領域Ｚ２に変わるところからしばらくの間（図中、ｗ１で示す範囲）は、正しい評価値が得られないことになる。
【０２２３】
そこで本発明では、評価値算出を行う範囲に制限を設け、種類の異なる文字領域が存在する場合においても適切な評価値の算出が可能となるようにする。その方法を以下に説明する。
【０２２４】
異なる文字種の存在する画像においては、文字の種類が行の途中で変わることは少なく、行単位で変わる場合が殆どである。したがって、或る行数単位ごとに評価値を求めるのも一つの方法である。
【０２２５】
このように、或る行数単位ごとに評価値を求める一例として、１行ごとに処理する場合を説明する。この場合は、まず、画像から１行分の文書画像を切り出し、この切り出した行の範囲で評価値を求める。なお、行の切り出し方法としては、図２６のように、行方向の画素の累積値である射影を求め、この射影からその谷間が行間であると判断して行の切り出しを行う方法がある。さらに簡単な方法として、画像を走査する段階において、画素の有無を検出して画素の無い部分が行間であると判断し、行の切り出しを行う方法もある。そして、このように切り出された行単位で前述したような方法にて評価値を求める。
【０２２６】
また、種類の異なる文字領域が存在する場合においても適切な評価値の算出が可能とする他の方法として、処理対象ラインの白黒反転数を求め、この白黒反転数が所定の数（評価値を求めるに必要とする数を予め設定しておく）以上に達するまでのラインに逆上って、その範囲内における評価値を求める。たとえば、評価値を求めるに必要とする白黒反転数が２０００程度であるとすると、白黒反転数が２０００に達したところで、この白黒反転数が２０００に達したところまでの範囲内にて評価値を求める。この方法では、行の切り出しという処理が不要となる。
【０２２７】
このように、評価値算出を行う範囲に制限を設けて、所定範囲ごとに評価値を算出することにより、図２５（ｃ）に示すように、それぞれの領域（この場合は、領域Ｚ１、領域Ｚ２）ごとに最適な評価値を求めることが可能となる。つまり、領域Ｚ１および領域Ｚ２において求められるべき理想的な評価値（太い実線Ｌ１，Ｌ２）と実際に求められる評価値（細い実線Ｌ３）がほぼ一致する。
【０２２８】
ここで説明した各領域ごとに最適な評価値を求めるという処理は、後述する画質の改善処理、画像に適した２値化閾値の決定処理において重要な処理である。つまり、これら画質の改善処理、画像に適した２値化閾値の決定処理は、各領域ごと（文字の種類ごと）にその領域に適した評価値が必要となってくるからである。
【０２２９】
（第２の実施例）
次に、この発明の第２の実施例として、前記第１の実施例で説明した画質算出部１１の結果を用いて画質改善を行う画質改善部（詳細は後述する）を備えた画像処理装置について説明する。
【０２３０】
図２７はこの第２の実施例の構成を示すもので、画質算出部１１、ＣＰＵ１２，ＲＡＭ１３、画像入力装置１４、画像出力装置１５、バスライン１６などは図１で説明したものと同じであり、この図２７では、これらの他に、画質改善部２１が前記バスライン１６に接続された構成となっている。
【０２３１】
この画質改善部２１は、画素の欠けた可能性のある部分を抽出して、前記画質算出部１１で算出した評価値を用いて、画素の欠けた部分の補間を行うもので、処理候補抽出手段２２、画素加工手段２３を主な構成要素としている。以下、これら処理候補抽出手段２２、画素加工手段２３について説明する。
【０２３２】
処理候補抽出手段２２は、画素の欠けた可能性のある部分の抽出を行うもので、特徴点抽出手段２２１、候補決定手段２２２からなる。また、画素加工手段２３は、処理候補抽出手段２２で抽出した画素の欠けた可能性のある部分を前記画質算出部１１で算出した各評価値を用いて画素の補間を行うもので、閾値算出手段２３１、文字切り出し手段２３２を有している。以下、個々に説明する。
【０２３３】
特徴点抽出手段２２１は、画質の劣化した部分の跡を抽出する。すなわち、前記したように、図２（ｂ）を見ると、かすれの生じている部分は、縦方向に並んだ１画素から２画素（または３画素）の画素が横方向に凸部となっていることがわかる。そこで、このような部分の抽出を行う。このとき具体的には、図３（ａ）〜（ｆ）で示した６種類のパタ−ンの特徴点の抽出となる。
【０２３４】
候補決定手段２２２は、上記特徴点抽出手段２２１により抽出した特徴点の位置関係から劣化した部分の決定を行う。ここで図２（ｂ）をみると、画質の劣化した部分は、主に図中Ａの部分のように特徴点が向かい合っている（対面）部分である。しかし、一部にはＢの部分のように特徴点と特徴点でない黒画素が向かい合っている部分もある。そこで、この候補決定手段２２２では、このような部分の抽出を行って画質の劣化した可能性のある部分として決定する。
【０２３５】
なお、劣化した部分の特徴点の組み合わせはここでは以下のように定める。ただしこれに限られるものではない。
【０２３６】
（１）３画素特徴点同志の対面（たとえば図３（ｅ）と（ｆ））
（２）３画素特徴点と２画素特徴点の対面（たとえば図３（ｃ）と（ｆ））
（３）３画素特徴点と１画素特徴点の対面（たとえば図３（ａ）と（ｄ））
（４）２画素特徴点同志の対面（たとえば図３（ｃ）と（ｄ））
（５）２画素特徴点と１画素特徴点の対面（たとえば図３（ａ）と（ｄ））
（６）１画素特徴点同志の対面（たとえば図３（ａ）と（ｂ））
（７）３画素特徴点と特徴点以外の黒画素との対面
（８）２画素特徴点と特徴点以外の黒画素との対面
（９）１画素特徴点と特徴点以外の黒画素との対面
このような組み合わせにおいて（２）から（６）のような特徴点同志の対面の場合は、条件１として、一部分でも特徴点の対面があれば、画素の補間の必要有り（処理候補）と見做すが、特徴点同志の対面の場合であっても、（１）の３画素特徴点同志の対面の場合は、条件２として、２画素以上の対面がある場合のみを画素の補間の必要有り（処理候補）と見做す。この関係を図２８に示す。図２８（ａ）は上記条件１を満たす場合であり、この場合は、（２）の３画素特徴点と２画素特徴点の対面であって、そのうちの１画素が対面している例を示している。また、同図（ｂ）は上記条件２を満たす場合であり、この場合は、（１）の３画素特徴点同志の対面であって、そのうちの２画素が対面している例を示している。また、同図（ｃ）は（１）の３画素特徴点同志の対面であるが、この場合は、２画素以上の対面がないので条件２を満たしていないと判断される。
【０２３７】
また、図２８において、対面する画素の間隔（図示矢印で示す）が所定の画素数分の間隔以内の場合に、その間に画素の補間を行う。つまり、対面する画素（黒画素）の間に幾つの白画素が有るかを判断して、その白画素の閾値を設定し、閾値以下の場合はその白画素部分を「かすれ」と見做して、その部分に黒画素を補間する。これについては以下に詳細に説明する。
【０２３８】
次に、前記画素加工手段２３において、画素の欠けた部分を前記画質算出部１１で算出した各評価値を用いて画素の補間を行う処理を説明する。
【０２３９】
この画素加工手段２３は閾値算出手段２３１、文字切り出し手段２３２を有している。この閾値算出手段２３１は、前記画質算出手段１１にて算出した各評価値を変数として画素の補間を行う際の閾値（この閾値を閾値ＴＨ３という）を算出する。以下にこの閾値算出手段２３１について説明する。
【０２４０】
処理候補抽出手段２２における候補決定手段２２２にて、劣化部分と判断された部分には、たとえば、図２（ｂ）のＡ，Ｂの部分のように黒画素間に数画素分の間隔（白画素）が存在する。また、従来の技術の項の説明で用いた図４１（ｂ），（ｃ）を比較すると、画質の劣化が大きいほどその間隔が広くなる。そこで、画質の劣化が大きいほど、劣化した部分の間隔は広いものと考え、どの程度の間隔までなら画素の補間を行うかの指標を閾値ＴＨ３として設定する。すなわち、画質が良い場合に、白画素部分の補間を行う処理をすると、本来画素の無い部分にまで画素を補間してしまうことになる。そこで、このような誤った処理を防止するため、画質に合わせた閾値ＴＨ３を閾値算出手段２３１にて算出する。
【０２４１】
この閾値算出手段２３１における閾値ＴＨ３の算出方法を以下に説明する。
【０２４２】
閾値ＴＨ３の算出は前記（１）から（９）で示した劣化部分の９通りの組み合わせ毎に算出する。この理由は、前記（１）から（９）で示したそれぞれの組み合わせ毎にその組み合わせにとって最も適切な閾値が存在するからである。よって、閾値ＴＨ３は以下の式で算出される。
【０２４３】
閾値ＴＨ３（ｎ）＝ｆ（ｎ）（ｘ）・・・〔２１〕
ここで、ｎは１≦ｎ≦９であり、この１から９までの数値は、前記（１）から（９）で示した劣化部分の９通りの組み合わせの括弧内の数値を示している。また、ｆ（ｎ）（ｘ）は各組み合わせ毎に異なる閾値算出のための関数（作成方法は後述する）であり、ｘを変数としている。この変数ｘはこの場合、評価値である。したがって、上記〔２１〕式は、
閾値ＴＨ３（ｎ）＝ｆ（ｎ）（評価値）・・・〔２２〕
と表せる。ここで評価値とは画質算出部１１により求めた各種評価値である。このように、（１）から（９）で示した劣化部分の９通りの組み合わせによって、個々の組み合わせに対応した閾値ＴＨ３が設定される。そして、候補決定手段２２２により求めた画質の劣化の可能性のある部分の間隔が〔２２〕式により求められた閾値ＴＨ３（ｎ）以下であれば、画素加工手段２１にてその部分に画素の補間を行い、間隔が〔２２〕式により求められた閾値ＴＨ３（ｎ）より大きければ、画素の補間は行わない。
【０２４４】
ところで、前記閾値ＴＨ３を算出するための関数は次のようにして算出する。ここでは、図２９（ａ）のように劣化していない元の画像と、同図（ｂ）のように画質のやや劣化した画像、ここでは図示しないが、さらに画質の劣化した画像の３種類を基準画像として用意する。
【０２４５】
同図（ｂ）のように画質のやや劣化した画像において、候補決定手段２２２により画質の劣化したと思われる部分（図中、Ｃで示す部分）の抽出を行う。また、抽出した部分の特徴点の組み合わせの種類と画素の間隔を調べるとともに、その画質の劣化したと思われる部分を、元の画像と対比させて実際に劣化した部分か否かを調べる。ここで、図中、Ｃで示す部分の特徴点の組み合わせの種類は、２画素特徴点と１画素特徴点の対面であるから（５）の種類であり、また、その間隔はこの場合、２画素とする。
【０２４６】
これを処理対象画像全面について調べ、ここでは、図２９（ｂ）のように画質のやや劣化した画像の２画素特徴点と１画素特徴点の対面の部分（前記(5）の組み合わせ）を全て取り出して、その劣化部分の間隔と、その劣化部分を元の画像と対比させて実際に劣化した部分か否かを調べた結果の関係を図３０に示す。
【０２４７】
この図３０のグラフは、横軸に劣化部分の間隔（画素数）をとり、縦軸には劣化部分を元の画像と対比させて実際に劣化した部分か否かを調べた結果、実際の劣化部分であった場合を正解としその正解の数、または劣化部分を元の画像と対比させて実際に劣化した部分か否かを調べた結果、劣化部分ではなく、もともと白画素部分であった場合を不正解としその不正解の数を取っている。なお、同図において、実線で示すものが正解の数を表し、点線で示すものが不正解の数を表している。
【０２４８】
このグラフによれば、間隔が３画素までは正解（劣化部分）が多く、間隔が４画素となると不正解（もともと白画素部分）が多くなることがわかる（図３０において斜線を施した部分は正解の数の多い部分である）。したがって、この場合は、閾値ＴＨ３（５）を「３」とする。すなわち、前記（５）の組み合わせにおいては、間隔が「３」までは劣化部分と見做してその間隔を補間しても差し支えないということを示している。逆に、間隔が「４」以上であればその間隔はもともと存在する間隔であると判断し、補間処理は行わない方がよいということを示している。
【０２４９】
同様に、さらに劣化した画像の２画素特徴点と１画素特徴点の対面の場合における劣化部分の間隔と、その劣化部分を元の画像と対比させて実際に劣化した部分か否かを調べた結果を示すグラフを求めた結果、閾値ＴＨ３（５） が「６」であったとする。
【０２５０】
また、前記図２９（ｂ）で示したやや劣化した画像の評価値（第１の実施例で算出した幾つかの評価値のうちいずれの評価値を用いてもよい）が０．４９であったとし、また、さらに劣化した画像の評価値（これも第１の実施例で算出した幾つかの評価値のうちいずれの評価値を用いてもよい）が０．９９であったとする。
【０２５１】
ここで前記関数ｆ（ｎ）（評価値）をたとえば、ａｘ＋ｂというような１次関数で表すとすると、この場合、変数ｘは評価値であるから、
閾値ＴＨ３（ｎ）＝ａ×評価値＋ｂ・・・〔２３〕
となる。この場合、ｎ＝５であるから、
閾値ＴＨ３（５）＝ａ×評価値＋ｂ・・・〔２４〕
となる。この〔２４〕式に、上記の如く求めた閾値ＴＨ３（５）＝3、評価値＝0.49および閾値ＴＨ３（５）＝6、評価値＝0.99を代入して、係数ａ，ｂを求めると、ａ＝6、ｂ＝0.06となり、処理対象画像の「（５）２画素特徴点と１画素特徴点の対面」における関数が決定される。以上のようにして、（１）から（９）の各組み合わせの種類毎に、それぞれ関数を決定する。
【０２５２】
このようにして（１）から（９）の各組み合わせの種類毎に関数が決定する。すなわち、この場合、評価値を変数とする図３１のような直線が得られ、これにより、他の閾値ＴＨ（ｎ）が求められる。
【０２５３】
なお、閾値は整数値であるから、ここでは上記関数より求めた値の小数点以下を四捨五入して整数化した値を閾値ＴＨ３として用いてもよい。そして、この閾値ＴＨ３と検出された間隔の関係から画素を補間するか否かを判断する。すなわち、検出された間隔が閾値ＴＨ３以下であればその間隔には画素の補間を行い、検出された間隔が閾値ＴＨ３より大きければ、その間隔はもともと空白であったと見做して画素の補間は行わないようにする。
【０２５４】
以上の処理フロ−チャ−トを図３２に示す。
【０２５５】
図３２において、各種カウンタやレジスタなどの初期化を行う（ステップＳ８１）。この処理は図７のフロ−チャ−トのステップＳ１１と同じである。次に、行カウンタが示す行から６ラインのデ−タの準備を行う（ステップＳ８２）。この場合、図２８（ｂ）で示した３画素特徴点同志の対面において、そのうちの２画素が対面しているか否かという条件２を判断するために６ライン以上のデ−タが必要となってくる。
【０２５６】
そして、前記第１の実施例で説明したように、各評価値の算出をライン毎に行う。このステップＳ８１からステップＳ８５の一連の処理は図１２の処理フロ−と殆ど同じである。
【０２５７】
一方、ステップＳ８３の処理に並行して、画像改善処理を行う。すなわち、前記した（１）から（９）までの特徴点の組み合わせ検出を行い、その間隔の判断を行う（ステップＳ８６）。そして、上記（１）から（９）までの特徴点の組み合わせ番号、評価値などから閾値ＴＨ３（ｎ）を求め（ステップＳ８７）、この閾値ＴＨ３（ｎ）とステップＳ８６で検出された間隔とを比較して（ステップＳ８８）、間隔≦閾値ＴＨ３（ｎ）であれば画素の補間を行う（ステップＳ８９）。
【０２５８】
なお、図２７で説明した画質改善部２１の画素加工手段２３に文字切り出し手段２３２を設けたのは、たとえば、図３３に示すように、隣接する文字間において、誤った画素の補間処理がなされる場合があることから、文字を１文字１文字切り出した上で補間処理を行おうとするためである。つまり、図３３に示すように、隣接した文字同志に極めて接近した部分ｓがあると、その接近した部分ｓは画素の補間の必要とする部分であると判断されて、誤った処理がなされる可能性があるからであり、それを防止するために、文字を１文字１文字切り出して、切り出された文字の範囲内で補間処理を行おうとするものである。これにより、隣接する文字間における誤った画素の補間処理の防止が図れる。
【０２５９】
図３４は以上説明した画像の修復処理により修復された画像の具体例を示すものである。同図（ａ）の（Ｉ）は図４０（ｂ）で示した１回コピ−した画像であり、同図（ｂ）の（Ｉ）は図４０（ｃ）で示した２回コピ−した画像である。これを前記した処理を施すことにより、同図（ＩＩ）に示す如く、「かすれ」部分が殆ど修復された画像となる。また、この処理とともに、画像の凹凸を無くす処理（スム−ジング処理）を施すと、同図（ＩＩＩ）に示す如く、さらに見た目のよい画像となる。
【０２６０】
このような処理を施した場合の、文字認識装置における認識率は、同図（ａ）の１回コピ−した画像は、（Ｉ）の画像では９３．４％であったものが、（ＩＩ）では９７．１％に改善され、また、同図（ｂ）の２回コピ−した画像は、（Ｉ）の画像では８２．３％であったものが、（ＩＩ）では９３．１％に改善された。
【０２６１】
このように、画質に応じた閾値ＴＨ３を設定することにより、検出された間隔がその閾値より小さければその間隔には画素の補間を行い、検出された間隔がその閾値より大きければ、その間隔はもともと空白であったと見做して画素の補間は行わないので、本来、画素の無い部分にまで画素を補間してしまうという誤った処理を防止することができ、かすれなどにより劣化した部分のみを確実に修復処理することができる。
【０２６２】
したがって、この画像改善装置をディジタルコピ−機や文字認識装置などに適用すればその効果は絶大なるものがある。特にディジタルコピ−機においてその効果はより顕著なものとなる。すなわち、ディジタルコピ−機は画像を忠実に再現するための装置であり、元の原稿がかすれていたりすると、かすれたままのコピーがなされる。しかし、本発明の画像処理装置を適用することにより、画像の品質が悪いと判断した場合には、品質に合わせた画質の改善処理を行うことができる。つまり、元の原稿がかすれていたりした場合には、かすれを修復（画素の補間など）したコピーを行えるので、元の原稿よりも品質のよいコピー原稿が得られる。また、画像の品質を判断しながら処理を行うので、品質の良い原稿に対しては余計な処理を加えることがないので、悪影響を与えることはない。また、文字認識装置においても、文字認識処理前に画像の品質を判断し、画像の品質が悪いと判断した場合には、品質に合わせた画質の改善処理を行うことにより、文字認識率を大幅に向上することができる。
【０２６３】
なお、この第２の実施例において、閾値ＴＨ３を求める変数としての評価値は、前記第１の実施例で算出した種々の評価値、つまり、第１の特徴量である第１の評価値、第２の特徴量である第２の評価値、第１の特徴量と第２の特徴量とを考慮した評価値（たとえば第１の特徴量−第２の特徴量による評価値Ａ、第１の特徴量＋第２の特徴量による評価値Ｂ）、これら各評価値に第３の特徴量を掛けて求めた評価値Ｃ１〜Ｃ４、または、第４の特徴量である第４の評価値、第５の特徴量である第５の評価値、第４の特徴量と第５の特徴量とを考慮した評価値（たとえば第４の特徴量−第５の特徴量による評価値Ｄ、第４の特徴量＋第５の特徴量による評価値Ｅ）、これら各評価値に第３の特徴量を掛けて求めた評価値Ｆ１〜Ｆ４のいずれも使用することができるが、評価値Ｃ１〜Ｃ４または評価値Ｆ１〜Ｆ４のいずれかを用いればより優れた効果を得ることができる。
【０２６４】
また、この第２の実施例では、閾値ＴＨ３を求めるための〔２２〕式における関数を、一次関数としたが、多数の劣化した画像を用意することにより、たとえばｎ次関数とすることもできる。さらに、処理を簡便にするために〔２２〕式における関数を、評価値を変数とした関数とせずに、固定値としてもよい。
【０２６５】
（第３の実施例）
次に、この発明の第３の実施例として、文字画像に適合した最適な２値化閾値を決定する手段について説明する。
【０２６６】
２値化方法としては従来より数多く提案されているが、これら従来の方法は必ずしも文字画像に適合した２値化方法とはいえない。つまり、２値化後にかすれやつぶれが生じる場合もある。そこで、この実施例では、前記画質算出部１１にて求められた評価値を用いて２値化閾値を決定する方法を説明する。
【０２６７】
図３５はこの第３の実施例の全体的な構成を示す図であり、図１で示した構成に２値化閾値決定部３１を設けた構成となっている。
【０２６８】
この２値化閾値決定部３１の処理内容を図３６のフローチャートを参照しながら説明する。
【０２６９】
まず、処理対象とする画像を多値で入力する（ステップＳ９１）。なお、ここでは１６階調での入力とし、また、白の階調を「０」、黒の階調を「１５」とする。次に、２値化するための仮の２値化閾値を決定する（ステップＳ９２）。１６階調における中央値は「７」もしくは「８」であり、ここでは、仮の２値化閾値の設定範囲を５〜１１の階調の範囲で変化させるものとし、仮の２値化閾値の初期値を「８」とする。ここで、仮の２値化閾値の設定範囲を５〜１１としたのは、１６階調入力の場合、一般に、この範囲内に２値化に適した閾値が存在するからである。
【０２７０】
そして、このように設定された仮の２値化閾値を用いて２値化を行う（ステップＳ９３）。この２値化処理のあと、評価値の算出を行う（ステップＳ９４）。ここでの評価値の算出方法は前記したいずれの方法を用いてもよいが、ここでは、図２３で説明したように、第４の特徴量＋第５の特徴量にて求めた評価値（評価値Ｅ）を用いた例について説明する。この場合、前述したように、評価値Ｅが最小となるところが最良の画質が得られるところである。したがって、この評価値Ｅが最小となるところを２値化閾値として決定すればよい。以下に評価値Ｅが最小となる閾値の判断について説明する。図３７は、処理対象となる画像の２値化閾値ＴＨ１と誤り率（点線で示す）および評価値Ｅ（実線で示す）の関係を示す図であり、評価値Ｅは第４の特徴量＋第５の特徴量にて求めたものである。この図３７において、評価値Ｅを示す曲線に付された「＋」、「−」は、「かすれ」の値が「つぶれ」の値以上の場合を「＋」、それ以外を「−」として示したものである。以下、処理手順を図３８のフローチャートを参照して説明する。
【０２７１】
図３８において、まず、仮の２値化閾値ＴＨ１の初期値を「８」と設定（ステップＳ１０１）し、この仮の２値化閾値ＴＨ１の初期値「８」における評価値を求め、そのときにおけるかすれとつぶれの大きさの判断、つまり、「かすれ≧つぶれ」であるか否かを判断する（ステップＳ１０２）。この判断において、図３７からわかるように、この場合、つぶれがかすれより大きいので、求めるべき２値化閾値は「８」より小さいと判断して、仮の２値化閾値ＴＨ１を「６」と設定する（ステップＳ１０３）。そして、仮の２値化閾値ＴＨ１が「６」における評価値を求め、そのときにおけるかすれとつぶれの大きさの判断、つまり、「かすれ≧つぶれ」であるか否かを判断する（ステップＳ１０４）。この判断において、この場合、「かすれ≧つぶれ」であるので、仮の２値化閾値ＴＨ１は「７」と決定される（ステップＳ１０５）。そして、仮の２値化閾値ＴＨ１が「７」における評価値を求めると、「かすれ≧つぶれ」となる。よって、仮の２値化閾値ＴＨ１＝「７」はかすれ寄りに、ＴＨ１＝「８」ではつぶれ寄りになることから、このいずれかが最適の２値化閾値となる。そこで、この２つ（もとめた３つの評価値でもかまわない）の評価値のうち最小となる評価値に対応する２値化閾値が１６階調における最適の２値化閾値となり、この場合、その最適の２値化閾値はＴＨ１＝「７」となる。つまり、２値化閾値ＴＨ１は「７」に収束したものと判断（ステップＳ１０６）される。このように、この場合は、３回の仮の２値化閾値設定処理および評価値計算により求めるべき２値化閾値が決定することができる。
【０２７２】
なお、ここでは第４の特徴量＋第５の特徴量にて求めた評価値Ｅを用いた例について説明したが、図６（ａ）あるいは図８（ａ）のように単純減少あるいは単純増加となる評価値を用いた場合は、評価値に基準となる点を設定（たとえば図示一点鎖線で示す）することにより、上記同様の処理を行うことができる。また、階調は１６階調に限られるものではなく、２値化閾値を決定するための収束方法も上記方法に限られるものではない。また、これをスキャナに応用する場合は、多値データの入力はデータ転送に時間がかかるため、仮の２値化閾値でスキャナから２値入力し、パソコンで評価値算出および収束判断を行ないながら、順次、２値化閾値を変更してスキャナから２値入力および２値化閾値の決定を行うようにしてもよい。また、一部の領域について多値で入力し、２値化閾値を決定したあと、その２値化閾値による２値データでの全面入力を行うようにしてもよい。さらに、入力する画像を幾つかの領域（たとえば文字列単位）に分割し、その分割された領域ごとに２値化閾値の決定を行うようにしてもよい。
【０２７３】
以上説明したように、この実施例では、最良の画質が得られるところを２値化閾値として決定できるので、コピー機やスキャナなどに応用することにより、かすれやつぶれの少ない高品質な画像を得ることができる。また、ＯＣＲの前処理として用いることにより、図３７を例にすると、従来、デフォルトの２値化閾値がＴＨ１＝「８」であったとすると、自動的に高認識率の得られるＴＨ１＝「７」に設定でき、高い認識率を得ることができる。
【０２７４】
図３９は上記したような２値化閾値の決定方法により２値化を行うとともに、かすれやつぶれなどによって劣化した画像の改善処理を可能とした画像処理装置の構成を示す図であり、基本的な構成は図２７と同じであり、この図２７の構成にさらに前記実施例３で説明した２値化閾値決定部３１が設けられている。つまり、画質算出部１１、画質改善部２１、２値化閾値決定部３１を組み合わせた構成としたものである。
【０２７５】
この画像処理装置の概略的な処理としては、前記画質算出部１１にて求められた評価値を用いて２値化閾値を決定して２値化を行い、２値化後の画像に対して、前記評価値を用いて画質の改善処理を行うというものである。なお、この処理における評価値算出処理、この評価値を用いた２値化閾値決定処理、前記評価値を用いた画質の改善処理などについては、これまでに詳細に説明したので、ここではこれらの処理手順などについての説明は省略する。
【０２７６】
なお、評価値を用いて２値化閾値を決定して２値化を行う処理と、２値化後の画像に対して、前記評価値を用いて画質の改善を行う処理は、まず、対象となる画像に全面に対して２値化閾値を決定して２値化を行ったあとに、画質の改善を行うようにしてもよく、また、これらの処理を並行（２値化閾値を決定して２値化を行う処理が先行する）して行うようにしてもよい。
【０２７７】
このように、画質算出部１１にて求められた評価値を用いて２値化閾値を決定して２値化を行い、２値化後の画像に対して、前記評価値を用いて画質の改善処理を行うことにより、最良の画質が得られるところを２値化閾値として決定できるので、２値化の段階においてかすれやつぶれの少ない高品質な画像を得ることができる。また、画像の品質が悪いと判断した場合には、さらに品質に合わせた画質の改善処理を行うことができる。つまり、元の原稿がかすれていたりした場合には、たとえ２値化閾値を最適に設定しても、かすれ等がなくなるわけではない。よって、さらに画質の改善処理を行うことにより、かすれを修復（画素の補間など）したコピーが行えるので、元の原稿よりも品質のよいコピー原稿が得られる。また、画像の品質を判断しながら処理を行うので、品質の良い原稿に対しては余計な処理を加えることがないので、悪影響を与えることはない。また、文字認識装置においても、文字認識処理前に画像の品質を判断し、画像の品質が悪いと判断した場合には、品質に合わせた画質の改善処理を行うことにより、文字認識率を大幅に向上することができる。
【０２７８】
また、これまで説明した実施例では、主として日本語に適用するものとしての説明であるが、アルファニュ−メリック（αＮ）への対応も、以下のような変更を施すことにより可能となる。
【０２７９】
まず、第１の実施例に記載の部分では以下のように対処する。
１）前記〔１〕式で示した第１の特徴量算出式を次式のように変更する。
【０２８０】
第１の特徴量＝１画素特徴点の出現回数／白黒反転回数
ここで、１画素特徴点とは、図３（ａ），（ｂ）に示す特徴点である。この変更理由としては、アルファニュ−メリックの場合、「かすれ」部分は殆どが１画素の凸部であるためである。
２）前記〔２〕式、つまり、第２の特徴量算出式
第２の特徴量＝一定長以上の黒ランの数／黒ランの総数
において、黒ランの数をカウントするための閾値ＴＨ２の算出方法を変更する。第１の実施例における閾値ＴＨ２は、文字の大きさに近い横線の画素数を基準に求めていたが、アルファベットなどは日本語に比べ、横線の直線性が低く、横線により文字の大きさを判断するするのは困難である。また、アルファベットなどの文字は縦線の太さを基にして文字の大きさを判断したほうがより適格に判断できる。これらの点から、
閾値ＴＨ２＝文字の縦線の太さの平均×α
とする。ここで、αは３．０〜４．０の範囲とする。これは、アルファベットなどの文字の大きさは文字の縦線の太さの約３〜４倍であることが多いからであり、実験によれば、α＝３．４が適当であった。つまり、文字の縦線の太さを約３．４倍したものがその文字の横方向の画素のつながりの長さであると判断できる。ここで、文字の縦線の太さは、６画素（３００ＤＰＩ入力時、文字の大きさの約１／３〜１／４に相当）以下の黒ランの長さの平均としている。
【０２８１】
また、第２の実施例に記載された部分においては以下のように対処する。
３）画素加工手段２３の変更
アルファニュ−メリックにおいては、文字のベ−スライン付近における隣接文字との接触は比較的多いことから、ベ−スライン付近での接触が多少あっても認識率の低下にはつながらず、また、見た目としても悪くないことから、ベ−スライン付近での補間処理における閾値とベ−スライン付近以外での補間処理における閾値とを分けて設定する。
【０２８２】
これを図４０を用いて説明する。
【０２８３】
図４０には一例として「ｂｒｉ」というアルファベットが書かれた例が示されているが、アルファベットの場合は、前記したように、ベ−スライン３０１付近での隣接文字との接触が多少あっても認識率の低下にはつながらず、また、見た目としても悪くないといえる。これに対して、ベ−スライン３０１以外の部分、たとえば、図中３０２で示す部分がつながってしまうと、この場合は「ｎ」に見えたりすることもある。したがって、ベ−スライン３０１以外の部分では閾値ＴＨ３を小さく設定して、なるべく補間処理を行わないようにする。なお、ベ−スライン３０１付近では、これより閾値ＴＨ３を多少大きくとっても差し支えない。
【０２８４】
このような処理を行うに際してのベ−スライン３０１の検出は、画像の劣化候補部分、たとえば、図中３０３で示す部分の或る点Ｑ１から２画素程度下のラインを調べて、そのライン３０４に上記Ｐ１を中心に左右１０画素程度づつ（合計２０画素）の黒画素が存在していなければ、上記点Ｑ１部分はベ−スラインであると判断する。なお、上記２０画素の黒画素というのは約１文字に相当する大きさである。
【０２８５】
このような処理を行うことにより、アルファニュ−メリックにおいても画素修復が可能となる。
【０２８６】
また、前記各実施例では、文字の解像度として３００ＤＰＩの場合について各閾値などの設定を行う例を説明したが、他の解像度にも対応可能である。たとえば、解像度を２００ＤＰＩとした場合は、各閾値などを２／３とすればよい。
【０２８７】
また、前記各実施例では、処理対象を文字としているため、図表やノイズとの区別は、黒画素のつながりの長さで判断する。つまり、図表は黒画素のつながりの長さは文字に比べれば極めて長いのが普通であり、ノイズは逆に短い。したがって、この長さより図表やノイズを判断して、これらは処理対象としないようにする。なお、図表などにおいては、評価値の算出という点では本発明の対象とはしないが、劣化した部分に対して画素を追加して修復するという技術は適応可能となる。
【０２８８】
また、本発明では、カラ−への対応も可能となる。すなわち、２値化されたＲＢＧごとにこの実施例で説明した処理を行うことにより対応可能となる。
【０３０３】
以上述べたように本発明によれば、例えば画像入力手段により入力された画像デ−タの画質を判断するための特徴量を抽出し、その特徴量を評価値として算出する画質算出工程と、画質の劣化した可能性のある部分をその特徴を基に抽出して画質改善処理対象候補を決定し、この画質改善処理対象候補に対して前記画質算出工程で求めた評価値を用いて画質改善処理を行う画質改善工程とを有したことにより、画像の劣化部分を的確に判断でき、しかも、その劣化部分の画素の欠けを判断して、劣化による画素の欠けの場合のみに、画素の補間処理を可能とし、劣化した画像の的確な修復を行うことができる。したがって、これをコピ−機に適用することにより、たとえば、元の原稿がかすれていた場合には、通常は、コピー後の原稿はかすれたままあるいはそれ以上のかすれを有した原稿となるが、本発明によれば、かすれ部分が修復されるので、元の原稿よりも高品質な原稿が得られる。また、画質を判断しながら処理を行うので、品質のよい原稿に対しては何も処理を行わないので、品質のよい原稿に対しては何ら影響を与えない。また、文字認識装置などに適用することにより、高い認識率を得ることができる。
【０３０４】
また、画質改善処理対象となる候補を抽出する処理候補抽出工程と、この処理候補抽出工程により抽出された処理候補に対して画質改善を行うために画素の補間を行う画素加工工程とを有し、画質の劣化した部分のみを抽出し、前記画質算出部で算出された評価値を用いて、この抽出された部分に対して画質改善処理を施すようにしたので、画質の悪い場合にのみ画質改善処理を施すようにし、たとえば、もともと空白であった部分に新たに画素を追加するという誤った処理を行うのを確実に防止することができる。
【０３０５】
また、画質の劣化した部分に対して劣化により生じる特徴点を検出してその特徴点を抽出する特徴点抽出工程と、この特徴点抽出工程により抽出した特徴点の位置関係から画質改善対象候補を決定する候補決定工程とを有することにより、画質の劣化部分を、劣化により生じる空間を挟んだ画素同志の対面による特徴点を抽出し、この抽出された特徴点の位置関係から画質改善対象候補を決定することができ、画質改善対象とすべく劣化部分を効率よく的確に抽出することができる。
【０３０６】
また、閾値算出工程を有し、前記画質算出工程により求められた評価値を用いて、この評価値を変数とする関数により或る閾値を求め、画素の補間を行おうとする間隔と前記閾値とを比較し、その比較結果から画素の補間処理を行うか否かを決定するようにしたので、画質の劣化に応じて画素が欠けて劣化した部分に対してのみに補間処理が施され、もともと空白であった部分に新たに画素を追加するという誤った処理を行うのを確実に防止することができる。
【０３０７】
また、文字切り出し工程を有し、この文字切り出し工程により切り出された文字領域内において、画質改善を行うために画素の補間を行うようにしたので、隣接する文字間で誤った画素の補間処理がなされるのを確実に防止することができる。
【０３０８】
また、画像入力手段により入力された画像デ−タの画質を判断するための特徴量を抽出し、その特徴量を評価値として算出する画質算出工程と、この画質算出工程により得られた評価値を用いて処理対象の画像に対する２値化閾値を決定する２値化閾値決定工程とを有しているので、文字に適合した２値化閾値を決定することができ、これにより２値化処理された画像は「かすれ」や「つぶれ」を極力少なくすることができる。
【０３０９】
また、前記画質算出工程から得られる評価値のうち第１の評価値と第２の評価値を加算して評価値を得る場合には、２つの評価値を加算して得られる評価値が最小となる部分に対応する閾値を、求めるべき２値化閾値とすることにより、最も画質の良くなる２値化閾値を簡単に決定することができ、２値化閾値の決定処理を簡略化することができる。
【０３１０】
また、画像入力手段により入力された画像デ−タの画質を判断するための特徴量を抽出し、その特徴量を評価値として算出する画質算出工程と、この画質算出工程で得られた評価値を用いて処理対象の画像に対する２値化閾値を決定する２値化閾値決定工程と、画質の劣化した可能性のある部分をその特徴を基に抽出して画質改善処理対象候補を決定し、この画質改善処理対象候補に対して前記画質算出工程で得られた評価値を用いて画質改善処理を行う画質改善工程とを有しているので、文字に適合した２値化閾値を決定することができ、これにより２値化処理された画像は「かすれ」や「つぶれ」を極力少なくすることができ、さらに劣化した部分の改善がなされるので、コピー機や文字認識装置などに適用することにより、その効果は極めて大きなものとなる。
【０３２５】
また、例えば画像入力手段により読み取られた画像デ−タの画質を判断して特徴量を抽出し、その特徴量を評価値として算出する画質算出手段と、画質の劣化した可能性のある部分をその特徴を基に抽出して画質改善処理対象候補を決定し、この画質改善処理対象候補に対して前記画質算出手段で求めた評価値を用いて画質改善処理を行う画質改善手段とを有したことにより、画像の劣化部分を的確に判断でき、しかも、その劣化部分の画素の欠けを判断して、劣化による画素の欠けの場合のみに、画素の補間処理を可能とし、劣化した画像の的確な修復を行うことができる。したがって、これをコピ−機に適用することにより、たとえば、元の原稿がかすれていた場合には、通常は、コピー後の原稿はかすれたままあるいはそれ以上のかすれを有した原稿となるが、本発明によれば、かすれ部分が修復されるので、元の原稿よりも高品質な原稿が得られる。また、画質を判断しながら処理を行うので、品質のよい原稿に対しては何も処理を行わないので、品質のよい原稿に対しては何ら影響を与えない。また、文字認識装置などに適用することにより、高い認識率を得ることができる。
【０３２６】
また、画質改善処理対象となる候補を抽出する処理候補抽出手段と、この処理候補抽出手段により抽出された処理候補に対して画質改善を行うために画素の補間を行う画素加工手段とを有し、画質の劣化した部分のみを抽出し、前記画質算出部で算出された評価値を用いて、この抽出された部分に対して画質改善処理を施すようにしたので、画質の悪い場合にのみ画質改善処理を施すようにし、たとえば、もともと空白であった部分に新たに画素を追加するという誤った処理を行うのを確実に防止することができる。
【０３２７】
また、画質の劣化した部分に対して劣化により生じる特徴点を検出してその特徴点を抽出する特徴点抽出手段と、この特徴点抽出手段により抽出した特徴点の位置関係から画質改善対象候補を決定する候補決定手段とを有することにより、画質の劣化部分を、劣化により生じる空間を挟んだ画素同志の対面による特徴点を抽出し、この抽出された特徴点の位置関係から画質改善対象候補を決定することができ、画質改善対象とすべく劣化部分を効率よく的確に抽出することができる。
【０３２８】
また、閾値算出手段を有し、前記画質算出手段により求められた評価値を用いて、この評価値を変数とする関数により或る閾値を求め、画素の補間を行おうとする間隔と前記閾値とを比較し、その比較結果から画素の補間処理を行うか否かを決定するようにしたので、画質の劣化に応じて画素が欠けて劣化した部分に対してのみに補間処理が施され、もともと空白であった部分に新たに画素を追加するという誤った処理を行うのを確実に防止することができる。
【０３２９】
また、文字切り出し手段を有し、この文字切り出し手段により切り出された文字領域内において、画質改善を行うために画素の補間を行うようにしたので、隣接する文字間で誤った画素の補間処理がなされるのを確実に防止することができる。
【０３３０】
また、画像入力手段により入力された画像デ−タの画質を判断するための特徴量を抽出し、その特徴量を評価値として算出する画質算出手段と、この画質算出工程により得られた評価値を用いて処理対象の画像に対する２値化閾値を決定する２値化閾値決定手段とを有しているので、文字に適合した２値化閾値を決定することができ、これにより２値化処理された画像は「かすれ」や「つぶれ」を極力少なくすることができる。
【０３３１】
また、前記画質算出手段から得られる評価値のうち第１の評価値と第２の評価値を加算して評価値を得る場合には、２つの評価値を加算して得られる評価値が最小となる部分に対応する閾値を、求めるべき２値化閾値とすることにより、最も画質の良くなる２値化閾値を簡単に決定することができ、２値化閾値の決定処理を簡略化することができる。
【０３３２】
また、画像入力手段により入力された画像デ−タの画質を判断するための特徴量を抽出し、その特徴量を評価値として算出する画質算出手段と、画質の劣化した可能性のある部分をその特徴を基に抽出して画質改善処理対象候補を決定し、この画質改善処理対象候補に対して前記画質算出手段で得られた評価値を用いて画質改善処理を行う画質改善手段と前記画質算出手段で得られた評価値を用いて処理対象の画像に対する２値化閾値を決定する２値化閾値決定手段とを有しているので、文字に適合した２値化閾値を決定することができ、これにより２値化処理された画像は「かすれ」や「つぶれ」を極力少なくすることができ、さらに劣化した部分の改善が行われるので、コピー機や文字認識装置などに適用することにより、その効果は極めて大きなものとなる。
【図面の簡単な説明】
【図１】 本発明の第１の実施例の構成図。
【図２】 「かすれ」について説明する図。
【図３】 「かすれ」における特徴点を説明する図。
【図４】 第１の実施例における第１の特徴量抽出処理を説明するフロ−チャ−ト。
【図５】 第１の実施例における「かすれ」度合い（「つぶれ」度合い）を用いて２値化閾値を説明する図。
【図６】 第１の実施例における「かすれ」を基準とした２値化閾値と文字認識誤り率および第１の評価値の関係を説明する図。
【図７】 第１の実施例における第２の特徴量抽出処理を説明するフロ−チャ−ト。
【図８】 第１の実施例における「つぶれ」を基準とした２値化閾値と文字認識誤り率および第２の評価値の関係を説明する図。
【図９】 第１の実施例における第１の評価値に第２の評価値を考慮した評価値Ａの算出処理を説明するフロ−チャ−ト。
【図１０】 第１の実施例における「かすれ」を基準とした２値化閾値と文字認識誤り率および評価値Ａ（第１の評価値−第２の評価値）の関係を説明する図。
【図１１】 第１の実施例における「かすれ」を基準とした２値化閾値と文字認識誤り率および評価値Ｂ（第１の評価値＋第２の評価値）の関係を説明する図。
【図１２】 第１の実施例における第１の評価値、第２の評価値に第３の特徴量を考慮した評価値Ｃの算出処理を説明するフロ−チャ−ト。
【図１３】 第１の実施例において周波数領域における第４の評価値の算出処理を説明するフロ−チャ−ト。
【図１４】 アダマール変換後の行列における高周波成分と低周波成分を説明する図。
【図１５】 或る２値化閾値におけるシーケンシと分散の比の関係を説明する図。
【図１６】 ２値化閾値と周波数領域において求められた第４の評価値との関係を説明する図（その１）。
【図１７】 アダマール変換におけるＤＣ成分以外の或るシーケンシにおける分布を説明する図。
【図１８】 ２値化閾値と周波数領域において求められた第４の評価値との関係を説明する図（その２）。
【図１９】 第１の実施例において周波数領域における第５の評価値の算出処理を説明するフロ−チャ−ト。
【図２０】 ２値化閾値と周波数領域において求められた第５の評価値との関係を説明する図（その１）。
【図２１】 ２値化閾値と周波数領域において求められた第５の評価値との関係を説明する図（その２）。
【図２２】 第１の実施例における第４の評価値に第５の評価値を考慮した評価値Ｄまたは評価値Ｅの算出処理を説明するフロ−チャ−ト。
【図２３】 第１の実施例における第４の評価値に第５の評価値を考慮（第４の評価値＋第５の評価値）した評価値Ｅの算出処理を説明する図。
【図２４】 第１の実施例における第４の評価値、第５の評価値に第３の特徴量を考慮した評価値Ｆの算出処理を説明するフロ−チャ−ト。
【図２５】 処理対象となる原稿上で異なる領域が存在する場合における特徴量抽出範囲に制限を設けた例を説明する図。
【図２６】 原稿上で異なる領域を検出するための一例を説明する図。
【図２７】 本発明の第２の実施例の構成図。
【図２８】 第２の実施例における特徴点同志の対面例において補間候補とする条件を説明する図。
【図２９】 第２の実施例において画像の劣化度合い応じた画素の状態を説明する図。
【図３０】 第２の実施例において画素の間隔とその部分が劣化による空白部かもともとの空白部かを説明する図。
【図３１】 第２の実施例において評価値を変数とする関数により閾値ＴＨ３を求める一例を説明する図。
【図３２】 第２の実施例の全体的な処理を説明するフロ−チャ−ト。
【図３３】 文字を切り出したのち画素の補間処理を行う例を説明するための隣接した文字の一例を示す図。
【図３４】 第２の実施例により画質改善された例を示す図。
【図３５】 本発明の第３の実施例の構成図。
【図３６】 第３の実施例の全体的な処理を説明するフロ−チャ−ト。
【図３７】 第３の実施例における２値化閾値の決定処理を説明する図。
【図３８】 第３の実施例における２値化閾値の決定処理を説明するフロ−チャ−ト。
【図３９】 画質算出部、２値化閾値決定部、画質改善部を組み合わせた構成図。
【図４０】 本発明をアルファニュ−メリックに適用する場合におけるベ−スライン検出を説明する図。
【図４１】 スキャナで読み取った後の画像の一例を説明する図。
【符号の説明】
１０・・・画像処理装置
１１・・・画質算出部
２１・・・画質改善部
３１・・・２値化閾値決定部
２２・・・処理候補抽出手段
２３・・・画素加工手段
１１１・・・第１の特徴量抽出手段
１１２・・・第２の特徴量抽出手段
１１３・・・第３の特徴量抽出手段
１１４・・・第４の特徴量抽出手段
１１５・・・第５の特徴量抽出手段
２２１・・・特徴点抽出手段
２２２・・・候補決定手段
２３１・・・閾値算出手段
２３２・・・文字切り出し手段
Claims (20)
- 画像入力手段により入力された画像データの画質を判断するための特徴量を抽出し、その特徴量を評価値として算出する画質算出工程と、前記画質算出工程で算出した評価値に基づいて画質改善処理を行う画質改善工程とを有する画像処理方法であって、
前記画質算出工程は、
画素の特徴を特徴点として予め幾つかのパターンを用意し、処理ラインにおける前記特徴点の出現回数と、黒画素と白画素の反転回数との比を、第１の評価値として算出する第１の特徴量抽出工程を有し、
前記画質改善工程は、
対面している特徴点同士を抽出する特徴点抽出工程と、
前記抽出した特徴点同士の対面のパターンが、予め設定されたパターンに合致している場合、前記対面している特徴点同士を画質改善対象候補として決定する候補決定工程と、
前記候補決定工程により決定された画質改善対象候補における特徴点同士の間の距離と、前記画質算出工程により算出された第１の評価値に基づいて定められる閾値とを比較し、当該比較の結果に基づいて、前記画質改善対象候補における特徴点同士の間の画素の補間を行うか否かを決定し、前記画素の補間を行うと決定した場合に、前記画素の補間を行う画素加工工程と、
を有することを特徴とする画像処理方法。 - 請求項１に記載の画像処理方法であって、
前記画質算出工程は、文字の大きさにほぼ相当する黒画素の連続したつながりの平均的な長さを求めるとともに、前記平均的な長さ以上の黒画素の連続したつながりの数を求め、この平均的な長さ以上の黒画素の連続したつながりの数と、黒画素と白画素の反転回数の１／２の数との比を第２の評価値として算出する第２の特徴量抽出工程を有し、前記第１の評価値と前記第２の評価値とを用いて演算した評価値を求め、
前記画素加工工程は、前記候補決定工程により決定された画質改善対象候補における特徴点同士の間の距離と、前記画質算出工程により算出された前記第１の評価値と前記第２の評価値とを用いて演算した評価値に基づいて定められる閾値とを比較し、当該比較の結果に基づいて、前記画質改善対象候補における特徴点同士の間の画素の補間を行うか否かを決定し、前記画素の補間を行うと決定した場合に、前記画素の補間を行うことを特徴とする画像処理方法。 - 画像入力手段により入力された画像データの画質を判断するための特徴量を抽出し、その特徴量を評価値として算出する画質算出工程と、前記画質算出工程で算出した評価値に基づいて画質改善処理を行う画質改善工程とを有する画像処理方法であって、
前記画質算出工程は、文字の大きさにほぼ相当する黒画素の連続したつながりの平均的な長さを求めるとともに、前記平均的な長さ以上の黒画素の連続したつながりの数を求め、この平均的な長さ以上の黒画素の連続したつながりの数と、黒画素と白画素の反転回数の１／２の数との比を第２の評価値として算出する第２の特徴量抽出工程を有し、
前記画質改善工程は、
対面している特徴点同士を抽出する特徴点抽出工程と、
前記抽出した特徴点同士の対面のパターンが、予め設定されたパターンに合致している場合、前記対面している特徴点同士を画質改善対象候補として決定する候補決定工程と、
前記候補決定工程により決定された画質改善対象候補における特徴点同士の間の距離と、前記画質算出工程により算出された第２の評価値に基づいて定められる閾値とを比較し、当該比較の結果に基づいて、前記画質改善対象候補における特徴点同士の間の画素の補間を行うか否かを決定し、前記画素の補間を行うと決定した場合に、前記画素の補間を行う画素加工工程と、
を有することを特徴とする画像処理方法。 - 請求項１〜３のいずれかに記載の画像処理方法であって、
前記画質算出工程は、黒画素の連続したつながりの平均的な長さを文字の大きさにほぼ相当する第３の特徴量として抽出する第３の特徴量抽出工程を有し、前記第１の評価値および／または前記第２の評価値と、前記第３の特徴量とを用いて演算した評価値を求め、
前記画素加工工程は、前記候補決定工程により決定された画質改善対象候補における特徴点同士の間の距離と、前記画質算出工程により算出された前記第１の評価値および／または前記第２の評価値と、前記第３の特徴量と、を用いて演算した評価値に基づいて定められる閾値とを比較し、当該比較の結果に基づいて、前記画質改善対象候補における特徴点同士の間の画素の補間を行うか否かを決定し、前記画素の補間を行うと決定した場合に、前記画素の補間を行うことを特徴とする画像処理方法。 - 画像入力手段により入力された画像データの画質を判断するための特徴量を抽出し、その特徴量を評価値として算出する画質算出工程と、前記画質算出工程で算出した評価値に基づいて画質改善処理を行う画質改善工程とを有する画像処理方法であって、
前記画質算出工程は、入力された画像データから周波数領域への直交変換を行い、この直交変換後の高周波成分に注目して「かすれ」の度合いを表わす第４の評価値を算出する工程を有し、
前記画質改善工程は、
対面している特徴点同士を抽出する特徴点抽出工程と、
前記抽出した特徴点同士の対面のパターンが、予め設定されたパターンに合致している場合、前記対面している特徴点同士を画質改善対象候補として決定する候補決定工程と、
前記候補決定工程により決定された画質改善対象候補における特徴点同士の間の距離と、前記画質算出工程により算出された第４の評価値に基づいて定められる閾値とを比較し、当該比較の結果に基づいて、前記画質改善対象候補における特徴点同士の間の画素の補間を行うか否かを決定し、前記画素の補間を行うと決定した場合に、前記画素の補間を行う画素加工工程と、
を有することを特徴とする画像処理方法。 - 請求項５に記載の画像処理方法であって、
前記画質算出工程は、入力された画像データから周波数領域への直交変換を行い、この直交変換後の低周波成分に注目して「つぶれ」の度合いを表わす第５の評価値を算出し、
前記画素加工工程は、前記候補決定工程により決定された画質改善対象候補における特徴点同士の間の距離と、前記画質算出工程により算出された前記第４の評価値と前記第５の評価値とを用いて演算した評価値に基づいて定められる閾値とを比較し、当該比較の結果に基づいて、前記画質改善対象候補における特徴点同士の間の画素の補間を行うか否かを決定し、前記画素の補間を行うと決定した場合に、前記画素の補間を行うことを特徴とする画像処理方法。 - 画像入力手段により入力された画像データの画質を判断するための特徴量を抽出し、その特徴量を評価値として算出する画質算出工程と、前記画質算出工程で算出した評価値に基づいて画質改善処理を行う画質改善工程とを有する画像処理方法であって、
前記画質算出工程は、入力された画像データから周波数領域への直交変換を行い、この直交変換後の低周波成分に注目して「つぶれ」の度合いを表わす第５の評価値を算出する工程を有し、
前記画質改善工程は、
対面している特徴点同士を抽出する特徴点抽出工程と、
前記抽出した特徴点同士の対面のパターンが、予め設定されたパターンに合致している場合、前記対面している特徴点同士を画質改善対象候補として決定する候補決定工程と、
前記候補決定工程により決定された画質改善対象候補における特徴点同士の間の距離と、前記画質算出工程により算出された第５の評価値に基づいて定められる閾値とを比較し、当該比較の結果に基づいて、前記画質改善対象候補における特徴点同士の間の画素の補間を行うか否かを決定し、前記画素の補間を行うと決定した場合に、前記画素の補間を行う画素加工工程と、
を有することを特徴とする画像処理方法。 - 請求項５〜７のいずれかに記載の画像処理方法であって、
前記画質算出工程は、黒画素の連続したつながりの平均的な長さを文字の大きさにほぼ相当する第３の特徴量として抽出する第３の特徴量抽出工程を有し、前記第４の評価値および／または前記第５の評価値と、前記第３の特徴量とを用いて演算した評価値を求め、
前記画素加工工程は、前記候補決定工程により決定された画質改善対象候補における特徴点同士の間の距離と、前記画質算出工程により算出された前記第４の評価値および／または前記第５の評価値と、前記第３の特徴量と、を用いて演算した評価値に基づいて定められる閾値とを比較し、当該比較の結果に基づいて、前記画質改善対象候補における特徴点同士の間の画素の補間を行うか否かを決定し、前記画素の補間を行うと決定した場合に、前記画素の補間を行うことを特徴とする画像処理方法。 - 請求項１〜８のいずれかに記載の画像処理方法であって、
前記画素加工工程は、文字領域を切り出す文字切り出し工程を有し、当該文字切り出し工程により切り出された文字領域内において、画素の補間を行うことを特徴とする画像処理方法。 - 請求項１〜９のいずれかに記載の画像処理方法であって、
前記画質算出工程により算出された評価値に基づいて、処理対象の画像に対する２値化閾値を決定する２値化閾値決定工程を有し、
前記画質改善工程は、前記２値化閾値決定工程により決定された２値化閾値を用いて２値化された画像に対して、前記画質算出工程で算出した評価値に基づいて画質改善処理を行うことを特徴とする画像処理方法。 - 画像を入力する画像入力手段と、
前記画像入力手段により入力された画像データの画質を判断するための特徴量を抽出し、その特徴量を評価値として算出する画質算出手段と、前記画質算出手段で算出した評価値に基づいて画質改善処理を行う画質改善手段とを有する画像処理装置であって、
前記画質算出手段は、
画素の特徴を特徴点として予め幾つかのパターンを用意し、処理ラインにおける前記特徴点の出現回数と、黒画素と白画素の反転回数との比を、第１の評価値として算出する第１の特徴量抽出手段を有し、
前記画質改善手段は、
対面している特徴点同士を抽出する特徴点抽出手段と、
前記抽出した特徴点同士の対面のパターンが、予め設定されたパターンに合致している場合、前記対面している特徴点同士を画質改善対象候補として決定する候補決定手段と、
前記候補決定手段により決定された画質改善対象候補における特徴点同士の間の距離と、前記画質算出手段により算出された第１の評価値に基づいて定められる閾値とを比較し、当該比較の結果に基づいて、前記画質改善対象候補における特徴点同士の間の画素の補間を行うか否かを決定し、前記画素の補間を行うと決定した場合に、前記画素の補間を行う画素加工手段と、
を有することを特徴とする画像処理装置。 - 請求項１１に記載の画像処理装置であって、
前記画質算出手段は、文字の大きさにほぼ相当する黒画素の連続したつながりの平均的な長さを求めるとともに、前記平均的な長さ以上の黒画素の連続したつながりの数を求め、この平均的な長さ以上の黒画素の連続したつながりの数と、黒画素と白画素の反転回数の１／２の数との比を第２の評価値として算出する第２の特徴量抽出手段を有し、前記第１の評価値と前記第２の評価値とを用いて演算した評価値を求め、
前記画素加工手段は、前記候補決定手段により決定された画質改善対象候補における特徴点同士の間の距離と、前記画質算出手段により算出された前記第１の評価値と前記第２の評価値とを用いて演算した評価値に基づいて定められる閾値とを比較し、当該比較の結果に基づいて、前記画質改善対象候補における特徴点同士の間の画素の補間を行うか否かを決定し、前記画素の補間を行うと決定した場合に、前記画素の補間を行うことを特徴とする画像処理装置。 - 画像を入力する画像入力手段と、
前記画像入力手段により入力された画像データの画質を判断するための特徴量を抽出し、その特徴量を評価値として算出する画質算出手段と、前記画質算出手段で算出した評価値に基づいて画質改善処理を行う画質改善手段とを有する画像処理装置であって、
前記画質算出手段は、文字の大きさにほぼ相当する黒画素の連続したつながりの平均的な長さを求めるとともに、前記平均的な長さ以上の黒画素の連続したつながりの数を求め、この平均的な長さ以上の黒画素の連続したつながりの数と、黒画素と白画素の反転回数の１／２の数との比を第２の評価値として算出する第２の特徴量抽出手段を有し、
前記画質改善手段は、
対面している特徴点同士を抽出する特徴点抽出手段と、
前記抽出した特徴点同士の対面のパターンが、予め設定されたパターンに合致している場合、前記対面している特徴点同士を画質改善対象候補として決定する候補決定手段と、
前記候補決定手段により決定された画質改善対象候補における特徴点同士の間の距離と、前記画質算出手段により算出された第２の評価値に基づいて定められる閾値とを比較し、当該比較の結果に基づいて、前記画質改善対象候補における特徴点同士の間の画素の補間を行うか否かを決定し、前記画素の補間を行うと決定した場合に、前記画素の補間を行う画素加工手段と、
を有することを特徴とする画像処理装置。 - 請求項１１〜１３のいずれかに記載の画像処理装置であって、
前記画質算出手段は、黒画素の連続したつながりの平均的な長さを文字の大きさにほぼ相当する第３の特徴量として抽出する第３の特徴量抽出手段を有し、前記第１の評価値および／または前記第２の評価値と、前記第３の特徴量とを用いて演算した評価値を求め、
前記画素加工手段は、前記候補決定手段により決定された画質改善対象候補における特徴点同士の間の距離と、前記画質算出手段により算出された前記第１の評価値および／または前記第２の評価値と、前記第３の特徴量と、を用いて演算した評価値に基づいて定められる閾値とを比較し、当該比較の結果に基づいて、前記画質改善対象候補における特徴点同士の間の画素の補間を行うか否かを決定し、前記画素の補間を行うと決定した場合に、前記画素の補間を行うことを特徴とする画像処理装置。 - 画像を入力する画像入力手段と、
前記画像入力手段により入力された画像データの画質を判断するための特徴量を抽出し、その特徴量を評価値として算出する画質算出手段と、前記画質算出手段で算出した評価値に基づいて画質改善処理を行う画質改善手段とを有する画像処理装置であって、
前記画質算出手段は、入力された画像データから周波数領域への直交変換を行い、この直交変換後の高周波成分に注目して「かすれ」の度合いを表わす第４の評価値を算出する手段を有し、
前記画質改善手段は、
対面している特徴点同士を抽出する特徴点抽出手段と、
前記抽出した特徴点同士の対面のパターンが、予め設定されたパターンに合致している場合、前記対面している特徴点同士を画質改善対象候補として決定する候補決定手段と、
前記候補決定手段により決定された画質改善対象候補における特徴点同士の間の距離と、前記画質算出手段により算出された第４の評価値に基づいて定められる閾値とを比較し、当該比較の結果に基づいて、前記画質改善対象候補における特徴点同士の間の画素の補間を行うか否かを決定し、前記画素の補間を行うと決定した場合に、前記画素の補間を行う画素加工手段と、
を有することを特徴とする画像処理装置。 - 請求項１５に記載の画像処理装置であって、
前記画質算出手段は、入力された画像データから周波数領域への直交変換を行い、この直交変換後の低周波成分に注目して「つぶれ」の度合いを表わす第５の評価値を算出する手段を有し、
前記画素加工手段は、前記候補決定工程により決定された画質改善対象候補における特徴点同士の間の距離と、前記画質算出手段により算出された前記第４の評価値と前記第５の評価値とを用いて演算した評価値に基づいて定められる閾値とを比較し、当該比較の結果に基づいて、前記画質改善対象候補における特徴点同士の間の画素の補間を行うか否かを決定し、前記画素の補間を行うと決定した場合に、前記画素の補間を行うことを特徴とする画像処理装置。 - 画像を入力する画像入力手段と、
前記画像入力手段により入力された画像データの画質を判断するための特徴量を抽出し、その特徴量を評価値として算出する画質算出手段と、前記画質算出手段で算出した評価値に基づいて画質改善処理を行う画質改善手段とを有する画像処理装置であって、
前記画質算出手段は、入力された画像データから周波数領域への直交変換を行い、この直交変換後の低周波成分に注目して「つぶれ」の度合いを表わす第５の評価値を算出する手段を有し、
前記画質改善手段は、
対面している特徴点同士を抽出する特徴点抽出手段と、
前記抽出した特徴点同士の対面のパターンが、予め設定されたパターンに合致している場合、前記対面している特徴点同士を画質改善対象候補として決定する候補決定手段と、
前記候補決定手段により決定された画質改善対象候補における特徴点同士の間の距離と、前記画質算出手段により算出された第５の評価値に基づいて定められる閾値とを比較し、当該比較の結果に基づいて、前記画質改善対象候補における特徴点同士の間の画素の補間を行うか否かを決定し、前記画素の補間を行うと決定した場合に、前記画素の補間を行う画素加工手段と、
を有することを特徴とする画像処理装置。 - 請求項１５〜１７のいずれかに記載の画像処理装置であって、
前記画質算出手段は、黒画素の連続したつながりの平均的な長さを文字の大きさにほぼ相当する第３の特徴量として抽出する第３の特徴量抽出手段を有し、前記第４の評価値および／または前記第５の評価値と、前記第３の特徴量とを用いて演算した評価値を求め、
前記画素加工手段は、前記候補決定手段により決定された画質改善対象候補における特徴点同士の間の距離と、前記画質算出工程により算出された前記第４の評価値および／または前記第５の評価値と、前記第３の特徴量と、を用いて演算した評価値に基づいて定められる閾値とを比較し、当該比較の結果に基づいて、前記画質改善対象候補における特徴点同士の間の画素の補間を行うか否かを決定し、前記画素の補間を行うと決定した場合に、前記画素の補間を行うことを特徴とする画像処理装置。 - 請求項１１〜１８のいずれかに記載の画像処理装置であって、
前記画素加工手段は、文字領域を切り出す文字切り出し手段を有し、当該文字切り出し手段により切り出された文字領域内において、画素の補間を行うことを特徴とする画像処理装置。 - 請求項１１〜１９のいずれかに記載の画像処理装置であって、
前記画質算出手段により算出された評価値に基づいて、処理対象の画像に対する２値化閾値を決定する２値化閾値決定手段を有し、
前記画質改善手段は、前記２値化閾値決定手段により決定された２値化閾値を用いて２値化された画像に対して、前記画質算出手段で算出した評価値に基づいて画質改善処理を行うことを特徴とする画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002285895A JP3661677B2 (ja) | 1994-07-25 | 2002-09-30 | 画像処理方法および画像処理装置 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6-172693 | 1994-07-25 | ||
| JP17269394 | 1994-07-25 | ||
| JP2002285895A JP3661677B2 (ja) | 1994-07-25 | 2002-09-30 | 画像処理方法および画像処理装置 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP31099094A Division JP3634419B2 (ja) | 1994-07-25 | 1994-12-14 | 画像処理方法および画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003179706A JP2003179706A (ja) | 2003-06-27 |
| JP3661677B2 true JP3661677B2 (ja) | 2005-06-15 |
Family
ID=26494966
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002285895A Expired - Lifetime JP3661677B2 (ja) | 1994-07-25 | 2002-09-30 | 画像処理方法および画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3661677B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022253227A1 (en) * | 2021-05-31 | 2022-12-08 | Shanghai United Imaging Healthcare Co., Ltd. | Systems and methods for image correction |
| CN117078233B (zh) * | 2023-10-17 | 2024-03-26 | 深圳市城市交通规划设计研究中心股份有限公司 | 一种基于路网养护综合评价指标的养护决策方法 |
-
2002
- 2002-09-30 JP JP2002285895A patent/JP3661677B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003179706A (ja) | 2003-06-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3634419B2 (ja) | 画像処理方法および画像処理装置 | |
| JP4423298B2 (ja) | デジタル画像におけるテキスト状エッジの強調 | |
| JP4568460B2 (ja) | 画像処理装置及び記録媒体 | |
| US7532767B2 (en) | Removing ringing and blocking artifacts from JPEG compressed document images | |
| US7746505B2 (en) | Image quality improving apparatus and method using detected edges | |
| JP5768590B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP4852059B2 (ja) | 文書画像の２値化性能を改善するノイズ除去装置及びノイズ除去プログラム | |
| US7724981B2 (en) | Adaptive contrast control systems and methods | |
| JP4507279B2 (ja) | 画像処理装置、画像処理方法及びそのプログラム | |
| JP2004336282A (ja) | 画像処理装置、画像処理プログラム及び該プログラムを記録した記録媒体 | |
| JP3568732B2 (ja) | 画像処理装置 | |
| JP4264051B2 (ja) | 画像処理装置 | |
| JP3661677B2 (ja) | 画像処理方法および画像処理装置 | |
| US9225876B2 (en) | Method and apparatus for using an enlargement operation to reduce visually detected defects in an image | |
| US9648208B2 (en) | Method and apparatus and using an enlargement operation to reduce visually detected defects in an image | |
| JP2004215163A (ja) | 画像補間装置、画像補間方法および画像補間プログラム | |
| JP3545227B2 (ja) | 画像処理方法及び装置、光学式文字読取装置 | |
| KR100484170B1 (ko) | 디지털 화질 개선방법 및 장치 | |
| CN116503250A (zh) | 图像超分辨率边缘处理方法、装置及可读存储介质 | |
| KR20060031169A (ko) | 영상 화질 개선 장치 및 그 방법 | |
| JP2009111786A (ja) | 画像処理装置及び画像処理方法 | |
| Prabhakaran et al. | A Non-Linear Method to Interpolate Binary Images Using Location and Neighborhood Adaptive Rules | |
| JPH05160997A (ja) | ２値画像変倍方式 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040709 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041019 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041217 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050301 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050314 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080401 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090401 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090401 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100401 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110401 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110401 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120401 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130401 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130401 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140401 Year of fee payment: 9 |
|
| EXPY | Cancellation because of completion of term |