JP3917341B2 - 画像処理装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、例えば、文字原稿を撮像して得た画像からその前景部分（例えば文字画像）と背景部分とを区別し、前景部分を抽出するようにした画像処理装置に関するものである。
【０００２】
【従来の技術】
画像処理の対象となる画像の中でも文書画像など、線で構成されているものは、一般に背景色と前景色の二色で表現されることが多く、理想的な条件下ではこのような画像において観測される濃度はその二色に対して各々一定値をとる。
【０００３】
従って、このような理想的な条件下では濃度のヒストグラムをとると、背景色と前景色の濃度に対応した位置に二つのピークが現われ、残りの部分はゼロに非常に近くなる。
【０００４】
従って、濃度の最大と最小がはっきりとわかるため、それらの中間程度の適当な閾値を設定し、それと各画素の濃度の大小を比較することによってその画素が前景部に属しているか背景部に属しているかの判別が容易に行えることになる。
【０００５】
しかしながら、実際には、
［１］ 電子化の際の解像度の不足
［２］ 光学系によるボケ
［３］ 印字の不鮮明さによるボケ、かすれ
［４］ 印字、電子化によって混入したノイズ
［５］ 印字または電子化によるシェーディング
等があり、上記の方法をそのまま用いるのが不適当となるようなケースも多い。
【０００６】
特に、ボケやノイズが存在すると、もともとは白と黒の二色で書かれていて階調のないはずの文字の画像に、階調が含まれてくるようになるが、それによって、ヒストグラム上で背景色と前景色の明確な区別がつかなくなり、閾値の設定が困難になると云う事態を引き起こす。
【０００７】
そのため、このような現実をふまえ、閾値の設定法として、「ｐタイル法」や「大津の方法」（大津 展之“判別および最小２乗基準に基づく自動閾値選定法”電子通信学会論文誌‘８０／４ Ｖｏｌ．Ｊ６３−Ｄ Ｎｏ．４）などの固定閾値法が提案されており、これらの方法を用いることで、ノイズが存在する文字画像であっても、適切な閾値を自動的に決定できるようになる。
【０００８】
一方、シェーディングの問題に対処する方法として移動平均法や部分画像分割法などがある。すなわち、シェーディングなどにより、背景色や前景色の濃度に空間的な変動を引き起こすことがあるが、この場合には、その変動に応じて変化する閾値を決定して、そのような変動の影響を排除することができるようにした移動平均法や部分画像分割法などの動的閾値法で対処できる。
【０００９】
しかしながら、解像度やぼけのある場合には、旨い解決法がない。たとえば解像度の問題を抱える文字画像の場合、閾値の設定やその他の条件が理想的であっても、解像度が不十分なときは、閾値処理を行って前景部分を抽出すると、原画像には見られなかった輪郭の凹凸や線の太さのバラツキが見られるようになる。
【００１０】
そのような現象は、電子化前の画像のエッジが、電子化後の画素の境界と一般には一致しないにも関わらず、前景と背景部分の判別の結果の変化が画素の境界部分に限定されてしまうために起こると考えられる。
【００１１】
元の画像にそのような視覚的特徴が無いのは、階調によって輪郭の位置や線の太さのサブピクセル精度の情報が表現されているためである。従って、元の解像度のままで前景部分の抽出を行うと、どのような方法を用いてもサブピクセル精度の位置情報は損なわれてしまうことから、上記の問題を回避することは出来ない。
【００１２】
また、ボケがある場合や原画像の解像度か低い場合、細い線の像部分では観測される濃度値は図９（ａ）に示すように山形状となり、前景部分での濃度の極大値が小さくなる。また、二本線の像の場合には、隣接した二つの線の隙間では図９（ｂ）に示すように二つの山が連なるような濃度分布となり、谷間が浅くなって、本来はっきりと低い濃度値が示されるはずの二つの線の隙間の背景部分は濃度の極小値が大きくなってしまう。
【００１３】
そのため、従来の閾値処理のみによる方法で前景部分の抽出を行うと、閾値のとり方によって、細い線では前景部分を背景部分と誤判別して掠れが起きてしまい、隣接した二つの線の隙間では背景部分を前景部分と誤判別して潰れが起きてしまう。
【００１４】
この場合の掠れと潰れは互いに裏腹の関係にあり、細い線の掠れをなくそうとすると、隣接二本線の潰れが激しくなり、隣接二本線の潰れを解消しようとすると細い線の掠れが激しくなる。
【００１５】
ただ、このような場合でも、前景部分ではその周辺の背景部分の画素よりも濃度が高く、隙間ではその周辺よりも濃度が低くなっていることから、濃度の絶対値だけではなく、濃度の近傍に対する高低、つまり、濃度を高低とした濃度曲面の凹凸を考慮に入れることで、解決法が見つけ出せそうである。
【００１６】
そこで、このような凹凸の情報を利用する方法の一つとして、
［ｉ］高周波部分を強調するフィルタによって凸な部分の濃度が高く、凹な部分の濃度が低くなるようにする方法。
【００１７】
［ii］濃度を高さとみなした上で、尾根や谷などの幾何学的構造を抽出し、前景部分を他の部分と判別する方法。（Li. Wang and Theo Pavlidis, “Direct Gray-Scale Extraction of Features for Character Recognition ”, IEEE Transaction on Pattern Analysys and Machine Intelligence, Vol 15, No.10, OCTOBER 1993）
等の適用がなされている。
【００１８】
しかし、これらのうち、［ｉ］の方法である高周波部分をフィルタによって強調する方法では、線やその隙間での濃度変化が小さい場合には強調を行っても、それが十分な大きさにならずに潰れや掠れが残ってしまう。
【００１９】
また、［ii］のＷａｎｇとＰａｖｌｉｄｉｓの方法においては、尾根の方向を濃度のヘシアンの二つの固有ベクトルのいずれかの方向と仮定しているが、線の輪郭付近ではこのような仮定は妥当ではないため、輪郭周辺で前景部分と背景部分の判別境界に不適切な凹凸が現われる。
【００２０】
また、解像度が低い場合において、閾値処理を行う際には、上述したように原画像で階調によって表現されている輪郭の位置や線の太さのサブピクセル精度の情報が前景部分の抽出によって失われてしまう。
【００２１】
【発明が解決しようとする課題】
文字原稿を電子カメラなどのイメージングデバイスにて撮像してイメージデータ化した場合、理想条件下では、背景色と前景色の濃度差がはっきりしているので、それらの中間程度の適宜な閾値を設定し、それと各画素の濃度の大小比較すれば、その画素が前景部と背景部のいずれに属しているか容易に判別できる。従って、文字認識などに応用する場合にはこの閾値による切り分けによって文字部分の抽出が容易にできるはずである。
【００２２】
しかしながら、実際には、「電子化の際の解像度の不足」、「光学系によるボケ」、「印字の不鮮明さによるボケ、かすれ」、「印字、電子化によって混入したノイズ」、「印字または電子化によるシェーディング」等があり、上記の方法をそのまま利用できないことも多い。
【００２３】
これらのうち、特に、ボケや低解像度の場合、画素が前景部と背景部のいずれに属しているか判別するのが容易ではない。
【００２４】
たとえば解像度の問題を抱える文字画像の場合、閾値処理を行って前景部分を抽出すると、原画像には見られなかった輪郭の凹凸や線の太さのバラツキが見られるようになる。
【００２５】
理由は、階調によって輪郭の位置や線にサブピクセル精度の情報が表現されているためである。従って、元の解像度のままで前景部分の抽出を行うと、どのような方法を用いてもサブピクセル精度の位置情報は損なわれてしまうことから、上記の問題を回避することは出来ない。
【００２６】
また、ボケがある場合や原画像の解像度か低い場合、細い線では濃度の極大値が小さくなり、隣接した二つの線の隙間では濃度の極小値が大きくなってしまうため、従来の閾値処理のみによる方法で前景部分の抽出を行うと、線の掠れや潰れが起きてしまう。
【００２７】
従って、原画像で階調によって表現されている輪郭の位置や線の太さのサブピクセル精度の情報を失うことなく、前景部分を区別して抽出できるようにし、文字部分に潰れや掠れが生じないようにする画像処理技術の開発が嘱望されている。
【００２８】
そこで、この発明の目的とするところは、文字の記録された原稿のように、背景部と前景部とからなる原稿を読みとって得たイメージ情報から文字認識する場合において、線の掠れや隙間の潰れを防ぎ、精細かつ滑らかな前景部分抽出結果を得ることができるようにした画像処理装置を提供することにある。
【００２９】
【課題を解決するための手段】
上記目的を達成するため、本発明は次のように構成する。すなわち、第１には、画像データの各画素に対して、各画素が画像の前景部分に属するか背景部分に属するかの判別を複数の判別方法にて行った上で、前景部分と判別された各画素を抽出する前景部分抽出手段と、この前景部分抽出手段にて各画素の判別を行う判別方法に関して、予め定められた優先度に従い、第１に優先度の高い第１の判別方法を選択して前記前景部分抽出手段での処理を実行させ、更にこの第１の判別方法にて判別できない画素が存在した場合には、前記第１の判別方法とは異なる第２の判別方法を選択して、判別ができない画素に対して前記前景部分抽出手段での処理を実行させる制御手段とを具備しており、前記前景部分抽出手段としては、各画素の濃度の閾値処理により判別を行う第１の判別手段と、各画素において画素が構成する線の方向を推定してその線の方向と垂直な方向に沿って濃度の変化の凹凸の判定を行うことにより判別する第２の判別手段と、各画素を強制的に前景部分、背景部分の一方に定める方法で判別する第３の判別手段とを具備しており、前記垂直な方向としては、各画素の濃度の勾配ベクトルの方向もしくは各画素の濃度のヘシアンの固有ベクトルの方向であり、前記凹凸の判定としては、前記垂直な方向に沿って濃度の２階微分値を求めて、前記２階微分値が正であれば凹、負であれば凸と判定することを特徴とする。
【００３１】
第１の構成の場合、入力画像データについて、この画像データにより構成される画素あるいは画素群に対し、複数種ある前記判別方法を選択切り替えして適用し、各画素が画像の前景部分に属するか背景部分に属するかの判別をすることにより画像の前景部分を抽出する。複数種の判別法を使い分けることにより、各画素を、前景部分／背景部分のいずれに属するか、精度良く判定できるようになって、掠れや潰れのない画素を得ることができるようになる。
【００３３】
【発明の実施の形態】
以下、本発明の実施例について、図面を参照して説明する。はじめに、階調情報が表現しているサブピクセル精度の情報を処理結果に反映し、濃度の凹凸を考慮することによって、線の掠れや隙間の潰れを防ぎ、精細かつ滑らかな前景部分抽出結果を得ることができて、品質の良い処理画像を得ることができるようにした実施例を説明する。
【００３４】
（第１の実施例）
本発明は、例えば、文書原稿などのように、イメージ化した場合に、本来、二値画像となるべき画像データから文字（前景部）の画素と背景部の画素とを区別して認識できるようにするものである。そのために、この実施例では、画像データに対して必要な前処理を実施してから拡大処理し、その拡大処理済みの画像データについて各画素が前景部分に属するものであるか背景部に属するものであるかを、“濃度の閾値処理”、“凹凸の判定に基づく判別処理”、“強制判別”と云った複数種の判定法を用いて判定処理し、二値化して処理済みの画像データとして得るようにする。
【００３５】
また、拡大処理済みの画像データについて各画素が前景部分と背景部のいずれに属するものであるかの判定（前景部抽出処理）を、所望の順序で、望ましくは“濃度の閾値処理”、“凹凸の判定に基づく判別処理”、“強制判別”の優先順で行うようにする。すなわち、まずはじめに“濃度の閾値処理”により判別し、前景部か背景部かの判別ができなかった画素について、次に、“凹凸の判定に基づく判別処理”により判別をし、それでも前景部か背景部かの判別ができなかった画素について、次に、“強制判別”をして文字（前景部）の画素と背景部の画素とを区別して認識するようにする。
【００３６】
この発明では、前景部分の抽出を行う前に拡大処理を行って画像を拡大するようにしたことにより、階調情報で表現されるサブピクセル精度の位置情報や線幅情報を前景部分抽出結果に反映することが可能となり、掠れや潰れの発生を抑制できるようになる。また、前景部抽出処理は、単純で高速処理が可能な濃度の閾値処理を最初に施すことにより、これだけで済んでしまうような画像の場合に高速処理を可能にし、また、前景部抽出処理は、濃度の閾値処理で不十分な場合には、次に凹凸の判定によって前景部分と背景部分の判別を行うようにしたことによって、単純な閾値処理では消えてしまう細くて薄いストロークや、潰れてしまうストローク間の隙間が消えないように、前景部分の抽出を行うことが可能となる。また、シェーディングが生じている画像の場合に、前処理でシェーディング補正を施すが、これによってもシェーディングが除去し切れなかった場合でも、凹凸の判定による判別が行われる範囲の濃度ではシェーディングの影響を受けずに判別を行うことが可能であり、掠れや潰れの影響を抑制した質のよい二値画像を得ることができる画像処理を実現する。
【００３７】
具体的に第１の実施例を説明する。ここでは、本発明に基づく画像処理装置による画像処理方法の一例として、文書画像の二値化を行う場合の例を説明する。図１にはこの例における画像処理装置の全体構成を示す。
【００３８】
図１において、１は前処理手段であって、入力された画像データに対してシェーディング補正やノイズ除去、正規化などの前処理を施すものであり、また、２は画像拡大手段であって、前処理手段１により前処理された画像データに対して画素補間などの処理を施すことで拡大するものである。
【００３９】
また、３は判別方法選択手段であり、画像拡大手段２により拡大処理された画像データについて“濃度の閾値処理”，“凹凸の判定に基づく判別処理”，“強制判別”のいずれを用いるか選択するものである。
【００４０】
ここでは、判別に使用する手法の選択の優先順位を
“濃度の閾値処理”＞“凹凸の判定に基づく判別処理”＞“強制判別”
と定める。
【００４１】
そして、まずは“濃度の閾値処理”を選択してこれにより処理を実施させるようにし、“濃度の閾値処理”で前景部に位置するか、背景部分に位置するかが判別出来ない画素については、次に“凹凸の判定に基づく判別処理”を選択してこれにより判定処理を実施させるようにし、これによっても前景部に位置するか、背景部分に位置するかが判別出来ない画素については、次に“強制判別”を選択してこれにより判定処理を実施させるようにする。
【００４２】
４は画像拡大手段２により拡大処理された画像データについて各画素の判別を行って前景部分を抽出するための前景部分抽出手段であって、濃度の閾値処理手段５、凹凸判定判別処理手段６、強制判別手段７とから構成される。
【００４３】
前景部分抽出手段４の構成要素である濃度の閾値処理手段５は、自己を判別方法選択手段３が選択しているとき、画像拡大手段２により拡大処理された画像データについて“濃度の閾値処理”を実施するものであり、前景部分抽出手段４の構成要素である凹凸判定判別処理手段６は、画像拡大手段２により拡大処理された画像データのうち、“濃度の閾値処理”によって判定したものの、前景部に位置するか、背景部分に位置するかが判別出来なかった画素について“凹凸の判定に基づく判別処理”を実施するものである。
【００４４】
また、前景部分抽出手段４の構成要素である強制判別手段７は、画像拡大手段２により拡大処理された画像データのうち、“濃度の閾値処理”および“凹凸の判定に基づく判別処理”によって判定したものの、前景部に位置するか、背景部分に位置するかが依然として判別出来なかった画素について“強制判別”を実施するものである。
【００４５】
次に、８は二値化手段であり、この二値化手段８は前景部分抽出手段４の構成要素である濃度の閾値処理手段５による“濃度の閾値処理”、凹凸判定判別処理手段６による“凹凸の判定に基づく判別処理”、強制判別手段７による“強制判別”、によって判定した結果に基づいて、それぞれの画素を二値化するものであり、前景部に位置するか、背景部分に位置するかに応じて二値のうちの対応する一方を当て嵌めるかたちで画像を二値化して出力するものである。
【００４６】
本発明は、例えば、文書原稿などのように、イメージ化した場合に、本来、二値画像となるべき画像データから文字（前景部）の画素と背景部の画素とを区別して認識できるようにするものである。そのために、画像データに対して必要な前処理を実施してから拡大処理し、その拡大処理済みの画像データを、まずは “濃度の閾値処理”により判別し、前景部か背景部かの判別ができなかった画素について、次に、“凹凸の判定に基づく判別処理”により判別をし、それでも前景部か背景部かの判別ができなかった画素について、次に、“強制判別”をして文字（前景部）の画素と背景部の画素とを区別して認識するようにする。
【００４７】
すなわち、前景部分の抽出を行う前に拡大処理を行って画像を拡大することにより、階調情報で表現されるサブピクセル精度の位置情報や線幅情報を前景部分抽出結果に反映できるようにする。また、凹凸の判定によって前景部分と背景部分の判別を行うことにより、単純な閾値処理では消えてしまうような細くて薄いストロークや、閾値処理では潰れてしまうストローク間の隙間が消えないように、前景部分の抽出を行うことを可能にする。また、前処理でシェーディングが除去し切れなかった場合でも、凹凸の判定を用いるようにしたことで、当該凹凸の判定による判別が行われる範囲の濃度ではシェーディングの影響を受けずに前景部分を判別することを可能としている。
【００４８】
図２のフローチャートを参照しながら、図１の構成の本システムの作用を具体的に説明する。図１の構成の本システムは、文字原稿をカメラなどで撮像して得た文字画像データを、画像前処理手段１に入力する。すると、画像前処理手段１は入力された画像データに対してシェーディング補正やノイズ除去、正規化などの前処理を施す（図２のステップＳ１）。これは、撮影条件の変動やその他の好ましくない条件による影響を取り除くための処理である。
【００４９】
なお、前処理手段１では、画像に対して例えばシェーディングの除去と各画素の持つ濃度情報の二値化、すなわち、濃度の値域の［０，１］への正規化を行うことが出来るが、処理する画像の条件によってはこれらを省略したり、その他の処理を追加することが出来る。
【００５０】
画像前処理手段１にてこのような前処理が行われた画像データは、画像拡大手段２に与えられ、この画像拡大手段２にて拡大処理される（図２のステップＳ２）。当該拡大処理は、前景部分の抽出工程の実施前に行っており、このようにして事前に拡大処理を行って画像を拡大しておくことにより、階調情報で表現されるサブピクセル精度の位置情報や線幅情報を、後工程である前景部分抽出結果に反映することが可能となる。
【００５１】
画像拡大手段２において採用する画像拡大手法としては、拡大前の画像の画素の境界によるジャギーが、画像の拡大結果に現われにくいような方法が好適である。そのような画像拡大手法としては、例えば、アップサンプリングと、線形フィルタリングによる画素補間による手法があるので、ここではこれを採用する。
【００５２】
具体的には、当該画像拡大手段２での画像拡大処理は、その倍率を“ｍ”倍とすると、アップサンプリングは原画像からの標本をｍ画素周期で格子状に設定し、残りには“０”を設定することによって行われ、画像中の横座標をｘ、縦座標をｙ、原画像の濃度をｆorig（ｘ，ｙ)、アップサンプリングされた画像の濃度 をｆup（ｘ，ｙ）とすると、
【００５３】
【数１】

【００５４】
となる。
【００５５】
アップサンプリングした画像の補間は、畳み込み積分を＊と表すと、線形フィルタｈ（ｘ，ｙ）によって、
ｆ（ｘ，ｙ）＝ｆup（ｘ，ｙ）＊ｈ（ｘ，ｙ）…（２）
と表される。線形フィルタｈ（ｘ，ｙ）としてはアップサンプリングによって櫛状になった画像ｆupから高周波成分を除去してｆupを補間する効果があるものを用いるのが好適であり、例えば、理想低域フィルタやガウス関数等を用いることが出来る。
【００５６】
また、以下の式で表されるものを用いることが出来、このようなフィルタを用いると、ノイズやエッジ周辺でのエイリアシングの影響を軽減することが出来る。
【００５７】
【数２】

【００５８】
ただし、σs 、σw は定数である。
【００５９】
ｓ（ｘ，ｙ）は理想低域フィルタであり、そのフーリエ変換Ｓ（ωx ，ωy ）は、
【００６０】
【数３】

【００６１】
となる。ｇ（ｘ，ｙ；σ）はガウス関数であり、この関数とのコンボリューションによってスムージング、乗算によって窓がけを行う。従って、ｈ（ｘ，ｙ）は理想低域フィルタｓ（ｘ，ｙ）をｇ（ｘ，ｙ；σs ）でスムージングし、ｇ（ｘ，ｙ；σw ）で窓がけしたものである。
【００６２】
フィルタリングはＦＦＴ（高速フーリエ変換）を用いた以下の方法で行うようにすることで、処理時間を短縮することが出来る。
【００６３】
［１］．ＦＦＴによって原画像のスペクトルを得る。
【００６４】
［２］．フィルタのスペクトルとの乗算によって応答のスペクトルを得る。
【００６５】
［３］．それに対してＩＦＦＴ（逆高速フーリエ変換）をかけ、フィルタ応答を得る。
【００６６】
このように、画像拡大手段２においては、例えば、アップサンプリングと、線形フィルタリングによる画素補間による手法を用いた画像拡大手法を採用することにより、拡大前の画像の画素の境界によるジャギーが、画像の拡大結果に現われにくいようにした画像拡大ができる。
【００６７】
このようにして、画像拡大手段２にて拡大処理された画像データは前景部分抽出手段４に与えられる。前景部分抽出手段４はこの拡大処理された画像データについて各画素が前景部分に該当するのか、背景部分に該当するのかを複数用意された判別手法を使い分けて判別処理することで、前景部分の抽出を行い、その抽出した結果対応に二値化することで、前記拡大処理された画像データは背景部分と前景部分がはっきりと区別された形の画像として出力する。
【００６８】
判別手法の使い分けは、次のようにして行う。
【００６９】
すなわち、前景部分抽出手段４においての処理実行に先駆け、判別方法選択手段３は、前景部分抽出手段４に対して各画素が前景部分に該当するのか、背景部分に該当するのかを判別する判別手法としてどれを用いるべきか、最適なものを選択し、前景部分抽出手段４に指示する。
【００７０】
ここでは、判別に使用する手法の選択の優先順位を
“濃度の閾値処理”＞“凹凸の判定に基づく判別処理”＞“強制判別”
と定めてあるので、判別方法選択手段３は、まずはじめに“濃度の閾値処理”を選択し、当該“濃度の閾値処理”を前景部分抽出手段４に実施させるべく指示を与える。
【００７１】
すると、前景部分抽出手段４は自己の構成要素である濃度の閾値処理手段５を機能させる。濃度の閾値処理手段５は、これにより、画像拡大手段２にて拡大処理された画像データについて“濃度の閾値処理”を実施する（図２のステップＳ４）。そしてこれにより、“濃度の閾値処理”の手法で各画素を処理して各画素それぞれについてそれが前景部に位置するか、背景部分に位置するかが判別する。前景部に位置するか、背景部分に位置するかが判別出来ない画素の場合は、判別をしない。
【００７２】
すべての画素について判別処理を終えると次に前景部分抽出手段４は前景部に位置するか、背景部分に位置するかが判別出来ない画素が残っているか調べ（図２のステップＳ５）、残っている場合は前景部分抽出手段４は判別方法選択手段３に対し、次にどの判別手法を採用するかの指示を仰ぐ。
【００７３】
判別方法選択手段３はこれに対し、優先度第２位の判別手法を選択する。優先度第２位の判別法は“凹凸の判定に基づく判別処理”であるから、判別方法選択手段３は当該“凹凸の判定に基づく判別処理”を選択し、前景部分抽出手段４に実施させるべく指示を与える。
【００７４】
すると、前景部分抽出手段４は自己の構成要素である凹凸判定判別処理手段６を機能させる。凹凸判定判別処理手段６は、画像拡大手段２により拡大処理された画像データのうち、“濃度の閾値処理”によって判定したものの、前景部に位置するか、背景部分に位置するかが判別出来なかった画素について“凹凸の判定に基づく判別処理”を実施する。
【００７５】
そして、当該“凹凸の判定に基づく判別処理”による判定処理を実施して前景部に位置するか、背景部分に位置するかを判別する。前景部に位置するか、背景部分に位置するかが判別出来ない画素の場合は、判別をしない。
【００７６】
すべての残り画素についてここでの判別処理を終えると、次に前景部分抽出手段４は前景部に位置するか、背景部分に位置するかが判別出来ない画素が残っているか調べ（図２のステップＳ８）、残っている場合は前景部分抽出手段４は判別方法選択手段３に対し、次にどの判別手法を採用するかの指示を仰ぐ。
【００７７】
判別方法選択手段３はこれに対し、優先度第３位の判別手法を選択する（図２のステップＳ９）。優先度第３位の判別法は“強制判別処理”であるから、判別方法選択手段３は当該“強制判別処理”を選択し、前景部分抽出手段４に実施させるべく指示を与える。
【００７８】
すると、前景部分抽出手段４は自己の構成要素である強制判別手段７を機能させる。強制判別手段７は、画像拡大手段２により拡大処理された画像データのうち、“濃度の閾値処理”によっても、また、“凹凸の判定に基づく判別処理”によっても判定できなかった残りの画素について、前景部に位置するか、背景部分に位置するかを強制的に決定する（図２のステップＳ１０）。
【００７９】
この結果、すべての画素が前景部に位置するものか、背景部分に位置するものかが決まるので、それ対応に二値化手段８は画像を構成する画素を二値化して二値化データ化した画像として出力する（図２のステップ１１）。
【００８０】
二値化は、抽出前景部分については例えば、“１”を、他は“０”を当て嵌めると云った具合に、前景部分であると判断された画素は予め定めた二つの濃度の内の一方を当て嵌めてその画素の二値化結果とし、背景部分と判断された画素は二つの濃度の内の他方を当て嵌めて二値化結果とすることによって行うことができる。
【００８１】
なお、濃度の閾値処理による判別の結果、画素全てが前景部分と背景部分のいずれに属するかを判別できたときは（図２のステップＳ５）、前景部分抽出手段４は凹凸判定に基づく判別処理と強制処理は行わずに二値化手段８に判別結果を与えるので、二値化手段８はこれを二値化処理することとなる。具体的には、画像を構成する画素を判別結果対応に二値化処理し、二値化データ化画像として出力する（図２のステップ１１）。
【００８２】
また、凹凸判定に基づく判別処理による判別の結果、画素全てが前景部分と背景部分のいずれに属するかを判別できたときは（図２のステップＳ８）、前景部分抽出手段４は強制処理は行わずに、二値化手段８に判別結果を与えるので、二値化手段８はこれに基づいて画素を二値化処理することとなる。具体的には、画像を構成する画素を濃度の閾値処理による判別結果および凹凸判定に基づく判別処理による判別結果対応に二値化処理し、二値化データ化画像として出力する （図２のステップ１１）
上述したように、本発明システムでは、前景部分抽出手段４において、前景部分と背景部分の判別が行われるが、その方法としては、“濃度の閾値との比較による判別”、“凹凸判定による判別”等を用いる。
【００８３】
また、各方法に適用条件と優先順位を定め、それに従って方法を選択する判別方法選択手段３を用いることにより、複数の方法を組み合わせて用いる構成としている。ただし、どの方法の適用条件も満たされない場合の判別方法として、間に合わせの結果を強制的に出す強制判別を含める必要があるので、組み合わせる方法は３種としてある。しかし、それ以上の種類を使い分けるようにしても良いことはもちろんである。
【００８４】
そのような組み合わせと優先順位の一例としては上述したように、“濃度の閾値との比較”、“凹凸判定”、“強制判別”の順での適用が挙げられ、これは演算負荷と処理の望ましさを考慮すると、極めて理想的で合理的な優先順位割り当てである。すなわち、演算処理の負荷の軽さから考えると、“強制判別”，“濃度の閾値との比較”，“凹凸判定”の順であるが、“強制判別”は非常手段であり、優先する訳にはいかないから、“濃度の閾値との比較”、“凹凸判定”、 “強制判別”の順での適用することで、高速処理が可能なシステムをなり得る。それは、“濃度の閾値との比較”で全てが済んでしまい、他を利用しないで済むような画像の場合も多いからであり、“凹凸判定”を先に実行するよりは処理が当然速く終了する。もちろん、“濃度の閾値との比較”、“凹凸判定”、“強制判別”の順での適用が全てではなく、“凹凸判定”、“濃度の閾値との比較”、“強制判別”の順での適用も排除するものではない。
【００８５】
ここで、“濃度の閾値との比較”、“凹凸判定”、“強制判別”の詳細について触れておく。
【００８６】
＜濃度の閾値との比較＞
濃度による判別は上側、下側の二つの閾値θu ,θl による閾値処理によって 行われる。濃度ｆ（ｘ，ｙ）が閾値θu より大きい場合は前景部分、濃度ｆ（ｘ，ｙ）が閾値θl より小さい場合は背景部分と判別される。
【００８７】
上述のθu ,θl は濃度のへシアンの第一固有値が負である画素に関する濃度 ヒストグラムから求めることが出来る。このヒストグラムは、背景部分に対応する部分と、ストローク部分に対応する部分の二つのピークからなるので、この二つのピークの境界を大津の方法などの閾値決定法によって推定し、これをθl とすることが出来る。また、θu は上で分離した二つのピークの内で濃度が高い方に相当するピークのパーセント点をとることにより、求めることが出来る。
【００８８】
＜凹凸判定＞
上で述べた閾値処理が適用されなかった画素は、線やそのエッジ部分に位置していると考えられる。従って、これらの画素に関しては線方向を定義することが可能であり、前景部分と背景部分の判別は各画素における線方向を推定し、それと垂直な方向に沿っての濃度曲面の凹凸を判断する凹凸判定手段によって行うことが出来る。
【００８９】
【数４】

【００９０】
となることがわかるので、この値の符号によってｕに沿った方向での凹凸の判定を行う。
【００９１】
凹凸の判定の実施方法としては、ストロークと垂直な方向での推定方法や（式１４）の結果の扱い方が異なるいくつかの方法が考えられる。そして、濃度の閾値比較や凹凸判定各方法に適用条件と優先順位を定めることによってこれらの方法を組み合わせるようにし、以てより簡単かつ、正確な判定を行うことが出来るようになる。
【００９２】
以下では、その組合せの好適な例として三つの方法を優先順に示す。ただし、これは凹凸の判定方法の組合せと優先順位の一例であり、その要旨を逸脱しない範囲でこれらのいずれかの省略や、その他の方法の追加、順序の変更など種々の変更を加えることが可能である。
【００９３】
＜凹凸の判定方法の組合せと優先順位の例＞
先ず、ある画素における濃度は（ｘ，ｙ）のへシアンＨが正値である場合、つまり、その固有値が二つとも正である場合の判定である。この場合は、どの方向に沿っても濃度の変化が凹であることから、方向を推定するまでもなく、背景部の画素と判別することが出来る。また、二つの固有値が負の場合は、逆にどの方向に沿っても濃度の変化が凸であるため、この場合は前景部の画素と判別することが出来る。
【００９４】
また、第一固有値λ1 が負であり、その絶対値｜λ1 ｜が十分に大きく、第二固有値λ2 の絶対値｜λ2 ｜と比較しても十分に大きい場合は、第二固有値λ2 に対応する固有ベクトルの方向が線の方向と判断できる。第一固有値λ1 に対応する固有ベクトルは第二固有値λ2 のそれと直交するので線と垂直な方向の凹凸は第一固有値λ1 の符号で判別することが出来、この場合はそれが負であるので前景部の画素と判別することが出来る。
【００９５】
次の方法では、線の輪郭近くと中心部分の二通りを考え、注目している画素がこれら二通りの部分に属している場合を仮定した上で（式１４）の値を計算し、輪郭近くと仮定したものをｒe 、中心部分と仮定した上での計算結果をｒc とする。
【００９６】
そして、中心部分である可能性の高さを値域が［０，１］となる数値αとして計算し、上の二つの結果をαと１−αで重み付けして足したもの
ｒ＝αｒe ＋（１−α）ｒc （15）
を計算して、それが負ならば凸、正ならば凹と判断する。
【００９７】
ストローク中心部では一般にストローク方向での曲率よりそれと垂直な方向での曲率が大きいと考えられるので、ストローク方向は第一固有値λ1 に対応する固有ベクトルと垂直であると考えることが出来る。従って、ｕ＝ｈ1 とすることが出来、へシアンの第一固有値λ1 、第二固有値λ2 に対応する固有ベクトルをｈ1 、ｈ2 とおくと、このような場合の（式１４）の値ｒc は
【００９８】
【数５】

【００９９】
となる。
【０１００】
【数６】

【０１０１】
勾配の大きさが線の輪郭付近では大きく、中心部分では小さくなると考えられることから、中心部分である可能性の高さを表す数値αは、勾配ベクトルの大きさ‖ｇ‖が“０”のとき“１”で、‖ｇ‖が大きくなるにつれ、“０”に近付く単調減少関数として定義することが好適であり、そのような関数の一つとして
【０１０２】
【数７】

【０１０３】
を用いることが出来る。
【０１０４】
ここで、ｗ（‖ｇ‖）の値が原画像の解像度や、拡大率ｍの変化に伴うｇのスケールの変化に影響されないようにするため、ｇのスケールを見積り、それに反比例するようにｋを求めることが出来る。
【０１０５】
拡大前の濃度ｆorigの値域は、前処理によって［０，１］に固定されており、それを前記画像拡大手段により拡大した画像の濃度の変動幅は１程度になる。原画像からの標本の周期は倍率ｍであり、これも既知であるから、‖ｇ‖の上限は１／ｍ程度と見積もることができる。（図３参照）
従って、ｋを以下の式で計算すれば、ｗ（‖ｇ‖）の値は‖ｇ‖のスケールに依存しない。
【０１０６】
ｋ＝ｋ′／ｍ （22）
ただし、ｋ′は予め定めた正の定数である。
【０１０７】
ただし、勾配が非常に小さい場合はノイズや計算誤差などによる勾配ベクトルの方向の狂いがα及びｒの符号に影響を与える可能性がある。従って、ｋと同様に正定数ｈ′と倍率ｍから
ｈ＝ｈ′／ｍ （23）
と計算される閾値ｈより‖ｇ‖が小さい場合は、ｒの値による凹凸の判定は行わない。
【０１０８】
“濃度の閾値との比較”、“凹凸の判定”のいずれによっても前景部に位置するか、背景部分に位置するかが判別出来ない画素については上で述べたように強制判別を行う。
【０１０９】
＜強制判別＞
強制判別は、背景部分であるのか前景部分であるのかを一義的に定めてしまう手法であり、ここで用いる強制判別の方法としては、
・全て背景部分として扱う。
【０１１０】
・全て前景部分として扱う。
【０１１１】
・大津の方法で求めた閾値θc との比較によって判定を行う。
【０１１２】
等の方法を挙げることができる。
【０１１３】
図４（ａ），（ｂ），（ｃ）に比較例と本発明の実施結果の一例を示す。図４（ａ）が原画像であり、本発明により処理した結果が図４（ｂ）、大津の方法で処理した結果が図４（ｃ）である。図を比較してみると、大津の方法で処理したものに比べて、本発明により処理したものは掠れや潰れが少なく輪郭が滑らかな処理結果が得られていることが分かる。
【０１１４】
上述したように、本発明システムでは、前景部分抽出手段４において、前景部分と背景部分の判別が行われるが、その方法としては、はじめに“濃度の閾値との比較による判別”を実施し、判別できなかった画素について、次に“凹凸判定による判別”を実施している。この両者の併用による判別効果は図５の如きである。すなわち、図５のＩの如き濃度値変化（濃度値分布）を示す画像について、例えば、上限閾値ａと下限閾値ｂを用意し、上限閾値ａ以上を“１”、下限閾値ｂ以下を“０”そして、上限閾値ａと下限閾値ｂの中間の領域は判定結果を出さない領域として“濃度の閾値との比較による判別”を実施すると、確実に“前景部分”に該当する濃度値を持つ画素と確実に“背景部分”に該当する濃度値を持つ画素とを分別することができ、それ以外の不確実な濃度値の画素が残されるが、これについては凹凸判定に基づく判別により判別すると、細い線や二重線に該当する画素が識別される。本発明では、このように濃度の閾値処理による判別と凹凸に基づく判別のそれぞれの特徴を活かして、判別処理を分担させるようにしたもので、その結果、掠れや潰れが少なく輪郭が滑らかな処理結果が得られることになる。
【０１１５】
以上の実施例では、シェーディングのある画像に対処するために、シェーディングや濃度の正規化等の前処理を最初に行い、その後に、画像の拡大処理を行い、次に複数用意してある前景部分の判別方法の選択を行った後、選択結果によって異なる前処理を前景部分の抽出前に追加する構成とすることができる。
【０１１６】
例えば、凹凸に基づく判別は微分操作を行っているので、濃度の閾値処理による判別や強制判別と比べてノイズの影響を受け易いと考えられるので、凹凸に基づく判別の前にだけ、ノイズ除去処理を追加し、他の判別方法の結果に副作用を与えることなく、ノイズの影響を軽減する構成とすることができる。
【０１１７】
また、例えば、強制判別において、大津の方法により求めた閾値θc との比較によって判別を行う場合には、エッジ強調フィルタによる前処理を施す構成を採用することによって、掠れや潰れを軽減できるようにすることも可能である。濃度の閾値処理による判別に関してはこのような前処理の例を挙げていないが、特に必要の無い場合にはこのような前処理を追加する必要はない。
【０１１８】
以上、第１の実施例においては、前景部分の抽出を行う前に拡大を行うようにしたことによって、階調情報で表現されるサブピクセル精度の位置情報や線幅情報を前景部分抽出結果に反映させることを可能にし、また、凹凸の判定によって前景部分と背景部分の判別を行うことによって単純な閾値処理では消えてしまう細くて薄いストロークや、潰れてしまうストローク間の隙間が消えないように前景部分の抽出を行うことが可能となる。また、前処理でシェーディングが除去し切れなかった場合でも、凹凸の判定による判別が行われる範囲の濃度ではシェーディングの影響を受けずに判別を行うことが可能である。従って、線の掠れや隙間の潰れの無い画像処理結果が得られると共に、処理を効率良く実施可能な画像処理装置を得ることができる。
【０１１９】
（第２の実施例）
前処理手段１では、画像に対して例えばシェーディング補正やノイズ除去と各画素の持つ濃度情報の二値化、すなわち、濃度の値域の［０，１］への正規化などを行うことが出来るが、処理する画像の条件によってはこれらを省略したり、その他の処理を追加することが出来ることを既に説明した。
【０１２０】
画像前処理手段１にて、このような前処理の選択実行ができるようにする具体例を次に第２の実施例として説明する。図６は第２の実施例の構成例を示すブロック図である。図中、１ａは前処理手段、２は画像拡大手段、３は判別方法選択手段、４は前景部分抽出手段、５は濃度の閾値処理手段、６は凹凸判定判別処理手段、７は強制判別手段、８は二値化手段、９は指示手段であり、これらのうち、画像拡大手段２、判別方法選択手段３、前景部分抽出手段４、濃度の閾値処理手段５、凹凸判定判別処理手段６、強制判別手段７、二値化手段８は図１で説明した同一名称同一符号を付したものと構成及び作用は変わらない。
【０１２１】
本装置では、入力画像データに対して前処理を施す前処理手段１ａには、シェーディング補正処理手段１１やノイズ除去処理手段１２、正規化処理手段１３などを備えており、これらは指示手段９により動作させるものが選択されるように構成してある。
【０１２２】
従って、ユーザは、画像の状態に応じてどのような前処理を施すか、指示手段９により動作させるものを選択する。すると、前処理手段１ａは入力された画像データに対してシェーディング補正やノイズ除去、正規化などの前処理のうち、選択されている要素の前処理を実施させるべく、該当の処理手段を動作させる。
【０１２３】
従って、本発明のシステムでは、前処理手段１ａでは、画像に対して例えばシェーディング補正や、ノイズ除去、各画素の持つ濃度情報の二値化と云った各種処理を、処理対象画像の条件によって、取捨選択し実施させたり、前処理そのものを施さないようにしたり、その他の処理を追加するといったことが出来るようになる。従って、柔軟性のある処理が可能なシステムが実現できる。
【０１２４】
（第３の実施例）
以上のシステムでは、前処理、画像拡大を済ませた後、前景部分抽出手段４において、前景部分と背景部分の判別が行われる構成としているが、図７に示すように、初段に前景部分抽出手段４を配置し、入力画像に対して、最初に前景部分抽出手段４による前景部分の抽出処理を実施し、その後に必要に応じてノイズ除去と云った各種処理を選択的に実施させる構成も考えられる。
【０１２５】
すなわち、はじめに前景部分抽出手段４は自己の持つ濃度の閾値処理手段５により“濃度の閾値との比較による判別”を実施し、判別できなかった画素について、次に前景部分抽出手段４は自己の持つ凹凸判定判別処理手段６により“凹凸判定による判別”を実施し、それでも判別できなかった画素については前景部分抽出手段４は自己の持つ強制判別手段７により“強制判別”処理する。そして、前景部分抽出手段４はこれら判別結果を二値化手段８に与え、二値化手段８は判別結果対応に、各画素を二値化処理する。これにより前景部分と背景部分が明確に区別された画像のデータが得られる。
【０１２６】
この二値化手段８により二値化された画像データを、補正手段２１に与えて補正処理する。補正手段２１は図１の前処理手段１もしくは図６の前処理手段１ａと同様の構成で良く、ノイズ除去、正規化処理と云った各種処理を施して出力とする構成とするか、必要に応じてノイズ除去、正規化処理と云った各種処理を選択的に実施させて出力とする構成である。
【０１２７】
この構成の場合、最初に前景部抽出手段４による処理を行うが、図５で説明したように、Ｉの如き濃度値変化（濃度値分布）を示す画像について、例えば、上限閾値ａと下限閾値ｂを用意し、上限閾値ａ以上を“１”、下限閾値ｂ以下を “０”そして、上限閾値ａと下限閾値ｂの中間の領域は判定結果を出さない領域として“濃度の閾値との比較による判別”を実施すると、確実に“前景部分”に該当する濃度値を持つ画素と確実に“背景部分”に該当する濃度値を持つ画素とを分別することができ、それ以外の不確実な濃度値の画素が残されるが、これについては凹凸判定に基づく判別により判別すると、細い線や二重線に該当する画素が識別される。
【０１２８】
本発明では、このように濃度の閾値処理による判別と凹凸に基づく判別のそれぞれの特徴を活かして、判別処理を分担させることで、画質があまり悪くないような画像の場合や、文字がもともと大きいなど、前景部分と背景部分が区別し易い画像等の場合に、前処理を施さずに済むような画像の処理に、適用可能であり、処理が簡単になる分、構成の簡素化や処理時間の短縮の効果が期待できる。
【０１２９】
別な手法を第４の実施例として次に説明する。
【０１３０】
（第４の実施例）
第４の実施例について説明する。本発明は、例えば、文書原稿などのように、イメージ化した場合に、本来、二値画像となるべき画像データから文字（前景部）の画素と背景部の画素とを区別して認識できるようにするものであるが、この第４の実施例は図８に示す如く、画像データに対して必要な前処理を実施してから拡大処理し（図８のステップＳ２１，Ｓ２２）、その拡大処理済みの画像データを、まずは“濃度の閾値処理”による前景部か背景部かの判別が可能か否かを判別し（図８のステップＳ２３（濃度値による判別の可否判定））、その結果、判別可能ならば濃度による閾値処理による判別を実施し（図８のステップＳ２４）、その後、二値化処理をする（図８のステップＳ２５）。
【０１３１】
一方、“濃度の閾値処理”による判別可能か否かの判別した結果（図８のステップＳ２３）、判別不可能ならば“凹凸の判定に基づく判別処理”による前景部か背景部かの判別が可能か否かを判別し（図８のステップＳ２６）、判別可能であれば凹凸判定による判別処理を実施し、（図８のステップＳ２７）、その後、二値化処理をする（図８のステップＳ２５）。
【０１３２】
“凹凸の判定に基づく判別処理”による前景部か背景部かの判別の可否判別は、例えば、
［ｉ］固有値λ１，λ２が両方とも負か正の一方。
［ii］λ１＜０，λ１が十分大きい，｜λ１｜ >> ｜λ２｜。
［iii]‖ｇ‖が微小でない。
のいずれかに該当する場合に可と判別するようにする。
【０１３３】
ステップＳ２６での判別の結果、“凹凸の判定に基づく判別処理”による前景部か背景部かの判別が不可能ならば、“強制判別処理”を実施して文字（前景部）の画素と背景部の画素とを区別して認識するようにする（図８のステップＳ２８）。そして、その後、二値化処理をする（図８のステップＳ２５）。
【０１３４】
すなわち、この実施例は、前景部分の抽出を行う前に拡大処理を行って画像を拡大することにより、階調情報で表現されるサブピクセル精度の位置情報や線幅情報を前景部分抽出結果に反映できるようにし、そして、まずはじめに、処理負荷の最も軽い“濃度の閾値処理”による判別が可能か否かの判別し、可能ならば“濃度の閾値処理”による判別を実施して前景部か背景部かの判別をしてしまうが、“濃度の閾値処理”による判別が不可能ならば凹凸の判定による前景部分と背景部分の判別が可能か判定し、可能ならば、凹凸の判定によって前景部分と背景部分の判別を行うことにより、単純な閾値処理では消えてしまうような細くて薄いストロークや、閾値処理では潰れてしまうストローク間の隙間が消えないように、前景部分の抽出を行うことを可能にする。また、前処理でシェーディングが除去し切れなかった場合でも、凹凸の判定を用いるようにしたことで、当該凹凸の判定による判別が行われる範囲の濃度ではシェーディングの影響を受けずに前景部分を判別することを可能としている。また、凹凸の判定による前景部分と背景部分の判別が不可能な時に最後の手段として強制処理を使用し、前景部か背景部のいずれか一方に強制的に決めてしまう。
【０１３５】
このように、画像データの各画素が前景部分に属するものであるか背景部に属するものであるかを、“濃度の閾値処理”、“凹凸の判定に基づく判別処理”、“強制判別”と云った複数種の判定法のうちのいずれかに決定してからその処理法を用いるようにすることで、処理の単純化を図りつつ、階調情報で表現されるサブピクセル精度の位置情報や線幅情報を前景部分抽出結果に反映することが可能、凹凸の判定によって前景部分と背景部分の判別を行うことによって、単純な閾値処理では消えてしまう細くて薄いストロークや、潰れてしまうストローク間の隙間が消えないように、前景部分の抽出を行うことが可能、前処理でシェーディングが除去し切れなかった場合でも、凹凸の判定による判別が行われる範囲の濃度ではシェーディングの影響を受けずに判別を行うことが可能と云った効果が享受できる処理方法が得られる。
【０１３６】
以上、種々の実施例を説明したが、要するに本発明は、例えば、文書原稿などのように、イメージ化した場合に、本来、二値画像となるべき画像データから文字（前景部）の画素と背景部の画素とを区別して認識できるようにするものである。そのために、
第１には、画像データに対して必要な前処理を実施してから拡大処理し、その拡大処理済みの画像データについて各画素が前景部分に属するものであるか背景部に属するものであるかを、“濃度の閾値処理”、“凹凸の判定に基づく判別処理”、“強制判別”と云った複数種の判定法を用いて判定処理し、二値化して処理済みの画像データとして得るようにしたものである。
【０１３７】
また、拡大処理済みの画像データについて各画素が前景部分と背景部のいずれに属するものであるかの判定（前景部抽出処理）を、所望の順序で、望ましくは“濃度の閾値処理”、“凹凸の判定に基づく判別処理”、“強制判別”の優先順で行うようにする。すなわち、まずはじめに“濃度の閾値処理”により判別し、前景部か背景部かの判別ができなかった画素について、次に、“凹凸の判定に基づく判別処理”により判別をし、それでも前景部か背景部かの判別ができなかった画素について、次に、“強制判別”をして文字（前景部）の画素と背景部の画素とを区別して認識するようにする。
【０１３８】
この発明では、前景部分の抽出を行う前に拡大処理を行って画像を拡大するようにしたことにより、階調情報で表現されるサブピクセル精度の位置情報や線幅情報を前景部分抽出結果に反映することが可能となり、掠れや潰れの発生を抑制できるようになる。また、前景部抽出処理は、単純で高速処理が可能な濃度の閾値処理を最初に施すことにより、これだけで済んでしまうような画像の場合に高速処理を可能にし、また、前景部抽出処理は、濃度の閾値処理で不十分な場合には、次に凹凸の判定によって前景部分と背景部分の判別を行うようにしたことによって、単純な閾値処理では消えてしまう細くて薄いストロークや、潰れてしまうストローク間の隙間が消えないように、前景部分の抽出を行うことが可能となる。また、シェーディングが生じている画像の場合に、前処理でシェーディング補正を施すが、これによってもシェーディングが除去し切れなかった場合でも、凹凸の判定による判別が行われる範囲の濃度ではシェーディングの影響を受けずに判別を行うことが可能であり、掠れや潰れの影響を抑制した質のよい二値画像を得ることができる画像処理が実現可能になる。
【０１３９】
また、第２には、本発明は、処理する画像の条件によって前処理手段における各種前処理のうち、選択したものについてのみ、実施させる構成とした。
画像に対して例えばシェーディング補正やノイズ除去、各画素の持つ濃度情報の二値化、すなわち、濃度の値域の［０，１］への正規化などを行うことが出来るが、処理する画像の条件によってはこれらを省略したり、その他の処理を追加することが出来る。従って、必要なものを選択して実施させる構成としたことで、無駄な処理を無くして、高速処理を実現する。
また、本発明は、第３には、入力画像に対して、最初に前景部分の抽出処理を実施し、その後に必要に応じてノイズ除去、各画素の持つ濃度情報の二値化と云った各種処理を選択的に実施させる構成とする。
【０１４０】
この場合、はじめに前景部分抽出を実施する。具体的には最初に“濃度の閾値との比較による判別”を実施し、判別できなかった画素について、次に“凹凸判定による判別”を実施し、それでも判別できなかった画素については“強制判別”処理する。そして、判別結果対応に、二値化する。
【０１４１】
このように濃度の閾値処理による判別と凹凸に基づく判別のそれぞれの特徴を活かして、判別処理を分担させることで、画質があまり悪くないような画像の場合や、文字がもともと大きいなど、前景部分と背景部分が区別し易い画像等の場合に、前処理を施さずに済むような画像の処理に、適用可能であり、処理が簡単になる分、構成の簡素化や処理時間の短縮の効果が期待できる。
【０１４２】
なお、本発明は上述した実施例に限定することなく、種々変形して実施可能である。
【０１４３】
【発明の効果】
本発明によれば、前景部分の抽出を行う前に拡大処理を行って画像を拡大することにより、階調情報で表現されるサブピクセル精度の位置情報や線幅情報を前景部分抽出結果に反映することが可能となる。また、凹凸の判定によって前景部分と背景部分の判別を行うことによって、単純な閾値処理では消えてしまう細くて薄いストロークや、潰れてしまうストローク間の隙間が消えないように、前景部分の抽出を行うことが可能となる。また、前処理でシェーディングが除去し切れなかった場合でも、凹凸の判定による判別が行われる範囲の濃度ではシェーディングの影響を受けずに判別を行うことが可能である。
【図面の簡単な説明】
【図１】本発明を説明するための図であって、本発明の第１の実施例における画像処理装置の全体構成を示すブロック図である。
【図２】本発明を説明するための図であって、本発明の第１の実施例における画像処理装置の作用を説明するフローチャートである。
【図３】濃度の勾配の上限の概算方法の原理を説明する図である。
【図４】本発明における画像処理の効果を説明するための各種処理例を示した図である。
【図５】本発明を説明するための図であって、本発明の第１の実施例における“濃度の閾値処理”と“凹凸の判定に基づく判別処理”の特性と効果を説明する図である。
【図６】本発明を説明するための図であって、本発明の第２の実施例における画像処理装置の全体構成を示すブロック図である。
【図７】本発明を説明するための図であって、本発明の第３の実施例における画像処理装置の全体構成を示すブロック図である。
【図８】本発明を説明するための図であって、本発明の第４の実施例における画像処理のフローチャートを示す図である。
【図９】ボケがある場合や原画像の解像度か低い画像において、細い線の像部分で観測される濃度値の分布例を説明する図である。
【符号の説明】
１，１ａ…前処理手段
２…画像拡大手段
３…判別方法選択手段
４…前景部分抽出手段
５…濃度の閾値処理手段
６…凹凸判定判別処理手段
７…強制判別手段
８…二値化手段
９…指示部
１１…シェーディング補正処理手段
１２…ノイズ除去処理手段
１３…正規化処理手段。
２１…補正手段

Claims (6)

1. 画像データの各画素に対して、各画素が画像の前景部分に属するか背景部分に属するかの判別を複数の判別方法にて行った上で、前景部分と判別された各画素を抽出する前景部分抽出手段と、
   この前景部分抽出手段にて各画素の判別を行う判別方法に関して、予め定められた優先度に従い、第１に優先度の高い第１の判別方法を選択して前記前景部分抽出手段での処理を実行させ、更にこの第１の判別方法にて判別できない画素が存在した場合には、前記第１の判別方法とは異なる第２の判別方法を選択して、判別ができない画素に対して前記前景部分抽出手段での処理を実行させる制御手段と、
   を具備しており、
   前記前景部分抽出手段は、各画素の濃度の閾値処理により判別を行う第１の判別手段と、各画素において画素が構成する線の方向を推定してその線の方向と垂直な方向に沿って濃度の変化の凹凸の判定を行うことにより判別する第２の判別手段と、各画素を強制的に前景部分、背景部分の一方に定める方法で判別する第３の判別手段とを具備しており、
   前記垂直な方向は、各画素の濃度の勾配ベクトルの方向もしくは各画素の濃度のヘシアンの固有ベクトルの方向であり、
   前記凹凸の判定は、前記垂直な方向に沿って濃度の２階微分値を求めて、前記２階微分値が正であれば凹、負であれば凸と判定することを特徴とする画像処理装置。
2. 前記制御手段は、前記第１の判別手段、前記第２の判別手段、前記第３の判別手段の順に優先度を設定し、この設定された優先度に従って前記判別手段の選択を行う選択手段を具備することを特徴とする請求項２記載の画像処理装置。
3. 画像データを拡大処理する拡大処理手段を更に具備し、前記前景部分抽出手段は、前記拡大処理手段にて拡大処理された画像データに対して、各画素が画像の前景部分に属するか背景部分に属するかの判別を行うことを特徴とする請求項１記載の画像処理装置。
4. 画像データの前処理を行う前処理手段と、この前処理手段にて所定の前処理を施した画像データを拡大処理する拡大処理手段とを更に具備し、前記前景部分抽出手段は前記拡大処理手段にて拡大処理された画像データに対して各画素が画像の前景部分に属するか背景部分に属するかの判別を行うことを特徴とする請求項１記載の画像処理装置。
5. 前景部抽出手段に与える入力画像データに対して実施する前処理として、シェーディング補正処理するシェーディング補正処理手段、ノイズ除去処理をするノイズ除去処理手段、正規化処理をする正規化処理手段を備えた前処理手段と、
   これら処理手段のうち、動作させるべき処理手段を選択するための指示手段と、
   を更に設けたことを特徴とする請求項１記載の画像処理装置。
6. 前景部抽出手段の抽出出力に対して実施する補正処理として、ノイズ除去処理をするノイズ除去処理手段、正規化処理をする正規化処理手段を備えた補正手段と、
   補正手段の有する各種処理手段のうち、動作させるべき処理手段を選択するための指示手段と、
   を更に設けたことを特徴とする請求項１記載の画像処理装置。

Images