JP3918381B2 - 画像処理装置および画像処理方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、複写機やファクシミリなどの画像処理装置およびその処理方法に関し、特に原稿に含まれる文字領域と絵柄領域を自動的に判別・分離し、各領域に適した画像処理を行う画像処理装置および画像処理方法に関する。
【０００２】
【従来の技術】
複写機やファクシミリなどの画像処理装置において、入力された画像に文字や線画などの文字領域と、写真や絵柄などの絵柄領域が混在していた場合、その画像を再生するときには文字領域と絵柄領域を分離し、文字領域には解像度を重視した処理を、絵柄領域には階調性を重視した処理を施すことが画像品質の面から望ましい。また、上記のような画像データを伝送する場合にも、文字領域と絵柄領域を分離し、それぞれに対して異なった手法で圧縮処理を行った方が、画像品質および圧縮率の面から望ましい。
【０００３】
具体的には、スキャナ等によって読み取られた画像、あるいはファクシミリ等で送信されてきた、文字・線画・写真・網点等の混在した画像をハードコピーする場合、文字・線画などの文字領域に対しては解像度を重視した処理を施し、写真・網点などの絵柄領域に対しては階調性を重視した処理を施すことにより、高画質な再生画像を得ることが可能となる。
【０００４】
また、文字・線画・写真・網点等の混在した画像を、ネットワークを介して離れた場所にある画像出力装置に転送する場合、文字領域と絵柄領域を分離し、それぞれの領域に対して異なった手法で圧縮処理を行った方が、高画質で小容量の画像データを得ることができるため、速い転送速度・高画質な再生画像を得ることができる。
【０００５】
ここで、上記のような解像度重視・階調性重視の処理を画像の各領域によって適応的に処理するためには、画像に含まれる文字領域・絵柄領域を精度良く分離する必要がある。以下、文字領域・絵柄領域の分離のことを像域分離と言う。この像域分離には関しては、従来、種々の提案がなされている。
【０００６】
例えば、画像をある一定の大きさのブロックに分割し、各分割ブロックごとにそのブロックに含まれる画素の最大濃度と最小濃度を求めるとともに、最大濃度と最小濃度の差をあらかじめ決められた閾値と比較し、当該閾値よりも大きいブロックは文字領域、小さいブロックは絵柄領域と判定する方法（以下、第１従来技術と称す）や、注目画素を中心とした局所オペレータ（フィルタ）を用い、フィルタリング結果をあらかじめ決められた閾値と比較し、閾値よりも大きい画素は文字領域画素、小さい画素は絵柄領域画素と判定する方法（以下、第２従来技術と称す）などがある。
【０００７】
さらに、上記のように１種類の方法、即ち第１，第２従来技術の一方だけを用いて像域分離を行うのではなく、文字領域を抽出する処理や絵柄領域を抽出する処理などの複数の処理を行い、各処理結果から精度良く像域分離を行う手法（以下、第３従来技術と称す）も提案されている（特開平２−２９４８８５号公報参照）。この第３従来技術について、図３８を用いて簡単に説明する。
【０００８】
図３８において、入力された画像信号は、文字抽出部１０１、網点抽出部１０２および輪郭抽出部１０２に供給される。文字抽出部１０１は、入力された画像信号から画素単位に文字領域の判定を行い、その判定結果を出力する。網点抽出部１０２は、画素単位に網点領域の判定を行い、その判定結果を出力する。文字抽出部１０１と網点抽出部１０２の各判定結果は、論理和演算部１０４において画素単位に論理和演算が行われた後、誤判定除去部１０５に供給される。誤判定除去部１０５においては、文字抽出結果の補正処理が行われる。
【０００９】
次に、誤判定除去部１０５と輪郭抽出部１０３の各出力結果は、論理積演算部１０６において画素単位で論理積演算が行われた後、輪郭再生成部１０７に供給される。輪郭再生成部１０７においては、論理積演算部１０６の論理積演算結果に対して文字・線画の輪郭補正が行われる。そして、この輪郭再生成部１０７の出力結果を像域分離結果とすることにより、精度の高い像域分離を行うことができる。
【００１０】
【発明が解決しようとする課題】
しかしながら、上記第１従来技術の場合は、ブロック単位に像域分離が行われるため、文字・線画の輪郭部の像域判定結果が入力画像に忠実な判定結果とはならい。また、上記第２従来技術の場合は、画像中に含まれるエッジを抽出する手法であるため、ノイズを抽出したり、絵柄中に含まれるエッジを抽出しやすいという課題がある。
【００１１】
これに対して、上記第３従来技術の場合は、絵柄中でのエッジの誤抽出が少ない、文字・線画の輪郭部は入力画像に忠実な抽出結果となる、など比較的優れた手法である。しかしながら、色背景領域上に書かれた文字が抽出できない、例えば図３８における網点抽出部１０２で抽出可能な水色などの色領域上に書かれた文字などは、その領域全体が網点抽出部１０２もしくは文字抽出部１０１で抽出されてしまうため、色領域上に書かれた文字を像域分離結果として抽出することができない、という課題がある。
【００１２】
本発明は、上記した従来技術の課題を解決するためになされたものであり、その目的とするところは、背景色を問わずに入力画像に対して忠実に文字・線画を抽出し、かつ絵柄領域中での誤抽出の無い、高精度な像域分離処理を行うことが可能な画像処理装置および画像処理方法を提供することにある。
【００１３】
【課題を解決するための手段】
本発明による画像処理装置は、画像データを入力する入力手段と、この入力手段によって入力された画像データに対して前景と背景を分離する処理を行う２値化手段と、入力画像データに対して所定画素数分の幅の線分を抽出する線分抽出手段と、２値化手段によって前景とされた連結する画素に対して同一のラベルを付与するラベリング手段と、このラベリング手段において同一ラベルが付与されたラベル領域ごとに、該ラベル領域の画像特徴量を算出するラベル特徴量算出手段と、このラベル特徴量算出手段によって算出されたラベル領域ごとのラベル特徴量から該ラベル領域の属性を判定する属性判定手段と、この属性判定手段によるラベル領域ごとの属性判定結果を用いて、線分抽出手段によって抽出された線分の補正を行う線分補正手段とを具備する構成となっている。
【００１４】
上記構成の画像処理装置において、先ず、入力手段は、２値化手段および線分抽出手段に対して画像データを入力する。すると、２値化手段は入力された画像データを前景と背景に分離し、その分離結果をラベリング手段に与え、また線分抽出手段は所定画素数分の幅の線分を抽出し、その抽出結果を線分補正手段に与える。ラベリング手段は、２値化手段によって前景とされた連結する画素に対して同一のラベルを付与してラベル特徴量算出手段に与える。すると、ラベル特徴量算出手段は、同一ラベルが付与されたラベル領域ごとに、該ラベル領域の画像特徴量を算出して属性判定手段に与える。属性判定手段は、ラベル領域ごとのラベル特徴量から該ラベル領域の属性を判定し、その判定結果を線分補正手段に与える。そして、線分補正手段では、ラベル領域ごとの属性判定結果を用いて、線分抽出手段によって抽出された線分の補正を行う。
【００１５】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００１６】
図１は、本発明に係る画像処理装置の基本的な構成の概略を示すブロック図である。図１から明らかなように、本発明に係る画像処理装置は、画像入力部１、データ記憶部２、演算処理部３、係数記憶部４、階調補正部５、色信号変換部６、空間フィルタ部７、画像出力部８および像域分離部９を有し、これら各処理部がバスライン１０を介して相互に接続された構成となっている。
【００１７】
上記構成の画像処理装置において、画像入力部１はＣＣＤ撮像素子などの光電変換素子によって構成されるイメージスキャナなどであり、原稿の画像を読み取り、電気的なディジタル画像信号に変換して出力する。なお、この画像入力部１によって読み取られ、変換されたディジタル画像信号は、解像度４００ｄｐｉ、各色８ビットのＲＧＢカラー画像信号であるものとして、以下の説明を行う。
【００１８】
データ記憶部２は、画像入力部１によって入力された画像データ、各処理部によって画像処理が行われた画像データ、あるいは各処理部によって算出された処理結果などを記憶する。演算処理部３は、各装置の制御や各部の処理の演算を行う。係数記憶部４は、各部の処理に必要な係数を記憶しており、演算処理部３からの指示などによってその係数が読み出される。
【００１９】
画像入力部１から出力されデータ記憶部２に記憶された画像データ（ＲＧＢ各色８ビット）は、演算処理部３の指示によって階調補正部５に読み出され、この階調補正部５において画像の階調補正が行われる。その際、演算処理部３の指示によって係数記憶部４から入力階調補正係数が読み出され、入力階調補正係数を用いて階調補正が行われる。階調補正部５によって階調補正の行われた画像データは、データ記憶部２に記憶される。
【００２０】
階調補正部５から出力されデータ記憶部２に記憶された画像データは、演算処理部３の指示によって色信号変換部６に読み出され、この色信号変換部６においてＲＧＢ画像信号から他の色信号（例えば、Ｌ^* ａ^* ｂ^* 画像信号）に変換される。その際、演算処理部３の指示によって係数記憶部４から、ＲＧＢ画像信号からＬ^* ａ^* ｂ^* 画像信号への色信号変換係数が読み出され、その色信号変換係数を用いて色信号変換が行われる。色信号変換部６によって色信号変換の行われた画像データは、データ記憶部２に記憶される。
【００２１】
色信号変換部６から出力され、データ記憶部２に記憶された画像データ、および後述する像域分離部９において像域分離の行われた画像データは、演算処理部３の指示によって色信号変換部６に読み出され、像域分離部９で像域分離の行われた画像データに応じて画素ごとに色信号変換係数を切り替えながら、Ｌ^* ａ^* ｂ^* 画像信号から出力色信号（例えば、ＹＭＣＫ画像信号）に変換される。その際、演算部３の指示によって係数記憶部４から、Ｌ^* ａ^* ｂ^* 画像信号からＹＭＣＫ画像信号への色信号変換係数が読み出されており、その色信号変換係数を用いて色信号変換が行われる。色信号変換部６によって色変換の行われた画像データは、データ記憶部２に記憶される。
【００２２】
色信号変換部６から出力されデータ記憶部２に記憶された画像データ、および後述する像域分離部９において像域分離の行われた画像データは、演算処理部３の指示によって空間フィルタ部７に読み出され、像域分離部９で像域分離の行われた画像データに応じて画素ごとにフィルタリング係数を切り替えながら、空間フィルタリング処理が施される。その際、演算処理部３の指示によって係数記憶部４からフィルタリング係数が読み出されており、そのフィルタリング係数を用いて空間フィルタリング処理が行われる。空間フィルタ部７によって空間フィルタリング処理の行われた画像データは、データ記憶部２に記憶される。
【００２３】
空間フィルタ部７から出力されデータ記憶部２に記憶された画像データ、および後述する像域分離部９において像域分離の行われた画像データは、演算処理部３の指示によって階調補正部５に読み出され、像域分離部９で像域分離の行われた画像データに応じて画素ごとに出力階調補正係数を切り替えながら、出力階調補正処理が行われる。その際、演算処理部３の指示によって係数記憶部４から出力階調補正係数が読み出されており、その出力階調補正係数を用いて出力階調補正が行われる。階調補正部５によって出力階調補正の行われた画像データは、データ記憶部２に記憶される。
【００２４】
階調補正部５から出力されデータ記憶部２に記憶されたＹＭＣＫ画像データ、および後述する像域分離部９において像域分離の行われた画像データは、演算処理部３の指示によって画像出力部８に読み出され、像域分離部９で像域分離の行われた画像データに応じて画素ごとに例えばスクリーンなどが切り替えられることによって画像が出力される。
【００２５】
また、色信号変換部６から出力されデータ記憶部２に記憶されたＬ^* ａ^* ｂ^* 画像データは、演算処理部３の指示によって像域分離部９に読み出され、像域分離処理が行われる。その際、演算処理部３の指示によって係数記憶部４から像域分離係数が読み出されており、その像域分離係数を用いて像域分離処理が行われる。像域分離部９によって像域分離の行われた画像データは、データ記憶部２に記憶される。このデータ記憶部２に記憶された像域分離の行われた画像データを用いて、色信号変換部６、空間フィルタ部７、階調補正部５および画像出力部８での処理係数が画素ごとに切り替えられる。
【００２６】
次に、像域分離部９について、図２、図３および図４を用いて説明する。図２は、本発明の第１実施形態に係る像域分離部９の構成を示すブロック図である。また、図３および図４は、この第１実施形態に係る像域分離部９における処理過程での画像変化の一例を示す図である。図２から明らかなように、第１実施毛形態に係る像域分離部９は、２値化部１１、線分抽出部１２、ラベリング部１３、ラベル特徴量算出部１４、小領域除去部１５、第１属性判定部１６および線分補正部１７を有する構成となっている。
【００２７】
上記構成の像域分離部９において、２値化部１１は、データ記憶部２に記憶されている画像データ、即ち解像度４００ｄｐｉ、各画素８ビットのＬ^* ａ^* ｂ^* 画像信号を読み出し、２値化処理を行う。以降、この画像データのことを、Ｌ^* ａ^* ｂ^* 原画像データと呼ぶこととする。なお、Ｌ^* ａ^* ｂ^* 原画像データは、後述する線分抽出部１２およびラベル特徴量抽出部１４でも読み出される。
【００２８】
２値化部１１では、読み出されたＬ^* ａ^* ｂ^* 原画像データから前景領域、例えば白背景上の文字・線分、着色された領域、あるいは写真・絵柄領域などを抽出し、抽出された画素を高レベル（論理“１”）、抽出されなかった画素を低レベル（論理“０”）とする各画素１ビットの画素信号が出力される。図３の場合を例にとると、図３（ａ）の画像が２値化部１１に入力されたとすると、図３（ｃ）のように２値化された画像が出力される。２値化部１１の詳細については後述する。
【００２９】
２値化部１１から出力された２値化画像信号は、ラベリング部１３に入力される。ラベリング部１３では、連結する抽出画素の領域ごとに１つのラベルを付与する処理が行われる。ラベリングの方法としては公知の技術が用いられる。図３および図４で説明すると、図３（ｃ）の２値化画像がラベリング部１３に入力され、図４（ａ）のようにラベル番号１からラベル番号Ｎまでのラベルが付与される。なお、以降、連結領域ごとにラベルの付与された画像をラベリング画像と称するものとする。
【００３０】
ラベリング部１３から出力されたラベリング画像は、ラベル特徴量算出部１４と線分補正部１７に入力される。ラベル特徴量算出部１４では、ラベリング部１３から出力されたラベリング画像とＬ^* ａ^* ｂ^* 原画像データから、ラベル領域ごとの特徴量を算出する処理が行われる。図３および図４で説明すると、図４（ａ）のラベルの付与された画像データがラベル特徴量算出部１４に入力され、また図３（ａ）の画像のＬ^* ａ^* ｂ^* 原画像データも参照されて、図５に示すようなラベルごとの特徴量が算出される。
【００３１】
本実施形態では、特徴量として、該当ラベル付与画素数・外接矩形位置・外接矩形サイズ・画素密度（＝該当ラベル付与画素数／外接矩形面積）・平均値・分散値・クラス分割値頻度・クラス分割などを算出しているが、他の特徴量を算出して、後述する第１属性判定部１６での判定処理に用いても構わない。ラベル特徴量算出部１４の詳細については後述する。
【００３２】
ラベル特徴量算出部１４で算出されたラベルごとの特徴量は、ラベリング部１３でラベルの付与されたラベリング画像と共に小領域除去部１５に入力され、ラベルごとに算出された領域サイズを所定閾値と比較し、当該閾値以下の領域サイズのラベルを除去する。
【００３３】
図４の場合は、閾値を例えば、外接矩形幅＝外接矩形高＝８０とすると、図４（ａ）のラベリング画像から、ラベル番号４〜ラベル番号Ｎの領域が除去され、図４（ｂ）のようなラベリング画像が得られる。すなわち、文字と推定される領域を外接矩形サイズから判定し、あらかじめ除去することで、後述の第１属性判定部１６での処理を軽くすることができる。
【００３４】
小領域除去部１５から出力された小領域の除去されたラベルごとの特徴量は、第１属性判定部１６に入力され、ラベル領域ごとにその属性、例えば写真・絵柄領域、均一色領域などを判定する。図３および図４の場合、ラベル番号１とラベル番号３は均一色領域、ラベル番号２は絵柄領域と判定される。第１属性判定部１６の詳細については後述する。第１属性判定部１６から出力されたラベル領域ごとの属性判定結果は、線分補正部１７に入力される。
【００３５】
一方、Ｌ^* ａ^* ｂ^* 原画像データは線分抽出部１２にも入力され、画像中に含まれる文字や線分が抽出される。そしてこのとき抽出された画素は高レベル、抽出されなかった画素は低レベルとする各画素１ビットの画像信号が出力される。図３の場合、図３（ａ）の画像から文字や罫線、あるいは絵柄中に存在する線分が抽出され、図３（ｂ）のような画像が得られる。線分抽出部１２の詳細については後述する。線分抽出部１２から出力された画像信号は線分補正部１７に入力される。
【００３６】
線分補正部１７では、ラベリング部１３から入力されるラベリング画像、および第１属性判定部１６から入力されるラベル領域ごとの属性判定結果を用いて、線分抽出部１２から入力される線分抽出画像の補正を行う。図３および図４の場合、図３（ｂ）の線分抽出画像と、図４（ｂ）の小領域の除去されたラベリング画像、およびラベル領域ごとの属性判定結果から、写真・絵柄領域と判定されたラベル領域に存在する線分は除去し、均一色領域中に存在する線分だけを残すような補正が行われる。その結果、図４（ｃ）のような画像が得られる。線分補正部１７の詳細については後述する。線分補正部１７から出力される画像データが、像域分離部９で像域分離の行われた画像データとして、データ記憶部２に記憶される。
【００３７】
なお、上述した説明では、２値化部１１からラベリング部１３に、ラベリング部１３からラベル特徴量算出部１４および線分補正部１７に、ラベル特徴量算出部１４から小領域除去部１５に、小領域除去部１５から第１属性判定部１６に、第１属性判定部１６から線分補正部１７に、線分抽出部１２から線分補正部１７に、画像データや算出した特徴量などが入力されるように説明したが、処理結果をデータ記憶部２に記憶、続いてその処理結果を読み出して次の処理を行うようにしても構わない。
【００３８】
２値化部１１の詳細について、図６を用いて説明する。図６は、２値化部１１の構成の一例を示すブロック図である。本例に係る２値化部１１は、シャドー抽出部１８、網点抽出部１９および論理和演算部２０を有する構成となっており、読み出した画像データ（Ｌ^* ａ^* ｂ^* 原画像データ）のうち、Ｌ^* 原画像データだけを用いて２値化処理を行う。
【００３９】
この２値化部１１において、Ｌ^* 原画像データはシャドー抽出部１８と網点抽出部１９に入力される。シャドー抽出部１８では入力された画像信号から、濃度の濃い領域、例えば黒や青や赤などの文字・線分、あるいは絵柄中でも髪の毛や赤い花や緑の葉など比較的濃度の濃い領域が抽出され、各画素１ビットの画像信号、本例の場合は、抽出された画素は高レベルの信号、抽出されなかった画素は低レベルの信号が出力される。このシャドー抽出部１８の詳細については後述する。シャドー抽出部１８から出力された画像信号は、論理和演算部２０に入力される。
【００４０】
また、網点抽出部１９では、入力された画像信号から画像中に含まれる網点領域の抽出が行われ、各画素１ビットの画像信号、本例の場合は、抽出された画素は高レベルの信号、抽出されなかった画素は低レベルの信号が出力される。網点抽出部１９から出力された画像信号は論理和演算部２０に入力される。
【００４１】
網点抽出部１９としては、本願発明者が既に提案済みの画像処理装置に記載のもの（特開平１１−７３５０３号公報参照）を用いることができる。ここではその詳細については記載しないが、概略は、入力画像データの２値化を行い、２値画像データの高レベルとなっている画素（または、低レベルとなっている画素）が、注目画素を中心としたＮ１×Ｎ１（例えば、Ｎ１＝１３）の広範囲領域の中で周期構造をなしているか否かを判定した後、その判定結果に対してＮ２×Ｎ２（例えば、Ｎ２＝２５）の広範囲の領域を用いて網点領域を判定・抽出するというものである。
【００４２】
シャドー抽出部１８から出力された画像データと、網点抽出部１９から出力された画像データは共に論理和演算部２０に入力され、それぞれ座標位置の同じ画素単位の論理和演算が行われる。論理和演算部２０において、シャドー抽出部１８および網点抽出部１９からの各出力画像データに対して画素単位に論理和演算を行うことにより、文字や線分などはシャドー抽出部１８で抽出された結果と同等の信号が論理和演算部２０から出力される。
【００４３】
一方、絵柄領域に関しては、その領域の大部分が網点抽出部１９によって抽出されるが、髪の毛などの濃度の非常に濃い領域は網点の周期構造が無くなっており、網点抽出部１９では抽出できない。しかしながら、そのような濃度の非常に濃い領域は、シャドー抽出部１８によって抽出することが可能であるため、論理和演算部２０からは絵柄領域全体も抽出された結果が出力される。
【００４４】
図７を用いて説明すると、図７（ａ）のような画像が２値化部１１に入力された場合、即ちシャドー抽出部１８と網点抽出部１９に入力された場合には、図７（ｂ）のような画像がシャドー抽出部１８から出力され、また図７（ｃ）のような画像が網点抽出部１９から出力される。そして、それぞれの画像が論理和演算部２０に入力されることで、図７（ｄ）のような画像が論理和演算部２０から出力される。
【００４５】
シャドー抽出部１８の詳細について、図８を用いて説明する。図８は、シャドー抽出部１８の構成の一例を示すブロック図である。図８において、シャドー抽出部１８に入力された画像データは、３×３画素平均値算出部２１と、５×５画素平均値算出部２２に入力される。３×３画素平均値算出部２１では、注目画素を中心とした３×３画素の平均値が算出される。この３×３画素平均値算出部２１で算出された結果は後述する比較部２５に出力され、この比較部２５において後述するリミッタ２４の出力結果との比較が行われる。
【００４６】
５×５画素平均値算出部２２では、注目画素を中心とした５×５画素の平均値が算出される。この５×５画素平均値算出部２２で算出された結果は加減算部２３に送られ、この加減算部２３において、経験的に任意に設定されて別途入力される所定値ＶＡＬＵＥとの加減算が行われる。加減算部２３の演算結果はリミッタ２４に出力され、このリミッタ２４において、経験的に任意に設定されて別途入力される上限値ＵＰＰＥＲと下限値ＬＯＷＥＲの間に値が制限される。
【００４７】
すなわち、加減算部２３の演算結果が上限値ＵＰＰＥＲよりも大きいときは当該上限値ＵＰＰＥＲが、下限値ＬＯＷＥＲよりも小さいときは当該下限値ＬＯＷＥＲが、それ以外のときは加減算部２３の演算結果がそのままリミッタ２４から出力される。リミッタ２４からの出力は比較部２５に入力され、先述した３×３画素平均値算出部２１の演算結果との比較が行われる。そして、３×３画素平均値算出部２１の演算結果がリミッタ２４からの出力よりも大きいときは高レベルの信号が、小さいかもしくは等しいときは低レベルの信号が出力される。
【００４８】
図９は、シャドー抽出部１８の構成の他の例を示すブロック図であり、図中、図８と同一の処理を行う処理部分に対しては同一符号を付してある。図９において、シャドー抽出部１８に入力された画像データは、３×３画素平均値算出部２１、５×５画素平均値算出部２２およびセレクタ２６に入力される。３×３画素平均値算出部２１は、注目画素を中心とした３×３画素の平均値を算出する。この３×３画素平均値算出部２１の算出結果は後述する比較部２５に出力され、この比較部２５において後述するリミッタ２４の出力結果との比較が行われる。３×３画素平均値算出部２１の算出結果はセレクタ２６にも入力される。
【００４９】
５×５画素平均値算出部２２では、注目画素を中心とした５×５画素の平均値が算出される。この５×５画素平均値算出部２２で算出された結果は加減算部２３に送られ、この加減算部２３において、後述する加減算値演算部２７の出力結果との加減算が行われる。加減算部２３の演算結果はリミッタ２４に出力され、このリミッタ２４において、別途入力される上限値ＵＰＰＥＲと下限値ＬＯＷＥＲの間に値が制限される。５×５画素平均値算出部２２の算出結果はセレクタ２６にも入力される。
【００５０】
セレクタ２６では、入力される３×３画素平均値算出部２１、５×５画素平均値算出部２２および色信号変換部３（図１参照）の出力結果（注目画素値）のいずれか１つを、図示しない外部からの入力信号によって選択し、その結果を加減算値演算部２７に入力する。加減算値演算部２７では、加減算部２３において５×５画素平均値算出部２２と加減算する値を、セレクタ２６からの出力結果から演算する。
【００５１】
すなわち、入力値に対して複数の所定の値を加減乗除することによって出力値を算出する。また、加減算値演算部２７はＬＵＴ(Look Up Table) で構成することも可能である。この場合、入力値に応じて出力値を比較的自由に設定する（ＬＵＴに記憶させておく）ことが可能となる。加減算部２３、リミッタ２４、比較器２５については前述したので、ここでの説明は省略する。
【００５２】
上述したように、シャドー抽出部１８では３×３画素平均値算出部２１の出力結果とリミッタ２４の出力結果を比較することにより、濃度の濃い画素は抽出、濃度の薄い画素は非抽出とすることが可能になる。また、注目画素周辺の比較的狭い領域の画素値平均を、それよりも広い領域の画素値の平均に所定の演算を行った値と比較する構成となっているため、文字・線分の細部構造を保存した領域の抽出が可能となっている。
【００５３】
２値化部１１の他の例について、図１０のフローチャートを用いて説明する。本例でも、２値化部１１に入力されたＬ^* ａ^* ｂ^* 原画像データのうちＬ^* 原画像データを用いて２値化処理を行う。なお、本例において、Ｌ^* が小さいほど明るく（白く）、大きいほど暗い（黒い）とする。
【００５４】
図１０のフローチャートに沿って説明すると、先ず、Ｌ^* 原画像全体に対してノイズの除去や画像入力時のばらつきを低減するために平滑化処理を行う（ステップＳ１０１）。この平滑化処理としては、注目画素を中心とした３×３画素フィルタリング係数を用いたフィルタリング処理で構わない。フィルタリング係数の例として、３×３画素全て１／９などが考えられる。
【００５５】
続いて、２値化閾値を決定するために、平滑化処理の行われたＬ^* 画像データから、画素値のヒストグラムを作成する（ステップＳ１０２）。生成されたＬ^* 画像データのヒストグラムの例を図１１に示す。なお、ここでヒストグラムを作成する際は、全画素のヒストグラムを作成しても構わないし、画素を間引きながらヒストグラムを作成しても構わない。
【００５６】
画素値のヒストグラムを作成したら、続いて、作成されたヒストグラムから２値化閾値を決定する。先ず、図１１において、所定閾値の画素値ＴＨ１０１以下で最も頻度の多い画素値ＭＡＸを検出する（ステップＳ１０３）。次に、ＭＡＸとＴＨ１０１の間で最も頻度の少ない画素値ＶＡＬ１，ＶＡＬ２を検出する（ステップＳ１０４）。
【００５７】
次に、ステップＳ１０４の検出結果、最も頻度の少ない画素値が複数あった場合には、そのうちの画素値の小さい方（ＶＡＬ１）を２値化閾値とする（ステップＳ１０５）。最後に、ステップＳ１０５で求められた２値化閾値ＶＡＬ１を用いて、Ｌ^* 原画像データを２値化する（ステップＳ１０６）。本例では、Ｌ^* 画素値が２値化閾値ＶＡＬ１よりも小さいときには低レベル、等しいかもしくは大きいときには高レベルの信号を出力する。
【００５８】
ラベル特徴量算出部１４の詳細について説明する。ラベル特徴量算出部１４では、ラベル領域ごとの特徴量を算出するが、本例では、特徴量として外接矩形位置・外接矩形サイズ・画素密度（＝ラベル付与画素数／外接矩形面積）・平均値・分散値・クラス分割値頻度・クラス分散比を求める。ただし、外接矩形位置・外接矩形サイズ・画素密度・平均値・分散値に関しては周知なのでここでは説明を省略し、クラス分割値頻度・クラス分散比に関してのみ説明する。
【００５９】
本例でも、Ｌ^* ａ^* ｂ^* 原画像データのうちＬ^* 原画像データを用いてラベル特徴量の算出を行う。なお、先にも述べたように、１画素あたりの階調数は８ビット、即ち画素値は０〜２５５で表されるものとする。以下、クラス分割値頻度・クラス分散比に関して、図１２のフローチャートに沿って説明する。
【００６０】
先ず、Ｌ^* 原画像全体に対して、ノイズの除去や画像入力時のばらつきを低減するために平滑化処理を行う（ステップＳ２０１）。平滑化処理としては、注目画素を中心とした３×３画素フィルタリング係数を用いたフィルタリング処理で構わない。フィルタリング係数の例としては、３×３画素全て１／９などが考えられる。次いで、特徴量算出のために、平滑化処理の行われたＬ^* 画像データから、ラベルごとに画素値のヒストグラムを作成する（ステップＳ２０２）。そして、判別分析法の手法を用いることにより、クラス分割値頻度・クラス分散比を求める。
【００６１】
この判別分析法の手法において、先ず、クラス分散比の最大ｖａｒ＿ｍａｘ、仮の分割画素値ｔを初期化する（ステップＳ２０３）。次いで、クラス０、即ち画素値が０〜ｔ−１の間の画素数ｐ０、画素値の平均値ａｖｅ０、画素値の分散ｖａｒ０を計算する（ステップＳ２０４）。次いで、クラス１、即ち画素値がｔ〜２５５の間の画素数ｐ１、画素値の平均値ａｖｅ１、画素値の分散ｖａｒ１を計算する（ステップＳ２０５）。次いで、対象ラベル領域全体の画素数ｐ、画素値の平均ａｖｅ、画素謡の分散ｖａｒを計算する（ステップＳ２０６）。
【００６２】
次に、下記式（１）を用いて、クラス内分散ｖａｒ＿Ｗを求める（ステップＳ２０７）。
ｖａｒ＿Ｗ＝ｖａｒ０×ｐ０／ｐ＋ｖａｒ１×ｐ１／ｐ …（１）
次いで、下記式（２）を用いて、クラス間分散ｖａｒ＿Ｂを求める（ステップＳ２０８）。

次いで、下記式（３）を用いて、クラス分散比ｖａｒ＿Ｒを求める（ステップＳ２０９）。
ｖａｒ＿Ｒ＝ｖａｒ＿Ｂ／ｖａｒ＿Ｗ …（３）
【００６３】
次に、クラス分散比ｖａｒ＿Ｒとクラス分散比の最大ｖａｒ＿ｍａｘとを比較し（ステップＳ２１０）、クラス分散比ｖａｒ＿Ｒがクラス分散比の最大ｖａｒ＿ｍａｘよりも小さい場合は、クラス分散比ｖａｒ＿Ｒの値をクラス分散比の最大ｖａｒ＿ｍａｘ、仮分割画素値ｔの値を最大クラス分散比を与える分割画素値ｔ＿ｍａｘに転記する（ステップＳ２１１）。
【００６４】
クラス分散比ｖａｒ＿Ｒがクラス分散比の最大ｖａｒ＿ｍａｘよりも大きいかもしくは等しい場合、またはステップＳ２１１を経た後は仮分割画素値ｔを１増分（ｔ←ｔ＋１）する（ステップＳ２１２）。そして、仮分割画素値ｔを２５６と比較し（ステップＳ２１３）、ｔ＜２５６であればステップＳ２０４に戻り、ｔ≧２５６の場合には、ヒストグラムより最大クラス分散比を与える分割画素値ｔ＿ｍａｘでの頻度、即ちクラス分割値頻度ｆ＿ｍａｘを求める（ステップＳ２１４）。
【００６５】
なお、本例では、Ｌ^* 画像データだけを用いて特徴量を算出しているが、Ｌ^* ａ^* ｂ^* 画像データを用いて３種類ずつの特徴量を算出したり、あるいは３次元的に特徴量を算出しても構わない。また、ヒストグラムをクラス０とクラス１の２つに分割する特徴量を求めているが、３つ以上に分割する特徴量を求めても良い。
【００６６】
第１属性判定部１６の詳細について、図１３のフローチャートを用いて説明する。第１属性判定部１６では、ラベル特徴量算出部１４で算出された特徴量を用いて、ラベル領域ごとの属性を判定する。本例では、特徴量として該当ラベル付与画素数・分散値・クラス分割値頻度・クラス分散比を用い、属性として、写真・絵柄領域、均一色領域かを判定するものとする。
【００６７】
図１３のフローチャートに沿って説明すると、先ず、該当ラベル領域の分散値を、所定の閾値ＴＨ２０１と比較する（ステップＳ３０１）。このとき、分散値が閾値ＴＨ２０１よりも大きいかもしくは等しいと判定した場合には、該当ラベル領域のクラス分散比を、所定の閾値ＴＨ２０２と比較する。そして、小さいと判定した場合は、該当ラベル領域の属性を均一色領域と判定する（ステップＳ３０３）。
【００６８】
ステップＳ３０２において、該当ラベル領域のクラス分散比が閾値ＴＨ２０２よりも大きいかもしくは等しいと判定した場合には、該当ラベル領域のクラス分割値頻度を、該当ラベル付与画素数に所定の係数ＴＨ２０３を乗じた値と比較し（ステップＳ３０４）、小さいと判定した場合は、該当ラベル領域の属性を写真・絵柄領域と判定する（ステップＳ３０５）。
【００６９】
ステップＳ３０４において、該当ラベル領域のクラス分割値頻度を、該当ラベル付与画素数に係数ＴＨ２０３を乗じた値よりも小さいと判定した場合には、ステップＳ３０３に進んで該当ラベル領域の属性を均一色領域と判定し、大きいかもしくは等しいと判定した場合には、ステップＳ３０５に進んで該当ラベル領域の属性を写真・絵柄領域と判定する。
【００７０】
ステップＳ３０３またはＳ３０５の処理を経た後は、すべてのラベル領域の属性判定が終了したか否かを判定し（ステップＳ３０６）、終了した場合には、第１属性判定部１６での処理を終了し、まだ属性判定の行われていないラベル領域が存在する場合には、ステップＳ３０１に戻り、上記の一連の判定処理を繰り返す。
【００７１】
上述したように、第１属性判定部１６では、ラベルごとの分散・クラス分割値頻度・クラス分散比を用いて該当ラベル領域の属性を判定する。すなわち、分散値が小さい場合には、該当ラベル領域がほぼ単一の色で構成されていると考えられることから、均一色領域と判定する。また、分散値が大きくても、クラス分散比が大きく、かつヒストグラムを分割する分割値での頻度が小さい場合には、ヒストグラムの形状が双峰性になっている、すなわち、均一色上に文字・線が書かれている領域と考えられることから、該領域を均一色領域と判定する。それ以外の場合は、写真・絵柄領域と判定する。
【００７２】
つぎに、線分抽出部１２の詳細について説明する。その構成の一例を示す図１４において、線分抽出部１２に入力された画像データは、第１縮小部３０−１〜第Ｎ縮小部３０−Ｎに入力され、画像データの縮小処理が行われる。例えば、第１縮小部３０−１では、画像の縦・横方向それぞれ１／２の縮小が行われる。また、第２縮小部３０−２では、画像の縦・横方向それぞれ１／４の縮小が行われる。同様にして、第Ｎ縮小部３０−Ｎでは、画像の縦・横方向それぞれ１／（２Ｎ）の縮小が行われる。第１縮小部３０−１〜第Ｎ縮小部３０−Ｎにおける画像縮小方式としては、単純間引き法、４点間補間法、１６点間補間法、投影法、中央値採用法など、公知の縮小方式で良い。
【００７３】
第１縮小部３０−１〜第Ｎ縮小部３０−Ｎによって縮小された画像データは各々線抽出部３１−１〜線抽出部３１−Ｎに入力される。また、線分抽出部１２に入力された画像データは、線抽出部３１ー０にも入力される。線抽出部３１−０〜線抽出部３１−Ｎでは、入力された画像データから所定範囲の幅を有する線分の抽出が行われる。本例の場合は、第１縮小部３０−１〜第Ｎ縮小部３０−Ｎによって画像データはそれぞれ１／２，１／４，１／６，…，１／（２Ｎ）に縮小が行われるため、線抽出部３１−０〜線抽出部３１−Ｎでは、１画素および２画素幅の線分を抽出する。線抽出部３１−０〜線抽出部３１−Ｎの詳細については後述する。
【００７４】
一方、線分抽出部１２に入力された画像データは、エッジ抽出部３２にも入力される。エッジ抽出部３２では画像データ中に含まれるエッジ画素を抽出し、そのエッジ抽出結果は第１拡大部３３−１〜第Ｎ拡大部３３−Ｎに出力される。エッジ袖出部３２の詳細については後述する。
【００７５】
線抽出部３１−１〜線抽出部３１−Ｎから出力された画像データは各々第１拡大部３３−１〜第Ｎ拡大部３３−Ｎに入力され、またエッジ抽出部３２から出力された画像データも第１拡大部３３−１〜第Ｎ拡大部３３−Ｎに入力される。第１拡大部３３−１〜第Ｎ拡大部３３−Ｎでは、エッジ抽出部３２から入力された画像データに基づき、線抽出部３１−１〜線抽出部３１−Ｎから入力された画像データの拡大処理を行う。第１拡大部３３−１〜第Ｎ拡大部３３−Ｎでの拡大率は、それぞれ第１縮小部３０−１〜第Ｎ縮小部３０−Ｎでの縮小率の逆数、即ち本例では縦・横方向共、２，４，６，…，２Ｎ値とする。なお、第１拡大部３３−１〜第Ｎ拡大部３３−Ｎの詳細については後述する。
【００７６】
第１拡大部３３−１〜第Ｎ拡大部３３−Ｎおよび、前述の線抽出部３１−０からの出力結果の画像データは論理和演算部３４に入力され、画素単位に論理和演算が行われる。論理和演算部３４からの出力結果の画像データは、線分抽出部１２の出力結果となる。
【００７７】
つづいて、線抽出部３１−０〜線抽出部３１−Ｎについて説明する。前述したように、本例では、１画素および２画素幅の線分を抽出する処理としているが、このサイズに限らず他の線幅をも抽出する処理としても溝わない。また、ここでの説明では、線抽出部３１−０〜線抽出部３１−Ｎはすべて同じ処理であるとして、線抽出部３１−０についてのみ説明するが、線抽出部３１−０〜線抽出部３１−Ｎをそれぞれ異なる処理として線分抽出するようにしても構わない。図１５は、線抽出部３１−０の構成の一例を示すブロック図である。
【００７８】
図１５において、線抽出部３１−０に入力された画像信号は、１画素の線幅を持つ横線を検出する１画素横線検出部４１、１画素の線幅を持つ縦線を検出する１画素縦線検出部４２、１画素の線幅を持つ左上がりの斜線を検出する１画素左斜線検出部４３、１画素の線幅を持つ右上がりの斜線を検出する１画素右斜線検出部４４、２画素の線幅を持つ横線を検出する２画素横線検出部４５、２画素の線幅を持つ縦線を検出する２画素縦線検出部４６、２画素の線幅を持つ左上がりの斜線を検出する２画素左斜線検出部４７、２画素の線幅を持つ右上がりの斜線を検出する２画素右斜線検出部４８に入力される。
【００７９】
１画素横線検出部４１、１画素縦線検出部４２、１画素左斜線検出部４３、１画素右斜線検出部４４、２画素横線検出部４５、２画素縦線検出部４６、２画素左斜線検出部４７、２画素右斜線検出部４８の詳細については後述する。これら検出部４１〜４８によって検出されたそれぞれ１画素幅の横・縦・左上がりの斜線・右上がりの斜線および、２画素幅の横・縦・左上がりの斜線・右上がりの斜線の検出結果は、論理和演算部４９に入力され、画素ごとに検出結果の論理和演算が行われる。そして、この論理和演算部４９で行われた論理和演算の結果を線抽出部３１−０での線抽出結果として出力する。
【００８０】
つぎに、１画素横線検出部４１に関して、図１６および図１７を用いて説明する。図１６は、１画素幅の各線検出部で検出する線の種類を説明する図である。１画素横線検出部４１は、３×３画素マトリクスを用いて図１６（ｂ）に示すような１画素幅の横線を検出する。１画素横線検出部４１の構成の一例を示す図１７において、入力された画像データは、第１行平均値算出部５１、第２行平均値算出部５２、第３行平均値算出部５３、第２行最小値算出部５４、第１行最大値算出部５５、第３行最大値算出部５６にそれぞれ入力される。
【００８１】
第１行平均値算出部５１では、３×３画素マトリクスの１行目３画素の画素値の平均、即ち図１６（ａ）に示すＡ、Ｂ、Ｃの画素値の平均を求める。今後、各画素の画素値をＰ_A ，Ｐ_B ，Ｐ_C のように、平均をＡＶＥ（Ｐ_A ，Ｐ_B ，Ｐ_C ）のように表す。また、第２行平均値算出部５２ではＡＶＥ（Ｐ_D 、Ｐ_E 、Ｐ_F ）を、第３行平均値算出部５３ではＡＶＥ（Ｐ_G ，Ｐ_H ，Ｐ_I ）を求める。
【００８２】
第２行最小値算出部５４では、Ｄ、Ｅ、Ｆの画素値の最小値を求める。今後、複数画素の最小値をＭＩＮ（Ｐ_D ，Ｐ_E ，Ｐ_F ）のように表す。第１行最大値算出部５５では、Ａ，Ｂ，Ｃの画素値の最大値を求める。今後、複数画素の最大値をＭＡＸ（Ｐ_A ，Ｐ_B ，Ｐ_C ）のように表す。また、第３行最大値算出部５６ではＭＡＸ（Ｐ_G ，Ｐ_H ，Ｐ_I ）を求める。
【００８３】
第２行平均値算出部５２の演算結果と第１行平均値算出部５１の演算結果は共に減算部５７−１に入力され、第２行平均値算出部５２の演算結果から第１行平均値算出部５１の演算結果を減算する処理が行われる。また、第２行平均値算出部５２の演算結果と第３行平均値算出部５３の演算結果は共に減算部５７−２に入力され、第２行平均値算出部５２の演算結果から第３行平均値算出部５３の演算結果を減算する処理が行われる。
【００８４】
減算部５７−１での演算結果は比較部５８−１に入力されて所定の閾値ＴＨ１との比較が行われ、減算部５７−１での演算結果の方が閾値ＴＨ１よりも大きい場合には高レベルが、等しいかもしくは小さい場合には低レベルが比較部５８−１から出力される。また、減算部５７−２での演算結果は比較部５８−２に入力されて所定の閾値ＴＨ１との比較が行われ、減算部５７−２での演算結果の方が閾値ＴＨ１よりも大きい場合には高レベルが、等しいかもしくは小さい場合には低レベルが比較部５８−２から出力される。
【００８５】
第２行最小値算出部５４での演算結果は比較部５８−３に入力されて所定の閾値ＴＨ２との比較が行われ、第２行最小値算出部５４での演算結果の方が閾値ＴＨ２よりも大きい場合には高レベルが、等しいかもしくは小さい場合には低レベルが比較部５８−３から出力される。
【００８６】
第１行最大値算出部５５での演算結果は比較部５８−４に入力されて所定の閾値ＴＨ３との比較が行われ、第１行最大値算出部５５での演算結果の方が閾値ＴＨ３よりも小さい場合には高レベルが、大きいかもしくは等しい場合は低レベルが比較部５８−４から出力される。また、第３行最大値算出部５６での演算結果は比較部５８−５に入力されて所定の閾値ＴＨ３との比較が行われ、第３行最大値抽出部５６での演算結果の方が閾値ＴＨ３よりも小さい場合には高レベルが、大きいかもしくは等しい場合には低レベルが比較部５８−５から出力される。
【００８７】
比較部５８−１〜５８−５の比較結果は全て論理積演算部５９に入力され、この論理積演算部５９において比較部５８−１〜５８−５の比較結果の論理積が演算される。論理積演算部５９から出力された結果が１画素横線検出部４１の出力結果となり、高レベルの場合は図１６（ｂ）に示すような１画素幅の横線があると判定され、逆に低レベルの場合は１画素幅の横線が無いと判定される。
【００８８】
すなわち、１画素横線検出部４１では、下記式（１）〜（５）がすべて成立するときには、図１６（ｂ）に示すような１画素幅の横線があると判定し、図１６（ａ）のＤ・Ｅ・Ｆに対応する画素値としてそれぞれ高レベルを出力し、逆に式（１）〜式（５）が１つでも成立しないときには、図１６（ｂ）に示すような１画素幅の横線は無いと判定し、それぞれ低レベルを出力する。
【００８９】
ＡＶＥ（Ｐ_D ，Ｐ_E ，Ｐ_F ）−ＡＶＥ（Ｐ_A ，Ｐ_B ，Ｐ_C ）＞ＴＨ１… (1)
ＡＶＥ（Ｐ_D ，Ｐ_E ，Ｐ_F ）−ＡＶＥ（Ｐ_G ，Ｐ_H ，Ｐ_I ）＞ＴＨ１… (2)
ＭＩＮ（Ｐ_D ，Ｐ_E ，Ｐ_F ）＞ＴＨ２ … (3)
ＭＡＸ（Ｐ_A ，Ｐ_B ，Ｐ_C ）＜ＴＨ３ … (4)
ＭＡＸ（Ｐ_G ，Ｐ_H ，Ｐ_I ）＜ＴＨ３ … (5)
【００９０】
つぎに、１画素縦線検出部４２について説明する。この１画素縦線検出部４２は、３×３画素マトリクスを用いて図１６（ｃ）に示すような１画素幅の縦線を検出する。図１８に、１画素縦線検出部４２の構成例を示す。その構成は、図１７の１画素横線検出部４１に対して、第１行平均値算出部５１、第２行平均値算出部５２、第３行平均値算出部５３、第２行最小値算出部５４、第１行最大値算出部５５および第３行最大値算出部５６が、第１列平均値算出部６１、第２列平均値算出部６２、第３列平均値算出部６３、第２列最小値算出部６４、第１列最大値算出部６５および第３列最大値算出部６６に代わっただけであり、基本的に同じであるためその詳細については説明を省略する。
【００９１】
そこで、ここでは、式を用いて説明するものとする。１画素縦線検出部４２では、下記式（６）〜式（１０）がすべて成立するときは、図１６（ｃ）に示すような１画素幅の縦線があると判定し、図１６（ａ）のＢ・Ｅ・Ｈに対応する画素値としてそれぞれ高レベルを出力し、逆に（式６）〜（式１０）が１つでも成立しないときは、図１６（ｃ）に示すような１画素幅の縦線は無いと判定し、それぞれ低レベルを出力する。
【００９２】
ＡＶＥ（Ｐ_B ，Ｐ_E ，Ｐ_H ）一ＡＶＥ（Ｐ_A ，Ｐ_D ，Ｐ_G ）＞ＴＨ４… (6)
ＡＶＥ（Ｐ_B ，Ｐ_E ，Ｐ_H ）−ＡＶＥ（Ｐ_C ，Ｐ_F ，Ｐ_I ）＞ＴＨ４… (7)
ＭＩＮ（Ｐ_B ，Ｐ_E ，Ｐ_H ）＞ＴＨ５ … (8)
ＭＡＸ（Ｐ_A ，Ｐ_D ，Ｐ_G ）＜ＴＨ６ … (9)
ＭＡＸ（Ｐ_C ，Ｐ_F ，Ｐ_I ）＜ＴＨ６ …(10)
【００９３】
つぎに、１画素左斜線検出部４３について説明する。１画素左斜線検出部４３は、３×３画素マトリクスを用いて図１６（ｄ）に示すような１画素幅の左上がり斜線を検出する。図１９に、１画素縦線検出部４２の構成例を示す。その構成は、図１７の１画素横線検出部４１に対して、第１行平均値算出部５１、第２行平均値算出部５２、第３行平均値算出部５３、第２行最小値算出部５４、第１行最大値算出部５５および第３行最大値算出部５６が、左下３画素平均値算出部７１、左上・右下斜め方向３画素平均値算出部７２、右上３画素平均値算出部７３、左上・右下斜め方向３画素最小値算出部７４、左下３画素最大値算出部７５および右上３画素最大値算出部７６に代わっただけであり、基本的に同じであるためその詳細については説明を省略する。
【００９４】
そこで、ここでは、式を用いて説明するものとする。１画素左斜線検出部４３では、下記式（１１）〜式（１５）がすべて成立するときは、図１６（ｄ）に示すような１画素幅の左上がり斜線があると判定し、図１６（ａ）のＡ・Ｅ・Ｉに対応する画素値としてそれぞれ高レベルを出力し、逆に式（１１）〜式（１５）が１つでも成立しないときは、図１６（ｄ）に示すような１画素幅の左上がり斜線は無いと判定し、それぞれ低レベルを出力する。
【００９５】
ＡＶＥ（Ｐ_A ，Ｐ_E ，Ｐ_I ）−ＡＶＥ（Ｐ_D ，Ｐ_G ，Ｐ_H ）＞ＴＨ７…(11)
ＡＶＥ（Ｐ_A ，Ｐ_E ，Ｐ_I ）−ＡＶＥ（Ｐ_B ，Ｐ_C ，Ｐ_F ）＞ＴＨ７…(12)
ＭＩＮ（Ｐ_A ，Ｐ_E ，Ｐ_I ）＞ＴＨ８ …(13)
ＭＡＸ（Ｐ_D ，Ｐ_G ，Ｐ_H ）＜ＴＨ９ …(14)
ＭＡＸ（Ｐ_B ，Ｐ_C ，Ｐ_F ）＜ＴＨ９ …(15)
【００９６】
つぎに、１画素右斜線検出部４４について説明する。１画素右斜線検出部４４は、３×３画素マトリクスを用いて図１６（ｅ）に示すような１画素幅の右上がり斜線を検出する。図２０に、１画素右斜線検出部４４の構成例を示す。その構成は、図１７の１画素横線検出部４１に対して、第１行平均値算出部５１、第２行平均値算出部５２、第３行平均値算出部５３、第２行最小値算出部５４、第１行最大値算出部５５および第３行最大値算出部５６が、左上３画素平均値算出部８１、右上・左下斜め方向３画素平均値算出部８２、右下３画素平均値算出部８３、右上・左下斜め方向３画素最小値算出部８４、左上３画素最大値算出部８５および右下３画素最大値算出部８６に代わっただけであり、基本的に同じであるためその詳細については説明を省略する。
【００９７】
そこで、ここでは、式を用いて説明するものとする。１画素右斜線検出部４４では、下記式（１６）〜式（２０）がすべて成立するときは、図１６（ｅ）に示すような１画素幅の右上がり斜線があると判定し、図１６（ａ）のＣ・Ｅ・Ｇに対応する画素値としてそれぞれ高レベルを出力し、逆に式（１６）〜式（２０）が１つでも成立しないときは、図１６（ｅ）に示すような１画素幅の右上がり斜線は無いと判定し、それぞれ低レベルを出力する。
【００９８】
ＡＶＥ（Ｐ_C ，Ｐ_E ，Ｐ_G ）−ＡＶＥ（Ｐ_A ，Ｐ_B ，Ｐ_D ）＞ＴＨ１０…(16)
ＡＶＥ（Ｐ_C ，Ｐ_E ，Ｐ_G ）−ＡＶＥ（Ｐ_F ，Ｐ_H ，Ｐ_I ）＞ＴＨ１０…(17)
ＭＩＮ（Ｐ_C ，Ｐ_E ，Ｐ_G ）＞ＴＨ１１ …(18)
ＭＡＸ（Ｐ_A ，Ｐ_B ，Ｐ_D ）＜ＴＨ１２ …(19)
ＭＡＸ（Ｐ_F ，Ｐ_H ，Ｐ_I ）＜ＴＨ１３ …(20)
【００９９】
つぎに、２画素横線検出部４５に関して、図２１および図２２を用いて説明する。図２１は、２画素幅の各線検出部で検出する線の種類を説明する図である。２画素横線検出部４５は、４×４画素マトリクスを用いて図２１（ｂ）に示すような２画素幅の横線を検出する。２画素横線検出部４５の構成の一例を示す図２２において、入力された画像データは、第１行平均値算出部９１、第２・３行平均値算出部９２、第４行平均値算出部９３、第２・３行最小値算出部９４、第１行最大値算出部９５、第４行最大値算出部９６にそれぞれ入力される。
【０１００】
第１行平均値算出部９１では、４×４画素マトリクスの１行目４画素の画素値の平均、即ち図２１（ａ）に示すＪ、Ｋ、Ｌ、Ｍの画素値の平均ＡＶＥ（Ｐ_J ，Ｐ_K ，Ｐ_L ，Ｐ_M ）を求める。また、第２・３行平均値算出部９２ではＡＶＥ（Ｐ_N ，Ｐ_O ，Ｐ_P ，Ｐ_Q ，Ｐ_R ，Ｐ_S ，Ｐ_T ，Ｐ_U ）を、第４行平均値算出部９３ではＡＶＥ（Ｐ_V ，Ｐ_W ，Ｐ_X ，Ｐ_Y ）を求める。
【０１０１】
第２・３行最小値算出部９４では、Ｎ，Ｏ，Ｐ，Ｑ，Ｒ，Ｓ，Ｔ，Ｕの各画素値の最小値ＭＩＮ（Ｐ_N ，Ｐ_O ，Ｐ_P ，Ｐ_Q ，Ｐ_R ，Ｐ_S ，Ｐ_T ，Ｐ_U ）を求める。第１行最大値算出部９５では、Ｊ，Ｋ，Ｌ，Ｍの各画素値の最大値ＭＡＸ（Ｐ_J ，Ｐ_K ，Ｐ_L ，Ｐ_M ）を求める。また、第４行最大値算出部９６では、ＭＡＸ（Ｐ_V ，Ｐ_W ，Ｐ_X ，Ｐ_Y ）を求める。
【０１０２】
第２・３行平均値算出部９２の演算結果と第１行平均値算出部９１の演算結果は共に減算部９７−１に入力され、第２・３行平均値算出部９２の演算結果から第１行平均値算出部９１の演算結果を減算する処理が行われる。また、第２・３行平均値算出部９２の演算結果と第４行平均値算出部９３の演算結果は共に減算部９７−２に入力され、第２・３行平均値算出部９２の演算結果から第４行平均値算出部９３の演算結果を減算する処理が行われる。
【０１０３】
減算部９７−１での演算結果は比較部９８−１に入力されて所定の閾値ＴＨ１３との比較が行われ、減算部９７−１での演算結果の方が閾値ＴＨ１３よりも大きい場合には高レベルが、等しいかもしくは小さい場合には低レベルが比較部９８−１から出力される。また、減算部９７−２での演算結果は比較部９８−２に入力されて所定の閾値ＴＨ１３との比較が行われ、減算部９７−２での演算結果の方が閾値ＴＨ１３よりも大きい場合には高レベルが、等しいかもしくは小さい場合には低レベルが比較部９８−２から出力される。
【０１０４】
第２・３行最小値算出部９４での演算結果は比較部９８−３に入力されて所定の閾値ＴＨ１４との比較が行われ、第２・３行最小値算出部９４での演算結果の方が閾値ＴＨ１４よりも大きい場合には高レベルが、等しいかもしくは小さい場合には低レベルが比較部９８−３から出力される。
【０１０５】
第１行最大値算出部９５での演算結果は比較部９８−４に入力されて所定の閾値ＴＨ１５との比較が行われ、第１行最大値算出部９５での演算結果の方が閾値ＴＨ１５よりも小さい場合には高レベルが、大きいかもしくは等しい場合には低レベルが比較部９８−４から出力される。また、第４行最大値算出部９６での演算結果は比較部９８−５に入力されて所定の閾値ＴＨ１５との比較が行われ、第４行最大値算出部９６での演算結果の方が閾値ＴＨ１５よりも小さい場合には高レベルが、大きいかもしくは等しい場合には低レベルが比較部９８−５から出力される。
【０１０６】
比較部９８−１〜９８−５の比較結果は全て論理積演算部９９に入力され、この論理積演算部９９において比較部９８−１〜９８−５の比較結果の論理積が演算される。論理積演算部９９から出力された結果が２画素横線検出部４５の出力結果となり、高レベルの場合は図２１（ｂ）に示すような２画素幅の横線があると判定され、逆に低レベルの場合は２画素幅の横線が無いと判定される。
【０１０７】
すなわち、２画素横線検出部４５では、下記式（２１）〜式（２５）がすべて成立するときは、図２１（ｂ）に示すような２画素幅の横線があると判定し、図２１（ａ）のＮ・Ｏ・Ｐ・Ｑ・Ｒ・Ｓ・Ｔ・Ｕに対応する画素値としてそれぞれ高レベルを出力し、逆に式（２１）〜式（２５）が１つでも成立しないときは、図２１（ｂ）に示すような２画素幅の横線は無いと判定し、それぞれ低レベルを出力する。
【０１０８】

【０１０９】
つぎに、２画素縦線検出部４６について説明する。２画素縦線検出部４６は、４×４画素マトリクスを用いて図２１（ｃ）に示すような２画素幅の縦線を検出する。
【０１１０】
図２３に、２画素縦線検出部４６の構成例を示す。その構成は、図２２の２画素横線検出部４５に対して、第１行平均値算出部９１、第２・３行平均値算出部９２、第４行平均値算出部９３、第２・３行最小値算出部９４、第１行最大値算出部９５および第４行最大値算出部９６が、第１列平均値算出部１０１、第２・３列平均値算出部１０２、第４列平均値算出部１０３、第２・３列最小値算出部１０４、第１列最大値算出部１０５および第４列最大値算出部１０６に代わっただけであり、基本的に同じであるためその詳細については説明を省略する。
【０１１１】
そこで、ここでは、式を用いて説明するものとする。２画素縦線検出部４６では、下記式（２６）〜式（３０）がすべて成立するときは、図２１（ｃ）に示すような２画素幅の縦線があると判定し、図２１（ａ）のＫ・Ｌ・Ｏ・Ｐ・Ｓ・Ｔ・Ｗ・Ｘに対応する画素値としてそれぞれ高レベルを出力し、逆に式（２６）〜式（３０）が１つでも成立しないときは、図２１（ｃ）に示すような２画素幅の縦線は無いと判定し、それぞれ低レベルを出力する。
【０１１２】

【０１１３】
つぎに、２画素左斜線検出部４７について説明する。２画素左斜線検出部４７は、４×４画素マトリクスを用いて図２１（ｄ）に示すような２画素幅の左上がりの斜線を検出する。
【０１１４】
図２４に、２画素左斜線検出部４７の構成例を示す。その構成は、図２２の２画素横線検出部４５に対して、第１行平均値算出部９１、第２・３行平均値算出部９２、第４行平均値算出部９３、第２・３行最小値算出部９４、第１行最大値算出部９５および第４行最大値算出部９６が、左下３画素平均値算出部１１１、左上・右下斜方向１０画素平均値算出部１１２、右上３画素平均値算出部１１３、左上・右下斜方向１０画素最小値算出部１１４、左下３画素最大値算出部１１５および右上３画素最大値算出部１１６に代わっただけであり、基本的に同じであるためその詳細については説明を省略する。
【０１１５】
そこで、ここでは、式を用いて説明するものとする。２画素左斜線検出部４７では、下記式（３１）〜式（３５）がすべて成立するときは、図２１（ｄ）に示すような２画素幅の左上がりの斜線があると判定し、図２１（ａ）のＪ・Ｋ・Ｎ・Ｏ・Ｐ・Ｓ・Ｔ・Ｕ・Ｘ・Ｙに対応する画素値としてそれぞれ高レベルを出力し、逆に式（３１）〜式（３５）が１つでも成立しないときは、図２１（ｄ）に示すような２画素幅の左上がりの斜線は無いと判定し、それぞれ低レベルを出力する。
【０１１６】

【０１１７】
つぎに、２画素右斜線検出部４８について説明する。２画素右斜線検出部４８は、４×４画素マトリクスを用いて図２１（ｅ）に示すような２画素幅の右上がりの斜線を検出する。
【０１１８】
図２５に、２画素右斜線検出部４８の構成例を示す。その構成は、図２２の２画素横線検出部４５に対して、第１行平均値算出部９１、第２・３行平均値算出部９２、第４行平均値算出部９３、第２・３行最小値算出部９４、第１行最大値算出部９５および第４行最大値算出部９６が、左上３画素平均値算出部１２１、右上・左下斜方向１０画素平均値算出部１２２、右下３画素平均値算出部１２３、右上・左下斜方向１０画素最小値算出部１２４、左上３画素最大値算出部１２５および右下３画素最大値算出部１２６に代わっただけであり、基本的に同じであるためその詳細については説明を省略する。
【０１１９】
そこで、ここでは、式を用いて説明するものとする。２画素右斜線検出部４８では、下記式（３６）〜式（４０）がすべて成立するときは、図２１（ｅ）に示すような２画素幅の右上がりの斜線があると判定し、図２１（ａ）のＬ・Ｍ・Ｏ・Ｐ・Ｑ・Ｒ・Ｓ・Ｔ・Ｖ・Ｗに対応する画素値としてそれぞれ高レベルを出力し、逆に式（３６）〜式（４０）が１つでも成立しないときは、図２１（ｅ）に示すような２画素幅の右上がりの斜線は無いと判定し、それぞれ低レベルを出力する。
【０１２０】

【０１２１】
つづいて、線抽出部３１−０〜線抽出部３１−Ｎの他の例について説明する。前述したように、本実施形態では、１画素および２画素幅の線分を抽出する処理としているが、このサイズに限らず他の線幅をも抽出する処理としても構わない。また、ここでの説明では、線抽出部３１−０〜線抽出部３１−Ｎはすべて同じ処理であるとして、線抽出部３１−０についてのみ説明するが、線抽出部３１−０〜線抽出部３１−Ｎをそれぞれ異なる処理として線を抽出しても構わない。図２６は、線抽出部３１−０の構成の他の例を示すブロック図である。
【０１２２】
図２６において、線抽出部３１−０に入力された画像信号は、１画素の線幅を持つ横線を検出する１画素横線左検出部１３１と１画素横線右検出部１３２、１画素の線幅を持つ縦線を検出する１画素縦線上検出部１３３と１画素縦線下検出部１３４、１画素の線幅を持つ左上がりの斜線を検出する１画素左斜線上検出部１３５と１画素左斜線下検出部１３６、１画素の線幅を持つ右上がりの斜線を検出する１画素右斜線上検出部１３７と１画素右斜線下検出部１３８、２画素の線幅を持つ横線を検出する２画素横線左検出部１３９と２画素横線右検出部１４０、２画素の線幅を持つ縦線を検出する２画素縦線上検出部１４１と２画素縦線下検出部１４２、２画素の線幅を持つ左上がりの斜線を検出する２画素左斜線上検出部１４３と２画素左斜線下検出部１４４、２画素の線幅を持つ右上がりの斜線を検出する２画素右斜線上検出部１４５と２画素右斜線下検出部１４６にそれぞれ入力される。
【０１２３】
１画素横線左検出部１３１、１画素横線右検出部１３２、１画素縦線上検出部１３３、１画素縦線下検出部１３４、１画素左斜線上検出部１３５、１画素左斜線下検出部１３６、１画素右斜線上検出部１３７、１画素右斜線下検出部１３８、２画素横線左検出部１３９、２画素横線右検出部１４０、２画素縦線上検出部１４１、２画素縦線下検出部１４２、２画素左斜線上検出部１４３、２画素左斜線下検出部１４４、２画素右斜線上検出部１４５、２画素右斜線下検出部１４６の詳細については後述する。
【０１２４】
これら検出部１３１〜１４６によって検出されたそれぞれ１画素幅の横・縦・左上がりの斜線、右上がりの斜線および、２画素幅の横・縦・左上がりの斜線、右上がりの斜線の検出結果は、論理和演算部１４７に入力され、画素ごとに検出結果の論理和演算が行われる。そして、この論理和演算部１４７で行われた論理和演算の結果を線抽出部３１−０での線抽出結果として出力する。
【０１２５】
つぎに、１画素横線左検出部１３１に関して図１６を用いて説明する。１画素横線左検出部１３１は、３×３画素マトリクスを用いて図１６（ｆ）に示すような１画素幅の横線を検出する。今、３×３画素を図１６（ａ）に示すようにＡ〜Ｉで呼ぶこととし、それぞれの画素値をＰ_A 〜Ｐ_I とする。このとき、１画素横線左検出部１３１では、下記式（４１）〜式（４５）がすべて成立するときは、図１６（ｆ）に示すような１画素幅の横線があると判定し、図１６（ａ）のＤ・Ｅに対応する画素値としてそれぞれ高レベルを出力し、逆に式（４１）〜式（４５）が１つでも成立しないときは、図１６（ｆ）に示すような１画素幅の横線は無いと判定し、それぞれ低レベルを出力する。
【０１２６】
ＡＶＥ（Ｐ_D ，Ｐ_E ）−ＡＶＥ（Ｐ_A ，Ｐ_B ）＞ＴＨ４１ …(41)
ＡＶＥ（Ｐ_D ，Ｐ_E ）−ＡＶＥ（Ｐ_G ，Ｐ_H ）＞ＴＨ４１ …(42)
ＭＩＮ（Ｐ_D ，Ｐ_E ）＞ＴＨ４２ …(43)
ＭＡＸ（Ｐ_A ，Ｐ_B ）＜ＴＨ４３ …(44)
ＭＡＸ（Ｐ_G ，Ｐ_H ）＜ＴＨ４３ …(45)
なお、ここで、ＡＶＥ（ ），ＭＩＮ（ ），ＭＡＸ（ ）はそれぞれ、（ ）内の画素値の平均値、最小値、最大値を表す。またＴＨ４１〜ＴＨ４４はそれぞれ、あらかじめ定められた所定の閾値とする。
【０１２７】
１画素横線左検出部１３１で上記のような処理を行うこととすることにより、図１６（ｂ）に図示したような横線の検出も可能であり、また横線の右端の検出も可能となる。
【０１２８】
つぎに、１画素横線右検出部１３２に関して図１６を用いて説明する。１画素横線右検出部１３２は、３×３画素マトリクスを用いて図１６（ｊ）に示すような１画素幅の横線を検出する。この１画素横線右検出部１３２では、下記式（４６）〜式（５０）がすべて成立するときは、図１６（ｊ）に示すような１画素幅の横線があると判定し、図１６（ａ）のＥ・Ｆに対応する画素値としてそれぞれ高レベルを出力し、逆に式（４６）〜式（５０）が１つでも成立しないときは、図１６（ｊ）に示すような１画素幅の横線は無いと判定し、それぞれ低レベルを出力する。
【０１２９】
ＡＶＥ（Ｐ_E ，Ｐ_F ）−ＡＶＥ（Ｐ_B ，Ｐ_C ）＞ＴＨ４４ …(46)
ＡＶＥ（Ｐ_E ，Ｐ_F ）−ＡＶＥ（Ｐ_H ，Ｐ_I ）＞ＴＨ４４ …(47)
ＭＩＮ（Ｐ_E ，Ｐ_F ）＞ＴＨ４５ …(48)
ＭＡＸ（Ｐ_B ，Ｐ_C ）＜ＴＨ４６ …(49)
ＭＡＸ（Ｐ_H ，Ｐ_I ）＜ＴＨ４６ …(50)
【０１３０】
つぎに、１画素縦線上検出部１３３に関して図１６を用いて説明する。１画素縦線上検出部１３３は、３×３画素マトリクスを用いて図１６（ｇ）に示すような１画素幅の縦線を検出する。１画素縦線検出部１３３では、下記式（５１）〜式（５５）がすべて成立するときは、図１６（ｇ）に示すような１画素幅の縦線があると判定し、図１６（ａ）のＢ・Ｅに対応する画素値としてそれぞれ高レベルを出力し、逆に式（５１）〜式（５５）が１つでも成立しないときは、図１６（ｇ）に示すような１画素幅の縦線は無いと判定し、それぞれ低レベルを出力する。
【０１３１】
ＡＶＥ（Ｐ_B ，Ｐ_E ）−ＡＶＥ（Ｐ_A ，Ｐ_D ）＞ＴＨ４７ …(51)
ＡＶＥ（Ｐ_B ，Ｐ_E ）−ＡＶＥ（Ｐ_C ，Ｐ_F ）＞ＴＨ４７ …(52)
ＭＩＮ（Ｐ_B ，Ｐ_E ）＞ＴＨ４８ …(53)
ＭＡＸ（Ｐ_A ，Ｐ_D ）＜ＴＨ４９ …(54)
ＭＡＸ（Ｐ_C ，Ｐ_F ）＜ＴＨ４９ …(55)
【０１３２】
つぎに、１画素縦線下検出部１３４に関して図１６を用いて説明する。１画素縦線下検出部１３４は、３×３画素マトリクスを用いて図１６（ｋ）に示すような１画素幅の縦線を検出する。１画素縦線検出部１３４では、下記式（５６）〜式（６０）がすべて成立するときは、図１６（ｋ）に示すような１画素幅の縦線があると判定し、図１６（ａ）のＥ・Ｈに対応する画素値としてそれぞれ高レベルを出力し、逆に式（５６）〜式（６０）が１つでも成立しないときは、図１６（ｋ）に示すような１画素幅の縦線は無いと判定し、それぞれ低レベルを出力する。
【０１３３】
ＡＶＥ（Ｐ_E ，Ｐ_H ）−ＡＶＥ（Ｐ_D 、Ｐ_G ）＞ＴＨ５０ …(56)
ＡＶＥ（Ｐ_E ，Ｐ_H ）−ＡＶＥ（Ｐ_F ，Ｐ_I ）＞ＴＨ５０ …(57)
ＭＩＮ（Ｐ_E ，Ｐ_H ）＞ＴＨ５１ …(58)
ＭＡＸ（Ｐ_D ，Ｐ_G ）＜ＴＨ５２ …(59)
ＭＡＸ（Ｐ_F ，Ｐ_I ）＜ＴＨ５２ …(60)
【０１３４】
つぎに、１画素左斜線上検出部１３５に関して図１６を用いて説明する。１画素左斜線上検出部１３５は、３×３画素マトリクスを用いて図１６（ｈ）に示すような１画素幅の左上がり斜線を検出する。この１画素左斜線上検出部１３５では、下記式（６１）〜式（６５）がすべて成立するときは、図１６（ｈ）に示すような１画素幅の左上がり斜線があると判定し、図１６（ａ）のＡ・Ｅに対応する画素値としてそれぞれ高レベルを出力し、逆に式（６１）〜式（６５）が１つでも成立しないときは、図１６（ｈ）に示すような１画素幅の左上がり斜線は無いと判定し、それぞれ低レベルを出力する。
【０１３５】
ＡＶＥ（Ｐ_A ，Ｐ_E ）−ＡＶＥ（Ｐ_D ，Ｐ_G ，Ｐ_H ）＞ＴＨ５３ …(61)
ＡＶＥ（Ｐ_A ，Ｐ_E ）−ＡＶＥ（Ｐ_B ，Ｐ_C ，Ｐ_F ）＞ＴＨ５３ …(62)
ＭＩＮ（Ｐ_A ，Ｐ_E ）＞ＴＨ５４ …(63)
ＭＡＸ（Ｐ_D ，Ｐ_G ，Ｐ_H ）＜ＴＨ５５ …(64)
ＭＡＸ（Ｐ_B ，Ｐ_C ，Ｐ_F ）＜ＴＨ５５ …(65)
【０１３６】
つぎに、１画素左斜線下検出部１３６に関して図１６を用いて説明する。１画素左斜線下検出部１３６は、３×３画素マトリクスを用いて図１６（ｌ）に示すような１画素幅の左上がり斜線を検出する。この１画素左斜線下検出部１３６では、下記式（６６）〜式（７０）がすべて成立するときは、図１６（ｌ）に示すような１画素幅の左上がり斜線があると判定し、図１６（ａ）のＥ・Ｉに対応する画素値としてそれぞれ高レベルを出力し、逆に式（６６）〜式（７０）が１つでも成立しないときは、図１６（ｌ）に示すような１画素幅の左上がり斜線は無いと判定し、それぞれ低レベルを出力する。
【０１３７】
ＡＶＥ（Ｐ_E ，Ｐ_I ）−ＡＶＥ（Ｐ_D ，Ｐ_G ，Ｐ_H ）＞ＴＨ５６ …(66)
ＡＶＥ（Ｐ_E ，Ｐ_I ）−ＡＶＥ（Ｐ_B ，Ｐ_C ，Ｐ_F ）＞ＴＨ５６ …(67)
ＭＩＮ（Ｐ_E ，Ｐ_I ）＞ＴＨ５７ …(68)
ＭＡＸ（Ｐ_D ，Ｐ_G ，Ｐ_H ）＜ＴＨ５８ …(69)
ＭＡＸ（Ｐ_B ，Ｐ_C ，Ｐ_F ）＜ＴＨ５８ …(70)
【０１３８】
つぎに、１画素右斜線上検出部１３７に関して図１６を用いて説明する。１画素右斜線上検出部１３７は、３×３画素マトリクスを用いて図１６（ｉ）に示すような１画素幅の右上がり斜線を検出する。この１画素右斜線上検出部１３７では、下記式（７１）〜式（７５）がすべて成立するときは、図１６（ｉ）に示すような１画素幅の右上がり斜線があると判定し、図１６（ａ）のＣ・Ｅに対応する画素値としてそれぞれ高レベルを出力し、逆に式（７１）〜式（７５）が１つでも成立しないときは、図１６（ｉ）に示すような１画素幅の右上がり斜線は無いと判定し、それぞれ低レベルを出力する。
【０１３９】
ＡＶＥ（Ｐ_C ，Ｐ_E ）−ＡＶＥ（Ｐ_A ，Ｐ_B ，Ｐ_D ）＞ＴＨ５９ …(71)
ＡＶＥ（Ｐ_C ，Ｐ_E ）−ＡＶＥ（Ｐ_F ，Ｐ_H ，Ｐ_I ）＞ＴＨ５９ …(72)
ＭＩＮ（Ｐ_C ，Ｐ_E ）＞ＴＨ６０ …(73)
ＭＡＸ（Ｐ_A ，Ｐ_B ，Ｐ_D ）＜ＴＨ６１ …(74)
ＭＡＸ（Ｐ_F ，Ｐ_H ，Ｐ_I ）＜ＴＨ６１ …(75)
【０１４０】
つぎに、１画素右斜線下検出部１３８に関して図１６を用いて説明する。１画素右斜線下検出部１３８は、３×３画素マトリクスを用いて図１６（ｍ）に示すような１画素幅の右上がり斜線を検出する。この１画素右斜線下検出部１３８では、下記式（７６）〜式（８０）がすべて成立するときは、図１６（ｍ）に示すような１画素幅の右上がり斜線があると判定し、図１６（ａ）のＥ・Ｇに対応する画素値としてそれぞれ高レベルを出力し、逆に式（７６）〜式（８０）が１つでも成立しないときは、図１６（ｍ）に示すような１画素幅の右上がり斜線は無いと判定し、それぞれ低レベルを出力する。
【０１４１】
ＡＶＥ（Ｐ_E ，Ｐ_G ）−ＡＶＥ（Ｐ_A ，Ｐ_B ，Ｐ_D ）＞ＴＨ６２ …(76)
ＡＶＥ（Ｐ_E ，Ｐ_G ）−ＡＶＥ（Ｐ_F ，Ｐ_H ，Ｐ_I ）＞ＴＨ６２ …(77)
ＭＩＮ（Ｐ_E ，Ｐ_G ）＞ＴＨ６３ …(78)
ＭＡＸ（Ｐ_A ，Ｐ_B ，Ｐ_D ）＜ＴＨ６４ …(79)
ＭＡＸ（Ｐ_F ，Ｐ_H ，Ｐ_I ）＜ＴＨ６４ …(80)
【０１４２】
つぎに、２画素横線左検出部１３９に関して、図２１を用いて説明する。２画素横線左検出部１３９は、４×４画素マトリクスを用いて図２１（ｆ）に示すような２画素幅の横線を検出する。今、４×４画素を図２１（ａ）に示すようにＪ〜Ｙで呼ぶこととし、それぞれの画素値をＰ_J 〜Ｐ_Y とする。この２画素横線左検出部１３９では、下記式（８１）〜式（８５）がすべて成立するときは、図２１（ｆ）に示すような２画素幅の横線があると判定し、図２１（ａ）のＮ・Ｏ・Ｐ・Ｒ・Ｓ・Ｔに対応する画素値としてそれぞれ高レベルを出力し、逆に式（８１）〜式（８５）が１つでも成立しないときは、図２１（ｆ）に示すような２画素幅の横線は無いと判定し、それぞれ低レベルを出力する。
【０１４３】

【０１４４】
つぎに、２画素横線右検出部１８０に関して図２１を用いて説明する。２画素横線右検出部１８０は、４×４画素マトリクスを用いて図２１（ｊ）に示すような２画素幅の横線を検出する。この２画素横線右検出部１８０では、下記式（８６）〜式（９０）がすべて成立するときは、図２１（ｊ）に示すような２画素幅の横線があると判定し、図２１（ａ）のＯ・Ｐ・Ｑ・Ｓ・Ｔ・Ｕに対応する画素値としてそれぞれ高レベルを出力し、逆に式（８６）〜式（９０）が１つでも成立しないときは、図２１（ｊ）に示すような２画素幅の横線は無いと判定し、それぞれ低レベルを出力する。
【０１４５】

【０１４６】
つぎに、２画素縦線上検出部１８１に関して図２１を用いて説明する。２画素縦線上検出部１８１は、４×４画素マトリクスを用いて図２１（ｇ）に示すような２画素幅の縦線を検出する。この２画素縦線上横出部１８１では、下記式（９１）〜式（９５）がすべて成立するとき、図２１（ｇ）に示すような２画素幅の縦線があると判定し、図２１（ａ）のＫ・Ｌ・Ｏ・Ｐ・Ｓ・Ｔに対応する画素値としてそれぞれ高を出力し、逆に式（９１）〜式（９５）が１つでも成立しないときは、図１６（ｇ）に示すような２画素幅の縦線は無いと判定し、それぞれ低レベルを出力する。
【０１４７】

【０１４８】
つぎに、２画素縦線下検出部１８２に関して図２１を用いて説明する。２画素縦線下検出部１８２は、４×４画素マトリクスを用いて図２１（ｋ）に示すような２画素幅の縦線を検出する。この２画素縦線下検出部１８２では、下記式（９６）〜式（１００）がすべて成立するときは、図２１（ｋ）に示すような２画素幅の縦線があると判定し、図２１（ａ）のＯ・Ｐ・Ｓ・Ｔ・Ｗ・Ｘに対応する画素値としてそれぞれ高レベルを出力し、逆に式（９６）〜式（１００）が１つでも成立しないときには、図２１（ｋ）に示すような２画素幅の縦線は無いと判定し、それぞれ低レベルを出力する。
【０１４９】

【０１５０】
つぎに、２画素左斜線上検出部１８３に関して図２１を用いて説明する。２画素左斜線上横出部１８３は、４×４画素マトリクスを用いて図２１（ｈ）に示すような２画素幅の左上がり斜線を検出する。この２画素左斜線上検出部１８３では、下記式（１０１）〜式（１０５）がすべて成立するときには、図２１（ｈ）に示すような２画素幅の左上がり斜線があると判定し、図２１（ａ）のＪ・Ｋ・Ｎ・Ｏ・Ｐ・Ｓ・Ｔに対応する画素値としてそれぞれ高レベルを出力し、逆に式（１０１）〜式（１０５）が１つでも成立しないときは、図２１（ｈ）に示すような２画素幅の左上がり斜線は無いと判定し、それぞれ低レベルを出力する。
【０１５１】

【０１５２】
つぎに、２画素左斜線下検出部１８４に関して図２１を用いて説明する。２画素左斜線下検出部１８４は、４×４画素マトリクスを用いて図２１（ｌ）に示すような２画素幅の左上がり斜線を検出する。この２画素左斜線下検出部１８４では、下記式（１０６）〜式（１１０）がすべて成立するときには、図２１（ｌ）に示すような２画素幅の左上がり斜線があると判定し、図２１（ａ）のＯ・Ｐ・Ｓ・Ｔ・Ｕ・Ｘ・Ｙに対応する画素値としてそれぞれ高レベルを出力し、逆に式（１０６）〜式（１１０）が１つでも成立しないときは、図２１（ｌ）に示すような２画素幅の左上がり斜線は無いと判定し、それぞれ低レベルを出力する。
【０１５３】

【０１５４】
つぎに、２画素右斜線上検出部１８５に関して図２１を用いて説明する。２画素右斜線上検出部１８５は、４×４画素マトリクスを用いて図２１（ｉ）に示すような２画素幅の右上がり斜線を検出する。この２画素右斜線上検出部１８５では、下記式（１１１）〜式（１１５）がすべて成立するときには、図２１（ｉ）に示すような２画素幅の右上がり斜線があると判定し、図２１（ａ）のＬ・Ｍ・Ｏ・Ｐ・Ｑ・Ｓ・Ｔに対応する画素値としてそれぞれ高レベルを出力し、逆に式（１１１）〜式（１１５）が１つでも成立しないときは、図２１（ｉ）に示すような２画素幅の右上がり斜線は無いと判定し、それぞれ低レベルを出力する。
【０１５５】

【０１５６】
最後に、２画素右斜線下検出部１８６に関して図２１を用いて説明する。２画素右斜線下検出部１８６は、４×４画素マトリクスを用いて図２１（ｍ）に示すような２画素幅の右上がり斜線を検出する。この２画素右斜線下検出部１８６では、下記式（１１６）〜式（１２０）がすべて成立するときには、図２１（ｍ）に示すような２画素幅の右上がり斜線があると判定し、図２１（ａ）のＯ・Ｐ・Ｒ・Ｓ・Ｔ・Ｖ・Ｗに対応する画素値としてそれぞれ高レベルを出力し、逆に式（１１６）〜式（１２０）が１つでも成立しないときは、図２１（ｍ）に示すような２画素幅の右上がり斜線は無いと判定し、それぞれ低レベルを出力する。
【０１５７】

【０１５８】
図２７は、エッジ抽出部３２の構成の一例を示すブロック図である。図２７において、エッジ抽出部３２に入力された画像データは、３×３フィルタ演算部１５１と浮動２値化部１５３に入力される。３×３フィルタ演算部１５１に入力された画像データは、あらかじめ設定された３×３フィルタ係数とのフィルタリング処理が行われて、その演算結果は比較部１５２に出力される。上記３×３フィルタ係数としては、エッジ部を強調するものが望まく、一例として、図２８に記載したようなフィルタ係数が挙げられる。
【０１５９】
比較部１５２に入力された３×３フィルタ演算部１５１の演算結果は、あらかじめ設定された閾値ＴＨ３０との比較演算が行われ、３×３フィルタ演算部１５１の演算結果が閾値ＴＨ３０より大きい場合は高レベルの信号が、等しいかもしくは小さい場合には低レベルの信号が出力される。比較部１５２からの出力信号は論理積演算部１５５に入力される。
【０１６０】
一方、浮動２値化部１５３に入力された画像データは、浮動２値化処理が行われる。そして、その処理結果は５×５排他的論理和演算部１５４に入力される。浮動２値化部１５３の詳細ついては後述する。
【０１６１】
５×５排他的論理和演算部１５４に入力された画像データは、注目画素を中心とした５×５画素の排他的論理和演算が行われる。すなわち、５×５＝２５画素すべてが高レベルの信号もしくは低レベルの信号のときは低レベルの信号が、１画素でも異なるときは高レベルの信号が演算結果として得られる。５×５排他的論理和演算部１５４の演算結果は、論理積演算部１５５に入力される。そして、論理和演算部１５５において、比較部１５２からの出力信号と論理積演算部１５５からの出力信号とが画素ごとに論理積演算され、その演算結果がエッジ抽出部３２の出力結果として出力される。
【０１６２】
浮動２値化部１５３の詳細について、同じく図２７を用いて説明する。浮動２値化部１５３に入力された画像データは、比較部１５９と、３×３平均値演算部１５６に入力される。３×３平均値演算部１５６では、注目画素を中心とした３×３画素値の平均値が計算され、その結果は加算部１５７に出力される。加算部１５７に入力された３×３平均値演算結果は、あらかじめ設定された加算値Ｖａｌｌとの加算演算が行われ、その結果はリミット処理部１５８に出力される。
【０１６３】
リミット処理部１５８にはあらかじめ上限および下限のリミット値が設定されており、加算部１５７から入力された演算結果を、上記上限および下限のリミット値の範囲に制限する。すなわち、加算部１５７から入力された演算結果が上限リミット値よりも大きい場合には上限リミット値を、下限リミット値よりも小さい場合には下限リミット値を、そのどちらでもない場合には加算部１５７から入力された演算結果を、リミット処理部１５８の演算結果として出力する。
【０１６４】
リミット処理部１５８から出力された演算結果は比較部１５９に入力され、他方比較部１５９に入力された画像データ、即ち浮動２値化部１５３に入力された画像データとの比較演算が行われる。浮動２値化部１５３に入力された画像データが比較部１５９の演算結果よりも大きい場合は高レベルの信号が、等しいかもしくは小さい場合には低レベルの信号が出力される。比較部１５２からの出力信号は５×５排他的論理和演算部１５４に入力される。
【０１６５】
なお、エッジ抽出部３２における処理については、上記説明した処理以外にも公知の技術を用いるようにしても構わないが、線分などの輪郭をできるだけ忠実に抽出する処理が望ましい。
【０１６６】
つづいて、第１拡大部３３−１〜第Ｎ拡大部３３−Ｎの詳細について、図２９および図３０を用いて説明する。なお、第１拡大部３３−１〜第Ｎ拡大部３３−Ｎはそれぞれほぼ同様の処理を行うので、ここでは第１拡大部３３−１を例にとって説明する。図２９は第１拡大部３３−１での処理内容を説明する図であり、図３０は第１拡大部３３−１での拡大条件判定を説明する図である。
【０１６７】
第１拡大部３３−１には、線抽出部３３ー１で線抽出の行われた画像データとエッジ抽出部３２でエッジ抽出の行われた画像データが入力される。線抽出部３１−１から出力される画像データは、本例の場合、元の画像データ、即ち線分抽出部１２に入力された画像データと比較して縦・横それぞれ１／２に縮小されているため、第１拡大部３３−１では入力された線抽出部３１−１で線抽出の行われた画像データを縦・横それぞれ２倍に拡大する処理を行う。
【０１６８】
しかしながら、線抽出部３１−１で線抽出の行われた画像データに対して単純に拡大処理を行うと、階段状のがたついた結果となってしまう。これを図２９を用いて説明すると、図２９（ｅ）のような画像が線分抽出部１２に入力された場合、線抽出部３１−１では図２９（ａ）のような抽出結果が得られる。これを単純に縦・横それぞれ２倍に拡大する処理を行うと、図２９（ｃ）のような結果となるが、これは図２９（ｅ）と比較して階段状のがたつきが大きい結果となり、入力画像に忠実な線分抽出となっていない。
【０１６９】
そこで、第１拡大部３３−１では、エッジ抽出部３２でエッジ抽出の行われた画像データを参照しながら、線抽出部３１−１で線抽出の行われた画像データに対して拡大処理を行う。その際、図３０に記載のような条件判定により第１拡大部３３−１からの出力を決定する。例えば、線抽出部３１ー１から入力された画像データのある画素が低レベル（ＬＯＷ）の場合、第１拡大部３３−１からの出力は２×２画素すべて低レベルとなる。
【０１７０】
一方、線抽出邸３１−１から入力された画像データのある画素が高レベル（ＨＩＧＨ）の場合は、前記画素の周辺画素の値、およびエッジ抽出部３２からの入力値により条件判定を行い、第１拡大部３３−１からの出力が決定される。上記のような条件判定によって線抽出部３１−１で線抽出の行われた画像データの拡大処理を行うことにより、図２９（ａ）のような線抽出部３１−１からの入力画像データと、図２９（ｂ）のようなエッジ抽出部３２からの入力画像データに基づいて、図２９（ｄ）のような拡大処理の行われた画像データが得られる。
【０１７１】
線分補正部１７の詳細について、図３１のフローチャートを用いて説明する。線分補正部１７では、ラベリング部１３から入力されるラベリング画像と、第１属性判定部１６から入力されるラベルごとの属性判定結果から、線分抽出部１２から入力される線分抽出画像を画素単位に補正する。
【０１７２】
図３１のフローチャートに沿って説明すると、最初に、ラベリング画像から対象画素に付与されたラベル番号を調べる（ステップＳ４０１）。そして、ラベル番号の有無の判定を行い（ステップＳ４０２）、付与されていた場合は、ラベルごとの属性判定結果から該ラベル番号の属性を調べ（ステップＳ４０３）、属性の判定を行う（ステップＳ４０４）。その属性が写真・絵柄領域の場合には、注目画素が線分抽出部１２で抽出されている場合でも、抽出結果を補正する。すなわち、注目画素は線分ではないとして、線分補正部１７の補正結果として注目画素を低レベル（ＬＯＷ）とする（ステップＳ４０５）。
【０１７３】
一方、ステップＳ４０２で対象画素にラベル番号が付与されていないと判定した場合、又はステップＳ４０４で注目画素の属性が均一色領域であると判定した場合は、線分抽出部１２の抽出結果を用いる（ステップＳ４０６）。すなわち、線分抽出結果が低レベルの場合は低レベルを、高レベルの場合には均一色領域中に書かれた文字・線分と判定し、線分補正部１７の補正結果として注目画素を低レベルとする。
【０１７４】
ステップＳ４０５又はステップＳ４０６の処理の終了後、１つの画素の補正が終了したので、注目画素を次の画素に移す（ステップＳ４０７）。次いで、全画素に対して補正処理が終了したか否かを判定し（ステップＳ４０８）、終了した場合には線分補正部１７での処理を終了し、補正処理の終了していない画素が存在する場合にはステップＳＳ４０１へ戻って上述した処理を繰り返す。そして、この線分補正部１７から出力される画像を、像域分離部９から出力される像域分離画像とする。
【０１７５】
上述したように、本発明の第１実施形態に係る像域分離部９によれば、２値化画像に対してラベリングを行い、ラベル領域ごとに特徴量を算出し、その算出した特徴量からラベル領域の属性を判定して入力画像から抽出した線分を補正する構成としたことにより、文字・線画・写真・網点等の混在した画像に対して、入力画像に忠実に文字・線画を抽出し、かつ写真・絵柄領域中での誤抽出の無い、高精度な像域分離処理を行うことができるため、良好な再生画像を得ることが可能となる。
【０１７６】
次に、本発明の第２実施形態に係る像域分離部９について図面を参照しながら説明する。なお、以下の説明の中で、第１実施形態の説明と処理内容が同様の処理部に関しては同一番号を付加し、その説明を省略する。
【０１７７】
図３２は、本発明の第２実施形態に係る像域分離部９の構成を示すブロック図である。図３２において、２値化部１１は、データ記憶部２に記憶されている画像データ（解像度４００ｄｐｉ、各画素８ビットのＬ^* ａ^* ｂ^* 画像信号）を読み出し、２値化処理を行う。以降、この画像データのことをＬ^* ａ^* ｂ^* 原画像と呼ぶ。なお、Ｌ^* ａ^* ｂ^* 原画像は、後述する線分抽出部１２、ラベル特徴量算出部１４−１、１４−２およびエッジ抽出部６１からも読み出される。
【０１７８】
２値化部１１では、読み出された画像データ（Ｌ^* ａ^* ｂ^* 原画像）から、前景領域、例えば白背景上の文字・線分、着色された領域、あるいは写真・絵柄領域などを抽出し、抽出した画素は高レベル、抽出しなかった画素は低レベルとする、各画素１ビットの画像信号が出力される。２値化部１１の詳細については既に説明しているので、ここでの説明は省略する。
【０１７９】
図３３〜図３５を例にとると、図３３（ａ）の画像が２値化部１１に入力されたとすると、図３３（ｂ）のように２値化された画像が出力される。２値化部１１から出力された２値画像信号は、ラベリング部１３−１に入力され、連結する抽出画素の領域ごとに１つのラベルが付与される。
【０１８０】
ラベリングの方法としては公知の技術で構わない。図３３で説明すると、図３３（ｂ）の２値化画像がラベリング部１３−１に入力され、図３３（ｃ）のようにラベル番号Ｐ１からラベル番号Ｐｎまでのラベルが付与される。なお、以降、連結領域ごとにラベルの付与された画像をラベリング画像と称し、さらにラベリング部１３−１で得られたラベリング画像を以降、親ラベリング画像と呼び、またそれぞれのラベル領域を親ラベル領域と呼ぶこととする。
【０１８１】
ラペリング部１３−１から出力された親ラベリング画像は、ラベル特徴量算出部１４−１と線分補正部１７に入力される。ラベル特徴算出部１４−１では、ラベリング部１３−１から出力された親ラベリング画像と、Ｌ^* ａ^* ｂ^* 原画像から、親ラベル領域ごとの特徴量が算出される。
【０１８２】
図３３で説明すると、図３３（ｃ）のラベルの付与された親ラベリング画像がラベル特徴算出部１４−１に入力され、また図３３（ａ）のＬ^* ａ^* ｂ^* 原画像データも参照されて、親ラベルごとの特徴量が算出される。なお、本実施形態では、特徴量として、該当ラベル付与画素数・外接矩形位置・外接矩形サイズ・画素密度（＝該当ラベル付与画素数／外接矩形面積）・平均値・分散値・クラス分割値頻度・クラス分割などを算出しているが、他の特徴量を算出して、後述する第２属性判定部６５での判定処理に用いても構わない。
【０１８３】
ラベル特徴算出部１４−１の詳細についてはラベル特徴量算出部１４と同様なので、その説明は省略する。ラベル特徴算出部１４−１で算出された親ラベルごとの特徴量は、ラベリング部１３−１でラベルの付与された親ラベリング画像と共に小領域除去部１５−１に入力され、親ラベルごとに算出された領域サイズを所定閾値と比較し、閾値以下の領域サイズの親ラベルを除去する。
【０１８４】
図３３の場合、閾値を例えば、外接矩形幅＝外接矩形高＝８０とすると、図３３（ｃ）の親ラベリング画像から、ラベル番号Ｐ４〜ラベル番号Ｐｎの領域が除去され、図３３（ｄ）のような親ラベリング画像が得られる。すなわち、文字と推定される領域を外接矩形サイズから判定し、あらかじめ除去することで、後段の各種処理部での処理を軽くすることができる。小領域抽出部１５−１で小領域の除去された親ラベリング画像は、後述するエッジ・線分除去部６３および包含関係判定部６４に入力される。
【０１８５】
一方、エッジ抽出部６１は、データ記憶部２に記憶されているＬ^* ａ^* ｂ^* 原画像データのうちＬ^* 原画像を読み込み、エッジ抽出処理を行う。エッジ抽出部６１におけるエッジ抽出処理は公知の技術で構わず、例えば注目画素を中心として３×３画素サイズのフィルタリング処理を行い、その演算結果を所定の閾値と比較して、閾値より大きいかまたは等しいときはエッジと判定して高レベルの信号を出力し、閾値よりも小さい場合は非エッジと判定して低レベルの信号を出力する。
【０１８６】
なお、３×３フィルタ係数としては、その一例として、中心が８、周囲が−１の係数などが挙げられる。図３３および図３４で説明すると、図３３（ａ）の原画像から、図３４（ａ）のエッジ抽出画像が得られる。エッジ抽出部６１から出力されたエッジ抽出画像は、画像合成部６２に入力される。
【０１８７】
また、線分抽出部１２も、データ記憶部２に記憶されているＬ^* ａ^* ｂ^* 原画像のうちＬ^* 原画像を読み込み、線分抽出処理を行う。線分抽出部１２の詳細については既に説明したので省略するが、図３３および図３４で説明すると、図３３（ａ）の原画像から、図３４（ｂ）の線分抽出画像が得られる。線分抽出部１２から出力された線分抽出画像も、画像合成部６２に入力される。
【０１８８】
画像合成部６２には、エッジ抽出部６１と線分抽出部１２から、エッジ抽出画像と線分抽出画像が入力され、同じ座標位置の画素同士の論理和が演算され、膨張処理部６６に出力される。膨張処理部６６では、画像合成部６３から入力されたエッジ抽出画像と線分抽出画像の論理和画像に対して、注目画素を中心としたＮ×Ｎのサイズでの膨張処理を行う。すなわち、注目画素を中心とするＮ×Ｎの範囲に１つでも高レベルの画素が存在すれば高レベルの信号を、すべて低レベルの画素の場合のみ低レベルの信号を、注目画素に対する新たな信号として出力する。
【０１８９】
ここで膨張処理を行う理由は、この後、後述のエッジ・線分除去部６３でエッジ・線分を除去し、その画像に対してラベリング、特徴量抽出をするが、エッジ・線分の周辺画素は、画像入力時にエッジ・線分の影響を受けやすく、正確な特徴量を得ることが困難である。そこであらかじめエッジ・線分抽出領域を膨張、その膨張領域を除去することにより、エッジ・線分の影響を受けない正確な特徴量を得ることが可能となる。したがって、膨張処理部６６で膨張処理を行うサイズＮは、エッジ・線分の影響を除去できる程度、例えばＮ＝５程度のサイズで良い。
【０１９０】
図３４で説明すると、図３４（ａ）のエッジ抽出画像と図３４（ｂ）の線分抽出画像から合成、膨張処理を行うことにより、図３４（ｃ）の画像が得られる。エッジ・線分除去部６３には、小領域除去部１５−１によって小領域の除去された親ラベリング画像と、膨張処理部６６から出力されたエッジ・線分合成画像が膨張された画像入力され、親ラベリング画像からエッジ・線分合成画像の膨張された画像の高レベルの画素が除去される。
【０１９１】
すなわち、エッジ・線分合成画像の膨張された画像の注目画素が高レベルの場合、親ラペリング画像から同一座標位置にあるラベル番号を除去し、付与ラベル無しとする。図３３および図３４で説明すると、図３３（ｄ）の小領域除去された親ラベリング画像から、図３４（ｃ）のエッジ・線分合成画像が除去され、図３４（ｄ）のエッジ・線分除去ラペリング画像が得られる。エッジ・線分の除去された親ラベリング画像はラベリング部１３−２に入力される。
【０１９２】
ラベリング部１３−２では、小領域除去部１５−１にて小領域が除去され、かつエッジ・線分除去部６３にてエッジ・線分の除去された親ラベリング画像に対して、連結する領域に対して同一ラベルを付与するように、再度ラベリング処理を行う。ここでのラベリング処理も公知の技術を用いて構わない。ここで得られたラベリング画像を以降、子ラベリング画像と呼ぶこととする。
【０１９３】
図３４および図３５で説明すると、図３４（ｄ）の小領域およびエッジ・線分の除去された画像に対し再度ラベリングを行い、図３５（ａ）のラベル番号Ｃ１からラベル番号Ｃｍまでのラベルが付与された子ラベリング画像が得られる。なお、図３５（ａ）にはラベル番号Ｃ１からラベル番号Ｃｍ以外の小さいラベル領域、たとえば“８”の文字の線で囲まれた２箇所の円形領域なども存在するが、図３５（ａ）ではラベル番号の表示は省略している。
【０１９４】
ラベリング部１３−２によってラベリングされた子ラベリング画像は、ラベル特徴量算出部１４−２に入力される。ラベル特徴量算出部１４−２では、ラベリング部１３−２から子ラベリング画像が入力されるとともに、画像記憶部２からＬ^* ａ^* ｂ^* 原画像データを読み出し、子ラベルごとの特徴量が算出される。ラベル特徴算出部１４−２の詳細についても、ラベル特徴量算出部１４と同様なのでその説明は省略する。
【０１９５】
ラベル特徴算出部１４−２で算出された子ラベル領域ごとの特徴量は、ラベリング部１３−２でラベルの付与された子ラベリング画像と共に小領域除去部１５−２に入力され、子ラベルごとに算出された領域サイズを所定閾値と比較し、閾値以下の領域サイズの子ラベルを除去する。図３５（ａ）の場合は、ラベル番号の記述が省略された微小領域が小領域除去部１５−２で除去される領域に相当する。なお、小領域除去の方法は、前述の小領域除去部１５−１と同様で構わないが、小領域と判定する閾値は、小領域除去部１５−１のときよりも小さい方が望ましい。
【０１９６】
小領域除去のなされた子ラベリング画像は、包含関係判定部６４と第１属性判定部１６に入力される。包含関係判定部６４には、小領域除去部１５−１で小領域の除去された親ラベリング画像と、小領域除去部１５−２で小領域の除去された子ラベリング画像が入力され、その包含関係、即ちどの親ラベル領域が分割されて、どの子ラベル領域が生成されているのかが判定される。
【０１９７】
また、図示してはいないが、包含関係判定部６４にラベル特徴量算出部１４−２，１４−２で算出したラベル特徴量を入力して、包含関係判定処理を効率化することも可能である。包含関係判定部６４において判定された親ラベル領域と子ラベル領域の包含関係は第２属性判定部６５に入力される。包含関係判定部６４の詳細は後述する。
【０１９８】
一方、ラベル特徴算出部１４−２において算出された子ラベル領域ごとの特徴量は第１属性判定部１６に入力され、算出された特徴量を用いて、子ラベル領域ごとの属性を判定する。本実施形態では、特徴量として該当ラベル付与画素数・分散値・クラス分割値頻度・クラス分散比を用い、属性として写真・絵柄領域、均一色領域かを判定する。
【０１９９】
なお、第１属性判定部１６の詳細については既に説明しているので、ここでの説明は省略するが、子ラベル領域ごとにラベル特徴算出部１４−２で特徴量を算出、第１属性判定部１６で属性を判定することで、例えば、それぞれのセルの色が異なる表などが存在した場合、罫線でセルが区切られているため、セルの１つ１つが子ラベル領域となり、セル単位で特徴量算出・属性判定を行うことになるため、高精度な属性判定が可能となる。
【０２００】
また、罫線が無いような表などでも、セル同士の境界はエッジ抽出部６１で抽出することができ、同様にセルの１つ１つが子ラベル領域となり、セル単位で特徴量算出・属性判定を行うことが可能となる。第１属性判定部１６で判定された子ラベルに対する属性判定結果は、第２属性判定部６５に入力される。
【０２０１】
第２属性判定部６５では、包含関係判定部６４から入力された親ラベル領域と子ラベル領域の包含関係と、第１属性判定部１６から入力された子ラベル領域に対する属性判定結果とを用いて、親ラベル領域の属性を判定する。本実施形態では、属性として写真・絵柄領域、均一色領域かを判定する。第２属性判定部６５での親ラベルに対する属性判定結果は、線分補正部１７に入力される。第２属性判定部６５の詳細は後述する。
【０２０２】
線分補正部１７では、ラベリング部１３−１から入力される親ラペリング画像と、第２属性判定部６５から入力される親ラベルごとの属性判定結果から、線分抽出部１２から入力される線分抽出画像を画素単位に補正する。線分補正部１７の詳細に関しては前述しているので詳しい説明は省略するが、簡単に述べると、写真・絵柄領域と判定された親ラベル領域に含まれる線分は削除し、それ以外の線分はそのままにする。線分補正部１７から出力される画像は、像域分離部９から出力される画像として、画像記憶部２に記憶される。
【０２０３】
包含関係判定部６４の詳細について、図３３〜図３５および図３６を用いて説明する。包含関係判定部６４には、小領域除去部１５−１から出力された親ラベリング画像と、小領域除去部１５−２から出力された子ラベリング画像が入力され、親ラベル領域と子ラベル領域の包含関係が判定される。
【０２０４】
すなわち、子ラベル領域の全画素が、親ラベル領域に含まれているときは、親ラベル領域と子ラベル領域は包含関係が有ると判定する。図３３（ｄ）と図３５（ａ）の場合は、子ラベル番号Ｃ１の子ラベル領域は、親ラベル番号Ｐ１の親ラベル領域に含まれると判定される。同様に、子ラベル番号Ｃ１４〜Ｃｍの子ラベル領域は、親ラベル番号Ｐ２の親ラベル領域に含まれ、子ラベル番号Ｃ２〜Ｃ１３の子ラベル領域は、親ラベル番号Ｐ３の親ラベル領域に含まれると判定され、図３６に示すような判定結果テーブルが作成される。なお、図３６中のＮＵＬＬは、それ以上含まれる子ラベル領域が無いことを示す。
【０２０５】
包含関係判定部６４で判定された包含関係判定結果は、第２属性判定部６５に出力される。この第２属性判定部６５の詳細について図３７を用いて説明する。第２属性判定部６５には、包含関係判定部６４から包含関係判定結果が、第１属性判定部１６から子ラベル領域の属性判定結果が入力され、親ラベル領域の属性が判定される。
【０２０６】
第２属性判定部６５では、親ラベル領域に含まれる複数の子ラベル領域の属性をみて、写真・絵柄領域と判定されている子ラベル領域の個数が所定の閾値以上のとき、親ラベル領域を写真・絵柄領域と判定、閾値未満の場合は、均一色領域と判定する。ただし、親ラベル領域に含まれる子ラベル領域が１つの場合は、親ラベル領域の属性判定結果は子ラベル領域の属性判定結果と同一とする。また、親ラベル領域が子ラベル領域を１つも含まないときは、親ラベル領域を均一色領域と判定する。
【０２０７】
図３７の場合、閾値＝２としたとき、親ラベル番号がＰ１の親ラベル領域は、子ラベル番号がＣ１の子ラベル領域を１つだけ含み、かつそれが均一色領域であるため、親ラベル番号Ｐ１の親ラベル領域を均一色領域と判定する。また、親ラベル番号がＰ２の親ラベル領域は、子ラベル番号がＣ１４〜Ｃｍの子ラベル領域を含み、写真・絵柄領域の個数が２個であるため、親ラベル番号Ｐ２の親ラベル領域を写真・絵柄領域と判定する。また、子ラベル番号がＣ２〜Ｃ１３の子ラベル領域を含み、写真・絵柄領域の個数が１個であるため、親ラベル番号Ｐ３の親ラベル領域を均一色頓域と判定する。
【０２０８】
なお、上記の説明では、写真・絵柄領域の子ラベル領域の個数を閾値と比較して親ラベル領域の属性を判定するとしたが、子ラベル領域の個数に対する写真・絵柄領域判定の子ラベル領域の個数の割合を閾値と比較する方法もある。第２属性判定部６５から出力された親ラベル領域の属性判定結果は、線分補正部１７に入力される。
【０２０９】
上述したように、本発明の第２実施形態に係る像域分離部９によれば、２値化画像に対してラベリングを行って親ラベリング画像を作成し、当該親ラベリング画像から小領域やエッジ・線分を除去した後の画像に対して再度ラベリングを行って子ラベリング画像を作成し、さらに子ラベル領城ごとに特徴量を算出し、その特徴量から該領域の属性を判定するとともに、親ラベル領域と子ラベル領域の包含関係から親ラベルの属性を判定して入力画像から抽出した線分を補正する構成としたことにより、文字・線画・写真・網点等の混在した画像に対して、入力画像に忠実に文字・線画を抽出し、かつ写真・絵柄領域中での誤抽出の無い、高精度な像域分離処理を行うことができるため、良好な再生画像を得ることが可能となる。
【０２１０】
なお、上記第２実施形態では、線分抽出部１２に加えてエッジ抽出部６１をも具備し、これら抽出部１２，６１で抽出した線分とエッジを画像合成部６２で合成し、この合成した線分およびエッジの双方をエッジ・線分除去部６３で２値化画像データから除去する構成としたが、画像合成部６２で線分とエッジを合成せずに、エッジのみを２値化画像データから除去する構成や、エッジ抽出部６１を設けずに線分のみを２値化画像データから除去する構成などを採ることも可能である。
【０２１１】
【発明の効果】
以上説明したように、本発明によれば、文字・線画・写真・網点等の混在した画像に対して、領域ごとに適した再現処理を行って画像を出力する際に、白背景のみならず、均一色背景中においても、入力画像に忠実に文字・線画を抽出し、かつ写真・絵柄領域中での誤抽出の無い、高精度な画域分離処理を行うことができるため、品質の高い画像を得ることができる。
【図面の簡単な説明】
【図１】 本発明に係る画像処理装置の基本的な構成を示すブロック図である。
【図２】 本発明の第１実施形態に係る像域分離部の構成を示すブロック図である。
【図３】 第１実施形態に係る像域分離部における処理過程での画像変化を示す図（その１）である。
【図４】 第１実施形態に係る像域分離部における処理過程での画像変化を示す図（その２）である。
【図５】 ラベルごとの特徴量を示す図である。
【図６】 ２値化部の構成の一例を示すブロック図である。
【図７】 ２値化部での画像変化を示す図である。
【図８】 シャドー抽出部の構成の一例を示すブロック図である。
【図９】 シャドー抽出部の構成の他の例を示すブロック図である。
【図１０】 ２値化部の他の例に係る処理の流れを示すフローチャートである。
【図１１】 Ｌ^* 画像データのヒストグラムを示す図である。
【図１２】 ラベル特徴量算出部での処理の流れを示すフローチャートである。
【図１３】 第１属性部での処理の流れを示すフローチャートである。
【図１４】 線分抽出部の構成の一例を示すブロック図である。
【図１５】 線抽出部の構成の一例を示すブロック図である。
【図１６】 １画素幅の線抽出部で検出する線の種類を説明する図である。
【図１７】 １画素横線検出部の構成の一例を示すブロック図である。
【図１８】 １画素縦線検出部の構成の一例を示すブロック図である。
【図１９】 １画左斜線検出部の構成の一例を示すブロック図である。
【図２０】 １画右斜線検出部の構成の一例を示すブロック図である。
【図２１】 ２画素幅の線抽出部で検出する線の種類を説明する図である。
【図２２】 ２画素横線検出部の構成の一例を示すブロック図である。
【図２３】 ２画素縦線検出部の構成の一例を示すブロック図である。
【図２４】 ２画左斜線検出部の構成の一例を示すブロック図である。
【図２５】 ２画右斜線検出部の構成の一例を示すブロック図である。
【図２６】 線抽出部の構成の他の例を示すブロック図である。
【図２７】 エッジ抽出部の構成の一例を示すブロック図である。
【図２８】 フィルタ係数の一例を示す図である。
【図２９】 第１拡大部での処理内容を説明する図である。
【図３０】 第１拡大部での拡大条件判定を説明する図である。
【図３１】 線分補正部での処理の流れを示すフローチャートである。
【図３２】 本発明の第２実施形態に係る像域分離部の構成を示すブロック図である。
【図３３】 第２実施形態に係る像域分離部における処理過程での画像変化を示す図（その１）である。
【図３４】 第２実施形態に係る像域分離部における処理過程での画像変化を示す図（その２）である。
【図３５】 第２実施形態に係る像域分離部における処理過程での画像変化を示す図（その３）である。
【図３６】 包含関係判定部における親ラベル領域と子ラベル領域の関係の一例を説明する図である。
【図３７】 第２属性部の子ラベル領域属性から親ラベル領域属性の判定を説明する図である。
【図３８】 従来技術に係る像域分離部の構成の一例を示すブロック図である。
【符号の説明】
１…画像入力部、２…データ記憶部、３…演算処理部、５…階調補正部、６…色信号変換部、８…画像出力部、９…像域分離部、１１…２値化部、１２…線分抽出部、１３，１３−１，１３−２…ラベリング部、１４，１４−１，１４−２…ラベル特徴量算出部、１５，１−１，１５−２…小領域抽出部、１６…第１属性判定部、１７…線分補正部、６１…エッジ抽出部、６２…画像合成部、６３…エッジ・線分除去部、６４…包含関係判定部、６５…第２属性判定部

Claims (32)

1. 画像データを入力する入力手段と、
   前記入力手段によって入力された画像データに対して前景と背景を分離する処理を行う２値化手段と、
   前記入力手段によって入力された画像データに対して所定画素数分の幅の線分を抽出する線分抽出手段と、
   前記２値化手段によって前景とされた連結する画素に対して同一のラベルを付与する第１ラベリング手段と、
   前記第１ラベリング手段において同一ラベルが付与されたラベル領域ごとに、該ラベル領域の画像特徴量を算出する第１ラベル特徴量算出手段と、
   前記第１ラベル特徴量算出手段によって算出されたラベル領域ごとのラベル特徴量から該ラベル領域の属性を判定する第１属性判定手段と、
   前記第１ラベリング手段によってラベリングされたラベル領域ごとの前記第１属性判定手段による属性判定結果を用いて、前記線分抽出手段によって抽出された線分の補正を行う線分補正手段と
   を具備することを特徴とする画像処理装置。
2. 画像データを入力する入力手段と、
   前記入力手段によって入力された画像データに対して前景と背景を分離する処理を行う２値化手段と、
   前記入力手段によって入力された画像データに対して所定画素数分の幅の線分を抽出する線分抽出手段と、
   前記２値化手段によって前景とされた連結する画素に対して同一のラベルを付与する第１ラベリング手段と、
   前記第１ラベリング手段において同一ラベルが付与されたラベル領域ごとに、該ラベル領域の画像特徴量を算出する第１ラベル特徴量算出手段と、
   前記２値化手段によって２値化された画像データから、前記線分抽出手段によって抽出された線分を除去する線分除去手段と、
   前記２値化手段によって前景とされた画素でかつ前記線分除去手段によって線分の除去された連結する画素に対して同一のラベルを付与する第２ラベリング手段と、
   前記第２ラベリング手段において同一ラベルが付与されたラベル領域ごとに、該ラベル領域の画像特徴量を算出する第２ラベル特徴量算出手段と、
   前記第２ラベル特徴量算出手段によって算出されたラベル領域ごとのラベル特徴量から該ラベル領域の属性を判定する第１属性判定手段と、
   前記第１ラベリング手段によってラベリングされたラベル領域と前記第２ラベリング手段によってラベリングされたラベル領域のそれぞれの包含関係を判定する包含関係判定手段と、
   前記第１属性判定手段による属性判定結果と前記包含関係判定手段による包含判定結果とから、前記第１ラベリング手段によってラベリングされたラベル領域の属性を判定する第２属性判定手段と、
   前記第１ラベリング手段によってラベリングされたラベル領域ごとの前記第２属性判定手段による属性判定結果を用いて、前記線分抽出手段によって抽出された線分の補正を行う線分補正手段と
   を具備することを特徴とする画像処理装置。
3. 画像データを入力する入力手段と、
   前記入力手段によって入力された画像データに対して前景と背景を分離する処理を行う２値化手段と、
   前記入力手段によって入力された画像データに対して所定画素数分の幅の線分を抽出する線分抽出手段と、
   前記２値化手段によって前景とされた連結する画素に対して同一のラベルを付与する第１ラベリング手段と、
   前記第１ラベリング手段において同一ラベルが付与されたラベル領域ごとに、該ラベル領域の画像特徴量を算出する第１ラベル特徴量算出手段と、
   前記入力手段によって入力された画像データに対してエッジを抽出するエッジ抽出手段と、
   前記２値化手段によって２値化された画像データから、前記エッジ抽出手段によって抽出されたエッジを除去するエッジ除去手段と、
   前記２値化手段によって前景とされた画素でかつ前記エッジ除去手段によってエッジの除去された連結する画素に対して同一のラベルを付与する第２ラベリング手段と、
   前記第２ラベリング手段において同一ラベルが付与されたラベル領域ごとに、該ラベル領域の画像特徴量を算出する第２ラベル特徴量算出手段と、
   前記第２ラベル特徴量算出手段によって算出されたラベル領域ごとのラベル特徴量から該ラベル領域の属性を判定する第１属性判定手段と、
   前記第１ラベリング手段によってラベリングされたラベル領域と前記第２ラベリング手段によってラベリングされたラベル領域のそれぞれの包含関係を判定する包含関係判定手段と、
   前記第１属性判定手段による属性判定結果と前記包含関係判定手段による包含判定結果とから、前記第１ラベリング手段によってラベリングされたラベル領域の属性を判定する第２属性判定手段と、
   前記第１ラベリング手段によってラベリングされたラベル領域ごとの前記第２属性判定手段による属性判定結果を用いて、前記線分抽出手段によって抽出された線分の補正を行う線分補正手段と
   を具備することを特徴とする画像処理装置。
4. 画像データを入力する入力手段と、
   前記入力手段によって入力された画像データに対して前景と背景を分離する処理を行う２値化手段と、
   前記入力手段によって入力された画像データに対して所定画素数分の幅の線分を抽出する線分抽出手段と、
   前記２値化手段によって前景とされた連結する画素に対して同一のラベルを付与する第１ラベリング手段と、
   前記第１ラベリング手段において同一ラベルが付与されたラベル領域ごとに、該ラベル領域の画像特徴量を算出する第１ラベル特徴量算出手段と、
   前記入力手段によって入力された画像データに対してエッジを抽出するエッジ抽出手段と、
   前記線分抽出手段によって抽出された線分と前記エッジ抽出手段によって抽出されたエッジとを合成する画像合成手段と、
   前記２値化手段によって２値化された画像データから、前記画像合成手段によって合成されたエッジと線分とを除去するエッジ・線分除去手段と、
   前記２値化手段によって前景とされた画素でかつ前記エッジ・線分除去手段によってエッジおよび線分の除去された連結する画素に対して同一のラベルを付与する第２ラベリング手段と、
   前記第２ラベリング手段において同一ラベルが付与されたラベル領域ごとに、該ラベル領域の画像特徴量を算出する第２ラベル特徴量算出手段と、
   前記第２ラベル特徴量算出手段によって算出されたラベル領域ごとのラベル特徴量から該ラベル領域の属性を判定する第１属性判定手段と、
   前記第１ラベリング手段によってラベリングされたラベル領域と前記第２ラベリング手段によってラベリングされたラベル領域のそれぞれの包含関係を判定する包含関係判定手段と、
   前記第１属性判定手段による属性判定結果と前記包含関係判定手段による包含判定結果とから、前記第１ラベリング手段によってラベリングされたラベル領域の属性を判定する第２属性判定手段と、
   前記第１ラベリング手段によってラベリングされたラベル領域ごとの前記第２属性判定手段による属性判定結果を用いて、前記線分抽出手段によって抽出された線分の補正を行う線分補正手段と
   を具備することを特徴とする画像処理装置。
5. 前記第１ラベル特徴量算出手段によって算出されたラベル領域ごとのラベル特徴量から、所定サイズ以下のラベル領域を除去する第１小領域除去手段をさらに具備し、
   前記第１属性判定手段は、前記第１小領域除去手段によって除去されなかったラベル領域の属性を判定する
   ことを特徴とする請求項１〜請求項４のいずれかに記載の画像処理装置。
6. 前記第１小領域除去手段は、前記第１ラベル特徴量算出手段によって算出されたラベル領域サイズを所定サイズと比較し、ラベル領域サイズが所定サイズ以下の領域を除去する
   ことを特徴とする請求項５記載の画像処理装置。
7. 前記第２ラベル特徴量算出手段によって算出されたラベル領域ごとのラベル特徴量から、所定サイズ以下のラベル領域を除去する第２小領域除去手段をさらに具備し、
   前記第２属性判定手段は、前記第２小領域除去手段によって除去されなかったラベル領域の属性を判定する
   ことを特徴とする請求項２〜請求項４のいずれかに記載の画像処理装置。
8. 前記第２小領域除去手段によって除去する領域サイズは、前記第１小領域除去手段によって除去する領域サイズと比較して、等しいかもしくは小さい
   ことを特徴とする請求項７記載の画像処理装置。
9. 前記画像合成手段によって合成して得られる抽出領域を所定サイズ分だけ膨張処理する膨張処理手段をさらに具備し、
   前記エッジ・線分除去手段は、前記膨張処理手段によって膨張処理された抽出領域を除去する
   ことを特徴とする請求項４〜請求項８のいずれかに記載の画像処理装置。
10. 前記第１ラベル特徴量算出手段は、少なくともラベル領域の画素値のクラス分割値およびクラス分散比を算出する
    ことを特徴とする請求項１〜請求項９のいずれかに記載の画像処理装置。
11. 前記第１ラベル特徴量算出手段は、少なくともラベル領域の画素値の分散を算出する
    ことを特徴とする請求項１〜請求項９のいずれかに記載の画像処理装置。
12. 前記第１ラベル特徴量算出手段は、少なくともラベル領域のサイズを算出する
    ことを特徴とする請求項１〜請求項９のいずれかに記載の画像処理装置。
13. 前記第２ラベル特徴量算出手段は、少なくともラベル領域の画素値の分散を算出する
    ことを特徴とする請求項７〜請求項９のいずれかに記載の画像処理装置。
14. 前記第２ラベル特徴量算出手段は、少なくともラベル領域のサイズを算出する
    ことを特徴とする請求項７〜請求項９のいずれかに記載の画像処理装置。
15. 前記第１属性判定手段は、判定結果として少なくとも写真・絵柄領域および均一色領域を含む
    ことを特徴とする請求項１〜請求項１４のいずれかに記載の画像処理装置。
16. 前記第２属性判定手段は、判定結果として少なくとも写真・絵柄領域および均一色領域を含む
    ことを特徴とする請求項２〜請求項１４のいずれかに記載の画像処理装置。
17. 前記第１属性判定手段は、判定対象ラベル領域の分散を用いて、判定対象ラベル領域が写真・絵柄領域あるいは均一色領域かを判定する
    ことを特徴とする請求項１〜請求項１５のいずれかに記載の画像処理装置。
18. 前記第１属性判定手段は、判定対象ラベル領域のクラス分割値およびクラス分散比を用いて、判定対象ラベル領域が写真・絵柄領域あるいは均一色領域かを判定する
    ことを特徴とする請求項１〜請求項１７のいずれかに記載の画像処理装置。
19. 前記包含関係判定手段は、前記第２ラベリング手段によってラベリングされた領域が、前記第１ラベリング手段によってラベリングされた領域に包含されるときに包含有りと判定する
    ことを特徴とする請求項２〜請求項１８のいずれかに記載の画像処理装置。
20. 前記第３属性判定手段は、前記包含関係判定手段によって包含されると判定された領域のうち、所定閾値以上の領域が写真・絵柄ラベル領域の場合に、包含する領域も写真・絵柄ラベル領域であると判定する
    ことを特徴とする請求項２〜請求項１９のいずれかに記載の画像処理装置。
21. 前記第３属性判定手段は、前記包含関係判定手段によって包含されると判定された領域のうち、所定閾値以上の割合の領域が写真・絵柄ラベル領域の場合に、包含する領域も写真・絵柄ラベル領域であると判定する
    ことを特徴とする請求項２〜請求項２０のいずれかに記載の画像処理装置。
22. 前記第２属性判定手段は、前記第２小領域除去手段によって除去されなかったラベル領域の属性を判定する
    ことを特徴とする請求項７〜請求項２１のいずれかに記載の画像処理装置。
23. 前記２値化手段は、前記入力手段によって入力された画像データに対して濃度の濃い領域を抽出するシャドー抽出手段と、網点で構成された領域を抽出する網点抽出手段と、前記シャドー抽出手段および前記網点抽出手段の各抽出結果を画素ごとに論理和演算する論理和演算手段とを有する
    ことを特徴とする請求項１〜請求項２２のいずれかに記載の画像処理装置。
24. 前記２値化手段は、前記入力手段によって入力された画像データに対して画素値のヒストグラムを作成するヒストグラム作成手段と、前記ヒストグラム作成手段によって作成されたヒストグラムより２値化閾値を決定する２値化閾値決定手段とを有し、前記２値化閾値決定手段によって決定された２値化閾値を用いて、前記入力手段によって入力された画像データの２値化を行う
    ことを特徴とする請求項１〜請求項２２のいずれかに記載の画像処理装置。
25. 前記線分補正手段は、対象画素の属性が写真・絵柄領域の場合は前記線分抽出手段による線分抽出結果を補正し、対象画素の属性が均一色領域の場合は前記線分抽出手段による線分抽出結果を補正結果とする
    ことを特徴とする請求項１〜請求項２４のいずれかに記載の画像処理装置。
26. 入力された画像データに対して前景と背景を分離する処理を行う２値化ステップと、
    入力された画像データに対して所定画素数分の幅の線分を抽出する線分抽出ステップと、
    前記２値化ステップで前景とされた連結する画素に対して同一のラベルを付与する第１ラベリングステップと、
    前記第１ラベリングステップにおいて同一ラベルが付与されたラベル領域ごとに、該ラベル領域の画像特徴量を算出する第１ラベル特徴量算出ステップと、
    前記第１ラベル特徴量算出ステップで算出されたラベル領域ごとのラベル特徴量から該ラベル領域の属性を判定する第１属性判定ステップと、
    前記第１ラベリングステップでラベリングされたラベル領域ごとの前記第１属性判定ステップでの属性判定結果を用いて、前記線分抽出ステップで抽出された線分の補正を行う線分補正ステップと
    を有することを特徴とする画像処理方法。
27. 入力された画像データに対して前景と背景を分離する処理を行う２値化ステップと、
    入力された画像データに対して所定画素数分の幅の線分を抽出する線分抽出ステップと、
    前記２値化ステップで前景とされた連結する画素に対して同一のラベルを付与する第１ラベリングステップと、
    前記第１ラベリングステップにおいて同一ラベルが付与されたラベル領域ごとに、該ラベル領域の画像特徴量を算出する第１ラベル特徴量算出ステップと、
    前記２値化ステップで２値化された画像データから、前記線分抽出ステップで抽出された線分を除去する線分除去ステップと、
    前記２値化ステップで前景とされた画素でかつ前記線分除去ステップで線分の除去された連結する画素に対して同一のラベルを付与する第２ラベリングステップと、
    前記第２ラベリングステップにおいて同一ラベルが付与されたラベル領域ごとに、該ラベル領域の画像特徴量を算出する第２ラベル特徴量算出ステップと、
    前記第２ラベル特徴量算出ステップで算出されたラベル領域ごとのラベル特徴量から該ラベル領域の属性を判定する第１属性判定ステップと、
    前記第１ラベリングステップでラベリングされたラベル領域と前記第２ラベリングステップでラベリングされたラベル領域のそれぞれの包含関係を判定する包含関係判定ステップと、
    前記第１属性判定ステップでの属性判定結果と前記包含関係判定ステップでの包含判定結果とから、前記第１ラベリングステップでラベリングされたラベル領域の属性を判定する第２属性判定ステップと、
    前記第１ラベリングステップでラベリングされたラベル領域ごとの前記第２属性判定ステップでの属性判定結果を用いて、前記線分抽出ステップで抽出された線分の補正を行う線分補正ステップと
    を有することを特徴とする画像処理方法。
28. 入力された画像データに対して前景と背景を分離する処理を行う２値化ステップと、
    入力された画像データに対して所定画素数分の幅の線分を抽出する線分抽出ステップと、
    前記２値化ステップで前景とされた連結する画素に対して同一のラベルを付与する第１ラベリングステップと、
    前記第１ラベリングステップにおいて同一ラベルが付与されたラベル領域ごとに、該ラベル領域の画像特徴量を算出する第１ラベル特徴量算出ステップと、
    入力された画像データに対してエッジを抽出するエッジ抽出ステップと、
    前記２値化ステップで２値化された画像データから、前記エッジ抽出ステップで抽出されたエッジを除去するエッジ除去ステップと、
    前記２値化ステップで前景とされた画素でかつ前記エッジ除去ステップでエッジの除去された連結する画素に対して同一のラベルを付与する第２ラベリングステップと、
    前記第２ラベリングステップにおいて同一ラベルが付与されたラベル領域ごとに、該ラベル領域の画像特徴量を算出する第２ラベル特徴量算出ステップと、
    前記第２ラベル特徴量算出ステップで算出されたラベル領域ごとのラベル特徴量から該ラベル領域の属性を判定する第１属性判定ステップと、
    前記第１ラベリングステップでラベリングされたラベル領域と前記第２ラベリングステップでラベリングされたラベル領域のそれぞれの包含関係を判定する包含関係判定ステップと、
    前記第１属性判定ステップでの属性判定結果と前記包含関係判定ステップでの包含判定結果とから、前記第１ラベリングステップによってラベリングされたラベル領域の属性を判定する第２属性判定ステップと、
    前記第１ラベリングステップでラベリングされたラベル領域ごとの前記第２属性判定ステップでの属性判定結果を用いて、前記線分抽出ステップで抽出された線分の補正を行う線分補正ステップと
    を有することを特徴とする画像処理方法。
29. 入力された画像データに対して前景と背景を分離する処理を行う２値化ステップと、
    入力された画像データに対して所定画素数分の幅の線分を抽出する線分抽出ステップと、
    前記２値化ステップで前景とされた連結する画素に対して同一のラベルを付与する第１ラベリングステップと、
    前記第１ラベリングステップにおいて同一ラベルが付与されたラベル領域ごとに、該ラベル領域の画像特徴量を算出する第１ラベル特徴量算出ステップと、
    入力された画像データに対してエッジを抽出するエッジ抽出ステップと、
    前記線分抽出ステップで抽出された線分と前記エッジ抽出ステップで抽出されたエッジとを合成する画像合成ステップと、
    前記２値化ステップで２値化された画像データから、前記画像合成ステップで合成されたエッジと線分とを除去するエッジ・線分除去ステップと、
    前記２値化ステップで前景とされた画素でかつ前記エッジ・線分除去ステップでエッジおよび線分の除去された連結する画素に対して同一のラベルを付与する第２ラベリングステップと、
    前記第２ラベリングステップにおいて同一ラベルが付与されたラベル領域ごとに、該ラベル領域の画像特徴量を算出する第２ラベル特徴量算出ステップと、
    前記第２ラベル特徴量算出ステップで算出されたラベル領域ごとのラベル特徴量から該ラベル領域の属性を判定する第２属性判定ステップと、
    前記第１ラベリングステップでラベリングされたラベル領域と前記第２ラベリングステップでラベリングされたラベル領域のそれぞれの包含関係を判定する包含関係判定ステップと、
    前記第１属性判定ステップでの属性判定結果と前記包含関係判定ステップでの包含判定結果とから、前記第１ラベリングステップでラベリングされたラベル領域の属性を判定する第２属性判定ステップと、
    前記第１ラベリングステップでラベリングされたラベル領域ごとの前記第２属性判定ステップでの属性判定結果を用いて、前記線分抽出ステップで抽出された線分の補正を行う線分補正ステップと
    を有することを特徴とする画像処理方法。
30. 前記第２ラベル特徴量算出ステップで算出されたラベル領域ごとのラベル特徴量から、所定サイズ以下のラベル領域を除去する小領域除去ステップをさらに有し、
    前記第２属性判定ステップでは、前記小領域除去ステップで除去されなかったラベル領域の属性を判定する
    ことを特徴とする請求項２７〜請求項２９のいずれかに記載の画像処理方法。
31. 前記第１ラベリングステップでラベリングされた領域ごとに画像特徴量を算出する第２ラベル特徴量算出ステップと、
    前記第２ラベル特徴量算出ステップで算出されたラベル領域サイズを所定サイズと比較し、ラベル領域サイズが所定サイズ以下の領域を除去する第２小領域除去ステップとをさらに有する
    ことを特徴とする請求項２６〜請求項３１のいずれかに記載の画像処理方法。
32. 前記画像合成ステップで合成して得られる抽出領域を所定サイズ分だけ膨張処理する膨張処理ステップをさらに有し、
    前記エッジ・線分除去ステップでは、前記膨張処理ステップで膨張処理された抽出領域を除去する
    ことを特徴とする請求項２９〜請求項３１のいずれかに記載の画像処理方法。

Images