JP3999420B2 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
JP3999420B2
JP3999420B2 JP28071399A JP28071399A JP3999420B2 JP 3999420 B2 JP3999420 B2 JP 3999420B2 JP 28071399 A JP28071399 A JP 28071399A JP 28071399 A JP28071399 A JP 28071399A JP 3999420 B2 JP3999420 B2 JP 3999420B2
Authority
JP
Japan
Prior art keywords
pixel
unit
color
pixels
determination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP28071399A
Other languages
English (en)
Other versions
JP2001101390A (ja
Inventor
愼二 山川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP28071399A priority Critical patent/JP3999420B2/ja
Publication of JP2001101390A publication Critical patent/JP2001101390A/ja
Application granted granted Critical
Publication of JP3999420B2 publication Critical patent/JP3999420B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は,カラ−デジタル複写機やカラ−プリンタ,ファクシミリなどの画像形成装置に利用される画像処理装置および画像処理方法に関し,より詳細には,入力画像デ−タの特定領域が有彩色であるかを検出し,適切な画像処理を行う画像処理装置および画像処理方法に関する。
【0002】
【従来の技術】
近年,カラ−デジタル複写機やカラ−プリンタ,ファクシミリなど利用される画像処理装置は高機能化・高品質化がさらに要求されてきている。しかしながら,スキャナなどの画像入力装置から入力された原稿画像中の色(有彩)画素や黒(無彩)画素を検出する際には,デジタルサンプリングや機械的精度に起因するRGBの読み取りずれが存在する。かかるRGBの読み取りずれを図24を参照して説明する。
【0003】
同図(a)は,画像デ−タの断面を示しており,黒のデ−タは理想的には,RBGとも一致した理想の黒である。実際の画像デ−タは,レンズで読み取ってデジタル化するので,同図(b)が理想の波形となる。しかしながら,一般的な読み取り装置では,3ラインCCDセンサを用いているため,画像デ−タのRGB成分を時間的に同時に読み取ることができず,同図(c)に示すように,読み取りの位置ずれが生じてしまうという問題がある。
【0004】
このため,従来においては,位置ずれがないように,平滑化処理を行って補正を加えたり,あるいは位置ずれを考慮したパターンマッチングを行っている。また,色判定を行う際には,有彩/無彩画素を正確に判定するために,画素の抽出方法が提案されている。
【0005】
例えば,特開平5−236287号公報に開示されている「画像処理装置」では,RGBの多値画像デ−タを複数ライン蓄えて平滑化し,画像デ−タのずれを補正している。また,ここでは,画像を抽出して2値化する際に明暗に応じて抽出する画素の閾値を切替えている。
【0006】
また,特開平5−300390号公報では非線形デ−タを用いて正確な画像抽出を実現している。特開平5−244420号公報に開示されている「画像処理装置」では,画像デ−タを色相判定して色画素抽出を行っている。また,特開平9−247481号公報に開示されている「画像処理装置」では,位置ずれに関するものではないが,c,m,yのプレ−ンで色(有彩)網点か黒(無彩)網点の判定を行っている。
【0007】
さらに,特開平07−184075号公報では,RGBの読み取りの位置ずれを考慮して,パターンマッチングで,有彩判定している。また,特開平10−93829号公報では,有彩画素を検出する際に,無彩画素で補正すると黒地上の色文字を有彩判定できなくなるのでエッヂの変化量をみて補正を行っている。
【0008】
【発明が解決しようとする課題】
しかしながら,上記に示されるような従来の技術にあっては,RGBの多値画像デ−タを複数ライン蓄えて平滑化して補正することは,多値デ−タのbit数+参照ライン数を見て行うため,2値デ−タと比較して非常に多くのメモリを必要とし,さらに読み取り位置ずれを考慮したパターンを作成しても,局所的な変動に起因する誤判定を招来させやすいという問題点があった。
【0009】
本発明は,上記に鑑みてなされたものであって,複数の白レベルで有彩画素検出を行うことにより,少ないメモリ容量で効率よく,有彩画素を判定することが可能な画像処理装置および画像処理方法を提供することを目的とする。
【0010】
また,本発明は,上記に鑑みてなされたものであって,白レベルで有彩画素を補正して,白地上の黒文字の判定を軽減することが可能な画像処理装置および画像処理方法を提供することを目的とする。
【0011】
【課題を解決するための手段】
上述した課題を解決するために,請求項1に係る発明は,外部より入力された画像データの特定領域が有彩色であるか否かの原稿認識を行い,該認識の結果に基づいて所定の色補正処理を実行する画像処理装置において,前記画像デ−タを構成する画素のR,G,Bの各画素値と複数の所定の閾値とを比較して,比較結果に基づいて,前記画像データから色画素判定用の白画素である複数の判定用画素を抽出する抽出手段と,前記抽出手段で抽出した前記複数の判定用画素に基づいて,前記画像デ−タの有彩画素を検出する有彩画素検出手段と,を備えたものである。
【0012】
また,請求項2に係る発明は,請求項1に記載の画像処理装置において,前記有彩画素検出手段は,前記抽出手段で抽出した前記判定画素のうち,第1の判定画素に基づいて画像デ−タを補正し,前記複数の判定用画素に基づいて補正後の画像デ−タの有彩画素を検出するものである。
【0013】
また,請求項3に係る発明は,外部より入力された画像データの特定領域が有彩色であるか否かの原稿認識を行い,該認識の結果に基づいて所定の色補正処理を実行する画像処理方法において,前記画像デ−タを構成する画素のR,G,Bの各画素値と複数の所定の閾値とを比較して,比較結果に基づいて,前記画像データから色画素判定用の白画素である複数の判定用画素を抽出する抽出ステップと,前記抽出した前記複数の判定用画素に基づいて,前記画像デ−タの有彩画素を検出する有彩画素検出ステップと,を含むものである。
【0014】
また,請求項4に係る発明は,請求項3に記載の画像処理方法において、前記有彩画素検出ステップは,前記抽出した前記判定画素のうち,第1の判定画素に基づいて画像デ−タを補正し,前記複数の判定用画素に基づいて補正後の画像デ−タの有彩画素を検出するものである。
【0015】
【発明の実施の形態】
以下,本発明の画像処理装置および画像処理方法の実施の形態について添付図面を参照し,詳細に説明する。
【0016】
〔画像処理装置の構成・動作〕
図1は,本発明の実施の形態1に係る画像処理装置の概略構成を示すブロック図であり,原稿から画像デ−タを読み取り,該画像デ−タ(アナログ信号)をデジタルデ−タに変換して出力する原稿読取部101と,原稿読取部101で読み取った画像デ−タ(デジタルデ−タ)に各種補正処理等を施すと共に,線画認識・色判定等の原稿認識を行う画像処理部102と,画像処理部102からの画像デ−タに基づいて記録紙に画像を記録する画像記録部103と,から構成される。
【0017】
なお,ここでは,原稿読取部101でR(レッド)・G(グリ−ン)・B(ブル−)の3色のカラ−画像デ−タ(以下,RGBデ−タと記載する)を読み取って,画像処理部102でRGBデ−タをC(シアン)・M(マゼンタ)・(イエロ−)・Bk(ブラック)の4色のカラ−画像デ−タ(以下,CMYBkデ−タと記載する)に色変換し,画像記録部103でCMYBkデ−タに基づいて記録紙にカラ−画像を出力するものとして説明する。
【0018】
図2は,図1における画像処理部102の内部構成を示すブロック図であり,原稿読取部101からRGBデ−タ(デジタルデ−タ)を入力し,RGBデ−タのグレ−バランスの補正を行うと共に,反射率デ−タ(RGBデ−タ)を濃度デ−タ(RGBデ−タ)に変換するRGBγ補正部201と,原稿読取部101から入力したRGBデ−タに基づいて,文字領域か絵柄領域かを判定して次段のRGBフィルタ部204にC/P信号を出力すると共に,原稿領域の有彩領域か無彩領域かを判定してRGBフィルタ部204にB/C信号を出力する原稿認識部202と,RGBγ補正部201からRGBデ−タを入力し,原稿認識部202の出力結果と同期をとるためにRGBデ−タを遅延させる遅延部203と,RGBデ−タにMTF補正を行うRGBフィルタ部204と,RGBデ−タを一次のマスキング等でCMYデ−タに変換する色補正部205と,CMYデ−タの共通部分をUCR(加色除去)処理してBkデ−タを生成するUCR部206と,主走査方向の拡大・縮小または等倍処理を施す変倍部207と,平滑化処理や鮮鋭化処理を行うCMYBkフィルタ部208と,画像記録部103の周波数特性に応じてγ補正を行うCMYBkγ補正部209と,ディザ処理・誤差拡散処理等の量子化を行う階調処理部210と,から構成される。
【0019】
なお,原稿認識部202から出力されるC/P信号は2ビット信号であり,C/P信号が『3』で文字領域を示し,『1』で絵柄上の文字,『0』で絵柄領域を示す。このC/P信号は,RGBフィルタ部204,色補正部205,UCR部206,変倍部207,CMYBkフィルタ部208,CMYBkγ補正部209および階調処理部210にカスケ−ド接続され,画像デ−タに同期して信号IMGを出力する。
【0020】
また,B/C信号(1ビット信号)のロジックは,Hで無彩領域,Lで有彩領域を示す。このB/C信号は,RGBフィルタ部204,色補正部205,UCR部206にカスケ−ド接続され,画像デ−タに同期して出力する。
【0021】
RGBフィルタ部204は,RGBデ−タをMTF補正するフィルタであり,N×Nのマトリックスで構成されている。C/P信号が『3』のときには,鮮鋭化処理を行い,『0』のときには平滑化処理を行い,『1』のときには入力デ−タを処理せず,そのまま出力する。
【0022】
UCR部206は,画像デ−タの色再現を向上させるためのものであり,色補正部205から入力したCMYデ−タの共通部分をUCR(加色除去)処理してBkデ−タを生成し,CMYBkデ−タを出力する。ここで,C/P信号が『3』以外のときは,スケルトンブラックのBk生成を行う。C/P信号が『3』のときは,フルブラック処理を行う。さらにC/P信号が『3』かつB/C信号がHのときは,C・M・Yのデ−タをイレ−スする。これは,黒文字のとき,黒成分のみで表現するためである。また,出力信号IMGは,C・M・Y・Bkのうち一色を出力する面順次の一色である。すなわち,4回原稿読み取りを行うことにより,フルカラ−(4色)デ−タを生成する。
【0023】
CMYBkフィルタ部208は,画像記録部103の周波数特性やC/P信号に応じて,N×Nの空間フィルタを用い,平滑化や鮮鋭化処理を行う。
【0024】
CMYBkγ補正部209は,画像記録部103の周波数特性やC/P信号に応じて,γカ−ブを変更し処理する。C/P信号が『0』のときは画像を忠実に再現したγカ−ブを用い,C/P信号が『0』以外のときはγカ−ブを立たせてコントラストを強調する。
【0025】
階調処理部210は,画像記録部103の階調特性やC/P信号に応じて,ディザ処理等の量子化を行う。C/P信号が『0』のときは階調重視の処理を行い,C/P信号が『0』以外のときは解像力重視の処理を行う。
【0026】
上記画像処理部102の各部の構成より,明らかなように,画像処理部102では,絵柄処理(C/P信号=0)のときは,RGBフィルタ部204で平滑化処理を行い,UCR部206でスケルトンブラックの処理を行い,CMYBkγ補正部209ではリニア(階調性)を重視したカ−ブを選択し,CMYBkフィルタ部208および階調処理部210では階調を重視した処理を行う。
【0027】
一方,文字処理(C/P信号=3)のときは,RGBフィルタ部204で強調処理を行い,UCR部206でフルブラック処理を行い,CMYBkγ補正部209ではコントラストを重視したカ−ブを選択し,CMYBkフィルタ部208および階調処理部210では解像度を重視した処理を行う。
【0028】
また,黒文字処理(C/P信号=3でB/C信号=H)として,Bkを除くCMYのときには,CMYデ−タを印字しない。これは,黒文字の周りが位置ずれのために色付くのを防ぐためである。また,このときのBkデ−タのRGBフィルタは色文字のときより,強めにおこなってくっきりさせてもよい。
【0029】
さらに,絵柄処理(C/P信号=1)のときは,RGBフィルタ部204で弱強調処理または入力デ−タをそのまま出力するスル−処理を行い,UCR部206でフルブラック処理を行い,CMYBkγ補正部209ではコントラストを重視したカ−ブを選択し,CMYBkフィルタ部208および階調処理部210では解像度を重視した処理を行う。ここでは黒文字処理のような処理を行わない。
【0030】
このように画像処理部102では,絵柄,文字のエッヂ,絵柄上の文字の3種の処理を行うことができる。
【0031】
図3は,原稿認識部202の細部構成を示すブロック図である。原稿認識部202は,大別すると,線画らしさを検出する線画認識部301と,原稿の特定領域が有彩あるか無彩であるかを判定する色判定部302と,から構成される。なお,ここでは,原稿読取部101の読み取り密度が400dpi程度の場合を例として説明する。
【0032】
線画認識部301は,C/P信号を出力するが,その出力ロジックは,線画のエッヂである場合に『3』を出力し,絵柄上の線画のエッヂである場合に『1』を出力し,それ以外の場合には『0』を出力する。
【0033】
また,線画認識部301は,図示の如く,モノクロ化部303と,ラプラシアン部304と,パターンマッチング部305A,305Bと,孤立点除去部306A,306Bと,画素密度変換部307A,307Bと,ペ−ジメモリ308A,308Bと,セレクタ309A,309Bと,孤立ブロック除去部310A,310Bと,膨張部311A,311Bと,から構成される。なお,線画認識部301は,C/PAとC/PBを出力するが,CPA,Bが,(L,L)のときにC/P信号の『0』,(L,H)のときにC/P信号の『1』,(H,H)のときにC/P信号の『3』とし,C/PAおよびC/PBをC/P信号と呼ぶ。
【0034】
さらに,原稿認識部202では,原稿読取部101で読み取った原稿が,カラ−原稿であるか白黒原稿であるか否かの判定を行っている。自動カラ−選択モ−ド時において,第1スキャン(Bk)作像のときに,カラ−原稿であるか白黒原稿であるか否かの判定を行う。そして,その判定の結果が,白黒原稿であると判定した場合に1回スキャンで終了し,他方,カラ−原稿であると判定した場合に4回スキャンを実行する。
【0035】
色判定部302は,B/C信号を出力するが,その出力ロジックは,有彩領域であるとLを出力し,無彩領域であるとHを出力する。出力結果は,4×4画素を1画素に対応させた信号である。以下において出力結果の単位を1ブロックとする。なお,色判定部302は,図示の如く,色判定回路312と,ペ−ジメモリ313と,セレクタ314と,から構成される。
【0036】
以上の構成において,線画認識部301の各部の動作について詳細に説明する。
【0037】
線画認識部301に入力されたRGBデ−タは,先ず,モノクロ化部303において輝度デ−タに変換され,モノクロ信号となる。ただし,輝度デ−タでなくとも,RGBデ−タの中で最も濃いデ−タを選択し,モノクロ信号としても良く,またはGデ−タを輝度デ−タとして用い,モノクロ信号としてもよい。何れの場合も,モノクロ化部303から出力される出力デ−タは,数字が大きいと濃く,小さいと薄いことを表す。
【0038】
ラプラシアン部304は,線画のエッヂを抽出すると同ときに,白領域と黒領域とを検出する。白領域を検出することにより,白地上の線画の抽出のデ−タ(細線候補)とする。
【0039】
ここで,図4の記号化されたマトリックスを用いて白領域検出の動作について説明する。例えば,白領域のマトリックスを3×3とすると,次のようになる。
Figure 0003999420
【0040】
注目画素を含んで周辺デ−タが閾値thwより小さいとき,白領域候補とする。ここで,太線用と細線用と異なる値を使用する。太線用白領域候補は,一般的な白地の値を設定する。細線用白領域候補は,一般的な白地の値よりもやや低い値(白寄りの値)にする。細線用白領域候補の方を白寄りにするのは,絵柄(印刷物の網点や複写機の万線)のハイライト(明るい方)が白領域候補となるのを避けるためである。
【0041】
このパターンは直交パターンの例を示すが,斜めなどのパターンを追加してもよい。
【0042】
さらに,白領域候補から,白領域を算出するために以下のようにラプラシアンを求める。
x=(a22×2)−(a21+a23)×i
x=((a22×4)−(a11+a13+a31+a33))×i/2+x
x=(a22×2)−(a12+a32)+x
【0043】
ここで,iは主走査と副走査のMTFの違いや,変倍ときの補正をする重み係数である。このときのxの値がある値(N)の範囲ならば白領域とする。式で記述すると以下のようになる。
−N < x < N
ここでは,太線用の閾値と細線用の閾値とを分けても分けなくてもよい。
【0044】
このようにして,細線用白領域と太線用白領域とを算出する。これによって,絵柄上のハイライト側の小網点や万線パターンを抽出しないように除去している。
【0045】
次に,太線用白領域の補正について説明する。例えば,白黒反転した文字(白が文字で周辺が黒)の画像の際に,複写機のような光学的読取装置の場合,フレア(白一点でなく,周辺に黒の影響を受ける)等で,白デ−タが通常より黒よりになる場合がある。このため,以下の補正を行う。
【0046】
例えば,白領域のマトリックスを3×3とすると,次のようになる。
Figure 0003999420
【0047】
これを補正白領域候補として,上述したラプラシアンで補正白領域を算出する。ここでは,thwは太線より黒よりの値で,Nは上述した太線用白領域の値より,小さくする。Nを小さくするのは,白デ−タの変化量の少ない安定したデ−タを抽出するためである。ここで抽出した補正白領域の結果を上述した太線用白領域に補正し,太線用補正白領域とする。すなわち,補正白領域か,太線用白領域であれば,太線用補正白領域となる。ここでも,絵柄上のハイライト側の小網点や万線パターンを抽出しないように除去している。
【0048】
次に,黒領域を検出することにより,黒領域上の線画の抽出デ−タとする。ここで,図4の記号化されたマトリックスを用いて黒領域検出の動作について説明する。例えば,黒領域のマトリックスを3×3とすると,次のようになる。
Figure 0003999420
【0049】
注目画素を含んで周辺デ−タが閾値thbより小さいとき,黒領域候補とする。黒領域候補は,一般的な黒の値(換言すれば,文字として強調したい濃度)を設定する。このパターンは直交パターンの例を示すが,斜めなどのパターンを追加してもよい。
【0050】
さらに,黒領域候補から,黒領域を算出するために以下のようにラプラシアンを求める。
x=(a22×2)−(a21+a23)×i
x=((a22×4)−(a11+a13+a31+a33))×i/2+x
x=(a22×2)−(a12+a32)+x
【0051】
ここで,iは主走査と副走査のMTFの違いや,変倍ときの補正をする重み係数であり,前述した白領域の抽出のときと同様の式でよい。
【0052】
このときのxの値がある値(N)の範囲ならば黒領域とする。式で記述すると以下のようになる。
−N < x < N
この結果を黒領域とする。これによって,絵柄上のシャドウ側の網点や万線パターンを抽出しないように除去している。
【0053】
また,エッヂ量抽出は以下の式による。
x=(a22×2)−(a21+a23)×i
x=((a22×4)−(a11+a13+a31+a33))×i/2+x
x=(a22×2)−(a12+a32)+x
【0054】
ここで,iは選択的な係数であり,ハ−ドウェアを設計する際にゲ−ト規模が小さくなるような係数,例えば,1,1.115,1.25,1.375,1.5,1.625,1.175,1.875,2にしている(固定小数点演算)。このようにしておくことにより,主走査と副走査のMTF(光学系と走行系)等のぼけを修正する。
【0055】
一般に,主走査と副走査のMTFは異なっており,さらに副走査の変倍は読取装置の読み取り面積(速度)を可変することにより行っているため,副走査の変倍率によりMTFは異なる。ところが,この実施の形態では,図2で示したように,主走査変倍(変倍部207)が原稿認識部202の後に配設されているので,特に気にすることはない。さらに副走査の倍率が大きいとき,例えば,200%のときは,次にのようにエッヂ量を求めるようにマトリックスを選択可能にしてある。
【0056】
x=(a22×2)−(a21+a23)×i
x=((a22×4)−(a11+a13+a31+a33))×i/2+x
x=(a22×2)−(a12+a32)+x
【0057】
このようにすることにより,副走査の変倍処理に対応している。
前述したようにラプラシアン部304は,白領域信号と黒領域信号とエッヂ量を出力する。白領域信号(太線用と細線用)はLで白領域を示し,黒領域信号はHで黒領域を示す。
【0058】
図5は,線画の断面図であり,白領域と黒領域と閾値との関係を示す概念図である。図において,THBは黒領域の閾値,Thw1は白領域の細線用閾値,Thw2は白領域の太線用閾値,Thw3は白領域の補正用閾値を示す。また図6はエッヂ量(x)の関係を示す説明図である。
【0059】
次に,パターンマッチング部305A,305Bの動作について説明する。
パターンマッチング部305Aでは,黒領域周辺の白領域を抽出する。ここで白領域パターン(W)は,補正太線用白領域の信号であり,黒パターン(K)は黒領域信号とする。パターン例としては,下記の(7×7)のようになる。
【0060】
Figure 0003999420
【0061】
上記の例では,水平成分,垂直成分のみで示したが,同様に斜め成分のパターンも抽出する。このように黒領域上の白領域を抽出する。黒領域が多いので網点を線画と誤認識することなく,黒領域の線画を抽出することが可能となる。
【0062】
また,黒領域,太線補正用白領域,細線白領域の大小関係を利用してコ−ド化してもよい。コ−ド化の例として,黒領域をB,太線補正用白領域をW1,細線白領域をW2として説明する。この場合,コ−ド化しないと3ビット×nラインとなるが,次のようにコ−ド化すると2ビット×nラインとなる。
Bのとき → コ−ド『1』
W2のとき → コ−ド『2』
W1でかつW2でないとき → コ−ド『3』
BでもW1でもW2でもないとき → コ−ド『0』
【0063】
コ−ドは『0』〜『3』であるので2ビットで表現することができ,コ−ドを展開するときは逆の処理を行えばよい。また,大小関係は固定でなくとも良く,入れ替えることができるようにした方がよいことは勿論である。
【0064】
なお,処理の流れは,図7および図8のフロ−チャ−トで示すようになる。注目画素を図9に示すように設定したときに,図7のように主走査方向に処理を実行して終了する。副走査方向に注目画素を+1とし,主走査方向に再び処理を行う。
【0065】
ここで,図8のフロ−チャ−トを参照してパターンマッチング処理(図7のパターンマッチング処理)について説明する。前述したパターンに一致するか否かパターンマッチングを行い(S801),一致すると出力PM1(図2参照)はH(on)を出力し(S802),不一致であれば,出力PM1はL(off)を出力する(S803)。
【0066】
パターンマッチング部305Aでは,上記の処理により,線画の太線部分のエッヂを抽出する。
【0067】
パターンマッチング部305Bは,細線の検出を行う。細線とは,線幅が1mm以下で構成されている文字および線画を意味する。ここで黒パターン(k)は,黒領域またはエッヂ量が閾値THRB(図6参照)より大きいものをHとする。また,白パターン(w)は,細線用白領域またはエッヂ量が閾値THRWより小さい(マイナス成分であるので絶対値は大きい)ものをHとする。なお,倍率や,原稿種類(カラ−,白黒,印刷写真,印画紙写真,複写原稿,地図等),調整キ−等で変更するようにしてもよい。すなわち,エッヂ量成分で補正するのは細線のコントラストを上げるためである。
【0068】
細線のパターンの例としては,下記の(7×7)のようになる。
Figure 0003999420
【0069】
ここでは,水平成分,垂直成分のみで示したが,同様に斜め成分のパターンも抽出する。このように黒パターンの両側が白パターンで挟まれている場合に,細線候補として抽出する。
【0070】
なお,処理の流れは,図7および図10のフロ−チャ−トで示すようになる。注目画素を図9に示すように設定したときに,図7のように主走査方向に処理を実行して終了する。副走査方向に注目画素を+1とし,主走査方向に再び処理を行う。
【0071】
ここで,図10のフロ−チャ−トを参照してパターンマッチング部305Bのパターンマッチング処理について説明する。なお,MFBは状態変数であり,主走査の先端では0である。SFB(i)は,主走査方向の1ライン分の配列であり,1ライン前の状態変数である。
【0072】
先ず,現在の状態変数MFBと1ライン前の状態変数SFB(i)とを比較する(S11)。ここでMFB<SFB(i)であれば,MFB=SFB(i)として(S12),ステップS12へ進み,そうでなければ,そのままステップS12へ進む。
【0073】
ステップS12では,パターンマッチング部305Aからの出力PM1がonであるか否かを判定し,PM1がonでなければ(すなわち,offであれば),ステップS18へ進む。一方,PM1がonであれば,ステップS14〜S17でMFBの値が0より大きければ,その値を変更する。具体的には,MFBが8より大きければ16に設定し(S14,S15),MFBが0より大きく8より小さい場合には8に設定する。
【0074】
ステップS18では,白地領域であるか否かを判定する。ここでの白地領域は,ラプラシアン部304の出力の細線用白領域をaとして,次のようになるときに白地領域と判定する。
【0075】
Figure 0003999420
【0076】
ステップS18において,白地領域と判定された場合,パターンマッチング部305Bの出力1および出力2にL(off)を出力し(S19),MFB=16に設定し(S20),ステップS36へ進む。
【0077】
一方,ステップS18において,白地領域でないと判定された場合,前述した細線パターンと一致するか否かによって細線パターンであるか否かを判定し(S21),細線パターンでない場合には,パターンマッチング部305Bの出力1および出力2にL(off)を出力し(S22),MFB=0であるか否かを判定し(S23),MFB=0であればステップS36へ進み,MFB=0でなければ,MFB=MFB−1を設定して(S24),ステップS36へ進む。
【0078】
また,ステップS21において,細線パターンである場合には,MFB>8であるか否か判定し(S25),8より大きければ,パターンマッチング部305Bの出力1および出力2にH(on)を出力し(S26),さらにステップS28,S29で,MFB>16であればMFB=16に設定し,MFB>16でなければそのままステップS36へ進む。
【0079】
また,ステップS25で8より大きくなければ,MFB=0であるか否かを判定し(S30),MFB=0であれば,パターンマッチング部305Bの出力1および出力2にL(off)を出力し(S31),ステップS36へ進み,MFB=0でなければ,パターンマッチング部305Bの出力1にL(off)を出力し,出力2にH(on)を出力し(S32),MFB=MFB+4(ただし,MFBが16以上になる場合には,16にする)を設定して(S33),さらにステップS34,S35で,MFB>8であればMFB=8に設定し,MFB>8でなければそのままステップS36へ進む。
【0080】
ステップS36では,SFB(i)=MFBに設定し,1ライン前の状態変数SFB(i)を更新する。次に,ステップS37で,SFB(i)>SFB(i−1)を判定する。これは更新した1ライン前のデ−タと,更新した1ライン1画素前のデ−タとの比較である。1ライン前のデ−タSFB(i)が大きければ,SFB(i−1)=SFB(i)を設定し(S38),処理を終了する。
【0081】
上記の処理を主走査方向に順次行う。すなわち,状態変数MFBは,順次,図11の矢印▲3▼の方向に伝搬する。そして,ステップS36により矢印▲1▼の方向に伝搬し,ステップS37により矢印▲2▼の方向に伝搬する。このことより,ステップS18の白地領域判定またはステップS12のパターンマッチングで,状態変数をセットすることにより,白地上の極細線を検出することが可能となり,絵柄上の網点を誤抽出することがなくなる。さらにステップS14の細線パターンのマッチングにより,状態変数を再セットするので,文字の塊も良好に抽出することが可能となる。
【0082】
また,状態変数で,パターンマッチング部305Bの出力1,出力2を異ならせて出力するので,白地上の文字と網点上の文字を切りわけて出力することが可能となる。
【0083】
図11から明らかなように,副走査の矢印方向は0または+(プラス)方向であるので,ライン単位(主走査1ライン毎)に行う処理には,1ライン分の状態変数とパターンマッチングで必要なライン数のメモリを備えるだけで足り,ペ−ジメモリ等を備えることなく容易に実現することができる。
【0084】
なお,パターンマッチング部305Bは,図2に示すように,出力1を孤立点除去部306Aに出力し,出力2を孤立点除去部306Bに出力する。
出力1と出力2との違いは,状態変数の違いである。これによって,例えば,図12に示すように,罫線の枠の内部に文字(あ,い,う等)が記述されており,さらに枠の内部が網点の場合,罫線の枠は出力1,出力2とも細線と判断して,網点上の文字は状態変数の大きい出力2のみが細線と判断することが可能となる。
【0085】
次に,孤立点除去部306A,306Bについて説明する。孤立点除去部306A,306Bは,どちらも同一の回路からなる。孤立点除去部306Aの入力デ−タは,パターンマッチング部305Aの出力(PM1)とパターンマッチング部305Bの出力(出力1)からなり,孤立点除去部306Bの入力デ−タは,パターンマッチング部305Aの出力(PM1)とパターンマッチング部305Bの出力(出力2)からなる。孤立点除去部306A,306Bにおいて,線画は連続した線からなるので,孤立点を除去する。孤立点とは,網点を線画と誤検出した場合に生じる。
【0086】
パターンマッチング部305A,パターンマッチング部305Bのいずれか1つが抽出パターンであれば抽出パターンとする。例えば,4×4のパターンマッチングにおいて,抽出パターンが2以上ならば,中心画素(a22,a33でもよい)を抽出パターンとして補正して出力Hを出力する(抽出パターンとする)。このことにより,孤立点を除去すると同ときに,膨張(拡大)している。図3に示すように,孤立点除去部306A,306Bの出力は,それぞれPM2,PM3である。
【0087】
次に,画素密度変換部307A,307Bについて説明する。画素密度変換部307A,307Bは,どちらも同一ロジック(回路)である。現在まで,画像単位で行っていたが,ブロック単位(4×4)で処理を行うため,画素単位のデ−タをブロック単位に変換する。ここでは,単純に4×4の単純間引きをするが,孤立点除去部306A,306Bで実質上4×4の膨張も行っているのでデ−タの欠落は生じない。
【0088】
ペ−ジメモリ308A,308Bおよびペ−ジメモリ313(色判定部302のペ−ジメモリ)について説明する。ペ−ジメモリ308A,308Bおよび313の回路は,いずれも同一機能である。ペ−ジメモリ308Aは画素密度変換部307Aの出力結果を入力し,ペ−ジメモリ308Bは画素密度変換部307Bの出力結果を入力し,ペ−ジメモリ313は色判定回路312の出力結果を入力する。
【0089】
ペ−ジメモリ308A,308Bおよび313は,主走査方向1200ドット×副走査方向1736ライン(約2MB)で構成され,解像度を主・副走査方向共に16ドット/mmとするA3サイズおよびDLT用紙(ダブルレタ−サイズ)より大きなサイズを有する。第1スキャンときに入力デ−タをブロック(4×4画素)単位でペ−ジメモリ308A,308Bおよび313に記憶すると同ときに,セレクタ309A,309Bおよび314を介して出力される。第2スキャン以降では,第1スキャンときにペ−ジメモリ308A,308Bおよび313に記憶されている判定結果がセレクタ309A,309Bおよび314を介して出力される。すなわち,第1スキャンにおける色判定結果や線画抽出の処理デ−タが第2スキャン以降において用いられるので,スキャン毎の色判定結果,線画抽出結果(C/P信号)のバラツキをなくすことができる。
【0090】
次に,孤立ブロック除去部310A,310Bについて説明する。孤立ブロック除去部310A,310Bは,同一回路で同一機能を示す。例えば,5×5のブロックのマトリックスで,中心ブロックのみがon(H)で他がoff(L)であるときこのブロックは孤立しているので,offとして出力Lを出力する。onとは抽出パターンを意味する。このことにより,周辺デ−タから孤立しているブロックを除去する。
【0091】
次に,膨張部311A,311Bについて説明する。膨張部311A,311Bは,同一回路で同一機能を示す。ここでは,N×NのOR処理(膨張)をして,その後にM×MのAND処理を行う(縮小)。そして,5×5の補間処理を行う。M−Nが膨張量となる。
【0092】
MとNはN>Mである。ここでOR処理をするのは,孤立しているブロックを隣接または周辺のブロックと連結させるためである。例として,3×3ブロック(12×12画素に対応)の膨張例を示す。
Figure 0003999420
【0093】
その後に5×5画素のAND処理(収縮)を施す。以下にその例を示す。
Figure 0003999420
【0094】
その後に100dpiのギザギザが残っているので,補間処理を行う。図13に補間処理の例を示す。図において実線は100dpiの補正前のギザキザを示し,破線が補正後の出力を示す。例えば,5×5のマトリックスにおいて以下のようになる。線画抽出したデ−タが以下の論理式を満たすとき,注目画素a22のデ−タを反映(補正)する。
Figure 0003999420
パターン1,2,3,4の詳細は以下のようになる。なお,ここで!は不定演算子を示す。
【0095】
Figure 0003999420
【0096】
Figure 0003999420
【0097】
Figure 0003999420
【0098】
Figure 0003999420
【0099】
抽出パターンを膨張することにより,文字の交点などを繋ぎ,さらに線画とその周辺を線画処理する。上述のパターンマッチングは十字の交点を抽出できないが,この膨張処理により連結することができる。また,線画とその周辺を線画と見なすのは,黒文字処理と空間フィルタを良好に作用させるためである。
【0100】
このことにより,特に,カタログの使用期間・仕様表のように罫線の中に網点があっても良好に罫線を抽出できる。白地を含む罫線を文字として抽出し,網点上の文字は白地上の文字と別の判定結果を出力するので,白地上の文字と網点上の文字を識別して別の処理を行うことが可能となる。
【0101】
〔線画認識部301のパターンマッチング部305Bの他の例〕
ここでは,前述の図3で示した線画認識部301のパターンマッチング部305Bの出力の条件を変えたものである。なお,基本的な構成および動作は前述とと同様に付き,ここでは異なる部分のみを説明する。
【0102】
前述では,パターンマッチング部305Bで行う細線パターンマッチングにおいて,状態変数によって出力1および出力2を設定しているが,ここでは,さらに出力2の設定条件を追加して絵柄上の文字(罫線)を抽出できるようにするものである。
【0103】
図14は,第2のパターンマッチング処理(パターンマッチング部305B)のフロ−チャ−トを示す。図10に示したフロ−チャ−トと同一の符号は共通の処理を示すため,ここでは異なる部分のみを説明する。
【0104】
ステップS21において,前述した細線パターンであるか否かを判定し,細線パターンでない場合には,以下に示す細線パターン1と一致するか否かを判定する(S40)。
【0105】
細線パターン1は,前述した細線パターンと同一のもの使用するが,同一でなくてもよい。ここで黒パターン(k)は,黒領域またはエッヂ量が閾値THRB(図6参照)より大きいものをHとする。また,白パターン(w)は,細線用白領域またはエッヂ量が閾値THRWより小さい(マイナス成分であるので絶対値は大きい)ものをHとする。すなわち,エッヂ量成分で補正するのは細線のコントラストを上げるためである。THRB,THRWの少なくとも一方は,細線パターンマッチングより抽出し易い値にする。ただし,細線パターンと細線パターン1のパターンマッチングのパターンが異なるときは,抽出結果が細線パターンの方が抽出し易いようにしておく。
【0106】
ステップS40で,細線パターン1と一致しない場合は,パターンマッチング部305Bの出力1および出力2にL(off)を出力し(S22),MFB=0であるか否かを判定し(S23),MFB=0であればステップS36へ進み,MFB=0でなければ,MFB=MFB−1を設定して(S24),ステップS36へ進む。
【0107】
一方,ステップS40で,細線パターン1と一致する場合は,MFB>8であるか否かを判定し(S41),状態変数MFBが8より大きければ,パターンマッチング部305Bの出力1にL(off)を出力し,出力2にH(on)を出力し(S43),MFB=MFB−1を設定して(S24),ステップS36へ進む。また,状態変数MFBが8より大きくなければ,MFB=0であるか否かを判定し(S42),MFB=0でなければステップS32へ進み,MFB=0であれば,パターンマッチング部305Bの出力1および出力2にL(off)を出力し(S22),再度,MFB=0であるか否かを判定し(S23),MFB=0であればステップS36へ進み,MFB=0でなければ,MFB=MFB−1を設定して(S24),ステップS36へ進む。
【0108】
また,細線パターンマッチングと細線パターンマッチング1,閾値THRWおよびTHRBは大小関係を利用してコ−ド化してもよい。
コ−ド化の例としては,細線パターンのTHRW,THRBをそれぞれTHRW,THRBとし,細線パターン1のTHRW,THRBをそれぞれTHRW1,THRB1として,その大小関係を
THRW<THRW1<THRB1=THRB
とすると,この場合,コ−ド化しないと4または3ビット×nラインとなるが,次のようにコ−ド化すると2ビット×nラインとなる。
【0109】
P<THRW → コ−ド『0』
THRW <P<THRW1 → コ−ド『1』
THRW1<P<THRB → コ−ド『2』
THRB <P → コ−ド『3』
【0110】
ここで,Pはエッヂ量である。コ−ドは『0』〜『3』であるので2ビットで表現することができ,コ−ドを展開するときは逆の処理を行えばよい。また,大小関係は固定でなくとも良く,入れ替えることができるようにした方がよいことは勿論である。
【0111】
このことにより,状態変数(MFB)を用いて,白地上のパターンと網点や色地上のパターンを切り換えることが可能で,しかも状態変数は共通に使用することができる。
【0112】
また,良好に網点上の文字を抽出することが可能であれば,網点上の文字を抽出する際(図14のフロ−チャ−トのS40),状態変数を参照しなくもよい(S42の判定を常に一致していると判断する)。このような方法で網点上の文字と白地上の文字を分離してやってもよい。
【0113】
したがって,特に,カタログの使用説明・仕様表のように罫線の中に網点があっても良好に罫線を抽出することができる。
また,白地を含む罫線を文字として抽出し,網点上の文字は白地上の文字と別の判定を行っているので,実施の形態1よりさらに精度が向上する。白地上の文字と網点上の文字とを区別して,それぞれ別の処理を行うことが可能となる。
【0114】
図11において,P(i,J+1),P(i+1,J),P(i+1,J−1)の3通りの伝搬方向しかないが,特に,P(i+1,J−1)の方向に関しては,−1だけでなく,−2,−3等を追加して,状態変数の伝搬方向の主走査方向性をなくした方がよい。
【0115】
さらに,画像デ−タ全てをペ−ジメモリにもって行う装置においては,状態変数の伝搬方向は全方向(360度)にすれば,よいのは言うまでもない。
【0116】
図15に示すアンシャ−プマスキングによるディテ−ル強調効果を施す。図において,(a)は処理対象の主信号,(b)はアンシャ−プ信号,(c)はアンシャ−プマスク信号,(d)はディテ−ル強調ずみ信号を示している。これらのエッヂ特性例に基づき補正を行う。この実施の形態では,ラプラシアン部304で図15(c)のアンシャ−プマスク信号を用いてエッヂ量の補正を行うが,図15(d)のディテ−ル強調ずみ信号,他の信号を用いて補正してもよい。
【0117】
また,パターンマッチング部305Aで,白地上の黒(輪郭)を拾う場合には,網点(網掛け)上の文字は抽出しない。パターンマッチング部305Bにより,白地上の罫線と,網点上または色地上の罫線を別々に抽出する。例えば,“書”のような込み入った文字もパターンマッチング部305Bにより抽出する。
【0118】
なお,前述した例における状態変数は,状態変数の上限値を8(網点上の文字)と16(白地上の文字)で説明したが,いくつであっても構わない。
【0119】
網点上の文字と白地上の文字の分離方法は,罫線内の網掛けがあり,その中の文字の誤検出を避けるためで,罫線が細いと,文字が近くにある可能性があるからであり,また罫線の幅が太くなるにつれ文字が近くにある可能性が減るからである。
【0120】
前述した例により,小さい文字や,線画,白地上の画数の多い文字や網点上の文字を別々に抽出することが可能となる。副走査方向の反映方向が一方向なので,ラスタ−スキャン方式の読み出し方法で,特にハ−ドウェア化に適し,画像デ−タに容易に反映が可能である。
【0121】
上記画像処理装置は,線画のエッヂを検出するアルゴリズムであり,特に印刷物特有の網点を検出して除去することはしていないので,ジェネレ−ション(複写機の複写物)等の網点を含まない原稿にも特に有効である。
【0122】
抽出したパターンを,画素単位の孤立点除去で小さな領域誤判定を除去し,その後は,大きなブロック単位(4×4)単位で広い範囲で孤立ブロックを除去するので,誤判定を良好に除去できる。さらに,ブロック単位の粗い画素密度を元の画素密度に変換するので,ブロック単位の粗い画素はなくなる。
【0123】
また,前述した膨張部311A,311Bで,単純な膨張を行うと,孤立した領域が大きくなるだけであるが,この実施の形態のように,膨張量XとするとX=M−Nとして,M画素膨張させて,その後にN画素縮小しているので,X<Mであるから孤立した領域を連結させることができる。さらに膨張させる際に粗い密度で行っているので,換言すれば,粗い密度(ブロック単位)のまま膨張させるので,ハ−ドウェアの量を低減することができる。
【0124】
また,第1スキャンの結果を第2スキャン以降も用いるので,必ず線画判定結果と色判定結果は一致するので,バラツキなく処理を行うことができる。さらにメモリに記憶するデ−タは,最終結果ではなくデ−タ処理中に,処理密度が粗くなった(粗くした)デ−タを記憶するので,メモリに記憶するデ−量を低減することができる。
【0125】
また,線画判定結果と色判定結果の両方を,ペ−ジメモリ308A,308Bおよび313に記憶する代わりに,例えば,線画判定結果のみを記憶して,色判定結果はスキャン毎のものを用いてもよい。これにより,メモリ容量が2MB×2=4MBとなるので,市販の4MBのメモリを用いて容易に構成することができる。さらに,ペ−ジメモリ308Aを2MBとし,ペ−ジメモリ308Bおよび131を4×4ブロックでなく,8×4ブロックとして,ペ−ジメモリ308Bおよび131のメモリ容量を1MBとしても,全体のメモリ容量を4MB(2MB×2+1MB)にすることができる。
【0126】
また,全ての判定結果をメモリに記憶する代わりに,スキャン毎にパラツキの大きいものだけをメモリに記憶するようにしてもよい。
【0127】
[色判定部302の色判定回路312]
図16は色判定部302の色判定回路312の構成を示すブロック図である。色判定回路312は,上述したように,有彩色を検出ためのブロックである。この色判定回路312は,同図に示す如く,色相分割部501と,色相分割部501の出力C,M,Y,Wをそれぞれ5ライン蓄えるラインメモリ502〜505と,入力画像デ−タの色画素ブロックを判定してB/C信号を出力すると共に,カラ−原稿/白黒原稿を判定する色画素判定部506とから構成されている。
【0128】
上記色相分割部501の動作を説明する。色相分割部501は,入力されるRGBデ−タを,R,G,B,C,M,Y,Bk,ACS用Wの信号に分離し,さらに,色画素判定用の白画素を抽出する。色相分割の例としては,それぞれの色の境界を求め,RGBの最大値と最小値の差をRGB差と定義して,以下のようにする。なお,ここではRGBデ−タは,数字が大きくなると黒くなる。
【0129】
(1)R−Y色相領域境界(ry)
R−2*G+B>0
(2)Y−G色相領域境界(yg)
11*R−8*G−3*B> 0
(3)G−C色相領域境界(gc)
1*R−5*G+4*B<0
(4)C−B色相領域境界(cb)
8*R−14*G+ 6*B< 0
(5)B−M色相領域境界(bm)
9*R−2*G−7*B< 0
(6)M−R色相領域境界(mr)
R+5*G−6*B< 0
(7)ACS用W画素判定
(R<thwa)&(G<thwa)&(B<thwa)ならば,
y=m=c=0とする。
(8)Y画素画素判定
(ry==1)&(yg==0)&(RGB差>thy)ならば,
y=1,m=c=0とする。
(9)G画素判定
(yg==1)&(gc==0)&(RGB差>thg)ならば,
c=y=1,m=0とする。
(10)C画素判定
(gc==1)&(cb==0)&(RGB差>thc)ならば,
c=1,m=y=0とする。
(11)B画素判定
(cb==1)&(bm== 0)&(RGB差>thb)ならば,
m=c=1,y=0とする。
(12)M画素判定
(bm==1)&(mr==0)&(RGB差>thm)ならば,
m=1,y=c=0
(13)R画素判定
(mr==1)&(ry==0)&(RGB差>thr)ならば,
y=m=1,c=0
(14)BK画素判定
上記(7)〜(13)に該当しないとき,y=m=c=1とする。
【0130】
ここで,上記(7)〜(14)の優先順位は,数の小さい方を優先する。また,thwa,thy,thm,thc,thr,thg,thbは,複写(処理)前に決まる閾値である。RGB差とは,1画素内のRGBそれぞれの画像デ−タの最大値と最小値の差である
【0131】
さらに,色画素用W画素の判定を行う。(R < thw) & (G < thw) & (B < thw)ならば,色画素用W画素となる。この場合は,wとして出力する。
【0132】
ここで,thwは,複写(処理)前に決まる閾値である。thwとthwaの関係は,thw>thwaとなっている。
【0133】
出力信号として,c,m,yを3bitで出力する。つまり,3bitで,c,m,y,r,g,b,bkを表している。ここで色相毎に閾値をかえているのは,色相領域毎に,有彩範囲が異なる時に色相領域に応じた閾値を決定するためである。さらに,色画素用W画素のwを3ビット出力する。なお,かかる色相分割例は,一例であってこれに限定されるものではなく,他の式を用いても良いことは勿論である。
【0134】
色相分割部501の出力c,m,y,wは,それぞれラインメモリ502〜505に5ライン蓄えられ,色画素判定部506に入力される。
【0135】
図17は,図16の色画素判定部506の内部構成を示すブロック図である。この色画素判定部506は,カウント部601〜604,パターンマッチング部605〜607,色画素判定部608〜610,黒画素判定部611,ブロック化部612〜615,孤立点除去部(3×3)616,密度部617,618,膨張部(3×3)619,膨張部(5×5)620,総合色画素判定部621,膨脹部(9×9)622,連続カウント部623を備える。
【0136】
つぎに,上記構成の色画素判定部506の動作を説明する。ラインメモリ502〜505からの5ライン分のc,m,y,wのデ−タは,カウント部601,603およびパターンマッチング部606に入力される。また,ラインメモリ502〜504からの5ライン分のc,m,yデ−タは,カウント部602,604およびパターンマッチング部605,607に入力される。
【0137】
まず,B/C信号の処理系(カウント部601,パターンマッチング部606,色画素判定部608,ブロック化部612,孤立点除去部(3×3)616,膨張部(5×5)620)の動作について説明する。
【0138】
パターンマッチング部606の動作を説明する。パターンマッチング部606は,色画素用W画素が存在する場合には,c=m=y=0に補正する。この補正により,ACS用W画素より白レベルが大きくなる。また,パターンマッチング部606は,色相分割部501で判定した画素(c,m,y)が5×5において,c,m,yの全てが1(c=m=y=1)または全てが0(c=m=y=0)以外の画素(色画素)であるところについて,以下の如きパターンマッチングを行い,色画素候補2を判定する。
【0139】
まず,色画素パターン郡の検出を説明する。色画素パターン群を検出するためのパターン1―1〜1−4を以下に示す。図18は色画素パターン群を検出するためのパターン1―1〜1−4を示している。
Figure 0003999420
【0140】
上記において中心画素はD33である。上記の如くパターンマッチングしているのは,孤立点などを拾わないようにするためである。反対に,網点などの小面積の色検出する際には,中心画素が,1(c=m=y=1)または全てが0(c=m=y=0)以外の画素(色画素)であるかによって判定すればよい。
【0141】
つぎに,色細線用パターン郡の検出を説明する。色細線用パターン郡の検出は,白に囲まれた色線を検出するためのものであり,c,m,yが全て0のところのパターンマッチングを行う。色細線用パターン群を検出するためのパターン2―1〜2−4を以下に示す。図19は細線用パターン群を検出するためのパターン2―1〜2−4を示している。
Figure 0003999420
【0142】
つぎに,白領域パターン郡の検出について説明する。白領域パターン郡の検出は,c,m,yが全て0のところのパターンマッチングを行う。白領域パターン群を検出するためのパターン2―1〜2−4を以下に示す。図20は細線用パターン群を検出するためのパターン2―1〜2−4を示している。
【0143】
Figure 0003999420
【0144】
上述した色画素パターン郡,色細線用パターン郡,および白領域パターン郡のパターンマッチングの結果が,以下のパターンに一致した場合は,色判定用の色画素候補2とする。
((pm1==1)&((pw11==1)#(pw21!=1)))#
((pm2==1)&((pw12==1)#(pw22!= 1)))#
((pm3==1)&((pw13==1)#(pw23!=1)))#
((pm4==1)&((pw14==1)#(pw24!=1)))
【0145】
このパターンマッチングにより,白領域に囲まれた色画素を色画素候補2として,それ以外で白領域が存在する時は,色画素候補2としない。また,白領域がない色画素パターンマッチングで一致したものは,色画素候補2となる。
【0146】
つぎに,カウント部601の動作について説明する。カウント部601は,色画素用W画素が存在する時は,c=m=y=0に補正する。この補正により,ACS用W画素より白レベルが大きくなる。また,カウント部601は,色相判定部501で判定した画素(c,m,y)を5×5内において,それぞれ数をカウントする。このときカウントしたc,m,yの最大値と最小値の差が,thcnt以上でかつ,カウントしたc,m,yの最小値が,thmin未満ならば,色画素候補1とする。なお,上記thcntおよびthminは,複写(処理)前に設定する閾値である。
【0147】
ここで,y,m,cのプレ−ン展開して,N×Nのマトリックスにおいてそれぞれのプレ−ン毎に数を数えて,最少値をブラック(Bk)と仮定している。これにより,黒画素の読み取りがずれても補正することが可能となる。さらに,最大値と最小値の差があるものを有彩画素と仮定している。これにより,黒画素の読み取りがずれた画素を補正して有彩画素を抽出できる。すなわち,一定画素の有彩画素がある場合に有彩画素としている。
【0148】
パターンマッチング部606とカウント部601の出力は,色画素判定部608に入力される。色画素判定部608は,パターンマッチング部606とカウント部603の出力に基づいて,色画素か否かを判定する。より具体的には,色画素判定部608は,色画素候補1でかつ色画素候補2である場合には,色画素と判定する。色画素判定部608の判定出力はブロック化部612に入力される。
【0149】
ブロック化部612は,色画素判定部608の判定出力をブロック化をする。ここで,ブロック化とは,4×4画素のマトリックスにおいて,1画素以上の色画素がある場合には,色画素ブロックとして出力する。ブロック化部612以降の処理は,4×4を1ブロックとしてブロック単位で出力される。
【0150】
つぎに,ブロック化部612でブロック化したデ−タは,孤立点除去部616(3×3)において,注目画素の隣り合う画素に色画素ブロックがなければ孤立点として除去する。
【0151】
つづいて,孤立点除去部(3×3)616の出力を,膨張部(5×5)620にて,色画素ブロックが存在する場合は,5ブロック画素を膨張処理する。ここで,膨張処理を行うのは,色画素の周辺を黒文字処理しないようにするためである。膨張部(5×5)620は,B/C信号として,色画素ブロックのときには「L」を,それ以外のときは「H」を出力する。
【0152】
次に,カラー原稿/白黒原稿判定の処理系(カウント部602〜604,パターンマッチング部605〜607,色画素判定部609〜611,ブロック化部613〜615,密度部617,618,膨張部(3×3)619,総合色画素判定部621,膨張部(9×9)622,連続カウント部623)の動作について説明する。
【0153】
まず,カウント部603には,ラインメモリ502〜504からの5ライン分のc,m,y,wのデ−タが入力される。カウント部603は,色画素用W画素が存在するときは,c=m=y=0に補正する。この補正により,ACS用W画素より白レベルが大きくなる。また,カウント部603は,画素(c,m,y)を5×5内において,それぞれ数をカウントし,カウントしたc,m,yの最大値と最小値差が,thacnt以上でかつ カウントしたc,m,yの最小値が,thamin未満である場合は,ACS色画素候補1とする。なお,thacnt,thaminは,複写(処理)前に設定する閾値である。
【0154】
色画素判定部609は,前述のパターンマッチング部606とカウント部602の出力に基づいて,ACS色画素候補1か否かを最終的に判定する。具体的には,色画素判定部608はACS色画素候補1でかつ色画素候補2であれば,ACS色画素1と判定する。色画素判定部609の判定出力はブロック化部613に入力される。
【0155】
ブロック化部613は,色画素判定部609の判定出力をブロック化をする。ここで,ブロック化とは,4×4画素のマトリックスにおいて,1画素以上の色画素がある場合には,色画素ブロックとして出力する。ブロック化部612以降の処理は,4×4を1ブロックとしてブロック単位で出力される。
【0156】
密度部617は,ブロック化部613の出力に対して,孤立ブロックの除去をために,3×3ブロックの中のアクティブ条件が3個以上あり,注目画素がアクティブならば,アクティブブロックと判定し,判定結果を総合色画素判定部621に出力する。
【0157】
カウント部602は,色相分割部501で判定した画素(c,m,y)を5×5内において,それぞれ数をカウントし,カウントしたc,m,yの最大値と最小値差が,tha1cnt以上で,かつカウントしたc,m,yの最小値が,tha1min未満ならば,ACS色画素候補3とする。ここで,tha1cnt,tha1minは,複写(処理)前に設定する閾値である。
【0158】
パターンマッチング部605は,色画素検出で判定した画素(c,m,y)の5×5において,パターンマッチングを行う。パターンマッチングを行うパターンは上述の図18のパターンと同一である。パターンマッチング部605は,パターンマッチングで一致した画素を,ACS色画素候補4とする。
【0159】
色画素判定610は,前述のカウント部602およびパターンマッチング部605の出力に基づいて色画素の判定を行う。色画素判定610は,ACS色画素候補3でかつACS色画素候補4であれば,ACS色画素候補2とする。
【0160】
ブロック化部614は,色画素判定610の出力をブロック化する。ここで,ブロック化とは,4×4画素のマトリックスにおいて,1画素以上の色画素があれば,色画素ブロックとして出力する。ブロック化614以降の処理は,4×4を1ブロックとしてブロック単位で出力される。
【0161】
密度部618は,孤立ブロックの除去のために,3×3ブロックの中のアクティブ条件が3個以上あり,注目画素がアクティブならば,アクティブブロックとする。
【0162】
カウント部604は,色相分割部501で判定した画素(c,m,y)を5×5内において,それぞれ数をカウントし,カウントしたc,m,yの最小値が,thabk以上ならば,黒画素候補1とする。ここで,thabkは,複写(処理)前に設定する閾値である。
【0163】
パターンマッチング部607は,5×5において, c=m=y=1の画素のパターンマッチングを行う。使用するパターンは以下に示すとおり,上記図18のパターンと同様である。
【0164】
Figure 0003999420
【0165】
パターンマッチング部607は,上記パターンマッチングのどれかに一致した場合に,黒画素候補2とする。
【0166】
黒画素判定部611は,カウント部604とパターンマッチング部607の出力に基づいて,黒画素か否かの判定を行う。具体的には,黒画素判定部611は,黒画素候補1でかつ黒画素候補2であれば,黒画素と判定する。
【0167】
黒画素判定部611の出力は,ブロック化部615において,ブロック化する。ここで,ブロック化とは,4×4画素のマトリックスにおいて,1画素以上の色画素があれば,色画素ブロックとして出力する。ブロック化部615以降の処理は,4×4を1ブロックとしてブロック単位で出力する。
【0168】
膨張部(3×3)619は,3×3のマトリックス内において,注目画素がアクティブで,その周辺画素がノンアクティブならば,注目画素をノンアクティブにする。
【0169】
総合色画素判定部621は,密度部617,618および膨脹部(3×3)619の判定出力に基づき,ACS色画素候補2がアクティブでかつ無彩検出でアクティブでなければ色画素ブロックと判定し,また,ACS色画素候補1がアクティブのときも色画素ブロックと判定する。
【0170】
膨張部(9×9)622では,総合色画素判定部621で,色画素ブロックとと判定したブロックに対して小さな文字を連続と見なすために,9×9のマトリックス内に1ブロックでもアクティブブロックがあれば,アクティブブロックとする。ここで,大きく膨張するは,文字同士のすき間を埋めるためである。
【0171】
連続カウント部623は,色画素ブロックの連続性をチェックし,カラ−原稿か白黒原稿かを判定する。この判定結果は図示しないCPUに出力される。具体的には,連続カウント部623は,膨張部(9×9)622の出力デ−タ(色画素ブロック)をカウントすることにより,カラ−原稿か否かを判定する。
【0172】
図21〜図23を参照して,連続カウント部623の色画素ブロックの連続性をカウントする処理を説明する。図21は注目画素ブロックを説明するための図,図22は連続カウント部623の色画素ブロックの連続性をカウントする処理を説明するためのフローチャートである。同図において,MSは現在のラインの状態変数の配列,SSは1ライン前の状態変数の配列,Iは主走査の画素ブロック位置,Thacsは閾値,MS[I],SS[I]は連続カウント値を示す。図23は連続カウント値の具体例を示す図である。
【0173】
図22において,まず,注目画素ブロックが色画素ブロックであるか否かを判定し(ステップS100),注目画素ブロックが色画素ブロックでない場合には,MS[I]=0として(ステップS112),ステップS105に移行する一方,注目画素ブロックが色画素ブロックである場合には,ステップS101に移行する。ステップS101では,MS[I]=Thacs(閾値)であるか否かを判定する。この判定の結果,MS[I]=Thacsである場合には,カラ−原稿と判定する(ステップS113)。
【0174】
また,MS[I]=Thacsでない場合には,MS[I]<=SS[I+1](右上のブロック)であるか否かを判定し(ステップS102),MS[I]<=SS[I+1]であると判定した場合にはステップS107に移行する一方,MS[I]<=SS[I+1]でないと判定した場合にはステップS103に移行する。
【0175】
ステップS107では,SS[I](上のブロック)=0であるか否かを判定する。この判定の結果,SS[I]=0でない場合には,MS[I]=SS[I+1]として(ステップS108),すなわち,注目画素ブロックの連続カウント値を右上の画素ブロックの連続カウント値とし,ステップS103に移行する。他方,ステップS107で,SS[I]=0である場合には,SS[I−1](左上のブロック)=0であるか否かを判定し(ステップS109),SS[I−1]=0でない場合には,ステップS108に移行する。
【0176】
他方,ステップS109で,SS[I−1]=0である場合には,MS[I−1](左のブロック)=0であるか否かを判定する(ステップS110)。この判定の結果,MS[I−1]=0である場合には,MS[I]=SS[I+1]+1として(ステップS111),すなわち,注目画素ブロックの連続カウント値を右上の画素ブロックの連続カウント値+1とし,ステップS103に移行する。他方,ステップS110で,MS[I−1]=0でない場合には,ステップS108に移行する。
【0177】
さて,ステップS103では,MS[I−1](左のブロック)=MAX(MS[I−1],S[I−1],S[I])とし,注目画素ブロックの左,左上,上のブロックのうちの最大となる連続カウント値を,注目画素ブロックの左のブロックの連続カウント値とする。続いて,MS[I]<=MS[I−1]か否かを判定し(ステップS104),すなわち,注目画素ブロックの連続カウント値が左の画素ブロックの連続カウント値以下であるか否かを判定する。この判定の結果,MS[I]<=MS[I−1]でないと判定された場合にはステップS105に移行する一方,MS[I]<=MS[I−1]であると判定された場合には,MS[I]=MS[I−1]+1とした後(ステップS106),ステップS105に移行する。ステップS105では,I=I+1として,次の画素ブロックの連続カウント値の検出が行われる。
【0178】
上記フローでは,注目画素ブロックが色画素ブロックのときには,周辺の左,上,左上の画素ブロックの連続カウント値を+1してカウントする。また,注目画素ブロックが色画素ブロック場合に,左,上,左上の画素ブロックの連続カウント値がすべて0のときには,右上の画素ブロックの連続カウント数を+1してカウントし,他方,左,上,左上の画素ブロックの連続カウント数のどこかが0以外のときには,右上の画素ブロックの連続カウント数をそのまま保持する。そして,上記隣接画素ブロック(周辺の左,上,左上,右上)の連続カウント値の最大の値を注目画素ブロック(現在の画素ブロック)の連続カウント値とする。だたし,注目画素ブロックが色画素ブロックでない場合は,連続カウント値をクリアして0にする。すなわち,連続カウント値は,ほぼたての線分と横の線分の和となる。連続カウント値が閾値(Thacs)になった場合に,カラ−原稿と判定する(図23参照)。なお,右上の画素ブロックの連続カウント値を他と異なる扱いをしているのは,二重カウントを防ぐためである。
【0179】
上記した実施の形態において,色画素判定部608と色画素判定部609とを分けたのは,黒文字処理のための色画素判定は,誤判定をしても局所的でさほど目立たないが,カラ−原稿か白黒原稿かの判定は,誤判定をすると原稿全体に影響するため,カウント部を独立とした。本来ならば,色相分割部501から独立にした方が良いが,色相分割を独立にすると,パターンマッチングのメモリが増えるので,好ましくない。また,カウント部のパラメ−タで,色画素のパラメ−タを変更することより,メモリ量の増加を少なくしている。
【0180】
また,色画素判定部608を設けているのは,蛍光ペンの黄色のような濃度の低い色を検出するためであり,さらに黒画素判定部611を設けたのは,濃度を低くして誤検出した際に補正するためである。蛍光ペンなど濃度の薄い色は,ある程度の幅で黒デ−タで補正しても問題はない。複数の色画素を抽出する際に,Wのレベルを変えているだけなので,色画素検出のために2つ分のメモリを持つ必要がなく,1つ分+1ラインの容量で可能である。
【0181】
また,カラ−原稿を判定する際に,1ライン前の連続カウント値と現在のラインの連続カウント値を参照して連続カウント値を算出しているので,色画素ブロックの連続を正確にカウントすることが可能となる。
【0182】
また,本実施の形態では,RGBデ−タに対して行ったが,RGBデ−タに限定するものではなく,例えば輝度色差(Lab色空間)などに対して,色相判定することにしても良い。
【0183】
以上説明したように,本実施の形態においては,色判定回路312は,複数の白レベル(ACS用W画素,色画素用W画素)に基づいて,有彩画素の検出を行うこととしたので,少ないメモリで効率よく,有彩画素判定をすることが可能となる。
【0184】
また,本実施の形態においては,色判定回路312は,白レベル(色画素用W画素)で有彩画素を補正(c=m=y=0)しているので,白地上の黒文字の判定を軽減することが可能となる。
【0185】
【発明の効果】
以上説明したように,請求項1に係る画像処理装置によれば,抽出手段は画像デ−タを構成する画素のR,G,Bの各画素値と複数の所定の閾値とを比較して,比較結果に基づいて,画像データから色画素判定用の白画素である複数の判定用画素を抽出し,有彩画素検出手段は抽出手段で抽出した複数の判定用画素に基づいて,画像デ−タの有彩画素を検出することとしたので,少ないメモリで効率よく,有彩画素判定をすることが可能となる。
【0186】
また,請求項2に係る発明によれば,請求項1に記載の画像処理装置において,有彩画素検出手段は,抽出手段で抽出した前記判定画素のうち,第1の判定画素に基づいて画像デ−タを補正し,複数の判定用画素に基づいて補正後の画像デ−タの有彩画素を検出することとしたので,白地上の黒文字の判定を軽減することが可能となる。
【0187】
また,請求項3に係る画像処理方法によれば,画像デ−タを構成する画素のR,G,Bの各画素値と複数の所定の閾値とを比較して,比較結果に基づいて,画像データから色画素判定用の白画素である複数の判定用画素を抽出し,抽出した複数の判定用画素に基づいて,画像デ−タの有彩画素を検出することとしたので,少ないメモリで効率よく,有彩画素判定をすることが可能となる。
【0188】
また,請求項4に係る発明によれば,請求項3に係る画像処理方法において,抽出した判定画素のうち,第1の判定画素に基づいて画像デ−タを補正し,複数の判定用画素に基づいて補正後の画像デ−タの有彩画素を検出することとしたので,白地上の黒文字の判定を軽減することが可能となる。
【図面の簡単な説明】
【図1】本発明の実施の形態に係る画像処理装置の概略構成を示すブロック図である。
【図2】図1における画像処理部の内部構成を示すブロック図である。
【図3】図2における原稿認識部の内部構成を示すブロック図である。
【図4】線画認識部のラプラシアン部における白領域検出または黒領域検出の動作を説明するための記号化されたマトリックスを示す説明図である。
【図5】線画の断面図であり,白領域と黒領域と閾値との関係を示す概念図である。
【図6】エッヂ量(x)の関係を示す説明図である。
【図7】パターンマッチング処理のフロ−チャ−トである。
【図8】パターンマッチング処理(パターンマッチング部)のフロ−チャ−トである。
【図9】パターンマッチング処理における注目画素の設定を示す説明図である。
【図10】本発明の実施の形態に係るパターンマッチング処理(パターンマッチング部)を示すフロ−チャ−トである。
【図11】図10のパターンマッチング処理における状態変数MFBの伝搬を示す説明図である。
【図12】線画認識部のパターンマッチング部における状態変数の違いによる細線の判断例を示す説明図である。
【図13】線画認識部の膨張部における補間処理の例を示す説明図である。
【図14】本発明の実施の形態に係るパターンマッチング処理(パターンマッチング部)を示すフロ−チャ−トである。
【図15】アンシャ−プマスキングによるディテ−ル強調効果を示す説明図である。
【図16】図3の色判定部の色判定回路の構成を示すブロック図である。
【図17】図16の色画素判定部の内部構成を示すブロック図である。
【図18】パターンマッチングに使用するパターン例(色画素パターン群を検出するためのパターン)を示す説明図である。
【図19】パターンマッチングに使用するパターン例(色細線用パターン群を検出するためのパターン)を示す説明図である。
【図20】パターンマッチングに使用するパターン例(白領域パターン群を検出するためのパターン)を示す説明図である。
【図21】参照画素ブロックを説明するための図である。
【図22】色画素ブロックの連続性をカウントの処理を説明するためのフロ−チャ−トである。
【図23】連続カウント値の具体例を示す図である。
【図24】RGBの読み取りずれを説明するための説明図である。
【符号の説明】
101 原稿読取部
102 画像処理部
103 画像記録部
201 RGBγ補正部
202 原稿認識部
203 遅延部
204 RGBフィルタ部
205 色補正部
206 UCR部
207 変倍部
208 CMYBkフィルタ部
209 CMYBkγ補正部
210 階調処理部
301 線画認識部
302 色判定部
303 モノクロ化部
304 ラプラシアン部
305A,305B パターンマッチング部
306A,306B 孤立点除去部
307A,307B 画素密度変換部
308A,308B ペ−ジメモリ
309A,309B セレクタ
310A,310B 孤立ブロック除去部
311A,311B 膨張部
501 色相分割部
502〜505 ラインメモリ
506 色画素判定部
601〜605 カウント部
605〜607 パターンマッチング部
608〜610 色画素判定部
611 黒画素判定部
612〜615 ブロック化部
616 孤立点除去部
617,618 密度部
619,620,622 膨張部
621 総合色画素判定部
623 連続カウント部

Claims (4)

  1. 外部より入力された画像データの特定領域が有彩色であるか否かの原稿認識を行い,該認識の結果に基づいて所定の色補正処理を実行する画像処理装置において,
    前記画像デ−タを構成する画素のR,G,Bの各画素値と複数の所定の閾値とを比較して,比較結果に基づいて,前記画像データから色画素判定用の白画素である複数の判定用画素を抽出する抽出手段と,
    前記抽出手段で抽出した前記複数の判定用画素に基づいて,前記画像デ−タの有彩画素を検出する有彩画素検出手段と,
    を備えたことを特徴とする画像処理装置。
  2. 前記有彩画素検出手段は,前記抽出手段で抽出した前記判定画素のうち,第1の判定画素に基づいて画像デ−タを補正し,前記複数の判定用画素に基づいて補正後の画像デ−タの有彩画素を検出することを特徴とする請求項1に記載の画像処理装置。
  3. 外部より入力された画像データの特定領域が有彩色であるか否かの原稿認識を行い,該認識の結果に基づいて所定の色補正処理を実行する画像処理方法において,
    前記画像デ−タを構成する画素のR,G,Bの各画素値と複数の所定の閾値とを比較して,比較結果に基づいて,前記画像データから色画素判定用の白画素である複数の判定用画素を抽出する抽出ステップと,
    前記抽出した前記複数の判定用画素に基づいて,前記画像デ−タの有彩画素を検出する有彩画素検出ステップと,
    を含むことを特徴とする画像処理方法。
  4. 前記有彩画素検出ステップは,前記抽出した前記判定画素のうち,第1の判定画素に基づいて画像デ−タを補正し,前記複数の判定用画素に基づいて補正後の画像デ−タの有彩画素を検出することを特徴とする請求項3に記載の画像処理方法。
JP28071399A 1999-09-30 1999-09-30 画像処理装置および画像処理方法 Expired - Fee Related JP3999420B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP28071399A JP3999420B2 (ja) 1999-09-30 1999-09-30 画像処理装置および画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP28071399A JP3999420B2 (ja) 1999-09-30 1999-09-30 画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
JP2001101390A JP2001101390A (ja) 2001-04-13
JP3999420B2 true JP3999420B2 (ja) 2007-10-31

Family

ID=17628922

Family Applications (1)

Application Number Title Priority Date Filing Date
JP28071399A Expired - Fee Related JP3999420B2 (ja) 1999-09-30 1999-09-30 画像処理装置および画像処理方法

Country Status (1)

Country Link
JP (1) JP3999420B2 (ja)

Also Published As

Publication number Publication date
JP2001101390A (ja) 2001-04-13

Similar Documents

Publication Publication Date Title
JP3436828B2 (ja) 画像処理装置
US6014462A (en) Image processing apparatus and method for distinguishing alphanumeric symbols on a white background and those on a mesh pattern and individually processing such image data
US9204017B2 (en) Image processing device, image processing method, and computer program product
JP4047356B2 (ja) 画像処理装置
JP3989636B2 (ja) 画像処理装置
JP4320309B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、および該プログラムを記録した記録媒体
JP3999420B2 (ja) 画像処理装置および画像処理方法
JP4059600B2 (ja) 画像処理装置および画像処理方法
JP4695472B2 (ja) 画像処理装置、画像形成装置、画像処理方法、プログラム及び記憶媒体
JP3861498B2 (ja) 黒エッジ部の判別装置及び画像処理装置
JP3767210B2 (ja) 原稿種判定装置及び画像処理装置
JP3944032B2 (ja) 画像処理装置およびその方法
JPH0541796A (ja) 複写装置
JP3857494B2 (ja) 画像処理装置
JP3564216B2 (ja) 画像処理装置
JP2000125140A (ja) 画像処理装置
JP2000152012A (ja) 画像処理装置
JP3700456B2 (ja) カラー画像処理装置
JPH1023251A (ja) 画像処理装置
JP3723666B2 (ja) 画像処理装置
JP3506848B2 (ja) 画像処理装置
JP3596962B2 (ja) 画像処理装置
JPH08149289A (ja) 網点領域判定装置
JPH08149291A (ja) 網点領域判定装置
JPH1079852A (ja) 画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040322

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070313

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070514

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070807

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070809

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100817

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100817

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110817

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110817

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120817

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120817

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130817

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees