JP3894409B2 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
JP3894409B2
JP3894409B2 JP2000061900A JP2000061900A JP3894409B2 JP 3894409 B2 JP3894409 B2 JP 3894409B2 JP 2000061900 A JP2000061900 A JP 2000061900A JP 2000061900 A JP2000061900 A JP 2000061900A JP 3894409 B2 JP3894409 B2 JP 3894409B2
Authority
JP
Japan
Prior art keywords
halftone
area
image
scanning direction
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000061900A
Other languages
English (en)
Other versions
JP2001251504A (ja
JP2001251504A5 (ja
Inventor
敏 大内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2000061900A priority Critical patent/JP3894409B2/ja
Publication of JP2001251504A publication Critical patent/JP2001251504A/ja
Publication of JP2001251504A5 publication Critical patent/JP2001251504A5/ja
Application granted granted Critical
Publication of JP3894409B2 publication Critical patent/JP3894409B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Record Information Processing For Printing (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、入力原稿が中間調部を含む原稿であるか否かを高精度に判定し、またデジタル化された画像データ中の注目画素ないし注目ブロックが、所定の中間調領域であるか否かを高精度に判定する画像処理装置および画像処理方法に関する。
【0002】
【従来の技術】
従来から、ユーザーによって原稿モードが指定される機能を備え、原稿の種類(画像種)に応じた処理を行う画像処理装置が種々提案されている。すなわち、ユーザーが指定する原稿に応じて処理を切り替える装置であって、原稿のタイプを4種類(文字/写真、文字、写真、地図)のモードに分類し、ユーザーがキー操作により指定するモードに従って、空間フィルタの強さやスクリーン線数を切り替えている。
【0003】
また、上記したモードにおいて、写真原稿を選択した場合、さらに、その写真が印画紙写真であるか、印刷写真であるかを指定選択できるようになっている。
【0004】
【発明が解決しようとする課題】
上記した方法では、対象となっている原稿が例えば写真である場合には、まず写真モードを選択し、その後、印画紙あるいは印刷を選択しなければならず、操作が煩雑とならざるを得ない。
【0005】
そこで、自動的に原稿を判定する方法が提案されている。その一つの方法は、印画紙写真部に属する画素、印刷写真部(網点部)に属する画素あるいはブロックの塊、つまり連続性を検出し、その検出結果を基に原稿が、印画紙写真画像を含むか否か、印刷写真画像を含むか否かを判定する方法である。
【0006】
しかしこの方法は、特にイエロー系の中間調の判定精度が低いという問題があった。つまり、イエロー系の中間調が含まれているにも関わらず、含まれていないという判定がなされる傾向があった。
【0007】
他の方法として、入力画像データから最小信号(黒が0)を検出し、この最小信号を基に入力画像の中間調(例えば、網点絵柄)領域を検出する方法もある(例えば特開平2−295358号公報を参照)。この方法でも、特にイエロー系の中間調の検出結果に誤りが生じることがある。つまり、注目画素がイエロー系の中間調領域であるにも関わらず、そうではないと誤判定してしまう。
【0008】
本発明は上記した問題点に鑑みてなされたもので、
本発明の目的は、原稿中に中間調領域が含まれるか否かを高精度に判定する画像処理装置および画像処理方法を提供することにある。
本発明の他の目的は、画像データにおける注目画素あるいは注目ブロックが、所定の中間調領域であるか否かを高精度に判定する画像処理装置および画像処理方法を提供することにある。
【0009】
【課題を解決するための手段】
本発明では、入力原稿が中間調部を含む原稿であるか否かを高精度に判定する。すなわち、その中間調が銀塩写真に代表されるような印画紙写真を含む原稿であるか否か、印刷写真を含む原稿であるか否かを判定する。そして、本発明では、この判定結果を利用して、例えばカラー複写機においては、色補正係数を切り替えるという適応処理を行うことにより、原稿に最適な色再現処理を施すようにする。
【0010】
また、本発明では、デジタル化された画像データ中の注目画素ないし注目ブロックが、所定の中間調領域であるか否かを高精度に判定する。すなわち、その中間調が銀塩写真に代表されるような印画紙写真を含む原稿であるか否か、印刷写真を含む原稿であるか否かを判定し、この判定結果を利用して、例えばカラー複写機においては、局所的にフィルタ係数を切り替えるという適応処理を行うことにより、原稿に最適な空間周波数補正処理を施すようにする。
【0011】
【発明の実施の形態】
以下、本発明の一実施例を図面を用いて具体的に説明する。
(実施例1)
図1は、本発明の実施例1に係る画像種認識装置の構成を示す図である。図1において、入力信号はスキャナなどの画像入力装置からの信号であり、1は簡易的な色補正を行なう色補正回路、2はRGBの最大値を選択する最大値選択回路、3は中間調に属する画素を検出する中間調画素検出回路、4はそれ以後の処理を例えば4画素×4画素のサイズのブロック単位処理で行う前処理のためのブロック化回路、5は注目ブロックから主走査方向に所定数連続で中間調ブロックが繋がっているか否かを検出する主走査方向の連続性検出回路、6は注目ラインから副走査方向に所定数連続で中間調ラインが繋がっているか否かを検出する副走査方向の連続性検出回路であり、出力信号は、所定の中間調領域を含むか否か示す信号となる。
実施例1の動作を説明すると、入力信号はカラースキャナなどの画像入力装置で、CCDなどを用いそのレスポンスに応じて多値のデジタル信号を得て、さらに図示しないテーブルなどによるLog変換を行ない、概ね濃度リニアの信号(ここでは400dpi、6bit信号:つまり、原稿の白が0、黒が63の値をとる、R[レッド]G[グリーン]B[ブルー]の3信号)を入力する。
【0012】
次に、色補正回路1において、簡易的なマスキング処理を行なう。ここで行なうマスキング処理は、従来から原稿と出力画の色合わせ(カラーマッチング)のために実施される高性能な処理(例えば、高次の近似式など)を必要とせず、図2に示すような簡単な線形マスキングを行なう。また、処理を簡単化して本発明の一つの特徴である、原画像中のイエロー系の領域に対する認識精度を向上させる場合には、イエローの補色であるB信号だけの補正を行ってもよい。
【0013】
そして、この色補正回路1からの(R1,G1,B1)の3信号に対し、最大値選択回路2では、3信号のうちの最大値を画素毎に選択する。
【0014】
次いで、中間調画素検出回路3では、注目画素が所定の中間調に属する画素であるか否かの判定を行う。中間調画素としては、具体的に以下の2つのケースがある。
【0015】
その一つは、中間調が印画紙写真の場合である。
この場合には、中間調画素検出回路3として、基本的には特開平7−298074号公報に記載された写真画素検出回路(図7)と同様の回路を用いる。図7は、写真画素検出回路を含む写真画像判定部を示す。写真画素検出回路40において、3値化回路41はG(グリーン)信号を2つの閾値で3値化し、中間レベル画素(閾値α>X>閾値β)に対し、パターンマッチング回路42は図8に示すパターンとのマッチングを行い、3×7の全ての画素が中間レベルであるとき、3×7サイズの画像の注目画素(中心画素)を写真原稿画素として出力する。
【0016】
本発明では、注目画素を含む5画素×3画素程度のマスク内において、マスク内全ての画素が中間濃度レベルの画素である場合に、注目画素を写真画素として判定する。
【0017】
他の一つは、中間調が印刷写真の場合である。
この場合には、中間調画素検出回路3として、基本的には前掲した特開平7−298074号公報に記載された網点画素検出回路と同様の回路を用いる。すなわち、注目画素を含む3画素×3画素のマスク内において、マスク内全ての画素が注目画素よりも所定レベル大きい、あるいは所定レベル小さい場合に、注目画素を網点(あるいはピーク)画素として判定する。
【0018】
ブロック化回路4においては、4画素×4画素のブロックの中に中間調画素と判定されたアクティブ画素が所定の個数以上ある場合に、注目ブロックを中間調ブロックとして判定する。
【0019】
主走査方向の連続性検出回路5においては、注目ブロックが中間調ブロックである場合に、第1のカウンタのカウントを開始し(当然、注目ブロックの前のブロックが非中間調ブロックである)、そのブロックから主走査方向に中間調ブロックが繋がる限りカウントアップする。そして注目ライン中の最大連続数を算出し、予め定めた個数以上の中間調ブロックが連続で繋がっているか否かを判定し、連続性有りと判定されたラインをアクティブラインとして一旦、回路内のラインバッファに記憶する。
【0020】
副走査方向の連続性検出回路6においては、ある注目ラインの主走査方向の連続性を検出し終わった場合、注目ラインがアクィブラインである場合に、前ラインがノンアクティブラインであれば、第2のカウンタのカウントを開始し、前ラインがアクティブラインであった場合には、第2のカウンタをカウントアップする。そして画面中の副走査方向のアクティブライン最大連続数を算出し、予め定めた個数以上、中間調ラインが連続で繋がっているか否かを判定し、連続性有りと判定された場合に、注目画像に所定の中間調を含むと判定する。
【0021】
主走査方向の連続性検出と、副走査方向の連続性検出は、一枚の画像データが終了するまで行うが、目的の中間調領域が見つかった時点で終了してもよい。この場合、処理が高速化される。
【0022】
次に、本発明の画像種認識装置を利用した画像再生装置について説明する。前述したように、画像種認識装置は、シリアルに入力される画像データを所定数のラインバッファに保存し、その画素領域に対して、原稿種を判定する。その判定結果として、注目原稿に、印画紙写真が含まれるか否か、印刷写真が含まれるか否かという情報が得られる。
【0023】
このような原稿種認識装置を例えば、カラー複写機などの画像再生装置に利用すると、プレスキャン時に原稿種判定装置(あるいは回路)が動作し、注目原稿に印画紙写真が含まれると判定された場合には、写真領域に印画紙用の色補正係数を用いることにより、色再現性を向上させることが可能となる。あるいはまた、印刷写真が含まれないという判定がなされた場合には、モアレ発生の原因がないことから、例えば空間フィルタ補正係数を、高域を強調するような係数とし、結果として文字の解像度を向上させることが可能となる。
また、ネットワークを通じて得られた画像データの場合でも、一旦記憶装置に保存するなどして、同様の処理を施して、例えばカラープリンタで出力することも可能である。
【0024】
(実施例2)
図3は、本発明の実施例2に係る像域分離装置の構成を示す図である。図3において、色補正回路1、最大値選択回路2は前述した実施例1のものと同様である。7は注目画素が印画紙領域に属すか否かを判定する回路、8は注目画素が印刷領域に属すか否かを判定する回路、9は、印画紙領域検出回路7と印刷領域検出回路8の判定結果を基に、注目画素が何れの領域に属するかを総合的に判定する総合判定回路である。
【0025】
次に、検出回路7,8以降の処理について詳述する。
印画紙領域検出回路7は、前掲した特開平7−298074号公報に記載の写真画素検出回路を用いて、印画紙候補画素を検出する。すなわち、注目画素を含む5画素×3画素程度のマスク内において、マスク内全ての画素が中間濃度レベルの画素である場合に、注目画素をアクティブ画素として判定する。
【0026】
その後、例えば4×4のブロックにおいて、アクティブ画素をカウントし、所定個数以上含まれる場合には、注目ブロックの中心画素あるいは注目ブロック内の全ての画素を印画紙領域として判定する。
【0027】
印刷領域検出回路8は、原稿中から印刷すなわち網点の領域を検出する回路である。本実施例では、網点領域の検出方法として、例えば、論文「文字/絵柄(網点、写真)混在画像の像域分離方式」(電子情報通信学会論文誌Vol.J−75−D−II No.1 pp39−47 1992年1月を参照)に記載された、「4.1網点領域検出」方法を用いる。
【0028】
この方法は、Log変換後の上位6bitに対して、カラー網点領域と白黒網点領域の濃度変化は文字領域の濃度変化と大きく異なる点に着目し、ピーク画素の検出、網点領域の検出、網点領域の補正を行い、網点領域を分離するものである。
【0029】
ピーク画素の検出は、例えば、図9に示すように、3×3画素のブロックにおいて、中心画素の濃度レベルLが周囲のすべての画素のそれよりも高い、あるいは低く、かつ、Lと中心画素を挟んで対角線に存在する対画素の濃度レベルa,bが、4対ともに、|2×L−a−b|>TH(固定の閾値)であるとき、中心画素をピーク画素とする。
【0030】
網点領域の検出は、例えば4×4画素を単位とした4つのブロックにおいて、ピーク画素を含むブロックが2ブロック以上存在すれば、注目ブロックを網点候補領域とし、それ以外は非網点候補領域と判定する。網点/非網点候補領域を判定した後、注目ブロックを中心とした9つのブロックにおいて4ブロック以上が網点候補領域であれば、注目ブロックを網点領域とし、そうでなければ注目ブロックを非網点領域とする。
【0031】
総合判定回路9では、印画紙領域検出回路7と印刷領域検出回路8の検出結果を基に総合的に判定を行なう。この時、モアレ発生の抑制を優先的に考慮するために、後者の検出結果を優先的に選択する。
すなわち、判定のルールは次のようになる。
(a)印刷領域検出回路8の出力(1ビット)がオンであれば、印刷写真領域であると判定する。
(b)印刷領域検出回路8の出力がオフであって、印画紙領域検出回路7の出力(1ビット)がオンであれば、印画紙写真領域であると判定する。
(c)そのいずれでもないときには、その他の領域であると判定する。
【0032】
次に、本発明の像域分離装置を利用した画像再生装置について説明する。前述したように、像域分離装置はシリアルに入力される画像データを所定数のラインバッファに保存し、注目画素(あるいは注目ブロック)とその周囲画素(あるいはブロック)の画像情報を基に、注目画素(あるいは注目ブロック)の属する領域を判定する。判定結果として、注目画素(あるいは注目ブロック)が、印画紙写真であるか、印刷写真であるか、そのいずれでもないという情報が得られる。
【0033】
図4は、本発明の像域分離装置を、例えばカラー複写機などの画像再生装置に適用した構成例を示す。図4において、画像処理系(たとえば平滑化処理)と並列に像域分離回路が動作し、注目画素(あるいは注目ブロック)が印画紙写真であると判定された時には、カラースキャナのノイズを除去する程度の弱い平滑化フィルタ(図5)で平滑化処理を施し、注目画素(あるいは注目ブロック)が印刷写真であると判定された時には、原稿の網点周期と後段の擬似中間調処理との周期的干渉から発生するモアレを抑制するために、比較的強い平滑化フィルタ(図6)で平滑化処理を施し、注目画素(あるいは注目ブロック)がそのいずれでもないと判定された時には、注目画素(あるいは注目ブロック)が文字領域である可能性が高いので、従って平滑化処理は施さずに、結果として文字の解像度を向上させる。
【0034】
また、ネットワークを通じて得られた画像データの場合でも、同様の処理を施して、例えばカラープリンタで出力することも可能である。
【0035】
上記した各実施例では、中間調領域の判定精度向上のために、前処理として色補正処理を施したが、例えば、特開平9−186901号公報などに記載されたジェネレーション原稿認識の前処理として行なうことも有効である。すなわち上記した装置においてはイエロートナーで打たれた追跡パターンを検出することによりその原稿の判定を行っているが、本実施例の前処理を行なうことにより、その検出精度が向上する。
【0036】
さらに、例えば地肌レベルの判定の前に同様の前処理を行っても良い。つまり、従来の方法では黄色のレスポンスが低いために色地であっても地肌と誤判定された不具合の低減に効果がある。
【0037】
【発明の効果】
以上、説明したように、本発明によれば、従来の中間調判定の前処理として、簡単な色補正処理を施しているので、注目原稿中に中間調領域を含むか否かを高精度に判定することができ、かつまたコストパフォーマンスの良い画像種認識装置を提供することができる。
【0038】
本発明によれば、従来の中間調判定の前処理として簡単な色補正処理を施しているので、画像データにおける注目画素あるいは注目ブロックが、所定の中間調領域であるか否かを高精度に判定することができ、かつまたコストパフォーマンスの良い像域分離装置を提供することができる。
【0039】
本発明によれば、特に中間調が印画紙写真である場合に高精度に判定することができる。
【0040】
本発明によれば、特に中間調が印刷写真である場合に高精度に判定することができる。
【図面の簡単な説明】
【図1】 本発明の実施例1に係る画像種認識装置の構成を示す図である。
【図2】 本発明の線形マスキングを行なう際の色補正係数の例を示す。
【図3】 本発明の実施例2に係る像域分離装置の構成を示す図である。
【図4】 本発明の像域分離装置を画像再生装置に適用した構成例を示す。
【図5】 印画紙写真用の平滑化フィルタ例を示す。
【図6】 印刷写真用の平滑化フィルタ例を示す。
【図7】 写真画素検出回路を含む写真画像判定部の構成を示す。
【図8】 写真画素の検出を説明する図である。
【図9】 ピーク画素の検出を説明する図である。
【符号の説明】
1 色補正回路
2 最大値選択回路
3 中間調画素検出回路
4 ブロック化回路
5 主走査方向の連続性検出回路
6 副走査方向の連続性検出回路
7 印画紙領域検出回路
8 印刷領域検出回路
9 総合判定回路

Claims (6)

  1. カラーデジタル画像信号中に所定の中間調領域が含まれているか否かを判定することにより、前記画像の種類を判定する画像処理装置であって、前記カラーデジタル画像信号に対して色補正処理を施す色補正処理手段と、該色補正処理後の画像信号においてブロック毎に所定の中間調領域が含まれているか否かを判定する判定手段と、前記判定手段により中間調領域であると判定されたブロックが主走査方向に連続している数をカウントし、中間調領域であると判定されたブロックが所定の閾値以上連続しているラインをアクティブラインと判定する主走査方向の連続性検出手段と、前記アクティブラインが副走査方向に連続している数をカウントし、アクティブラインが所定の閾値以上連続している場合には、前記画像は中間調領域を含むものと判定する副走査方向の連続性検出手段とを備えたことを特徴とする画像処理装置。
  2. 前記所定の中間調領域は、印画紙の写真領域であることを特徴とする請求項記載の画像処理装置。
  3. 前記所定の中間調領域は、印刷の写真領域であることを特徴とする請求項記載の画像処理装置。
  4. カラーデジタル画像信号中に所定の中間調領域が含まれているか否かを判定することにより、前記画像の種類を判定する画像処理方法であって、前記カラーデジタル画像信号に対して色補正処理を施す色補正処理工程と、該色補正処理後の画像信号においてブロック毎に所定の中間調領域が含まれているか否かを判定する判定工程と、前記判定工程により中間調領域であると判定されたブロックが主走査方向に連続している数をカウントし、中間調領域であると判定されたブロックが所定の閾値以上連続しているラインをアクティブラインと判定する主走査方向の連続性検出工程と、前記アクティブラインが副走査方向に連続している数をカウントし、アクティブラインが所定の閾値以上連続している場合には、前記画像は中間調領域を含むものと判定する副走査方向の連続性検出工程とを有することを特徴とする画像処理方法。
  5. 前記所定の中間調領域は、印画紙の写真領域であることを特徴とする請求項4記載の画像処理方法。
  6. 前記所定の中間調領域は、印刷の写真領域であることを特徴とする請求項4記載の画像処理方法。
JP2000061900A 2000-03-07 2000-03-07 画像処理装置および画像処理方法 Expired - Fee Related JP3894409B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000061900A JP3894409B2 (ja) 2000-03-07 2000-03-07 画像処理装置および画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000061900A JP3894409B2 (ja) 2000-03-07 2000-03-07 画像処理装置および画像処理方法

Publications (3)

Publication Number Publication Date
JP2001251504A JP2001251504A (ja) 2001-09-14
JP2001251504A5 JP2001251504A5 (ja) 2005-03-17
JP3894409B2 true JP3894409B2 (ja) 2007-03-22

Family

ID=18581977

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000061900A Expired - Fee Related JP3894409B2 (ja) 2000-03-07 2000-03-07 画像処理装置および画像処理方法

Country Status (1)

Country Link
JP (1) JP3894409B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4692575B2 (ja) * 2008-05-26 2011-06-01 富士ゼロックス株式会社 地肌除去装置およびプログラムおよび画像形成装置

Also Published As

Publication number Publication date
JP2001251504A (ja) 2001-09-14

Similar Documents

Publication Publication Date Title
JP3436828B2 (ja) 画像処理装置
JP3784649B2 (ja) 画像処理装置及びそれを備えた画像形成装置並びに画像処理方法
JPH0722330B2 (ja) 画像処理装置の画像領域識別方式
JP3334042B2 (ja) 画像処理装置およびこれを搭載した画像読取装置と画像形成装置、並びに画像処理方法、および画像処理手順を記憶したコンピュータ読み取り可能な記憶媒体
JP3560776B2 (ja) 色種判別装置
JP4013478B2 (ja) 画像処理装置
JP3313592B2 (ja) 原稿種判定方法、カラー画像処理装置
JP3894409B2 (ja) 画像処理装置および画像処理方法
JP3847565B2 (ja) 画像処理装置及びそれを備えた画像形成装置並びに画像処理方法
JP2001119575A (ja) 画像処理装置
JP3767210B2 (ja) 原稿種判定装置及び画像処理装置
JP3316077B2 (ja) 地肌濃度レベル検出装置
JP3183787B2 (ja) 網点領域判定装置
JP3988970B2 (ja) 画像処理装置、画像処理方法及び記憶媒体
JP2000324338A (ja) 原稿種認識装置
JP3581756B2 (ja) 画像処理装置
JP2002125121A (ja) 画像処理方法および画像処理装置ならびにそれを備える画像形成装置
JP3064896B2 (ja) 画像処理装置
JPH0965143A (ja) 地図原稿種判定付画像処理装置
JP2001111836A (ja) 画像処理装置
JP3976995B2 (ja) 画像処理装置
JP2001169101A (ja) 画像判別装置
JP3136650B2 (ja) 画像処理装置
JPH06205204A (ja) 画像処理装置
JP2000115529A (ja) 画像再生装置

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040414

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040414

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060512

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060614

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060811

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061207

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101222

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101222

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111222

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111222

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121222

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131222

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees