JP3842909B2 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP3842909B2
JP3842909B2 JP31842598A JP31842598A JP3842909B2 JP 3842909 B2 JP3842909 B2 JP 3842909B2 JP 31842598 A JP31842598 A JP 31842598A JP 31842598 A JP31842598 A JP 31842598A JP 3842909 B2 JP3842909 B2 JP 3842909B2
Authority
JP
Japan
Prior art keywords
image
data
area
separation
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP31842598A
Other languages
English (en)
Other versions
JP2000125123A (ja
JP2000125123A5 (ja
Inventor
由希子 山崎
敏 大内
高弘 柳下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP31842598A priority Critical patent/JP3842909B2/ja
Publication of JP2000125123A publication Critical patent/JP2000125123A/ja
Publication of JP2000125123A5 publication Critical patent/JP2000125123A5/ja
Application granted granted Critical
Publication of JP3842909B2 publication Critical patent/JP3842909B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Record Information Processing For Printing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、画像データ圧縮機能を搭載したカラー画像を再生する画像形成装置に関し、より詳しくは、絵柄領域を高画質に再生するための像域分離装置を備えた画像形成装置に関する。
【0002】
【従来の技術】
従来の感光体ドラムが1つのカラー複写機では、読み取った原稿データから、Y(イエロー)、M(マゼンタ)、C(シアン)、K(黒)の4色のデータを作成し、4色面の版を順次に作成し重ね合わせてフルカラーの画像を再現している。
ラインセンサーを用いて原稿を光学的に読み取った、B(青)、G(緑)、R(赤)の色分解信号についてグレイバランスの調整を行った後、カラーの色材信号YMCに変換している。そして、墨版(K)生成、下色除去(UCR)を行って、領域分離型フィルタ部でモアレや網点の除去とエッジ強調を行い、ガンマ補正の後、階調処理されたデータで変調したレーザー光で帯電した感光体を露光し、各色の画像を形成している。
【0003】
1ページ分のメモリを持たない画像形成装置では、4回のスキャンを行わなければならず、そのたびに領域分離が行われていた。しかしながら振動やノイズによりY,M,C、Kの4回の領域分離結果が全てが同じになるとは限らず、その場合、黒文字の途切れ等の画質上の不具合が現れるという問題が生じる。特開平5−145751号公報記載の技術では、第1版目で得られた領域分離結果のみを1ページ分保持するメモリを持つことで、4版の印字で分離結果を同一にし、上記不具合をなくそうとしている。
また1ページ分のページメモリを持つ画像形成装置では、第1版印字と同時にページメモリに画像データを格納し、第2版以降はページメモリから読み出したデータで印字を行う。領域分離結果を納めるメモリのかわりにページメモリを持つことで、領域分離結果を全ての版で同一とし、上記不具合の発生をなくしている。
ところでページメモリを持つ画像形成装置では、画像の回転や編集加工などが行える。また1原稿に対し1回のスキャンで済むため、電力、騒音を押さえることができ、印字速度も高速化することができる等のメリットがある。
【0004】
【発明が解決しようとする課題】
しかし前述の従来技術(特開平5−145751号公報)では、分離結果を納めるメモリが特別に必要となるためコストアップをまねくという欠点を有していた。また、そもそもこのシステムでは、ページメモリを持たないため、前述のメリットが存在しない。
一方ページメモリを持つ画像形成装置には、1ページ分のメモリ容量が非常に大きくコスト高であるという問題点があった。解像度600dpi、階調24bits/pixel、用紙サイズA3の場合、256MBytesもの容量となってしまう。この容量を削減するために、データ圧縮の技術を適応する場合もあるが、ページメモリから読み出すデータが第1版印字時と同じでなければ、分離結果が全版同一にならない。
【0005】
そこで、本発明の第1の目的は、異なる質のデータ(例えば非圧縮データと圧縮データ)それぞれに対して、異なる分離手段を設けることにより、分離結果を保持するメモリを持たなくとも、第1版から第4版までの分離結果のずれを防ぐことができる画像形成装置を提供することである。
本発明の第2の目的は、異なる質のデータそれぞれに対して、分離手段として、異なるパラメータ(閾値)を用いることで、各データの分離に対応し、分離結果を保持するメモリを持たなくとも、第1版から第4版までの分離結果のずれを防ぐことができる画像形成装置を提供することである。
本発明の第3の目的は、非圧縮データで生成される、第1版をブラック版とすることで、黒文字劣化を防ぐことができる画像形成装置を提供することである。
【0006】
本発明の第4の目的は、分離手段として、絵柄領域を分離し、絵柄領域の画質を保持することができる画像形成装置を提供することである。
本発明の第5の目的は、非圧縮データにおける特徴を利用した、絵柄分離の判定をすることができる画像形成装置を提供することである。
本発明の第6の目的は、圧縮データにおける特徴を利用した、絵柄分離の判定をすることができる画像形成装置を提供することである。
【0007】
【課題を解決するための手段】
請求項1記載の発明では、原稿を読み取り、多値画像データを出力する画像入力手段と、前記多値画像データを圧縮し、圧縮データを生成する圧縮手段と、前記圧縮手段で圧縮された前記圧縮データを記憶する記憶手段と、前記記憶手段に記憶されている圧縮データを伸長する伸長手段と、前記多値画像データ又は前記伸長手段で伸長されたデータを複数の色版の画像データに変換する変換手段と、記変換手段から出力される複数の色版の画像データを色版に応じた像域分離処理で領域を判定する像域分離手段と、前記像域分離手段の判定結果に応じて、前記変換手段から出力されるデータに画像処理を施す画像処理手段と、前記画像処理手段から出力される複数の色版のデータを面順次で出力する画像出力手段と、を有し、前記変換手段は、第1版の画像データを前記多値画像データから生成し、第2版以降の画像データを前記伸長手段で伸長されたデータから生成し、前記像域分離手段は、前記第1版の画像データと前記第2版以降の画像データとで異なる像域分離処理を施すことにより、前記第1の目的を達成する。
【0008】
請求項2記載の発明では、請求項1記載の発明において、前記像域分離手段は、前記第1版の画像データに対し、網点ドットの判定を行なう像域分離処理を施し、前記第2版以降の画像データに対し、白地の判定を行なう第2の像域分離処理を施すことを特徴とする。
【0009】
請求項3記載の発明では、請求項1または請求項2記載の発明において、第1版の作像はブラック版であることにより、前記第3の目的を達成する。
請求項4記載の発明では、請求項1記載の発明において、絵柄領域を複数の像域分離手段で判定することにより、前記第4の目的を達成する。
【0010】
請求項5記載の発明では、請求項4記載の発明において、絵柄を判定する像域分離手段の1つは、網点ドットの有無から絵柄領域を判定することにより、前記第5の目的を達成する。
請求項6記載の発明では、請求項5記載の発明において、絵柄を判定する像域分離手段の1つは、白地の有無から絵柄領域を判定することにより、前記第6の目的を達成する。
【0011】
【発明の実施の形態】
以下、本発明の好適な実施の形態を図1ないし図5を参照して詳細に説明する。
図1は、本発明の実施の形態に係る画像処理装置の処理ブロック図である。この画像処理装置は、スキャナなどの画像入力装置1、データをエントロピー符号化する圧縮伸張部2、圧縮されたデータを保持するページメモリ3、反射率リニアな信号を濃度リニアな信号に変換するLog変換部4、平滑化フィルタからなるフィルタ部5、色を合わせるための色補正部6、K信号分だけ各色材の信号から減じる処理を行うUCR部7、絵柄用のデイザを用いて中間調を表現する階調処理部8、原稿中から絵柄を分離する絵柄分離部9、およびプリンタなどの画像出力装置10より構成されている。
【0012】
まず、図1に示す例の概要を説明する。カラースキャナなどの画像入力装置1は、CCD(光電変換素子)などを用い、そのレスポンスに応じて、多値のディジタル信号(ここでは概ね反射率リニア600dpi8bit信号:原稿の白→255,黒→0)のRGBを出力する。
圧縮伸張部2では、入力のB、G、R画像データを、まず輝度色差の色空間信号Y、I、Qに線形変換する。例として以下に変換式を示す。
【0013】
【数1】
Y=0.30R+0.59G+0.11B
I=0.74(R−Y)−0.27(B−Y)
Q=0.48(R−Y)+0.41(B−Y)
【0014】
このような色空間への変換によって、画像の統計的電力を輝度信号Yに集中させ、エントロピーを減少させることができる。次にY、I、Q信号をそれぞれサブハンド変換する。例として最も簡単な変換式を以下に示す。
【0015】
【数2】
S(n)=|(x(2n)+x(2n+1))/2|
D(n)=x(2n)−x(2n+1)
【0016】
図2はサブハンド変換の例を表した図である。元画像のまず水平方向にローパスフィルタS(n)、ハイパスフィルタD(n)をかけ、続いて垂直方向にも同様の処理をそれぞれ施し、水平広域(HL)、垂直高域(LH)、対角高域(HH)、低域(LL)の4つの周波数帯域信号を生成する。電力が集中する低域係数にサブハンド変換を再帰的に行えば、さらにエントロピーを減少させることもできる。
最後に、生成された係数を量子化し、ページメモリへ格納する。変換係数はブロック単位に固定のビット数に量子化される。例えば、入力8bit/pixelの2×2のブロックに対し、LL=8bit、HL=LH=9bit、HH=10bitの変換係数(合計36bit)を8bitに量子化する。ブロック単位に固定長圧縮されているので、画像回転や編集加工におけるアドレス計算が容易となり、これらを高速処理できる。
【0017】
画像の領域に応じ、ビット数の配分を変えれば、さらに効果的な量子化が行える。例えば高周波係数の絶対値が所定値を超えるようなブロックでは、低周波成分に対して高周波係数のビット配分を増やし、それ以外のブロックでは反対に高周波係数に対して低周波係数のビット配分を増やす。
また、圧縮データを伸張する場合は、各量子化係数を使ってサブハンド逆変換を行い、Y’、I’、Q’信号を得、B’、G’、R’に逆変換する。サブハンド変換やBGR⇔YIQ変換は可逆変換であるが、係数の量子化の過程で本圧縮方式は非可逆変換となっている。量子化を行わなければ可逆であるが、入力32bit/blockが36bit/blockに変換されるので圧縮にはならない。
【0018】
また、ここでは32bit/blockを8bit/blockに圧縮しているが、例えばこれを6bit/blockにすると、圧縮率は高まるが、量子化誤差が増大し画質劣化が大きくなる。一般に圧縮率と画質には相反する関係がある。
入力データは上記、圧縮伸張部2へ送られると同時に、Log変換部4にも送られる。そして、第1版においては、圧縮伸張部2を通らない、非圧縮データで生成され、第2版以降は圧縮伸張されたデータで生成される。
【0019】
次に、後段の色補正を行う前処理として、Log変換部4では、信号の特性を反射率空間から濃度空間へ変換するようなテーブル変換を行う。ここで、出力信号はインク量を表している。フィルタ部5は、図3に示すような平滑化フィルタで構成され、後述する絵柄分離判定信号が、絵柄である場合には、平滑化フィルタ処理を施す。
色補正部6は、スキャナでの色分解フィルタの濁り成分、さらにインクの濁り成分を除去するための回路であり、一般にマスキング方式、メモリマップ方式(補間方式)などが現実的である。ここでは前者のマスキング方式を用いて説明する。変換は例えば以下のような線形式にて行う。
【0020】
【数3】
C=k11×c+k12×m+k13×y+k14
M=k21×c+k22×m+k23×y+k24
Y=k31×c+k32×m+k33×y+k34
【0021】
ここで、k11〜k34は定数であり、実験に基づき決定する。
さらに、色補正部6では、上記CMY信号の一部をK(ブラック)に置き換える。
UCR部7では、次式に従ってカラープリンタを駆動するC’、M’、Y’信号を算出する。
【0022】
【数4】
C’=C−K
M’=M−K
Y’=Y−K
【0023】
そして、階調処理部8では、絵柄判定された領域に対して、デイザ処理を施して、画像出力装置10にデータを送る。
次に、絵柄分離部9について詳細に説明する。
絵柄分離部9では、第1版における非圧縮データが入力された場合と、第2版以降の圧縮データが入力された場合の2つの分離方式を持つ。
まず、第1版用の、非圧縮データに対する分離方式は、網点ドットの有無により判定する。この例では、網点の検出方法として、例えば、論文「文字/絵柄(網点、写真)混在画像の像域分離方式」(電子情報通信学会論文誌Vol.J75−D2No.1pp.39−47 1992年1月)に記載された、「4.1網点領域検出」方法を用いる。この方法は、網点領域の濃度変化は文字量域のそれと大きく異なる点に着目し、ピーク画素の検出、網点領域の検出、網点領域の補正を行い、網点領域を分離するものである。
【0024】
ピーク画素の検出は、例えば3×3画素のブロックにおいて、中心画素の濃度レベルLが周囲の全ての画素のそれよりも高い、あるいは低く、かつ、Lと中心画素を挟んで対角線に存在する対画素の濃度レベルa、bが4対ともに|2×L−a−b|>TH(固定の閾値)であるときに、中心画素をピーク画素とする。網点領域の検出は、例えば、4×4画素を単位とした4つのブロックにおいて、ピーク画素を含むブロックが2ブロック以上存在すれば、注目ブロックを網点候補領域とし、それ以外は非網点領域と判定する。網点/非網点候補領域を判定した後、注目ブロックを中心とした9つのブロックにおいて4ブロック以上が網点候補領域であれば、注目ブロックを網点領域とし、そうでなければ注目ブロックを非網点領域とする。これにより、網点領域と判定されたブロックを絵柄領域とする。
ここで、重要なことは、分離結果がブロック単位で切り替わることであり、ここでは、次の判定処理のために分離判定処理のマスクを4画素分だけ移動させる。図4には、この様子を示してある。
【0025】
次に、第2版以降用の圧縮データに対する分離方式は、白地の有無により判定する。本例では次の3段階の処理手順によって注目ブロックが白地ブロックであるか否かを判定する。すなわち、第1のステップでは、注目画素のmax(c、m、y)を求め、この値が所定の閾値よりも小さい場合、注目画素を白画素とする。第2ステップでは、注目ブロック(4画素×4画素)において、上記白画素を計数し、この計数値が所定の閾値よりも大きい場合、注目ブロックを白地ブロック候補とする。第3ステップでは、図5に示すような5ブロックの中で、1つでも白地ブロック候補が見つかれば、注目ブロックを白地ブロックとする。
この処理もブロック単位処理とし、次の判定処理のために分離判定処理のマスクを4画素分だけ移動させる。このようにして、白地ブロックと判定されなかったブロックを絵柄領域とする。
【0026】
次に、第2の実施の形態を説明する。装置の構成は第1の実施の形態と同じである。
この実施の形態の特徴である絵柄分離部9について説明する。ここでは、非圧縮データにおける分離手段と圧縮データにおける分離手段をパラメータの変更のみで使い分ける。ここで用いる分離手段は、第1の実施の形態で使用したものと同様の「4.1網点領域検出」方法を用いる。この方式ではピーク画素を検出して網点領域と判定するが、ピーク画素を判定する閾値を変えることにより、非圧縮データと圧縮データの分離に対応する。圧縮データにおいては、DC成分の量子化等により、網点のピーク値が下がる傾向にある。そこで、
【0027】
【数5】
thl:非圧縮データ用の閾値>th2:圧縮データ用の閾値
【0028】
とする2つの閾値を設定し、それを使い分けることによって絵柄分離を行う。
【0029】
続いて、第3の実施の形態を説明する。
第1の実施の形態において、第1版は非圧縮データを用いて第2版以降は圧縮データを用いるが、K版は黒文字を生成する版であり、圧縮によって劣化されたデータよりも非圧縮のデータを用いた方が良好な画質を得られる。また、K版に集中している黒文字等の細かい画質を除いて、第2版用であるCMY版用のデータを圧縮できるので、圧縮効率を向上させることができる。データの処理手順は第1の実施の形態と同様である。
【0030】
【発明の効果】
請求項1記載の発明によれば、異なる質のデータ(例えば非圧縮データと圧縮データ)それぞれに対して、像域分離手段を設けることにより、分離結果を保持するメモリを持たなくとも、第1版から第4版までの分離結果のずれを防ぐことが可能となる。
【0031】
請求項2記載の発明によれば、異なる質のデータ(例えば非圧縮データと圧縮データ)それぞれに対して、像域分離手段として、パラメータ(閾値)を変えるだけで、各データの分離に対応し、分離結果を保持するメモリを持たなくとも、第1版から第4版までの分離結果のずれを防ぐことが可能となる。
【0032】
請求項3記載の発明によれば、非圧縮データで生成される、第1版をブラック版とすることで、黒文字劣化を防ぐことが可能となる。
請求項4記載の発明によれば、像域分離手段として、絵柄領域を分離し、絵柄領域の画質を保持することが可能となる。
【0033】
請求項5記載の発明によれば、非圧縮データにおける特徴を利用した、絵柄分離の判定が可能となる。
請求項6記載の発明によれば、圧縮データにおける特徴を利用した、絵柄分離の判定が可能となる。
【図面の簡単な説明】
【図1】第1の実施の形態の構成を説明するブロック図である。
【図2】圧縮伸張部のサブバンド変換を説明するブロック図である。
【図3】平滑化フィルタを示す図である。
【図4】分離処理がブロック単位で処理される様子を示す図である。
【図5】白地ブロックの判定を説明する図である。
【符号の説明】
1 画像入力装置
2 圧縮伸張部
3 ページメモリ
4 Log変換部
5 フィルタ部
6 色補正部
7 UCR部
8 階調処理部
9 絵柄分離部
10 画像出力装置

Claims (6)

  1. 原稿を読み取り、多値画像データを出力する画像入力手段と、
    前記多値画像データを圧縮し、圧縮データを生成する圧縮手段と、
    前記圧縮手段で圧縮された前記圧縮データを記憶する記憶手段と、
    前記記憶手段に記憶されている圧縮データを伸長する伸長手段と、
    前記多値画像データ又は前記伸長手段で伸長されたデータを複数の色版の画像データに変換する変換手段と、
    前記変換手段から出力される複数の色版の画像データを色版に応じた像域分離処理で領域を判定する像域分離手段と、
    前記像域分離手段の判定結果に応じて、前記変換手段から出力されるデータに画像処理を施す画像処理手段と、
    前記画像処理手段から出力される複数の色版のデータを面順次で出力する画像出力手段と、を有し、
    前記変換手段は、第1版の画像データを前記多値画像データから生成し、第2版以降の画像データを前記伸長手段で伸長されたデータから生成し、
    前記像域分離手段は、前記第1版の画像データと前記第2版以降の画像データとで異なる像域分離処理を施すことを特徴とする画像処理装置。
  2. 前記像域分離手段は、前記第1版の画像データに対し、網点ドットの判定を行なう像域分離処理を施し、
    前記第2版以降の画像データに対し、白地の判定を行なう第2の像域分離処理を施すことを特徴とする請求項1に記載の画像処理装置。
  3. 第1版の作像はブラック版であることを特徴とする請求項1または請求項2記載の画像処理装置。
  4. 絵柄領域を複数の像域分離手段で判定することを特徴とする請求項1記載の画像処理装置。
  5. 絵柄を判定する像域分離手段の1つは、網点ドットの有無から絵柄領域を判定することを特徴とする請求項4記載の画像処理装置。
  6. 絵柄を判定する像域分離手段の1つは、白地の有無から絵柄領域を判定することを特徴とする請求項4記載の画像処理装置。
JP31842598A 1998-10-20 1998-10-20 画像処理装置 Expired - Fee Related JP3842909B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP31842598A JP3842909B2 (ja) 1998-10-20 1998-10-20 画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP31842598A JP3842909B2 (ja) 1998-10-20 1998-10-20 画像処理装置

Publications (3)

Publication Number Publication Date
JP2000125123A JP2000125123A (ja) 2000-04-28
JP2000125123A5 JP2000125123A5 (ja) 2004-09-02
JP3842909B2 true JP3842909B2 (ja) 2006-11-08

Family

ID=18099017

Family Applications (1)

Application Number Title Priority Date Filing Date
JP31842598A Expired - Fee Related JP3842909B2 (ja) 1998-10-20 1998-10-20 画像処理装置

Country Status (1)

Country Link
JP (1) JP3842909B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI377847B (en) 2006-12-27 2012-11-21 Quanta Comp Inc Method and apparatus for image processing
JP2015051610A (ja) * 2013-09-09 2015-03-19 株式会社リコー 画像形成装置及び画像形成装置における画像処理方法

Also Published As

Publication number Publication date
JP2000125123A (ja) 2000-04-28

Similar Documents

Publication Publication Date Title
JP3964042B2 (ja) カラー画像処理装置およびカラー画像処理方法
US7376268B2 (en) Image processing apparatus for transmitting image data to an external device
JP3436828B2 (ja) 画像処理装置
US7327874B2 (en) Method of and apparatus for image processing apparatus, and computer product
JPH04320160A (ja) 画像信号圧縮伸長装置および領域識別処理装置
US20040179239A1 (en) Apparatus for and method of processing image, and computer product
US6665447B1 (en) Method for enhancing image data by sharpening
JP3929030B2 (ja) 画像処理装置
JP3842909B2 (ja) 画像処理装置
JP2004112695A (ja) 画像処理装置及びその処理方法
JP4050639B2 (ja) 画像処理装置、画像処理方法、およびコンピュータが実行するためのプログラム
JP3778710B2 (ja) カラー画像処理装置
JP3117331B2 (ja) 画像データ処理装置
JP3767210B2 (ja) 原稿種判定装置及び画像処理装置
JP3595601B2 (ja) 画像通信方法及びその装置
JP4116193B2 (ja) カラー画像処理装置及びカラー画像処理方法
JP4926128B2 (ja) 画像処理装置、画像読取装置、画像形成装置、コンピュータプログラム、記録媒体、及び画像処理方法
JP4105846B2 (ja) 画像処理装置
US20040234134A1 (en) Image processing apparatus and image processing method
JP3788669B2 (ja) カラー画像処理装置
JP2002158879A (ja) 階調画像の圧縮・解凍方法および圧縮・解凍装置
JP2001069345A (ja) 画像処理装置
JP2002218208A (ja) 画像処理装置及びそれを備えた画像形成装置
JP3854414B2 (ja) 画像処理装置および画像形成装置
JP2004242102A (ja) 画像処理装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060403

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060801

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060811

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090818

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100818

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100818

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110818

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110818

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120818

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120818

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130818

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees