JP3812131B2 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
JP3812131B2
JP3812131B2 JP07952698A JP7952698A JP3812131B2 JP 3812131 B2 JP3812131 B2 JP 3812131B2 JP 07952698 A JP07952698 A JP 07952698A JP 7952698 A JP7952698 A JP 7952698A JP 3812131 B2 JP3812131 B2 JP 3812131B2
Authority
JP
Japan
Prior art keywords
image
image data
input
pixel
control signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP07952698A
Other languages
English (en)
Other versions
JPH11275353A (ja
Inventor
裕之 河野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP07952698A priority Critical patent/JP3812131B2/ja
Priority to US09/263,632 priority patent/US6480302B1/en
Publication of JPH11275353A publication Critical patent/JPH11275353A/ja
Application granted granted Critical
Publication of JP3812131B2 publication Critical patent/JP3812131B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/40062Discrimination between different image types, e.g. two-tone, continuous tone
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration by the use of local operators
    • G06T5/70
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30176Document

Description

【0001】
【発明の属する技術分野】
本発明は画像処理装置および画像処理方法に関し、特に入力画像を変換するとともに当該入力画像に対して画素ごとに画像形成を制御する制御信号を発生する画像処理装置および画像処理方法に関する。
【0002】
【従来の技術】
近年のプリンタの高解像度化は目覚ましく、例えば、電子写真方式プリンタにおいては、主走査方向で600dpi、副走査方向で600dpiの解像度を実現したものが普通になってきている。しかし、上記解像度のプリンタであっても、文字・線画を滑らかに印刷するには解像度が不足しているため、例えば米国特許第4,847,641号公報や特開平8−23446号公報に開示されているように、ある大きさのブロック内の入力画像の形状と特定パターンとのパターンマッチングの結果に基づいて、形成する画素の大きさを変えることによって解像度を拡張する技術(いわゆるスムージング処理技術)が電子写真方式プリンタに導入されている。また、一方では、写真・グラフィックスの階調性を高めるために、ディザ処理あるいは誤差拡散処理といった面積階調処理が一般的なプリンタで採用されている。
【0003】
【発明が解決しようとする課題】
ところで、プリンタで印刷するドキュメントにおいては、写真・グラフィックスと文字・線画が1ページ内に混在していることが多い。このようなドキュメントに対してスムージング処理のみを施して印刷するようにすると、写真・グラフィックスの階調性が損なわれてしまう。これとは逆に、当該ドキュメントに対して面積階調処理のみを施して印刷するようにすれば、文字・線画を滑らかに印刷できなくなってしまう。
【0004】
このような問題を解決するために、例えば特開平8−139918号公報に開示されている技術のように、入力画像の画素値と閾値との比較結果に基づいてスムージング処理と面積階調処理とを切り替える方法が案出されている。また、例えば特開平7−232463号公報に開示されている技術のように、ページ記述言語(以後、PDL)で記述されたデータ(以後、PDLデータ)から特徴を抽出し、抽出した特徴に応じて1ページの入力画像を複数の領域に分類し、入力画像に対する処理内容を領域ごとに変える方法が案出されている。この方法では、例えば、領域ごとに面積階調処理の内容が変更されたり、黒文字の領域にのみスムージング処理が施されたりする。
【0005】
しかし、上述した2つのスムージング処理方法では、パターンマッチングの結果に基づいてスムージング処理を行うようにしているため、スムージング処理を施したい箇所であっても一致するパターンがなければ処理は施されず、またスムージング処理を禁止したい箇所であっても一致するパターンがあれば処理が施されてしまう。
【0006】
このような問題を解決する方法として、例えば米国特許第5,455,681号公報に開示されている技術のように、PDLデータを一旦プリンタの解像度より高い解像度でラスタライズし、このラスタライズによって得られた2値画像をプリンタの解像度と同じ解像度の多値画像に変換するとともに、変換後の多値画像の各画素に画素のシフト方向を示す情報を付加し、当該多値画像と付加情報とに基づいて画素の印刷を制御する方法がある。この方法によれば、上記パターンマッチングによるスムージング処理での問題点を解決してより滑らかに文字・線画を印刷できる。しかしながら、この方法では、写真・グラフィックスを印刷する際には階調性が損なわれてしまうという欠点がある。
【0007】
本発明は上述した事情に鑑みてなされたものであり、様々な領域を包含するドキュメント画像の出力画像の品質を向上させることができる画像処理装置および画像処理方法を提供することを目的とする。
【0008】
【課題を解決するための手段】
上述した課題を解決するために、本発明に係る画像処理装置は、入力画像データで表される入力画像に含まれるオブジェクトの種類および領域を表すオブジェクトタグを生成するオブジェクトタグ生成部と、前記入力画像データを変換して変換画像データを生成する画像変換部と、前記オブジェクトタグ生成部により生成されたオブジェクトタグを入力し、入力したオブジェクトタグに基づいて、前記入力画像データと前記画像変換部により生成された前記変換画像データとのいずれか一方を選択し、選択した画像データに基づいて画像形成処理のための制御信号を生成する制御信号生成部とを具備し、前記制御信号生成部により生成される制御信号は、発光素子を発光させることにより画像の形成を行う画像形成装置の前記発光素子を制御するための信号であって、主走査方向の画像形成を制御するために前記発光素子の発光タイミングを制御する信号および副走査方向の画像形成を制御するために前記発光素子の発光強度を制御する信号の少なくとも一方を含むことを特徴としており、これにより、入力画像中のオブジェクト毎に、入力画像データおよび変換画像データのうち、より適切な画像データに基づいて、画像形成処理のための制御信号が生成される。なお、上記構成において、画像変換部を複数とし、複数の画像変換データおよび入力画像データのうち、最も適切な画像データに基づいて画像形成処理のための制御信号を生成するようにしてもよい。
【0009】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。なお、以下の説明において、本実施形態において処理対象となる入力画像は、1画素あたり8ビットの階調情報を有するグレースケール画像であるものとする。また、最後に‘b’が付加されている数値は2進数表現、最後に‘h’が付加されている数値は16進数表現、何も付加されていない数値は10進数表現の数値である。さらに、図14−図16においては、矩形は画素を表し、白色矩形は白画素、黒色矩形は黒画素を表し、その他の模様付き矩形については図面に記載されている注記あるいは後述の注記に従うものとする。
【0010】
A:構成
図1は、本発明の一実施形態による画像処理装置(以後、本装置)の構成例を示す図であり、この図において、11はオブジェクトタグ付加部であり、外部から画像データIMGを入力し、当該画像データに後述するオブジェクトタグを付加して出力する。12はバッファであり、オブジェクトタグ付加部11から出力される画像データINIおよびオブジェクトタグINTを入力して蓄積し、これらを後段の処理に応じたタイミングで出力する。
【0011】
13は面積階調処理部であり、バッファ12から出力される画像データORI2およびオブジェクトタグORT2を入力し、これらに基づいて当該画像データに面積階調処理を施し、面積階調処理後の画像データおよび後述する画像形成制御信号を出力する。14はスムージング処理部であり、バッファ12から出力される画像データORI2およびオブジェクトタグORT2を入力し、これらに基づいて当該画像データにスムージング処理を施し、スムージング処理後の画像データおよび画像形成制御信号を出力する。15はエッジ検知部であり、バッファ12から出力される3×3ブロック画像データORI4を入力し、当該画像データで表される画像内の注目画素が文字・線画や写真・グラフィックス等のオブジェクトの輪郭(以後、エッジ)を構成する画素であるか否か、および当該エッジの方向を検知し、エッジ検知結果を出力する。
【0012】
16は合成部であり、バッファ12から出力される画像データORI1およびオブジェクトタグORT1、面積階調処理部13から出力される画像データSCIおよび画像形成制御信号SCW,SCA、スムージング処理部14から出力される画像データSMIおよび画像形成制御信号SMW,SMA、およびエッジ検知部15から出力されるエッジ検知結果EDを入力し、これらに基づいて画像データOUTIおよび画像形成制御信号OUTWおよびOUTAを出力する。
【0013】
以下、データの流れに沿って、各部の機能を詳細に説明する。
本装置に入力された画像データIMGは、まず、オブジェクトタグ付加部11に入力される。オブジェクトタグ付加部11は、入力した画像データIMGに何も処理を施さずに画像データINIとして出力するとともに、画像データIMGを画素単位で解析して分類し、分類結果を、例えば表1に示すように、2ビットの情報(オブジェクトタグINT)として出力する。
【0014】
表1.分類とオブジェクトタグとの対応関係
【表1】
Figure 0003812131
【0015】
なお、オブジェクトタグ付加部11における画像の分類方法は、表1に示すように分類できるならばどのような方法でもよい。ここでは、注目画素を中心とした所定サイズの矩形領域内の全画素について注目画素からの距離に応じた重み付けを施した後に統計処理を行い、その結果(例えば、階調に対する画素数のヒストグラムの形状)に基づいて当該注目画素を分類するようにしている。例えば、注目画素が2値展開文字を構成する画素の場合、特定の階調に対する画素数が突出したヒストグラムが得られ、このことから注目画素の種類が特定される。
【0016】
ここで、2値展開文字および多値展開文字について説明する。
通常、文字は印刷すべき文字を表すコード、フォントの種類を示す情報、および文字の大きさを示す情報によって表される。そして、印刷イメージの形成過程では、印刷すべき文字を表すコードおよびフォントの種類を示す情報に対応するフォントデータを呼び出し、呼び出したフォントデータを上記文字の大きさの情報に対応する大きさに変換する処理が行われる。なお、フォントは、文字の全てをラスター画像として表現したビットマップフォントと、文字の輪郭を線の集合体とし、これらの線の描画情報で文字を表現したアウトラインフォント(ベクトルフォント)に大別されるが、ディフェクトが少ない変形処理を容易に行えることから、印刷においては、アウトラインフォントが主流となっている。よって、ここでは、アウトラインフォントのみを使用するものとする。
【0017】
アウトラインフォントのフォントデータは、仮想座標空間あるいは特定の解像度に対応する座標空間における描画情報であるため、フォントデータを、実際に印刷する解像度および大きさに対応した座標空間における描画情報に変換する必要がある。また、ボールド文字のように印刷ウェイトが標準的な文字と異なる文字や、イタリック文字のように標準的な文字に装飾・変形を加える必要がある文字を印刷する場合には、これらを考慮してフォントデータの変換を行う必要がある。フォントデータに対して、上述したような事項を考慮した変換を施し、フォントデータで表される輪郭線内を塗りつぶすことにより、印刷すべき文字のラスター画像が得られる。通常、文字の印刷色は1つの文字に1色であることが多いことから、本装置では、1つの色で輪郭線内を満たすことでラスター画像を得るようにしている。
このようにして得られるラスター画像を、ここでは2値展開文字と呼んでいる。
【0018】
ところで、アウトラインフォントの描画情報の精度は印刷解像度より高いことがほとんどであるため、ラスタライズする際には描画情報から得られる理想的な画像を量子化することになる。すなわち、ラスタライズして得られるラスター画像の品質は、理想的な画像の品質に比較して劣化してしまう。例えば、図16の(a)に示す文字「皿」の理想的な展開画像は、量子化すると同図の(b)あるいは(c)に示すようなラスター画像になってしまう。
【0019】
この量子化による画質の劣化を抑制する方法としては、印刷解像度より高い解像度でラスタライズして得た2値画像を解像度変換により印刷解像度の多値画像に変換する方法がある。この方法では、解像度変換の際に、印刷解像度に比較して高い解像度でラスタライズして得られたラスター画像の複数画素が印刷解像度における1画素に対応付けられ、当該複数画素の内容に応じて印刷解像度における1画素の値が決定される。例えば、図16の(a)に示す文字「皿」を印刷解像度の2倍の解像度でラスタライズすると、同図の(d)に示すようなラスター画像となり、同図の(d)の主走査方向2画素、副走査方向2画素の互いに重複しないブロックを、その内部の黒画素数に応じた値の画素に変換することにより解像度変換すると、同図の(e)に示すようなラスター画像が得られる。なお、ここでは、解像度変換において、上記ブロック内に黒画素が1つ存在すれば画素値‘3Fh’、2つ存在すれば画素値‘7Fh’、3つ存在すれば画素値‘BFh’、4つ存在すれば画素値‘FFh’の画素に変換することとしている。
このようにして得られるラスター画像を、ここでは多値展開文字と呼んでいる。
【0020】
図1のオブジェクトタグ付加部11から出力された画像データINIおよびオブジェクトタグINTは、それぞれバッファ12に蓄積され、ここで遅延調整されてから、画像データORI2およびオブジェクトタグORT2として面積階調処理部13へ、画像データORI3およびオブジェクトタグORT3としてスムージング処理部14へ、画像データORI1およびオブジェクトタグORT1として合成部16へ出力される。このような処理に並行して、バッファ12では、オブジェクトタグ付加部11から出力された画像データINIから主走査方向3画素、副走査方向3画素のブロック(以後、3×3ブロック)を形成し、これらブロック列を3×3ブロック画像データORI4としてエッジ検知部15へ出力する。なお、バッファ12における遅延調整の具体的な内容については後述する。
【0021】
面積階調処理部13において、バッファ12からの画像データORI2は、バッファ12からのオブジェクトタグORT2に基づいて面積階調処理を施され、画像データSCIとして合成部16へ出力される。
面積階調処理の手法にはディザ法や誤差拡散法等の様々な手法があるが、面積階調処理部13においては、画像データORI2は、何も処理を施されずにそのまま画像データSCIとして出力される。また、面積階調処理部13は、画像形成制御信号SCWとして、先頭ラインから数えた処理対象ラインの番号が偶数の場合には当該処理対象ラインの先頭から順に‘01b’と‘10b’とを交互に出力し、奇数の場合には偶数ラインとは順序が逆になるように‘01b’と‘10b’とを交互に出力する。さらに、面積階調処理部13は、画像形成制御信号SCWとして、常に‘11b’を出力する。また、オブジェクトタグORT2が文字を表す値の場合(すなわちオブジェクトタグが‘00b’または‘11b’の場合)には、面積階調処理部13は、画像データORI2をそのまま画像データSCIとして出力するとともに、画像形成制御信号SCWとして‘00b’を、画像形成制御信号SCAとして‘11b’を出力する。
【0022】
スムージング処理部14において、バッファ12からの画像データORI3は、バッファ12からのオブジェクトタグORT3に基づいてスムージング処理を施され、画像データSMIとして合成部16へ出力される。ここで、スムージング処理部14について、図4を参照して説明する。図4はスムージング処理部14の構成例を示した図であり、41は2値化器、42は2値化の閾値を格納するためのレジスタ、43はバッファ、44a−44xはパターン検出器、45はメモリである。
【0023】
スムージング処理部14に入力された画像データORI3は、オブジェクトタグが‘00b’である画素(多値展開文字を構成している画素)のみについて、2値化器41において2値化されてバッファ43に入力される。2値化器41における2値化処理は、レジスタ42に格納されている閾値と画像データORI3の画素値とを比較し、画素値が閾値以上ならば‘1’、閾値より小さければ‘0’を出力することで実現される。ただし、2値化器41は、オブジェクトタグが‘00b’以外である画素(スムージング処理を必要としない画素)については強制的に‘0’を出力する。
【0024】
バッファ43に入力された2値化画像データは、バッファ43に蓄積され、主走査方向5画素、副走査方向5画素の大きさのブロック(以後、5×5ブロック)にまとめられ、5×5ブロック画像データBKDとしてパターン検出器44a−44xへ出力されるとともに、当該5×5ブロックの中央画素の画素値が中央画素データCPDとしてメモリ45へ出力される。また、バッファ43では、対象の中央画素を主走査方向に1画素ずらす毎に当該中央画素に応じた中央画素データCPDおよび5×5ブロック画像データBKDが出力され、主走査方向に対象の画素が存在しなくなったら対象の画素を副走査方向に1画素ずらして上述と同様の処理が繰り返される。なお、5×5ブロックの中央画素の画素値をメモリ45へ供給するのではなく、5×5ブロック画像データBKDをメモリ45へ供給し、メモリ45において中央画素の画素値を抽出する態様であってもよい。
【0025】
パターン検出器44a−44xは、それぞれ、バッファ43からの5×5ブロック画像データBKDと図5に示したパターン(a)−(x)とを比較し、5×5ブロック画像データBKDがパターン(a)−(x)のいずれかに一致した場合にパターン検出信号PDa−PDxをメモリ45へ出力する。なお、図5において、最小の矩形は画素を表し、白色矩形は画素値が‘0’の画素、黒色矩形は画素値が‘1’の画素、斜線付き矩形は上記比較を行わない画素を表す。
【0026】
メモリ45は、内部に表2に示すようなルックアップテーブル(以下LUT)に対応するデータを格納しており、当該LUTを参照し、パターン検出器44a−44xからのパターン検出信号およびバッファ43から入力される中央画素データCPDに応じたデータをLUTから読み出して出力する。なお、表2において、SMIは画素値を表す8ビットの画像データ、SMWおよびSMAは、それぞれ、2ビットの画像形成制御信号であり、例えば、パターン検出器44aからパターン検出信号PDaが出力された場合、メモリ45から出力される画像データSMIの値は‘63’となり、同じくメモリ45から出力される画像形成制御信号SMW,SMAはそれぞれ‘01b’,‘11b’となる。
【0027】
表2.メモリ45内のLUT(ルックアップテーブル)
【表2】
Figure 0003812131
【0028】
なお、5×5ブロック画像データBKDがパターン(a)−パターン(x)のいずれにも一致しなかった場合(全てのパターン検出器44a−44xからパターン検出信号が出力されなかった場合)には、メモリ45から出力される画像形成制御信号SMWの値は‘00b’、画像形成制御信号SMAの値は‘11b’となり、画像データSMIの値は以下のルールに従う。すなわち、2値化器41から出力された2値化画像データBNIの値が‘1’の場合には画像データSMIの値は‘255’となり、同2値化画像データBNIの値が‘0’の場合には画像データSMIの値は‘0’となる。
【0029】
図1において、エッジ検知部15に入力された3×3ブロック画像データORI4は、エッジ検知部15におけるエッジ検知処理に利用される。
図6はエッジ検知部の構成例を示すものであり、この図において、61a−61dは、それぞれ、図7に示すフィルタ係数(a)−(d)を有するフィルタであり、3×3ブロック画像データORI4に対してフィルタ処理を施し、その結果をフィルタリングデータFDa−FDdとして出力する。62は情報作成器であり、フィルタ61a−61dからのフィルタリングデータFDa−FDdを入力し、これらのフィルタリングデータFDa−FDdおよび表3に示す動作表に基づいてエッジ情報データEDを生成して出力する。
【0030】
表3.エッジ情報作成器62の動作表
【表3】
Figure 0003812131
なお、表3中の「優先順位」は、出力の絶対値が最大であるフィルタが複数の場合にどのフィルタの出力を優先するかを表す情報である。
【0031】
図1において、バッファ12、面積階調処理部13およびスムージング処理部14から出力される画像データは、合成部16において、表4に示す動作表に従ってバッファ12からのオブジェクトタグORT1およびエッジ検知部15からのエッジ情報データEDに基づいて合成処理を施され、合成画像データOUTIとして外部へ出力される。上記合成処理は、各画素について、バッファ12、面積階調処理部13およびスムージング処理部14から出力される画像データから1つの画像データを選択するとともに、選択された画像データで表される画素を最適に印刷するための変換処理および画像形成制御信号の発生処理を行うことで実現される。
【0032】
表4.メモリ45の動作表
【表4】
Figure 0003812131
【0033】
なお、前述したバッファ12における遅延調整は、バッファ12、面積階調処理部13、スムージング処理部14およびエッジ検知部15から合成部16への入力データ間で同期がとれるように行われる。ここで、具体的な遅延量について詳述する。
前述したように、スムージング処理部14においては、5×5ブロック画像データBKDを形成し、この5×5ブロック画像データBKDとパターン(a)−パターン(x)とを比較する処理が行われる。したがって、バッファ12からスムージング処理部14へ画像データORI3が入力されても、5×5ブロック画像データBKDを形成できない間は、スムージング処理部14から画像データSMIが出力されることはない。すなわち、1つの画素に着目すると、スムージング処理部14から当該画素に対応した画像データSMIが出力される時点は、当該画素を表す画像データINIがバッファ12に入力された時点から、少なくとも2ラインおよび2画素分だけ遅れることになる。
【0034】
また、エッジ検知部15においては、バッファ12において形成された3×3ブロックを処理するため、1つの画素に着目すると、エッジ検知部15から当該画素に対応したエッジ情報データEDが出力される時点は、当該画素を表す画像データINIがバッファ12に入力された時点から、少なくとも1ラインおよび1画素分だけ遅れることになる。なお、面積階調処理部13においては、画像データをブロック単位で取り扱う必要がないため、処理遅延は発生しない。
【0035】
したがって、バッファ12において、注目画素についての画像データINIおよびオブジェクトタグINTがバッファ12に入力される時点を基準とし、バッファ12から面積階調処理部13および合成部16へ当該画素についての画像データおよびオブジェクトタグを供給する時点を2ラインおよび2画素分、バッファ12からエッジ検知部15へ当該画素を中心画素とした3×3ブロック画像データORI4を供給する時点を1ラインおよび1画素分だけ遅延させることで、前述の同期を確立することができる。
【0036】
なお、スムージング処理部14に入力される画像データORI3およびオブジェクトタグORT3は、バッファ12に入力された画像データINIおよびオブジェクトタグINTをバッファ12からそのまま遅延無しで出力することで得られる。また、上述の遅延処理は各部で取り扱うブロックの大きさ以外の要因による遅延、特にハードウェアで処理する際の処理遅延や伝搬遅延について考慮していないが、基本的には上述と同様の処理により、これらの遅延にも対処可能である。すなわち、画像データINIおよびオブジェクトタグINTがバッファ12に入力される時点を基準とし、最遅の処理パスに合わせてバッファ12からの出力タイミングを遅らせれば、前述の同期を確立することができる。
【0037】
次に、本装置から出力されるデータで表される画像を印刷する際の画像形成制御処理について、電子写真方式での印刷を例に挙げて説明する。電子写真方式における画像形成制御方法には様々な方法があるが、ここでは、特に文字・線画を滑らかに印刷するための画像形成制御方法として、パルス幅変調(以後、PWM)による方法および強度変調(以後、PAM)による方法について説明する。
【0038】
PWMによる方法は、入力された多値のディジタルデータをD/A変換によって一旦電圧変動信号(以後、変換信号)に変換し、この変換信号の電圧レベルと入力データの入力周期と同じ周期の参照波の電圧レベルとを比較し、変換信号が大きければ発光素子をオン、小さければ発光素子をオフとする方法である。この方法によれば、D/A変換する多値のディジタルデータを本装置から出力される画像データOUTIとし、比較対象の参照波を本装置から出力される画像形成制御信号OUTWに応じて切り替えることにより、画素の主走査方向の大きさおよび形成位置を制御することができる。
【0039】
図8はPWMによる方法を実現するための構成例を示した図であり、この図において、91は画像データOUTIを入力し変換信号を出力するD/A変換器、92は参照波を発生する参照波発生器であり、画像形成制御信号OUTWに応じた参照波を発生する。93は比較器であり、D/A変換器91から出力された変換信号の電圧レベルと、参照波発生器92から出力された参照波の電圧レベルとを比較し、2値の比較結果を出力する。
【0040】
また、図9−図11は、それぞれ異なる参照波を用いた場合の画像形成制御の様子を示したものであり、図中水平方向が主走査方向に相当する。各図において、D/A変換器91の出力電圧値は入力画素値(画像データOUTIの値)に応じて徐々に低下しており、これに比例して、印刷イメージにおける主走査方向の黒画素の幅(以後、水平印刷幅)が狭くなっている。すなわち、各図において、主走査方向において印刷イメージが徐々に薄くなる例が示されている。
【0041】
また、これらの図には、各参照波の形状が黒画素の位置に与える影響が示されている。例えば、図9の例では、水平印刷幅は画素の中央位置からの幅となっており、黒画素の位置は中央位置となる。これに対して、図10の例では図中左端が、図11の例では図中右端が水平印刷幅の起点となっており、黒画素の位置は、図10においては左端、図11においては右端となる。なお、本実施形態においては、画像形成制御信号OUTWの値が‘00h’のときは図9、‘01b’のときは図10、‘10b’のときは図11に示した参照波を選択するようになっている。
【0042】
一方、PAMによる方法は、入力された多値のディジタルデータに応じて発光素子に供給する電流を制御し、発光素子の発光量を制御する方法であり、PWMによる方法が主走査方向の印刷幅を制御する方法であるのに対して、PAMによる方法では副走査方向の印刷幅(以後、垂直印刷幅)が制御される。ここで、PAMによる方法を実現するための構成例を図12に示す。図12において、131は画像形成制御信号OUTAに応じた電流値の信号を出力する電流制御器、132は電流制御器131の出力信号を入力するレーザー発光素子であり、入力信号の電流値に応じた強度で発光するレーザー発光素子である。
【0043】
また、図13は画像形成制御の様子を示したものであり、この図から、画像形成制御信号OUTAの値によって垂直印刷幅が変化していることが分かる。なお、本実施形態においては、画像形成制御信号OUTAの値が‘11b’のときは通常の垂直印刷幅となり、‘10b’のときは通常の垂直印刷幅の3/4、‘01b’のときは通常の垂直印刷幅の1/2、‘00b’のときは通常の垂直印刷幅の1/4の垂直印刷幅となるよう設定されているものとする。
【0044】
上述したことから明らかなように、印刷イメージ上の黒画素を主走査方向へシフトさせる場合にはPWM、副走査方向へシフトさせる場合にはPAMが適しており、本実施形態では、両者を排他的に採用している。1つの画素について両者を適用することも可能であるが、極めて複雑な制御となるので、ここでは、1つの画素についてはPWMおよびPAMのいずれか一方を適用するようにしている。
【0045】
B:動作
次に、本装置の動作について説明する。
図2に示す画像を表す画像データが本装置に入力された場合、オブジェクトタグ付加部11により、当該画像データに対してオブジェクトタグが付加される。なお、図2において、21は2値展開された24ポイント程度の比較的大きな文字、22および25は多値展開された10ポイント程度の比較的小さな文字、23はイメージスキャナやディジタルカメラ等の画像入力装置により入力された写真、24は線や多角形を組み合わせて作成された図形であり、これらのオブジェクトには異なるオブジェクトタグが付加される。ここで、図2に示す画像中の各画素に対して付加されるオブジェクトタグを可視化したイメージを図3に示す。図3において、31は2値展開文字、32は多値展開文字、33は写真、34はグラフィックスを表すオブジェクトタグが付加された画素からなる領域である。なお、図3に示すように、ここでは、下地領域の画素には多値展開文字のオブジェクトタグを付加するものとする。
【0046】
オブジェクトタグ付加部11から出力された画像データ(図2参照)およびオブジェクトタグ(図3参照)は、バッファ12において遅延調整された後、面積階調処理部13、スムージング処理部14および合成部16に入力される。また、バッファ12では、オブジェクトタグ付加部11から出力された画像データから順次3×3ブロック画像データが形成され、この3×3ブロック画像データが遅延調整の後にエッジ検知部15に入力される。
【0047】
面積階調処理部13に入力された画像データは、付加されたオブジェクトタグの値が‘10b’または‘11b’の画素、つまり“写真”に分類された領域23と“グラフィックス”に分類された領域24の画素のみについて面積階調処理を施された後に、合成部16へ出力される。例えば、面積階調処理部13による面積階調処理を図14の(a)に例示した部分画像データに施すと、画像データSCIとしては当該部分画像データ、画像形成制御信号SCWとしては図14の(b)に示した画像形成制御信号、画像形成制御信号SCAとしては図14の(c)に示した画像形成制御信号が面積階調処理部13から出力される。
【0048】
一方、スムージング処理部14に入力された図2の画像を表す画像データは、付加されたオブジェクトタグが‘00b’の画素、つまり2値展開文字に分類された領域21の画素のみについてスムージング処理を施された後、合成部16へ出力される。例えば、スムージング処理部14によるスムージング処理を図15の(a)に例示した部分画像データに施すと、画像データSMIとしては図15の(b)に示した部分画像データ、画像形成制御信号SMWとしては図15の(c)に示した画像形成制御信号、画像形成制御信号SMAとしては図15の(d)に示した画像形成制御信号がスムージング処理部14から出力される。
【0049】
また、エッジ検知部15においては、図2の画像の全画素についてエッジであるか否かが判定され、エッジであった場合には該エッジの方向が調べられ、判定結果(および調査結果)に基づいたエッジ検知結果が合成部16へ出力される。例えば、図14の(a)に示した部分画像データに対するエッジ検知結果EDは、当該部分画像データで表される全画素について‘000b’となり、図15の(a)および図16の(e)に示した部分画像のエッジ検知結果EDは、それぞれ図15の(e)および図16の(f)に示したものとなる。
【0050】
合成部16においては、表3の動作表に従って、各部から入力された複数の画像データの合成と、各部から入力された画像形成制御信号の選択および生成とが行われる。オブジェクトタグ付加部11へ入力された画像データが図2の画像を表す画像データの場合、合成部16において、領域21の画素については、スムージング処理部14から出力された画像および画像形成制御信号とエッジ検知部15から出力されたエッジ検知結果とに基づいた変換処理が施され、当該変換処理結果である画像データおよび画像形成制御信号が合成部16から本装置外部へ出力される。例えば、図15の(b)−(d)に示した部分画像データおよび画像形成制御信号が合成部16に入力されると、画像データOUTIとしては図15の(f)に示した部分画像データ、画像形成制御信号OUTWとしては図15の(c)に示した画像形成制御信号、画像形成制御信号OUTAとしては図15の(d)に示した画像形成信号が合成部16から出力される。
【0051】
また、領域22および領域25の画素については、画素値とエッジ検知部15におけるエッジ検出結果とに基づいた変換処理が施され、当該変換処理結果である画像データおよび画像形成制御信号が合成部16から本装置外部へ出力される。例えば、図16の(e)に示したエッジ検出結果がエッジ検知部15から合成部16に入力されると、画像形成制御信号OUTIとしては図17の(a)に示した部分画像データ、画像形成制御信号OUTWとしては図17の(b)に示した画像形成制御信号、画像形成制御信号OUTAとしては図17の(c)に示した画像形成制御信号が合成部16から出力される。
【0052】
また、領域23および領域24の画素については、面積階調処理部13から出力された画像および画像形成制御信号とエッジ検知部15から出力されたエッジ検出結果とに基づいた変換処理が施され、当該変換処理結果である画像データおよび画像形成制御信号が合成部16から本装置外部へ出力される。例えば、図14の(a)−(c)に示した部分画像データおよび画像形成制御信号が合成部16に入力されると、画像データOUTIとしては図14の(a)に示した部分画像データ、画像形成制御信号OUTWとしては図14の(b)に示した画像形成制御信号、画像形成制御信号OUTAとしては図14の(c)に示した画像形成制御信号が合成部16から出力される。
【0053】
合成部16から本装置外部へ出力された画像データおよび画像形成制御信号に基づいた印刷を、前述したPWMおよびPAMの両機能を有する電子写真方式で行う場合、発光素子の発光パターンは、例えば、図15の(a)に示した領域については同図の(g)、図14の(a)に示した領域については同図の(d)、図16の(e)に示した領域については図17の(d)に示すような発光パターンとなり、紙等の印刷媒体上での印刷結果は、それぞれ図15の(h)、図14の(d)、図17の(e)に示すようなものとなる。つまり、領域21のような2値展開文字領域の画像はスムージング処理されてその印刷イメージが形成され、領域23および領域24のような写真領域およびグラフィックス領域の画像は面積階調処理されてその印刷イメージが形成され、領域22および領域25のような多値展開文字領域の画像は中間調部分を用いた解像度の拡張を施されてその印刷イメージが形成される。
【0054】
C:補足
以上、本発明の一実施形態による画像処理装置について説明したが、本発明の趣旨を逸脱しない範囲であれば、上述した実施形態以外の態様であっても構わない。
例えば、上述の実施形態においては主走査方向の画像形成制御方法としてPWMを用いたが、画素を主走査方向に複数の小画素に分割し、元の画素の値に応じて各小画素の形成・非形成を決定する方法を採用してもよい。この方法を採用するには、図8に示したPWMを実現するための構成を、図18に示した構成に置き換えればよい。
図8において、181はデータ変換器、182はパラレル・シリアル変換器であり、データ変換器181は、上記実施形態における合成部16から出力される画像データOUTIを画像形成制御信号OUTWに応じて変換して出力し、パラレル−シリアル変換器182はデータ変換器181から出力されるデータにパラレル−シリアル変換を施し、発光タイミング信号として発光素子へ供給する。なお、データ変換器181から出力されるデータの値は、‘7h’や‘6h’のように、2進数表現において値が‘1’の全てのビットが連続する値となる。
【0055】
ここで、一例として、主走査方向において1つの画素を4つの小画素に分割する場合の処理について説明する。画像形成制御信号OUTWの値が‘00b’の場合には図19、‘01b’の場合には図20、‘10b’が入力された場合は図21に示すように、合成部16から出力された画像データOUTIが画像形成制御信号OUTWに応じて変換された後にパラレル−シリアル変換されて発光タイミング信号が生成され、最終的には各図最下段のような印刷イメージが得られる。なお、パラレル・シリアル変換器182は、変換処理において、主走査方向における画素の分割数(例えば‘4’)に基づいて基準クロックを逓倍したクロックを用いる。
【0056】
また、上述の実施形態では、電子写真方式での印刷を前提としているが、インクジェット方式や熱転写方式での印刷についても適用可能である。例えば、通常のYMCK各色のインクに加えて、淡濃度インクを有するインクジェットプリンタで印刷することを想定すると、合成部16から出力された画像データOUTI、画像形成制御信号OUTWおよびOUTAに基づいて各画素の形成に使用するインクを決定する機構を、合成部16とプリントヘッド制御部との間に備えればよい。上記機構では、あくまでデータの形式が変化するだけであって、画像そのものには何も処理が施されない。したがって、インク滴の大きさを制御するインクジェットプリンタで印刷する場合にも、上記機構を上述と同様に適用できる。
【0057】
また、熱転写方式での印刷を想定すると、合成部16の画像データOUTI、画像形成制御信号OUTWおよびOUTAに基づいて各画素の形成に必要な印刷ヘッドの発熱量を決定する機構を、合成部16とプリントヘッド制御部との間に備えればよい。この場合にも、あくまでデータの形式が変化するだけであって、画像そのものには何も処理が施されない。すなわち、上述の各変形態様はいずれも、同一画素を印刷方式の違いに関わらずに同様に出力するために、プリンタの画像形成方式の特徴に基づいてデータ形式の変換を行っているに過ぎず、したがって、本発明の趣旨からは逸脱しない。
【0058】
また、前述の実施形態においては、画像処理装置全体の構成を図1に示した構成としたが、もちろんこれに限定されるわけではなく、本発明の趣旨を逸脱しない範囲ならば他の構成であっても構わない。また、面積階調処理部13での処理については任意の処理を採用可能であり、例えば、ディザマトリクスを用いたディザ処理、あるいは誤差拡散処理であってもよい。また、面積階調処理部13での処理は、写真およびグラフィックス両領域ともに同じ面積階調処理を施すようにしたが、それぞれに異なる面積階調処理を施しても構わない。
【0059】
また、スムージング処理部14の構成を図4、エッジ検知部15の構成を図6にそれぞれ示した構成としたが、それぞれスムージング処理およびエッジ検知処理を実現可能な構成であれば他の構成であっても構わない。もちろん、スムージング処理部14において、バッファ43において形成されるブロックの大きさは5画素×5画素以外でもよく、パターン検出器44a−44xにおける検出パターンも図5の(a)−(x)に示したパターンに限定されず、メモリ45の入出力の対応関係も表2に示した対応関係に限定されないのは明らかである。また、バッファ12からエッジ検知部15に入力されるブロックの大きさは3画素×3画素以外でもよく、フィルタ61a−61dのフィルタ係数も図7の(a)−(d)に示した係数に限定されず、フィルタ出力とエッジ情報との対応関係も表3に示した対応関係に限定されないのは明らかである。また、合成部16における合成処理も表4に示した動作表ではなく、他の合成ルールに従ってもよい。さらに、オブジェクトタグに関係なくスムージング処理や面積階調処理を行い、合成部6においてオブジェクトタグを考慮して各画像データを合成する態様も容易に実現可能である。
【0060】
また、前述の実施形態においては、画像処理装置に入力される画像を、1画素あたり8ビットの階調情報を有するグレースケール画像としたが、1画素あたりの階調情報が8ビットに限定されないのは明白である。なお、グレースケール画像ではなく、複数の色成分を有するカラー画像を入力画像とする場合には、面順次入力であれば前述の実施形態と同様の処理を各色成分に対して順に施せばよく、点順次入力であれば前述の実施形態による画像処理装置を色成分の数だけ並列に接続して各色成分を並行処理するか、あるいは各部において全色成分を並行処理するように構成すればよい。
【0061】
【発明の効果】
以上説明したように、本発明によれば、入力画像中のオブジェクト毎に、最適な画像データに基づいて画像形成処理のための制御信号が生成される。したがって、本発明によれば、様々な領域を包含するドキュメント画像の出力画像の品質を向上させることが可能となり、例えば、入力画像中の写真・グラフィックスの階調性を損なうことなく、入力画像中の文字・線画の輪郭が滑らかとなるように出力画像を形成することができる。
【図面の簡単な説明】
【図1】 本発明の一実施形態に係る画像処理装置の構成例を示す図である。
【図2】 同画像処理装置に入力される画像(入力画像)の一例を示す図である。
【図3】 図2に示した入力画像のオブジェクトタグ付加部11における分類結果を示す図である。
【図4】 同画像処理装置に含まれるスムージング処理部14の構成例を示す図である。
【図5】 同スムージング処理部14におけるパターン検出器44a−44xにおいて用いられる検出パターンの一例を示す図である。
【図6】 同画像処理装置に含まれるエッジ検知部15の構成例を示す図である。
【図7】 図6におけるフィルタ71a−71dのフィルタ係数を示す図である。
【図8】 同画像処理装置の出力信号を用いてパルス幅変調を行うための構成例を示す図である。
【図9】 図8に示した構成例によるパルス幅変調の一例を説明するための図である。
【図10】 図8に示した構成例によるパルス幅変調の別の例を説明するための図である。
【図11】 図8に示した構成例によるパルス幅変調の別の例を説明するための図である。
【図12】 同画像処理装置の出力信号を用いて強度変調を行うための構成例を示す図である。
【図13】 図12に示した構成例による強度変調の一例を説明するための図である。
【図14】 同画像処理装置による面積階調処理を説明するための図である。
【図15】 同画像処理装置によるスムージング処理の一例を示す図である。
【図16】 多値展開文字の処理の例を示す図である。
【図17】 多値展開文字の処理の例を示す図である。
【図18】 画素を主走査方向に複数の小画素に分割する印刷方法を実現する構成例を示す図である。
【図19】 図17に示した構成例によるパルス幅変調の一例を説明するための図である。
【図20】 図17に示した構成例によるパルス幅変調の別の例を説明するための図である。
【図21】 図17に示した構成例によるパルス幅変調の別の例を説明するための図である。
【符号の説明】
11…オブジェクトタグ付加部
12…バッファ
13…面積階調処理部
14…スムージング処理部
15…エッジ検知部
16…合成部

Claims (2)

  1. 入力画像データで表される入力画像に含まれるオブジェクトの種類および領域を表すオブジェクトタグを生成するオブジェクトタグ生成部と、
    前記入力画像データを変換して変換画像データを生成する画像変換部と、
    前記オブジェクトタグ生成部により生成されたオブジェクトタグを入力し、入力したオブジェクトタグに基づいて、前記入力画像データと前記画像変換部により生成された前記変換画像データとのいずれか一方を選択し、選択した画像データに基づいて画像形成処理のための制御信号を生成する制御信号生成部と
    を具備し、
    前記制御信号生成部により生成される制御信号は、
    発光素子を発光させることにより画像の形成を行う画像形成装置の前記発光素子を制御するための信号であって、主走査方向の画像形成を制御するために前記発光素子の発光タイミングを制御する信号および副走査方向の画像形成を制御するために前記発光素子の発光強度を制御する信号の少なくとも一方を含む
    ことを特徴とする画像処理装置。
  2. 前記入力画像データに基づいて前記入力画像中のエッジを検知するエッジ検知部を具備し、
    前記制御信号生成部は、前記エッジ検知部による検知結果を入力し、この検知結果および入力したオブジェクトタグに基づいて、前記入力画像データと前記画像変換部により生成された前記変換画像データとのいずれか一方を選択する
    ことを特徴とする請求項1に記載の画像処理装置。
JP07952698A 1998-03-26 1998-03-26 画像処理装置および画像処理方法 Expired - Fee Related JP3812131B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP07952698A JP3812131B2 (ja) 1998-03-26 1998-03-26 画像処理装置および画像処理方法
US09/263,632 US6480302B1 (en) 1998-03-26 1999-03-05 Image processing apparatus and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP07952698A JP3812131B2 (ja) 1998-03-26 1998-03-26 画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
JPH11275353A JPH11275353A (ja) 1999-10-08
JP3812131B2 true JP3812131B2 (ja) 2006-08-23

Family

ID=13692438

Family Applications (1)

Application Number Title Priority Date Filing Date
JP07952698A Expired - Fee Related JP3812131B2 (ja) 1998-03-26 1998-03-26 画像処理装置および画像処理方法

Country Status (2)

Country Link
US (1) US6480302B1 (ja)
JP (1) JP3812131B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000138833A (ja) * 1998-08-28 2000-05-16 Toshiba Tec Corp 画像処理方法及び画像処理装置
US7474787B2 (en) * 1999-12-28 2009-01-06 Minolta Co., Ltd. Apparatus and method of detecting specified pattern
JP2004322375A (ja) * 2003-04-22 2004-11-18 Canon Inc 露光量決定方法
US20050105819A1 (en) * 2003-11-13 2005-05-19 Microsoft Corporation Quick blur approximation
US7469068B2 (en) * 2004-05-27 2008-12-23 Seiko Epson Corporation Method and apparatus for dimensionally transforming an image without a line buffer
US7787703B2 (en) * 2005-05-11 2010-08-31 Xerox Corporation Method and system for extending binary image data to contone image data
US7889938B2 (en) * 2006-03-31 2011-02-15 Canon Kabushiki Kaisha Method and apparatus for processing line drawings in images

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4847641A (en) 1988-08-16 1989-07-11 Hewlett-Packard Company Piece-wise print image enhancement for dot matrix printers
US5455681A (en) 1992-11-16 1995-10-03 Eastman Kodak Company Low resolution grey level printing method from high resolution binary input file
US5659402A (en) * 1994-01-14 1997-08-19 Mita Industrial Co., Ltd. Image processing method and apparatus
DE69515923T2 (de) 1994-01-27 2000-12-21 Hewlett Packard Co Automatische Optimierung von Papierbildern
US5687303A (en) * 1994-05-18 1997-11-11 Xerox Corporation Printer controller for object optimized printing
US6327043B1 (en) * 1994-05-18 2001-12-04 Xerox Corporation Object optimized printing system and method
JP3638026B2 (ja) 1994-07-07 2005-04-13 富士ゼロックス株式会社 画像処理装置と画像処理方法
JP3353078B2 (ja) 1994-11-10 2002-12-03 ミノルタ株式会社 画像処理装置及び方法

Also Published As

Publication number Publication date
JPH11275353A (ja) 1999-10-08
US6480302B1 (en) 2002-11-12

Similar Documents

Publication Publication Date Title
JP2797224B2 (ja) デジタル化された映像をドットマトリックスフォーマットで発生する装置により表示される映像を修正する方法および装置
US5387985A (en) Non-integer image resolution conversion using statistically generated look-up tables
JP2964931B2 (ja) 画像処理装置および画像形成装置
US5696845A (en) Method for design and implementation of an image resolution enhancement system that employs statistically generated look-up tables
JPH09139845A (ja) グレースケールイメージの解像度を向上する方法
US6266153B1 (en) Image forming device having a reduced toner consumption mode
US6332666B1 (en) Printing apparatus, resolution conversion printing method for printing apparatus, and storage medium storing computer-readable program
JPH0923338A (ja) ビットマップイメージの外観調整方法および装置
JPH10334228A (ja) ラスタ画像の解像度向上方法
EP0708415B1 (en) Four-quadrant scaling of dot matrix data
JPH11154226A (ja) 解像度改善方法及び装置
JP3810826B2 (ja) ハーフビット画素レンダリング方法およびハーフビット画素レンダリング装置
JP3812131B2 (ja) 画像処理装置および画像処理方法
US6873440B2 (en) Multibit screening of print documents in a PDL environment
US8014030B2 (en) Image processing and formation with line thininng by reducing intensity of target pixel based on extracted contour pixel and area connectedness information
JPH05276382A (ja) 画像処理方法及びその装置
JP4050382B2 (ja) 多値画像のスムージング装置及び画像形成装置
JP3796985B2 (ja) 画像処理装置、画像処理方法および記憶媒体
US6850339B1 (en) Resolution enhancement of half-toned black data transmitted with color data
JP4127675B2 (ja) 画像処理装置
JPH07250240A (ja) 画像形成装置
JP2001105670A (ja) 画像形成装置
JP3768560B2 (ja) 画像処理装置および方法
JP4135713B2 (ja) カラー画像形成装置及びカラー画像形成方法
JP2003305883A (ja) 画像形成装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060313

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060509

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060522

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100609

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110609

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110609

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120609

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130609

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140609

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees