JP3639397B2 - 像域別カラー画像処理装置、画像出力装置、画像処理方法および記憶媒体 - Google Patents

像域別カラー画像処理装置、画像出力装置、画像処理方法および記憶媒体 Download PDF

Info

Publication number
JP3639397B2
JP3639397B2 JP34339796A JP34339796A JP3639397B2 JP 3639397 B2 JP3639397 B2 JP 3639397B2 JP 34339796 A JP34339796 A JP 34339796A JP 34339796 A JP34339796 A JP 34339796A JP 3639397 B2 JP3639397 B2 JP 3639397B2
Authority
JP
Japan
Prior art keywords
pixel
image
edge
processing
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP34339796A
Other languages
English (en)
Other versions
JPH10191054A (ja
Inventor
敏明 中村
学 城
達基 犬塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP34339796A priority Critical patent/JP3639397B2/ja
Priority to US08/960,322 priority patent/US6731400B1/en
Publication of JPH10191054A publication Critical patent/JPH10191054A/ja
Application granted granted Critical
Publication of JP3639397B2 publication Critical patent/JP3639397B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、フルカラー画像処理装置または画像出力装置に係り、特に、画像濃淡情報値を印字ドットの面積に変換して出力するカラーレーザプリンタに関する。
【0002】
【従来の技術】
フルカラー画像をカラーレーザプリンタで印字する方法として、ディザ処理とパルス幅変調とを組み合わせて一画素内の印字面積を画素濃度に応じて変化させる、いわゆる多値ディザ処理にて多階調印字を実現する方法がある。例えば、特開昭59ー161977号公報に記載されている画像処理装置では、ディザマトリクスの複数種類のサイズと、パルス幅変調における複数種類のパルス幅の周期信号との組合わせを用意し、原稿の種類、例えば文字のみの原稿、絵柄のみの原稿、文字と絵柄の混在した原稿等に応じて一ページ毎に上記組み合わせを切り替えることで、一画素内の印字面積の段階数を変え、原稿に応じた最適な印字を実現している。
【0003】
【発明が解決しようとする課題】
しかしながら、上述した従来技術では、一ページ単位で組み合わせを切り替えるため、文字絵柄混在画像においては、文字、絵柄各領域の画質は、文字のみの原稿及び絵柄のみの原稿の印字結果に比べ、劣る結果になった。また、利用者が原稿に応じて多値ディザのマトリクスとパルス幅変調数の組み合わせを一ページ単位に切り替える煩わしさがあった。
【0004】
また、特開平3−76377号公報においては、入力された画像に対し、各画素ごとにエッジ判定を行い、エッジ領域とエッジに隣接する領域とで、それぞれ異なる2値化処理を行うものが開示されている。
【0005】
また、特開平4−90680号公報においては、各画素ごとにエッジ判定を行い、エッジと判定された場合には、画素の濃度が近傍画素の濃度よりも高い場合には、高く強調された濃度値を選択し、画素の濃度値が近傍画素の濃度値よりも低い場合には、低く強調された濃度値を選択し、エッジでないと判定された場合には、強調されていない濃度値を選択して2値化処理を行うものが開示されている。
【0006】
上記特開平3−76377号公報と上記特開平4−90680号公報との従来技術では、2値化処理を行っており多値化処理は行っていない。
【0007】
本発明は、上記問題点を解決すべく、画像処理装置、画像出力装置および画像処理方法において、より画質を向上させることを目的とする。
【0008】
【課題を解決するための手段】
上記問題点を解決するため、像域別カラー画像処理装置は、画像のエッジ部分の第一の領域と、前記第一の領域に隣接する第二の領域と、前記第一の領域および前記第二の領域以外の第三の領域とを判別する判別部と、前記第一の領域について、あらかじめ定めたドット分散型の多値ディザマトリクスを用いて多値ディザ処理を施して出力し、前記第三の領域について、あらかじめ定めたドット集中型の多値ディザマトリクスを用いて多値ディザ処理を施して出力し、前記第二の領域について、前記ドット分散型と前記ドット集中型とを混合した、あらかじめ定めた混合型の多値ディザマトリクスを用いて多値ディザ処理を施して出力する処理部とを有する。
【0009】
また、判別部は、前記画像の画素ごとに、当該画素がエッジであるか否かを判定するエッジ判定手段と、前記エッジ判定手段によるエッジの判定に従い、当該画素がエッジに隣接するか否かを判定するエッジ隣接判定手段と、前記エッジ判定手段によるエッジの判定と前記エッジ隣接判定手段によるエッジの隣接の判定とに従い、当該画素が、前記第一の領域と前記第二の領域と前記第三の領域とのうちいずれの領域のものであるかを選択する選択手段とを備える。例えば、エッジ判定手段は、注目する画素の色情報値と、その周辺画素の色情報値から注目画素が画像内のエッジ(輪郭)を形成する画素か否かを判定する。エッジ隣接判定手段では、非エッジと判定された画素に対し、その画素の上下左右及び斜め方向にエッジと判定された画素が隣接するか否かを判定する。選択手段は、その判定結果に応じ、当該画素が、前記第一の領域と前記第二の領域と前記第三の領域とのうちいずれの領域のものであるかを選択する。
【0010】
さらに、前記処理部の第一の処理手段は、エッジと判定された第一の領域の画素に対しては高精細な印字出力となるドット分散型の多値ディザマトリクスを用いて多値ディザ処理を行う。第二の処理手段は、エッジ隣接と判定された第二の領域の画素に対しては高精細と高階調の中間的な印字出力となる混合型の多値ディザマトリクスを用いて多値ディザ処理を行う。第三の処理手段は、平坦領域データある第三の領域の画素に対しては高階調な印字出力となるドット集中型の多値ディザマトリクスを用いて多値ディザ処理を行う。
【0011】
さらに、画像出力装置では、処理部による多値ディザ処理の後に、一律にパルス幅変調を実行して画像出力装置から出力するようにしてもよい。
【0012】
【発明の実施の形態】
以下、本発明の第一の実施の形態を図面を参照して説明する。図1は、本発明の第一の実施の形態における画像処理装置の一例としてコンピュータ等の画像出力装置であるカラーレーザプリンタシステムを示したものである。図1において、PC101は、ホストコンピュータであり、一画素の色情報をR(赤)、G(緑)、B(青)のデータとして出力する。カラーレーザプリンタ102は、PC101から送られた画像情報を記録紙に印字する機構である。画像メモリ103は、印字する画像データ1ページ分の各画素の色情報を記憶するメモリである。色変換部104は、R、G、Bで表現された色情報を記録紙に印字する色材であるC(シアン)、M(マゼンタ)、Y(イエロー)、K(ブラック)の色成分信号の画像データに変換する。色変換部104は、例えば、色変換のために、R、G、Bの色情報をアドレスとし、C、M、Y、Kの色成分信号を画像データとする変換テーブルを半導体メモリに記憶させておき、アドレスにR、G、Bの色情報を入力し、色変換後のC、M、Y、Kの画像データを出力することで実現できる。選択部105は、色成分信号のC、M、Y、Kのうちいずれかを、画素ごとに一ページ分出力し、C、M、Y、Kと順次切り替えて出力する機能であり、論理回路のセレクタで実現できる。エッジ判定部106は、一画素ごとの各色成分の画像データを入力し、入力した画素(注目画素)がエッジであるか否かを判定し、エッジであるか否かを示すエッジ判定信号415を出力する機能を備える。エッジ判定部106の具体的な構成は図2に示す。また、エッジ隣接判定部107は、エッジ判定部106において注目画素がエッジと判定されなかった画素であり、かつ、この注目画素の縦、横または斜め方向に隣接する画素(周囲8画素のいずれか)がエッジと判定された画素であるとされている場合に、エッジに隣接する画素であると判定し、それ以外の場合にエッジに隣接する画素でないと判定し、エッジに隣接する画素であるか否かを示すエッジ隣接判定信号410を出力する機能を備える。具体的な構成は図3に示す。また、ラインメモリ108a、108bは、それぞれ入力された色成分ごとの画像データを主走査線1ライン分遅延させる機能を備え、例えば、半導体メモリで実現できる。
【0013】
また、エッジ多値ディザ処理部109は、高精細な印字出力となる、あらかじめ定めたドット分散型のディザマトリクスを用いた多値ディザ処理を行う機能を備える。具体的な構成は図4で説明する。エッジ隣接多値ディザ110は、高精細と高階調の中間的な印字出力となるドット集中型とドット分散型とを混合した(ドット集中型とドット分散型との中間的な)、あらかじめ定めた混合型のディザマトリクスを用いた多値ディザ処理を行う機能を備える。具体的な構成は図5に示す。さらに、平坦多値ディザ111は、高階調な印字出力となる、あらかじめ定めたドット集中型のディザマトリクスを用いた多値ディザ処理を行う機能を備える。具体的な構成は図6に示す。エッジ多値ディザ処理部109と、エッジ隣接多値ディザ110と、平坦多値ディザ111とで、第一の領域について、あらかじめ定めたドット分散型の多値ディザマトリクスを用いて多値ディザ処理を施して出力し、前記第三の領域について、あらかじめ定めたドット集中型の多値ディザマトリクスを用いて多値ディザ処理を施して出力し、前記第二の領域について、前記ドット分散型と前記ドット集中型とを混合した、あらかじめ定めた混合型の多値ディザマトリクスを用いて多値ディザ処理を施して出力する処理部を構成する。
【0014】
選択部112は、エッジ隣接判定部107から出力されるエッジ判定信号415とエッジ隣接判定信号410とにより、入力する3つの画像処理出力のうち一つを選択して出力する機能を備える。選択部112は、論理回路であるセレクタで実現できる。エッジ判定部106とエッジ隣接判定部107と選択部112とで、画像のエッジ部分の第一の領域と、前記第一の領域に隣接する第二の領域と、前記第一の領域および前記第二の領域以外の第三の領域とを判別する判別部を構成する。パルス幅変調部113は、一画素毎の画像信号をその信号値に対応したパルス幅をもつ一つのパルスに変換する機能を備える。具体的な構成は図8に示す。プリンタエンジン114は、パルス幅に従って、記録紙に各色成分の画像データに対応した色素を付着させる手段である。プリンタエンジン114は、例えば、レーザプリンタの印字機構で実現でき、パルス幅変調部113の出力パルス幅に応じて印字ドットの大きさを変化させて印字することで濃淡を表現する。すなわちPWM出力のパルス幅に応じて一画素の印字領域内に付着される色材の量を変化させることで色の濃淡を表現する。
【0015】
次に、図1に示す本発明の第一の実施の形態における構成の動作について説明する。PC101からプリンタエンジン114で印字出力すべき一ページ分のR、G、Bに色分解された色情報を画像メモリ103に転送する。つぎに画像メモリ103から一画素ずつ色変換部104へR、G、Bの色情報が入力され、ここでC、M、Y、Kの色成分信号の画像データに変換される。選択部105では、C、M、Y、Kの中から一色の信号を選択し、一ページ分の各画素の色成分信号の画像データをエッジ判定部106へ出力し、順次、C、M、Y、Kと切り替えて出力する。色成分信号の画像データは、例えば、8ビットの符号データで表すことができる。つぎに、選択部105の出力がエッジ判定部106に送られ、エッジ判定部106において、注目する画素がエッジ部に属するか否かが判定され、また、エッジ隣接判定部107において、エッジの隣接部に属するか、または平坦部に属するかを判別する。エッジ判定部106とエッジ隣接判定部107との出力に応じて選択部112では、エッジ多値ディザ処理部109、エッジ隣接多値ディザ110、平坦多値ディザ111の出力のうち一つを選択して出力する。パルス幅変調部113では画像信号を対応するパルス幅に変換し、プリンタエンジン108に信号を送る。プリンタエンジン108ではパルス幅に応じて一画素の色材の量を変化させ記録紙に印字する。上記処理を一ページ単位で、選択部105においてそれぞれの色成分信号の画像データを切り替えることにより、C、M、Y、Kの4色分それぞれ処理を行い、最後に印字結果を出力する。
【0016】
また、図1に示す構成では、エッジ多値ディザ処理部109と、エッジ隣接多値ディザ110と、平坦多値ディザ111とにおける画像処理後に、選択部112において、3つの画像処理出力のうち一つを選択して出力しているが、選択部112において、エッジ隣接判定部107から出力されるエッジ判定信号415とエッジ隣接判定信号410とにより画像のエッジ部分であるかエッジに隣接する部分であるかそれ以外の平坦部であるかを判定し、画像のエッジ部分については、エッジ多値ディザ処理部109において画像処理を行わせるように指示し、エッジに隣接する部分についてはエッジ隣接多値ディザ110において画像処理を行わせるように指示し、それ以外の平坦部については、平坦多値ディザ111において画像処理を行わせるように指示するようにしてもよい。
【0017】
つぎに、各ブロックの処理について詳細に説明する。
【0018】
図2に、図1におけるエッジ判定部106の構成を示す。図2において、ラッチ303a〜hは、1画素単位の色成分信号の画像データを記憶する手段であり、ラッチ303a〜cと、303f〜hとでそれぞれ主走査方向の3画素分のシフトレジスタを構成する。また、ラッチ303dおよびeで主走査方向の2画素分のシフトレジスタを構成する。ラッチ303a〜hは、論理素子であるフリップフロップで実現できる。ラッチ303eには、エッジ判定の対象となる注目画素が保持される。乗算器304a〜eは、乗算器で、各ラッチの出力と、乗算器の予め定められた係数とを乗算する。乗算器304a〜eは、論理回路である加算器の組み合わせで実現できる。加算器305は、乗算器304a〜eの出力の合計を求める。しきい値306は、エッジと判定すべき基準値を設定する手段である。しきい値306は、論理回路で構成するレジスタに、あらかじめ基準値を記憶させることで実現する。比較器307は、加算器305の加算出力と、しきい値306とを比較し、加算器305の加算出力が大きい場合にエッジであるとして「1」を出力し、それ以外の場合はエッジでないとして「0」を出力する。
【0019】
次に、エッジ判定201の動作を説明する。ラッチ303a、c、fおよびhには、ラッチ303eに保持されている、エッジ判定の対象となる注目画素の斜め方向に隣接する4画素の色成分信号の画像データが入っている。これら5画素の色成分信号の画像データについて、乗算器304a〜eと加算器305とで構成されるデジタルフィルタであらかじめ定めた演算を実行する。このデジタルフィルタは、中心の値と周辺の値との微分値を検出するのに用いる一般的なラプラシアンフィルタを利用している。この場合、周辺に値には−1を乗じ、中心の値には4を乗じる。従って、注目画素の値と周辺画素の値の差が大きいほど大きな値を出力する。一般に画像のエッジ部(輪郭部)では、この出力は大きな値を示す。そしてこのフィルタ出力と、エッジ判定の基準値であるしきい値306とを比較して、しきい値306より大きな値であればエッジであると判定し、エッジ判定信号として「1」を出力し、しきい値306以下であればエッジでないと判定し、エッジ判定信号として「0」を出力する。
【0020】
図3に、図1におけるエッジ隣接判定部107の構成を示す。図3において、ラインメモリ401aおよびbは、主走査1ライン分のエッジ判定信号を記憶する手段であり、半導体メモリで実現できる。ラッチ402a〜iは、1画素単位のエッジ判定信号を記憶する手段であり、ラッチ402a〜c、402d〜fおよび402g〜iで、それぞれ主走査方向の3画素分のシフトレジスタを構成する。ラッチ402a〜iは、論理素子であるフリップフロップで実現できる。NOT403は、入力信号値の反転信号を出力する手段である。入力が1の場合は0を、入力が0の場合は1を出力する。NOT403は、論理素子であるインバータで実現できる。OR404は、8つの入力信号の論理和を出力する手段である。OR404は、論理素子のOR回路で実現できる。AND405は、2つの入力信号の論理積を出力する手段であり、論理素子のAND回路で実現できる。
【0021】
次に、エッジ隣接判定部107の動作について説明する。ラッチ402a〜iには、主走査方向3画素および副走査方向3画素の計9画素のエッジ判定結果が入っている。ここで注目画素のエッジ判定結果は、中心のラッチ402eに入っている。OR404では、注目画素の周囲8画素にエッジと判定された画素があるか否かを検出する。OR404の出力が1であれば8画素中の少なくとも1画素がエッジと判定された画素であることを示し、OR404の出力が0であれば8画素中のいずれもエッジと判定された画素がないことを示す。そしてAND405では、注目画素がエッジではなく、つまりNOT403の出力が1で、かつ、周囲8画素内にエッジ画素がある場合、つまりOR404の出力が1の場合に、注目画素をエッジ隣接画素であると判定し、エッジ隣接判定信号410として「1」を出力し、それ以外の場合にはエッジ隣接判定信号410として「0」を出力する。また、ラッチ402eの注目画素のエッジ判定結果は、そのままエッジ判定信号415として出力する。
【0022】
図4に、図1におけるエッジ多値ディザ処理部109の構成を示す。本実施の形態においては、多値ディザ処理として、複数の画素で濃淡を表現する面積変調を行う。また、エッジ多値ディザ処理部109のディザマトリクスとしてドット分散型(例えば、ベイヤーディザパターン)を使用し、ディザ処理結果の1出力が16画素内の一箇所に集中することなく分散され、16画素の領域が一様な色として表現される。また、エッジ多値ディザ処理部109は、8ビットの画像データを、画像処理して4ビットの画像データにして出力する。
【0023】
図4において、ガンマ補正部A501は、C、M、Y、Kの各色成分信号の画像データと実際の記録時の色材の色の違いを補正する機能を備える。ガンマ補正部A501は、例えば、色成分信号の画像データをアドレスに入力し、ガンマ補正後の色成分信号の画像データをデータとする補正テーブルを半導体メモリに記憶させておき、アドレスに色成分信号の画像データを入力し、ガンマ補正後の色成分信号の画像データをデータとして出力することで実現できる。副走査カウンタ502は、2ビットカウンタであり、主走査線1ラインの画像処理開始時に1カウントアップし、0から3までの4ラインの周期でカウント動作を行う。副走査カウンタ502は、2つのフリップフロップの組み合わせで実現できる。主走査カウンタ503は、2ビットカウンタであり、1画素の画像処理開始時に1カウントアップし、0から3までの4画素の周期でカウント動作を行う。主走査カウンタ503は、2つのフリップフロップの組み合わせで実現できる。エッジ用ディザマトリクス504は、主走査方向に4個、副走査方向に4個の計16個のマトリクスに0から15までの値が入っている。エッジ用ディザマトリクス504は、論理回路であるレジスタファイルで実現できる。このエッジ用ディザマトリクス504は、副走査カウンタ502と主走査カウンタ503とから出力されたカウント値をアドレスとして入力する。例えば、図7(a)に、各カウンタの出力値とそれに対応したエッジ用ディザマトリクス504の出力値とを示す。図7(a)において、主走査カウンタ503のカウント値が2、副走査カウンタ502のカウント値が3の場合は、エッジ用ディザマトリクス504は13を出力する。
【0024】
また、図4において、比較器505は、ガンマ補正部A501の出力値である、ガンマ補正後の7ビットの画素信号の下位4ビットの値と、エッジ用ディザマトリクス504の出力値とを比較し、ガンマ補正部A501の出力値の下位4ビットの値がエッジ用ディザマトリクス504の出力値より大であれば1を出力する。それ以外であれば0を出力する。比較器505は、論理回路である比較器で実現できる。
【0025】
次に、エッジ多値ディザ処理部109の動作について説明する。エッジ多値ディザ処理部109は、ガンマ補正後の7ビットの画素信号を4ビットに丸める動作をおこなう。単純に7ビット内の下位3ビットを切り捨ててしまっては128階調で表現される濃淡変化が16階調の表現になってしまい微妙な濃淡表現が実現できない。そこで下位4ビットを、多値エッジ用ディザマトリクス504の出力と一画素毎に順次比較してその結果を4ビット出力の最下位ビットとして割り付ける。例えば、16画素の7ビット出力が全て86H(以下、Hは、HEX表示を意味する)という値であった場合、下位4ビットの6Hを各画素位置のディザマトリクス値と比較し、ディザ値が5以下の画素位置の場合には、下位4ビットの値(6H)が大きいので1が出力される。その結果、図7(a)に示すディザマトリクスによれば、比較器505の出力は、16画素中10画素が「0」、6画素が「1」となる。このため、4ビット画像データは、上位3ビットが8Hであるので、16画素中10画素が8H、6画素が9Hとなり、16画素を一つの画素と見做すと86H同等に見える。
【0026】
この処理の出力結果の概念図の例を、図9(a)に示す。図9(a)において、一つの長方形が一画素を表す。図9(a)の各ブロックの上の数字は、図4に示すガンマ補正部A501の出力データ(7ビットデータ)の値を10進数で示し、ブロック内の16画素が全て均一に上記数値である場合を示す。また、白の四角はその画素値が0であることを示す。また部分的に黒になっている四角は4ビット出力が1〜15の間にあることを示し、値が大きいほど黒の領域(面積)の割合が多くなる。例えば、図9(a)において、ガンマ補正部A501の出力データが、1ブロック内の16画素すべて「8」の場合、図7(a)に示すエッジ画素用ディザマトリクスで多値ディザ処理を行うと、16画素中10画素が8H、6画素が9Hとなる。図9(a)のように、図7(a)に示すエッジ画素用ディザマトリクスで多値ディザ処理を行うと、1画素単位でドット変調処理を行うことができる。
【0027】
また、図5に、図1におけるエッジ隣接画素処理110の構成を示す。図5において、ガンマ補正部B601は、C、M、Y、Kの各色成分信号の画像データと実際の記録時の色材の色の違いを補正する機能を備える。ガンマ補正部B601は、例えば、色成分信号の画像データをアドレスに入力し、ガンマ補正後の色成分信号の画像データをデータとする補正テーブルを半導体メモリに記憶させておき、アドレスに色成分信号の画像データを入力し、ガンマ補正後の色成分信号の画像データをデータとして出力することで実現できる。色別初期値602aおよびbは、C、M、Y、Kの各色成分信号の画像データに対応して異なる値を出力する機能を備え、論理回路であるラッチ回路で構成される。副走査カウンタ603は、3ビットカウンタであり、主走査線1ラインの画像処理開始時に1カウントアップする。0から9までの10ラインの周期でカウント動作を行う。副走査カウンタ603は、論理回路であるカウンタで実現できる。主走査カウンタ603は、3ビットカウンタであり、1画素の画像処理開始時に1カウントアップする。0から4までの5画素の周期でカウント動作を行う。主走査カウンタ603は、論理回路であるカウンタで実現できる。エッジ隣接画素用ディザマトリクス605は、主走査方向に5個、副走査方向に10個の計50個の値が入っている。例えば、図7(b)に、各カウンタ出力値とそれに対応したエッジ隣接画素用ディザマトリクス605のディザ値とを示す。太線で囲まれた10画素分を一ブロックとし、この組み合わせでディザマトリクスを構成する。図7(b)において、10画素に満たないブロックは、ディザマトリクスを隣接してさらに設けたとした場合の、その隣接するディザマトリクスのブロックの画素あわせて10画素分のブロックを構成する。例えば、図7(b)において、主走査カウント値が2、副走査カウント値が0および1の位置の2画素と、そのディザマトリクスの上部に隣接するディザマトリクスの主走査カウント値が1で、副走査カウント値が6、7、8および9と、主走査カウント値が2で、副走査カウント値が6、7、8および9との位置の8画素とにより1ブロックを構成する。エッジ隣接画素用ディザマトリクス605は、論理回路であるレジスタファイルで実現できる。図7(b)において、副走査カウンタ603と主走査カウンタ604との出力をこのエッジ隣接画素用ディザマトリクスのアドレスとして入力する。動作時は、色別初期値602aと602bとの値をC、M、Y、Kの4色で異なるようにして各色の印字が重ならないように制御することで色の再現性と色ズレによる画質劣化を抑える。また、図5において、減算器606は、ガンマ補正部B601の出力値から、エッジ隣接画素用ディザマトリクス605の出力値を減算する機能を備える。減算器606は、論理回路である減算器で実現できる。オーバフローアンダフロー制御部607は、減算器606の出力が10進数で13を越えた場合は値を13とし、また0以下になった場合は0にし、それ以外の値はそのまま出力する機能を備える。
【0028】
つぎに、エッジ隣接多値ディザ処理部110の動作について説明する。図5において、入力される8ビット/画素の画像データ125を、ガンマ補正部B601で7ビット/画素の画像データに変換し、その画素の位置に対応したディザマトリクス605の値を減算器606で減算する。また、画素の位置に対応したディザマトリクス605の位置は、各色毎に色別初期値602aおよびbに異なる値を設定しておくことにより、色毎に異なる位置に対応させることができる。これにより、各色の印字位置をずらすことができる。また、オーバフローアンダーフロー制御部607において、減算器606の出力が13以上であれば13とし、また0以下であれば0とする。0から13の間の値はそのまま4ビット画像データ420として出力する。
【0029】
この処理の出力結果の概念図の例を、図9(b)に示す。図9(b)は、図7(b)に示すディザマトリクスのハッチングを施した10画素分についての処理結果を示したものである。一つの長方形が一画素を表す。図9(b)の各ブロックの上の数字は、図5に示すガンマ補正部B601の出力データ(7ビットデータ)の値を10進数で示し、ブロック内の10画素が全て均一に上記数値である場合を示す。また、白の四角はその画素値が0であることを示す。黒の四角はその画素値が13であることを示す。また部分的に黒になっている四角は4ビット出力が1〜12の間にあることを示し、値が大きいほど黒の領域(面積)の割合が多くなる。例えば、図9(b)において、ガンマ補正部B601の出力データが、1ブロック内の10画素すべて「8」の場合、図7(b)に示すエッジ隣接画素用ディザマトリクスで多値ディザ処理を行うと、主走査のカウント値が1で副走査のカウント値が0の位置の画素の値のみが8となり、その他の画素の値は「0」となる。図9(b)のように、図7(b)に示すエッジ隣接画素用ディザマトリクスで多値ディザ処理を行うと、入力画素値が大きくなるにつれて、黒の領域が一箇所に集中せずに分散しながら増えていくことがわかる。また、一画素分の領域では、4ビット/画素で0から13までの14段階の濃淡あるいは階調しか表現できないが、このように隣接10画素の固まりを一画素と見做せば0から127間での128段階の濃淡を表現できる。
【0030】
また、図6に、図1における平坦多値ディザ処理部111の構成を示す。図6において、構成および動作は、図5で説明したエッジ隣接画素多値ディザ処理部110と同一である。異なる箇所は、ディザマトリクス705のディザ値が異なる。エッジ隣接ディザマトリクスと異なるのは、濃淡値が大きくなるにつれて黒の四角が分散せずに集中して増加するディザマトリクスのパターン(一般に、ドット集中型ディザパターンと呼ばれている)を使う点である。図7(c)に、各カウンタ出力値と、それに対応したディザマトリクス705のディザ値の一例を示す。太線で囲まれた10画素分を一ブロックとし、この組み合わせでディザマトリクスを構成する。
【0031】
つぎに、平坦多値ディザ処理部111の動作について説明する。入力される8ビット/画素の画像データを、ガンマ補正部B601で7ビット/画素の画像データに変換し、その画素の位置に対応したディザマトリクス605の値を減算器606で減算する。その出力が13以上であれば13とし、また0以下であれば0とする。0から13の間の値はそのまま出力する。
【0032】
この処理の出力結果の概念図の例を、図9(c)に示す。図9(c)は図7(c)に示すのディザマトリクスのハッチングを施した10画素分についての処理結果を示したものである。一つの長方形が一画素を表す。図9(c)の各ブロックの上の数字は、図6に示すガンマ補正部B701の出力データ(7ビットデータ)の値を10進数で示し、ブロック内の10画素が全て均一に上記数値である場合を示す。また、白の四角はその画素値が0であることを示す。黒の四角はその画素値が13であることを示す。また部分的に黒になっている四角は4ビット出力が1〜12の間にあることを示し、値が大きいほど黒の領域(面積)の割合が多くなる。例えば、図9(c)において、ガンマ補正部B701の出力データが、1ブロック内の10画素すべて「8」の場合、図7(c)に示す平坦画素用ディザマトリクスで多値ディザ処理を行うと、主走査のカウント値が0で副走査のカウント値が0の位置の画素の値のみが8となり、その他の画素の値は「0」となる。図9(c)のように、図7(c)に示す平坦画素用ディザマトリクスで多値ディザ処理を行うと入力画素値が大きくなるにつれて、黒の領域が一箇所に集中しながら増えていくことがわかる。また、一画素分の領域では、4ビット/画素で0から13までの14段階の濃淡あるいは階調しか表現できないが、このように隣接10画素の固まりを一画素と見做せば0から127間での128段階の濃淡を表現できる。
【0033】
図8(a)に、パルス幅変調部113の構成図を示す。D/A変換器801は、入力される4ビットのデジタル信号をアナログ信号の電圧値に変換して出力する機能を備える。D/A変換器801は、一般のD/A変換器で実現できる。ノコギリ波発生器802は、画素クロックが1の期間は電圧が時間の経過に比例して上昇し、画素クロックが0の期間は電圧がグランドレベルにリセットするように電圧を発生させる機能を備える。ノコギリ波発生器802は、コンデンサと抵抗とオぺアンプとの組み合わせで実現できる。比較器803は、D/A変換器801の出力電圧がノコギリ波発生器802の出力電圧より大きい場合に1を出力し、それ以外の場合に0を出力する。比較器803は、オぺアンプで実現できる。
【0034】
次に、パルス幅変調部113の動作について説明する。図8(b)は、パルス幅変調部111の動作波形を示したものである。図8(a)において、最初に、4ビットデータ420をD/A変換器801においてアナログ信号に変換し、比較器1103でノコギリ波電圧と比較する。比較器803は、D/A変換器801の出力とノコギリ波電圧とを比較し、D/A変換器801の出力がノコギリ波電圧より大きいときに1を出力する。それ以外の場合には0を出力する。その結果、入力した4ビット画像データに比例してパルス幅が変化する出力が得られる。
【0035】
図10に、像域別多値ディザおよびパルス幅変調後に、プリンタエンジン108で印字した結果を拡大して示したものである。図10(a)に、エッジ画素処理部106の印字結果を示す。エッジ画素処理部106の処理は、一画素単位でドット変調処理が行われ、文字、細線等の高解像度が要求される画像に最適な処理を行うことができる。また、図10(b)に、エッジ隣接画素処理部205の印字結果を示す。エッジ隣接画素処理部205では、分散型の面積変調と、ドット変調との組み合わせとで濃淡を表現している。さらに、図10(c)に、平坦画素処理部206の印字結果を示す。平坦画素処理部206では、ドット集中型の面積変調とドット変調との組み合わせで濃淡を表現している。この処理は解像度は落ちるが複数のドットが互いにオーバラップしているためプリンタエンジンの変動に起因する一画素単位の印字面積変動による色ムラが抑圧できる。さらに、図10(d)に、本発明の実施の形態におけるエッジ画素処理部106とエッジ隣接画素処理部205と平坦画素処理部206とを各々の領域毎に行った場合の印字結果を示す。図10(d)において、画像のエッジ領域はエッジ画素処理部106により処理されるので、高解像度で滑らかな輪郭を表現することができる。また、平坦領域は、平坦画素処理部206により処理されるので、各色の印字位置をずらすことができ、色の再現範囲を広くすることができる。また、ドットが集中するため、プリンタエンジンの変動にする一画素単位の印字面積変動による色ムラが抑圧できる。さらに、エッジ隣接領域では、エッジ隣接画素処理部205より処理される。エッジ画素処理部106と平坦画素処理部206との処理による両極端な印字結果に、エッジ隣接画素処理部205より処理されるエッジ隣接領域を間に鋏むことで両者の間に生じる隙間を目立たなくすることができる。
【0036】
また、本発明の実施の形態における画像出力装置を利用して印字した場合には、図10(d)に示すように印字されるので、印字結果を拡大して確認することにより、本発明の実施の形態における画像出力装置を利用したか否かを判断することができる。すなわち、エッジ領域とエッジ隣接領域と平坦領域とで、それぞれ異なる処理を行い、結果としてドットの面積が異なるので、各々の領域においてドットの面積を確認することにより、本実施の形態における処理を施していることを確認することができる。
【0037】
以上説明したように、本実施の形態によれば、画像のエッジ領域とエッジ隣接領域とそれ以外の平坦な領域とで各々の対応する画像処理を行うことができ、文字・細線領域の高精細化と絵柄領域の高階調化を実現できる。さらに、エッジ隣接領域を設けることで、エッジ領域とそれ以外の領域との境界部分の画質劣化を抑圧し、滑らかな画像を出力することができる。また、本実施の形態において、画像のエッジ領域とエッジ隣接領域とそれ以外の平坦な領域とで各々の対応する画像処理を、エッジ領域に対して、解像度がより高い第一の画像処理を行い、平坦領域に対して、解像度がより低い第三の画像処理を行い、エッジ隣接領域に対して、第一の画像処理の解像度と第三の画像処理の解像度との間の解像度の第二の画像処理を行うようにしてもよい。また、上述した実施の形態においては、図1に示すようなハードウエア構成を示したが、上述したような画像処理方法をコンピュータにより実現するプログラムを、CD−ROM等の記憶媒体に記憶させておくようにしてもよい。この場合、CPUと、画像データを記憶するVRAM等のメモリと、上述したような画像処理方法を実現するためのプログラムを記憶する記憶媒体とを備えるコンピュータにより、画像処理装置を構成することができる。
【0038】
また、エッジ隣接画素処理部205と平坦画素処理部206とで利用する画素とディザマトリクスとの位置関係を色毎に異ならせる方法として、前述した実施の形態においては、1つのディザマトリクステーブルを利用し、副走査カウンタと主走査カウンタとへロードする初期値を色毎に異ならせていたが、図11に示すように、色毎のディザマトリクステーブルを用意するようにしてもよい。図11に、エッジ隣接画素処理部205と平坦画素処理部206とで利用する色ごとのディザマトリクステーブルを示す。図11においては、Y、M、C、Kの色毎に対応する、ディザマトリクステーブル901、902、903、904をそれぞれ示し、各ディザマトリクステーブルは、10画素のブロックの位置が異なる。また、エッジ隣接画素処理部205と平坦画素処理部206とのディザマトリクスの値は、図7(b)と(c)とに示す値を利用する。この場合には、図5または図6に示す、色別初期値602aおよびb、または、色別初期値702aおよびbは不要となり、代わりに、Y、M、C、Kの色毎に対応する、ディザマトリクステーブル901、902、903、904を選択するようにする。
【0039】
本実施の形態においては、エッジ隣接領域および平坦領域においては、色成分の各々のドットを異なる位置に出力することになる。各色が同じ位置に重なって印字されると彩度が低くなり、くすんだ印字結果となるが、本実施の形態によれば、各色で印字位置をあらかじめずらしておくことで、彩度が高くあざやかな印字結果を得ることができる。また、各色が同じ位置に重なって印字されるとプリンタエンジンの機構の変動が生じた場合に、各色の印字位置が微妙にずれて、ずれていない部分との色差が大きくなり、印字ムラを生じることがあるが、本実施の形態によれば、各色の印字位置はあらかじめずらしておくため、印字ムラを生じにくくすることができる。
【0040】
【発明の効果】
本発明によれば、画像のエッジ領域とエッジ隣接領域とそれ以外の平坦な領域とで各々の対応する画像処理を行うことができ、文字・細線領域の高精細化と絵柄領域の高階調化を実現できる。さらに、エッジ隣接領域を設けることで、エッジ領域とそれ以外の領域との境界部分の画質劣化を抑圧し、滑らかな画像を出力することができる。
【図面の簡単な説明】
【図1】本発明の第一の実施の形態におけるシステム構成図。
【図2】本発明の第一の実施の形態におけるエッジ判定部の構成図。
【図3】本発明の第一の実施の形態におけるエッジ隣接判定部の構成図。
【図4】本発明の第一の実施の形態におけるエッジ多値ディザ処理部の構成図。
【図5】本発明の第一の実施の形態におけるエッジ隣接多値ディザ処理部の構成図。
【図6】本発明の第一の実施の形態における平坦多値ディザ処理部の構成図。
【図7】本発明の第一の実施の形態における多値ディザマトリクスの説明図。
【図8】本発明の第一の実施の形態におけるパルス幅変調の構成図。
【図9】本発明の第一の実施の形態における本発明の印字出力の概念例を示す説明図。
【図10】本発明の第一の実施の形態における本発明の印字出力の結果を示す説明図。
【図11】本発明の第一の実施の形態における多値ディザマトリクスの説明図。
【符号の説明】
101・・・パーソナルコンピュータ、102・・・カラーレーザプリンタ、103・・・画像メモリ、104・・・色変換部、105・・・選択部、106・・・エッジ判定部、107・・・エッジ隣接判定部、108a、b・・・ラインメモリ、109・・・エッジ多値ディザ処理部、110・・・エッジ隣接多値ディザ処理部、111・・・平坦多値ディザ処理部、112・・・選択部、113・・・パルス幅変調部、114・・・プリンタエンジン、303a〜h・・・ラッチ、304a〜e・・・乗算器、305・・・加算器、306・・・しきい値、307・・・比較器、401a、b・・・ラインメモリ、402a〜i・・・ラッチ、403・・・反転、404・・・論理和、405・・・論理積、501・・・ガンマ補正部A、502・・・副走査カウンタ、503・・・主走査カウンタ、504・・・エッジ用ディザマトリクス、505・・・比較器、601・・・ガンマ補正部B、602a、b・・・色別初期値、603・・・副走査カウンタ、604・・・主走査カウンタ、605・・・エッジ隣接画素用ディザマトリクス、606・・・減算器、607・・・オーバフローアンダフロー制御部、701・・・ガンマ補正部B、702a、b・・・色別初期値、703・・・副走査カウンタ、704・・・主走査カウンタ、705・・・平坦画素用ディザマトリクス、801・・・D/A変換器、802・・・ノコギリ波発生器、803・・・比較器。

Claims (7)

  1. 画像のエッジ部分に位置する第1の画素と、前記第1の画素に隣接する第2の画素と、前記第1の画素および前記第2の画素以外の第3の画素と、を判別する判別部と、
    前記第1の画素について、あらかじめ定めたドット分散型の多値ディザマトリクスを用いて多値ディザ処理を施して出力し、前記第3の画素について、あらかじめ定めたドット集中型の多値ディザマトリクスを用いて多値ディザ処理を施して出力し、前記第2の画素について、前記ドット分散型と前記ドット集中型とを混合した、あらかじめ定めた混合型の多値ディザマトリクスを用いて多値ディザ処理を施して出力する処理部と、を有すること
    を特徴とする像域別カラー画像処理装置。
  2. 請求項1において、
    前記判別部は、
    前記画像の画素ごとに、当該画素がエッジであるか否かを判定するエッジ判定手段と、
    前記エッジ判定手段によるエッジの判定に従い、当該画素がエッジに隣接するか否かを判定するエッジ隣接判定手段と、
    前記エッジ判定手段によるエッジの判定と前記エッジ隣接判定手段によるエッジの隣接の判定とに従い、当該画素が、前記第1の画素と前記第2の画素と前記第3の画素とのうちいずれの画素であるかを選択する選択手段と、を備えること
    を特徴とする像域別カラー画像処理装置。
  3. 請求項1において、
    前記処理部は、
    前記ドット分散型の多値ディザマトリクスを用いて多値ディザ処理を行う第一の処理手段と、
    前記混合型の多値ディザマトリクスを用いて多値ディザ処理を行う第二の処理手段と、
    前記ドット集中型の多値ディザマトリクスを用いて多値ディザ処理を行う第三の処理手段と、を備え、
    複数種類の色成分により画像処理を行う場合に、前記第二の処理手段と前記第三の処理手段とのうち少なくとも一方は、前記色成分毎に異なる多値ディザマトリクスを用いること
    を特徴とする像域別カラー画像処理装置。
  4. 画像のエッジ部分に位置する第1の画素と、前記第1の画素に隣接する第2の画素と、前記第1の画素および前記第2の画素以外の第3の画素とを判別する判別部と、
    画像処理の解像度がそれぞれ異なる、第一、第二および第三の画像処理を行う処理部と、を有し、
    前記処理部は、前記第1の画素に対して、前記解像度がより高い第一の画像処理を行い、前記第3の画素に対して、前記解像度がより低い第三の画像処理を行い、前記第2の画素に対して、前記第一の画像処理の解像度と第三の画像処理の解像度との間の解像度の第二の画像処理を行うこと
    を特徴とする像域別カラー画像処理装置。
  5. 画像を複数種類の色成分のドットにより出力する画像出力装置であって、
    前記画像のエッジ部分に位置する第1の画素と、前記第1の画素以外の第2の画素とを判別する判別部と、を有し、
    前記第2の画素のうち、少なくとも1つの同じ濃度値を示す前記色成分の各々のドットを異なる位置に出力する画像処理を行なうこと
    を特徴とする画像出力装置。
  6. 画像を複数種類の色成分の、少なくとも1つの画素で構成されるドットにより出力する画像出力装置であって、
    画像のエッジ部分に位置する第1の画素と、前記第1の画素に隣接する第2の画素と、前記第1の画素および前記第2の画素以外の第3の画素とを判別する判別部と、
    前記第1の画素を含むドットと、前記第2の画素を含むドットまたは前記第3の画素を含むドットとで、少なくとも1つの同じ濃度の画像に対し、前記ドットの面積を異なる大きさにして出力する出力部と、を有すること
    を特徴とする画像出力装置。
  7. 画像処理を行う画像処理装置が実行する画像処理方法であって、
    画像のエッジ部分に位置する第1の画素と、前記第1の画素に隣接する第2の画素と、前記第1の画素および前記第2の画素以外の第3の画素とを判別し、
    前記第1の画素に対して、あらかじめ定めたドット分散型の多値ディザマトリクスを用いて多値ディザ処理を行い、
    前記第3の画素に対して、あらかじめ定めたドット集中型の多値ディザマトリクスを用いて多値ディザ処理を行い、
    前記第2の画素に対して、前記ドット分散型と前記ドット集中型とを混合した、あらかじめ定めた混合型の多値ディザマトリクスを用いて多値ディザ処理を行うこと
    を特徴とする画像処理方法。
JP34339796A 1996-11-01 1996-12-24 像域別カラー画像処理装置、画像出力装置、画像処理方法および記憶媒体 Expired - Fee Related JP3639397B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP34339796A JP3639397B2 (ja) 1996-12-24 1996-12-24 像域別カラー画像処理装置、画像出力装置、画像処理方法および記憶媒体
US08/960,322 US6731400B1 (en) 1996-11-01 1997-10-29 Color image processing apparatus which performs different image processings depending on region of color image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP34339796A JP3639397B2 (ja) 1996-12-24 1996-12-24 像域別カラー画像処理装置、画像出力装置、画像処理方法および記憶媒体

Publications (2)

Publication Number Publication Date
JPH10191054A JPH10191054A (ja) 1998-07-21
JP3639397B2 true JP3639397B2 (ja) 2005-04-20

Family

ID=18361206

Family Applications (1)

Application Number Title Priority Date Filing Date
JP34339796A Expired - Fee Related JP3639397B2 (ja) 1996-11-01 1996-12-24 像域別カラー画像処理装置、画像出力装置、画像処理方法および記憶媒体

Country Status (1)

Country Link
JP (1) JP3639397B2 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11196271A (ja) * 1997-10-30 1999-07-21 Minolta Co Ltd 画像データ変換方法およびその装置並びに画像データ変換プログラムを記録したコンピュータ読み取り可能な記録媒体
JP3974721B2 (ja) 1998-12-25 2007-09-12 東芝テック株式会社 画像処理方法及び画像処理装置
US6906825B1 (en) * 1999-06-14 2005-06-14 Toshiba Tec Kabushiki Kaisha Image processor and color image processor
JP4136696B2 (ja) * 2003-02-12 2008-08-20 キヤノン株式会社 画像形成装置および画像形成方法
US7733532B2 (en) 2004-10-27 2010-06-08 Marvell International Technology Ltd. Laser print apparatus with dual halftones
CN101288099B (zh) 2005-10-12 2012-11-21 松下电器产业株式会社 视觉处理装置及方法
KR101314453B1 (ko) 2006-04-19 2013-10-07 파나소닉 주식회사 시각 처리 장치, 시각 처리 방법, 프로그램, 표시 장치 및 집적 회로
US7903898B2 (en) 2006-04-28 2011-03-08 Panasonic Corporation Visual processing apparatus, visual processing method, program, recording medium, display device, and integrated circuit
JP2008219472A (ja) * 2007-03-05 2008-09-18 Kyocera Mita Corp 画像形成装置
JP5132542B2 (ja) * 2008-12-26 2013-01-30 キヤノン株式会社 画像処理装置及び画像処理方法、並びに、コンピュータプログラムおよび記憶媒体
JP5480102B2 (ja) * 2010-10-28 2014-04-23 京セラドキュメントソリューションズ株式会社 画像処理装置、画像形成装置、および画像処理方法
JP2012114510A (ja) * 2010-11-19 2012-06-14 Kyocera Mita Corp 画像形成装置および画像形成方法
JP7066562B2 (ja) * 2018-07-18 2022-05-13 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Also Published As

Publication number Publication date
JPH10191054A (ja) 1998-07-21

Similar Documents

Publication Publication Date Title
US5325211A (en) Error diffusion with output and input based feedback
JP3639397B2 (ja) 像域別カラー画像処理装置、画像出力装置、画像処理方法および記憶媒体
JPH05336373A (ja) 画像記録装置
EP0781034B1 (en) Image processing apparatus and method
US20230230553A1 (en) Method and apparatus for rendering color images
US12249291B2 (en) Multi-primary display mask-based dithering with low blooming sensitivity
JPH08116464A (ja) カラー画像を処理する方法及び画像処理装置
JPH06178096A (ja) 疑似カラー画像出力システム
JPS62149258A (ja) 画像処理方式
JP2004135317A (ja) カラー画像処理装置およびカラー画像処理方法
EP2187616A1 (en) Image data processing for printing
US6006011A (en) Target patterns controlled error management
JPS63169174A (ja) 画像処理方法
JP2800117B2 (ja) 画像形成装置
JP4027719B2 (ja) カラー階調画像の階調再現装置
JPH10145615A (ja) 画像形成装置
JP3332433B2 (ja) 疑似カラー階調表現方法
JPS63164570A (ja) 画像処理方法
KR19980079985A (ko) 에러 확산을 이용한 영상 처리 방법
JP2005295131A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2001352456A (ja) 画像処理方法及び画像処理装置並びにそれを備えた画像形成装置
JP3190527B2 (ja) カラー画像処理装置
JPH05169720A (ja) カラー画像形成装置
JP2000101858A (ja) 画像形成装置
JPH114356A (ja) カラー変換方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040420

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040621

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050114

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080121

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090121

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090121

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090121

Year of fee payment: 4

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100121

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110121

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120121

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130121

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140121

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees