JP3817988B2 - 画像処理方法および装置 - Google Patents

画像処理方法および装置 Download PDF

Info

Publication number
JP3817988B2
JP3817988B2 JP27895999A JP27895999A JP3817988B2 JP 3817988 B2 JP3817988 B2 JP 3817988B2 JP 27895999 A JP27895999 A JP 27895999A JP 27895999 A JP27895999 A JP 27895999A JP 3817988 B2 JP3817988 B2 JP 3817988B2
Authority
JP
Japan
Prior art keywords
color
output
outputable
selection
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP27895999A
Other languages
English (en)
Other versions
JP2001103328A (ja
Inventor
雅弘 光崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Business Technologies Inc
Original Assignee
Konica Minolta Business Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Business Technologies Inc filed Critical Konica Minolta Business Technologies Inc
Priority to JP27895999A priority Critical patent/JP3817988B2/ja
Priority to US09/645,586 priority patent/US6891641B1/en
Publication of JP2001103328A publication Critical patent/JP2001103328A/ja
Application granted granted Critical
Publication of JP3817988B2 publication Critical patent/JP3817988B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、カラー誤差拡散処理を適用して画素毎に適切な出力可能色を選択し、色再現性のよい画像データを出力する画像処理装置に関する。
【0002】
【従来の技術】
従来より、中間調のカラー画像を2値プリンタに出力する場合、または画像データの保存または転送を行うためにデータ容量を減少させる場合などに、誤差拡散法に代表される2値化処理が広く用いられている。
【0003】
つまり、図5に示すように、従来の誤差拡散法による画像処理装置80では、周辺誤差付与部81において、入力画像データDIに対し、それまでの処理で生じた誤差を分配することによって補正を行う。補正された画像データに対応して、出力色選択処理部82において、適切な出力可能色を選択し、これを出力画像データDOとして出力する。誤差算出・記憶部83において、出力色選択処理部82に入力される画像データと出力色選択処理部82で選択された出力可能色との誤差を算出し、記憶する。出力可能色は中間調データである。
【0004】
周辺誤差付与部81では、既に処理された画素において発生した誤差と注目画素の位置を基準とする重みマトリクス(拡散マトリクスなどとも呼称される)とにより算出される誤差を、入力画像データDIに付与する。出力色選択処理部82ではしきい値を用いた2値化処理を行う。
【0005】
一般的な誤差拡散法では、入力画像データDIは連続階調データ(中間調データ)、出力画像データDOは2値データである。誤差拡散法を適用することにより、原画像であり入力画像データDIの色および濃度が保たれ、比較的忠実な画像が再現可能である。また、2値化により画像データが圧縮され、出力画像データDOを記憶するためのメモリ容量が低減される。このような画像処理装置は、特開平9−307776号などとして公知である。
【0006】
従来の2値化処理において、フルカラー画像に対しては、通常、プリンタまたはディスプレィなどのデバイス(出力装置または表示装置)に依存する信号、例えばCMYKまたはRGBなどで表される各信号について、独立して2値化処理を行う。そして、出力時(または表示時)に、それらの信号または出力を合成することによって、擬似的にフルカラー画像を再現する。
【0007】
しかし、出力される各色の測色値はデバイスに依存する。また、同一の出力装置を用いて中間調を表現する場合に、CMYK各色のドット発生率が同じであっても、それぞれの重なりの程度が異なれば、色は異なって見えてしまう。一般的なカラー誤差拡散処理では、デバイスに依存した入力信号を用いており、しかも、同一画素でのドットの重なりの問題も制御していないことから、所望の色再現は得られ難い。
【0008】
一方、誤差拡散処理による中間調化を色ベクトルを用いて行う方法が提案がされている。この手法では、入力画像データを1次元量として扱う従来の手法に対し、多次元量として扱うことが特徴である。ベクトルとして扱う色信号としては、デバイスに依存した色信号を用いることも当然可能であるが、デバイスに依存しないXYZまたはCIELABなどの色空間で表現した入力画像と、出力装置において予め分かっている出力可能色(2値の場合では、シアン、マゼンタ、イエロー、レッド、グリーン、ブルー、ホワイト、およびブラックの8色)のXYZ値またはCIELAB値(ホワイトとしては紙自体の測色値が用いられる場合が多い)を用いて、次のように中間調処理を行なうことで、理論的には入出力色を測色的に一致させることが期待できる。
1)出力可能色の決定は、入力色(ベクトル)と出力の候補色(ベクトル)とを比較し、両者の差(ベクトル)が最小となる色を選択することにより行う。つまり、色空間上で入力色と最も近い出力可能色を選択する。
2)色の選択で発生した入力色と出力色との誤差を算出する。
3)次の未処理画素について、入力色に対し、周辺の既処理画素において発生した誤差を重み付け加算して入力色を補正した後、再度、1)の処理を行なう。
【0009】
この手法はベクトル誤差拡散とも呼称されている。
従来のベクトル誤差拡散では、1)の処理において「色ベクトルの各要素の差分の2乗和を最小にする色」というのが選択の基準であり、常にこの選択基準を用いて出力可能色の選択が行われる。
【0010】
【発明が解決しようとする課題】
上に述べたように、従来においては、差分の2乗和を最小にすることを唯一の選択基準として出力可能色が選択されるが、この手法を実際のカラーの2値プリンタで用いた場合に、色領域毎に色再現が異なり、精度のよい色再現を達成することが困難である。具体的には、低彩度色または無彩色の彩度が出力の目標値よりも高くなるなどの問題がある。
【0011】
また、上に述べた従来の手法では、各画素の色の決定に当たって、色のみを考慮するので、色再現の良否に係わらず、視覚上粒状感を増大させるようなドットを発生させる場合があった。
【0012】
つまり、従来のベクトル誤差拡散法では、単順に色誤差が最小になるような出力可能色を選択するので、目標色と出力可能色の位置関係によっては、低周波の好ましくない色パターンを生じて視覚上粒状感を悪化させる。
【0013】
また、出力可能色の種類が多い場合には、その中から目的の出力可能色を選択するのに時間を要するため、選択処理を簡便に実行させる必要があった。
本発明は、上述の問題に鑑みてなされたもので、好ましくない色パターンが生じるのを防ぎ、画像の再現性の向上を図ることを目的とする。
【0014】
【課題を解決するための手段】
【0015】
請求項1の発明に係る装置は、画像の画素毎に出力可能色群の中から適切な出力可能色を選択する出力色選択処理部と、前記出力色選択処理部での選択により生じる誤差を当該画素の周辺の画素に拡散させる誤差拡散処理部とを有し、各画素の入力色データに対しカラー誤差拡散処理を適用して適切な出力可能色を選択して出力する画像処理装置であって、前記入力色データの属性を判定する属性判定部と、前記入力色データの属性にしたがって、前記出力可能色群を構成する出力可能色のセットを選択しかつ色の各要素の差分の2乗和を求める関数式以外の関数式を含む複数の関数式の中から特定の関数式を選択する選択条件決定部と、を有し、前記出力色選択処理部は、前記入力色と前記選択条件決定部で選択された前記セットに含まれる各出力可能色とについて、前記選択条件決定部で選択された関数式の値が最小となる出力可能色を選択する。
【0016】
請求項の発明に係る装置は、前記選択条件決定部で選択される出力可能色のセットには、前記出力可能色群の中の特定の出力可能色を選択禁止色とし残りの出力可能色からなるセットが含まれている。
【0017】
請求項の発明に係る装置は、前記入力色に対応する出力可能色群のデータを記憶したルックアップテーブルを有し、前記出力色選択処理部は前記ルックアップテーブルを用いて前記出力可能色を選択する。
【0018】
【発明の実施の形態】
図1は本発明に係る画像処理装置1の構成の例を示すブロック図である。
図1において、画像処理装置1は、周辺誤差付与部11、出力色選択処理部12、誤差算出・記憶部13、属性判定部14、および選択条件決定部15などからなる。周辺誤差付与部11および誤差算出・記録部13は、図5において説明した機能と同様の機能を有する。つまり、これらは本発明における誤差拡散処理部に相当する。誤差拡散処理部による誤差拡散処理それ自体は、従来と同様であり、上に述べた特開平9−307776号を参照することができる。
【0019】
出力色選択処理部12は、選択条件決定部15から出力される選択条件に基づいて、出力可能色を選択する。すなわち、出力色選択処理部12では、周辺誤差付与部11によって補正された画像データと、選択条件決定部15から出力された出力可能色とを比較し、選択条件決定部15から出力される選択基準に基づいて出力可能色を選択する。
【0020】
選択条件決定部15では、次のような選択基準を提供する。
▲1▼ 入力色および出力可能色群の各色要素に基づく複数の関数値の中から特定の関数値を選択し、選択された特定の関数値を用いて出力可能色を選択する。つまり、各要素の差分の2乗和を最小にする従来の関数値とは異なる関数値によって出力可能色を選択する。
▲2▼ 出力可能色群の中の特定の出力可能色を選択禁止色とし、残りの出力可能色を候補色として、候補色の中から出力可能色を選択する。
【0021】
属性判定部14では、目標色である入力画像データDIから、色相、明度、彩度の3つの属性を取得し、これによって入力画像データDIの属性を判定する。なお、入力画像データDIに代えて、周辺誤差付与部11から出力される補正後の画像データから属性を取得してもよい。
【0022】
選択条件決定部15では、属性判定部14で判定された属性にしたがって、複数の選択基準関数(関数値)の中から特定の選択基準関数(関数値)を決定する。また、選択条件決定部15では、予め特定の出力可能色が選択されることを禁止し、候補色のセットを設定しておく。
【0023】
なお、候補色および選択基準が変わることによって、選択される出力可能色は異なることとなるが、注目画素における誤差は上に述べたように算出され、誤差拡散処理の効果によって、ある領域内において条件を満たすことが可能である。
【0024】
図2は選択条件SJの例を示す図、図3は選択基準となる関数式の例を示す図である。
図2においては、選択条件SJとして、条件1〜nおよびその他の条件が設定されている。各条件1〜nでは、出力可能色群またはそれから抽出された候補色のセットとして、セット1〜nが設定されている。そして、各セット1〜nに対する選択基準として、関数式F1〜Fnがそれぞれ最小となることが設定されている。
【0025】
また、その他の条件では、候補色セットとして、上に述べた2値の場合の8色の出力可能色が設定され、選択基準として、各要素の差分の2乗和を最小にする従来の基準が標準として設定されている。選択条件決定部15は、これらの選択条件SJの中から1つの条件を選択する。
【0026】
なお、この図の例では、候補色セットおよび選択基準の両方を各条件毎に個別に設定しているが、いずれか一方のみを変更する構成としてもよい。
出力色選択処理部12は、目標色と、決定された候補色セットの各色(候補色1〜m)とに対して、選択された特定の関数式Fiから求められる値(DATA1〜DATAm)を比較する。
【0027】
つまり、DATA1〜DATAmは、次のように示される。
Fn(目標色、候補色1)=DATA1
Fn(目標色、候補色2)=DATA2
・・・
Fn(目標色、候補色m)=DATAm
この関数値DATA1〜DATAmの中で最小となる候補色、つまりDATAk=Minとなる候補色kを、出力可能色として選択する。
【0028】
図3(a)の関数式は、XYZの各要素の差分に対して、それぞれ、α、β、γの重み付けを行ったものの総和として示される。
図3(b)の関数式は、XYZの各要素の差分の変化率を1から差し引いた値に対して、それぞれ、α、β、γの重み付けを行ったものの総和として示される。
【0029】
図3(c)の関数式は、XYZ−L*a*b*変換を行った後、|ΔL|(明度差)、|△C|(彩度差)、|△H|(色相差)に対して、それぞれ、α、β、γの重み付けを行ったものの総和として示される。
【0030】
一般に、色差を算出するための均等色空間として広く用いられているCIE1976L*a*bまたはL*u*vは、色差が視覚上の差に対応するように設計されているものであるが、実際は色によっては同じ色差でも感じ方が異なることがよく知られている。
【0031】
例えば、彩度が高い色よりも、グレーのような彩度が低い色においては色差に敏感なことがある。また、同じ色に対して、同じ色差を持つ色であっても、そのずれる方向によっては許容レベルも異なる。さらには、色順応、観察条件など複雑な要因も介在する。また、関数式の設定によっては、選択処理における計算負荷をより軽減することが可能である。こうした種々の要因を考慮した上で、出力可能色または候補色を設計するために、上に述べた本実施形態の方法は効果的である。
【0032】
また、候補色セットを制限することは、以下に述べる場合において有効である。具体的には、ブルー近辺の色相で、明度および彩度がともに高い色と判定された色に関して、プリンタの出力するブルーの色再現範囲が特に狭い場合に、ブルーを候補色から除外し、シアン、マゼンタ、およびホワイトを候補色とする。これによって、併置混色的なドット発生になり易く、比較的高彩度の再現が可能になる。
【0033】
また、測色的な色再現性がある程度満足される場合でも、知覚される粒状性が好ましくないパターンを生じる場合がある。例えば肌色を再現する際に、ブラックやブルーなどのドットが点在すると主観画質は悪化する。上述のような粒状を悪化させるような色の発生を制限することも可能である。
【0034】
次に、他の実施形態について説明する。
図4は本発明に係る他の実施形態の画像処理装置1Bの構成の例を示すブロック図である。
【0035】
図4に示す画像処理装置1Bでは、図1で説明した画像処理装置1の出力色選択処理部12に代えてLUT処理部12Bが、選択条件決定部15に代えてLUT選択決定部15Bが、それぞれ設けられている。これによって、出力可能色の選択がより一層迅速且つ簡単に行える。
【0036】
すなわち、LUT選択決定部15Bには、入力色に対応する出力可能色のデータを記憶したルックアップテーブル(LUT)が、各選択条件毎に設けられている。LUT選択決定部15Bにおいて、属性判定部14で判定された属性にしたがって、それら複数のルックアップテーブルの中から特定のルックアップテーブルを決定する。また、LUT選択決定部15Bは、LUT処理部12Bに対して、出力色選択処理部12と同様な選択基準を提供する。
【0037】
LUT処理部12Bは、選択されたルックアップテーブルを用い、LUT選択決定部15Bから提供された選択基準により、補正された画像データ(入力色)から直接に出力可能色を決定して出力する。
【0038】
上の実施形態によると、選択基準を1つに固定することなく、ベクトル各要素から演算できる複数の関数値を準備し、選択の幅を持たせている。また、準備されている全ての出力可能色の中から、選択禁止色を除外した残りの出力可能色を候補色とし、候補色の中から出力可能色を選択するようにしている。
【0039】
したがって、従来のように一律の選択基準による処理によって画質に不具合が生じるような場合であっても、本実施形態によれば必要な色の発生頻度を増加させたり、不要な色の発生頻度を制限し、色やドット発生のパターンを制御することが可能となる。これによって、画像の種類または用途に応じて画像の特性を制御し、好ましくない色パターンが生じるのを防ぎ、画像の再現性を向上させることができる。
【0040】
さらに、選択される出力可能色をルックアップテーブル化し、選択されたルックアップテーブルを参照して所望の選択基準により出力色を取得することにより、処理が迅速に且つ簡便に行われる。
【0041】
上に述べた実施形態では、入力色に対応した出力可能色群を選択することについて述べたが、入力される画像データから空間フィルタ処理などを利用して得られるエッジ部/非エッジ部の判別情報などを属性として用い、その結果に基づいて選択基準を切り替える構成とすることも可能である。
【0042】
また、上の実施形態では、1つの画素を単位として出力可能色の選択または属性の判定を行っているが、m×n画素(m、nは正の整数)からなるブロックを単位として、つまり1ブロックを1画素と見做して出力可能色の選択または属性の判定を行ってもよい。また、属性の判定は、2値的に行なってもよく、また、選択基準を示すパラメータに例えば明度の関数で表されるようなものを設定し、連続的に設定することも可能である。
【0043】
さらには、入力画像データDIの中に、写真領域、グラフィック領域、または文字領域などを表す信号を予め含めておき、それらの信号を誤差拡散処理を行う際に順次参照する構成としてもよい。また、上の述べた種々の方法または構成を適宜組み合わせてもよい。
【0044】
上に述べた実施形態において、画像処理装置1,1Bの各部または全体の構成、回路、処理内容、処理タイミングなどは、本発明の趣旨に沿って適宜変更することができる。
【0045】
【発明の効果】
本発明によると、好ましくない色パターンが生じるのを防ぎ、画像の再現性の向上を図ることができる。
【0046】
請求項の発明によると、処理が一層迅速に且つ簡単に行われる。
【図面の簡単な説明】
【図1】本発明に係る画像処理装置の構成の例を示すブロック図である。
【図2】選択条件の例を示す図である。
【図3】選択基準となる関数式の例を示す図である。
【図4】本発明に係る他の実施形態の画像処理装置の構成の例を示すブロック図である。
【図5】従来の誤差拡散法による画像処理装置を示す図である。
【符号の説明】
1 画像処理装置
11 周辺誤差付与部(誤差拡散処理部)
12 出力色選択処理部
13 誤差算出・記憶部(誤差拡散処理部)
14 属性判定部
15 選択条件決定部
1B 画像処理装置
12B LUT処理部(出力色選択処理部)
15B LUT選択決定部
LUT ルックアップテーブル

Claims (6)

  1. 画像の画素毎に出力可能色群の中から適切な出力可能色を選択する出力色選択処理部と、前記出力色選択処理部での選択により生じる誤差を当該画素の周辺の画素に拡散させる誤差拡散処理部とを有し、各画素の入力色データに対しカラー誤差拡散処理を適用して適切な出力可能色を選択して出力する画像処理装置であって、
    前記入力色データの属性を判定する属性判定部と、
    前記入力色データの属性にしたがって、前記出力可能色群を構成する出力可能色のセットを選択しかつ色の各要素の差分の2乗和を求める関数式以外の関数式を含む複数の関数式の中から特定の関数式を選択する選択条件決定部と、を有し、
    前記出力色選択処理部は、前記入力色と前記選択条件決定部で選択された前記セットに含まれる各出力可能色とについて、前記選択条件決定部で選択された関数式の値が最小となる出力可能色を選択する、
    ことを特徴とする画像処理装置。
  2. 前記選択条件決定部で選択される出力可能色のセットには、前記出力可能色群の中の特定の出力可能色を選択禁止色とし残りの出力可能色からなるセットが含まれている、
    請求項1記載の画像処理装置。
  3. 前記入力色に対応する出力可能色群のデータを記憶したルックアップテーブルを有し、
    前記出力色選択処理部は前記ルックアップテーブルを用いて前記出力可能色を選択する、
    請求項1または2記載の画像処理装置。
  4. 前記関数式は、
    α|ΔX|+β|ΔY|+γ|ΔZ|=Min
    α,β,γ:必要に応じて調整された定数
    である、
    請求項1記載の画像処理装置。
  5. 前記関数式は、
    α|1−ΔX/Xt|+β|1−ΔY/Yt|+γ|1−ΔZ/Zt|
    =Min
    Xt,Yt,Zt:出力目標色のXYZ値
    α,β,γ:必要に応じて調整された定数
    である、
    請求項1記載の画像処理装置。
  6. 前記関数式は、
    α|ΔL|+β|ΔC|+γ|ΔH|=Min
    α,β,γ:必要に応じて調整された定数
    である、
    請求項1記載の画像処理装置。
JP27895999A 1999-08-27 1999-09-30 画像処理方法および装置 Expired - Fee Related JP3817988B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP27895999A JP3817988B2 (ja) 1999-09-30 1999-09-30 画像処理方法および装置
US09/645,586 US6891641B1 (en) 1999-08-27 2000-08-25 Method and apparatus for converting number of colors and processing image data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP27895999A JP3817988B2 (ja) 1999-09-30 1999-09-30 画像処理方法および装置

Publications (2)

Publication Number Publication Date
JP2001103328A JP2001103328A (ja) 2001-04-13
JP3817988B2 true JP3817988B2 (ja) 2006-09-06

Family

ID=17604460

Family Applications (1)

Application Number Title Priority Date Filing Date
JP27895999A Expired - Fee Related JP3817988B2 (ja) 1999-08-27 1999-09-30 画像処理方法および装置

Country Status (1)

Country Link
JP (1) JP3817988B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4263657B2 (ja) 2004-05-11 2009-05-13 理想科学工業株式会社 画像処理装置、画像処理方法、及びプリンタドライバ
JP4410219B2 (ja) 2006-06-05 2010-02-03 コニカミノルタビジネステクノロジーズ株式会社 画像形成装置および画像形成方法

Also Published As

Publication number Publication date
JP2001103328A (ja) 2001-04-13

Similar Documents

Publication Publication Date Title
JP3737149B2 (ja) カラー・イメージ生成システムおよび方法
US5729360A (en) Color image processing method and system
US7502150B2 (en) Color converting device, image forming apparatus, color conversion method, computer program and recording medium
US5907415A (en) Image processing apparatus with color gamut dependent on color mode
US5331440A (en) Color image processing method and apparatus capable of properly determining black quantity
US5734801A (en) Method of and apparatus for producing color proof
JPH0998298A (ja) 色域圧縮方法及び色域圧縮装置
JPH05336373A (ja) 画像記録装置
US20040125411A1 (en) Method of, apparatus for image processing, and computer product
US8773723B2 (en) Generating color separation table for printer having color forming materials with high and low relative densities using a gamut boundary to limit use of dark color material
US6580822B1 (en) Device, method and record medium for color space conversion from RGB data to CMYK data
JP4271799B2 (ja) プリント用ドキュメント画像の準備及び3色モアレ軽減目的のブラック付加の適用制御のための処理方法、並びにブラックの付加及び下色除去を含むキャリブレーションプリント方法
JP4429439B2 (ja) カラー変換方法及び変換プロセッサ
JP3817988B2 (ja) 画像処理方法および装置
JP3360476B2 (ja) 画像処理方法及び装置
JPH07152904A (ja) 画像処理装置
US6891641B1 (en) Method and apparatus for converting number of colors and processing image data
US6847732B1 (en) Image error diffusion device with noise superposition
JPH08223433A (ja) カラー画像処理方法
JP2001352456A (ja) 画像処理方法及び画像処理装置並びにそれを備えた画像形成装置
JP4101741B2 (ja) 画像処理装置、画像形成装置、画像処理方法、画像処理プログラム、および記録媒体
JP2000101858A (ja) 画像形成装置
JP3752906B2 (ja) 色数変換方法及び画像処理装置
JP4266002B2 (ja) 画像処理装置、画像形成装置、画像処理方法、画像処理プログラム、および記録媒体
JP2001157066A (ja) カラー画像処理方法および装置

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20050614

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20050704

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051024

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051101

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060207

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060404

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060523

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060605

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090623

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100623

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110623

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120623

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130623

Year of fee payment: 7

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees