JP4257033B2 - 色信号行列調整 - Google Patents

色信号行列調整 Download PDF

Info

Publication number
JP4257033B2
JP4257033B2 JP2000565674A JP2000565674A JP4257033B2 JP 4257033 B2 JP4257033 B2 JP 4257033B2 JP 2000565674 A JP2000565674 A JP 2000565674A JP 2000565674 A JP2000565674 A JP 2000565674A JP 4257033 B2 JP4257033 B2 JP 4257033B2
Authority
JP
Japan
Prior art keywords
color
color signal
signal matrix
matrix
adjustment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000565674A
Other languages
English (en)
Other versions
JP2002523931A (ja
Inventor
コーネリス エー エム ヤスパース
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2002523931A publication Critical patent/JP2002523931A/ja
Application granted granted Critical
Publication of JP4257033B2 publication Critical patent/JP4257033B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/73Colour balance circuits, e.g. white balance circuits or colour temperature control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Of Color Television Signals (AREA)
  • Color Image Communication Systems (AREA)
  • Color Television Image Signal Generators (AREA)

Description

【0001】
本発明は、色信号行列調整方法及び装置並びにそのような色信号行列調整装置を有するカラーカメラに関する。
【0002】
あらゆるカラーセンサは、ワールドワイドなテレビ受像器及びPCモニタにおいて一般的なようにEBU(European Broadcasting Union)の赤-緑-青の原色に向かって、その与えられた色の補正を必要とする。色補正のために、9つの変数をもつ行列が適用される。RGBカラー行列は、以下の方程式の中で利用できる:
【数1】
Figure 0004257033
ここで、Ri、Gi、Biは、イメージセンサの入力RGB信号であり、Ro、Go、Boは、EBU原色に近い出力RGB信号であるか、あるいは、(例えばピクチャがより良く見えるという点で)入力RGB信号よりも望ましい別のものである。a11…a33は、色信号行列パラメータであり、すなわちa11…a13が赤に関係し、a21…a23が緑に関係し、a31…a33が青に関係する。
【0003】
1つの出力カラーの所望の変更を得るために色信号行列パラメータa11…a33のうちの1つを変更すると、望ましくない副次的作用として白色再現も変更されてしまう。このため出力カラーの手動調整は非常に困難であり時間もかかる。
【0004】
RGBカラーの所望の補正のほかに、一般には、センサによって生成される画像の白色点を補正する必要もある。白色再現は、センサ自身と背景照度の色温度とのRGBスペクトルパワー分布に依存する。この白色再現は、EBU表示規格の白色D65又はD65付近に合わせて調整する必要がある。色信号行列を経た白色再現は、各カラーの行列変数の和によって表現される。
ΣR = a11 + a12 + a13
ΣG = a21 + a22 + a23
ΣB = a31 + a32 + a33

【0005】
しかし、所望の白色点を達成するために1つのカラーの選択された3つの行列パラメータを比例関係を保ちつつ変更することはほとんど不可能である。
【0006】
米国特許第5,402,182号の明細書には、マイクロコンピュータによる上下する計数結果に従って色信号レベルを制御することにより画像スクリーンのホワイトバランスを制御する自動ホワイトバランス制御装置が開示されている。
【0007】
本発明の目的は特に、非常に簡単な行列調整を提供することである。このために、本発明の第1の側面は、請求項1及び請求項5によって規定される方法及び装置を提供する。請求項6によって規定される本発明の第2の側面は、そのような行列調整装置を備えるカラーカメラを提供する。従属項では有利な実施例を規定する。
【0008】
本発明の主要な側面に従う色信号行列調整方法では、所望の色信号行列調整を得るために第1色信号行列に関する1つの値のみが調整され、前記色信号行列パラメータの調整に依存して、前記第1色信号行列に関する前記1つの値以外の少なくとも2つの色信号行列パラメータを自動的に適応させる。
【0009】
本発明の上述の及び他の側面は、以下に記述する実施例を参照することにより明らかになるであろう。
【0010】
【発明の実施の形態】
本発明の好ましい実施例によれば、所望の白色及びRGBカラー調整は、カメラ内のRISCコア(又は他の種類の計算能力)及び上記の色信号行列式を用いて非常に簡単に達成することができる。
【0011】
本発明の主な応用例は、RISCコアを用いる色信号行列調整に関連する。行列を所望のカラーに合わせて調整するための4つの可能な手法(possibilities、以後単に手法と呼ぶ)がある。ユーザによる調整及び微調整の方法に依存してある手法を選択したり、一方から他方に切り替えたり戻したりする。
1.1度に1つの行列パラメータを変更することによる従来の方法。
2.1度に1つの行列パラメータを変更するが、本発明の第1の側面に従って白色再現を広い範囲まで維持する。
3.白色調整のため、3つの行列パラメータを同時に変更する。
4.白色振幅の適応のため、相互の比例関係を保ちつつすべての9つの行列パラメータを変更する。
【0012】
第1の手法は当然ながら更なる説明を必要としない。選択されるカラーと白色再現とが変更される。
【0013】
第2の手法は、最初にブール(Boolean)B1を選択することにより白色再現を広い範囲で維持するものであり、第1の手法とは区別される。この第2の手法は、RISCコアの計算能力を使用する。カラーXの1つの行列パラメータが値±δだけ変更される場合、選択されるカラーXに属さないすべての6つの行列パラメータ(すなわち他の2つの行の中にあるもの)に(ΣX±δ)/ΣXが乗算される。ここで、ΣXは、選択された赤、緑又は青の行列の行の和に相当する。その後、新しいΣR、ΣG及びΣBの値が計算される。これらは調整する以前の値に比例するので、白色再現は広い範囲で維持される。ΣR、ΣG及びΣB値が1に等しい場合、白は完全に維持される。ΣR、ΣG及びΣBの値が1とは異なる場合、わずかな白色シフトが生じる。しかし、このわずかな白色シフトは以下に述べる第3の手法に従って簡単に補正することができる。
【0014】
第3及び第4の手法に従って、白色再現は、各カラーの行列パラメータの比率を維持しつつ変更される。
【0015】
第2のブールB2によって示される第3の手法は、1つのパラメータのみを用いる白色再現の調整に関係し、再びRISCコアを使用する。白色再現を変更する必要がある場合、ΣR、ΣG又はΣBの行列の行の和のうちの1つが選択され変更される。RISCコアは、比例関係を保ちつつ対応する行列パラメータを変更することに注意する。例えば、ΣRが±δだけ増やされる場合、それぞれの行列パラメータa11、a12及びa13に(ΣR±δ)/ΣRを乗算して、それによって所望の白色シフトを生じさせる。赤に関する色ベクトルの方向は、白色シフトの量によってのみ決定される小さなずれを得る。
【0016】
第4の手法は、RISCコアを再び使用するものであり、マトリクス回路の信号振幅をより統一した値に適応させるため、相互の比例関係を保ちつつすべての行列パラメータを調整することに着目する。まずブールB3を選択して、比例関係を保ちつつすべてのパラメータを変更する必要があることを明らかにする。その後ΣR、ΣG又はΣBの行列の行の和の1つを選択する。この行列の行の和を±δだけ変更する。次にすべての行列パラメータに(ΣX±δ)/ΣXが乗算される。ここで、ΣXは、選択されたΣR、ΣG又はΣBの行列の行の和に相当する。その後、新しいΣR、ΣG及びΣBの行列の行の和を再び計算する。カラー及び白色再現が維持され、信号振幅のみが変更される。
【0017】
以下の結論を導くことができる。提案したすべての手法を使用することにより、第1の手法のみを使用するときよりも非常に簡単に行列を調整することが可能になる。上述した調整のすべての手法は、PCを使用し、且つ、行列パラメータa11ないしa33と、ΣR、ΣG又はΣBと、一方が白色維持に関し他方が振幅調整に関する2つのブールとに関する選択のメニューを用いて実現された。
【0018】
本発明の主要な側面は次のように概要を述べることができる。色補正のための行列の理論的な計算に加えて、更なる微調整の為あるいは幾つかのピクチャを用いるチェックとして手動調整も必要である。しかし、カメラのカラー行列を所望の色再現に合わせるには9つのパラメータを調整する必要がある。このような行列に関する特定の問題は、例えば赤の行列の中の1つのパラメータが変更される場合、赤のほかに白色再現も変更されてしまうという点である。カメラのRISCコア(縮小命令セットコンピュータ)の計算能力を用いて白色再現を維持することにより、行列を所望の色再現に合わせることが非常に容易になる。さらに、白色再現を直接変更することもできる。色再現のずれは、白色再現のずれによってのみ決定される。
【0019】
以下の特徴は特に注目すべきである。選択された行列パラメータa11ないしa33の1つを変更する際に白色再現を維持する手法を示す。各カラーの行列の比率を維持しながら、且つ、白色シフトの量によってのみ決定されるカラーシフトを用いて、ΣR、ΣGまたはΣBを選択することにより白色再現を変更する。振幅のブール及びΣR、ΣG又はΣBを選択し、相互の比例関係を保ちつつすべての行列パラメータを変更することにより、比例関係を保ちつつ信号振幅を適応させる。すでに上述した特徴についてRISCコアのような計算プロセッサが使用される。
【0020】
図面は、本発明によるカラーカメラの実施例を示す。センサSは、3つの入力色信号Ri、Bi、Giを供給する。これらの入力色信号Ri、Bi及びGiを受信する行列調整装置(VAC、CC、AAC)は、9つの行列パラメータa11..a33のうちの1つあるいは3つの行列の行の和ΣR、ΣG又はΣBのうちの1つであるカラー行列に関する値を調整する数値調整回路VACを備える。制御回路CCは、上述した3つのブールB1、B2又はB3をオン又はオフするための3つのボタンB1、B2、B3を有する。自動適応回路AACは、上述した4つの手法に関連して上述したように行列パラメータを適応させ、出力色信号Ro、Go及びBoを供給する。
【0021】
上記の実施例は本発明を制限するものではなく、当業者であれば、請求項の範囲から逸脱することなく多くの代替の実施例を設計することができるであろう。請求項の中の括弧内の参照符号は、請求項を制限するものとして解釈されるべきではない。「含む、備える」という用語は、請求項に示すもの以外の素子またはステップの存在を排除しない。本発明は、いくつかの個々の素子を有するハードウェアと、適切にプログラムされたコンピュータとによって実現することができる。いくつかの手段を列挙した装置の請求項では、これらの手段のいくつかを1つの同一のハードウェア・アイテムによって具体化することができる。
【図面の簡単な説明】
【図1】本発明によるカラーカメラの実施例を示す図。
【符号の説明】
AAC 自動適応回路
CC 制御回路
VAC 数値調整回路

Claims (5)

  1. 色信号行列調整方法であって、
    色信号行列調整を得るために第1色信号行列に関する1つの値を調整するステップと、
    前記色信号行列調整に依存して、前記第1色信号行列に関する前記1つの値以外の少なくとも2つの色信号行列パラメータを自動的に適応させるステップと、
    を含み、前記第1色信号行列に関する前記1つの値が、第1のカラーに対応する第1色信号行列パラメータであり、前記色信号行列調整は、前記第1のカラーの再現を変更するために前記第1色信号行列パラメータをδ1の量だけ増加させる場合、前記自動的に適応させるステップは、白色再現を広い範囲で維持するために、前記第1のカラー以外のカラーに対応するすべてのカラー行列パラメータに係数(ΣX+δ1)/ΣXを乗算することを含み、前記ΣXは、前記第1のカラーに対応する色信号行列パラメータの和であるようにした方法。
  2. 色信号行列調整方法であって、
    色信号行列調整を得るために第1色信号行列に関する1つの値を調整するステップと、
    前記色信号行列調整に依存して、前記第1色信号行列に関する前記1つの値以外の少なくとも2つの色信号行列パラメータを自動的に適応させるステップと、
    を含み、前記第1色信号行列に関する前記1つの値が、前記第1のカラーに対応する色信号行列パラメータの和ΣXであり、前記色信号行列調整は、前記第1のカラー及び白の両方の再現を変更するために、前記色信号行列パラメータの和ΣXをδ2の量だけ増加させる場合、前記自動的に適応させるステップは、前記第1のカラーに対応する前記カラー行列パラメータの間の比率を維持するために、前記第1のカラーに対応するすべてのカラー行列パラメータに係数(ΣX+δ2)/ΣXを乗算することを含むようにした方法。
  3. 色信号行列調整装置であって、
    色信号行列調整を得るために第1色信号行列に関する1つの値を調整する手段と、
    前記色信号行列調整に依存して、前記第1色信号行列に関する前記1つの値以外の少なくとも2つの色信号行列パラメータを自動的に適応させる手段と、
    を備え、前記第1色信号行列に関する前記1つの値が、第1のカラーに対応する第1色信号行列パラメータであり、前記色信号行列調整は、前記第1のカラーの再現を変更するために前記第1色信号行列パラメータをδ1の量だけ増加させる場合、前記自動的に適応させる手段は、白色再現を広い範囲で維持するために、前記第1のカラー以外のカラーに対応するすべてのカラー行列パラメータに係数(ΣX+δ1)/ΣXを乗算し、前記ΣXは、前記第1のカラーに対応する色信号行列パラメータの和であるようにした色信号行列調整装置。
  4. 色信号行列調整装置であって、
    色信号行列調整を得るために第1色信号行列に関する1つの値を調整する手段と、
    前記色信号行列調整に依存して、前記第1色信号行列に関する前記1つの値以外の少なくとも2つの色信号行列パラメータを自動的に適応させる手段と、
    を備え、前記第1色信号行列に関する前記1つの値が、前記第1のカラーに対応する色信号行列パラメータの和ΣXであり、前記色信号行列調整は、前記第1のカラー及び白の両方の再現を変更するために、前記色信号行列パラメータの和ΣXをδ2の量だけ増加させる場合、前記自動的に適応させる手段は、前記第1のカラーに対応する前記カラー行列パラメータの間の比率を維持するために、前記第1のカラーに対応するすべてのカラー行列パラメータに係数(ΣX+δ2)/ΣXを乗算することを含むようにした色信号行列調整装置。
  5. カラーカメラであって、
    入力色信号を生成するカラーセンサと、
    出力色信号を得るために前記入力色信号を調整する請求項3又は4に記載の色信号行列調整装置と、
    を備えるカラーカメラ。
JP2000565674A 1998-08-14 1999-08-03 色信号行列調整 Expired - Fee Related JP4257033B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP98202727.8 1998-08-14
EP98202727 1998-08-14
PCT/EP1999/005595 WO2000010331A1 (en) 1998-08-14 1999-08-03 Color signal matrix adjustment

Publications (2)

Publication Number Publication Date
JP2002523931A JP2002523931A (ja) 2002-07-30
JP4257033B2 true JP4257033B2 (ja) 2009-04-22

Family

ID=8234038

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000565674A Expired - Fee Related JP4257033B2 (ja) 1998-08-14 1999-08-03 色信号行列調整

Country Status (5)

Country Link
US (1) US7639283B1 (ja)
EP (1) EP1046308A1 (ja)
JP (1) JP4257033B2 (ja)
KR (1) KR100719638B1 (ja)
WO (1) WO2000010331A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1330926A2 (en) 2000-11-01 2003-07-30 Koninklijke Philips Electronics N.V. Processing of color signals in a color camera
US6982752B2 (en) 2001-08-23 2006-01-03 Motorola, Inc Circuit and method for correcting a digital color sampled signal

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1300781A (en) * 1969-03-07 1972-12-20 Philips Electronic Associated Circuit arrangement for colour point adjustment
US3652787A (en) * 1970-11-12 1972-03-28 Katarina Tkacenko Television signal color corrector
US4553141A (en) * 1982-09-21 1985-11-12 Zenith Electronics Corporation Picture control for RGB monitor
DE3315616A1 (de) * 1983-04-29 1984-10-31 Agfa-Gevaert Ag, 5090 Leverkusen Verfahren zur einstellung der farbsaettigung von farbsignalen
JPH0657066B2 (ja) * 1984-12-20 1994-07-27 キヤノン株式会社 カラ−調整装置
US4706108A (en) * 1985-04-12 1987-11-10 Sony Corporation Automatic setup system for controlling color gain, hue and white balance of TV monitor
US4788586A (en) * 1987-09-24 1988-11-29 Eastman Kodak Company Controller for adjusting color hue and saturation of images generated from signals in a non-broadcasting video system
JPH033497A (ja) * 1989-05-31 1991-01-09 Hitachi Ltd ビデオカメラの信号処理方式
US5237400A (en) * 1990-02-05 1993-08-17 Konica Corporation Compact color image processing apparatus with enhanced density conversion
US5402182A (en) 1990-07-17 1995-03-28 Mitsubishi Denki Kabushiki Kaisha Automatic white-balance controlling apparatus
JP3048180B2 (ja) 1991-02-27 2000-06-05 キヤノン株式会社 撮像装置及び撮像信号処理装置
JPH04291591A (ja) * 1991-03-19 1992-10-15 Sony Corp カラーディスプレイ装置
MY108780A (en) 1991-09-19 1996-11-30 Sharp Kk Image sensing apparatus having two image sensing portions and one signal processing portion and allowing improved white balance control.
JPH0638221A (ja) 1992-07-17 1994-02-10 Hitachi Denshi Ltd テレビジョンカメラの自動調整方法
US5345275A (en) * 1993-02-04 1994-09-06 Thomson Consumer Electronics, Inc. Color temperature selection circuitry having color matrix correction
BE1007006A3 (nl) * 1993-04-16 1995-02-14 Koninkl Philips Electronics Nv Tintdetectieschakeling.
JPH06351038A (ja) * 1993-06-10 1994-12-22 Matsushita Electric Ind Co Ltd オートホワイトバランス装置
EP0674430A1 (en) * 1994-03-24 1995-09-27 Eastman Kodak Company Method and apparatus for interactive color transformation of color values between color spaces
JPH0816129A (ja) * 1994-04-27 1996-01-19 Canon Inc 画像処理装置
US5499059A (en) * 1994-06-22 1996-03-12 Philips Electronics North America Corporation Method and apparatus for effecting dynamic color shift in a television receiver
DE19506595C1 (de) * 1995-02-24 1996-02-01 Schneider Rundfunkwerke Ag Verfahren zur Farbtransformation und ein Farbvideosystem
US5654809A (en) * 1996-01-31 1997-08-05 Hewlett-Packard Co. Method and apparatus for dynamic white point adjustment
DE69718227T2 (de) * 1996-04-02 2003-09-25 Sony Corp., Tokio/Tokyo Weissabgleichseinstellungsvorrichtung
JP2830871B2 (ja) * 1996-11-18 1998-12-02 日本電気株式会社 画像の色補正装置及び色補正プログラムを記録した記録媒体
JPH113419A (ja) * 1997-06-12 1999-01-06 Asahi Optical Co Ltd 色調調整装置および画像読取装置
US6552751B1 (en) * 1999-04-28 2003-04-22 Pioneer Corporation Video signal processing circuit and color adjusting circuit for color video signal

Also Published As

Publication number Publication date
KR100719638B1 (ko) 2007-05-17
EP1046308A1 (en) 2000-10-25
JP2002523931A (ja) 2002-07-30
KR20010015738A (ko) 2001-02-26
US7639283B1 (en) 2009-12-29
WO2000010331A1 (en) 2000-02-24

Similar Documents

Publication Publication Date Title
US5619280A (en) Color conversion apparatus that restricts the color reproduction range of primary color signals
US7084880B2 (en) Video display device and color temperature correction method for the same
US5452018A (en) Digital color correction system having gross and fine adjustment modes
JP4802350B2 (ja) 表示装置
JP4398713B2 (ja) 色信号補正装置及びその方法、並びにそれを用いた映像信号処置システム及びその方法
JP2680375B2 (ja) 対話式画像修正のための方法と装置
US5461429A (en) White balance and image color control device
WO2010024313A1 (ja) 映像表示装置
JP2006325201A (ja) 色相、彩度および輝度方向における検出、補正フェーディングおよび処理
US6122012A (en) Method of selective color control of digital video images
WO1989003156A1 (en) Controller for adjusting color hue and saturation of images generated from signals in a non-broadcasting video system
JP2008505523A (ja) カメラの色ノイズ低減方法及び回路
EP0172754A1 (en) Color correction circuit
JP4257033B2 (ja) 色信号行列調整
EP0497412B1 (en) Colour picture display device and colour camera
JP2004080402A (ja) ダイナミックホワイトバランス調整回路及びマルチ画面表示装置
KR100463831B1 (ko) 인간 시각 특성을 이용한 최적화 화질 추출장치 및 방법
JPH04286492A (ja) テレビジョン受像機
KR20050046544A (ko) 색상별 색보정 처리회로
JP3714877B2 (ja) 画像表示装置、及びプログラム
JP2001016605A (ja) ディジタル色補正回路
JPH08126022A (ja) ホワイトバランス調整回路
US6987583B1 (en) Color difference hue control system
JPH1188902A (ja) ディジタル映像信号処理回路
JPH07193833A (ja) カラートラッキング回路

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060802

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080530

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080605

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080905

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20080912

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081204

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20081204

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090113

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090202

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120206

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120206

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120206

Year of fee payment: 3

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120206

Year of fee payment: 3

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120206

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120206

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120206

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130206

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130206

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130206

Year of fee payment: 4

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130206

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140206

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees