JP4023267B2 - カラー画像処理装置及びカラー画像処理方法 - Google Patents
カラー画像処理装置及びカラー画像処理方法 Download PDFInfo
- Publication number
- JP4023267B2 JP4023267B2 JP2002266263A JP2002266263A JP4023267B2 JP 4023267 B2 JP4023267 B2 JP 4023267B2 JP 2002266263 A JP2002266263 A JP 2002266263A JP 2002266263 A JP2002266263 A JP 2002266263A JP 4023267 B2 JP4023267 B2 JP 4023267B2
- Authority
- JP
- Japan
- Prior art keywords
- matrix
- color system
- coefficient
- circuit
- component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、カラー画像を表示する各種電子機器に使用されるカラー画像処理装置及びカラー画像処理方法に関する。
【０００２】
【従来の技術】
カラー画像を表示する電子機器では、カラー画像の表示に様々な表色系が用いられる。その表色系としては、ＲＧＢ、ＹＭＣＫ、ＸＹＺ、Ｌａｂ、ＹＣｂＣｒなどがある。これらの表色系には、行列演算で変換できる表色系がある。例えば、ＲＧＢ表色系とＸＹＺ表色系を行列で相互に変換している（例えば、特許文献１参照）。
【０００３】
例えばＸＹＺ表色系からＲＧＢ表色系に変換する場合には、
｜Ｒ｜ ｜Ｘ｜
｜Ｇ｜＝Ａ｜Ｙ｜
｜Ｂ｜ ｜Ｚ｜
なる行列演算により変換する。但し、｜ ｜は行列を表している（以下も同様）。ここに、Ａは係数行列であり、次のような小数点を含む数値で表される。
【０００４】
但し、この行列Ａの各数値はＤ６５の光源を用いた場合であり、それほど大きな相違はないが、光源に何を使用するかによって異なる。
【０００５】
【特許文献１】
特開平７−３３４１３９号公報
【０００６】
【発明が解決しようとする課題】
上記係数行列Ａを用いた行列演算をハードウェアで実現する場合、小数点を含む係数からなる行列Ａをそのまま用いると、演算回路（乗算回路）のビット数が大幅に増加し、その回路規模も大きくなり、延いては画像処理装置のコストも増加する問題点がある。
【０００７】
この発明は、そのような問題点に着目してなされたものであって、或る表色系を別の表色系に行列演算により変換する場合に演算に要するビット数を減らすことにより回路規模を大きくしなくても精度良く表色系変換演算を行えるカラー画像処理装置及びカラー画像処理方法を提供することを目的としている。
【０００８】
【課題を解決するための手段】
前記目的を達成するために、本発明の請求項１記載のカラー画像処理装置（請求項２記載のカラー画像処理方法も同様）は、第１の表色系から第２の表色系にＱ＝Ａ・Ｐ（Ａは係数行列、Ｐは第１の表色系に係る行列、Ｑは第２の表色系に係る行列）なる行列演算により変換するものにおいて、前記係数行列Ａは３×３（ｉ，ｊ＝１，２，３）の正方行列であり、この行列Ａの主対角線上の係数ｍｉｊを２ｍ＋ｂｉｊ／２ｎ （ｂ，ｍ，ｎは整数）、他の係数ｍｉｊをｂｉｊ／２ｎで表し、この行列Ａの各数値ｂｉｊと前記行列Ｐの各成分とを乗算する乗算回路群と、この乗算回路群の出力を行列Ｑの各成分について加算する第１の加算回路群と、各第１の加算回路群の出力をそれぞれ行列Ａの２ｎに係るシフト処理により除算する第１のシフト回路群と、行列Ｐの各成分を行列Ａの２ｍに係るシフト処理により乗算する第２のシフト回路群と、行列Ｑの各成分について前記第１及び第２のシフト回路群の出力を加算する第２の加算回路群とを備えたことを特徴とする。
【００１１】
この装置では、３×３（ｉ，ｊ＝１，２，３）の正方行列である係数行列Ａの主対角線上の係数ｍｉｊを２ｍ＋ｂｉｊ／２ｎ で、他の係数ｍｉｊをｂｉｊ／２ｎ （ｂ，ｍ，ｎは整数）で近似的に表している。この場合、２ｍに係る演算（乗算）と２ｎに係る演算（除算）は単にビットをシフトさせればよい。しかも、数値ｂｉｊと行列Ｐの各成分との乗算では、必要とされるビット数がより減少する。つまり、この装置では、行列Ａの主対角線上の係数ｍｉｊを２ｍ＋ｂｉｊ／２ｎというように２つの部分に分解したので、換言すると行列演算を分解して行うようにしたので、数値ｂｉｊをより小さくすることができる。これにより、演算に要するビット数を増やさなくても、より高精度の表色系変換演算を低コストで行うことができる。
なお、以下の実施形態では、ｂはｂｉｊを表している。同様にａはａｉｊを表している。
【００１２】
【発明の実施の形態】
以下、実施の形態により、この発明を更に詳細に説明する。
【００１３】
第１の表色系から第２の表色系にＱ＝Ａ・Ｐ（Ａは係数行列、Ｐは第１の表色系に係る行列、Ｑは第２の表色系に係る行列）なる行列演算により変換する場合の具体例として、ＸＹＺ表色系をＲＧＢ表色系に変換する場合を取り上げる。
【００１４】
３×３の係数行列Ａを用いて変換する場合、行列Ａの各成分ｍｉｊ（ｉ＝１，２，３、ｊ＝１，２，３）の値は定まった値である。すなわち、行列演算は
｜Ｒ｜ ｜ｍ１１ ｍ１２ ｍ１３｜ ｜Ｘ｜
｜Ｇ｜＝｜ｍ２１ ｍ２２ ｍ２３｜＊｜Ｙ｜ ・・・（１）
｜Ｂ｜ ｜ｍ３１ ｍ３２ ｍ３３｜ ｜Ｚ｜
となり、各ｍｉｊの値はＤ６５の光源を用いた場合には、次のように表される。
【００１５】
｜Ｒ｜ ｜ 3.2410 -1.5374 -0.4986 ｜ ｜Ｘ｜
｜Ｇ｜＝｜-0.9692 1.8760 0.0416 ｜＊｜Ｙ｜
｜Ｂ｜ ｜ 0.0556 -0.2040 1.0570 ｜ ｜Ｚ｜
ここで、係数行列Ａの各係数をａ／２n （ａ，ｎは整数）で表すとし、ＸＹＺ正数８ビットと係数行列Ａの各係数ｍｉｊを符号付８ビットとして、符号付１３ビットの出力を得る場合、各係数ｍｉｊは次のように近似的に表される。
【００１６】
｜Ｒ｜ ｜103/32 -50/32 -16/32｜ ｜Ｘ｜
｜Ｇ｜＝｜-32/32 60/32 1/32｜＊｜Ｙ｜ ・・・（２）
｜Ｂ｜ ｜ 1/32 -7/32 33/32｜ ｜Ｚ｜
つまり、各係数ｍｉｊは以下の数値である。
【００１７】
｜Ｒ｜ ｜ 3.21875 -1.56250 -0.5000 ｜ ｜Ｘ｜
｜Ｇ｜＝｜-1.00000 1.87500 0.03125｜＊｜Ｙ｜
｜Ｂ｜ ｜ 0.03125 -0.21875 1.03125｜ ｜Ｚ｜
上記演算式（２）の回路は具体的に図１に示すようなブロック図になる。
【００１８】
この演算回路は、係数行列Ａの各数値ａと行列Ｐ｜ＸＹＺ｜の各成分とを乗算する乗算回路群１〜９と、この乗算回路群１〜９の出力を行列Ｑ｜ＲＧＢ｜の各成分について加算する加算回路群１０，１１，１２と、各加算回路群１０，１１，１２の出力をそれぞれ行列Ａの２n に係るシフト処理により除算するシフト回路群１３，１４，１５とを備える。
【００１９】
この演算回路において、乗算回路１，４，７は行列Ｑ｜ＲＧＢ｜のＲ成分について、乗算回路１で数値ａ（１０３）＊Ｘ、乗算回路４で同（−５０）＊Ｙ、乗算回路７で同（−１６）＊Ｚをそれぞれ行う。同様に、乗算回路２，５，８はＧ成分について、乗算回路２で同（−３２）＊Ｘ、乗算回路５で同（６０）＊Ｙ、乗算回路８で同（１）＊Ｚをそれぞれ行う。乗算回路３，６，９はＢ成分について、乗算回路３で同（１）＊Ｘ、乗算回路６で同（−７）＊Ｙ、乗算回路９で同（３３）＊Ｚをそれぞれ行う。
【００２０】
加算回路１０は、行列Ｑ｜ＲＧＢ｜のＲ成分について、乗算回路１，４，７の出力を加算する。つまり、（１０３Ｘ）＋（−５０Ｙ）＋（−１６Ｚ）を行う。同様に、加算回路１１は、Ｇ成分について乗算回路２，５，８の出力を加算し、加算回路１２は、Ｂ成分について乗算回路３，６，９の出力を加算する。
【００２１】
シフト回路１３は、行列Ｑ｜ＲＧＢ｜のＲ成分について、加算回路１０の出力をそれぞれ行列Ａの２n （３２，ｎ＝５）に係るシフト処理により除算する。つまり、〔（１０３Ｘ）＋（−５０Ｙ）＋（−１６Ｚ）〕の値に対して５ビット分シフトすることにより除算する。同様に、シフト回路１４はＧ成分について、加算回路１１の出力を２n に係るシフト処理により除算し、シフト回路１５はＢ成分について、加算回路１２の出力を２n に係るシフト処理により除算する。
【００２２】
以上の処理により、ＸＹＺ表色系を行列演算でＲＧＢ表色系に変換することができる。この演算に関し、係数行列Ａの各係数をａ／２n （ａ，ｎは整数）で近似的に表しているので、２のべき乗２n に係る演算（除算）は単にビットをシフトさせればよいだけでなく、数値ａと行列Ｐ｜ＸＹＺ｜の各成分との乗算では、必要とされるビット数が減少する。従って、回路規模を上げることなく、高精度の表色系変換演算を低コストで行うことができる。
【００２３】
次に、上記具体例において、演算誤差を小さくするために、係数行列Ａの各係数ｍｉｊを符号付９ビットとして、符号付１３ビットの出力を得る場合、各係数ｍｉｊは次のように近似的に表される。
【００２４】
｜Ｒ｜ ｜207/64 -99/64 -32/64 ｜ ｜Ｘ｜
｜Ｇ｜＝｜-63/64 120/64 2/64 ｜＊｜Ｙ｜ ・・・（３）
｜Ｂ｜ ｜ 3/64 -14/64 67/64 ｜ ｜Ｚ｜
つまり、各係数ｍｉｊは以下の数値である。
【００２５】
｜Ｒ｜ ｜ 3.234375 -1.54688 -0.50000 ｜ ｜Ｘ｜
｜Ｇ｜＝｜-0.98438 1.875 0.03125 ｜＊｜Ｙ｜
｜Ｂ｜ ｜ 0.046875 -0.21875 1.046875｜ ｜Ｚ｜
上記演算式（３）の回路は具体的には図２に示すようなブロック図になる。この演算回路は図１に示すものと全く同じであるので説明は省略する。
【００２６】
この場合、上記演算式（３）において、演算式（２）に比べて数値ａが大きくなっていることから、演算誤差を減らすためには、乗算回路のビット数を上げる必要がある。これは、回路規模の拡大になるので、コスト削減からは好ましくない。
【００２７】
そこで、係数行列Ａの主対角線上の係数を２m ＋ｂ／２n （ｂ，ｍ，ｎは整数）とし、その他の係数をｂ／２n （ｂ，ｎは整数）で表すとし、ＸＹＺ正数８ビットとすると共に係数行列Ａの各係数ｍｉｊを２m とｂの符号付８ビットに分けて演算し、符号付１３ビットの出力を得る場合、各係数ｍｉｊは次のように近似的に表される。
【００２８】
この演算式（４）の第１項において、各行と各列についてそれぞれ１個のみ２m としたのは、表色系変換のための係数行列は、１行の３個の係数において、いずれか１個の値が大きく、他の値が小さく、その値の大きい係数の位置が行毎且つ列毎に異なるという特徴を有するからである。すなわち、上記演算式（３）における係数行列Ａの各係数ｍｉｊの中では、ｍ１１，ｍ２２，ｍ３３のｂ（２０７，１２０，６７）が該当する。言い換えれば、行列Ａは係数を２m とする３×３の対角行列と、ｂ／２n を係数とする３×３の正方行列とに分解することができる。
【００２９】
この演算式（４）は行列分解により表されており、各係数ｍｉｊは以下の数値である。
【００３０】
｜Ｒ｜ ｜4-0.765625 -1.54688 -0.50000 ｜ ｜Ｘ｜
｜Ｇ｜＝｜-0.98438 2-0.125 0.03125 ｜＊｜Ｙ｜
｜Ｂ｜ ｜ 0.046875 -0.21875 1+0.046875｜ ｜Ｚ｜
｜Ｒ｜ ｜ 3.234375 -1.54688 -0.50000 ｜ ｜Ｘ｜
｜Ｇ｜＝｜-0.98438 1.875 0.03125 ｜＊｜Ｙ｜
｜Ｂ｜ ｜ 0.046875 -0.21875 1.046875｜ ｜Ｚ｜
上記演算式（４）の回路は具体的に図３に示すようなブロック図になる。
【００３１】
この演算回路は、基本的に図１及び図２に示す回路と同じであるが、新たに加算回路とシフト回路が追加されている。すなわち、この演算回路は、係数行列Ａの各数値ｂと行列Ｐ｜ＸＹＺ｜の各成分とを乗算する乗算回路群１〜９と、この乗算回路群１〜９の出力を行列Ｑ｜ＲＧＢ｜の各成分について加算する第１の加算回路群１０，１１，１２と、各第１の加算回路群１０，１１，１２の出力をそれぞれ行列Ａの２n に係るシフト処理により除算する第１のシフト回路群１３，１４，１５と、行列Ｐの各成分を行列Ａの２m に係るシフト処理により乗算する第２のシフト回路群１６，１７，１８と、行列Ｑの各成分について前記第１及び第２のシフト回路群１３〜１５，１６〜１８の出力を加算する第２の加算回路群１９，２０，２１とを備える。
【００３２】
この演算回路において、乗算回路１，４，７、乗算回路２，５，８、乗算回路３，６，９は前記したとおりである。また、加算回路１０，１１，１２及びシフト回路１３，１４，１５も前記したとおりである。
【００３３】
乗算回路１，４，７、加算回路１０及びシフト回路１３により行列Ｑ｜ＲＧＢ｜のＲ成分について、上記演算式（４）の第２項の演算が行われる。同様に、乗算回路２，５，８、加算回路１１及びシフト回路１４によりＧ成分について、乗算回路３，６，９、加算回路１２及びシフト回路１５によりＢ成分について、それぞれ演算式（４）の第２項の演算が行われる。
【００３４】
シフト回路１６は行列Ｑ｜ＲＧＢ｜のＲ成分について、シフト回路１７はＧ成分について、シフト回路１８はＢ成分について、それぞれ行列Ｐの各成分を行列Ａの２m に係るシフト処理により乗算する。つまり、演算式（４）の第１項の演算が行われる。
【００３５】
加算回路１９は、行列Ｑ｜ＲＧＢ｜のＲ成分について、シフト回路１３の出力とシフト回路１６の出力を加算する。同様に、加算回路２０はＧ成分について、シフト回路１４の出力とシフト回路１７の出力を加算し、加算回路２１はＢ成分について、シフト回路１５の出力とシフト回路１８の出力を加算する。
【００３６】
以上の処理により、ＸＹＺ表色系を行列演算でＲＧＢ表色系に変換することができる。この演算に関しては、係数行列Ａの主対角線上の係数を２m ＋ｂ／２n （ｂ，ｍ，ｎは整数）とし、その他の係数をｂ／２n （ｂ，ｎは整数）で表しているので、２m に係る演算（乗算）と２n に係る演算（除算）は単にビットをシフトさせればよい。しかも、数値ｂと行列Ｐの各成分との乗算では、各係数をａ／２n とする場合に比べて必要とされるビット数が更に減少する。つまり、行列Ａの主対角線上の係数を２m ＋ｂ／２n というように２つの部分に分解したので、言い換えると行列演算を分解して行うようにしたので、数値ｂを数値ａよりも更に小さくすることができる。これにより、演算に要するビット数を増やすことなく、シフト回路群１６〜１８と加算回路群１９〜２１を追加するだけで、乗算回路群１〜９での演算精度を向上させることができる。
【００３７】
次に、ＲＧＢ表色系からＸＹＺ表色系に変換するときの行列演算は、次のようになる。但し、係数行列Ａの各数値はＤ５０の光源を用いた場合である。
【００３８】
｜Ｘ｜ ｜0.4339 0.3760 0.1886｜ ｜Ｒ｜
｜Ｙ｜＝｜0.2126 0.7151 0.0715｜＊｜Ｇ｜
｜Ｚ｜ ｜0.0177 0.1095 0.8728｜ ｜Ｂ｜
ここで、図１及び図２に示す演算回路において、乗算回路群１〜９での入力を８ビット、符号付８ビットとし、出力を符号付１６ビットとする場合の演算式は次のようになる。
【００３９】
｜Ｘ｜ ｜55/128 48/128 24/128 ｜ ｜Ｒ｜
｜Ｙ｜＝｜27/128 91/128 9/128 ｜＊｜Ｇ｜
｜Ｚ｜ ｜ 2/128 14/128 111/128 ｜ ｜Ｂ｜
これを更に図３に示す演算回路に当てはめると次のようになる。
【００４０】
｜Ｘ｜ ｜1/2 0 0｜ ｜Ｒ｜ ｜-17/256 96/256 48/256 ｜ ｜Ｒ｜
｜Ｙ｜＝｜ 0 1/2 0｜＊｜Ｇ｜＋｜-54/256 55/256 18/256 ｜＊｜Ｇ｜
｜Ｚ｜ ｜ 0 0 1｜ ｜Ｂ｜ ｜ 4/256 28/256 -33/256 ｜ ｜Ｂ｜
また、ＲＧＢ表色系からＪＰＥＧ（Joint Picture Expert Group）による圧縮に適したＹＣｒＣｂ表色系に変換するときの行列演算は、次のようになる。但し、係数行列Ａの各数値はＤ５０の光源を用いた場合である。
【００４１】
｜Ｃｂ｜ ｜ 0.5000 -0.4187 0.0813 ｜ ｜Ｒ｜
｜Ｙ ｜＝｜ 0.2990 0.5870 0.1140 ｜＊｜Ｇ｜
｜Ｃｒ｜ ｜-0.1687 -0.3313 0.5000 ｜ ｜Ｂ｜
ここで、図１及び図２に示す演算回路において、乗算回路群１〜９での入力を８ビット、符号付８ビットとし、出力を符号付１６ビットとする場合の演算式は次のようになる。
【００４２】
｜Ｃｂ｜ ｜ 64/128 -54/128 10/128 ｜ ｜Ｒ｜
｜Ｙ ｜＝｜ 38/128 75/128 14/128 ｜＊｜Ｇ｜
｜Ｃｒ｜ ｜-22/128 -43/128 64/128 ｜ ｜Ｂ｜
これを更に図３に示す演算回路に当てはめると次のようになる。
【００４３】
｜Ｃｂ｜ ｜1/2 0 0 ｜ ｜Ｒ｜ ｜ 0/256 -108/256 20/256｜ ｜Ｒ｜
｜Ｙ ｜＝｜ 0 1/2 0 ｜＊｜Ｇ｜＋｜ 76/256 22/256 29/256｜＊｜Ｇ｜
｜Ｃｒ｜ ｜ 0 0 1/2 ｜ ｜Ｂ｜ ｜-44/256 -85/256 0/256｜ ｜Ｂ｜
なお、図１〜図３に示すブロック図は、ＸＹＺ表色系をＲＧＢ表色系に変換する場合を示しているが、その反対にＲＧＢ表色系をＸＹＺ表色系に変換する場合、或いはＲＧＢ表色系をＹＣｂＣｒ表色系に変換する場合なども、係数行列Ａを対応のものに変えた上で、全く同様に行えばよい。
【００４４】
【発明の効果】
以上説明したように、請求項１，２記載の発明によれば、３×３（ｉ，ｊ＝１，２，３）の正方行列である係数行列Ａの主対角線上の係数ｍｉｊを２ｍ＋ｂｉｊ／２ｎ （ｂ，ｍ，ｎは整数）、他の係数ｍｉｊをｂｉｊ／２ｎで表しているので、２のべき乗２ｍに係る演算（乗算）と２ｎに係る演算（除算）は単にビットをシフトさせればよい。しかも、数値ｂｉｊと行列Ｐの各成分との乗算では、必要とされるビット数がより減少する。これにより、演算に要するビット数を増やさなくても、より高精度の表色系変換演算を低コストで行うことができる。
【図面の簡単な説明】
【図１】一実施形態に係るカラー画像処理装置における演算回路のブロック図である。
【図２】図１の演算回路の変形（入出力のビット数の変更）例を示すブロック図である。
【図３】別実施形態に係るカラー画像処理装置における演算回路のブロック図である。
【符号の説明】
１〜９ 乗算回路群
１０〜１２ （第１の）加算回路群
１３〜１５ （第１の）シフト回路群
１６〜１８ 第２のシフト回路群
１９〜２１ 第２の加算回路群
【発明の属する技術分野】
この発明は、カラー画像を表示する各種電子機器に使用されるカラー画像処理装置及びカラー画像処理方法に関する。
【０００２】
【従来の技術】
カラー画像を表示する電子機器では、カラー画像の表示に様々な表色系が用いられる。その表色系としては、ＲＧＢ、ＹＭＣＫ、ＸＹＺ、Ｌａｂ、ＹＣｂＣｒなどがある。これらの表色系には、行列演算で変換できる表色系がある。例えば、ＲＧＢ表色系とＸＹＺ表色系を行列で相互に変換している（例えば、特許文献１参照）。
【０００３】
例えばＸＹＺ表色系からＲＧＢ表色系に変換する場合には、
｜Ｒ｜ ｜Ｘ｜
｜Ｇ｜＝Ａ｜Ｙ｜
｜Ｂ｜ ｜Ｚ｜
なる行列演算により変換する。但し、｜ ｜は行列を表している（以下も同様）。ここに、Ａは係数行列であり、次のような小数点を含む数値で表される。
【０００４】
【０００５】
【特許文献１】
特開平７−３３４１３９号公報
【０００６】
【発明が解決しようとする課題】
上記係数行列Ａを用いた行列演算をハードウェアで実現する場合、小数点を含む係数からなる行列Ａをそのまま用いると、演算回路（乗算回路）のビット数が大幅に増加し、その回路規模も大きくなり、延いては画像処理装置のコストも増加する問題点がある。
【０００７】
この発明は、そのような問題点に着目してなされたものであって、或る表色系を別の表色系に行列演算により変換する場合に演算に要するビット数を減らすことにより回路規模を大きくしなくても精度良く表色系変換演算を行えるカラー画像処理装置及びカラー画像処理方法を提供することを目的としている。
【０００８】
【課題を解決するための手段】
前記目的を達成するために、本発明の請求項１記載のカラー画像処理装置（請求項２記載のカラー画像処理方法も同様）は、第１の表色系から第２の表色系にＱ＝Ａ・Ｐ（Ａは係数行列、Ｐは第１の表色系に係る行列、Ｑは第２の表色系に係る行列）なる行列演算により変換するものにおいて、前記係数行列Ａは３×３（ｉ，ｊ＝１，２，３）の正方行列であり、この行列Ａの主対角線上の係数ｍｉｊを２ｍ＋ｂｉｊ／２ｎ （ｂ，ｍ，ｎは整数）、他の係数ｍｉｊをｂｉｊ／２ｎで表し、この行列Ａの各数値ｂｉｊと前記行列Ｐの各成分とを乗算する乗算回路群と、この乗算回路群の出力を行列Ｑの各成分について加算する第１の加算回路群と、各第１の加算回路群の出力をそれぞれ行列Ａの２ｎに係るシフト処理により除算する第１のシフト回路群と、行列Ｐの各成分を行列Ａの２ｍに係るシフト処理により乗算する第２のシフト回路群と、行列Ｑの各成分について前記第１及び第２のシフト回路群の出力を加算する第２の加算回路群とを備えたことを特徴とする。
【００１１】
この装置では、３×３（ｉ，ｊ＝１，２，３）の正方行列である係数行列Ａの主対角線上の係数ｍｉｊを２ｍ＋ｂｉｊ／２ｎ で、他の係数ｍｉｊをｂｉｊ／２ｎ （ｂ，ｍ，ｎは整数）で近似的に表している。この場合、２ｍに係る演算（乗算）と２ｎに係る演算（除算）は単にビットをシフトさせればよい。しかも、数値ｂｉｊと行列Ｐの各成分との乗算では、必要とされるビット数がより減少する。つまり、この装置では、行列Ａの主対角線上の係数ｍｉｊを２ｍ＋ｂｉｊ／２ｎというように２つの部分に分解したので、換言すると行列演算を分解して行うようにしたので、数値ｂｉｊをより小さくすることができる。これにより、演算に要するビット数を増やさなくても、より高精度の表色系変換演算を低コストで行うことができる。
なお、以下の実施形態では、ｂはｂｉｊを表している。同様にａはａｉｊを表している。
【００１２】
【発明の実施の形態】
以下、実施の形態により、この発明を更に詳細に説明する。
【００１３】
第１の表色系から第２の表色系にＱ＝Ａ・Ｐ（Ａは係数行列、Ｐは第１の表色系に係る行列、Ｑは第２の表色系に係る行列）なる行列演算により変換する場合の具体例として、ＸＹＺ表色系をＲＧＢ表色系に変換する場合を取り上げる。
【００１４】
３×３の係数行列Ａを用いて変換する場合、行列Ａの各成分ｍｉｊ（ｉ＝１，２，３、ｊ＝１，２，３）の値は定まった値である。すなわち、行列演算は
｜Ｒ｜ ｜ｍ１１ ｍ１２ ｍ１３｜ ｜Ｘ｜
｜Ｇ｜＝｜ｍ２１ ｍ２２ ｍ２３｜＊｜Ｙ｜ ・・・（１）
｜Ｂ｜ ｜ｍ３１ ｍ３２ ｍ３３｜ ｜Ｚ｜
となり、各ｍｉｊの値はＤ６５の光源を用いた場合には、次のように表される。
【００１５】
｜Ｒ｜ ｜ 3.2410 -1.5374 -0.4986 ｜ ｜Ｘ｜
｜Ｇ｜＝｜-0.9692 1.8760 0.0416 ｜＊｜Ｙ｜
｜Ｂ｜ ｜ 0.0556 -0.2040 1.0570 ｜ ｜Ｚ｜
ここで、係数行列Ａの各係数をａ／２n （ａ，ｎは整数）で表すとし、ＸＹＺ正数８ビットと係数行列Ａの各係数ｍｉｊを符号付８ビットとして、符号付１３ビットの出力を得る場合、各係数ｍｉｊは次のように近似的に表される。
【００１６】
｜Ｒ｜ ｜103/32 -50/32 -16/32｜ ｜Ｘ｜
｜Ｇ｜＝｜-32/32 60/32 1/32｜＊｜Ｙ｜ ・・・（２）
｜Ｂ｜ ｜ 1/32 -7/32 33/32｜ ｜Ｚ｜
つまり、各係数ｍｉｊは以下の数値である。
【００１７】
｜Ｒ｜ ｜ 3.21875 -1.56250 -0.5000 ｜ ｜Ｘ｜
｜Ｇ｜＝｜-1.00000 1.87500 0.03125｜＊｜Ｙ｜
｜Ｂ｜ ｜ 0.03125 -0.21875 1.03125｜ ｜Ｚ｜
上記演算式（２）の回路は具体的に図１に示すようなブロック図になる。
【００１８】
この演算回路は、係数行列Ａの各数値ａと行列Ｐ｜ＸＹＺ｜の各成分とを乗算する乗算回路群１〜９と、この乗算回路群１〜９の出力を行列Ｑ｜ＲＧＢ｜の各成分について加算する加算回路群１０，１１，１２と、各加算回路群１０，１１，１２の出力をそれぞれ行列Ａの２n に係るシフト処理により除算するシフト回路群１３，１４，１５とを備える。
【００１９】
この演算回路において、乗算回路１，４，７は行列Ｑ｜ＲＧＢ｜のＲ成分について、乗算回路１で数値ａ（１０３）＊Ｘ、乗算回路４で同（−５０）＊Ｙ、乗算回路７で同（−１６）＊Ｚをそれぞれ行う。同様に、乗算回路２，５，８はＧ成分について、乗算回路２で同（−３２）＊Ｘ、乗算回路５で同（６０）＊Ｙ、乗算回路８で同（１）＊Ｚをそれぞれ行う。乗算回路３，６，９はＢ成分について、乗算回路３で同（１）＊Ｘ、乗算回路６で同（−７）＊Ｙ、乗算回路９で同（３３）＊Ｚをそれぞれ行う。
【００２０】
加算回路１０は、行列Ｑ｜ＲＧＢ｜のＲ成分について、乗算回路１，４，７の出力を加算する。つまり、（１０３Ｘ）＋（−５０Ｙ）＋（−１６Ｚ）を行う。同様に、加算回路１１は、Ｇ成分について乗算回路２，５，８の出力を加算し、加算回路１２は、Ｂ成分について乗算回路３，６，９の出力を加算する。
【００２１】
シフト回路１３は、行列Ｑ｜ＲＧＢ｜のＲ成分について、加算回路１０の出力をそれぞれ行列Ａの２n （３２，ｎ＝５）に係るシフト処理により除算する。つまり、〔（１０３Ｘ）＋（−５０Ｙ）＋（−１６Ｚ）〕の値に対して５ビット分シフトすることにより除算する。同様に、シフト回路１４はＧ成分について、加算回路１１の出力を２n に係るシフト処理により除算し、シフト回路１５はＢ成分について、加算回路１２の出力を２n に係るシフト処理により除算する。
【００２２】
以上の処理により、ＸＹＺ表色系を行列演算でＲＧＢ表色系に変換することができる。この演算に関し、係数行列Ａの各係数をａ／２n （ａ，ｎは整数）で近似的に表しているので、２のべき乗２n に係る演算（除算）は単にビットをシフトさせればよいだけでなく、数値ａと行列Ｐ｜ＸＹＺ｜の各成分との乗算では、必要とされるビット数が減少する。従って、回路規模を上げることなく、高精度の表色系変換演算を低コストで行うことができる。
【００２３】
次に、上記具体例において、演算誤差を小さくするために、係数行列Ａの各係数ｍｉｊを符号付９ビットとして、符号付１３ビットの出力を得る場合、各係数ｍｉｊは次のように近似的に表される。
【００２４】
｜Ｒ｜ ｜207/64 -99/64 -32/64 ｜ ｜Ｘ｜
｜Ｇ｜＝｜-63/64 120/64 2/64 ｜＊｜Ｙ｜ ・・・（３）
｜Ｂ｜ ｜ 3/64 -14/64 67/64 ｜ ｜Ｚ｜
つまり、各係数ｍｉｊは以下の数値である。
【００２５】
｜Ｒ｜ ｜ 3.234375 -1.54688 -0.50000 ｜ ｜Ｘ｜
｜Ｇ｜＝｜-0.98438 1.875 0.03125 ｜＊｜Ｙ｜
｜Ｂ｜ ｜ 0.046875 -0.21875 1.046875｜ ｜Ｚ｜
上記演算式（３）の回路は具体的には図２に示すようなブロック図になる。この演算回路は図１に示すものと全く同じであるので説明は省略する。
【００２６】
この場合、上記演算式（３）において、演算式（２）に比べて数値ａが大きくなっていることから、演算誤差を減らすためには、乗算回路のビット数を上げる必要がある。これは、回路規模の拡大になるので、コスト削減からは好ましくない。
【００２７】
そこで、係数行列Ａの主対角線上の係数を２m ＋ｂ／２n （ｂ，ｍ，ｎは整数）とし、その他の係数をｂ／２n （ｂ，ｎは整数）で表すとし、ＸＹＺ正数８ビットとすると共に係数行列Ａの各係数ｍｉｊを２m とｂの符号付８ビットに分けて演算し、符号付１３ビットの出力を得る場合、各係数ｍｉｊは次のように近似的に表される。
【００２８】
【００２９】
この演算式（４）は行列分解により表されており、各係数ｍｉｊは以下の数値である。
【００３０】
｜Ｒ｜ ｜4-0.765625 -1.54688 -0.50000 ｜ ｜Ｘ｜
｜Ｇ｜＝｜-0.98438 2-0.125 0.03125 ｜＊｜Ｙ｜
｜Ｂ｜ ｜ 0.046875 -0.21875 1+0.046875｜ ｜Ｚ｜
｜Ｒ｜ ｜ 3.234375 -1.54688 -0.50000 ｜ ｜Ｘ｜
｜Ｇ｜＝｜-0.98438 1.875 0.03125 ｜＊｜Ｙ｜
｜Ｂ｜ ｜ 0.046875 -0.21875 1.046875｜ ｜Ｚ｜
上記演算式（４）の回路は具体的に図３に示すようなブロック図になる。
【００３１】
この演算回路は、基本的に図１及び図２に示す回路と同じであるが、新たに加算回路とシフト回路が追加されている。すなわち、この演算回路は、係数行列Ａの各数値ｂと行列Ｐ｜ＸＹＺ｜の各成分とを乗算する乗算回路群１〜９と、この乗算回路群１〜９の出力を行列Ｑ｜ＲＧＢ｜の各成分について加算する第１の加算回路群１０，１１，１２と、各第１の加算回路群１０，１１，１２の出力をそれぞれ行列Ａの２n に係るシフト処理により除算する第１のシフト回路群１３，１４，１５と、行列Ｐの各成分を行列Ａの２m に係るシフト処理により乗算する第２のシフト回路群１６，１７，１８と、行列Ｑの各成分について前記第１及び第２のシフト回路群１３〜１５，１６〜１８の出力を加算する第２の加算回路群１９，２０，２１とを備える。
【００３２】
この演算回路において、乗算回路１，４，７、乗算回路２，５，８、乗算回路３，６，９は前記したとおりである。また、加算回路１０，１１，１２及びシフト回路１３，１４，１５も前記したとおりである。
【００３３】
乗算回路１，４，７、加算回路１０及びシフト回路１３により行列Ｑ｜ＲＧＢ｜のＲ成分について、上記演算式（４）の第２項の演算が行われる。同様に、乗算回路２，５，８、加算回路１１及びシフト回路１４によりＧ成分について、乗算回路３，６，９、加算回路１２及びシフト回路１５によりＢ成分について、それぞれ演算式（４）の第２項の演算が行われる。
【００３４】
シフト回路１６は行列Ｑ｜ＲＧＢ｜のＲ成分について、シフト回路１７はＧ成分について、シフト回路１８はＢ成分について、それぞれ行列Ｐの各成分を行列Ａの２m に係るシフト処理により乗算する。つまり、演算式（４）の第１項の演算が行われる。
【００３５】
加算回路１９は、行列Ｑ｜ＲＧＢ｜のＲ成分について、シフト回路１３の出力とシフト回路１６の出力を加算する。同様に、加算回路２０はＧ成分について、シフト回路１４の出力とシフト回路１７の出力を加算し、加算回路２１はＢ成分について、シフト回路１５の出力とシフト回路１８の出力を加算する。
【００３６】
以上の処理により、ＸＹＺ表色系を行列演算でＲＧＢ表色系に変換することができる。この演算に関しては、係数行列Ａの主対角線上の係数を２m ＋ｂ／２n （ｂ，ｍ，ｎは整数）とし、その他の係数をｂ／２n （ｂ，ｎは整数）で表しているので、２m に係る演算（乗算）と２n に係る演算（除算）は単にビットをシフトさせればよい。しかも、数値ｂと行列Ｐの各成分との乗算では、各係数をａ／２n とする場合に比べて必要とされるビット数が更に減少する。つまり、行列Ａの主対角線上の係数を２m ＋ｂ／２n というように２つの部分に分解したので、言い換えると行列演算を分解して行うようにしたので、数値ｂを数値ａよりも更に小さくすることができる。これにより、演算に要するビット数を増やすことなく、シフト回路群１６〜１８と加算回路群１９〜２１を追加するだけで、乗算回路群１〜９での演算精度を向上させることができる。
【００３７】
次に、ＲＧＢ表色系からＸＹＺ表色系に変換するときの行列演算は、次のようになる。但し、係数行列Ａの各数値はＤ５０の光源を用いた場合である。
【００３８】
｜Ｘ｜ ｜0.4339 0.3760 0.1886｜ ｜Ｒ｜
｜Ｙ｜＝｜0.2126 0.7151 0.0715｜＊｜Ｇ｜
｜Ｚ｜ ｜0.0177 0.1095 0.8728｜ ｜Ｂ｜
ここで、図１及び図２に示す演算回路において、乗算回路群１〜９での入力を８ビット、符号付８ビットとし、出力を符号付１６ビットとする場合の演算式は次のようになる。
【００３９】
｜Ｘ｜ ｜55/128 48/128 24/128 ｜ ｜Ｒ｜
｜Ｙ｜＝｜27/128 91/128 9/128 ｜＊｜Ｇ｜
｜Ｚ｜ ｜ 2/128 14/128 111/128 ｜ ｜Ｂ｜
これを更に図３に示す演算回路に当てはめると次のようになる。
【００４０】
｜Ｘ｜ ｜1/2 0 0｜ ｜Ｒ｜ ｜-17/256 96/256 48/256 ｜ ｜Ｒ｜
｜Ｙ｜＝｜ 0 1/2 0｜＊｜Ｇ｜＋｜-54/256 55/256 18/256 ｜＊｜Ｇ｜
｜Ｚ｜ ｜ 0 0 1｜ ｜Ｂ｜ ｜ 4/256 28/256 -33/256 ｜ ｜Ｂ｜
また、ＲＧＢ表色系からＪＰＥＧ（Joint Picture Expert Group）による圧縮に適したＹＣｒＣｂ表色系に変換するときの行列演算は、次のようになる。但し、係数行列Ａの各数値はＤ５０の光源を用いた場合である。
【００４１】
｜Ｃｂ｜ ｜ 0.5000 -0.4187 0.0813 ｜ ｜Ｒ｜
｜Ｙ ｜＝｜ 0.2990 0.5870 0.1140 ｜＊｜Ｇ｜
｜Ｃｒ｜ ｜-0.1687 -0.3313 0.5000 ｜ ｜Ｂ｜
ここで、図１及び図２に示す演算回路において、乗算回路群１〜９での入力を８ビット、符号付８ビットとし、出力を符号付１６ビットとする場合の演算式は次のようになる。
【００４２】
｜Ｃｂ｜ ｜ 64/128 -54/128 10/128 ｜ ｜Ｒ｜
｜Ｙ ｜＝｜ 38/128 75/128 14/128 ｜＊｜Ｇ｜
｜Ｃｒ｜ ｜-22/128 -43/128 64/128 ｜ ｜Ｂ｜
これを更に図３に示す演算回路に当てはめると次のようになる。
【００４３】
｜Ｃｂ｜ ｜1/2 0 0 ｜ ｜Ｒ｜ ｜ 0/256 -108/256 20/256｜ ｜Ｒ｜
｜Ｙ ｜＝｜ 0 1/2 0 ｜＊｜Ｇ｜＋｜ 76/256 22/256 29/256｜＊｜Ｇ｜
｜Ｃｒ｜ ｜ 0 0 1/2 ｜ ｜Ｂ｜ ｜-44/256 -85/256 0/256｜ ｜Ｂ｜
なお、図１〜図３に示すブロック図は、ＸＹＺ表色系をＲＧＢ表色系に変換する場合を示しているが、その反対にＲＧＢ表色系をＸＹＺ表色系に変換する場合、或いはＲＧＢ表色系をＹＣｂＣｒ表色系に変換する場合なども、係数行列Ａを対応のものに変えた上で、全く同様に行えばよい。
【００４４】
【発明の効果】
以上説明したように、請求項１，２記載の発明によれば、３×３（ｉ，ｊ＝１，２，３）の正方行列である係数行列Ａの主対角線上の係数ｍｉｊを２ｍ＋ｂｉｊ／２ｎ （ｂ，ｍ，ｎは整数）、他の係数ｍｉｊをｂｉｊ／２ｎで表しているので、２のべき乗２ｍに係る演算（乗算）と２ｎに係る演算（除算）は単にビットをシフトさせればよい。しかも、数値ｂｉｊと行列Ｐの各成分との乗算では、必要とされるビット数がより減少する。これにより、演算に要するビット数を増やさなくても、より高精度の表色系変換演算を低コストで行うことができる。
【図面の簡単な説明】
【図１】一実施形態に係るカラー画像処理装置における演算回路のブロック図である。
【図２】図１の演算回路の変形（入出力のビット数の変更）例を示すブロック図である。
【図３】別実施形態に係るカラー画像処理装置における演算回路のブロック図である。
【符号の説明】
１〜９ 乗算回路群
１０〜１２ （第１の）加算回路群
１３〜１５ （第１の）シフト回路群
１６〜１８ 第２のシフト回路群
１９〜２１ 第２の加算回路群
Claims (2)
- 第１の表色系から第２の表色系にＱ＝Ａ・Ｐ（Ａは係数行列、Ｐは第１の表色系に係る行列、Ｑは第２の表色系に係る行列）なる行列演算により変換するカラー画像処理装置において、
前記係数行列Ａは３×３（ｉ，ｊ＝１，２，３）の正方行列であり、この行列Ａの主対角線上の係数ｍｉｊを２ｍ＋ｂｉｊ／２ｎ （ｂ，ｍ，ｎは整数）、他の係数ｍｉｊをｂｉｊ／２ｎで表し、この行列Ａの各数値ｂｉｊと前記行列Ｐの各成分とを乗算する乗算回路群と、この乗算回路群の出力を行列Ｑの各成分について加算する第１の加算回路群と、各第１の加算回路群の出力をそれぞれ行列Ａの２ｎに係るシフト処理により除算する第１のシフト回路群と、行列Ｐの各成分を行列Ａの２ｍに係るシフト処理により乗算する第２のシフト回路群と、行列Ｑの各成分について前記第１及び第２のシフト回路群の出力を加算する第２の加算回路群とを備えたことを特徴とするカラー画像処理装置。 - 第１の表色系から第２の表色系にＱ＝Ａ・Ｐ（Ａは係数行列、Ｐは第１の表色系に係る行列、Ｑは第２の表色系に係る行列）なる行列演算により変換するカラー画像処理方法において、
前記係数行列Ａは３×３（ｉ，ｊ＝１，２，３）の正方行列であり、この行列Ａの主対角線上の係数ｍｉｊを２ｍ＋ｂｉｊ／２ｎ （ｂ，ｍ，ｎは整数）、他の係数ｍｉｊをｂｉｊ／２ｎで表し、この行列Ａの各数値ｂｉｊと前記行列Ｐの各成分とを乗算し、この乗算結果を行列Ｑの各成分について加算し、各加算値をそれぞれ行列Ａの２ｎに係るシフト処理により除算する一方、行列Ｐの各成分を行列Ａの２ｍに係るシフト処理により乗算し、行列Ｑの各成分について前記シフト処理による除算値と乗算値とを加算することを特徴とするカラー画像処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002266263A JP4023267B2 (ja) | 2002-09-12 | 2002-09-12 | カラー画像処理装置及びカラー画像処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002266263A JP4023267B2 (ja) | 2002-09-12 | 2002-09-12 | カラー画像処理装置及びカラー画像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004102861A JP2004102861A (ja) | 2004-04-02 |
| JP4023267B2 true JP4023267B2 (ja) | 2007-12-19 |
Family
ID=32265121
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002266263A Expired - Fee Related JP4023267B2 (ja) | 2002-09-12 | 2002-09-12 | カラー画像処理装置及びカラー画像処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4023267B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5757108B2 (ja) * | 2011-03-09 | 2015-07-29 | 富士ゼロックス株式会社 | 画像処理装置およびプログラム |
-
2002
- 2002-09-12 JP JP2002266263A patent/JP4023267B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004102861A (ja) | 2004-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100834605B1 (ko) | 색조 보정 회로, 색상 보정 회로 및 색 보정 회로 | |
| JP3432414B2 (ja) | 色変換装置および色変換方法 | |
| JP3432468B2 (ja) | 色変換装置および色変換方法 | |
| EP0924925A1 (en) | Method and apparatus for reversible color conversion | |
| US7813003B2 (en) | Method and apparatus of color conversion | |
| US20050249406A1 (en) | Method and apparatus for RGB color conversion that can be used in conjunction with lossless and lossy image compression | |
| JP4023267B2 (ja) | カラー画像処理装置及びカラー画像処理方法 | |
| JP2001111855A (ja) | 色変換装置及び色変換方法 | |
| JP2007226444A (ja) | 画像合成装置及びその画像合成方法 | |
| JP2964923B2 (ja) | 画像処理装置および画像処理方法 | |
| JP5206573B2 (ja) | 画像処理装置、集積回路装置及び電子機器 | |
| US5861926A (en) | Device and method for calculating a brightness signal | |
| Dumonteix et al. | A family of redundant multipliers dedicated to fast computation for signal processing | |
| JPH05508519A (ja) | 数個の線形センサからの信号についてパイプライン式行列乗算を行うための信号処理回路 | |
| JPS6258378A (ja) | 高速色デ−タ変換方式 | |
| JP2658089B2 (ja) | カラー画像処理方法 | |
| JPH0619686A (ja) | 乗算回路及び乗算回路を有する画像処理装置 | |
| KR100416229B1 (ko) | 컬러 영상 처리 시스템에서의 알.지.비 변환 회로 | |
| JP3434814B2 (ja) | 色変換装置および色変換方法 | |
| KR910008454B1 (ko) | 변환 회로 | |
| KR960012599B1 (ko) | 디지탈 색 공간 변환 회로 | |
| JP2005020137A (ja) | 映像信号処理装置 | |
| JP3952804B2 (ja) | データ処理方法およびデータ処理装置 | |
| JP3494599B2 (ja) | カラーマトリクス変換装置 | |
| JP2658087B2 (ja) | カラー画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040419 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070315 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070410 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070510 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070619 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070723 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070911 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070924 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101012 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111012 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111012 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121012 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131012 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131012 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141012 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |