JP3905182B2 - 画像変換方法および装置 - Google Patents

画像変換方法および装置 Download PDF

Info

Publication number
JP3905182B2
JP3905182B2 JP17680997A JP17680997A JP3905182B2 JP 3905182 B2 JP3905182 B2 JP 3905182B2 JP 17680997 A JP17680997 A JP 17680997A JP 17680997 A JP17680997 A JP 17680997A JP 3905182 B2 JP3905182 B2 JP 3905182B2
Authority
JP
Japan
Prior art keywords
vertex
conversion
block
value
vertices
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP17680997A
Other languages
English (en)
Other versions
JPH1125266A (ja
Inventor
昌司 原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP17680997A priority Critical patent/JP3905182B2/ja
Priority to EP98112180A priority patent/EP0889439A3/en
Priority to US09/108,200 priority patent/US6094503A/en
Priority to US09/207,401 priority patent/US6185325B1/en
Publication of JPH1125266A publication Critical patent/JPH1125266A/ja
Application granted granted Critical
Publication of JP3905182B2 publication Critical patent/JP3905182B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、カラー画像の変換方法および装置に関し、特に詳しくは、一部の値(色)について予め演算を行って変換値を求めておき、その変換値を用いて補間演算を行うことにより任意の画素値の変換値を求める画像変換方法および装置に関するものである。
【0002】
【従来の技術】
従来、デジタル画像処理の1つとして色変換が行われている。例えば、カラー写真のデジタル処理では、プリント作成用に処理されたデジタル画像は、そのままモニタに表示すると必ずしも適切な色には見えないため、所定の変換式に基づく色変換を施してからモニタ表示するのが望ましいとされている。
【0003】
カラー画像の色変換は、各画素の画素値を、変換式に基づく演算を行うことにより文字どおり変換してもよいが、この方法は、関係式が複雑な場合には演算時間が長くなるという問題がある。このため、写真のデジタル処理のように高速処理を要求されているシステムでは、通常ダイレクトマッピング法と呼ばれる方法が用いられている。
【0004】
ダイレクトマッピング法は、一部の色について予め正確な演算を行って変換値を求め、求めた変換値をメモリに記憶しておき、実際に入力された値を変換するときには正確な演算は行わずに、予め求めておいた変換値を用いて補間演算を行って変換値を推定する方法である。具体的には、多次元色空間を複数のブロックに分割し、その各ブロックの各頂点座標について変換式に基づく正確な演算を行って変換値を求めておき、任意の点の変換値をこの頂点座標の変換値から補間して求めるというものである。
【0005】
補間演算を行うときには、まず入力された画素値を取り囲む8つの頂点を特定し、その8つの頂点の座標の変換値をメモリから読み出し、その画素値のブロック内での位置に基づいて8つの頂点に重み付けをして、各頂点の重みを表す係数とメモリから読み出した各変換値とを掛け合わせ、掛けた結果を足し合わせることにより補間値を得る。この補間演算は掛け算と足し算のみの単純な演算であるため、変換式に基づいて演算する場合に比べれば、高速な処理が可能となる。
【0006】
【発明が解決しようとする課題】
ここで、上記方法では1回の補間演算について8回の乗算と7回の加算(8個の値を足しあわせる)が必ず行われる。しかしながら、入力された画素値がブロックの面上や線上の点である場合には、その面や線を構成する頂点以外の頂点の重み係数は0となるため、実際には掛け算をする必要はない。
【0007】
また、この方法では画素値が入力される度に重み係数を求めているが、実際にはブロック内の相対位置が同じであれば重み係数もまた同じになるため、同じパターンについて何度も重み係数を求めていることになる。
【0008】
本発明は、ダイレクトマッピング法における上記のような無駄な処理をなくし、高速な変換処理を実現することを目的とするものである。
【0009】
【課題を解決するための手段】
本発明の画像変換方法は、カラー画像を構成する各画素の第1の画素値を、所定の変換式によって対応づけられる第2の画素値に置き換える際に用いられる方法で、多次元色空間を複数のブロックに分割し、該各ブロックの各頂点座標について前記変換式に基づく演算を行って変換値を求めておき、前記第1の画素値について該画素値のブロック内の位置に応じて定まる頂点ごとの重み係数と前記画素値を含むブロックの頂点座標の前記変換値とに基づく補間演算を行うことによって前記第2の画素値を求めるものであり、前記各頂点座標の変換値をブロックごとに記録した変換値テーブル、および0以外の重み係数を有する頂点と該頂点の重み係数とをブロック内の位置ごとに記録した係数テーブルを予めメモリに記憶しておき、前記変換値テーブルに記録された変換値と、前記係数テーブルに記録された頂点および重み係数とに基づいて、重み係数が0以外の頂点のみを用いて前記補間演算を行うことを特徴とするものである。
【0010】
前記画素値は(R,G,B)によって表される値である。また、多次元色空間は、R、G、Bを軸とする座標空間であり、画素値(色)を座標点として視覚的に表すものである。
【0011】
重み係数は、例えばある画素値が頂点aと頂点bの中間点に位置していれば、頂点aの重み係数も頂点bの重み係数も1/2であり、頂点aと頂点bを結ぶ線を1:2に分割する点(頂点a寄り)に位置していれば、頂点aの重み係数が2/3、頂点bの重み係数が1/3となる。すなわち、頂点の座標値とは無関係に、頂点との位置関係、すなわち画素値のブロック内の位置に応じて定まるものであるため、ブロックサイズが同じ場合には、いずれか1つのブロックについてのみそのブロックに含まれる全ての点について重み係数を求めれば、他のブロック内の画素値についてもその重み係数を適用することができる。
【0012】
また、本明細書において「ブロック内」とはブロックの境界線、境界面、頂点を含むものとする。
【0013】
したがって、「ブロック内の位置ごとに」記録した係数テーブルは、例えばブロックが8画素×8画素×8画素の立方体であれば、512個のデータからなるテーブルとなる。
【0014】
なお、ブロックのサイズについては特に限定しないが、サイズを大きくすればブロック内の点が増えるため係数テーブルが大きくなり、サイズを小さくすれば頂点の数が増えるため変換値を求めるために予め行う演算量が増える。したがって、メモリや演算量を考慮して適当な値を選択すればよい。
【0015】
また、係数テーブルに「0以外の重み係数を有する頂点」を記録する際には、例えば色空間の原点に最も近い頂点をaというように、相対位置ごとに名前をつけてその名前をテーブルに記録してもよいし、各頂点をブロックの一辺を1とした単位座標として(0,0,0)、(1,0,0)、(0,1,0)のように表して記録してもよい。
【0016】
さらには、1つのブロックの頂点を隣接する順に並べた頂点データ列を前記メモリに記憶しておき、前記0以外の重み係数を有する頂点を、該頂点の数と、前記頂点データ列の中の該頂点が連続して並ぶ部分を指し示すポインタとにより表す方法も好ましい。
【0017】
また、本発明の画像変換装置は、上記画像変換方法にしたがって、カラー画像を構成する各画素の第1の画素値を、所定の変換式によって対応づけられる第2の画素値に置き換える装置であり、複数のブロックに分割された多次元色空間の前記各ブロックの各頂点座標について前記変換式に基づく演算を行って変換値を求める変換手段と、該変換手段により求められた変換値を記憶する記憶手段と、前記第1の画素値について該画素値のブロック内の位置に応じて定まる頂点ごとの重み係数と前記画素値を含むブロックの頂点座標の変換値とに基づく補間演算を行うことによって前記第2の画素値を求める補間演算手段とを備えた画像変換装置において、前記記憶手段が、前記各頂点座標の変換値をブロックごとの変換値テーブルと、0以外の重み係数を有する頂点と該頂点の重み係数をブロック内の位置ごとに記録した係数テーブルを記憶し、前記補間演算手段が、前記記憶手段に記憶された前記変換値テーブルの変換値と、前記係数テーブルの頂点および重み係数とに基づいて、重み係数が0以外の頂点のみを用いて前記補間演算を行うものであることを特徴とするものである。
【0018】
また、この際、前記記憶手段が、1つのブロックの頂点を隣接する順に並べた頂点データ列をさらに記憶し、前記0以外の重み係数を有する頂点を、該頂点の数と、前記頂点データ列の中の該頂点が連続して並ぶ部分を指し示すポインタとの組み合わせとして記憶するようにしてもよい。
【0019】
【発明の効果】
本発明の画像変換方法および装置によれば、補間演算に必要な頂点とその頂点の重み係数が記録された係数テーブルを参照して補間演算を行うため、重み係数が0の頂点について無用な演算を繰り返すことがなく、また画素値が入力される度に重み係数を求める必要もなく、結果として高速な処理を実現することができる。この際、行う演算処理は単純な積和演算のみであるため、パイプライン処理にも適している。
【0020】
また、係数テーブルに重み係数が0以外の頂点を記録する際に、頂点そのものを記録するかわりに、補間演算に使用する頂点の数と頂点データ列の中のその頂点が連続して並ぶ部分を指し示すポインタとを記録するようにすれば、係数テーブルのデータサイズを小さくすることができ、より効率的にメモリを使用できる。
【0021】
【発明の実施の形態】
以下、本発明の一実施の形態について、図面を参照して詳細に説明する。図1は本発明の画像変換方法の概要を示す図である。
【0022】
この図に示されるように、本発明の方法は、変換値テーブル4と係数テーブル5を予め作成しておき、カラー画像7が入力された際にこれらのテーブルの値を参照して補間演算を行うことにより変換画像8を生成するものである。
【0023】
はじめに、変換値テーブル4の作成方法および内容について説明する。色空間1は、R、G、Bを軸とする3次元座標空間で、空間内の各座標点がそれぞれ1つの色を表している。フルカラー画像の場合、R、G、Bはそれぞれ0から255の範囲の値をとるので、色空間1の中には、色を表す点が2563=16777216個存在することになる。本実施の形態では、この色空間1を8×8×8のブロック2に分割し、各ブロック2の頂点座標についてのみ変換手段3により変換式に基づく正確な演算を行う。このとき、頂点の数は(256/8)3=32768個であるが、この程度の数であれば、変換式が多少複雑であってもコンピュータにより短時間で処理することができる。
【0024】
各頂点座標の変換値はブロックごとに1つのデータとしてテーブルに記述しておく。すなわち、表1に示すように、変換値テーブルの1つのデータは、ブロックを特定するためのブロックNoと8個の変換値(RGB座標値)の計9個の要素からなる。この際、例えば隣接するブロックの頂点は同じ座標であるため、同じ変換値を複数のデータの要素として重複して記憶することになるが、本発明の方法はメモリの使用効率よりも高速処理を優先するものであるため、テーブル参照時の効率を考慮してこのようなデータ構造としている。
【0025】
【表1】
Figure 0003905182
【0026】
次に、係数テーブル5の作成方法および内容について説明する。上述のように、本実施の形態では1ブロックのサイズは8×8×8であるため、ブロック内(境界を含む)には512個の座標点(色)が存在する。これら各色の変換値は、頂点座標の変換値を用いて補間演算を行うことにより求められるが、従来のダイレクトマッピング法では、補間演算に必要な重み係数を補間演算を行う度に求めていた。これに対し、本発明の方法では、この重み係数を予め係数テーブル5に記録しておくが、この際全ての頂点についての重み係数を記録するのではなく、補間演算に使用する重み係数のみを記録する。また、この重み係数はブロック内の位置によって定まるものであるため、1ブロックに含まれる座標点の数(512個)分だけデータを記憶しておけよい。表2に、係数テーブル5の一例を示す。
【0027】
【表2】
Figure 0003905182
【0028】
表2において、「パターン」は上記ブロック内の位置を識別するための番号である。「頂点数」は補間演算に用いられる頂点の数である。例えば、画素値が頂点座標に相当する場合には、1つの頂点の値のみで演算を行うことができ、同様にブロックの境界線上であれば2つ、境界面上であれば4つの頂点座標の変換値のみで補間を行うことができる。補間演算に必要な頂点の数が予めわかっていれば、その数の回数だけ演算を行った時点で処理を終了できるので、重み係数が0の場合に頂点座標の変換値を0倍するといった無駄な処理を省くことができる。
【0029】
ここで、頂点数が8個よりも少ない場合には、使用する頂点がどれであるかをテーブルに示しておかなければならない。本実施の形態では、隣接する頂点が連続して並ぶような順番で(一筆書きでなぞれる順番で)頂点を並べた頂点データ列を予め定義しておき、係数テーブル5には「スタート位置」として、このデータ列のうち、補間演算に使用する頂点が連続して並ぶ部分を指し示すポインタを記録する。但し、頂点データ列における「頂点」は、ブロック内において各頂点を区別するための相対的な値であるため、表2の例では、頂点を(0,0,0)、(1,0,0)のような単位座標により表している。
【0030】
以上、変換値テーブル4および係数テーブル5の作成方法および内容について説明したが、次にこのテーブルを参照することによる画素値を置き換える処理(補間演算手段6の処理)について説明する。
【0031】
カラー画像7が入力されると、補間演算手段6は各画素の画素値について以下の処理を施す。はじめにその画素値が色空間1において属するブロックのブロックNoを求め、変換値テーブル4からそのブロックNoのデータを検索し、そのブロックの頂点(入力された画素値を取り囲む頂点)の変換値を読み込む。
【0032】
次にその画素値のブロックの中での位置を求め、係数テーブル5からその位置のデータを検索し、頂点の数と、スタート位置と、重み係数を読み込む。次に、頂点データ列のスタート位置によって示された頂点の座標の変換値(変換値テーブル4から読み込んだもの)と、その頂点の重み係数(係数テーブル5から読み込んだもの)を乗じ、さらに頂点の数が2以上であれば頂点データ列のスタート位置の次の頂点の座標の変換値と、その頂点の重み係数を乗じ、頂点の数分だけ同じ処理を繰り返した後、全ての乗算結果を積算して、補間する画素値を求め、最後にカラー画像7の画素値を求めた画素値に置き換える。この処理を画素ごとに繰り返して、カラー画像7の変換画像8を得る。
【0033】
以上説明した実施の形態では、従来のダイレクトマッピング法の約1/3の処理時間で画像変換を行うことができ、実用上の効果は極めて大きい。
【0034】
なお、本実施の形態では色空間を立方体のブロックに分割したが、本発明はこれに限定されるものではなく、例えば三角柱、あるいは三角錐を1ブロックとしてもよい。
【図面の簡単な説明】
【図1】本発明の画像変換方法の概要を示す図
【符号の説明】
1 色空間
2 ブロック
7 カラー画像
8 変換画像

Claims (2)

  1. カラー画像を構成する各画素の第1の画素値を、所定の変換式によって対応づけられる第2の画素値に置き換える方法で、多次元色空間を複数のブロックに分割し、該各ブロックの各頂点座標について前記変換式に基づく演算を行って変換値を求めておき、前記第1の画素値について該画素値のブロック内の位置に応じて定まる頂点ごとの重み係数と前記画素値を含むブロックの頂点座標の前記変換値とに基づく補間演算を行うことによって前記第2の画素値を求める画像変換方法において、
    前記各頂点座標の変換値をブロックごとに記録した変換値テーブルと、1つのブロックの頂点を隣接する順に並べた頂点データ列と、0以外の重み係数を有する頂点の数、前記頂点データ列の中の前記0以外の重み係数を有する頂点が連続して並ぶ部分を指し示すポインタ、および前記0以外の重み係数を有する頂点の重み係数をブロック内の位置ごとに記録した係数テーブルを予めメモリに記憶しておき、
    前記変換値テーブルに記録された変換値と、前記係数テーブルの前記ポインタが指し示す頂点および該頂点の重み係数とに基づいて、重み係数が0以外の頂点のみを用いて前記補間演算を行うことを特徴とする画像変換方法。
  2. カラー画像を構成する各画素の第1の画素値を、所定の変換式によって対応づけられる第2の画素値に置き換える装置であって、複数のブロックに分割された多次元色空間の前記各ブロックの各頂点座標について前記変換式に基づく演算を行って変換値を求める変換手段と、該変換手段により求められた変換値を記憶する記憶手段と、前記第1の画素値について該画素値のブロック内の位置に応じて定まる頂点ごとの重み係数と前記画素値を含むブロックの頂点座標の前記変換値とに基づく補間演算を行うことによって前記第2の画素値を求める補間演算手段とを備えた画像変換装置において、
    前記記憶手段が、前記各頂点座標の変換値をブロックごとに記録した変換値テーブルと、1つのブロックの頂点を隣接する順に並べた頂点データ列と、0以外の重み係数を有する頂点の数、前記頂点データ列の中の前記0以外の重み係数を有する頂点が連続して並ぶ部分を指し示すポインタ、および前記0以外の重み係数を有する頂点の重み係数をブロック内の位置ごとに記録した係数テーブルとを記憶し、
    前記補間演算手段が、前記記憶手段に記憶された前記変換値テーブルの変換値と、前記係数テーブルの前記ポインタが指し示す頂点および該頂点の重み係数とに基づいて、重み係数が0以外の頂点のみを用いて前記補間演算を行うものであることを特徴とする画像変換装置。
JP17680997A 1997-07-02 1997-07-02 画像変換方法および装置 Expired - Fee Related JP3905182B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP17680997A JP3905182B2 (ja) 1997-07-02 1997-07-02 画像変換方法および装置
EP98112180A EP0889439A3 (en) 1997-07-02 1998-07-01 Image transforming method and apparatus
US09/108,200 US6094503A (en) 1997-07-02 1998-07-01 Image transforming method and apparatus
US09/207,401 US6185325B1 (en) 1997-07-02 1998-12-08 Image transforming method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP17680997A JP3905182B2 (ja) 1997-07-02 1997-07-02 画像変換方法および装置

Publications (2)

Publication Number Publication Date
JPH1125266A JPH1125266A (ja) 1999-01-29
JP3905182B2 true JP3905182B2 (ja) 2007-04-18

Family

ID=16020228

Family Applications (1)

Application Number Title Priority Date Filing Date
JP17680997A Expired - Fee Related JP3905182B2 (ja) 1997-07-02 1997-07-02 画像変換方法および装置

Country Status (3)

Country Link
US (1) US6094503A (ja)
EP (1) EP0889439A3 (ja)
JP (1) JP3905182B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6185325B1 (en) * 1997-07-02 2001-02-06 Fuji Photo Film Co., Ltd. Image transforming method and apparatus
JP4194174B2 (ja) 1999-05-24 2008-12-10 富士通株式会社 色変換装置、色変換方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
US7999812B2 (en) * 2006-08-15 2011-08-16 Nintendo Co, Ltd. Locality based morphing between less and more deformed models in a computer graphics system
GB2540981B (en) * 2015-08-03 2017-11-15 Advanced Risc Mach Ltd Graphics processing

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4477833A (en) * 1981-08-12 1984-10-16 R. R. Donnelley & Sons Company Method of color conversion with improved interpolation
US5321797A (en) * 1990-06-11 1994-06-14 Eastman Kodak Company Apparatus and method for performing coordinate transformation employing stored values and interpolation
US5432892A (en) * 1992-11-25 1995-07-11 International Business Machines Corporation Volummetric linear interpolation
US5323249A (en) * 1993-01-12 1994-06-21 E. I. Du Pont De Nemours And Company Method for reproducing color images having one color gamut with a device having a different color gamut
US5627950A (en) * 1994-09-16 1997-05-06 Apple Computer, Inc. Real-time three-dimensional color look-up table interactive editor system and method

Also Published As

Publication number Publication date
US6094503A (en) 2000-07-25
EP0889439A2 (en) 1999-01-07
EP0889439A3 (en) 2000-12-06
JPH1125266A (ja) 1999-01-29

Similar Documents

Publication Publication Date Title
US6496608B1 (en) Image data interpolation system and method
JP3466661B2 (ja) 画像処理装置及びその方法
EP1406213A1 (en) Information processor
JP2012104114A (ja) 二次元画像の透視変換
JP2634136B2 (ja) 算術装置
JP3905182B2 (ja) 画像変換方法および装置
JPH1049665A (ja) 画像処理装置および方法
JP2003348362A (ja) 色変換方法、色変換装置および色変換プログラム
US5748195A (en) Method and means for evaluating a tetrahedral linear interpolation function
US6185325B1 (en) Image transforming method and apparatus
JP3934802B2 (ja) 画像変換方法及び装置及び画像変換の手順を記録した記録媒体
JP3190545B2 (ja) 補間演算方法およびデータ変換装置
JPH10307911A (ja) 多次元補間方法及びその装置
JP3153002B2 (ja) 色変換方法、色変換テーブル作成方法、色変換装置および色変換テーブル作成装置
JPH0457570A (ja) 画像処理装置
JP2000022973A (ja) 変換装置およびその方法、並びに、記録媒体
JP2000187726A (ja) デ―タ補間方法および装置及び記憶媒体
US5821942A (en) Ray tracing through an ordered array
KR900002631B1 (ko) 화상데이터의 처리방법 및 장치
JP3446497B2 (ja) 色変換方法
JPH03229573A (ja) 色変換装置
JPS63239567A (ja) 画像処理方法及びその装置
JP3249956B2 (ja) 補間方法
JPH06100906B2 (ja) 文字処理方法
JP2519779B2 (ja) 3次元画像表示装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060913

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060926

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061127

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070111

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110119

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110119

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120119

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120119

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130119

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130119

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140119

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees