JP3140269B2 - Color space processing method - Google Patents

Color space processing method

Info

Publication number
JP3140269B2
JP3140269B2 JP05200803A JP20080393A JP3140269B2 JP 3140269 B2 JP3140269 B2 JP 3140269B2 JP 05200803 A JP05200803 A JP 05200803A JP 20080393 A JP20080393 A JP 20080393A JP 3140269 B2 JP3140269 B2 JP 3140269B2
Authority
JP
Japan
Prior art keywords
color
color space
image data
data
reference white
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP05200803A
Other languages
Japanese (ja)
Other versions
JPH0720585A (en
Inventor
彰人 大久保
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP05200803A priority Critical patent/JP3140269B2/en
Publication of JPH0720585A publication Critical patent/JPH0720585A/en
Application granted granted Critical
Publication of JP3140269B2 publication Critical patent/JP3140269B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【産業上の利用分野】本発明は、画像の色空間処理方法
に関し、特に画像を読み取り、読み取った画像情報を色
空間データに変換して画像の色処理を行う色空間処理方
法に関する。
The present invention relates to a color space processing method for an image, and more particularly to a color space processing method for reading an image, converting the read image information into color space data, and performing color processing on the image.

【0002】[0002]

【従来の技術】カラー写真プリントやカラーコピー、各
種印刷物の作成、あるいはカラー画像をディスプレー上
に表示したりする場合に、グレーバランスをとったり、
色の濃度や輝度を調整するなどして画像や画面を所望の
色バランスに調整することが行われている。
2. Description of the Related Art When making color photographic prints, color copies, various prints, or displaying a color image on a display, a gray balance can be obtained.
2. Description of the Related Art Adjusting an image or a screen to a desired color balance by adjusting a color density or a luminance is performed.

【0003】例えば、カラー写真プリントやカラーコピ
ーの作成においては、作成された写真プリントやコピー
が全体的に赤味掛かっている場合には、赤色を吸収する
色フィルタを介在させて再度プリントを行っている。ま
た、カラー画像をディスプレー上に表示する場合には、
画面全体が赤味掛かっている場合には、赤(R)、緑
(G)、青(B)の3原色に対応する3本の電子銃のう
ち赤の蛍光体を励起する電子銃の出力を他に比べて小さ
くすることにより、全体の色バランスを調整することが
できる。
[0003] For example, in the production of a color photographic print or color copy, if the produced photographic print or copy has a reddish tint as a whole, it is printed again through a color filter absorbing red. ing. Also, when displaying a color image on the display,
When the entire screen is reddish, the output of the electron gun that excites the red phosphor among the three electron guns corresponding to the three primary colors of red (R), green (G), and blue (B) Is smaller than the others, it is possible to adjust the overall color balance.

【0004】しかし、これらの色処理方法は、色の濃度
や輝度等の色処理のための操作量を前記3原色に対応す
る3本の特性曲線を調整することにより行われるため、
カラー写真プリントやカラーコピーの場合には熟練され
た勘や経験を基に試行錯誤を行ったり、カラー画像をデ
ィスプレイ上に表示する場合には複雑な制御回路が必要
となる。
However, these color processing methods are performed by adjusting an operation amount for color processing such as color density and luminance by adjusting three characteristic curves corresponding to the three primary colors.
In the case of color photographic printing and color copying, trial and error is performed based on skilled intuition and experience, and when a color image is displayed on a display, a complicated control circuit is required.

【0005】そこで近年、上記のような機械的、電気的
な操作による色処理方法に代わり、画像を構成する画素
が有する色情報を数値化して、色空間と呼ばれる座標系
に変換し、この色空間内で数学的な演算を行い、演算結
果を元の画素に還元して画像の色調整を行う色処理方法
(以下、色空間処理と呼ぶ。)が提案されている。この
色空間処理方法は、物体を測光して、その物体が有する
色(物体色)を色度(彩度、色相)及び明度から構成さ
れる数値データ(座標)で表現し、この数値データを色
度及び明度からなる座標系(色空間)で演算することに
より、元の物体色を変えて再生する方法である。
In recent years, instead of the above-described color processing method using mechanical and electrical operations, color information of pixels forming an image is converted into a numerical value and converted into a coordinate system called a color space. A color processing method (hereinafter, referred to as color space processing) has been proposed in which a mathematical operation is performed in a space, and the operation result is reduced to the original pixels to adjust the color of an image. In this color space processing method, an object is measured, and the color (object color) of the object is expressed by numerical data (coordinates) composed of chromaticity (saturation, hue) and lightness, and this numerical data is This is a method in which the original object color is changed and reproduced by calculating in a coordinate system (color space) consisting of chromaticity and lightness.

【0006】具体的には、図3に示される一連のプロセ
スから構成され、写真フィルムや印刷物等の原稿10を
スキャナーやTVカメラ等の入力手段20で読み取り、
原稿10の画像を構成する画素毎の色データ(各色光の
光量や輝度等)を求め、この色データを処理系30で適
当な演算を行った後、演算結果をプリンター40に出力
してプリント50を作成したり、CRT70に表示する
ものである。
More specifically, the system comprises a series of processes shown in FIG. 3, in which an original 10 such as a photographic film or a printed matter is read by an input means 20 such as a scanner or a TV camera.
The color data (light quantity, luminance, etc. of each color light) for each pixel constituting the image of the document 10 is obtained, and the color data is subjected to an appropriate calculation by the processing system 30, and the calculation result is output to the printer 40 for printing. 50 is created or displayed on the CRT 70.

【0007】入力手段20により読み取られた画像デー
タは、スキャナーやTVカメラ等の光学系で読み取られ
たデータ(以下、光学データと呼ぶ。)であるため、こ
れを直接色空間で扱うことはできない。そこで、処理系
30では、先ず光学データを色空間での処理に適したデ
ータ、例えば国際照明委員会(CIE)が規定するCI
EXYZ表色系の画像データ(XYZ)に変換する。
The image data read by the input means 20 is data read by an optical system such as a scanner or a TV camera (hereinafter referred to as optical data), and cannot be directly handled in a color space. . Therefore, the processing system 30 first converts the optical data into data suitable for processing in a color space, for example, a CI defined by the International Commission on Illumination (CIE).
The image data is converted into image data (XYZ) of the EXYZ color system.

【0008】色空間処理は、この画像データ(XYZ)
を基準白色(W0)を基準とする均等色空間、例えばC
IEL* * * 均等色空間に射影して色空間データ
(L11 1 )に変換(以下、順変換と称する。)し
た後、修正したい色を指定し、その色の持つ色空間デー
タと処理後の色空間データとの差分に応じて座標成分
(L)、(a)、(b)の各値を増減することにより行
われる。
In the color space processing, the image data (XYZ)
Is a uniform color space based on the reference white (W0), for example, C
IEL * a * b * converting the projection to the color space data (L 1 a 1 b 1) in the uniform color space (hereinafter, referred to as forward conversion.), And then specify the color to be corrected, the color possessed by the color This is performed by increasing or decreasing each value of the coordinate components (L), (a), and (b) according to the difference between the space data and the processed color space data.

【0009】このようにして得られた新たな色空間デー
タ(L2 2 2 )を、再び基準白色(W0)を用いて
XYZ表色系の画像データ(X’Y’Z’)に変換し直
し(以下、逆変換と称する。)、出力画像データ(色材
濃度、網点%値、露光量、CRT電圧データ等)に出力
変換を行いプリンター40やCRT70に出力すること
により、色空間処理されたプリント50を作成したり、
色空間処理された画像を画面上に表示したりすることが
できる。
The new color space data (L 2 a 2 b 2 ) thus obtained is converted into XYZ color system image data (X′Y′Z ′) again using the reference white (W0). Conversion (hereinafter referred to as inverse conversion), output conversion to output image data (color material density, dot% value, exposure amount, CRT voltage data, etc.), and output to the printer 40 or CRT 70, To create a spatially processed print 50,
For example, an image subjected to color space processing can be displayed on a screen.

【0010】色空間処理における一連の工程は、処理系
30に接続するCRT(モニター)60に表示される原
稿10の画像を見ながら、色空間データを構成する座標
成分の各値の増減量を調整して行われる。前記座標成分
はそれぞれ独立して、しかも連続して可変できるため、
原稿の画像を所望の色バランスに修正することができ
る。
In a series of steps in the color space processing, the amount of increase or decrease of each value of the coordinate components constituting the color space data is determined while viewing the image of the original 10 displayed on the CRT (monitor) 60 connected to the processing system 30. Adjusted and done. Since the coordinate components can be changed independently and continuously,
The image of the document can be corrected to a desired color balance.

【0011】[0011]

【発明が解決しようとする課題】従来の色空間処理方法
は、順変換時と逆変換時とで同一の基準白色(W0)を
基準として変換を行う方式であるため、実質的な色の修
正は、修正が行われる色の処理前の色空間データ(L1
1 1 )と処理後の色空間データ(L2 2 2 )と
の差分(ΔLΔaΔb)だけ、座標成分(L)、
(a)、(b)を増減させることにより行われる。
A conventional color space processing method
Is the same reference white (W0) for forward conversion and reverse conversion.
Since the conversion is performed as a reference, substantial color correction is required.
Positive is the color space data (L1
a1b1) And the processed color space data (LTwoaTwob Two)When
The coordinate component (L) by the difference (ΔLΔaΔb)
This is performed by increasing or decreasing (a) and (b).

【0012】しかし、この座標成分の増減は、修正され
る色度を有する画素以外の画素に関しても同等の作用を
及ぼすため、画像を構成する全画素が前記差分(ΔLΔ
aΔb)だけ均等色空間内を平行移動することになる。
その結果、本来は前記差分量以上に修正する必要のある
画素は修正不足となり、一方前記差分量ほど修正が必要
のない画素は修正過度になるため、画像全体として不自
然な色合いとなる。
However, the increase / decrease of the coordinate component has the same effect on the pixels other than the pixel having the chromaticity to be corrected, so that all the pixels constituting the image have the difference (ΔLΔ
a.DELTA.b) is translated in the uniform color space.
As a result, pixels that need to be corrected more than the difference amount are insufficiently corrected, while pixels that do not need to be corrected as much as the difference amount are excessively corrected, resulting in an unnatural color tone of the entire image.

【0013】この全画素の平行移動を無くするために
は、画素毎あるいは色毎に上記一連の変換を繰り返し行
い、丁度良い色合いの画像を見つけ出す必要があるが、
実際上は不可能である。そこで本発明は、上記事情に鑑
みて成されたもので、処理後の画像が不自然な色合いと
なることのない色空間処理方法を提供することを目的と
する。
In order to eliminate the parallel movement of all the pixels, it is necessary to repeat the above-described series of conversions for each pixel or each color to find an image having a good hue.
In practice it is impossible. Accordingly, the present invention has been made in view of the above circumstances, and has as its object to provide a color space processing method in which a processed image does not have an unnatural color.

【0014】[0014]

【課題を解決するための手段】前記目的を達成するため
に本発明は、画像データを基準白色を基準とする色空間
内で処理を行う色空間処理方法において、前記画像デー
タを、処理後の色を無彩色にしたい色の色度を基準白色
として色空間データに変換した後、非自己発光型出力媒
体を観察する際に照射する光源の色温度に対応した色度
を基準白色として出力画像データに変換し直し、前記非
自己発光型出力媒体に出力する構成とした。
In order to achieve the above object, the present invention provides a color space processing method for processing image data in a color space based on a reference white. After converting the chromaticity of the color to be achromatic to the color space data as the reference white, the non-self-luminous output medium
Chromaticity corresponding to the color temperature of the light source used to observe the body
Is converted to the output image data as the reference white,
The output is made to a self-luminous output medium.

【0015】[0015]

【0016】また、同様の目的を達成するために本発明
は、画像データを基準白色を基準とする色空間内で処理
を行う色空間処理方法において、前記画像データを、処
理後の色を無彩色にしたい色の色度を基準白色として色
空間データに変換した後、観察光源が照射された非自己
発光型出力媒体上の無彩色の色度を基準白色として出力
画像データに変換し直し、前記非自己発光型出力媒体に
出力する構成とした。
According to another aspect of the present invention, there is provided a color space processing method for processing image data in a color space based on a reference white color. After converting the chromaticity of the color to be colored into color space data as the reference white, the chromaticity of the achromatic color on the non-self-luminous output medium irradiated with the observation light source is converted back to the output image data as the reference white, The output is made to the non-self-luminous output medium.

【0017】更に、同様の目的を達成するために本発明
は、画像データを基準白色を基準とする色空間内で処理
を行う色空間処理方法において、前記画像データを、処
理後の色を無彩色にしたい色の色度を基準白色として色
空間データに変換した後、自己発光型出力媒体の色温度
に対応した色度を基準白色として出力画像データに変換
し直し、前記自己発光型出力媒体に出力する構成とし
た。
Further, in order to achieve the same object, the present invention relates to a color space processing method for processing image data in a color space based on a reference white color, wherein the image data is processed in a colorless manner. After converting the chromaticity of the color to be colored into color space data as reference white, the chromaticity corresponding to the color temperature of the self-luminous output medium is converted back to output image data as reference white, and the self-luminous output medium is converted. Output.

【0018】本発明に係る前記手段によれば、画像デー
タを色空間データに変換する時の画素毎の色の変化量
と、色空間データから出力画像データに変換し直す場合
の画素毎の色の変化量とが異なるために、従来のように
全ての画素の色が一様に変化する場合に比べて、処理後
の画像が不自然な色合いとなることなく色処理を行うこ
とができる。
According to the means of the present invention, the amount of change in color for each pixel when converting image data to color space data, and the amount of color for each pixel when converting color space data back to output image data , The color processing can be performed without causing the processed image to have an unnatural tint, as compared with the conventional case where the colors of all pixels change uniformly.

【0019】以下に、本発明に係る色処理方法に関し
て、図1並びに図2を参照して説明する。図1に示され
るように、本発明に係る色処理方法は、色処理の対象と
なる原稿10をスキャナーやTVカメラ等の入力手段2
0で読み取り、原稿10の画像を構成する画素毎の光学
データを求め、この光学データを処理系30で適当な演
算処理を施した後、演算結果をプリンター40に出力し
てプリント50を作成したり、CRT70上に画像を表
示する一連の工程から構成される。また、処理系30で
の演算における各種操作は、CRT(モニター)60上
に表示される原稿10の画像を見ながら行われる。原稿
10は、写真ネガフィルムやリバーサルフィルム、ある
いは各種印刷物等を対象とすることができる。尚、写真
ネガフイルムの場合、画像の情報量が多く、画質が良く
なるという利点がある。
The color processing method according to the present invention will be described below with reference to FIGS. As shown in FIG. 1, in a color processing method according to the present invention, an original 10 to be subjected to color processing is input to an input unit 2 such as a scanner or a TV camera.
0, the optical data of each pixel constituting the image of the document 10 is obtained, the optical data is subjected to an appropriate arithmetic processing by the processing system 30, and the arithmetic result is output to the printer 40 to create a print 50. And a series of steps for displaying an image on the CRT 70. Various operations in the calculation in the processing system 30 are performed while viewing the image of the document 10 displayed on the CRT (monitor) 60. The document 10 can be a photographic negative film, a reversal film, or various printed materials. In addition, the photograph
In the case of a negative film, the amount of information of the image is large and the image quality is good.
There is an advantage that it becomes.

【0020】入力手段20は、処理対象物体の画像を系
内に取り込むためのものであり、例えば印刷用カラース
キャナーを使用することができる。また、TVカメラや
スティルカメラ、CCDカメラ等の撮像装置を用いて処
理対象物体を撮影し、その映像信号を画像データとして
取り込むことも可能である。この入力手段20の測光
値,あるいは撮像装置からの映像信号は、いずれも処理
対象の物体色を光学的に読み取った光学データであり、
赤(R)、緑(G)、青(B)の3原色の混合割合を示
す混色データである。この光学データは、後述される均
等色空間内で直接取り扱うことができないため、均等色
空間での取り扱いに適したデータに変換する必要があ
る。
The input means 20 is for taking an image of the object to be processed into the system, and may use, for example, a color scanner for printing. Further, it is also possible to photograph an object to be processed by using an imaging device such as a TV camera, a still camera, a CCD camera or the like, and take in a video signal as image data. Both the photometric value of the input means 20 and the video signal from the imaging device are optical data obtained by optically reading an object color to be processed.
This is mixed color data indicating the mixing ratio of the three primary colors of red (R), green (G), and blue (B). Since this optical data cannot be directly handled in a uniform color space described later, it is necessary to convert the optical data into data suitable for handling in a uniform color space.

【0021】そこで、処理系30では、光学データを国
際照明委員会(CIE)が規定するCIEXYZ表色系
の画像データ(XYZ)に変換する。この画像データ
(XYZ)は、前記RGBに対応する原刺激(X)、
(Y)、(Z)で表されるもので、この時の変換は、例
えば前記RGBをCIEの規定するRGB表色系の等色
関数を用いて読み取った場合には、下記変換式(1)を
用いて行われる。
Therefore, the processing system 30 converts the optical data into image data (XYZ) of the CIEXYZ color system specified by the International Commission on Illumination (CIE). The image data (XYZ) includes the original stimulus (X) corresponding to the RGB,
The conversion at this time is, for example, when the RGB is read using a color matching function of an RGB color system defined by CIE, the following conversion formula (1) is used. ).

【0022】[0022]

【数1】 (Equation 1)

【0023】また、入力手段20がTVカメラの場合に
は、例えばNTSC方式のTVの場合には下記変換式
(2)を用いて同様の変換を行う。
When the input means 20 is a TV camera, for example, in the case of an NTSC TV, the same conversion is performed using the following conversion equation (2).

【0024】[0024]

【数2】 (Equation 2)

【0025】尚、上記等色関数を実現できない場合は、
その系毎に上記変換式を別途定める必要がある。次い
で、この変換された画像データ(XYZ)の中で、処理
後の色を無彩色にしたい色を設定し、これを基準白色
(W01)とする均等色空間、例えばCIEL* *
* 均等色空間に画像データ(XYZ)を順変換する。
尚、基準白色(W01)の設定にあたり、処理後の色を
灰色にしたい色を複数採集し、その平均値を基準白色と
することも可能である。
If the above color matching function cannot be realized,
It is necessary to determine the above conversion formula separately for each system. Next, in the converted image data (XYZ), a color in which the color after processing is set to be achromatic is set, and this is set as a reference white (W01) in a uniform color space, for example, CIEL * a * b.
* Forward conversion of image data (XYZ) to uniform color space.
In setting the reference white (W01), it is also possible to collect a plurality of colors for which the color after processing is desired to be gray, and use the average value as the reference white.

【0026】基準白色(W01)の設定及び入力方法
は、CRT(モニター)60上に表示される原稿10の
画像を見ながら、ライトペンやマウスにより目的とする
色を画像上で指定することにより行われる。また、CR
T(モニター)60の同一画面上に、カラーサークル等
の色相を並べたカラー画像を原稿10の画像と共に表示
し、目的とする色に対応する色をカラーサークルから選
出して、その色をライトペンやマウスで指定することも
可能である。あるいは、目的とする色を画面上で指定し
た際に、指定した色が数値で表示されるようにしてお
き、キーボード(図示省略)からその数値を入力するこ
とも可能である。
The method of setting and inputting the reference white (W01) is as follows: while viewing the image of the document 10 displayed on the CRT (monitor) 60, the user designates a desired color on the image using a light pen or a mouse. Done. Also, CR
On the same screen of the T (monitor) 60, a color image in which hues such as color circles are arranged is displayed together with the image of the document 10, a color corresponding to a target color is selected from the color circle, and the color is written. It is also possible to specify with a pen or a mouse. Alternatively, when a target color is specified on the screen, the specified color may be displayed as a numerical value, and the numerical value may be input from a keyboard (not shown).

【0027】この順変換は、例えば下記変換式(3)を
用いて行われる。
This forward conversion is performed using, for example, the following conversion formula (3).

【0028】[0028]

【数3】 (Equation 3)

【0029】この順変換により、画像データ(XYZ)
は色空間データ(L* * * )となり、均等色空間内
での処理に適したものとなる。均等色空間はCIEL*
* * 均等色空間の他にも、CIEL* * * 均等
色空間やL* * * 均等色空間、アピアランスモデル
に基づく色空間等、基準白色を基準とする色空間全てを
選択することができる。これらの均等色空間を選択する
場合は、上記変換式(3)をそれぞれの均等色空間に対
応させて適宜変更して順変換を行う。
By this forward conversion, the image data (XYZ)
Is color space data (L * a * b * ), which is suitable for processing in a uniform color space. Uniform color space is CIEL *
In addition to the a * b * uniform color space, all color spaces based on the reference white, such as the CIEL * u * v * uniform color space, the L * C * H * uniform color space, and the color space based on the appearance model, are used. You can choose. When these uniform color spaces are selected, forward conversion is performed by appropriately changing the above-mentioned conversion formula (3) so as to correspond to each uniform color space.

【0030】次に、順変換により得られた色空間データ
(L* * * )を、今度は出力対象上の無彩色の色度
を基準白色(W02)として、順変換前の表色系(この
場合はCIEXYZ表色系)の画像データに逆変換す
る。ここでいう無彩色の色度とは、出力媒体が表現する
色のうち観察者が無彩色と認識した色の色度を意味し、
また無彩色の選択に当たっては無彩色と認識された色の
中で最も明度の高い色、即ち通常白色と認識される色を
選択することが望ましい。
Next, the color space data (L * a * b * ) obtained by the forward conversion is used as the reference color (W02), with the chromaticity of the achromatic color on the output object as the reference white (W02). The image data is inversely converted into image data of a system (in this case, the CIEXYZ color system). Here, the chromaticity of the achromatic color means the chromaticity of the color that the observer recognizes as an achromatic color among the colors expressed by the output medium,
In selecting an achromatic color, it is desirable to select a color having the highest lightness among colors recognized as an achromatic color, that is, a color which is generally recognized as white.

【0031】この無彩色の色度は、前記出力対象が写真
プリント用感材や電子写真用用紙等で代表される非自己
発光型出力媒体の場合には、観察光を照射した際に非自
己発光型出力媒体から反射される光の色温度に対応する
色度である。例えば、写真プリント用感材の場合には、
未露光の状態で現像処理して得た写真プリントを観察光
の下でスキャナーで走査して得られた値を無彩色の色度
として採用することができる。あるいは、観察光源から
発せられる光の色温度に対応する色度を無彩色の色度と
して採用することもできる。
When the output target is a non-self-luminous output medium represented by a photographic material for photographic printing or electrophotographic paper, the chromaticity of the achromatic color becomes non-self-luminous when the observation light is irradiated. The chromaticity corresponds to the color temperature of the light reflected from the luminous output medium. For example, in the case of photographic materials for photo printing,
A value obtained by scanning a photographic print obtained by development processing in an unexposed state with a scanner under observation light can be adopted as achromatic chromaticity. Alternatively, the chromaticity corresponding to the color temperature of the light emitted from the observation light source can be adopted as the achromatic chromaticity.

【0032】一方、前記出力対象がCRT等で代表され
る自己発光型出力媒体の場合には、無彩色の色度は、自
己発光型出力媒体が発する光のうち白色光の色温度、例
えばCRTの例ではCRT画面に表示された映像の中
で、観測者が白色と認識する画素の色温度に対応する色
度である。好適には、CRTの白バランスを取る時に使
用される光の色温度に対応する色度を採用することがで
きる。
On the other hand, when the output target is a self-luminous output medium represented by a CRT or the like, the chromaticity of the achromatic color is determined by the color temperature of white light among the light emitted from the self-luminous output medium, for example, the CRT. Is the chromaticity corresponding to the color temperature of the pixel recognized by the observer as white in the image displayed on the CRT screen. Preferably, a chromaticity corresponding to the color temperature of light used when obtaining the white balance of the CRT can be adopted.

【0033】尚、上記色温度に対応する色度値は、既存
の色温度−色度対照表から容易に求めることができる。
これら無彩色の色度は、逆変換時の基準白色(W02)
として処理系30に入力される。この逆変換は、下記変
換式(4)により行われる。
The chromaticity value corresponding to the above color temperature can be easily obtained from an existing color temperature-chromaticity comparison table.
The chromaticity of these achromatic colors is based on the reference white (W02) at the time of inverse conversion.
Is input to the processing system 30. This inverse conversion is performed by the following conversion formula (4).

【0034】[0034]

【数4】 (Equation 4)

【0035】以上の順変換及び逆変換により、原稿10
の画像は、順変換時に基準白色として指定した色が無彩
色に変化するとともに、その他の色は順変換時の基準白
色との差分及び逆変換時の基準白色との差分に応じて変
化する。このように、本発明に係る色空間処理方法で
は、ある一つの画素あるいは色を指定して、それに対応
した色空間処理を行った場合でも他の画素の色の変化量
が一様では無い。そのため、指定した画素あるいは色の
色空間処理に伴い一部の画素や色が大きく変化したとし
ても、従来のように全画素の色が変化する場合に比べる
と画像全体に及ぶ影響は小さいため、処理後の画像の色
合いが不自然になることが抑えられる。
By the above-described forward conversion and inverse conversion, the original 10
In the image, the color designated as the reference white at the time of forward conversion changes to an achromatic color, and the other colors change according to the difference from the reference white at the time of forward conversion and the difference from the reference white at the time of inverse conversion. As described above, in the color space processing method according to the present invention, even when a certain pixel or color is specified and the corresponding color space processing is performed, the color change amounts of the other pixels are not uniform. Therefore, even if some pixels and colors change greatly due to the color space processing of the designated pixel or color, the effect on the entire image is small compared to the conventional case where the color of all pixels changes, Unnatural color tone of the processed image is suppressed.

【0036】以上の色空間処理により、原稿10の画像
データ(XYZ)は新たな画像データ(X’Y’Z’)
となり、プリンター40あるいはCRT70に出力され
る。この時、プリンター40やCRT70への出力は、
画像データ(X’Y’Z’)を実現するように画像デー
タを出力データに変換して行われる。プリンター40
は、公知の写真プリンターの他、カラー複写機や各種印
刷機器を使用することが可能であり、それぞれに対応し
たプリント50が得られる。
By the above-described color space processing, the image data (XYZ) of the original 10 becomes new image data (X'Y'Z ').
Is output to the printer 40 or the CRT 70. At this time, the output to the printer 40 or the CRT 70 is
The conversion is performed by converting the image data into output data so as to realize the image data (X′Y′Z ′). Printer 40
In addition to known photo printers, color copiers and various printing devices can be used, and prints 50 corresponding to each can be obtained.

【0037】尚、実際の色空間処理においては一度の順
変換及び逆変換により所望の画像が得られない場合があ
る。その場合、逆変換後の画像データ(X’Y’Z’)
をCRT70に表示して色空間処理後の画像を観察しな
がら所望の画像が得られるまで順変換時の基準白色(W
01)を設定し直し、前記一連の変換を行うことにより
画像調整を行うことが可能である。
Incidentally, in actual color space processing, a desired image may not be obtained by one forward conversion and one inverse conversion. In that case, the image data after the inverse conversion (X'Y'Z ')
Is displayed on the CRT 70, and while observing the image after the color space processing, the reference white (W
01) is reset, and image adjustment can be performed by performing the series of conversions.

【0038】図2は、図1における原稿10としてカラ
ーリバーサルフィルムを用い、写真プリント50を作成
する場合の色空間処理方法を説明するフローシートであ
る。色空間処理は、先ず、カラーリバーサルフィルム1
5を公知のカラースキャナー25で読み取り、その画像
データを処理系30に入力する。この時の画像データ
は、図1における説明では光学データRGBであった
が、ここでは画像の色素濃度、例えばCMY色素濃度デ
ータ26を求め、これを画像データとして処理系30に
入力する。
FIG. 2 is a flow sheet for explaining a color space processing method when a photographic print 50 is created using a color reversal film as the document 10 in FIG. First, the color space processing is performed using the color reversal film 1
5 is read by a known color scanner 25, and the image data is input to a processing system 30. The image data at this time is optical data RGB in the description of FIG. 1, but here, the dye density of the image, for example, CMY dye density data 26 is obtained and input to the processing system 30 as image data.

【0039】処理系30では、先ず前記CMY色素濃度
データ26をCIEXYZ表色系の画像データ(XY
Z)に変換する。この変換は、例えば「 N. Ohta , Pho
togra-phic Science and Engineering , pp. 487 - 494
, vol. 15 , no. 6 (1971) 」に記載された方法により
行われる。次いで、この変換された画像データ(XY
Z)の中で、処理後の色を無彩色にしたい色を設定し、
これを基準白色(W01)として画像データ(XYZ)
をCIEL* * * 均等色空間に順変換する。この時
の基準白色(W01)の設定及び入力方法は、図1にお
ける説明と同様の方法で行うことができ、スキャナー2
5で読み取った画像データ(XYZ)をCRT発光輝度
データ27に変換してフィルム15の画像をCRT70
に表示し、目的とする色や画素をライトペンやマウスに
よりCRT70の画面上で指定することにより行われ
る。この順変換は前記変換式(3)を用いて行われ、画
像データ(XYZ)は色空間データ(L** * )と
なり均等色空間内での処理に適したものとなる。
In the processing system 30, first, the CMY dye density data 26 is converted into CIEXYZ color image data (XY
Z). This conversion is, for example, "N. Ohta, Pho
togra-phic Science and Engineering, pp. 487-494
, vol. 15, no. 6 (1971) ". Next, the converted image data (XY
In Z), set the color that you want to make the processed color achromatic,
Using this as a reference white (W01), image data (XYZ)
To a CIEL * a * b * uniform color space. The setting and input method of the reference white (W01) at this time can be performed in the same manner as described in FIG.
The image data (XYZ) read at 5 is converted into CRT light emission luminance data 27, and the image on the film 15 is converted to CRT 70.
This is performed by designating a target color or pixel on the screen of the CRT 70 with a light pen or a mouse. This forward conversion is performed using the conversion formula (3), and the image data (XYZ) becomes color space data (L * a * b * ), which is suitable for processing in a uniform color space.

【0040】次に、順変換により得られた色空間データ
(L* * * )を、写真プリント用感材上の無彩色の
色度を基準白色(W02)として逆変換を行う。この逆
変換時の基準白色(W02)は、図1における説明と同
様の方法で設定され、処理系30に入力される。ここ
で、色空間データ(L* * * )を逆変換して処理系
30から出力する方法としては、色空間データ(L*
* * )を前記変換式(4)を用いてCIEXYZ系の
画像データ(X’Y’Z’)に変換した後CMY色素濃
度データに変換して出力しても良いし(符号(1))、
あるいは色空間データ(L* * * )とCMY色素濃
度データとの相関を示すLUT(ルック・アップ・テー
ブル)を作成しておき、このLUTを基にして直接CM
Y色素濃度データとして出力(符号(2))することも
できる。
Next, the color space data obtained by the forward conversion
(L*a*b*) To the achromatic color
The inverse conversion is performed using the chromaticity as the reference white (W02). The opposite
The reference white (W02) at the time of conversion is the same as the description in FIG.
Is set in the same manner as described above and is input to the processing system 30. here
And the color space data (L*a*b*) Is the inverse transformation
As an output method from the color space data (L*a
*b*) Is converted to a CIEXYZ system using the conversion formula (4).
CMY dye density after conversion to image data (X'Y'Z ')
May be converted to data and output (code (1)),
Alternatively, color space data (L*a*b *) And CMY dye concentration
LUT (Look Up Table)
) Is created, and the CM is directly created based on this LUT.
Output as Y dye density data (code (2))
it can.

【0041】尚、符号(1)において画像データ(X’
Y’Z’)からCMY色素濃度データに変換する方法と
しては、例えば「N. Ohta , Journal of The Optical S
oci-ety of America , vol. 62 , no. 1 , pp. 129 - 1
36 (1972) 」に記載された方法を用いて行うことができ
る。また、符号(2)の方法としては、例えば特開昭6
3−254863、特開昭63−254864及び特開
昭63−254887各号公報に記載された方法を用い
ることができる。
Note that the image data (X '
Y'Z ') can be converted to CMY dye density data by, for example, "N. Ohta, Journal of The Optical S".
oci-ety of America, vol. 62, no. 1, pp. 129-1
36 (1972) ". As the method of code (2), for example,
The methods described in JP-A-3-254863, JP-A-63-254864 and JP-A-63-254887 can be used.

【0042】以上のようにして逆変換されて処理系30
から出力された出力画像データ31に基づいて各色の露
光量32が調整され、この露光条件を基に写真プリント
50を作成する。また、図1における説明と同様に色空
間処理された画像をCRT70に表示することも可能で
ある。更に、色空間処理後の画像をCRT70で観察し
ながら順変換時の基準白色(W01)を設定し直し、前
記一連の変換を繰り返し行うことにより所望の画像を得
ることも可能である。
The processing system 30 is inversely transformed as described above.
The exposure amount 32 of each color is adjusted based on the output image data 31 output from the printer, and a photographic print 50 is created based on the exposure conditions. In addition, an image subjected to color space processing as described in FIG. 1 can be displayed on the CRT 70. Furthermore, a desired image can be obtained by resetting the reference white (W01) at the time of forward conversion while observing the image after color space processing on the CRT 70, and repeating the series of conversions.

【0043】[0043]

【実施例1】以下、添付図面を参照して本発明の一実施
例を説明する。ただし本発明は本実施例のみに限定され
ない。タングステン光の下で撮影し、現像処理を行った
カラー写真フィルム(富士写真フィルム社製:HG40
0)の画像を、感材(富士写真フィルム社製:SUPE
R FAV)上に露光焼き付けを行い、写真プリントを
作成した。作成写真プリントは、全体的にオレンジ掛か
っていた。
Embodiment 1 An embodiment of the present invention will be described below with reference to the accompanying drawings. However, the present invention is not limited to only this embodiment. Color photographic film taken under tungsten light and developed (Fuji Photo Film Co., Ltd .: HG40
0) as a light-sensitive material (Fuji Photo Film: SUPE
(RFAV) was exposed and printed to produce a photographic print. The created photo print was orange on the whole.

【0044】そこで、この作成写真プリントをカラース
キャナー(大日本スクリーン社製:SG1000)で走
査してCMYの三色の色濃度の画像データを得るととも
に、そのプリント画像をモニター上に表示した。モニタ
ー上の画像の無彩色にしたい5点についてマウスでクリ
ックし、それらの平均色度〔(x,y)=(0.45,
0.41)〕を基準白色としてCIEL* * * 均等
色空間に順変換した。
The photographic print was scanned by a color scanner (SG1000, manufactured by Dainippon Screen Co., Ltd.) to obtain image data of three color densities of CMY, and the printed image was displayed on a monitor. The mouse is clicked on five points of the image on the monitor to be made achromatic, and their average chromaticity [(x, y) = (0.45,
0.41)] was used as a reference white color and forward-transformed to CIEL * a * b * uniform color space.

【0045】その後、得られた色空間データを上記感材
(富士写真フィルム社製:SUPER FAV)を昼光
光源の色温度(D65)に対応する色度〔(x,y)=
(0.31,0.33)〕を基準白色として逆変換し、
そのデータから各色度に対応する色素量を求め、それに
基づいて再度写真プリントを作成した。得られた写真プ
リントは、オレンジみが調整されて自然な色合いの画質
であった。
Thereafter, the obtained color space data is converted into the chromaticity [(x, y) = (x, y) = corresponding to the color temperature (D 65 ) of the daylight light source by using the above-mentioned light-sensitive material (Fuji Photo Film: SUPER FAV).
(0.31, 0.33)] as the reference white,
The dye amount corresponding to each chromaticity was determined from the data, and a photographic print was created again based on the amount. The obtained photographic print had an image quality with a natural tint by adjusting the orange color.

【0046】また、比較のために同一写真プリントを同
一のカラースキャナーで走査し、前記と同一の観察光源
の色温度に対応する色度〔(x,y)=(0.31,
0.33)〕を基準白色としてCIEL* * * 均等
色空間に順変換した後、モニター画面を見ながら
(L)、(a)、(b)をそれぞれ(ΔL=0)、(Δ
a=−19)及び(Δb=−43)だけ増減させて再び
前記と同一の観察光源の色温度に対応する色度〔(x,
y)=(0.31,0.33)〕を基準白色として逆変
換を行い、再度写真プリントを作成した。
For comparison, the same photographic print is scanned by the same color scanner, and the chromaticity [(x, y) = (0.31, 0.31) corresponding to the color temperature of the same observation light source as described above.
0.33)] as a reference white color and then forward-converted to a CIEL * a * b * uniform color space, and then look at (L), (a) and (b) with (ΔL = 0), (Δ
a = −19) and (Δb = −43), and again, the chromaticity [(x,
y) = (0.31, 0.33)] was used as the reference white color, and inverse conversion was performed to create a photographic print again.

【0047】得られた写真プリントは、オレンジみはあ
る程度修正されたものの、今度はオレンジみが修正され
過ぎて青み掛かったところと、修正が足りずにオレンジ
みが残ったところが混在する不自然な画質となった。
In the obtained photographic print, although the orange color was corrected to some extent, this time, the portion where the orange color was corrected too much and became bluish, and the portion where the orange color remained due to insufficient correction were mixed. The image quality has become.

【0048】[0048]

【実施例2】実施例1と同一の写真プリントを用いて、
実施例1において得られた平均色度〔(x,y)=
(0.45,0.41)〕を基準白色としてCIEL*
* *均等色空間に順変換した。その後、得られた色
空間データを未露光の状態で現像処理を行った上記感材
(富士写真フィルム社製:SUPER FAV)の蛍光
灯下において明度の高い無彩色、即ち白色と認識された
部分の色をカラースキャナーで測定して得られた色度
〔(x,y)=(0.3779,0.3882)〕を基
準白色として逆変換し、そのデータから各色度に対応す
る色素量を求めそれに基づいて再度写真プリントを作成
した。
Example 2 Using the same photographic print as in Example 1,
The average chromaticity obtained in Example 1 [(x, y) =
(0.45, 0.41)] and CIEL *
a * b * was converted into a uniform color space. Thereafter, the obtained color space data was subjected to a development process in an unexposed state, and the above-described light-sensitive material (Fuji Photo Film Co., Ltd .: SUPER FAV) was recognized as an achromatic color having high brightness under a fluorescent lamp, that is, a portion recognized as white. Is converted by using the chromaticity [(x, y) = (0.3779, 0.3882)] obtained by measuring the color of the color with a color scanner as a reference white, and the dye amount corresponding to each chromaticity is calculated from the data. The photograph print was made again based on the request.

【0049】得られた写真プリントは、実施例1と同様
にオレンジみが調整されて自然な色合いの画質であっ
た。
The obtained photographic print was adjusted for orangeness in the same manner as in Example 1, and had a natural color image quality.

【0050】[0050]

【実施例3】実施例1と同一の写真プリントを用いて、
実施例1において得られた平均色度〔(x,y)=
(0.45,0.41)〕を基準白色としてCIEL*
* *均等色空間に順変換した。その後、得られた色
空間データを、自己発光型出力媒体であるCRTの色温
度9300Kに対応する色度〔(x,y)=(0.28
3,0.297)〕を基準白色としてXY値に逆変換
し、それに基づいてCRTの発光強度を制御して画像表
示を行った。
Example 3 Using the same photographic print as in Example 1,
The average chromaticity obtained in Example 1 [(x, y) =
(0.45, 0.41)] and CIEL *
a * b * was converted into a uniform color space. Thereafter, the obtained color space data is converted into a chromaticity [(x, y) = (0.28) corresponding to a color temperature of 9300 K of a CRT as a self-luminous output medium.
3, 0.297)] as a reference white color and inversely converted to XY values, based on which the luminous intensity of the CRT is controlled to display an image.

【0051】CRT上の画像は、オレンジみが調整され
て自然な色合いの画質であった。
The image on the CRT was adjusted to orange and had a natural color image quality.

【0052】[0052]

【発明の効果】以上説明したように、本発明に係る色空
間処理方法によれば、処理したい色をモニター画面上で
指定するだけでよいため、従来の出力データを3本の特
性曲線(階調変換曲線)に基づいて調整する方法に比べ
て、簡単な操作で色処理を行うことができる。また、従
来のように試行錯誤することなく、迅速で、しかも的確
な色処理を行うことができる。
As described above, according to the color space processing method of the present invention, it is only necessary to specify the color to be processed on the monitor screen. The color processing can be performed by a simple operation as compared with the method of adjusting based on the tone conversion curve). Further, quick and accurate color processing can be performed without trial and error as in the related art.

【0053】更に、従来の均等色空間内で処理を行う色
空間処理方法に比べて、自然な色合いの画像が得られ
る。
Furthermore, an image having a natural color tone can be obtained as compared with a conventional color space processing method for processing in a uniform color space.

【図面の簡単な説明】[Brief description of the drawings]

【図1】 本発明に係る色空間処理方法のフローシート
を示す図である。
FIG. 1 is a diagram showing a flow sheet of a color space processing method according to the present invention.

【図2】 本発明に係る色空間処理方法のフローシート
を示す図であり、写真フィルムから色空間処理された写
真プリントを作成する方法のフローシートを示す図であ
る。
FIG. 2 is a diagram illustrating a flow sheet of a color space processing method according to the present invention, and is a diagram illustrating a flow sheet of a method of creating a photographic print subjected to color space processing from a photographic film.

【図3】 従来の色空間処理方法のフローシートを示す
図である。
FIG. 3 is a diagram showing a flow sheet of a conventional color space processing method.

【符号の説明】[Explanation of symbols]

10 原稿 15 フィルム 20 入力手段 25 スキャナー 26 CMY色素濃度データ 27 CRT発光輝度データ 30 処理系 31 出力画像データ 32 各色露光量 40 プリンター 50 プリント 60 CRT(モニター) 70 CRT 10 Document 15 Film 20 Input Means 25 Scanner 26 CMY Dye Density Data 27 CRT Emission Luminance Data 30 Processing System 31 Output Image Data 32 Each Color Exposure 40 Printer 50 Print 60 CRT (Monitor) 70 CRT

Claims (3)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】 画像データを基準白色を基準とする色空
間内で処理を行う色空間処理方法において、 前記画像データを、処理後の色を無彩色にしたい色の色
度を基準白色として色空間データに変換した後、非自己
発光型出力媒体を観察する際に照射する光源の色温度に
対応した色度を基準白色として出力画像データに変換し
直し、前記非自己発光型出力媒体に出力することを特徴
とする色空間処理方法。
1. A color space processing method for processing image data in a color space based on a reference white, wherein the image data is processed using a chromaticity of a color whose processed color is desired to be an achromatic color as a reference white. After converting to spatial data, non-self
The color temperature of the light source used to observe the luminous output medium
The corresponding chromaticity is converted to the output image data as the reference white.
And outputting to the non-self-luminous output medium.
【請求項2】 画像データを基準白色を基準とする色空
間内で処理を行う色空間処理方法において、 前記画像データを、処理後の色を無彩色にしたい色の色
度を基準白色として色空間データに変換した後、観察光
源が照射された非自己発光型出力媒体上の無彩色の色度
を基準白色として出力画像データに変換し直し、前記非
自己発光型出力媒体に出力することを特徴とする色空間
処理方法。
2. A color space processing method for processing image data in a color space based on a reference white, wherein the color of the image data is set to a reference white with a chromaticity of a color whose processed color is desired to be achromatic. After converting to spatial data, the observation light
A color space processing method, wherein the chromaticity of an achromatic color on a non-self-luminous output medium irradiated with a source is converted back to output image data as reference white and output to the non-self-luminous output medium.
【請求項3】 画像データを基準白色を基準とする色空
間内で処理を行う色空間処理方法において、 前記画像データを、処理後の色を無彩色にしたい色の色
度を基準白色として色空間データに変換した後、自己発
光型出力媒体の色温度に対応した色度を基準白色として
出力画像データに変換し直し、前記自己発光型出力媒体
に出力することを特徴とする色空間処理方法。
3. A color space processing method for processing image data in a color space based on a reference white, wherein the image data is processed using a chromaticity of a color whose processed color is desired to be an achromatic color as a reference white. after converting to spatial data, self-onset
Color space processing method and outputting a chromaticity corresponding to the color temperature of the light type output medium back into an output image data as a reference white, before Symbol self-luminous output medium.
JP05200803A 1993-05-06 1993-08-12 Color space processing method Expired - Lifetime JP3140269B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP05200803A JP3140269B2 (en) 1993-05-06 1993-08-12 Color space processing method

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP5-127768 1993-05-06
JP12776893 1993-05-06
JP05200803A JP3140269B2 (en) 1993-05-06 1993-08-12 Color space processing method

Publications (2)

Publication Number Publication Date
JPH0720585A JPH0720585A (en) 1995-01-24
JP3140269B2 true JP3140269B2 (en) 2001-03-05

Family

ID=26463644

Family Applications (1)

Application Number Title Priority Date Filing Date
JP05200803A Expired - Lifetime JP3140269B2 (en) 1993-05-06 1993-08-12 Color space processing method

Country Status (1)

Country Link
JP (1) JP3140269B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3555107B2 (en) 1999-11-24 2004-08-18 ソニー株式会社 Legged mobile robot and operation control method for legged mobile robot
JP2002142127A (en) 2000-11-06 2002-05-17 Oki Data Corp Method for optimizing spectral response characteristic
JP2013010734A (en) * 2011-06-03 2013-01-17 Sumitomo Chemical Co Ltd Method for producing n-substituted lactam compound
CN103455796A (en) * 2013-09-03 2013-12-18 中国科学院大学 Coalbed methane table data area automatic identification method based on CIE XYZ color space

Also Published As

Publication number Publication date
JPH0720585A (en) 1995-01-24

Similar Documents

Publication Publication Date Title
US5528339A (en) Color image reproduction of scenes with color enhancement and preferential tone mapping
US6204940B1 (en) Digital processing of scanned negative films
US4956718A (en) Tonal conversion method for pictures
EP1014687A2 (en) Correcting exposure and tone scale of digital images captured by an image capture device
JPH0715612A (en) Device and method for encoding color
US6836345B1 (en) Method for including traditional photographic calibration into digital color management
EP0341666A2 (en) Tonal conversion method for pictures
JPH09135316A (en) Device and method for processing image
JP2001189875A (en) Configuration of profile to compensate nonlinearity of image acquisition
US20060209320A1 (en) Image forming apparatus and method for the same
JP4197276B2 (en) Image processing apparatus, image reading apparatus, image forming apparatus, and image processing method
US5572340A (en) Pre-press process and system for accurately reproducing color images
JP3140269B2 (en) Color space processing method
JP2001045316A (en) Color correction relation extracting method and color correcting method
JPH02118642A (en) Color correction by dry dot etching using mask produced photographically
JP2001045317A (en) Color correction relation extracting method and color correcting method
US7324243B2 (en) Fluorescent color scanning method for use in a scanner
JP2002262125A (en) Processing film image for digital cinema
WO2001078368A2 (en) Film and video bi-directional color matching system and method
JP2005215353A (en) Image data generating device for generating image data reproducible with a plurality of gradation characteristics and image reproducing device corresponding thereto
US6424740B1 (en) Method and means for producing high quality digital reflection prints from transparency images
US20030053092A1 (en) Film chart original plate and film chart
JP3936041B2 (en) Color management method and apparatus
JP2006078794A (en) Image processing method and device
JP2000261825A (en) Image processing method, device therefor and recording medium

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071215

Year of fee payment: 7

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071215

Year of fee payment: 7

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071215

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081215

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081215

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091215

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101215

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101215

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111215

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111215

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121215

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121215

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131215

Year of fee payment: 13

EXPY Cancellation because of completion of term