JP3577977B2 - 照明光分光特性推定装置 - Google Patents

照明光分光特性推定装置 Download PDF

Info

Publication number
JP3577977B2
JP3577977B2 JP03126699A JP3126699A JP3577977B2 JP 3577977 B2 JP3577977 B2 JP 3577977B2 JP 03126699 A JP03126699 A JP 03126699A JP 3126699 A JP3126699 A JP 3126699A JP 3577977 B2 JP3577977 B2 JP 3577977B2
Authority
JP
Japan
Prior art keywords
spectral
illumination light
standard plate
image
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP03126699A
Other languages
English (en)
Other versions
JPH11287712A (ja
Inventor
光一朗 石神
浩一 飯野
徹 三橋
雄大 諸原
貴也 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toppan Inc
Original Assignee
Toppan Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toppan Inc filed Critical Toppan Inc
Priority to JP03126699A priority Critical patent/JP3577977B2/ja
Publication of JPH11287712A publication Critical patent/JPH11287712A/ja
Application granted granted Critical
Publication of JP3577977B2 publication Critical patent/JP3577977B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Spectrometry And Color Measurement (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、空間内の特定の位置に配した複数の色票をデジタルスチルカメラやデジタルビデオカメラなどのカメラで撮影することによって得られた画像から、その位置を照射する照明光の分光特性を算出する照明光分光推定装置に関する。
【0002】
推定される照明光の分光特性は、環境照明の分析を行う環境調査や、同一の照明下で同一のカメラにより撮影したシーンや被写体の画像データの色や明るさを校正するカラー画像処理に用いられる。
【0003】
【従来の技術】
照明光の特性の測定機器として、以下のものが存在する。
(a)簡易的に照明の特性を得ることができる測定機器やセンサーがあり、またそれらと撮像系や表示系の画像処理機器とが一体化したものがあり、また撮像系にその機能を持たせたものがある。
しかし、これらはいずれも一つの分光透過率を持つ標準透過面を透過した光または一つの分光反射率を持つ標準反射面から反射した光を測定することにより、照明光の特性を低次元の推定値で得るものであり、一般には一次元から三次元で表される輝度,照度,色温度,色彩値などが得られる。
【0004】
(b)照明光の分光特性を推定しようとする場合、分光放射計と呼ばれる高精度な分光測定専用の測定機器を用いる必要がある。
【0005】
【発明が解決しようとする課題】
上記(a)(b)に挙げる測定機器は、それぞれ以下の問題を有する。
(a)の簡易的なセンサーや測定機器より得られた低次元の推定値からは、多次元の値である分光特性を精度良く推定することが困難であった。
特に、分光特性に輝線を持つ人工光源による照明光など、分光特性が波長による急な変化を持つ照明光は、推定結果に誤差が大きく、またこの推定結果を照明光の分光特性として応用した処理を行った場合、その処理結果の誤差が大きくなるといった傾向があった。
【0006】
また、(b)の高精度な分光放射計は、一般的に、高価、測定時間が長い、重い、大きい、測定データを処理する装置とのインターフェイスが必要、といった問題がある。
また、これらと撮像系との一体化は価格、重量、サイズ、需要などの観点から合理的ではない。そのために、照明光の分光特性の測定データを容易に取得して応用することは困難である。
【0007】
本発明は上述した問題を解決するためになされたものであり、専用の測定機器を用いずに、撮像系を利用して照明光の分光特性を推定する方法およびその装置を提供することを目的とする。
【0008】
【課題を解決するための手段】
本発明による照明光分光特性推定装置は、
空間内の特定位置を照射する照明光の分光特性を推定する装置であって、
分光反射率が異なる複数の色票を同一平面上に配し、色票の分光反射率が既知である標準板と、
光学系への入射光に対する撮像結果の分光感度特性と階調特性とが既知であり、画像データを画像ファイルに記録する機能を持つ撮像手段と、
前記撮像手段の露光条件を設定する設定手段と、
前記設定手段により複数段階の異なる露光条件に設定された前記撮像手段により得られる複数の画像のうちのいずれかに前記標準板上の全ての色票が適正なダイナミックレンジ内に撮像された複数の画像と、前記設定手段により設定された複数段階の異なる露光条件と、から前記標準板上の全ての色票が適正なダイナミックレンジ内に表現される一枚の画像データを作成する画像合成手段と、
前記画像合成手段により作成された画像データと、前記設定手段により設定された複数の異なる露光条件と、から照明光の分光特性を算出する解析手段、
とを具備することを特徴とする。
【0015】
前記解析手段においては、前記画像合成手段により作成された画像データと、前記設定手段により設定された複数の異なる露光条件とに対応して、前記標準板を照射した照明光の分光特性を算出する。
【0018】
<作用>
空間内の測定対象とする位置に標準板を設置し、空間内の測定点とする位置から同一の撮像手段を用いて複数の異なる露光条件で標準板を撮影することによって得られる複数の異なる画像から適切に合成された合成画像を、解析手段において、撮像手段の分光感度特性データと撮像手段の階調特性データと標準板の各色票表面の分光反射率データとに基づいて解析することにより、空間内の測定対象とする位置の照明光の分光特性データを得ることができる。
【0019】
【発明の実施の形態】
1.構成
以下、図面を参照して本発明の一実施形態を説明する。
図1は、本発明の一実施形態に係る照明光分光特性推定装置の構成を示す説明図である。
【0020】
同図において、1は空間内の測定対象位置に測定位置の方向へ向けて設置する標準板であり、その表面上には分光反射率が異なるn個の色票を配列している。それぞれの色票の表面の反射特性は、拡散性が高く、同一色票内で一様である。
【0021】
なお、照明光の分光特性は場所・時間によって変わる場合があるが、照明状態が著しく変わらなければ、一つの位置で、1回だけ色票を撮影しておけばよい。
【0022】
2は、RGBの3チャンネル型式の光センサーが検出した電位信号を処理して、各画素のRGB階調値をカラー画像データとして画像ファイルに記録する撮像手段であり、撮像手段の露光条件であるシャッタースピードと絞り値を制御して各露光条件を画像データと共に画像ファイルに記録する設定手段とを兼ね備えたデジタルスチルカメラ(以下、デジタルカメラと呼ぶ)が用いられる。(ディジタル)カメラは、請求項に記載した「装置」の一部としても、あるいは、必要な手段(解析手段など)を備えることにより、「装置」そのものであるとしても、いずれでもよい。
【0023】
3は、撮像手段で得られた標準板の画像ファイルを入力〜解析して、照明光の分光特性データを所定のバンド数pで出力する解析手段であり、計算機(コンピュータ)が用いられる。
【0024】
解析手段に用いる最適化法の一例としては重回帰分析が、最適解の一例としては偏回帰係数が挙げられる。
【0025】
2.動作
2−1.全体動作
以下、図面を参照してこの発明の実施形態の全体動作について説明する。
図2は、本実施形態に係る照明光分光特性推定装置を用いた全体の動作フローを示すブロック図である。
【0026】
(ブロック図のs1)
ユーザが、標準板1を測定対象位置に設置し、デジタルカメラ2を、その撮像範囲内で標準板1が適切な大きさに撮像されるような測定位置に設置し、標準板1の法線方向とデジタルカメラ2の撮像系の光軸とが一致するように、標準板1とデジタルカメラ2の方向を調整する。
【0027】
(ブロック図のs2)
ユーザが、標準板1の表面から反射する光がデジタルカメラ2の適性露光範囲に収まるように、デジタルカメラ2の露光条件であるシャッタースピードと絞り値を設定する。
【0028】
(ブロック図のs3)
ユーザが、デジタルカメラ2のシャッターを切り、デジタルカメラ2が撮像を行い、画像データと露光条件を画像ファイルに記録する。
【0029】
(ブロック図のs4)
ユーザが、デジタルカメラ2に記録された画像ファイルを計算機3へ入力する。
【0030】
(ブロック図のs5)
ユーザが、計算機3のモニターへ画像ファイル中の画像データを表示させ、観察して、画像内の表示板が占めている位置を指定する。
【0031】
(ブロック図のs6)
計算機3が、計算機3内にあらかじめ記録されているデジタルカメラ2の分光感度データと、デジタルカメラ2の階調特性データと、標準板1の各色票面の分光反射率データと、標準板1の各色票の配列データとに基づいて、画像ファイル内に記録された標準板の画像データと、画像ファイル内に記録された標準板撮像時のデジタルカメラ2の露光条件とに対応して解析処理を施し、標準板1を照射した照明光の分光特性データを出力する。
【0032】
(ブロック図のs7)
計算機3が、解析処理で出力される分光特性データを計算機3のモニターに表示する。
【0033】
2−2.解析処理
以下、本実施形態における解析手段が行なう処理について、図3のフローチャートに基づいて説明する。
【0034】
(フローチャートのs8)
デジタルカメラ2で標準板1を含むシーンを撮影した画像データが記載されたファイルを、通信線で接続されたデジタルカメラ2から入力し、計算機3へ記録する。
【0035】
(フローチャートのs9)
標準板1の画像データをモニターへ表示し、撮影された画像内の標準板の位置をユーザに指定させ、この指定位置とあらかじめ標準板内のn個の色票の位置を記録した配列データとを対応させ、各色票内で中心位置付近のある一定領域内の画素について階調値R,G,Bそれぞれの平均値を計算し、n個の色票に対応した階調値dRi,dGi,dBi(i :色票番号)から構成される下記に示す3 ×n個の階調値データを得る。
【0036】
【数1】
Figure 0003577977
【0037】
(フローチャートのs10)
全色票に対応した階調値データDを、あらかじめ使用するデジタルカメラ2へ入射する光の測色値とデジタルカメラが出力する階調値との非線形な関係を関数F(x)として記録した階調特性データによって、0〜1の範囲に標準化され測色値に線形なn個の色票に対応した応答値IRi,IGi,IBiから構成される下記に示す3 ×n個の線形応答値データへ変換する。
【0038】
【数2】
Figure 0003577977
【0039】
(フローチャートのs11)
標準板1を撮影した際にデジタルカメラ2で設定した露光条件であるシャッタースピードと絞り値とを、画像データが記録されたファイルから読み込み、これらから標準板撮像時の露光量eを求める。
【0040】
(フローチャートのs12)
あらかじめ使用するデジタルカメラ2へ入射する光の分光放射輝度とデジタルカメラが出力するR,G,B各チャンネルの線形な応答値との関係を露光量eの関数G(e)として記録した分光感度データとを用いて、使用したデジタルカメラ2の標準板1撮影時の露光条件における撮像系のR,G,B各チャンネルごとの分光感度特性を、所定のバンド数pで等間隔な波長幅で表現するように補間し、p個の波長帯域における分光感度値SRj,SGj,SBj(j:波長番号)から構成される下記に示すS,S,Sを決定する。
【0041】
【数3】
Figure 0003577977
【0042】
(フローチャートのs13)
あらかじめ標準板内の全色票の分光反射率を記録した分光反射率データを、所定のバンド数pで等間隔な波長幅で表現するように補間し、p個の波長帯域におけるn個の色票に対応した分光感度Wijから構成される下記に示すp×n次元のWを作成する。
【0043】
【数4】
Figure 0003577977
【0044】
分光反射率W(λ)である特定の色票に対して、分光感度S(λ)である撮像系の線形応答Lは、色票を照射する照明光の分光放射輝度をE(λ)とすると、下記の関係が成り立つ。
【0045】
【数5】
Figure 0003577977
【0046】
ここで、Δλは、対象とする全波長帯域間を所定のバンド数pで等間隔に分割した場合の波長帯域幅で、ここでは(700−400)/(p−1)とする。
【0047】
標準板1を照射する照明光の分光放射輝度をp個のバンド数で表現すると下記のようになり、
【0048】
【数6】
Figure 0003577977
【0049】
上記(数5)の関係を、n個の全色票とR,G,Bの全チャンネルの合計3 ×n個の線形応答値との関係に適用するために、下記に示すp×3n次元の説明変数行列Cを作成する。
【0050】
【数7】
Figure 0003577977
【0051】
(フローチャートのs14)
下記(数8)に示す目的変数のサンプルの関係から、目的変数のサンプルを数8、説明変数のサンプルをC、最適解をE、定数項を0とする最適化法を行うことにより、未知であった照明光の分光放射輝度Eの推定値をp個のバンド数で得て、この数値をユーザに示す。
【0052】
ただし、p個のバンド数で分光放射輝度を得るためには、最低(p+2)/3以上の数の色票が必要である。
【0053】
【数8】
Figure 0003577977
【0054】
3.変形例
以上、本発明の一実施形態を説明したが、その他に下記のような変形例が考えられる。
【0055】
(a)解析手段が出力する照明光の分光特性としては、分光放射輝度である必要はなく、分光放射密度などの各種分光分布を解析し、出力してもよい。
【0056】
(b)解析手段において、標準板を撮影した際の露光条件を使用しなくても、相対分光放射輝度など照明光の相対的な分光特性を解析し、出力することができる。
【0057】
(c)解析手段が出力する照明光の分光特性を利用して、CIE1931表色系のX,Y,Zなどの色彩値で照明光の特性を出力してもよい。
【0058】
(d)標準板の画像の中で、色票によっては反射光が撮像系のダイナミックレンジ外にあるために、画像データが0もしくは飽和している場合があれば、より適切な推定結果を出力するために、解析手段において、色票部のサンプリング対象から除外してもよい。
【0059】
(e)標準板の画像の中で、色票によっては反射光が撮像系のダイナミックレンジ外にあるために、画像データが0もしくは飽和している場合があれば、同一の撮像手段によって複数の異なる露光条件で撮像した複数の異なる画像とを適切に合成することによって、ダイナミックレンジを拡大した合成画像を画像データとして解析手段で用いてもよい。
【0060】
(f)出力する分光特性のバンド数と、標準板上の色票の数とは固定ではなく、適正な推定精度を得られる範囲内であれば、必要に応じて選択することができる。
【0061】
(g)標準板上の色票の分光反射率の組み合わせは、用途や目的に応じて推定精度を高めるために最適化してもよい。
【0062】
(h)解析手段において、分光感度は露光条件によらず固定とし、色票の線形応答値の方を露光条件によって適切に補正して、解析してもよい。
【0063】
(i)標準板の画像データには撮像系のノイズ成分が含まれているため、画像データもしくは色票部をサンプリングした後の各種分析値から、ノイズ成分を除去もしくは低減する処理を解析手段の中に組み込んでもよい。
【0064】
(j)解析手段において入力する露光条件は、画像データを含むファイルから入力せずに、デジタルカメラから直接入力したり、ユーザに入力させてもよい。
【0065】
(k)解析手段において使用する標準板の指定位置は、ユーザに入力させなくても、画像データ内を自動分析し標準板の指定位置を検出する処理を解析手段の中へ組み込んでもよい。
【0066】
(l)撮像系はデジタルスチルカメラではなくても、デジタルビデオカメラやフィルム撮影用カメラとイメージスキャナとを利用するなど、画像データを取得できるならば異なる機器を用いてもよい。
【0067】
(m)解析手段は計算機ではなくても、独立した専用の装置を設けたり、デジタルカメラの中に撮像系と一体で組み込んでもよい。
【0068】
(n)推定した照明光の分光特性をユーザに直接表示せず、その他の用途に利用しても良い。
【0069】
(o)推定した照明光の分光特性を、カラーマネージメントシステムなどのカラー画像処理に利用してもよい。
【0070】
(p)推定した照明光の分光特性を、撮像された物体表面の分光反射率などの反射特性を推定するのに用いてもよい。
【0071】
(q)本実施例における設定手段は撮像手段と一体となったデジタルカメラであるが、設定手段が撮像手段とは一体である必要はなく、計算機に装備されることも考えられる。
【0072】
(r)解析手段において使用する標準板の各色票の配列データは必ずしもあらかじめ解析手段が保持している必要はなく、標準板の分光反射率データなどのその他の情報から各色票の配列を自動的に判別してもよい。
【0073】
(s)本実施例において施す最適化法では、目的変数となる階調値は撮像系の階調特性データに基づいて線形化されているが、階調値の線形化は行わずに、撮像系の階調特性データを重回帰式へ組み込むことにより非線形な最適化法を行ってもよい。
【0074】
(t)解析手段が出力する照明光の分光特性は、本実施例の解析手段における最適化法の結果と同一である必要はなく、適当なバンド数や波長範囲や単位による表現形式に変換して出力してもよい。
【0075】
【発明の効果】
以上説明したように、本発明によれば、空間内の測定対象とする位置に標準板を設置し、空間内の測定点とする位置から撮像手段を用いて複数の異なる露光条件で標準板を撮影することによって得られる複数の異なる画像から適切に合成された合成画像を、解析手段において、撮像手段の分光感度特性データと撮像手段の階調特性データと標準板の各色票表面の分光反射率データとに基づいて解析することにより、空間内の測定対象とする位置の照明光の分光特性を、専用の測定機器を用いずに推定する装置が提供される。
【0076】
【図面の簡単な説明】
【図1】本発明の照明光分光特性推定装置の構成の一例を示す説明図。
【図2】上記装置の全体の動作フローを示すブロック図。
【図3】上記装置における解析手段が行う処理を説明するフローチャート。
【符号の説明】
1…標準板
2…撮像手段(デジタルカメラ)
3…解析手段(計算機)

Claims (1)

  1. 空間内の特定位置を照射する照明光の分光特性を推定する装置であって、
    分光反射率が異なる複数の色票を同一平面上に配し、色票の分光反射率が既知である標準板と、
    光学系への入射光に対する撮像結果の分光感度特性と階調特性とが既知であり、画像データを画像ファイルに記録する機能を持つ撮像手段と、
    前記撮像手段の露光条件を設定する設定手段と、
    前記設定手段により複数段階の異なる露光条件に設定された前記撮像手段により得られる複数の画像のうちのいずれかに前記標準板上の全ての色票が適正なダイナミックレンジ内に撮像された複数の画像と、前記設定手段により設定された複数段階の異なる露光条件と、から前記標準板上の全ての色票が適正なダイナミックレンジ内に表現される一枚の画像データを作成する画像合成手段と、
    前記画像合成手段により作成された画像データと、前記設定手段により設定された複数の異なる露光条件と、から照明光の分光特性を算出する解析手段、
    とを具備することを特徴とする照明光分光特性推定装置。
JP03126699A 1998-02-09 1999-02-09 照明光分光特性推定装置 Expired - Fee Related JP3577977B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP03126699A JP3577977B2 (ja) 1998-02-09 1999-02-09 照明光分光特性推定装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP10-27468 1998-02-09
JP2746898 1998-02-09
JP03126699A JP3577977B2 (ja) 1998-02-09 1999-02-09 照明光分光特性推定装置

Publications (2)

Publication Number Publication Date
JPH11287712A JPH11287712A (ja) 1999-10-19
JP3577977B2 true JP3577977B2 (ja) 2004-10-20

Family

ID=26365394

Family Applications (1)

Application Number Title Priority Date Filing Date
JP03126699A Expired - Fee Related JP3577977B2 (ja) 1998-02-09 1999-02-09 照明光分光特性推定装置

Country Status (1)

Country Link
JP (1) JP3577977B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4529210B2 (ja) * 1999-12-27 2010-08-25 凸版印刷株式会社 測色変換係数算出方法と測色画像変換方法、及び、測色変換係数算出装置と測色画像変換装置、並びに、測色変換係数算出プログラム又は測色的撮像プログラムを記録したコンピュータ読み取り可能な情報記録媒体
JP2012042434A (ja) * 2010-08-23 2012-03-01 Canon Inc 光源判定装置、並びに、色処理装置およびその方法
CN105606220B (zh) * 2015-09-08 2017-12-08 杭州彩谱科技有限公司 一种优化波长矫正方法及采用该方法的分光测色仪
CN113466142B (zh) * 2021-06-17 2023-04-21 塔里木大学 一种多尺度果品散射偏振光谱成像定量检测方法
CN115406536B (zh) * 2022-09-06 2023-09-29 苏州普立视科技有限公司 一种分光色度计照明系统的控制方法

Also Published As

Publication number Publication date
JPH11287712A (ja) 1999-10-19

Similar Documents

Publication Publication Date Title
JP4212165B2 (ja) 色再現システム
US7010162B2 (en) Color image processing apparatus
US10168215B2 (en) Color measurement apparatus and color information processing apparatus
JPH1185952A (ja) 色再現装置
WO2004045219A1 (ja) 光源推定装置、光源推定方法、撮像装置および画像処理方法
JP3663941B2 (ja) 撮像装置の分光感度特性測定方法および撮像データ構成方法
JP2000341715A (ja) 色再現システム
JP2001008220A (ja) 色再現システム
BE1012272A5 (fr) Dispositif et procede de mesure d'images colorees.
JP4715288B2 (ja) 分光反射率候補算出方法、色変換方法、分光反射率候補算出装置、色変換装置、分光反射率候補算出プログラム、色変換プログラム
JP4415446B2 (ja) 測色画像変換方法及び測色画像変換装置並びに測色画像変換プログラムを記録したコンピュータ読み取り可能な情報記録媒体
JP4957411B2 (ja) 分光反射率推定方法、分光反射率推定装置および分光反射率推定プログラム
JP4798354B2 (ja) 分光反射率推定方法、分光反射率推定装置および分光反射率推定プログラム
JP3577977B2 (ja) 照明光分光特性推定装置
JP2008206163A (ja) カラー画像処理装置
JP2001311666A (ja) 測色変換係数算出方法と測色画像変換方法、及び、測色変換係数算出装置と測色画像変換装置、並びに、測色変換係数算出プログラム又は測色的撮像プログラムを記録したコンピュータ読み取り可能な情報記録媒体
JP6552604B2 (ja) デジタル顕微鏡の色再現を修正する方法、ならびにデジタル顕微鏡
JP4692190B2 (ja) 分光反射率推定方法、分光反射率推定装置、ならびに分光反射率推定プログラム
JP4378810B2 (ja) 測色変換係数算出方法と測色的撮像方法、および測色変換係数算出装置と測色的撮像装置、並びに測色変換プログラムを記録したコンピュータ読み取り可能な情報記録媒体
JP4529210B2 (ja) 測色変換係数算出方法と測色画像変換方法、及び、測色変換係数算出装置と測色画像変換装置、並びに、測色変換係数算出プログラム又は測色的撮像プログラムを記録したコンピュータ読み取り可能な情報記録媒体
US20040174433A1 (en) Image processing apparatus
JP4403224B2 (ja) 色変換システム、色変換方法及び色変換プログラム
JP3960989B2 (ja) 色推定システム及び色推定方法
JP2002350355A (ja) 光沢ムラ評価装置、光沢ムラ評価方法及び該方法を実行するためのプログラムを格納したコンピュータ読み取り可能な記憶媒体
JP5120936B2 (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040224

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040426

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040622

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040705

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080723

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090723

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100723

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110723

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110723

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120723

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120723

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130723

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees