JP3396048B2 - 劣化画像修復システム及び劣化画像修復方法 - Google Patents

劣化画像修復システム及び劣化画像修復方法

Info

Publication number
JP3396048B2
JP3396048B2 JP02099093A JP2099093A JP3396048B2 JP 3396048 B2 JP3396048 B2 JP 3396048B2 JP 02099093 A JP02099093 A JP 02099093A JP 2099093 A JP2099093 A JP 2099093A JP 3396048 B2 JP3396048 B2 JP 3396048B2
Authority
JP
Japan
Prior art keywords
image
camera
lens
information
deterioration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP02099093A
Other languages
English (en)
Other versions
JPH06236004A (ja
Inventor
正文 山崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Optic Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=12042576&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP3396048(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Olympus Optic Co Ltd filed Critical Olympus Optic Co Ltd
Priority to JP02099093A priority Critical patent/JP3396048B2/ja
Publication of JPH06236004A publication Critical patent/JPH06236004A/ja
Application granted granted Critical
Publication of JP3396048B2 publication Critical patent/JP3396048B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Projection-Type Copiers In General (AREA)
  • Control Of Exposure In Printing And Copying (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Silver Salt Photography Or Processing Solution Therefor (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、カメラ本体やレンズに
固有の写真の劣化要因の情報に基づいて、劣化画像を修
復する劣化画像修復システムに関する。
【0002】
【従来の技術】従来、写真を印画紙にプリントする場合
に、フィルムの磁気トラック上に記録された情報に基づ
いて所望とする写真をプリントすることが行われてい
る。
【0003】例えば、特開平2−54229号公報で
は、プリントの指定サイズを得るためのトリミング情報
等の情報をフィルム等の記録媒体に記録して、ラボラト
リのプリント処理工程において該情報を読取り指定され
たサイズの写真を得る技術が開示されている。また、特
願平4−129105号公報では、カメラの撮影動作中
におけるぶれ軌跡データを記録媒体に記録し、ラボラト
リのプリント処理時にぶれ軌跡データに基づいてぶれの
ない画像を復元する技術が開示されている。
【0004】
【発明が解決しようとする課題】しかしながら、前述し
た技術では記録媒体及び記録装置が比較的大型となって
しまうためコスト高となってしまう。
【0005】本発明は上記問題に鑑みてなされたもの
で、その目的とするところは、カメラに記録装置を設け
ることなく、カメラ本体やレンズに固有の写真の劣化要
因を除去し、安価にきれいな写真を得ることにある。
【0006】
【課題を解決するための手段】上記目的を達成するため
に、本発明による劣化画像修復システムは、カメラ本体
やレンズに固有の収差や光量ムラなどの画像劣化情報
、カメラ製造時にカメラ本体内の記録媒体に記録する
記録手段と、上記記録媒体に記録された情報に基づい
て、上記カメラにより撮影された画像の劣化を修復する
画像修復手段と、を具備することを特徴とする。また、
本発明の第1の態様による劣化画像修復方法は、カメラ
本体やレンズに固有の収差や光量ムラなどの画像劣化情
報を、カメラ製造時にカメラ本体内の記録媒体に記録す
るステップと、上記記録媒体に記録された情報に基づい
て、上記カメラにより撮影された画像の劣化を修復する
ステップと、を具備することを特徴とする。また、本発
明の第2の態様による劣化画像修復方法は、カメラ本体
やレンズに固有の収差や光量ムラなどの画像劣化情報
を、カメラ製造時にカメラ本体内の記録媒体に記録する
ステップと、上記記録媒体に記録された情報に基づい
て、上記カメラにより撮影された画像の劣化を修復する
ステップと、上記修復された画像のプリントを行なうス
テップと、を具備することを特徴とする。
【0007】
【作用】即ち、本発明では、カメラ本体やレンズに固有
の収差や光量ムラなどの画像劣化情報が、カメラ製造時
カメラ本体内の記録媒体に記録され、画像修復手段に
より上記記録媒体に記録された情報に基づいて、上記カ
メラにより撮影された画像の劣化が修復される。また、
本発明では、カメラ本体やレンズに固有の収差や光量ム
ラなどの画像劣化情報が、カメラ製造時にカメラ本体内
の記録媒体に記録され、画像修復手段により上記記録媒
体に記録された情報に基づいて、上記カメラにより撮影
された画像の劣化が修復され、この修復された画像のプ
リントを行なう。
【0008】
【実施例】以下、図面を参照して、本発明の実施例につ
いて説明する。
【0009】図1は本発明の一実施例に係る劣化画像修
復システムの構成を示す図である。本システムは、レン
ズ付きフィルムの製造時に当該レンズ付きフィルム固有
のコサイン4乗則による周辺光量減光やフレアなどによ
る光量ムラに関する情報を測定し、上記レンズ付きフィ
ルム内の記録媒体に予め記録するものである。
【0010】同図に示すように、光源1からの光の光路
上には拡散板2、撮影レンズ3、CCDラインセンサ4
が順に配置されており、該CCDラインセンサ4は増幅
回路6、ADコンバータ7、I/Oポート8を介して画
像処理装置9に接続されている。さらに、このI/Oポ
ート8は走査装置11、駆動回路5、EEPROM12
にも接続されており、該走査装置11及び駆動回路5は
CCDラインセンサ4に接続されている。そして、上記
画像処理装置9は、画像メモリ10に接続されている。
尚、上記CCDラインセンサ4の長さは少なくともフィ
ルムの横方向の長さより長い必要がある。
【0011】このような構成において、光源1からの光
は拡散板2で均一に拡散され、該拡散板2からの光はレ
ンズ付きフィルムの撮影レンズ3を介してフィルム面に
配設された光量ムラ測定用のCCDラインセンサ4の受
光面に結像する。更に、このCCDラインセンサ4は駆
動回路5で駆動され、各ビットに蓄積された電荷は順
次、増幅回路6を介してADコンバータ7でデジタルデ
ータに変換される。そして、このデジタルデータに変換
されたフィルム面の明るさの情報はI/Oポート8、画
像処理装置9を介して画像メモリ10にストアされる。
尚、センサ走査装置11は1ラインの明るさに関するデ
ータを画像メモリ10にストアする毎に縦方向にCCD
ラインセンサ4をシフトする。
【0012】以上の一連の動作を繰り返し行うことで、
画像メモリ10にはフィルム面全面に相当する明るさの
データがストアされる。そして、図3に示すように、画
像処理装置9は、画像メモリ10からフィルム面に相当
する領域11の中の多くの画素データの中から離散的に
明るさデ−タを抽出し、該データをレンズ付きフィルム
に内蔵されるEEPROM12に書き込む。次に、図2
は実施例の劣化画像修復システムにおけるレンズ付きフ
ィルムの構成を示す図である。
【0013】同図において、測定用として採用されてい
るCCDラインセンサ4は、フィルム面13に配設され
ている。また、前述のように全てのレンズ付きフィルム
について光量ムラを測定してもよいが、該光量ムラは設
計時に決まるので、代表的な1台のレンズ付きフィルム
の光量ムラを測定してEEPROM12に書き込めば足
りる。更には、このデータとしてフィルム面中央の明る
さに関するデータを基準に正規化したものを記録しても
よい。
【0014】そして、一般にレンズ付きフィルムの撮影
レンズのように、1乃至2枚の簡単なレンズ構成の撮影
レンズは収差が大きいので、上記EEPROM12に書
き込まれたデータに基いてプリント時に画像修復するこ
とは非常に有効である。ここで、図4には像面が歪曲し
た様子を示し説明する。
【0015】同図において、物体側の長方形格子14は
レンズ15及び絞り16を通り、葉巻型(又は、たる
型)に歪曲した像を作る。この歪曲を計算で求めるに
は、図5に示すように、軸外物点より出た主光線を光線
追跡し、像界において主光線が近軸像面を切る点をPと
し、これと理想像点P0 との距離を理想像の大きさy0
で割りパーセントで表示する。尚、物体が有限距離でも
無限遠でも計算は同じであり、y0 を求める式が異なる
だけである。従って、歪曲D (y0)は次式で示される。
【0016】
【数1】 そして、縦方向に像高y0 、横方向に歪曲D(y0 )を
取りグラフに示すと、図6に示すようになる。
【0017】この方法で歪曲収差を求め、任意の点の歪
曲収差を画像劣化情報とするとデータ容量が非常に大き
くなる。そこで、歪曲Dのカーブが像高y0 の高次の関
数になることに着目し、データ容量を少なくすることを
考える。尚、この歪曲Dのカーブは画角があまり広くな
いカメラレンズ量においては3次の歪曲収差となり、像
高y0 の2乗に比例する。従って、像高C0 における歪
曲をD0 とすると次式に示すようになる。
【0018】
【数2】 D(y0)=(v0/C0) 2 ・D0 …(2)
【0019】上記(2)式により、C0 における歪曲D
0 が求まれば任意の像高y0 における歪曲D(y0 )が
求められるため、メモリの節約効果は大きい。尚、実際
のレンズ設計では、特に広角レンズや超広角レンズの場
合にはD0 はy0 の2次以上の高次の関数になる。この
場合は、上記(2)式の代わりに次式を歪み収差を求め
る式とし、更に歪曲収差の情報としてはD0 、C0 、K
iを記録すればよい。
【0020】
【数3】
【0021】次に、図7は本発明の劣化画像修復システ
ムにおいて、撮影者により撮影されたフィルムを現像し
たネガフィルムと上記レンズ付きフィルムに記録された
光量ムラや歪曲収差などの画像劣化情報とに基いて、き
れいな画像を修復する装置の構成を示す図である。
【0022】同図において、スキャナの一部である光源
18から発せられた一様な白色光はネガフィルム19を
照明する。このネガフィルム19は供給リール20から
順次送られ、巻取リール21に巻き取られるようになっ
ている。そして、スキャナ本体22は、白色光源18に
よって照明されたネガフィルム19の像を結像する光学
系、センサ、センサ出力信号処理回路などから構成さ
れ、このスキャナ出力からはネガフィルムに結像してい
る画像のRGBデジタル出力信号が出力される。さら
に、上記画像信号はI/Oポート23、画像処理装置2
4を介して画像メモリ25にストアされ、画像処理装置
24においては、後述する種々の画質改善処理が実行さ
れる。
【0023】一方、レンズ付きフィルム26内のEEP
ROM12に記録された光量ムラや歪曲収差等の画像劣
化情報は、アダプタ27のデータ読取り装置28、I/
Oポート23を介して画像処理装置に入力され画質改善
のための演算が実行される。こうして画質改善された画
像情報がプリンタ29に送られ、印刷される。以下、図
8のフローチャートを参照して、上記画像処理装置24
における画質改善処理について詳細に説明する。
【0024】まず、シェーディング補正を行う。即ち、
ここではCCDラインセンサ4の感度のバラツキや光源
18の光量ムラによる歪みの補正を行う(ステップS
1)。そして、画像の平均的な明るさに基づいてプリン
トの濃度を演算し(ステップS2)、公知のLATD方
式(大面積透過濃度方式)に基づいて色補正を行う(ス
テップS3)。
【0025】次に、前記したレンズ付きフィルムから読
み込んだ光量ムラ情報に基づいて光量ムラの補正を行う
(ステップS4)。この光量ムラ情報は、一様な明るさ
の拡散板を撮影したときのフィルム面の明るさの離散的
情報として記録されたものである。いま、この光量ムラ
情報はフィルム面中央の値を“1”として正規化された
情報とし、任意の位置aijの光量ムラ情報をaijとし、
その画像データ出力をDijとするとき、補正された画像
データ出力D´ijは次式(4)で示される。 D´ij=Dij/aij …(4)
【0026】しかし、与えられた光量ムラ情報は離散情
報であるので、その間にある任意の光量ムラ情報は線形
に内挿することによって求めることにする。以上の過程
によりにより全ての画像データDijに対してレンズ付き
フィルムのコサイン4乗則等に基づく光量ムラが補正さ
れる。
【0027】次に、歪曲収差の補正を行う(ステップS
5)。即ち、歪曲収差に関する情報は前記したように像
高C0 とその位置の歪曲収差D0 のみである。但し、3
次の歪曲収差のとき、更に高次の収差が加わるときは上
記(3)式で示したように係数ki が加わるが、ここで
は3次の歪曲収差について説明する。この歪曲収差は、
空間座標が葉巻型又はたる型に拡大または縮小する収差
であるから、その補正はその逆、即ち空間の縮小又は拡
大の操作を行えばよい。
【0028】例えば、図9(a)は、画像を構成する4
個の画素であり、画素(i,j)の中心の像高をγと
し、その歪曲収差のない理想像高をγ0 とすると、歪曲
D(γ0 )は上記(2)式より次式(5)で示される。 D(γ0 )=(γ0 /C0 )2 ・D0 …(5) そして、(1)、(5)式より、次式の関係が成立す
る。
【0029】
【数4】
【0030】いま、γ、C0 、D0 は既知であるから、
上記(6)式よりγ0 を求めることができる。上記
(6)式はγ0 について3次の方程式であるので、解を
求めるのに時間がかかる。そのために、γ0 とγがほぼ
等しいことから、D(γ0 )をD(γ)と近似すること
により理想像高γ0 を求めてもよい。尚、歪みの絶対量
Δγは次式(7)で示される。 Δγ=γ−γ0 …(7)
【0031】また、図10に示すように、画素(i,
j)と画面中心(歪曲=0)Cを結ぶ線分と画素の行方
向(i方向)のなす角をθとすると、図9(b)に示す
i方向の歪曲Δiは次式(8)で示される。 Δi=Δγcosθ …(8) そして、画素の列方向(j方向)の歪曲Δjは次式
(9)で示される。 Δj=Δrsinθ …(9)
【0032】この結果、補正された(i,j)の画素の
理想位置は、図9(b)の点線で示す位置になる。ここ
では、図9(b)の点線で示す位置に補正された像信号
が、それぞれ(i,j)、(i+1,j)、(i,j+
1)、(i+1,j+1)の画素の信号として面積に比
例して寄与するものである。即ち、 (i,j)の画素信号として、(I−Δi)×(J−Δj)×Di,j (i+1,j)の画素信号として、Δi×(J−Δj)×Dij (i,j+1)の画素信号として、(I−Δj)×Δj×Dij (i+1,j+1)の画素信号として、Δi×Δj×ΔDij …(10)
【0033】但し、Dijは補正する前の(i,j)の画
素の明るさである。以上の計算を全ての画素について行
い、補正された後の各画素の出力は(10)式のそれぞ
れの画素の寄与する明るさの総和として求められる。
【0034】こうして歪曲収差の補正が終了すると、次
にγ補正部で反射率−電圧リニア信号(BGR)を濃度
−電圧リニア信号(YMC)に変換した後(ステップS
6)、3色信号中のグレイ成分(下色除去:UCRとい
う)して墨信号を発生する(ステップS7)。さらに、
所定のマスキング方程式を用いて色修正マスキングを行
い(ステップS8)、コントラスト修正などの階調補正
を行った後(ステップS9)、エッジ強調スムージング
などのシャープネス補正を行う(ステップS10)。そ
して、デジタル信号処理を受けた画質信号は2値化処理
等を行った後、プリンタ部への送出されプリントされる
(ステップS11)。本発明では、以上の一連の動作に
より画像修復した写真をプリントすることができる。
【0035】以上、本発明の実施例について説明した
が、本発明はこれに限定されることなく種々の改良、変
更が可能であることは勿論である。例えば、図1におい
てはEEPROM12にデータを書き込む例を示した
が、光量ムラや歪曲収差などの画像劣化情報は設計的に
決まるので、図11に示すように1度測光した後、バー
コードで表した情報をシールにしてレンズ付きフィルム
の所定部に貼り付けることでコストを下げることもでき
る。
【0036】以上詳述したように、本発明の劣化画像修
復システムでは、収差やフレアなどの画質劣化情報を記
録し、プリント時にはこの記録された画質劣化情報を用
いて劣化画像を修復できるので、比較的単純な構成のカ
メラであっても、きれいな写真を得ることができる。ま
た、上記画像劣化情報はレンズ付きフィルムに記録する
ので、カメラごとに大掛かりな記録装置を設ける必要が
なく、安価にきれいな写真を得ることが可能となる。
【0037】
【発明の効果】本発明によれば、カメラに記録装置を設
けることなく、カメラ本体やレンズに固有の写真の劣化
要因を除去し、安価にきれいな写真を得ることを可能と
した劣化画像修復システム又は劣化画像修復方法を提供
することができる。
【図面の簡単な説明】
【図1】本発明の一実施例に係る劣化画像修復システム
の構成を示す図である。
【図2】本発明の劣化画像修復システムにおけるレンズ
付きフィルムの外観を示す図である。
【図3】画像メモリ10のフィルム面に相当する領域1
1を示す図である。
【図4】像面が歪曲した様子を示す図である。
【図5】軸外物点より出た主光線を光線追跡し、像界に
おいて主光線が近軸像面を切る点をPとし、これと理想
像点P0 との距離を理想像の大きさy0 で割りパーセン
トで表示した様子を示す図である。
【図6】縦方向に像高y0 、横方向に歪曲D(y0 )を
取りグラフに示した様子を示す図である。
【図7】本発明の劣化画像修復システムにおいて、撮影
者により撮影されたフィルムを現像したネガフィルムと
上記レンズ付きフィルムに記録された光量ムラや歪曲収
差などの画像劣化情報とに基いて、きれいな画像を修復
する装置の構成を示す図である。
【図8】画像処理装置24における画質改善処理につい
て詳細に説明するためのフローチャートである。
【図9】(a)は画像を構成する4個の画素を示し、
(b)はi方向の歪曲Δiを示す図である。
【図10】画素(i,j)と画面中心Cを結ぶ線分と画
素の行方向(i方向)のなす角θを示す図である。
【図11】バーコードで表した情報をシールにしてレン
ズ付きフィルムの所定部に貼り付けた様子を示す図であ
る。
【符号の説明】
1…光源、2…拡散板、3…レンズ、4…CCD、5…
駆動回路、6…増幅回路、7…ADコンバータ、8…I
/Oポート、9…画像処理装置、10…メモリ、11…
走査装置、12…EEPROM、13…フィルム面、1
4…物体、15…レンズ、16…絞り、17…像、18
…光源、19…フィルム、20…供給リール、21…巻
き取りリール、22…スキャナ、23…I/Oポート、
24…画像処理装置、25…RAM、26…レンズ付き
フィルム、27…アダプタ、28…データ読取装置、2
9…プリンタ、30…バーコード。

Claims (3)

    (57)【特許請求の範囲】
  1. 【請求項1】 カメラ本体やレンズに固有の収差や光量
    ムラなどの画像劣化情報をカメラ製造にカメラ本体内
    の記録媒体に記録する記録手段と、 上記記録媒体に記録された情報に基づいて、上記カメラ
    により撮影された画像の劣化を修復する画像修復手段
    と、を具備することを特徴とする劣化画像修復システ
    ム。
  2. 【請求項2】 カメラ本体やレンズに固有の収差や光量
    ムラなどの画像劣化情報をカメラ製造時にカメラ本体内
    の記録媒体に記録するステップと、 上記記録媒体に記録された情報に基づいて、上記カメラ
    により撮影された画像の劣化を修復するステップと、を
    具備することを特徴とする劣化画像修復方法。
  3. 【請求項3】 カメラ本体やレンズに固有の収差や光量
    ムラなどの画像劣化情報をカメラ製造時にカメラ本体内
    の記録媒体に記録するステップと、 上記記録媒体に記録された情報に基づいて、上記カメラ
    により撮影された画像の劣化を修復するステップと、 上記修復された画像のプリントを行なうステップと、 を具備することを特徴とする劣化画像修復方法。
JP02099093A 1993-02-09 1993-02-09 劣化画像修復システム及び劣化画像修復方法 Expired - Fee Related JP3396048B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP02099093A JP3396048B2 (ja) 1993-02-09 1993-02-09 劣化画像修復システム及び劣化画像修復方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP02099093A JP3396048B2 (ja) 1993-02-09 1993-02-09 劣化画像修復システム及び劣化画像修復方法

Publications (2)

Publication Number Publication Date
JPH06236004A JPH06236004A (ja) 1994-08-23
JP3396048B2 true JP3396048B2 (ja) 2003-04-14

Family

ID=12042576

Family Applications (1)

Application Number Title Priority Date Filing Date
JP02099093A Expired - Fee Related JP3396048B2 (ja) 1993-02-09 1993-02-09 劣化画像修復システム及び劣化画像修復方法

Country Status (1)

Country Link
JP (1) JP3396048B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6339466B1 (en) 1998-06-08 2002-01-15 Fuji Photo Film Co., Ltd. Image processing apparatus
US6546197B2 (en) 2000-03-15 2003-04-08 Fuji Photo Film Co., Ltd. Method and apparatus of correcting image data picked up from photographic film

Also Published As

Publication number Publication date
JPH06236004A (ja) 1994-08-23

Similar Documents

Publication Publication Date Title
US5461440A (en) Photographing image correction system
US7327390B2 (en) Method for determining image correction parameters
US7433089B2 (en) Image processor
US6853400B1 (en) System and method for correcting aberration of lenses through which images are projected
US7453502B2 (en) Lens shading algorithm
US5184227A (en) Photographic printer with index print generation
US6219446B1 (en) Image forming apparatus and manufacturing method of lens fitted film unit
US6646760B1 (en) Image processing method and apparatus
US6600548B2 (en) Image processing method and apparatus
US6670988B1 (en) Method for compensating digital images for light falloff and an apparatus therefor
JP2000196939A (ja) 歪曲収差及び面方向色収差のない画像形成装置及びその方法
EP0327112A2 (en) Method and apparatus for displaying picture frames of color photograhic films
JPH09281613A (ja) 写真処理装置及び写真処理方法
US6940546B2 (en) Method for compensating a digital image for light falloff while minimizing light balance change
US20010052992A1 (en) Image correction apparatus
JP3396048B2 (ja) 劣化画像修復システム及び劣化画像修復方法
JP3348898B2 (ja) 劣化画像修復装置、劣化画像修復システム、及び劣化画像修復方法
JP3549413B2 (ja) 画像処理方法および画像処理装置
US20030215230A1 (en) Method and system for correcting non-symmetric distortion in an image
JP3783817B2 (ja) 画像処理方法および画像処理装置
JPH1169277A (ja) 画像処理方法および装置
CN100412693C (zh) 具有一个或以上的正像的图像印相的制作方法
US6577378B1 (en) System and method for light falloff compensation in an optical system
JP2001086332A (ja) 画像処理装置
JPH06311425A (ja) 画像補正装置

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20030121

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090207

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090207

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100207

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110207

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110207

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120207

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees