JPH0898091A - オフセット補正データ自動切替え回路 - Google Patents

オフセット補正データ自動切替え回路

Info

Publication number
JPH0898091A
JPH0898091A JP6231207A JP23120794A JPH0898091A JP H0898091 A JPH0898091 A JP H0898091A JP 6231207 A JP6231207 A JP 6231207A JP 23120794 A JP23120794 A JP 23120794A JP H0898091 A JPH0898091 A JP H0898091A
Authority
JP
Japan
Prior art keywords
data
offset
observation scene
component
reference offset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP6231207A
Other languages
English (en)
Other versions
JP3584499B2 (ja
Inventor
Mitsuya Kawashita
光也 川下
Eiji Nameki
英時 行木
Yuichi Matsuda
裕一 松田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP23120794A priority Critical patent/JP3584499B2/ja
Publication of JPH0898091A publication Critical patent/JPH0898091A/ja
Application granted granted Critical
Publication of JP3584499B2 publication Critical patent/JP3584499B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

(57)【要約】 【目的】 赤外線映像装置用オフセット補正データ自動
切替え回路に関し、検知素子のオフセット電圧のバラツ
キに対して効率的な補正及び表示レベルの変動抑圧が可
能なオフセットデータ自動切替え補正回路の提供を目的
とする。 【構成】 検知素子が送出するN種類の出力を温度別の
基準オフセットデータとして取り出し、平均値と交流成
分を求めて格納する第1のデータ格納・演算手段と、入
力した観測シーンデータの平均値を求め、第1のデータ
格納・演算手段から観測シーンデータの平均値に最も近
い平均値を持つ基準オフセットデータを選択し、対応す
る交流成分を読み出す信号を送出する平均・比較手段
と、入力した観測シーンデータとデータ格納・演算手段
から読み出した交流成分との差分を取って、オフセット
補正された観測シーンデータとして送出する第1のオフ
セット補正手段とを有するように構成する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は赤外線映像装置用オフセ
ット補正データ自動切替え回路に関するものである。
【0002】PV形赤外線検知器を用いた赤外線映像装置
においては、赤外線検知素子のオフセット電圧のバラツ
キによる表示画像の水平走査ライン間の輝度ムラを補正
しなければならない。
【0003】そこで、オフセット電圧のバラツキに対す
る効率的な補正及び表示レベルの変動抑圧が可能なオフ
セット補正データ自動切替え回路の提供が必要である。
【0004】
【従来の技術】図7は従来例の構成図である。図7にお
いて、観測シーンからの赤外線は、レンズで構成された
光学系71を通って検知器72に入射する。検知器は入射し
た赤外線をそのまま電気信号に変換してアナログ/ ディ
シタル(A/D) 変換器73に送出する。
【0005】ここで、検知器72は、例えば、複数個の赤
外線検知素子が縦一列に配置されたもので、検知器出力
がどの様な並び方で出力されるかは装置によってそれぞ
れ異なる。例えば、 一番下の検知素子の出力から順次、上の方の検知素
子の出力を送出する、下から上への並びの場合、 と逆に、上から下への並びの場合、 左から右への並びの場合などがある。
【0006】さて、A/D 変換器73は入力したアナログ信
号をディジタルデータに変換した後、オフセット補正部
分8、感度補正データ演算部分74、感度補正データメモ
リ75、乗算器76で構成された感度補正部分などで必要な
補正を行って( 後述する) 、フレームメモリ77に加え
る。
【0007】フレームメモリ77は、上記の様に、装置に
よって異なる検知器出力データの並びをテレビ信号フォ
ーマットに走査変換する機能を持っているので、入力し
たディジタルデータはここで水平方向の並びに変換され
た後、D/A 変換器78でアナログ信号に変換されてCRT で
画面表示される。
【0008】ここで、PV形赤外線検知器を用いた赤外線
映像装置においては、検知器を構成する検知素子のオフ
セット電圧のバラツキによって発生する表示画像の水平
走査ライン間の輝度ムラを補正する為、下記の方法が用
いられている。
【0009】即ち、光学系71であるレンズの前を鉄板
(シャッター)や紙などの常温( 例えば、20度) の基準
板で覆い、入射赤外線をさえぎった状態で各検知素子の
出力をA/D 変換器73を介して基準オフセットデータとし
てオフセットデータメモリ82に格納する。これにより、
基準板と同じ温度の観測シーンを見た時の検知素子毎の
バラツキがメモリに格納されたことになる。
【0010】そこで、観測シーンを見た時のA/D 変換器
73の出力から、オフセットデータメモリ82に格納された
基準オフセットデータを減算器81で減算して検知器のバ
ラツキを補正する。
【0011】次に、感度補正について説明する。一般
に、検知素子の感度にはバラツキがあるので、観測シー
ンの温度が変化すると検知素子毎に出力が変化する。そ
こで、検知素子に高温と低温の観測シーンを見せた時、
A/D 変換器73の出力が設定した感度になる様な係数を感
度補正データ演算部分74で求め、この係数を感度補正デ
ータメモリ75に格納しておく。
【0012】これにより、乗算器76は減算器81の出力(
オフセット電圧のバラツキを補正したディジタルデー
タ) に、感度補正データメモリ75から取り出したそれぞ
れの検知素子に対応する係数を乗算して感度補正をした
後、ディジタルデータを上記のフレームメモリ77に格納
する。
【0013】
【発明が解決しようとする課題】
(1) 基準となる画像データを取り込む為のシャッタ等の
基準板と観測シーンとの間の温度との温度差が大きい
時、下記の様な課題が発生する。 入射光量( 温度) に対応して検知素子毎の感度が変
化する。即ち、温度がずれるとオフセット電圧自体が変
化する。そこで、観測シーンに近い温度を持つ基準板を
用いて、基準オフセットデータを取り直す必要がある。 オフセット補正により、光学系等で発生するシェー
ディングも一緒に補正することになるが、シェーディン
グ量及び波形は赤外線映像装置の内部温度と観測シーン
の温度( 即ち、外部温度) の差により決まる為、温度の
差が大きくなるとシェーディングの補正がくずれ、再
度、補正が必要となる。
【0014】即ち、装置の内部と外部で温度差がある
が、例えば、常温の基準板でこの温度差も含めて補正を
行っていたので、温度差が大きくなれば、再度、補正が
必要となる。 (2) 温度の異なる基準板( 基準熱源と云う) を使用す
る場合、使用する基準板の温度に対応してCRT 上で見て
いる表示の明るさが変化するので、見やすいレベルにす
る為に表示レベルの調整が必要となる。
【0015】例えば、20度の基準熱源を用いて補正した
観測シーンの画像を見ていたが、温度の高い観測シーン
を見る為に30度の基準熱源を用いて補正したとする。こ
の状態で、今まで見ていた20度の観測シーンの画像を見
ると表示レベルが暗い雰囲気になる。
【0016】そこで、見やすいレベルとなる様に表示レ
ベルの調整が必要となる。また、画像データから取り込
んだ基準オフセットデータに何の加工もせずそのまま減
算して表示データとしていた為、基準板の温度により表
示レベルが異なると云う課題があった。
【0017】
【課題を解決するための手段】第1の本発明は、それぞ
れ異なる温度のN種類の基準熱板を用いて入射赤外線を
さえぎった時、検知素子が送出するN種類の出力を温度
別の基準オフセットデータとして取り出すと共に、該取
り出した基準オフセットデータの平均値と交流成分を求
めて格納する第1のデータ格納・演算手段と、入力した
観測シーンデータの平均値を求め、該第1のデータ格納
・演算手段から該観測シーンデータの平均値に最も近い
平均値を持つ基準オフセットデータを選択し、該選択し
た基準オフセットデータの交流成分を読み出す信号を該
データ格納・演算手段に送出する平均・比較手段と、入
力した観測シーンデータとデータ格納・演算手段から読
み出した交流成分との差分を取って、オフセット補正さ
れた観測シーンデータとして送出する第1のオフセット
補正手段とを有する様に構成する。
【0018】N=1である第2の本発明は、検知素子が
送出する1種類の出力を基準オフセットデータとして取
り出すと共に、取り出した基準オフセットデータの交流
成分を求めて格納する第2のデータ格納・演算手段と、
入力した観測シーンデータと該第2のデータ格納・演算
手段から読み出した交流成分との差分を取って、オフセ
ット補正を行った観測シーンデータとして送出する第2
のオフセット補正手段とを有する様に構成する。
【0019】第3の本発明は、それぞれ異なる温度のN
種類の基準熱板を用いて入射赤外線をさえぎった時、検
知素子が送出するN種類の出力を温度別の基準オフセッ
トデータとして取り出すと共に、該取り出した基準オフ
セットデータの交流成分を求めて格納する第3のデータ
格納・演算手段と、観測シーンデータが入力した時、該
第1のデータ格納・演算手段から該観測シーンデータに
最も近い同一素子の基準オフセットデータを選択し、該
選択した基準オフセットデータの交流成分を読み出す信
号を該データ格納・演算手段に送出する比較手段と、入
力した観測シーンデータと該第3のデータ格納・演算手
段から読み出した交流成分との差分を取って、オフセッ
ト補正を行った観測シーンデータとして送出する第3の
オフセット補正手段とを有する様に構成する。
【0020】
【作用】従来は基準オフセットデータが1個、即ち、基
準板の温度が一種類であった為、観測シーンデータの温
度が基準板の温度と大きく異なる場合に上記の様な課題
が生じた。
【0021】そこで、第1の本発明では、異なった入射
量(温度)の基準オフセットデータをN種類取り込ん
で、補正データ(交流成分)を求め、観測シーンデータ
の温度に最も近い補正データを用いて、観測シーンデー
タをきめ細かに補正する様にした。即ち、 オフセット補正を行う為の基準オフセットデータを
温度別に複数種類取得する。 取得した基準オフセットデータについて、温度別に
それぞれの平均値を求める。 基準オフセットデータからそれぞれの平均値を引い
て、温度別の1フレームの交流成分を求める。 観測シーンデータの平均(フレーム又は、水平ライ
ン)をリアルタイムに演算して、平均値に最も近い基準
オフセットデータを選ぶ。そして、観測シーンデータか
ら選択した基準オフセットデータの交流成分を引いて、
オフセット補正した観測シーンデータを取り出す。
【0022】なお、第2の本発明の場合は基準オフセッ
トデータは1種類の為、第1の本発明の様な交流成分を
選択する機能は持っていない。また、第3の本発明の場
合は素子単位に補正を行う。これにより、上記の課題が
解決する。
【0023】
【実施例】図1は第1の本発明の実施例の構成図(基準
オフセットデータメモリN個の場合)、図2は図1中の
データ格納・演算手段の説明図で、(a) はN個の基準オ
フセットデータの取り込み説明図、(b) は構成図であ
る。
【0024】図3は図1中の演算手段の動作説明図で、
(a) は基準オフセットデータ及び基準オフセットデータ
の平均値の関係説明図、(b) は基準オフセットデータの
交流成分説明図、図4は図1中の平均・比較手段、平均
値及び交流成分メモリ、オフセット補正手段の構成図、
図5は第2の本発明の実施例の構成図( 基準オフセット
データメモリ1個の場合)、図6は第3の本発明の実施
例の構成図(1素子毎の場合)である。
【0025】ここで、全図を通じて同一符号は同一対象
物を示す。また、本発明は図7中の点線部分を改良した
もので、図1、図5、図7中の記号A, B, C は一致す
る。以下、図1〜図6の説明を行うが、上記で詳細説明
した部分については概略説明し、本発明の部分は詳細説
明する。
【0026】先ず、図7において、光学系71の前をそれ
ぞれ異なる温度のN 種類の基準熱板で順次に覆って入射
赤外線をさえぎった状態で、検知器72の出力をA/D 変換
器73を介して基準オフセットデータとして図1内の第1
のデータ格納・演算手段1に送出する。
【0027】第1のデータ格納・演算手段1は図2に示
す構成になっているが、入力した基準オフセットデータ
を図2(b) に示すN 個の基準オフセットデータメモリ11
の中の対応する基準オフセットデータメモリ部分111, 1
12に格納する。なお、それぞれの基準オフセットデータ
は複数回に分けて取得したものである(図2(a) 参照)
【0028】そして、平均値演算部分21で取得したN 種
類の温度別基準オフセットデータの平均値をそれぞれ求
め( 図3(a) 参照) 、これらの平均値を平均値メモリ12
に格納する。
【0029】また、図1内の演算手段2で、上記の温度
別基準オフセットデータから対応する平均値を引いて、
図3(b) に示す様に1フレームの温度別基準オフセット
データの交流成分を取り出して交流成分メモリ3に格納
する。
【0030】一方、観測シーンからの赤外線は図7に示
す様に、光学系71を通って検知器72で電気信号に変換さ
れた後、A/D 変換器73で観測シーンデータに変換され
て、図4に示す平均値演算部分41と演算部分51に印加す
る。
【0031】そこで、平均値演算部分41は入力した観測
シーンデータの1フレーム/1水平走査ライン毎の平均
値をリアルタイムで演算して比較部分42に加える。比較
部分42には平均値メモリ12からの温度別基準オフセット
データの平均値も加えられているので、2つの平均値を
比較して観測シーンデータの平均値に最も近い基準オフ
セットデータの平均値を選択する。
【0032】また、交流成分メモリ3を構成する温度別
交流成分メモリ部分31, 32から選択した平均値に対応す
る基準オフセットデータの交流成分を読み出して演算部
分51送出する。
【0033】演算部分51は観測シーンデータから印加し
た交流成分を引いた観測シーンデータをオフセット補正
をした観測シーンデータとして送出する。なお、平均値
演算部分及び演算部分51の動作はリアルタイムに行う。
【0034】図5は図1の場合と異なり、基準オフセッ
トデータは1つの温度に対するものであり、動作は図1
とほぼ同じであるので概略の説明をする。即ち、所定温
度の時の基準オフセットデータを基準オフセットデータ
メモリ113 に格納し、平均値演算部分22で平均値を求め
て平均値メモリ部分122 に格納する。そして、演算部分
23で基準オフセットデータから平均値を引いて基準オフ
セットデータの交流成分を取り出して交流成分メモリ33
を介して演算部分51に加える。
【0035】演算部分51には観測シーンデータも印加し
ているので、観測シーンデータから基準オフセットデー
タの交流成分が引かれて、オフセット補正した観測シー
ンデータが得られる。
【0036】なお、オフセット補正手段5を構成する演
算部分51及び演算部分23の動作はリアルタイムで行われ
る。図6は図1と異なり素子毎にオフセット補正を行な
う様にしたものである。
【0037】この為、比較部分43は観測シーンデータが
入力すると、第3のデータ格納・演算手段(上記の第1
のデータ格納・演算手段と構成は同一であるが、ここか
ら基準オフセットデータと交流成分を取り出すので符号
を別にした)1´から入力観測シーンデータに最も近い
基準オフセットデータを選択し、該選択した基準オフセ
ットデータの交流成分を読み出す信号を該データ格納・
演算手段に送出する。
【0038】そこで、演算部分52は入力した観測シーン
データと第3のデータ格納・演算手段から読み出した交
流成分との差分を取って、オフセット補正された観測シ
ーンデータとして送出する。
【0039】これにより、表示画像の水平走査ライン間
及び素子間の輝度ムラを自動的に補正することができ
る。
【0040】
【発明の効果】以上詳細に説明した様に本発明によれ
ば、検知素子のオフセット電圧のバラツキに対して効率
的な補正及び表示レベルの変動抑圧が可能なオフセット
データ自動切替え補正回路を提供できると云う効果があ
る。
【図面の簡単な説明】
【図1】第1の本発明の実施例の構成図(基準オフセッ
トデータメモリN個の場合)である。
【図2】図1中のデータ格納・演算手段の説明図で、
(a) はN個の基準オフセットデータの取り込み説明図、
(b) は構成図である。
【図3】図1中の演算手段の動作説明図で、(a) は基準
オフセットデータ及び基準オフセットデータの平均値の
関係説明図、(b) は基準オフセットデータの交流成分説
明図である。
【図4】図1中の平均・比較手段、平均値及び交流成分
メモリ、オフセット補正手段の構成図である。
【図5】第2の本発明の実施例の構成図( 基準オフセッ
トデタメモリ1個の場合)である。
【図6】第3の本発明の実施例の構成図(1素子毎の場
合)
【図7】従来例の構成図である。
【符号の説明】
1 データ格納・演算手段 2 演算手段 3 交流成分メモリ 4 平均・比較手段 5 オフセット補正手段 11 基準オフセットデータメモリ 12 平均値メモリ

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 赤外線検知器を構成する検知素子のオフ
    セット電圧のバラツキによって生ずる、表示画像の水平
    走査ライン間及び素子間の輝度ムラを補正する回路にお
    いて、 それぞれ異なる温度のN種類(N≧2の正の整数)の基
    準熱板を用いて入射赤外線をさえぎった時、検知素子が
    送出するN種類の出力を温度別の基準オフセットデータ
    として取り出すと共に、該取り出した基準オフセットデ
    ータの平均値と交流成分を求めて格納する第1のデータ
    格納・演算手段と、 入力した観測シーンデータの平均値を求め、該第1のデ
    ータ格納・演算手段から該観測シーンデータの平均値に
    最も近い平均値を持つ基準オフセットデータを選択し、
    該選択した基準オフセットデータの交流成分を読み出す
    信号を該データ格納・演算手段に送出する平均・比較手
    段と、 該入力した観測シーンデータと該データ格納・演算手段
    から読み出した交流成分との差分を取って、オフセット
    補正された観測シーンデータとして送出する第1のオフ
    セット補正手段とを有することを特徴とするオフセット
    補正データ自動切替え回路。
  2. 【請求項2】 上記の回路において、 N=1の時、検知素子が送出する1種類の出力を基準オ
    フセットデータとして取り出すと共に、取り出した基準
    オフセットデータの交流成分を求めて格納する第2のデ
    ータ格納・演算手段と、 入力した観測シーンデータと該第2のデータ格納・演算
    手段から読み出した交流成分との差分を取って、オフセ
    ット補正を行った観測シーンデータとして送出する第2
    のオフセット補正手段とを有することを特徴とするオフ
    セット補正データ自動切替え回路。
  3. 【請求項3】 上記の回路において、 それぞれ異なる温度のN種類(N≧2の正の整数)の基
    準熱板を用いて入射赤外線をさえぎった時、検知素子が
    送出するN種類の出力を温度別の基準オフセットデータ
    として取り出すと共に、該取り出した基準オフセットデ
    ータの交流成分を求めて格納する第3のデータ格納・演
    算手段と、 観測シーンデータが入力した時、該第1のデータ格納・
    演算手段から該観測シーンデータに最も近い同一素子の
    基準オフセットデータを選択し、該選択した基準オフセ
    ットデータの交流成分を読み出す信号を該データ格納・
    演算手段に送出する比較手段と、 入力した観測シーンデータと該第3のデータ格納・演算
    手段から読み出した交流成分との差分を取って、オフセ
    ット補正を行った観測シーンデータとして送出する第3
    のオフセット補正手段とを有することを特徴とするオフ
    セット補正データ自動切替え回路。
JP23120794A 1994-09-27 1994-09-27 オフセット補正データ自動切替え回路 Expired - Fee Related JP3584499B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP23120794A JP3584499B2 (ja) 1994-09-27 1994-09-27 オフセット補正データ自動切替え回路

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP23120794A JP3584499B2 (ja) 1994-09-27 1994-09-27 オフセット補正データ自動切替え回路

Publications (2)

Publication Number Publication Date
JPH0898091A true JPH0898091A (ja) 1996-04-12
JP3584499B2 JP3584499B2 (ja) 2004-11-04

Family

ID=16920024

Family Applications (1)

Application Number Title Priority Date Filing Date
JP23120794A Expired - Fee Related JP3584499B2 (ja) 1994-09-27 1994-09-27 オフセット補正データ自動切替え回路

Country Status (1)

Country Link
JP (1) JP3584499B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001518760A (ja) * 1997-09-26 2001-10-16 イギリス国 センサシステム
JP2011199351A (ja) * 2010-03-17 2011-10-06 Mitsubishi Electric Corp 撮像装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001518760A (ja) * 1997-09-26 2001-10-16 イギリス国 センサシステム
JP2011199351A (ja) * 2010-03-17 2011-10-06 Mitsubishi Electric Corp 撮像装置

Also Published As

Publication number Publication date
JP3584499B2 (ja) 2004-11-04

Similar Documents

Publication Publication Date Title
JP4833085B2 (ja) 外挿法によって画像フィールドデータを修正する手法
US7812801B2 (en) Imaging apparatus
US8462221B2 (en) Method for producing high dynamic range images
US8922680B2 (en) Image processing apparatus and control method for image processing apparatus
US20110149111A1 (en) Creating an image using still and preview
JP5541718B2 (ja) 撮像装置及びその欠陥画素検出方法
JP4329409B2 (ja) 電子カメラのシェーディング補正回路
JP2015130630A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
US8237827B2 (en) Digital photographing apparatus for correcting smear taking into consideration acquired location relationship
KR20010050876A (ko) 화소 결함 검출 방법 및 화상 처리 장치
US20030214590A1 (en) System and method for adaptively compensating for dark current in an image capture device
JP5547548B2 (ja) 電子増倍率の測定方法
JP2002290841A (ja) 撮像装置および電子カメラ
JPH0898091A (ja) オフセット補正データ自動切替え回路
JP5271201B2 (ja) 画像信号処理装置及び撮像装置
JPH0732467B2 (ja) 赤外ビデオカメラ用シエーデイング補正装置
JPH11177891A (ja) 撮像出力の補正方法、補正装置、撮像装置、及び撮像システム
JP3243113B2 (ja) 赤外線センサにおけるオフセット値生成装置、オフセット及びゲインの補正方法並びに温度測定誤差補正装置
JPH02215286A (ja) Pn接合型赤外線多素子検知器のオフセット及び感度の補正回路
JP2007158981A (ja) 撮像装置
JPH10294912A (ja) 画像のダイナミックレンジを拡張する方法および装置
JP3495571B2 (ja) シェーディング補正機能付き非冷却赤外線2次元センサカメラ
WO2003073751A1 (en) Noise suppression in infra red detector arrays
JPH07105916B2 (ja) 撮像装置
Kamberova Understanding the systematic and random errors in video sensor data

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040427

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040617

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040713

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040726

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080813

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090813

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090813

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100813

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110813

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120813

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees