JP4067728B2 - 赤外線検知素子の入出力特性の補正方法 - Google Patents

赤外線検知素子の入出力特性の補正方法 Download PDF

Info

Publication number
JP4067728B2
JP4067728B2 JP32128999A JP32128999A JP4067728B2 JP 4067728 B2 JP4067728 B2 JP 4067728B2 JP 32128999 A JP32128999 A JP 32128999A JP 32128999 A JP32128999 A JP 32128999A JP 4067728 B2 JP4067728 B2 JP 4067728B2
Authority
JP
Japan
Prior art keywords
shutter speed
electronic shutter
input
calibration data
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP32128999A
Other languages
English (en)
Other versions
JP2001141558A (ja
Inventor
弘樹 下前
理 中村
政樹 蒲田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP32128999A priority Critical patent/JP4067728B2/ja
Publication of JP2001141558A publication Critical patent/JP2001141558A/ja
Application granted granted Critical
Publication of JP4067728B2 publication Critical patent/JP4067728B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、IRFPA(InfraRed Focal Plane Array)素子等の赤外線検知素子の入出力特性の補正方法に関する。
【0002】
【従来の技術】
図1に従来の一般的な赤外線映像装置の構成を示す。この装置は、目的物体及び目的物体付近から放射された赤外線を赤外線光学系1により光学的に集光し、集光された赤外線を冷却器2で冷却された多素子型赤外線検知器3で電気信号に変換し、この電気信号を増幅部4で増幅後、ADコンバータ5でデジタルの画像データにAD変換して信号処理部6に入力し、信号処理部6において所定の解析処理を行って目的物の位置を確認し、或いは可視像をCRT等のディスプレイ装置(図示せず)に表示し、表示された映像に基づいて目的物体を視認することができるように構成されている。
【0003】
多素子型赤外線検知器3は例えば64×64の赤外線検知素子をマトリックス状に配列して構成され、各赤外線検知素子から赤外線の強さ、換言すれば輝度レベルに応じた値を有する電気信号が出力される。尚、多素子型赤外線検知器はIRFPA素子と同義である。
【0004】
IRFPA素子を使用した撮像装置では、IRFPA素子内の各素子の入出力特性が違うため、全面均一な光量が入射した場合でも各素子の出力値が異なり、FPN(Fixed Pattern Noise)(輝度斑)が発生し、画質の低下を招く。また、計測機器としてFPA検知素子を使用する場合には、前述の均一性に加えて厳密な入出力特性のリニアリティが要求される。そのために、様々な入出力特性の補正方法が開発され、補正演算後の各素子の入出力特性を均一に保っている。これらの方法は、IRFPA素子の駆動条件(特に電子シャッタ速度)が一定であれば有効である。
【0005】
【発明が解決しようとする課題】
ところで、IRFPA素子を使用した撮像装置は、様々な撮影対象(例えば絶対的な入射光量が小さいものから大きなものまで)をカバーする目的で、電子シャッタ速度を切り替えることができるように構成されている。ここで、電子シャッタ速度とは、IRFPA素子の各素子が入射光を光電変換し発生させた電荷を蓄積する時間(機械式シャッタ付きカメラなどでいうところの露出時間)に対応している。その時問題になるのが、IRFPA素子の駆動条件の1つである電子シャッタ速度を変化させていることにより、電子シャッタ速度に応じてIRFPA素子の入出力特性が変化してしまうことである。
【0006】
図2のグラフは、IRFPA素子のある1素子の入出力特性を電子シャッタ速度に応じて示している。IRFPA素子への入射照度は電子シャッタ速度に相対的であるので、ここではノーマライズ(規格化)した絶対的な入射照度として示している。電子シャッタ速度は、電子シャッタ制御部から出力される電子シャッタ速度信号に対応しており、露出時間に比例するものである。検知素子出力は、IRFPA素子の出力値(量子化したもの)そのものを示している。
【0007】
図2から明らかなように、電子シャッタ速度に応じてIRFPA素子の入出力特性が変化している。
【0008】
図3は従来の入出力特性の補正方法を採用した場合におけるグラフを示している。ここでは、図2の検知素子出力に代えて補正出力が示されている。従来の補正方法での固定した1種類の校正データでは対応することができず、その校正データを作成するために使用したIRFPA素子の入出力特性を取りこんだ電子シャッタ速度(図3では512)から実際に使用する電子シャッタ速度が遠ざかるにつれて、校正データが合わなくなり、補正誤差が増大し、画質が劣化してしまう。尚、従来の補正方法としては、特開平4−105024号公報に記載されているものが知られている。
【0009】
図4はIRFPA素子に求められている理想的な入出力特性を示すグラフである。ここでは、電子シャッタ速度の変化に係わらず入出力特性が同じである。
【0010】
よって、本発明の目的は、シャッタ速度等の動作条件の変更に係わらず補正誤差の少ない赤外線検知素子の入出力特性の補正方法を提供することにある。
【0011】
【課題を解決するための手段】
本発明によると、赤外線検知素子の入出力特性のバラツキを補正する方法であって、設定可能なシャッタ速度の全範囲を2N(Nは自然数)で表されるシャッタ速度幅で分割し、該分割されたシャッタ速度の各範囲の境界のシャッタ速度で赤外線検知素子の入出力特性を測定し、測定された入出力特性毎に校正データを作成し、この校正データに対応する前記境界のシャッタ速度の前記シャッタ速度幅による除算結果に基づき、メモリのアドレス領域に記憶しておき、使用時のシャッタ速度の前記シャッタ速度幅による除算結果に基づき、該シャッタ速度が属する前記範囲の境界のシャッタ速度での校正データを前記メモリから読み出し、該校正データに基づき、前記赤外線検知素子の入出力特性を補正し、前記使用時の前記シャッタ速度はデジタル値であり、前記除算は該デジタル値のNビットのシフト演算により行うことを特徴とする赤外線検知素子の入出力特性の補正方法が提供される。
【0012】
この方法によると、設定可能なシャッタ速度の全範囲を2 N (Nは自然数)で表されるシャッタ速度幅で分割し、該分割されたシャッタ速度の各範囲の境界のシャッタ速度赤外線検知素子の入出力特性を測定し、測定された入出力特性毎に校正データを作成し、この校正データに対応する前記境界のシャッタ速度の前記シャッタ速度幅による除算結果に基づくメモリのアドレス領域に記憶しておき、使用時のシャッタ速度の前記電子シャッタ幅による除算結果に基づき、該シャッタ速度が属する前記範囲の境界のシャッタ速度での校正データを前記メモリから読み出し、該校正データに基づき、前記赤外線検知素子の入出力特性を補正前記使用時の前記シャッタ速度はデジタル値であり、前記除算は該デジタル値のNビットのシフト演算により行うので演算速度が向上する
【0015】
このように、本発明によると、赤外線検知素子の入出力特性のバラツキを補正する方法であって、複数の代表的なシャッタ速度において赤外線検知素子の入出力特性を測定して測定された入出力特性をもとにシャッタ速度毎に校正データを作成してこれを記憶しておき、その中から使用時のシャッタ速度に応じた赤外線検知素子の校正データを用いて、赤外線検知素子の入出力特性を補正することを特徴とする赤外線検知素子の入出力特性の補正方法が提供される。
【0016】
【発明の実施の形態】
以下、本発明の望ましい実施の形態を詳細に説明する。
【0017】
図5は本発明方法を実施するのに適した赤外線撮像装置のブロック図である。この装置は、概略的には、FPA検知素子(IRFPA素子)2と、電子シャッタ制御部4と、補正部6とを有している。補正部6は、電子シャッタ対応部8と、仮補正演算部10と、メモリアドレス合成部12と、校正データメモリ部14とを含む。
【0018】
電子シャッタ制御部4には、マニュアルにより設定され得る電子シャッタ速度切換え指令信号16が供給される。電子シャッタ制御部4は、電子シャッタ制御信号18をFPA検知素子2に供給すると共に、電子シャッタ速度信号20を電子シャッタ対応部8に供給する。
【0019】
撮影対象22からの赤外線はレンズ24を介してFPA検知素子2に入射する。FPA検知素子2からのFPA検知素子出力信号26は、アンプ28により増幅されてA/Dコンバータ30によりアナログ/デジタル変換されて仮補正演算部10に供給される。
【0020】
素子アドレス発生部32からの素子アドレス34と、電子シャッタ対応部8からの校正データ番号36と、仮補正演算部10からのオプション38とがメモリアドレス合成部12で合成されて、メモリアドレス40として校正データメモリ部14に供給される。校正データメモリ部14はROM(リードオンリメモリ)により提供され得る。校正データメモリ部14からの校正データ42は仮補正演算部10に供給され、仮補正演算部10からの仮補正出力信号44は電子シャッタ対応部8に供給される。電子シャッタ対応部8からの補正出力信号46はD/Aコンバータ48によりデジタル/アナログ変換され、アンプ50で増幅されてビデオ信号52としてビデオモニタ54に供給される。
【0021】
電子シャッタ対応部8は、電子シャッタ速度切換え指令信号16に従って電子シャッタ制御部4で生成された電子シャッタ速度信号20を入力され電子シャッタ速度領域判定を行って、仮補正演算部10にて使用する校正データの校正データ番号36を生成する。また、電子シャッタ対応部8は、仮補正演算部10から仮補正出力信号44を受取り、仮補正出力信号44と電子シャッタ速度信号20にて補間演算を行い、その結果を補正出力信号46として出力する。
【0022】
仮補正演算部10は、A/Dコンバータ30により量子化されたFPA検知素子出力信号26を入力され、その信号と校正データメモリ部14からの校正データ42とにより例えば従来の補正方法を用いて補正演算を行い、仮補正出力信号44を出力する。使用される補正演算(多点補正など)によっては、校正データ42の中を更に分割しており入力レベル領域選択を行うこともある(オプション38に対応)。
【0023】
メモリアドレス合成部12は、素子アドレス発生部32よりFPA検知素子出力信号26に対応した素子アドレス34を入力され、電子シャッタ対応部8からの校正データ番号36とアドレスの合成を行い、メモリアドレス40として出力する。
【0024】
校正データメモリ部14には、校正データ番号36毎に仮補正演算部10で使用する校正データ42が予め納められており、校正データメモリ部14は、メモリアドレス合成部12からのメモリアドレス40に対応した校正データ42を出力する。
【0025】
図6は図5に示される補正部6の第1実施形態における動作原理を示す図である。電子シャッタ制御部4(図5参照)にて電子シャッタ速度信号20を電子シャッタ速度番号20´として出力することにより電子シャッタ対応部8(図5参照)それ自身は不要になり、メモリアドレス合成部12は電子シャッタ速度番号20´を校正データ番号36(図5参照)として認識し直接入力する。
【0026】
図7は図5に示される補正部6の第2実施形態における動作原理を示す図である。電子シャッタ対応部8は領域判定演算部56のみによって構成される。領域判定演算部56は、入力された電子シャッタ速度信号20に基づき電子シャッタ速度が予め設定された電子シャッタ速度領域のどの領域に入っているかを式1により演算し、領域番号36´を出力する。メモリアドレス合成部12は領域番号36´を校正データ番号36として認識し直接入力する。
【0027】
(式1) 一般的な領域判定演算式
ルックアップテーブル(LUT)を用いる方法 F=LUT(S)
電子シャッタ速度領域の幅を一定にする方法 F=S/W 小数点切り捨て
F:領域番号
S:電子シャッタ速度
W:電子シャッタ速度領域の幅。
【0028】
図8は図5に示される補正部6の第3実施形態における動作原理を示す図である。電子シャッタ対応部8は、領域判定演算部56と、両境界校正データ番号発生部58と、補間演算部60とからなる。電子シャッタ速度信号20は領域判定演算部56及び補間演算部60に入力され、領域判定演算部56は領域番号36´を出力する。両境界校正データ番号発生部でその領域番号36´に該当する校正データ番号36を式2に示す演算式にて位置素子の補正計算時間内に両境界分(2つ)算出し、メモリアドレス合成部12で2つのメモリアドレス40を生成し、それにより得られた校正データ42でそれぞれ仮補正演算を行ない2つの仮補正出力信号44を得る。更に、補間演算部60にて、その2つの仮補正出力信号44と領域番号36と電子シャッタ速度信号20とから現在使用中の電子シャッタ速度での補正出力値を式3に示す比例演算式にて補間演算して出力する。
【0029】
(式2) 両境界校正データ番号算出式
CL=F
CH=F+1
CL:電子シャッタ速度領域の高速度(短露出時間)側の校正データ番号
CH:電子シャッタ速度領域の速度(長露出時間)側の校正データ番号。
【0030】
(式3) 一般的な補間演算式
Y={(B−A)×(S−L)}/W+A
Y:補正出力値
A:電子シャッタ速度領域のBと反対側の境界に当たる仮補正出力値
B:電子シャッタ速度領域のAと反対側の境界に当たる仮補正出力値
L:電子シャッタ速度領域のA側の境界に当たる電子シャッタ速度
注)LとWは、補間演算部において領域番号(式1.のF)毎に予め決められている値。
【0031】
電子シャッタ速度領域の幅を2の累乗値で一定にし、演算する方法を式4に示す。
【0032】
(式4) 領域判定演算式
F=S>>N
注)>>は右(LSB側)ビットシフト
F:領域番号
S:電子シャッタ速度
N:2を底とする電子シャッタ速度領域の幅Wの対数(N=log2W)
Wは2のN乗でありNは整数であること。
【0033】
また、式5に示すような演算式を用いて比例演算を行うようにしても良い。
【0034】
(式5) 比例演算式
Y=((B−A)×(S&(2N−1))>>N+A
上記の(S&(2N−1))とは、要するにSの下位ビットN個を抽出することである。
【0035】
図9は図8の具体例を示すブロック図である。ここでは、式4の領域判定演算式及び式5の比例演算式が適用されている。素子クロック62が両境界校正データ番号発生部58及び補間演算部60に供給されている。
【0036】
電子シャッタ速度信号20は9ビットからゼロビットまで(9:0)の10桁のデジタル信号で与えられており、FPA検知素子出力信号26は11ビットからゼロビットまで(11:0)の12桁のデジタル信号で与えられており、素子アドレス34は13ビットからゼロビット(13:0)の14桁のデジタル信号で与えられている。
【0037】
両境界校正データ番号発生部58はアダー64を含む。仮補正演算部10は積算器(マルチプレクサ:MPY)66とアダー68とを含む。補間演算部60はラッチ回路70、アダー72、積算器74及びアダー76を含む。
【0038】
図10は図9の校正における1演算中のタイムチャートを示している。上から順に、電子シャッタ、素子クロック、FPA出力、素子アドレス及び補正出力である。
【0039】
一般的なFPA検知素子は、図2に示されるように、電子シャッタ速度が768付近では良い特性を示しているが、電子シャッタ速度が小さくなるとゲインが低下しているのがわかる。このようにFPA検知素子では、電子シャッタ速度を変化させると入出力特性も変わってしまう。また、ここでは示されていないが、入出力特性は素子毎に全て異なった値を示す。
【0040】
図3のグラフは図2の特性をもとに従来の補正方法にて補正シミュレーションを行った結果である。電子シャッタ速度512の1ヶ所にて作成した校正データを使用し補正しているため、校正データを作成した電子シャッタ速度付近では非常に良い補正結果が得られているが、その速度から離れていくにつれて特性が歪んで行き補正誤差が大きくなる。
【0041】
図4のグラフは理想的なFPA検知素子の入出力特性を示している。電子シャッタ速度が変化しても特性に歪が無く一定であることがわかる。本発明方法を適用することによって、この特性に補正出力値を近づけることができる。
【0042】
図11のグラフは図2の特性をもとに図6の実施形態にて補正シミュレーションを行った結果である。4つの電子シャッタ速度(△)にて校正データを作成し、使用可能な電子シャッタ速度をその4つに限定することで、その4つの電子シャッタ速度において非常に良好な補正が行われていることがわかる。グラフの各線分に付与されている番号は電子シャッタ速度番号である。
【0043】
図12のグラフは図2の特性をもとに図7の実施形態にて補正シミュレーションを行った結果である。電子シャッタ速度を256毎の4つに分割し、各領域の中央の4つの電子シャッタ速度(△)にて校正データを作成している。各領域内では良い補正が行われ、全体的に理想の特性である図4に近づいているのがわかるが、領域の境界に段差が生じている。
【0044】
図13のグラフは、図2の特性をもとに図8の実施形態にて補正シミュレーションを行った結果である。電子シャッタ速度を256毎の4つに分割し、各領域境界の5つの電子シャッタ速度(△)にて校正データを作成している。全電子シャッタ速度にて理想の特性である図4に非常に良く似ているのがわかり、非常に良い補正結果が得られている。
【0045】
【発明の効果】
以上説明したように、本発明によると、シャッタ速度等の動作条件の変更に係わらず補正誤差の小さい赤外線検知素子の入出力特性の補正方法の提供が可能になるという効果が生じる。
【図面の簡単な説明】
【図1】図1は赤外線撮像装置の従来技術を示すブロック図である。
【図2】図2は赤外線検知素子の入出力特性を示すグラフである。
【図3】図3は図2の特性をもとに従来の補正方法にて補正シミュレーションを行なった結果を示すグラフである。
【図4】図4は理想的な赤外線検知素子の入出力特性を示すグラフである。
【図5】図5は本発明方法を実施するのに適した赤外線撮像装置のブロック図である。
【図6】図6は図5に示される補正部6の第1実施形態における動作原理を示す図である。
【図7】図7は図5に示される補正部6の第2実施形態における動作原理を示す図である。
【図8】図8は図5に示される補正部6の第3実施形態における動作原理を示す図である。
【図9】図9は図8の具体例を示すブロック図である。
【図10】図10は図9の構成におけるタイムチャートである。
【図11】図11は図2の特性をもとに図6の補正方法にて補正シミュレーションを行なった結果を示すグラフである。
【図12】図12は図2の特性をもとに図7の補正方法にて補正シミュレーションを行なった結果を示すグラフである。
【図13】図13は図2の特性をもとに図8の補正方法にて補正シミュレーションを行なった結果を示すグラフである。
【符号の説明】
2 FPA検知素子
4 電子シャッタ制御部
6 補正部
8 電子シャッタ対応部
10 仮補正演算部
12 メモリアドレス合成部
14 校正データメモリ部

Claims (1)

  1. 赤外線検知素子の入出力特性のバラツキを補正する方法であって、
    設定可能なシャッタ速度の全範囲を2N(Nは自然数)で表されるシャッタ速度幅で分割し、該分割されたシャッタ速度の各範囲の境界のシャッタ速度で赤外線検知素子の入出力特性を測定し、測定された入出力特性毎に校正データを作成し、この校正データに対応する前記境界のシャッタ速度の前記シャッタ速度幅による除算結果に基づき、メモリのアドレス領域に記憶しておき、
    使用時のシャッタ速度の前記シャッタ速度幅による除算結果に基づき、該シャッタ速度が属する前記範囲の境界のシャッタ速度での校正データを前記メモリから読み出し、該校正データに基づき、前記赤外線検知素子の入出力特性を補正し、
    前記使用時の前記シャッタ速度はデジタル値であり、前記除算は該デジタル値のNビットのシフト演算により行うことを特徴とする赤外線検知素子の入出力特性の補正方法。
JP32128999A 1999-11-11 1999-11-11 赤外線検知素子の入出力特性の補正方法 Expired - Fee Related JP4067728B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP32128999A JP4067728B2 (ja) 1999-11-11 1999-11-11 赤外線検知素子の入出力特性の補正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP32128999A JP4067728B2 (ja) 1999-11-11 1999-11-11 赤外線検知素子の入出力特性の補正方法

Publications (2)

Publication Number Publication Date
JP2001141558A JP2001141558A (ja) 2001-05-25
JP4067728B2 true JP4067728B2 (ja) 2008-03-26

Family

ID=18130915

Family Applications (1)

Application Number Title Priority Date Filing Date
JP32128999A Expired - Fee Related JP4067728B2 (ja) 1999-11-11 1999-11-11 赤外線検知素子の入出力特性の補正方法

Country Status (1)

Country Link
JP (1) JP4067728B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0205482D0 (en) 2002-03-08 2002-04-24 Bae Systems Plc Improvements in or relating to infra red camera calibration
JP5361434B2 (ja) * 2009-02-18 2013-12-04 三菱電機株式会社 赤外線カメラ装置
CN103076097A (zh) * 2013-01-06 2013-05-01 河北汉光重工有限责任公司 基于参照源的分段线性非均匀矫正方法

Also Published As

Publication number Publication date
JP2001141558A (ja) 2001-05-25

Similar Documents

Publication Publication Date Title
JP4161295B2 (ja) 画像センサのダイナミックレンジを拡大するカラー画像撮像システム
EP2271071B1 (en) Signal processing apparatus and signal processing method for solid-state image pickup element and image pickup apparatus
JP5312246B2 (ja) 撮像装置及び制御方法
US20080297816A1 (en) Method and system for black-level correction on digital image data
US8154629B2 (en) Noise canceling circuit, noise canceling method, and solid-state imaging device
JP2012090051A (ja) 撮像装置及び撮像方法
JPH05500444A (ja) 固体イメージセンサの出力における感度変動を補償するための方法及び装置
EP0746938A1 (en) Composing an image from sub-images
JP2007174590A (ja) 信号処理装置及び撮像装置
JP4067728B2 (ja) 赤外線検知素子の入出力特性の補正方法
JPH1023335A (ja) 赤外線撮像装置
JP2006352804A (ja) 撮像装置
JPH11112884A (ja) ビデオカメラ装置の暗電流補正方法および該方法によるビデオカメラ装置
JP6701020B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2001174329A (ja) 抵抗変化型赤外線センサ素子の温度補正方法と温度補正手段を具備した抵抗変化型赤外線センサ並びに撮像装置
JPH11298794A (ja) 電子撮像装置
JP2007324998A (ja) 撮像装置
JPH0732467B2 (ja) 赤外ビデオカメラ用シエーデイング補正装置
JP4498086B2 (ja) 画像処理装置および画像処理方法
JP4787403B2 (ja) 自動露出装置及び方法
JP2020129755A (ja) 画像処理装及び方法、及び撮像装置
RU2817046C1 (ru) Способ компенсации геометрического шума матричного фотоприемника, инвариантный к времени экспозиции
JP3603749B2 (ja) 撮像装置
RU87854U1 (ru) Устройство формирования изображения
JP2009239974A (ja) 自動露出装置及び方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060912

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070424

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070612

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080109

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110118

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110118

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120118

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130118

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130118

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140118

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees