JP2889931B2 - 金属材料検査方法及び金属材料検査装置 - Google Patents

金属材料検査方法及び金属材料検査装置

Info

Publication number
JP2889931B2
JP2889931B2 JP2069228A JP6922890A JP2889931B2 JP 2889931 B2 JP2889931 B2 JP 2889931B2 JP 2069228 A JP2069228 A JP 2069228A JP 6922890 A JP6922890 A JP 6922890A JP 2889931 B2 JP2889931 B2 JP 2889931B2
Authority
JP
Japan
Prior art keywords
pixel density
density
pixel
metal material
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2069228A
Other languages
English (en)
Other versions
JPH03269242A (ja
Inventor
智 松下
彰 川崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daido Steel Co Ltd
Toshiba Engineering Corp
Original Assignee
Daido Steel Co Ltd
Toshiba Engineering Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daido Steel Co Ltd, Toshiba Engineering Corp filed Critical Daido Steel Co Ltd
Priority to JP2069228A priority Critical patent/JP2889931B2/ja
Publication of JPH03269242A publication Critical patent/JPH03269242A/ja
Application granted granted Critical
Publication of JP2889931B2 publication Critical patent/JP2889931B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Investigating And Analyzing Materials By Characteristic Methods (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Description

【発明の詳細な説明】 [発明の目的] (産業上の利用分野) 本発明は、画像処理技術を用いた非金属介在物の検査
装置に関する。
(従来の技術) 金属材料中に存在する非金属介在物は金属材料の機械
的諸特性を左右するため、これらの定量解析を行うこと
は金属材料の品質管理を行ううえで大変重要である。
従来より、金属材料中に存在する非金属介在物の検査
方法として、ASTM(American Society for Testing Mat
erials)法と呼ばれる方法が知られている。これは、金
属材料から採取された試料の表面に表れる非金属介在物
を顕微鏡で観察し、その形状や分布状態により金属材料
の品質が決定されるものである。ASTM法では、非金属介
在物は形状や分布状態により第5図に示すようなA系、
B系、C系、D系、TiB系、TiD系の6種類に分類され
る。さらに、各々はThin(薄型)とHeavy(厚型)とに
分類される。そして、分類された非金属介在物の各々に
対して、金属材料の品質が決定される。
ところで、検査者の肉眼による目視検査では、検査速
度や誤差の面で問題があるため、最近では金属材料の検
査を画像処理技術を用いて自動的に行う検査装置が開発
されている。
この検査装置の構成を第6図を用いて説明する。
金属材料から採取された試料1は、ホールダ2に収め
られたうえで顕微鏡3のステージに固定される。ステー
ジに固定された試料1は、照明光源4により顕微鏡3の
光軸と同軸で照明される。顕微鏡3により拡大された試
料1の画像は、顕微鏡3に取付けられたITVカメラ(Ind
ustrial Television;工業用テレビカメラ)5によって
映像信号に変換される。ITVカメラ5から出力された映
像信号は、画像処理装置6に入力され所定の画像処理が
行われる。
この画像処理装置6は、A/Dコンバータ7、フレーム
メモリ8、制御CPU9から構成されており、入力された映
像信号は、まず、A/Dコンバータ7によって1画面を構
成する各画素ごとの濃度が例えば8ビットのディジタル
の濃度情報に変換され、フレームメモリ8に順次格納さ
れる。
次いで、フレームメモリ8に格納された濃度情報が、
制御CPU9により所定の閾値で二値化される。なぜなら
ば、フレームメモリ8に格納された濃度情報には8ビッ
ト幅の濃淡があり、そのままでは非金属介在物の形状を
把握しにくい。そこで、画像の背景と非金属介在物の濃
度が概ね異なる点に着目し、濃度情報を適当な濃度を閾
値として二値化することで、非金属介在物の形状が明確
に抽出される。
そして、これらの濃度情報が制御CPU9を介してホスト
CPU10に送られて、非金属介在物の形状や濃度などの特
徴から解析がなされる。
なお、11は画像処理された試料1の画像を表示するモ
ニタである。
このような画像処理技術が用いられた非金属介在物の
検査装置による検査では、ITVカメラ5で撮像された画
像の品質によって検査精度が大きく左右される。
さらに言えば、画像の品質は試料面の明るさに左右さ
れることから、試料面の明るさが所定のレベルに保たれ
ていることが好ましい。
しかしながら、試料面を照明する照明光源4は、長時
間使用すると経時変化により次第に光量が低下するの
で、正確な検査が行えなくなる場合があった。
(発明が解決しようとする課題) 上述したように、従来の非金属介在物の検査装置で
は、照明光源の経時変化などによる光量の変化によっ
て、正確な検査が行えない場合があるという問題があっ
た。
本発明は、このような点に対処してなされたもので、
試料面の明るさが十分であるか否かを判定させることで
正確な検査が行えるようにした非金属介在物の検査装置
を提供するものである。
[発明の構成] (課題を解決するための手段) 本発明の金属材料検査方法は、金属試料表面を照明す
る工程と、前記金属試料表面を顕微鏡にて拡大視する工
程と、この拡大視された金属試料表面を撮像し、映像信
号に変換する工程と、この映像信号を構成する各画素の
濃度を多値化する工程と、この多値化された各画素の濃
度値を記憶する工程と、この記憶された画素濃度値を水
平方向の各ライン毎に1画面の全ての水平方向ラインに
ついて加算する工程と、この全ての水平方向ライン毎の
画素濃度加算値の平均値を算出する工程と、前記記憶さ
れた画素濃度値を垂直方向の各ライン毎に1画面の全て
の垂直方向ラインについて加算する工程と、この全ての
垂直方向ライン毎の画素濃度加算値の平均値を算出する
工程と、前記水平方向画素濃度平均値並びに垂直方向画
素濃度平均値を所定の値と比較する工程と、この比較結
果に基づいて前記照明の光量の適正、過不足を判定する
工程と、この判定結果に基づいて前記照明光量を適正に
調整する工程とを具備することを特徴としている。
また、本発明の金属材料検査方法は、請求項1記載の
金属材料検査方法において、前記金属試料には非金属介
在物が含まれていることを特徴としている。
さらに、本発明の金属材料検査装置は、金属試料表面
を照明する照明手段と、前記照明手段により照明された
前記金属試料表面を拡大視する顕微鏡と、前記顕微鏡に
より拡大視された金属試料表面を撮像し、映像信号に変
換する撮像手段と、前記撮像手段により変換された前記
映像信号を構成する各画素の濃度を多値化する変換器
と、前記変換器により多値化された各画素の濃度値を記
憶する記憶手段と、前記記憶手段により記憶された前記
画素濃度値を水平方向の各ライン毎に1画面の全ての水
平方向ラインについて加算する第1の加算手段と、前記
第1の加算手段により加算された前記全ての水平方向ラ
イン毎の画素濃度加算値の平均値を算出する第1の算出
手段と、前記記憶手段により記憶された前記画素濃度値
を垂直方向の各ライン毎に1画面の全ての垂直方向ライ
ンについて加算する第2の加算手段と、前記第2の加算
手段により加算された前記全ての垂直方向ライン毎の画
素濃度加算値の平均値を算出する第2の算出手段と、前
記第1、第2の各算出手段により算出された前記水平方
向画素濃度平均値並びに垂直方向画素濃度平均値を所定
の値と比較する比較手段と、前記比較手段による比較結
果に基づいて前記照明の光量の適正、過不足を判定する
判定手段と、前記判定手段による判定結果に基づいて前
記照明手段の前記照明光量を適正に調整する調整手段と
を具備することを特徴としている。
また、本発明の金属材料検査装置は、請求項3記載の
金属材料検査装置において、前記金属試料には非金属介
在物が含まれていることを特徴としている。
(作用) 本発明は、金属材料の非金属介在物の存否等を検査す
る技術に関するもので、特に、検査対象である金属試料
へ照射する照明光源の光量の変化によって不正確な検査
となることを防止するものである。具体的には、照明光
の照射されている金属試料の顕微鏡による拡大像を撮像
手段により撮像して映像信号に変換し、変換された映像
信号の各画素の濃度値を記憶手段に格納する。この画素
濃度値は、当該試料のその画素における明るさと相関し
ている。その後、記憶手段に格納された画像の明るさを
平均値で求める。
特に本発明においては、記憶手段に格納された1画面
の画素濃度値を、水平方向の1ライン分づつ加算し、全
ての水平方向のラインの画素濃度値を加算した後に、更
にこれらの全てのライン毎の画素濃度値を加算し、この
合計値をライン数で除することにより水平方向の平均濃
度値が得られる。同様に、全ての垂直ラインの画素濃度
値を、先ず各垂直ライン毎に加算し、その後全ての垂直
ラインの加算値を合計し、この合計値を垂直ライン数で
除することにより、垂直方向の平均濃度値が得られる。
そして、得られた水平方向の平均濃度値と垂直方向の
平均濃度値のそれぞれを所定の許容値と比較して試料面
の明るさが不足しているか、適正か、過多かを判定し、
この結果に応じて試料を照射する照明光の強弱を調節す
るようにしたものである。
このような本発明により照明光源の経時変化に伴う光
量低下があっても、試料面の水平方向並びに垂直方向の
各ライン毎の画素濃度値の合計値を更に水平方向、垂直
方向の全ラインの各々のライン合計値を加算し、各方向
の画素濃度値の平均値を算出することにより、この平均
値が許容値内であるか否かを判定し、この判定結果に応
じて試料面の照明光量の適否を検出できる。そして、こ
の光量適否の検出結果に応じて、照明光源の光量制御、
即ち、光量増減調整を行うことにより、常に適正な光量
を試料に照射することができる。更に、本願発明におい
ては、水平方向並びに垂直方向の各ラインの画素濃度加
算値を全ライン分合計し、そして平均を得ていることか
ら、例えば、試料面にて一時的、局所的に画素濃度の急
激な増減が発生しても、これらの影響を最小に止めるこ
ともできる。
(実施例) 以下、本発明の実施例を図面を用いて説明する。
第1図は、本発明の一実施例の非金属介在物の検査装
置の構成を示す図である。
同図に示すように、この検査装置は、金属材料から採
取された試料100を拡大視した映像信号を得るための光
学系200と、光学系200により得られた映像信号を画像処
理して非金属介在物の解析を行う処理系300とから構成
されている。
また、光学系200は、複数個の試料100を収納するホー
ルダ210、試料面を光学的に拡大する光学顕微鏡220、光
学顕微鏡220により拡大された試料面を撮像して映像信
号に変換するITVカメラ(Industrial Television;工業
用テレビカメラ)230、試料面を顕微鏡220の光軸と同軸
で照明する照明光源240、顕微鏡220に備えられたオート
フォーカス機構の制御を行うオートフォーカスコントロ
ーラ250、ホールダ210の位置をX-Y2方向に移動させるX
−Yステージ260、処理系300からの指示に基づいてX−
Yステージ260の移動制御を行うX−Yステージコント
ローラ270から構成されている。
なお、照明光源240には、光量調整の機能が設けられ
ており、試料100を照明する光量の調節が可能とされて
いる。
また、処理系300は、検査装置全体の制御と測定デー
タの処理を行う情報処理装置310、情報処理装置310の指
示に基づいてITVカメラ230から映像信号を入力し検査に
必要な画像処理を行う画像処理装置320、ITVカメラ230
で撮像された生画像の表示を行う画像モニタ330、画像
処理装置320で画像処理された画像の表示を行う画像モ
ニタ340、画像処理装置320で画像処理された画像のハー
ドコピーを出力するビデオプリンター350、情報処理装
置310で処理された測定データなどの印字を行うプリン
ター360から構成されている。
なお、312は、情報処理装置310からの指示で所定の表
示を行うモニタディスプレイである。
さらに、画像処理装置320の画像処理に関わる部分に
ついて詳細な構成を第2図に示す。
同図において、321は画像処理装置320全体の制御を行
う制御CPUである。
また、322はITVカメラ230から入力される映像信号の
濃度をディジタル値に変換するA/Dコンバータ、323はA/
Dコンバータ322により変換された濃度情報を記憶するフ
レームメモリである。
さらに、324はフレームメモリ323に記憶されている濃
度情報からなる画像データの画像処理を行う画像処理専
用プロセッサ、325は画像処理専用プロセッサが画像処
理に用いる作業RAMである。
次に、光量点検の動作を第3図に示すフローチャート
を参照しつつ説明する。
まず、試料100に検査の基準となる標準試料を用いた
画像をフレームメモリ323に取込まれる(ステップ30
1)。これは、A/Dコンバータ322に入力された1画面分
の映像信号を構成する例えば縦512画素×横512画素の各
画素の濃度が、A/Dコンバータ322により例えば8ビット
(0〜255)のディジタルの濃度情報に変換され、この
濃度情報がフレームメモリ323に順次記憶されることで
行われる。
次いで、1ライン分の水平射影を算出する(ステップ
302)。ここで、水平射影とは第4図に示すように、画
素ごとの濃度を水平方向(X方向)に1ライン分加算し
たもので、水平方向の明るさを知る指数である。ちなみ
にこの値は、最も明るいとき130560(画素数512×濃度2
55)となり、最も暗いとき0(画素数512×濃度0)と
なる。
この後、全水平ラインの水平射影が算出されたかが確
認され(ステップ303)、全水平ラインについて水平射
影が算出されている場合、水平射影の平均値が算出され
る(ステップ304)。なお、算出されていない場合、次
のラインの水平射影の算出が行われる(ステップ30
2)。
さらに、同様にして、全垂直ラインの垂直射影が算出
され、さらに垂直射影の平均値が算出される(ステップ
305、306、307)。
このようにして算出された水平射影の平均値と垂直射
影の平均値をそれぞれ予め設定されている標準値(例え
ば50000)と比較し、所定の許容値の範囲(例えば±500
0)内に収まっているか否かを調べる(ステップ308)。
この結果、いずれかの平均値が標準値−5000以下であっ
た場合、モニタディスプレイ312上にそれぞれの標準値
と測定値ならびに光量不足である由の表示が行われる
(ステップ309)。また、いずれの平均値も許容範囲内
であった場合、モニタディスプレイ312上に光量は許容
範囲内である由の表示が行われる(ステップ310)。さ
らに、いずれかの平均値が標準値+5000以上である場
合、モニタディスプレイ312上にそれぞれの標準値と測
定値ならびに光量過多であることの表示が行われる(ス
テップ311)。
そして、これらの表示に応じて、検査者は照明光源24
0の光量調整を行って、光量が許容範囲内となるように
調節する。例えば、光量不足である場合には、照明光源
240の光量調整を操作して照明光源240のランプを明るく
し、光量が許容範囲内となるように調節する。調節によ
って所定の光量を得ることができない場合には、電球に
寿命がきたものとして、電球の交換を行う。また、光量
過多である場合には、ランプを暗くし、光量が許容範囲
内となるように調節する。
従って、検査を行う前に光量の点検を行うようにすれ
ば、照明光源240の光量が検査精度に及ぼす影響を小さ
く押さえることが可能となる。
また、1画面を構成する画素数や濃度の分解能などは
本実施例に限定されるものではなく、他の値であって構
わない。
[発明の効果] 本発明では、記憶手段に記憶された濃度情報をもとに
算出される試料の表面の明るさの平均レベルが所定の範
囲内であるか否か判定し、その結果を報知する。
従って、試料の表面の明るさの管理が可能となるの
で、光量が検査精度に及ぼす影響を小さく押さえること
が可能となり、検査精度を向上させることができる。
【図面の簡単な説明】
第1図は本発明の実施例の非金属介在物の検査装置の構
成を示すブロック図、第2図はこの検査装置の画像処理
装置で行われる画像処理に係わる部分の構成を示すブロ
ック図、第3図はこの画像処理装置の光量点検の動作を
示すフローチャート、第4図は水平射影および垂直射影
を説明する図、第5図はASTM法による非金属介在物の分
類図、第6図は従来例の非金属介在物の検査装置の構成
を示すブロック図である。 100……試料、220……光学顕微鏡、230……ITVカメラ、
240……照明光源、260……X−Yステージ、310……情
報処理装置、312……モニタディスプレイ、320……画像
処理装置、321……制御CPU、322……A/Dコンバータ、32
3……フレームメモリ、324……画像処理専用プロセッ
サ、325……作業RAM、330、340……画像モニタ。
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平2−35342(JP,A) 特開 昭62−398705(JP,A) 特開 昭63−309844(JP,A) 特開 昭63−55446(JP,A) 特開 昭63−309644(JP,A) (58)調査した分野(Int.Cl.6,DB名) G01N 21/84 - 21/90

Claims (4)

    (57)【特許請求の範囲】
  1. 【請求項1】金属試料表面を照明する工程と、 前記金属試料表面を顕微鏡にて拡大視する工程と、 この拡大視された金属試料表面を撮像し、映像信号に変
    換する工程と、 この映像信号を構成する各画素の濃度を多値化する工程
    と、 この多値化された各画素の濃度値を記憶する工程と、 この記憶された画素濃度値を水平方向の各ライン毎に1
    画面の全ての水平方向ラインについて加算する工程と、 この全ての水平方向ライン毎の画素濃度加算値の平均値
    を算出する工程と、 前記記憶された画素濃度値を垂直方向の各ライン毎に1
    画面の全ての垂直方向ラインについて加算する工程と、 この全ての垂直方向ライン毎の画素濃度加算値の平均値
    を算出する工程と、 前記水平方向画素濃度平均値並びに垂直方向画素濃度平
    均値を所定の値と比較する工程と、 この比較結果に基づいて前記照明の光量の適正、過不足
    を判定する工程と、 この判定結果に基づいて前記照明光量を適正に調整する
    工程とを具備することを特徴とする金属材料検査方法。
  2. 【請求項2】前記金属試料には非金属介在物が含まれて
    いることを特徴とする請求項1記載の金属材料検査方
    法。
  3. 【請求項3】金属試料表面を照明する照明手段と、 前記照明手段により照明された前記金属試料表面を拡大
    視する顕微鏡と、 前記顕微鏡により拡大視された金属試料表面を撮像し、
    映像信号に変換する撮像手段と、 前記撮像手段により変換された前記映像信号を構成する
    各画素の濃度を多値化する変換器と、 前記変換器により多値化された各画素の濃度値を記憶す
    る記憶手段と、 前記記憶手段により記憶された前記画素濃度値を水平方
    向の各ライン毎に1画面の全ての水平方向ラインについ
    て加算する第1の加算手段と、 前記第1の加算手段により加算された前記全ての水平方
    向ライン毎の画素濃度加算値の平均値を算出する第1の
    算出手段と、 前記記憶手段により記憶された前記画素濃度値を垂直方
    向の各ライン毎に1画面の全ての垂直方向ラインについ
    て加算する第2の加算手段と、 前記第2の加算手段により加算された前記全ての垂直方
    向ライン毎の画素濃度加算値の平均値を算出する第2の
    算出手段と、 前記第1、第2の各算出手段により算出された前記水平
    方向画素濃度平均値並びに垂直方向画素濃度平均値を所
    定の値と比較する比較手段と、 前記比較手段による比較結果に基づいて前記照明の光量
    の適正、過不足を判定する判定手段と、 前記判定手段による判定結果に基づいて前記照明手段の
    前記照明光量を適正に調整する調整手段とを具備するこ
    とを特徴とする金属材料検査装置。
  4. 【請求項4】前記金属試料には非金属介在物が含まれて
    いることを特徴とする請求項3記載の金属材料検査装
    置。
JP2069228A 1990-03-19 1990-03-19 金属材料検査方法及び金属材料検査装置 Expired - Lifetime JP2889931B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2069228A JP2889931B2 (ja) 1990-03-19 1990-03-19 金属材料検査方法及び金属材料検査装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2069228A JP2889931B2 (ja) 1990-03-19 1990-03-19 金属材料検査方法及び金属材料検査装置

Publications (2)

Publication Number Publication Date
JPH03269242A JPH03269242A (ja) 1991-11-29
JP2889931B2 true JP2889931B2 (ja) 1999-05-10

Family

ID=13396659

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2069228A Expired - Lifetime JP2889931B2 (ja) 1990-03-19 1990-03-19 金属材料検査方法及び金属材料検査装置

Country Status (1)

Country Link
JP (1) JP2889931B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08145984A (ja) * 1994-11-21 1996-06-07 Sumitomo Metal Ind Ltd 非金属介在物の検査装置
JP4139743B2 (ja) * 2003-06-12 2008-08-27 日本軽金属株式会社 アルミニウムにおける非金属介在物の測定装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62298705A (ja) * 1986-06-18 1987-12-25 Hitachi Electronics Eng Co Ltd リニアセンサ光源制御方式
JPS63309844A (ja) * 1987-06-12 1988-12-16 Nippon Steel Corp 非金属介在物の検査装置
JPH0235342A (ja) * 1988-07-25 1990-02-05 Datsuku Eng Kk 外観検査方法

Also Published As

Publication number Publication date
JPH03269242A (ja) 1991-11-29

Similar Documents

Publication Publication Date Title
KR930000543B1 (ko) 공작물의 표면균열을 검출 및 평가하기 위한 방법 및 장치
KR100467885B1 (ko) 응집반응을분석하기위한이미지시스템교정방법및장치
KR870008499A (ko) 회로 기판 검사 장치 및 그 방법
JP3361768B2 (ja) 蛍光x線分析装置およびx線照射位置確認方法
CN112767396B (zh) 缺陷的检测方法、装置和计算机可读存储介质
JP2889931B2 (ja) 金属材料検査方法及び金属材料検査装置
US5606410A (en) Method for controlling the surface state of one face of a solid and the associated device
JPS61123985A (ja) 画像処理装置
JPH05180781A (ja) 表面欠陥検査方法及び装置
GB2344242A (en) X-ray image enhancement
JP2909756B2 (ja) 非金属介在物検査方法及び非金属介在物検査装置
JP3435224B2 (ja) 非金属介在物の検査装置
US5146311A (en) Method of indentifying and quantifying oxides on rolled metal strip
JP2006292500A (ja) 表面検査方法及び表面検査装置
JP2939323B2 (ja) 非金属介在物検査方法並びに非金属介在物検査装置
US6826307B1 (en) Contrast determining apparatus and methods
JPH0682390A (ja) 表面欠陥検査方法及び装置
JP2019215185A (ja) 鋳片気泡欠陥の非破壊検査方法
KR20000004110U (ko) 방사선 비파괴검사기의 영상처리 및 영상판독기
JPH0337564A (ja) 自動磁粉探傷装置
KR20000009393A (ko) 방사선투과필름의 영상판독 및 영상처리기
CN117705730A (zh) 薄膜透明度检测系统及方法
JPH084615Y2 (ja) 非金属介在物の検査装置
JP2004347363A (ja) 輝度分布の紛乱程度で電子式ディスプレイの表示品質を検査する方法
JP2001133398A (ja) 凝集像判定方法および装置

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080226

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090226

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100226

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100226

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110226

Year of fee payment: 12

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110226

Year of fee payment: 12