JPH11353488A - 板材の形状認識装置 - Google Patents

板材の形状認識装置

Info

Publication number
JPH11353488A
JPH11353488A JP10156375A JP15637598A JPH11353488A JP H11353488 A JPH11353488 A JP H11353488A JP 10156375 A JP10156375 A JP 10156375A JP 15637598 A JP15637598 A JP 15637598A JP H11353488 A JPH11353488 A JP H11353488A
Authority
JP
Japan
Prior art keywords
edge
shape
plate material
plate
round
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP10156375A
Other languages
English (en)
Other versions
JP4138943B2 (ja
Inventor
Ichiro Egashira
一郎 江頭
Fumio Kumasaka
文雄 熊坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Amada Co Ltd
Original Assignee
Amada Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Amada Co Ltd filed Critical Amada Co Ltd
Priority to JP15637598A priority Critical patent/JP4138943B2/ja
Publication of JPH11353488A publication Critical patent/JPH11353488A/ja
Application granted granted Critical
Publication of JP4138943B2 publication Critical patent/JP4138943B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 複数枚重なった板材の中から最上位の板材に
ついて、その外形形状と、穴がある場合はその穴形状と
を検出すること。 【解決手段】 複数枚重なった板材を上方から撮像する
手段と、得られた画像情報に基づいて、最上位の板材の
表面エリアを検出する最上位表面検出手段と、画像情報
に基づいて、各部の板材のエッジの位置を検出するエッ
ジ検出手段と、エッジが存在する領域を、最上位表面か
らエッジに沿ってトレースしていき、分岐箇所において
常に一定の向きを選択しながらトレース開始点まで一巡
するエッジトレース手段と、一巡方向と、分岐箇所での
選択の向きとから、一巡したエッジが最上位の板材の外
形形状または穴形状であることを判定する手段とを備え
る。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、例えばレーザ加
工機に適用して、数枚重なった板材の中から最上位の板
材の計時用を認識するようになった板材の形状認識装置
に関するものである。
【0002】
【従来の技術】一般に、レーザ加工機では、製品の厚み
に対応する厚さの板材に対し、切り取って製品となるべ
き形状の被加工物をコンピュータによってネスティング
し、このネスティングデータに基づいて、板材をレーザ
加工している。
【0003】そして、レーザ加工により得られた製品
と、製品を分離した残材とは別々に取り扱われ、残材に
ついては、例えばパレット等に積み重ねれることが多
い。
【0004】このようなレーザ加工機によって得られる
製品には、種々の大きさ、形状のものがあるため、製品
を分離した残材の残余部分の大きさ、形状も様々であ
る。
【0005】そのため、残材の残余部分を利用すること
で、必要な製品を得ることができる場合があり、実際、
製品の受注単価が安かったり、材料発注が間に合わない
等の理由で、製品を切り取る板材として残材を使用する
ことが行われている。
【0006】
【発明が解決しようとする課題】しかしながら、残材を
使用して製品を切り取るためには、残材に対して目的の
製品をネスティングする必要があるが、従来は、パレッ
ト等に積み重ねられている残材の残余部分の大きさ、形
状を、積み重ねられた状態で自動的に計測することが困
難である等の問題点があった。
【0007】この発明は上記従来のもののもつ問題点を
解決して、複数枚重なった板材の中から最上位の板材に
ついて、その外形形状と、穴がある場合はその穴形状と
を検出することのできる板材の形状認識装置を提出する
ことを目的とするものである。
【0008】
【課題を解決するための手段】この発明は上記目的を達
成するため、複数枚重なった板材の中から最上位の板材
の形状を認識する装置であって、前記板材を上方から撮
像する撮像装置と、得られた画像情報に基づいて、最上
位の板材の表面エリアを検出する最上位表面検出部と、
画像情報に基づいて、各部の板材のエッジの位置を検出
するエッジ検出部と、エッジが存在する領域を、最上位
表面からエッジに沿ってトレースしていき、分岐箇所に
おいて常に一定の向きを選択しながらトレース開始点ま
で一巡するエッジトレース部と、一巡方向と、分岐箇所
での選択の向きとから、一巡したエッジが最上位の板材
の外形形状または穴形状であることを判定する判定部と
を備えていることを特徴とするものである。
【0009】
【発明の実施の形態】この発明の実施の形態を、実施例
に基づき図面を参照して説明する。
【0010】図1は、この発明による板材の形状認識装
置の一実施例を示すブロック図であり、この形状認識装
置は、複数枚重なった板材の中から最上位の板材の形状
を認識するものであって、撮像装置1と、最上位表面検
出部3と、エッジ検出部5と、エッジトレース部7と、
判定部9と、これらを制御する制御部11とを備えてい
る。
【0011】撮像装置1は、複数枚重なった板材を上方
から撮像するものであり、例えば、CCDカメラを利用
したラインセンサ、エリアセンサ等の装置を使って構成
されるものである。
【0012】このような撮像は、複数枚重なった板材全
体を画像情報として入力するため、例えばパレットに載
せられた板材の上方において、所要の撮像領域を走査す
ることで行うようになっている。そして、撮像された画
像情報は、空間的にサンプリングされて、画素ごとの明
暗を表す輝度信号としてメモリ座標上に配されるように
なっている。
【0013】図示してないが、この画像情報は、その後
の画像処理に適するように、必要に応じて、濃度補正や
画質改善等の前処理が行われる。
【0014】最上位表面検出部3は、撮像装置1で得ら
れた画像情報に基づいて、最上位の板材の表面エリアを
検出するものであり、このような最上位表面の検出は、
撮像装置1で得られる画像において、最上位の板材の表
面が、それ以外の部分に比べて明るいという事実を利用
するものである。
【0015】そのため、撮像装置1で得られた画像情報
に、明暗に関する所定のしきい値を適用することで、最
上位の板材の表面エリアを、それ以外の部分と区別して
検出することができる。それ以外の部分には、上から2
枚目の板材の表面が一部露出している部分や、3枚目以
下の板材の表面が一部露出している部分が含まれるが、
それらの明るさを相互に区別する必要はない。
【0016】エッジ検出部5は、撮像装置1で得られた
画像情報に基づいて、各部の板材のエッジの位置を検出
するものであり、このようなエッジの検出は、エッジは
明暗変化が激しいところに存在するという事実を利用す
るものである。
【0017】そのため、エッジ検出部5は、高域通過フ
ィルタを用いた適宜のエッジ強調フィルタを備えてい
て、エッジ強調フィルタとしては、Sobelフィル
タ、ラプシアンフィルタ等を使用することができる。そ
して、エッジ強調フィルタを使用することにより、エッ
ジ検出部5は、最上位の板材の表面エリアの周縁に位置
するエッジだけでなく、上から2枚目の板材の露出部分
のエッジや、3枚目以下の板材の露出部分のエッジにつ
いても検出することができる。
【0018】このように、最上位表面検出部3は、最上
位の板材の表面エリアを、上から2枚目、3枚目、それ
以下の板材の露出している表面部分や、板材が覆ってい
ないパレット表面と区別して検出する一方、エッジ検出
装置5は、最上位の板材のエッジだけでなく、上から2
枚目、3枚目、それ以下の板材のエッジについても、そ
れらを同様のエッジとして検出するようになっている。
【0019】そして、最上位の板材のエッジだけを検出
するため、エッジ検出部5は、各部の板材のエッジの位
置を検出するエッジ検出部15とは別に、最上位表面検
出部3で得られた最上位の板材の表面エリアのデータ
と、エッジ検出部5で得られたエッジの位置データとか
ら、最上位の板材のエッジだけを検出するようになった
最上位エッジ検出部17を備えている。
【0020】エッジトレース部7は、エッジが存在する
領域を、最上位表面からエッジに沿ってトレースしてい
き、分岐箇所において常に一定の向きを選択しながらト
レース開始点まで一巡するものであり、適宜の空間フィ
ルタを使ってエッジ領域をトレースするようになってい
る。
【0021】図2は、x(i,j)の空間フィルタ出力
計算に用いられる周辺画素配置を示し、C(in,jn
は中心画素、A1(in-1,jn)〜 A8(in-1
n-1)は中心Cのまわりに時計方向に配された画素で
ある。これらは、文字通り画素そのものであってもよい
が、エッジの幅が画素に比べて大きく、そのため3行3
列の画素ではエッジとその両側近傍を示すことができな
い場合は、エッジの幅に適合するように、m行m列の画
素からなる画素集合体を用いてそれを3行3列に構成す
ることができる。この明細書では、このような画素集合
体も、画素と称することとする。
【0022】図2に示されるような画素配置の空間フィ
ルタを使ってエッジ領域をトレースする際、エッジがA
1(in-1,jn)〜A8(in-1,jn-1)のどこから入
り、中心C(in,jn)を通って、A1(in-1,jn
〜A8(in-1,jn-1)のどこから出ていくかを調べて
表にしたものが図3である。
【0023】図3において、B(B1〜B8)は、A1
8から入るものを示す。例えば、A2から入るもの(A
2→C)をB2とすると、 B2=C−A2 ={(in−in-1),(jn−jn+1)} ここで、in→i,jn→jとおくと、 B2=[{i−(i−1)},{j−(j+1)}] =(1,−1) となる。
【0024】一方、図3において、F(F1〜F8)は、
1〜A8から出ていくものを示す。例えば、A6から出
ていくもの(C→A6)をF6とすると、 F6=A6−C ={(in+1−in),(jn-1−jn)} ここで、in→i,jn→jとおくと、 F6=[{(i+1)−i},{(j−1)−j}] =(1,−1) となる。
【0025】図3はB+Fの値D(i,j)を示す。例
えば、A2から入ってA6から出ていく(A2→C→A6
場合、その部分のエッジは直線状に延びる。このとき、 D26=B2(1,−1)+F6(1,−1) =(2,−2) である。
【0026】また、A5から出ていく(A2→C→A5
場合、エッジはその部分で左に45°(L2/1 〓R)曲
がり、A4から出ていく(A2→C→A4)場合、エッジ
はその部分で左に90°(L〓R)曲がり、A3から出
ていく(A2→C→A3)場合、エッジはその部分で左に
135°(L3/2 〓R)曲がる。
【0027】一方、A7から出ていく(A2→C→A7
場合、エッジはその部分で右に45°(R2/1 〓R)曲
がり、A8から出ていく(A2→C→A8)場合、エッジ
はその部分で右に90°(R〓R)曲がり、A1から出
ていく(A2→C→A1)場合、エッジはその部分で右に
135°(R3/2 〓R)曲がる。
【0028】B(B1〜B8)+F(F1〜F8)のすべて
の組み合わせについてのD値を図3に示す。
【0029】また、図3のD値を、エッジの曲がり方向
に基づいて並べ替えたものを図4に示す。図4におい
て、B(i,j)をBi,Bjとすると、Bi,Bjの
いずれか0である場合と、いずれも0でない場合とに分
けられ、詳細には次のようになる。
【0030】Bj=0(B1,B5)のとき、 (Biの符号)=(Djの符号)であれば→L (Biの符号)≠(Djの符号)であれば→R Bj=0(B3,B7)のとき、 (Bjの符号)≠(Diの符号)であれば→L (Bjの符号)=(Diの符号)であれば→R Bi*Bj<0(B2,B6)のとき、 |Di|>|Dj|であれば→L |Di|<|Dj|であれば→R Bi*Bj>0(B4,B8)のとき、 |Di|<|Dj|であれば→L |Di|>|Dj|であれば→R したがって、エッジトレース装置は、Bi,BjとD
i,Djとの組み合わせから、エッジの曲がり方向およ
び曲がり角度を検出しながらトレースすることができ、
そのため、分岐箇所において常に一定の向きを選択しな
がらトレースしていくことができるものである。そし
て、トレース開始点まで一巡した際、そのトレース中の
左曲がり量の総計と、右曲がり量の総計とから、大きい
方を一巡方向として検出するようになっている。
【0031】以上をまとめると、エッジトレース部7
は、図1に示すように、B(B1〜B8)を検出する前方
検出手段21と、F(F1〜F8)を検出する後方検出手
段23と、D(B+F)からエッジの曲がりを検出する
曲がり検出手段25と、B,Dからエッジの方向を検出
する方向検出手段27と、分岐箇所において選択する向
きがあらかじめ一定の向きに決められるようになった分
岐選択手段29と、トレース一巡中の左曲がり量の総計
Tと、右曲がり量の総計RTとから、一巡方向を検出す
る一巡方向検出手段31とを備えている。
【0032】判定部9は、エッジトレース部7の一巡方
向検出部31で得られた一巡方向と、分岐選択手段29
で得られた分岐箇所での選択の向きとから、一巡したエ
ッジが最上位の板材の外形形状であるか、または穴形状
であることを判定するものである。
【0033】図5に示すように、一巡方向と、分岐箇所
での選択の向きとが同じであるとき、判定部9は、一巡
したエッジが最上位の板材の外形形状であることを判定
するようになっている。
【0034】一方、図6に示すように、一巡方向と、分
岐箇所での選択の向きとが反対であるとき、判定部9
は、一巡したエッジが最上位の板材の穴形状であること
を判定するようになっている。
【0035】次に、この実施例の作用について、図7に
示すフローチャートを用いて説明する。
【0036】図7に示すように、まず、複数枚重なった
板材を対象物として、撮像装置1でこの対象物を上方か
ら撮像する(ステップST1)。そして、撮像された画
像情報は、空間的にサンプリングされて、画素ごとの明
暗を表す輝度信号としてメモリ座標上に配される。
【0037】次に、撮像装置1で得られた画像情報に基
づいて、最上位表面検出装置3が、最上位の板材の表面
エリアを検出する(ステップST2)。そのため、最上
位の板材の表面エリアは、上から2枚目、3枚目、それ
以下の板材の露出している表面部分や、板材が覆ってい
ないパレット表面と区別して検出される。
【0038】一方、撮像装置1で得られた画像情報に基
づいて、エッジ検出装置5のエッジ検出部15が、各部
の板材のエッジの位置を検出する(ステップST3)。
そのため、最上位の板材のエッジだけでなく、上から2
枚目、3枚目、それ以下の板材のエッジについても、そ
れらは同様のエッジとして検出される。
【0039】そして、エッジ検出装置5の最上位エッジ
検出手段17が、最上位表面検出部3で得られた最上位
の板材の表面エリアのデータと、エッジ検出手段15で
得られたエッジの位置データとから、最上位の板材のエ
ッジだけを検出する(ステップST4)。
【0040】そのうえで、エッジトレース装置7が、最
上位の板材のエッジ(最上位エッジ)上の任意の点か
ら、エッジに沿ってトレースを開始する(ステップST
5)。
【0041】トレースの途中で、分岐箇所があると(ス
テップST6)、あらかじめ決められた一定の向きを選
択する(ステップST7)。そして、トレース開始点ま
で一巡する(ステップST8)まで、同様のステップ
(ステップST6,7,8,9)を繰り返してトレース
を続ける。
【0042】一巡後、判定部9が、一巡方向と、分岐箇
所での選択の向きとから(ステップST10)、同一の
場合は、一巡したエッジが最上位の板材の外形形状であ
ることを判定し(ステップST11)、反対の場合は、
一巡したエッジが最上位の板材の穴形状であることを判
定する(ステップST12)。
【0043】その後、他にも最上位エッジがある場合は
(ステップST13)、同様のステップ(ステップST
5〜12)を繰り返し、最上位エッジが無くなったら終
了する。
【0044】以上のように、複数枚重なった板材の中か
ら最上位の板材について、その外形形状と、穴がある場
合はその穴形状とを自動的に検出することができる他、
この発明による板材の形状認識装置は、次に挙げるよう
な種々の利点がある。
【0045】一般に、加工機械でワークから製品を加工
して取り出す場合において、加工機械で取り扱う対象物
としては、加工前のワーク、加工された製品、製品を除
去した残材、残材の残余部分から加工される2次製品が
ある。
【0046】ワークが板材の場合、加工前のワークは一
般に待機位置に複数枚重ねられている。このような重ね
られた板材の中から最上位のものを、適宜の装置で吸い
上げて加工領域に搬入するためには、最上位のワークの
重心を求める必要がある。この発明による板材の形状認
識装置は、このような用途に適用することができる。
【0047】また、加工された製品は、板材の場合、例
えばパレットに複数枚重ねられて次工程に送られる。そ
のため、次工程において、ワークの場合と同様に重心を
求める必要がある。また、このような製品が何種類かあ
るとき、目的の製品を見つけるためには、その外形が目
的の製品形状と一致しているか否かを確認する必要があ
る。この発明による板材の形状認識装置は、このような
用途に適用することができる。
【0048】また、製品を除去した残材には、製品抜き
取り穴が形成されているが、この穴形状と目的の製品形
状とを比較することで、目的の製品が加工されたか否か
を確認することができる。この発明による板材の形状認
識装置は、このような用途に適用することができる。
【0049】
【発明の効果】この発明は上記のように構成したので、
複数枚重なった板材の中から最上位の板材について、そ
の外形形状と、穴がある場合はその穴形状とを検出する
ことができ、そのため、例えばレーザ加工機に適用し
て、パレット等に積み重ねられている残材の残余部分の
大きさ、形状を、積み重ねられた状態で自動的に計測す
ることができ、その結果、残材に対して目的の製品を容
易にネスティングして、残材から目的の製品を切り取る
ことができる等の効果がある。
【図面の簡単な説明】
【図1】板材の形状認識装置の一実施例を示すブロック
図である。
【図2】x(i,j)の空間フィルタ出力計算に用いら
れる周辺画素配置を示す図である。
【図3】前方検出B、後方検出F、曲がり検出Dの関係
を示す図である。
【図4】D値を、エッジの曲がり方向に基づいて並べ替
えたものを示す図である。
【図5】最上位の板材の外形形状を一巡する説明図であ
る。
【図6】最上位の板材の穴形状を一巡する説明図であ
る。
【図7】制御装置の動作を示すフローチャートである。
【符号の説明】
1…撮像装置 3…最上位表面検出部 5…エッジ検出部 7…エッジトレース部 9…判定部 11…制御部 15…エッジ検出手段 17…最上位エッジ検出手段 21…前方検出手段 23…後方検出手段 25…曲がり検出手段 27…方向検出手段 29…分岐選択手段 31…一巡方向検出手段

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 複数枚重なった板材の中から最上位の板
    材の形状を認識する装置であって、 前記板材を上方から撮像する撮像装置と、 得られた画像情報に基づいて、最上位の板材の表面エリ
    アを検出する最上位表面検出部と、 画像情報に基づいて、各部の板材のエッジの位置を検出
    するエッジ検出部と、 エッジが存在する領域を、最上位表面からエッジに沿っ
    てトレースしていき、分岐箇所において常に一定の向き
    を選択しながらトレース開始点まで一巡するエッジトレ
    ース部と、 一巡方向と、分岐箇所での選択の向きとから、一巡した
    エッジが最上位の板材の外形形状または穴形状であるこ
    とを判定する判定部と、を備えていることを特徴とする
    板材の形状認識装置。
  2. 【請求項2】 前記判定部は、一巡方向と、分岐箇所で
    の選択の向きとが同じであるとき、一巡したエッジが最
    上位の板材の外形形状であることを判定することを特徴
    とする請求項1記載の板材の形状認識装置。
  3. 【請求項3】 前記判定部は、一巡方向と、分岐箇所で
    の選択の向きとが反対であるとき、一巡したエッジが最
    上位の板材の穴形状であることを判定することを特徴と
    する請求項1記載の板材の形状認識装置。
JP15637598A 1998-06-04 1998-06-04 板材の形状認識装置 Expired - Fee Related JP4138943B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP15637598A JP4138943B2 (ja) 1998-06-04 1998-06-04 板材の形状認識装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP15637598A JP4138943B2 (ja) 1998-06-04 1998-06-04 板材の形状認識装置

Publications (2)

Publication Number Publication Date
JPH11353488A true JPH11353488A (ja) 1999-12-24
JP4138943B2 JP4138943B2 (ja) 2008-08-27

Family

ID=15626387

Family Applications (1)

Application Number Title Priority Date Filing Date
JP15637598A Expired - Fee Related JP4138943B2 (ja) 1998-06-04 1998-06-04 板材の形状認識装置

Country Status (1)

Country Link
JP (1) JP4138943B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023106472A1 (ko) * 2021-12-09 2023-06-15 주식회사 커브서프 윤곽점 변환 장치 및 그 방법
WO2024004478A1 (ja) * 2022-06-30 2024-01-04 Jfeスチール株式会社 板部材位置検出装置、板部材運搬方法及び板部材の製造方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023106472A1 (ko) * 2021-12-09 2023-06-15 주식회사 커브서프 윤곽점 변환 장치 및 그 방법
WO2024004478A1 (ja) * 2022-06-30 2024-01-04 Jfeスチール株式会社 板部材位置検出装置、板部材運搬方法及び板部材の製造方法

Also Published As

Publication number Publication date
JP4138943B2 (ja) 2008-08-27

Similar Documents

Publication Publication Date Title
EP0128820B1 (en) Pattern matching method and apparatus
CN107315011B (zh) 图像处理装置、图像处理方法及存储介质
US6490369B1 (en) Method of viewing and identifying a part for a robot manipulator
WO2008066055A1 (fr) Dispositif de détection de défaut linéaire, dispositif de fabrication de substrat semi-conducteur, procédé de détection de défaut linéaire, procédé de fabrication de substrat semi-conducteur, programme pour amener un ordinateur à fonctionner en tant que d
JPH0792423B2 (ja) ヘッドライトの光軸調整方法
US8155424B2 (en) Coin detecting apparatus
EP1480169A1 (en) Image processing apparatus
US11922614B2 (en) Welding condition setting assistance device
JPH11353488A (ja) 板材の形状認識装置
JPH11125514A (ja) 曲げ角度検出装置
JP2009292088A (ja) 乱丁検知装置
US8055056B2 (en) Method of detecting defects of patterns on a semiconductor substrate and apparatus for performing the same
JPH10118975A (ja) ハンドリング位置認識方法および認識装置
JP2003271930A (ja) レーンマーク認識装置
JPH06294633A (ja) ファスナー自動検査方法及び検査装置
JP3151900B2 (ja) 部品供給装置
JPH01209307A (ja) 溶接部の表面形状検査方法
JP2000194861A (ja) 画像認識方法及び装置
JP5154240B2 (ja) 加工品の移送方向の長さ良否判定方法
JPH095022A (ja) 画像認識によるパターン位置出し方法及び装置
JPH10332333A (ja) 対象物の回転角と位置の検出方法
JP3234027B2 (ja) プリント基板などのマーク位置認識方法
JP6864722B2 (ja) 検査装置、検査方法およびプログラム
JPH041282B2 (ja)
US7724940B2 (en) Method of accurately determining similarity between target image and reference image

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050531

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080514

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080520

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080606

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110613

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120613

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120613

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130613

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140613

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees