JP3178984B2 - 溶接線位置検出装置 - Google Patents

溶接線位置検出装置

Info

Publication number
JP3178984B2
JP3178984B2 JP05958495A JP5958495A JP3178984B2 JP 3178984 B2 JP3178984 B2 JP 3178984B2 JP 05958495 A JP05958495 A JP 05958495A JP 5958495 A JP5958495 A JP 5958495A JP 3178984 B2 JP3178984 B2 JP 3178984B2
Authority
JP
Japan
Prior art keywords
light
welding line
image processing
line position
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP05958495A
Other languages
English (en)
Other versions
JPH08257749A (ja
Inventor
真 鹿苑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP05958495A priority Critical patent/JP3178984B2/ja
Publication of JPH08257749A publication Critical patent/JPH08257749A/ja
Application granted granted Critical
Publication of JP3178984B2 publication Critical patent/JP3178984B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Machine Tool Copy Controls (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、光学的手段を用いて被
溶接物の溶接線の位置を高速に、かつ高精度に検出する
溶接線位置検出装置に係り、特に溶接用ロボットなどの
自動溶接装置に好適な溶接線位置検出装置に関する。
【0002】
【従来の技術】ティーチングプレイバック方式の溶接ロ
ボットで溶接作業を行う際には、被溶接物のワークセッ
ティングのずれや、被溶接物の仮付けあるいは溶接作業
中の熱歪による被溶接物の変形などにより、教示された
溶接線位置と実際に溶接を施すべき溶接線の位置が異な
っていて、溶接不良を引き起こすという可能性がある。
この問題点を解消すべく、光学的手段を用いて溶接線を
検出して、教示された溶接線位置の補正を行い、溶接品
質の向上を実現する装置が数多く提案されている。
【0003】このような溶接線位置検出装置として、た
とえば特開昭54−53646号公報などに記述されて
いるような、光切断法を適用した装置が提案されてい
る。これは投光部からレーザ光などの光をスリット状に
集光しこれを溶接線方向に直交するように溶接線を含む
領域に照射して、その反射光をCCD(ChargeC
oupled Device)カメラなどの撮像部で撮
像し、撮像した画像に画像処理を行い、溶接位置を同定
するというものであった。しかし、このような構成の溶
接位置検出装置で図13で示されるようなT字継手の被
溶接物に適用した場合に、スリット光投光部20と撮像
部30によって得られる画像は、本来検出されるべき縦
板9eおよび下板9fからの1次反射像だけではなく、
図3のように、前記1次反射像が互いに他の被溶接部材
でさらに反射した2次反射像が同時に撮像されてしま
う。この2次反射像の明度は、検出装置の検出姿勢次第
では1次反射像以上の明度となって検出されてしまうた
め、溶接線位置の検出のための画像処理は複雑となり、
また検出精度の低下をもたらしていた。
【0004】上記課題を解決するために、特開平2−1
84705号公報では、円偏光を被検出体表面に対し照
射する投光手段と、この円偏光の物体からの反射光を受
光可能な位置に配され、前記反射光を入射して撮像する
受光手段とを備えており、前記受光手段は、前記反射光
を入力して直線偏光に変換する1/4波長板と、前記直
線偏光に変換された反射光を透過するようにその透過軸
を合わせた偏光板を介して得られた反射光を受光して画
像信号に変換する撮像手段と、前記画像信号に基づいて
被検出物の位置を検出する画像処理部を設けた位置検出
装置を提案している。
【0005】
【発明が解決しようとする課題】特開平2−18470
5号公報で提案されている位置検出装置では、前記の構
成により、2次反射の影響を受けずに被検出体の位置を
検出するという目的に対して、一定の成果は得られるも
のと推測されるが、2次反射光の直線偏光も偏光板を透
過して撮像されてしまい、完全に2次反射像の除去が実
現できるというものではない。また、これは前記特開昭
54−53646号公報などに記載の構成に加えて、高
価な1/4波長板や偏光板を用いる必要があり、必然的
に検出装置は高価なものになってしまい、検出装置の大
きさも大きなものになってしまう。
【0006】さらに、投光部ではスリット光の直線偏光
が円偏光に変換されるように、スリット光と1/4波長
板の位置調整が必要であり、撮像部では1/4波長板で
変換された直線偏光が偏光板を透過できるように、その
透過軸を合わせるという組立調整が必要となる。すなわ
ち、このような構成の位置検出装置では、特開昭54−
53646号公報などで提案された方式に比べて、組立
調整の際にかなりの工数を要することがわかる。
【0007】本発明は、上記課題を解決するもので、簡
易な構成で2次反射の影響下においても高速に、高精度
に溶接線位置検出が可能な溶接線位置検出装置を提供す
ることを目的としている。
【0008】
【課題を解決するための手段】上記の目的を達成するた
め、本発明の溶接線位置検出装置は、被溶接物の溶接線
に対してスリット光を照射する投光部と、前記投光部か
ら照射されるスリット光のなす平面に対し、一定の角度
をなす方向から被溶接物の反射光を撮像する撮像部と、
この撮像部に接続されて撮像部で受光された反射光の光
量分布に基づいて前記被溶接物の溶接線位置を求める画
像処理部と、前記投光部と画像処理部を制御する検出装
置制御部とを備え、前記画像処理部は、受光された反射
光の2次元の光量分布を水平投影分布と垂直投影分布に
分け、各投影分布の極値が示す2次元位置を前記被溶接
物の溶接線位置として同定を行うように構成されている
ものである。
【0009】また、被溶接物の溶接線に対してスリット
光を照射する投光部と、前記投光部から照射されるスリ
ット光のなす平面に対し、一定の角度をなす方向から被
溶接物の反射光を撮像する撮像部と、この撮像部に接続
されて撮像部で受光された反射光の光量分布に基づいて
前記被溶接物の溶接線位置を求める画像処理部と、前記
投光部と画像処理部を制御する検出装置制御部とを備
え、前記画像処理部は、受光された反射光の2次元の光
量分布のうち、2次反射の影響を受けていない画面の上
部および下部において、互いに適当な間隔を有した複数
の走査線を設定し、各走査線上の光量分布の極大位置を
求め、各極大位置から推定される直線の交点を前記被溶
接物の溶接線位置として同定を行うように構成されてい
ものである。
【0010】また、画像処理部は、受光された反射光の
2次元の光量分布から被溶接物の溶接線の概略位置を同
定し、前記溶接線の概略位置を中心とする検出処理領域
を定めて、この処理領域内で溶接線位置の同定を行うよ
うに構成され、また、検出装置制御部は、外部から設定
されたパラメータに基づいて、画像処理部における検出
処理領域の大きさを定めるように構成され、また、投光
部は、光量制御部により照射する光量を制御される構成
とされ、外部から設定されたパラメータまたは画像処理
部で求められた受光光量の投影分布に基づいて、検出装
置制御部は、前記光量制御部を介して照射するスリット
光の強度を制御可能であるように構成されているもので
ある。
【0011】
【作用】本発明は、上記した構成により、画像処理部
は、受光された反射光の2次元の光量分布から求めた投
影分布を用いて被溶接物の溶接線位置の同定を行うの
で、簡易な構成で2次反射の影響下においても高速に、
しかも高精度に溶接線位置検出が可能となる。
【0012】
【実施例】以下、本発明の一実施例を図面に基づいて説
明する。図1は本発明の一実施例の溶接線位置検出装置
の要部を示す詳細構成図、図2は同溶接線位置検出装置
を溶接用ロボットに適用した全体構成図である。図中1
2は溶接用ロボットのマニピュレータ11の手首部に装
着された溶接トーチである。この溶接トーチ12に溶接
線位置検出装置1が取り付けられ、溶接線位置検出装置
1は被溶接部材9aおよび9bからなる被溶接物の溶接
線位置を検出し、溶接線位置の位置データは検出装置制
御部6を介してロボット制御部7に送られる。ロボット
制御部7では、あらかじめ記憶されている溶接位置と溶
接線位置検出装置1で検出された溶接線位置との偏差を
求めて、教示位置あるいは複数の教示位置を補間計算し
て得られる補間位置から、この偏差分だけシフトさせて
マニピュレータを駆動する。その結果、溶接トーチ12
の先端アーク点が被溶接物の溶接線10を倣うことがで
きるという構成をとっている。
【0013】溶接線位置検出装置1は、スリット光8を
被溶接物に照射する投光部2と照射光量を制御する光量
制御部4、被溶接物からの反射像を撮像する撮像部と撮
像された画像データを処理する画像処理部5、および検
出装置制御部6からなる。投光部2は半導体レーザ素子
201、コリメータレンズ202、集光レンズ203お
よびシリンドリカルレンズ204から構成され、これら
の光学素子によりスリット光8を形成する。撮像部3は
干渉フィルタ303、結像レンズ302およびCCDカ
メラ301からなり、投光部から照射されたスリット光
の反射像を撮像する。ここで干渉フィルタ303は、半
導体レーザ素子201の発光波長近傍の光のみを透過さ
せるフィルタであり、外乱光の影響を軽減する目的で用
いている。また、図1中の線分PQおよびPRはスリッ
ト光8によって被溶接物表面に形成される光切断線を表
す。
【0014】図1に示すような被溶接部材9aと9bで
形成されるT字継手の被溶接物に、スリット光8を照射
した反射像を、CCDカメラ301で撮像した画像を図
3に示す。この図3で示すように、CCDカメラ301
では、1次反射像と2次反射像が混在して撮像される。
この両者の光量がほとんど差異がない場合が多いため、
1次反射像だけを抽出して画像解析を施すことは事実上
困難である。そこで、本発明では図3のような1次反射
像と2次反射像が混在した画像データをもとに溶接線位
置を高速に高精度に検出できる検出装置を提案してい
る。
【0015】図3に示されるような2次元の画像は、図
4で示されるCCDカメラ301を構成する2次元の光
検出素子310により、光量が電気信号に変換され、こ
の電気信号がビデオ信号として画像処理部5に入力され
る。画像処理部5は、A/D変換器501、メモリ50
2および演算部503からなり、画像処理部5に入力さ
れたビデオ信号はA/D変換器501によりデジタル量
に変換されて、メモリ502に書き込まれる。図5は、
2次元の画面上におけるアドレスの割付け方法の一例を
示している。この例では前記の光検出素子310の有効
画素数に対応して縦×横で512×512に画面を分割
して、各画素で検出される画像の明るさを電気量に変換
し、さらにこれをA/D変換器501で8ビットのデジ
タル量に変換して、メモリ502にこれを記憶してい
る。演算分503は、メモリ502上に記憶されたデジ
タル情報に基づいて溶接線位置の検出のための演算を行
う。
【0016】次に、図1に示すT字継手に対して得られ
る図3のような光切断像を用いて、演算部503で溶接
線位置を求める処理方法について説明する。メモリ50
2に記憶された512×512の全画面分の情報をもと
に以下と同様の検出処理を行うことも可能であるが、画
像のノイズ成分の除去と検出の高速化のため、次のよう
に画像処理を施す領域(以下ウィンドウと記す)を設定
し、このウィンドウ内の画像データをもとに溶接線位置
検出処理を行うこととする。
【0017】図6に上記のウィンドウ設定方法の一例を
示す。図6に示すように各画素のアドレスを、光検出素
子510の2次元の物理的な空間に対応して、2次元的
に(M,N)(M,Nは共に0以上511以下の整数)
で表現することにする。このアドレス(M,N)は図5
で示す絶対アドレスではN×511+Mに換算される。
図6(a)のように2次反射の影響を受けていない画面
の上部および下部において、互いに適当な間隔を有した
水平走査線AA′,BB′,CC′,DD′を設定す
る。図6(b)は走査線AA′上の断面光量分布を示し
ている。縦軸は画像の明るさを示し、横軸は走査線A
A′上の位置を表している。走査線AA′上の断面光量
分布の極大位置をaとするとaのアドレスは(Ma,N
a)(Ma,Naは0以上511以下の整数)のように
定まる。同様にして走査線BB′,CC′,DD′上の
断面光量分布の極大位置b,c,dが定まる。そこで、
図6(c)に示すような2点a,bを通る直線abおよ
び2点c,dを通る直線cdの交点P′の2次元のアド
レス値(Mp′,Np′)(Mp′,Np′は0以上5
11以下の整数)は、先に求めたa,b,c,d4点の
2次元のアドレス値から、容易に求めることができる。
【0018】ウィンドウ13は点P′を基準点とし、こ
の基準点P′を中心に適当な大きさの2次元の画素の領
域として定義する。図3の画像に対して、上述の手段を
用いてウィンドウ13を設定したのが図7である。ウィ
ンドウ13の大きさは、あらかじめロボット制御部7で
設定された被溶接物の大きさ、継手形状などのパラメー
タをもとに、検出装置制御部6は適当なウィンドウ13
の大きさを設定し、画像処理部5に指令を与える構成を
とっている。
【0019】次に、図8を用いて、2次元の光量分布か
ら光量の投影分布を求める方法について説明する。図8
には、50×50のウィンドウ内の画素が示されてい
る。このウィンドウ内の画素において、2次元の光量の
投影分布を計算する。いま、ウィンドウ内の点(i,
j)(i,jは共に0以上49以下の整数)の画素の光
量をI(i,j)とすると、垂直投影分布Pv(j)
は、I(s,j)(s=0,1,…,49)の総和とし
て求められる。同様に、水平投影分布Ph(i)はI
(i,t)(t=0,1,…,49)の総和で与えられ
る。
【0020】図9には、T字継手の光切断像に対して、
図7のように設定されたウィンドウ13内の画素の垂直
投影分布および水平投影分布が示されている。図9のよ
うに、垂直投影分布は凹形状をしており、水平投影分布
は凸形状をしている。この図9において、点Pは求める
べき溶接線位置を表しているが、この点Pの水平位置は
水平投影分布の極大位置に一致し、点Pの垂直位置は垂
直投影分布の極小位置に一致することが、我々の行った
実験により確かめられている。よって水平投影分布の極
大位置を、および垂直投影分布の極小位置を数学的に求
めることで、点Pの2次元位置を同定することが可能と
なる。
【0021】図10には、撮像された画像の光量が全体
的に強く、光検出素子310を構成するいくつかのセル
の検出量が飽和してしまった場合の、水平および垂直方
向の投影分布を示している。図9と比較すれば、明らか
にその分布は平坦化されてしまい、各投影分布の極大値
および極小値を正確に求めることが困難となる。すなわ
ち、溶接線位置の正確な検出が不可能になってしまう。
この原因としては、投光部2で被溶接物に照射されるス
リット光8の光量が強いことと、被溶接物の表面反射率
が高いことが考えられる。そこで、ロボット制御部で設
定された、被溶接部材の材質、表面状態などのパラメー
タにより、検出装置制御部6は検出に最適な照射強度を
設定し、光量制御部4に指令を与える構成をとる。ま
た、画像処理部5において、光量の投影分布が図10の
ように平坦になって、分布の極大値および極小値が求め
られないときには、投影分布が図9のような好適な分布
形状になるように検出装置制御部6は光量制御部4にフ
ィードバック制御をかけられる構成をとっている。
【0022】図11には、本発明の他の実施例の溶接線
位置検出装置を、9c,9dからなる重ね継手の被接物
の溶接線位置検出に適用した例を示す。この重ね継手
に、スリット光8を照射して、撮像部3で撮像した画像
とその光量の投影分布を図12に示す。図12の投影分
布は、図9のそれとは分布形状は異なっているが、図9
と同様に溶接線位置Pは投影分布が極値をとる位置と一
致していることがわかる。すなわち、本実施例の溶接線
検出装置は、画像処理部5において、対象となる継手形
状に最適な処理を施せば、T字継手以外の継手の溶接線
位置の検出においても有効であることが分かる。このた
めに、ロボット制御部で設定された継手形状などのパラ
メータにより、検出装置制御部6は画像処理部5に対し
て、最適な画像処理を選択できる構成をとっている。
【0023】
【発明の効果】以上から明らかなように、本発明によれ
ば、画像処理部は、受光された反射光の2次元の光量分
布から2次元の光量の投影分布を求め、この投影分布を
用いて被溶接物の溶接線位置の同定を行うことにより、
簡易な構成で2次反射の影響下においても高速に、しか
も高精度に溶接線位置の検出が可能となる。
【図面の簡単な説明】
【図1】本発明の一実施例の溶接線位置検出装置の要部
を示す詳細構成図
【図2】本発明の一実施例の溶接線位置検出装置を溶接
用ロボットに適用した全体構成図
【図3】T字継手における光切断像を撮像した画像図
【図4】撮像部および画像処理部の詳細説明図
【図5】画像メモリのアドレス割付け例の説明図
【図6】ウィンドウ設定の原理説明図
【図7】T字継手における光切断画像のウィンドウ設定
【図8】光量投影分布の定義説明図
【図9】T字継手の光切断画像による溶接線位置検出原
理の説明図
【図10】受光量過多の場合の光量投影分布図
【図11】本発明の他の実施例の溶接線位置検出装置を重
ね継手に適用したときの要部を示す詳細構成図
【図12】重ね継手の光切断画像による溶接線位置検出原
理の説明図
【図13】従来例の溶接線位置検出装置の概要を説明する
【符号の説明】 1 溶接線位置検出装置 2 投光部 3 撮像部 4 光量制御部 5 画像処理部 6 検出装置制御部 7 ロボット制御部 11 ロボットマニピュレータ 12 溶接トーチ 13 ウィンドウ 310 光検出素子 501 A/D変換器 502 メモリ 503 演算部
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7,DB名) B23K 9/127 B23Q 35/40

Claims (5)

    (57)【特許請求の範囲】
  1. 【請求項1】 被溶接物の溶接線に対してスリット光を
    照射する投光部と、前記投光部から照射されるスリット
    光のなす平面に対し、一定の角度をなす方向から被溶接
    物の反射光を撮像する撮像部と、この撮像部に接続され
    て撮像部で受光された反射光の光量分布に基づいて前記
    被溶接物の溶接線位置を求める画像処理部と、前記投光
    部と画像処理部を制御する検出装置制御部とを備え、前
    記画像処理部は、受光された反射光の2次元の光量分布
    を水平投影分布と垂直投影分布に分け、各投影分布の極
    値が示す2次元位置を前記被溶接物の溶接線位置として
    同定を行うように構成されていることを特徴とする溶接
    線位置検出装置。
  2. 【請求項2】 被溶接物の溶接線に対してスリット光を
    照射する投光部と、前記投光部から照射されるスリット
    光のなす平面に対し、一定の角度をなす方向から被溶接
    物の反射光を撮像する撮像部と、この撮像部に接続され
    て撮像部で受光された反射光の光量分布に基づいて前記
    被溶接物の溶接線位置を求める画像処理部と、前記投光
    部と画像処理部を制御する検出装置制御部とを備え、前
    記画像処理部は、受光された反射光の2次元の光量分布
    のうち、2次反射の影響を受けていない画面の上部およ
    び下部において、互いに適当な間隔を有した複数の走査
    線を設定し、各走査線上の光量分布の極大位置を求め、
    各極大位置から推定される直線の交点を前記被溶接物の
    溶接線位置として同定を行うように構成されていること
    を特徴とする溶接線位置検出装置。
  3. 【請求項3】 画像処理部は、受光された反射光の2次
    元の光量分布から被溶接物の溶接線の概略位置を同定
    し、前記溶接線の概略位置を中心とする検出処理領域を
    定めて、この処理領域内で溶接線位置の同定を行うよう
    に構成されていることを特徴とする請求項1または2記
    載の溶接線位置検出装置。
  4. 【請求項4】 検出装置制御部は、外部から設定された
    パラメータに基づいて、画像処理部における検出処理領
    域の大きさを定めるように構成されていることを特徴と
    する請求項3記載の溶接線位置検出装置。
  5. 【請求項5】 投光部は、光量制御部により照射する光
    量を制御される構成とされ、外部から設定されたパラメ
    ータまたは画像処理部で求められた受光光量の投影分布
    に基づいて、検出装置制御部は、前記光量制御部を介し
    て照射するスリット光の強度を制御可能であることを特
    徴とする請求項1または2記載の溶接線位置検出装置。
JP05958495A 1995-03-20 1995-03-20 溶接線位置検出装置 Expired - Lifetime JP3178984B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP05958495A JP3178984B2 (ja) 1995-03-20 1995-03-20 溶接線位置検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP05958495A JP3178984B2 (ja) 1995-03-20 1995-03-20 溶接線位置検出装置

Publications (2)

Publication Number Publication Date
JPH08257749A JPH08257749A (ja) 1996-10-08
JP3178984B2 true JP3178984B2 (ja) 2001-06-25

Family

ID=13117433

Family Applications (1)

Application Number Title Priority Date Filing Date
JP05958495A Expired - Lifetime JP3178984B2 (ja) 1995-03-20 1995-03-20 溶接線位置検出装置

Country Status (1)

Country Link
JP (1) JP3178984B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10244367A (ja) * 1997-03-03 1998-09-14 Fanuc Ltd 溶接ロボットシステム
JP4519295B2 (ja) * 2000-09-08 2010-08-04 株式会社神戸製鋼所 ワークの位置ずれの測定方法

Also Published As

Publication number Publication date
JPH08257749A (ja) 1996-10-08

Similar Documents

Publication Publication Date Title
EP0532257B1 (en) Weld bead quality determining apparatus
KR101141345B1 (ko) 3차원 형상 계측 장치, 3차원 형상 계측 방법, 3차원 형상 계측 프로그램, 및 기록 매체
EP1555507B1 (en) Three-dimensional visual sensor
JPH10154014A (ja) へりの追従方法、検査方法及び装置
JP6600928B1 (ja) X線回折測定装置
JP2005014027A (ja) 溶接部のイメージ処理方法、溶接管理システム、溶接機のためのフィードバックシステム、突合わせ線検出システム
EP1153695A2 (en) A laser welding head-controlling system, a laser welding head and a method for controlling a laser welding head
JP3178984B2 (ja) 溶接線位置検出装置
US6768964B2 (en) Method and apparatus for determining dot-mark-forming position of semiconductor wafer
JP3223416B2 (ja) 加工位置検出装置および自動加工システム
JPH0771931A (ja) 物体位置検出方法
JPH0260377A (ja) 産業又は軍事用ビデオカメラの自動焦点調節
JP2001025867A (ja) 裏波溶接制御方法及びその装置
JP4774525B2 (ja) 表面形状検出装置
JP3368492B2 (ja) 溶接線検出方法およびその装置並びに溶接装置
JPH08241109A (ja) 物体設定用投光装置およびそれを使用した自動作業装置
JPH06277864A (ja) レーザ加工装置
JP3203507B2 (ja) レーザ加工装置
JPS6325871B2 (ja)
JP3939866B2 (ja) ヘッドライトの光軸調整方法
JPS58157588A (ja) 溶接線位置変化検出方法
JPH08118023A (ja) 溶接位置検出装置並びに自動溶接ロボットシステム
JPH08300178A (ja) レーザ加工装置
JPH04266480A (ja) 溶接位置検出方法およびその装置
JPH0791929A (ja) テレビカメラによる3次元形状計測装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080413

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090413

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100413

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110413

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120413

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120413

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130413

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130413

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140413

Year of fee payment: 13

EXPY Cancellation because of completion of term