JP4269322B2 - 開先計測方法および開先計測装置 - Google Patents

開先計測方法および開先計測装置 Download PDF

Info

Publication number
JP4269322B2
JP4269322B2 JP2005009767A JP2005009767A JP4269322B2 JP 4269322 B2 JP4269322 B2 JP 4269322B2 JP 2005009767 A JP2005009767 A JP 2005009767A JP 2005009767 A JP2005009767 A JP 2005009767A JP 4269322 B2 JP4269322 B2 JP 4269322B2
Authority
JP
Japan
Prior art keywords
slit light
groove
plate
light image
approximate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005009767A
Other languages
English (en)
Other versions
JP2006200899A (ja
Inventor
貞夫 久保
忠雄 島田
一彦 尾上
裕隆 上原
博貴 木下
幸充 鈴木
一郎 有田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central Motor Wheel Co Ltd
Kawasaki Motors Ltd
Original Assignee
Central Motor Wheel Co Ltd
Kawasaki Jukogyo KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central Motor Wheel Co Ltd, Kawasaki Jukogyo KK filed Critical Central Motor Wheel Co Ltd
Priority to JP2005009767A priority Critical patent/JP4269322B2/ja
Priority to US11/335,173 priority patent/US7657082B2/en
Priority to EP06250248A priority patent/EP1681125A3/en
Priority to EP09006440A priority patent/EP2080577A1/en
Publication of JP2006200899A publication Critical patent/JP2006200899A/ja
Application granted granted Critical
Publication of JP4269322B2 publication Critical patent/JP4269322B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23KSOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00Arc welding or cutting
    • B23K9/12Automatic feeding or moving of electrodes or work for spot or seam welding or cutting
    • B23K9/127Means for tracking lines during arc welding or cutting
    • B23K9/1272Geometry oriented, e.g. beam optical trading
    • B23K9/1274Using non-contact, optical means, e.g. laser means

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Geometry (AREA)
  • Plasma & Fusion (AREA)
  • Mechanical Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、スリット光センサやスポット光を走査する方式のセンサなどを用いて被溶接物の開先位置を計測する開先計測方法および開先計測装置に関する。
ロボットなどを用いた従来の自動溶接システムでは、ワークの個体差や位置決め誤差を吸収するために、溶接前にレーザスポット光をスキャニングする方式のセンサやレーザスリット光センサ(光切断法)などを用いて予めワークの開先位置を計測し、当該計測データに基づいて溶接ロボットへの指令値を演算する(補正する)ように構成されている。
例えば特許文献1に開示されている装置は、ワークの開先(溶接線)と直交するレーザスリット光をワーク上に照射する光源と、ワーク上からの反射光を受光するエリアセンサとを有している。この装置は、前記反射光の輝度信号に基づいた二次元位置データを用いてワークの開先位置を算出している。しかしながら特許文献1の第5図のような重ね隅肉溶接の場合、レーザスリット光の端点がワークの開先ギャップ幅、ワーク開先端面の形状、2次反射像などにより影響を受けるため、二次元位置データを用いるだけではワークの開先位置を精度良く計測することができない場合がある。具体的には例えばワークの開先ギャップ幅が大きい場合、レーザスリット光の端点が開先ギャップ内まで延びて真の開先位置からずれることがある。
また特許文献2に開示されている装置は、配管の開先形状を二次元形状計測する変位センサと、配管内に取り付けられ変位センサを回転させる回転装置とを有する。この装置の変位センサは、配管の開口部の淵にレーザビームスポットを径方向内方から径方向外方に走査しながら、配管の径方向のそれぞれの位置における配管の軸方向の高さを計測するものである。しかしながらこの装置は配管の開先形状を計測するには適切であるが、略同じ形態を有する多数のワークを所定のタクトタイム内に順次溶接する必要がある場合、すなわちタクトタイムが重視される場合には不向きである。つまりこのような場合に上記装置を用いると、上記変位センサを一々溶接完了のワークから取り外し次のワークに取り付けなければならないので、その作業に時間が掛かり、タクトタイムを所定のタクトタイム内に抑えることができないからである。
特許第3228777号公報 (第2−3頁、第1図、第2図、第5図) 特開2000−346637号公報 (第4頁、第5図)
本発明は、上記のような事情に鑑みてなされたものであり、被溶接物の開先位置を精度良く、および/または迅速に計測することができる開先計測方法、開先計測装置を提供することを目的とする。
本発明に係る開先計測方法は、一の板状体に重ね隅肉溶接される状態に配置された他の板状体の開先位置を計測する開先計測方法であって、他の板状体の開先面を横切るように両板状体に亘ってスリット光を照射する照射工程と、各板状体上に投映されるスリット光画像を識別可能に撮影して二次元画像情報として取得する二次元画像取得工程と、当該二次元画像情報を予め設定された三次元変換パラメータを用いて三次元画像情報に変換する三次元変換工程と、前記スリット光画像に対応する三次元画像情報と、前記両板状体の少なくとも形状および配置から決まる三次元画像間の相対位置関係に関する相対位置関係情報とに基づいて前記他の板状体の開先位置を算出する算出工程とを有し、前記他の板状体の開先面が前記各板状体のスリット光照射側の面とそれぞれ略直角に形成される場合において、前記照射工程が、前記スリット光を前記他の板状体の開先面に対して斜め上方から照射する工程を有し、前記二次元画像取得工程が、前記一の板状体のスリット光照射側の面上に投映される第一スリット光画像と前記他の板状体のスリット光照射側の面上に投映される第二スリット光画像とが同一表示画面上で互いに所定距離を隔てて略平行に配置されるように、かつ前記他の板状体の開先面上に投映される第三スリット光画像が前記表示画面上で前記第一スリット光画像および第二スリット光画像の間に亘って配置されるように、第一スリット光画像、第二スリット光画像および第三スリット光画像を撮影して、これらの画像を二次元画像情報として取得する工程を有し、前記相対位置関係情報に基づいた前記算出工程が、前記第一スリット光画像に対応する三次元画像情報に基づいて第一スリット光画像を直線近似した第一近似直線の第一近似直線式を算出する工程と、前記第二スリット光画像に対応する三次元画像情報に基づいて第二スリット光画像を直線近似した第二近似直線の第二近似直線式を算出する工程と、前記第三スリット光画像に対応する三次元画像情報に基づいて、第三スリット光画像上の予め設定された設定点の設定点位置を算出する工程と、前記第二近似直線に略垂直で設定点位置を通る第四近似直線の第四近似直線式を算出する工程と、前記第一近似直線式および前記第四近似直線式に基づいて、前記第一近似直線と前記第四近似直線との交点位置を前記他の板状体の開先位置として算出する工程とを有する。
この方法を実施する本発明に係る開先計測装置は、一の板状体に重ね隅肉溶接される状態に配置された他の板状体の開先位置を計測する開先計測装置であって、他の板状体の開先面を横切るように両板状体に亘ってスリット光を照射する照射手段と、各板状体上に投映されるスリット光画像を識別可能に撮影して二次元画像情報として取得する二次元画像取得手段と、当該二次元画像情報を予め設定された三次元変換パラメータを用いて三次元画像情報に変換する三次元変換手段と、前記スリット光画像に対応する三次元画像情報と、前記両板状体の少なくとも形状および配置から決まる三次元画像間の相対位置関係に関する相対位置関係情報とに基づいて前記他の板状体の開先位置を算出する算出手段とを備え、前記他の板状体の開先面が前記各板状体のスリット光照射側の面とそれぞれ略直角に形成される場合において、前記照射手段が、前記スリット光を前記他の板状体の開先面に対して斜め上方から照射するように構成されており、前記二次元画像取得手段が、前記一の板状体のスリット光照射側の面上に投映される第一スリット光画像と前記他の板状体のスリット光照射側の面上に投映される第二スリット光画像とが同一表示画面上で互いに所定距離を隔てて略平行に配置されるように、かつ前記他の板状体の開先面上に投映される第三スリット光画像が前記表示画面上で前記第一スリット光画像および第二スリット光画像の間に亘って配置されるように、第一スリット光画像、第二スリット光画像および第三スリット光画像を撮影して、これらの画像を二次元画像情報として取得するように構成されており、前記相対位置関係情報に基づいた前記算出手段が、前記第一スリット光画像に対応する三次元画像情報に基づいて第一スリット光画像を直線近似した第一近似直線の第一近似直線式を算出する手段と、前記第二スリット光画像に対応する三次元画像情報に基づいて第二スリット光画像を直線近似した第二近似直線の第二近似直線式を算出する手段と、前記第三スリット光画像に対応する三次元画像情報に基づいて、第三スリット光画像上の予め設定された設定点の設定点位置を算出する手段と、前記第二近似直線に略垂直で設定点位置を通る第四近似直線の第四近似直線式を算出する手段と、前記第一近似直線式および前記第四近似直線式に基づいて、前記第一近似直線と前記第四近似直線との交点位置を前記他の板状体の開先位置として算出する手段とを備えてなる
この発明は、主に、他の板状体の開先面と第二スリット光照射側の面とからなる直角部のバリ、だれ、2次反射などの影響により、この直角部の頂点位置と、前記第二スリット光画像の開先面側の端部の位置とが一致しない場合に適用される。
この構成では、各三次元画像情報と、前記各三次元画像間の相対位置関係情報とに基づいて、前記他の板状体の開先位置を算出しているので、スリット光画像の端点が他の板状体の開先ギャップ幅、他の板状体の開先端面の形状、2次反射像などにより影響を受ける場合であっても、他の板状体の開先位置を精度良く計測することが可能となる。
すなわち三次元画像間の相対位置関係は両板状体の形状および配置などにより一意に決まるものである。従って、たとえ取得した三次元画像情報が上記影響により部分的に正確でないとしても、取得した三次元画像情報は前記三次元画像間の相対位置関係を満たさなければならない。本発明ではこのような関係を利用して上記影響を排除している。その結果、他の板状体の開先位置を精度良く計測することが可能となる。
そして、上記構成では、前記第二スリット光画像の開先面側の端部の位置情報、および、一の板状体の開先側の端部の位置情報を用いることなく、他の板状体の開先位置を算出している。その結果、第一スリット光画像の開先側の端部が他の板状体の開先ギャップ幅の影響により真の位置からずれた場合において、また前記他の板状体の直角部のバリ、だれ、2次反射像等の影響により、他の板状体の直角部の頂点位置と、前記第二スリット光画像の開先面側の端部の位置とが一致しない場合においても、他の板状体の開先位置を精度良く算出することが可能となる。
ここで開先位置は、一の板状体と他の板状体の開先面とが交差する継ぎ目位置である。この位置を溶接ロボットなどの溶接トーチがねらう。
また前記三次元変換パラメータは、二次元画像取得手段(例えば、CCDカメラ)を用いて予め複数の既知の座標点を計測することによって算出されるものであり、いわゆるカメラパラメータである。
また前記三次元画像間の相対位置関係とは、例えば前記他の板状体の開先面が前記各板状体のスリット光照射側の面とそれぞれ略直角または所定角度をなして形成される場合、各板状体のスリット光照射側の面上に投映されるスリット光画像またはその延長線と他の板状体の開先面上に投映されるスリット光画像またはその延長線とが、直交または所定角度で交差するような関係などをいう。
本発明に係る開先計測方法は、一の板状体に重ね隅肉溶接される状態に配置された他の板状体の開先位置を計測する開先計測方法であって、他の板状体の開先面を横切るように両板状体に亘ってスリット光を照射する照射工程と、各板状体上に投映されるスリット光画像を識別可能に撮影して二次元画像情報として取得する二次元画像取得工程と、当該二次元画像情報を予め設定された三次元変換パラメータを用いて三次元画像情報に変換する三次元変換工程と、前記スリット光画像に対応する三次元画像情報と、前記両板状体の少なくとも形状および配置から決まる三次元画像間の相対位置関係に関する相対位置関係情報とに基づいて、前記他の板状体の開先位置を算出する算出工程とを有し、前記他の板状体の開先面が他の板状体のスリット光照射側の面と所定角度をなしている場合において、前記二次元画像取得工程が、前記一の板状体のスリット光照射側の面上に投映される第一スリット光画像と、前記他の板状体のスリット光照射側の面上に投映される第二スリット光画像とが同一表示画面上で互いに所定距離を隔てて略平行に配置されるように、かつ前記他の板状体の開先面上に投映される第三スリット光画像が前記表示画面上において前記第一スリット光画像および第二スリット光画像の間に亘って配置されるように、第一スリット光画像、第二スリット光画像および第三スリット光画像を撮影して、これらの画像を二次元画像情報として取得する工程を有し、前記相対位置関係情報に基づいた前記算出工程が、前記第一スリット光画像に対応する三次元画像情報に基づいて第一スリット光画像を直線近似した第一近似直線の第一近似直線式を算出する工程と、前記第二スリット光画像に対応する三次元画像情報に基づいて第二スリット光画像を直線近似した第二近似直線の第二近似直線式を算出する工程と、前記第一近似直線式に基づいて前記第一近似直線の開先側の第一端点に対応する第一端点位置を算出する工程と、前記第二近似直線式に基づいて前記第二近似直線の開先側の第二端点に対応する第二端点位置を算出する工程と、前記第三スリット光画像に対応する三次元画像情報に基づいて前記第一端点位置と第二端点位置との間の第三スリット光画像を直線近似した第五近似直線の第五近似直線式を算出する工程と、前記第一近似直線式および前記第五近似直線式に基づいて前記第一近似直線と第五近似直線との交点位置を前記他の板状体の開先位置として算出する工程とを有する
またこの方法発明を実施する本発明に係る開先計測装置は、一の板状体に重ね隅肉溶接される状態に配置された他の板状体の開先位置を計測する開先計測装置であって、他の板状体の開先面を横切るように両板状体に亘ってスリット光を照射する照射手段と、各板状体上に投映されるスリット光画像を識別可能に撮影して二次元画像情報として取得する二次元画像取得手段と、当該二次元画像情報を予め設定された三次元変換パラメータを用いて三次元画像情報に変換する三次元変換手段と、前記各スリット光画像に対応する三次元画像情報と、前記両板状体の少なくとも形状および配置から決まる三次元画像間の相対位置関係に関する相対位置関係情報とに基づいて前記他の板状体の開先位置を算出する算出手段とを有し、前記他の板状体の開先面が前記他の板状体のスリット光照射側の面と所定角度をなしている場合において、前記二次元画像取得手段が、前記一の板状体のスリット光照射側の面上に投映される第一スリット光画像と、前記他の板状体のスリット光照射側の面上に投映される第二スリット光画像とが同一表示画面上で互いに所定距離を隔てて略平行に配置されるように、かつ前記他の板状体の開先面上に投映される第三スリット光画像が前記表示画面上において前記第一スリット光画像および第二スリット光画像の間に亘って配置されるように、第一スリット光画像、第二スリット光画像および第三スリット光画像を撮影して、これらの画像を二次元画像情報として取得するように構成されており、前記相対位置関係情報に基づいた前記算出手段が、前記第一スリット光画像に対応する三次元画像情報に基づいて第一スリット光画像を直線近似した第一近似直線の第一近似直線式を算出する手段と、前記第二スリット光画像に対応する三次元画像情報に基づいて第二スリット光画像を直線近似した第二近似直線の第二近似直線式を算出する手段と、前記第一近似直線式に基づいて前記第一近似直線の開先側の第一端点に対応する第一端点位置を算出するとともに、前記第二近似直線式に基づいて前記第二近似直線の開先側の第二端点に対応する第二端点位置を算出する手段と、前記第三スリット光画像に対応する三次元画像情報に基づいて、前記第一端点位置と第二端点位置との間の第三スリット光画像を直線近似した第五近似直線の第五近似直線式を算出する手段と、前記第一近似直線式および前記第五近似直線式に基づいて前記第一近似直線と第五近似直線との交点位置を前記他の板状体の開先位置として算出する手段とを備えてなる
この発明は、主に、前記他の板状体の開先面が前記他の板状体のスリット光照射側の面と所定角度をなしている場合に適用される。
この構成では、上記のように前記他の板状体の開先面が前記他の板状体のスリット光照射側の面と直交するという関係を用いることができないので、他の板状体の開先面上の第三スリット光画像を直線近似した第五近似直線と、第一スリット光画像を直線近似した第一近似直線とを用いてその交点位置を他の板状体の開先位置として算出している。これにより、第一スリット光画像の開先側の端部が他の板状体の開先ギャップ幅の影響により真の位置からずれた場合においても、他の板状体の開先位置を精度良く計測することが可能となる。
また第五近似直線を算出するときに、第一スリット光画像の開先側の端部と、第二スリット光画像の開先側の端部との間にある第三スリット光画像に対応する三次元画像情報を用いている。このように第五近似直線を算出するときに用いる情報の範囲を制限することにより、2次反射像などにより影響を排除することが可能となる。その結果、他の板状体の開先位置を精度良く計測することが可能となる
また本発明に係る別の開先計測装置は、少なくとも本願請求項および請求項に記載の開先計測装置を備えており、当該複数の開先計測手段のうちから、計測対象の板状体に対応した開先計測装置を選択して切り換えるためのユーザによる入力を受け付ける受付手段と、当該入力に基づいた開先計測装置を選択して切り換えるための切り換え手段とを備える。また前記複数の開先計測装置が一体にまたは別体に形成されてなることが好ましい。
この構成によれば、上述した計測対象の板状体の少なくとも形状および配置から決まる各三次元画像間の相対位置関係に対応した開先計測装置を選択して切り換えることができる。すなわち他の板状体の開先位置の計測に好適な開先計測装置を選択することが可能となる。その結果、他の板状体の開先位置を精度良く計測することが可能となる
本発明によれば、被溶接物の開先位置を精度良く、および/または迅速に計測することができる。
以下、本発明の実施の形態を図面に基づいて説明する。
図1は、本発明の実施の形態に係る開先計測システムの概略構成を示す構成図である。
図1に示すように、例えば計測対象物1は径の異なる2つの中空円筒体(例えば、乗用車の車輪のリムとディスク)から構成される。この計測対象物1は、大径の中空円筒体2内に小径の中空円筒体(以下、被溶接物という)3を重ね合わせるように挿入して両者を重ね隅肉溶接することができるような状態に形成されている。なお、ここでは、計測対象物1が2つの中空円筒体から構成されるが、これに限定されるものではない。
本発明に係る開先計測システム10は、計測対象物1を回転させる回転装置11と、計測対象物1のうちの被溶接物3の開先位置を計測する開先計測センサ12と、この開先計測センサ12を支持するとともに被溶接物3の開先位置の計測が可能な位置に位置決めする位置決め装置13とを備える。
前記回転装置11は、計測対象物1を載置する回転テーブル11aと、この回転テーブル11aを回転させる駆動装置11bとを備える。この回転テーブル11aは計測対象物1を載置可能な大きさに形成されている。この回転テーブル11a上には、計測対象物1がその軸心線を回転テーブル11aの回転軸心線と略一致させるように配置され固定される。これにより計測対象物1は、回転テーブル11aの回転軸心線を中心として回転することになる。
またこの回転装置11には、回転テーブル11aの回転軸心線まわりの回転角度を計測する回転角度計測装置11cが設けられている。これにより、計測対象物1の軸心線まわりの回転角度を計測することが可能となる。その理由は、上記のとおり、計測対象物1がその軸心線を回転テーブル11aの回転軸心線と略一致させるように回転テーブル11a上に配置されているからである。
一方前記駆動装置11bとしては、公知のステップモータ、サーボモータなどを用いることが望ましい。これにより、回転テーブル11aの回転動作、すなわち計測対象物1の回転動作を精度良く制御することができる。
前記開先計測センサ12は、回転装置11上の計測対象物1の内側の所定の計測位置に配置される。ここで、所定の計測位置とは、計測対象物1の被溶接物3の開先位置を確実に計測することが可能な位置をいう。
この開先計測センサ12は、図示されていないが、照射装置15と画像取得装置16とを備える。このうち照射装置15は、被溶接物3の開先4を横切るように前記両中空円筒体2、3に亘ってスリット光または走査可能なスポット光14などを照射するように構成されている。一方画像取得装置16は三次元演算装置(図示せず)を備えており、被溶接物3上に投映された光画像を撮影して、この光画像に関連する画像情報に基づいて被溶接物3の三次元開先位置を算出可能に構成されている。さらに画像取得装置16は、被溶接物3の三次元開先位置に関する三次元開先位置情報を、後述の演算処理装置COMの入力装置18に出力するように構成されている。
以上のような開先計測センサ12としては、たとえば公知のレーザセンサなどを用いることができる。レーザセンサの場合、前記照射装置15および画像取得装置16が多くの場合一体に形成されている。また画像取得装置16には、CCD素子、CMOS素子などを備える公知のカメラ装置などを用いることが望ましい。
前記位置決め装置13は、公知の多関節ロボットなどから構成され、複数の可動アーム17を備える。もちろんこれに限定するものではない。そしてこの可動アーム17の先端部17aに、前記開先計測センサ12が取り付け固定される。このように、位置決め装置13を用いることにより、前記開先計測センサ12を上述した所定の計測位置に移動させることが可能となる。
なお、ここでは、開先計測センサ12を所定の計測位置に固定して計測対象物1を開先計測センサ12に対して回転させているが、これとは逆に開先計測センサ12を計測対象物1に対して回転させ計測対象物1を所定位置に固定してもよい。この場合前記回転装置11に代えて、計測対象物1を載せる載置台を用いる。より具体的には、前記計測対象物1の軸心線を、載置台の載置面の中心を通る当該載置面に対して略垂直な中心線と略一致させるように、計測対象物1を載置台上に載置して固定する。また前記位置決め装置13のアーム17の先端部に、開先計測センサ12を回転させるセンサ回転装置を設ける。このセンサ回転装置は、前記計測対象物1の軸心線を中心に開先計測センサ12を公転または自転させるように構成される。なお開先計測センサ12の軌跡は、開先計測センサ12が被溶接物3の開先位置を計測するのに好適なものであり、予め設定されている。
次に本発明に係る開先計測システム10の演算処理装置について図2ないし図7を用いて説明する。
図2は、本発明に係る開先計測システムの演算処理装置の機能を示すブロック図である。図2に示すように、演算処理装置COMは、入力装置18と、演算装置19と、記憶装置20と、出力装置21とを備える。
入力装置18は、前記開先計測センサ12および回転角度計測装置11cのそれぞれと通信可能に接続されている。この入力装置18は、開先計測センサ12から被溶接物3の三次元開先位置情報、および、回転角度計測装置11cから前記回転テーブル11aの回転角度情報を、所定時間間隔で同時に受け付けるように構成されている。この入力装置18は、バッファ22と位相遅れ補正部23とを備える。また入力装置18は、図示されていないがユーザによる計測対象物1の品種変更に関する品種変更入力を受け付けることができるように構成されている。
前記バッファ22は、受け付けた前記回転角度情報を受付時間と関連付けて格納するように構成されている。位相遅れ補正部23は、少なくとも前記回転装置11の回転速度および前記開先計測センサ12の画像処理速度に起因する前記三次元開先位置情報の回転角度情報に対する位相遅れ時間と、前記バッファ22に格納された回転角度情報とに基づいて、前記受付時間の位相遅れ時間前の回転装置11の回転角度を補正回転角度として算出するように構成されている。このように、バッファ22を用いて前記回転角度情報を位相遅れ時間だけ補正することにより、前記三次元開先位置情報と前記回転角度情報との間の位相ずれを解消することが可能となる。これにより、被溶接物3の開先位置を迅速にかつ精度良く計測することが可能となる。
ここで、上記位相遅れ時間について図3の説明図を用いて詳しく説明する。図3に示すように、前記画像取得装置16は露光から画像入力を経て画像処理を完了するまでに時間Tがかかる。この時間Tは、画像のぶれにより被溶接物3の開先位置が露光時間のほぼ中間の時間で取得されることから、通常2.5フレーム(すなわち、画像取得装置の処理速度が60Hzの場合、略40msec、30Hzの場合略80msec)となる。特に計測対象物1を高速に回転させて被溶接物3に開先位置を計測する場合、この時間Tが前記三次元開先位置情報の回転角度情報に対する位相ずれとなって現れる。この時間Tが位相遅れ時間である。
図2に示した演算装置19は公知のCPUなどから構成される。この演算装置19は、変換部24、補間部25、判定部26、平均・分散算出部27、回転速度変更部28およびセンサ異常検知部29を備える。
前記変換部24は、前記被溶接物3の三次元開先位置を、前記位置決め装置13の座標系から被溶接物3の軸心線を基軸とする座標系に変換するように構成されている。この変換された被溶接物3の三次元開先位置情報は、例えば溶接ロボットのコントローラ(図示せず)など外部の装置に利用される。具体的には、変換部24によって変換された被溶接物3の三次元開先位置を、予め設定された、被溶接物3の座標系の基点と、溶接ロボットの座標系の基点との相対位置関係に基づいて、被溶接物3の座標系から溶接ロボットの座標系に変換する。これにより、被溶接物3の三次元開先位置を前記位置決め装置13の座標系から溶接ロボットの座標系に変換する場合に比べて、被溶接物3の三次元開先位置を精度良く変換することができる。その理由は、被溶接物3と溶接ロボットとの間の離隔距離が、前記位置決め装置13と溶接ロボットと間の離隔距離に比べて短いからである。
前記補間部25は、前記回転テーブル11aの補正回転角度と当該補正回転角度に対応する被溶接物3の三次元開先位置とに基づいて、これらの補正回転角度間の補正回転角度に対応する被溶接物3の三次元開先位置を補間するように構成されている。以下、図4を用いて詳細に説明する。図4は、計測値(変換部24によって変換された三次元開先位置)と回転テーブル11aの補正回転角度との関係を示すグラフである。図中、○印は計測値を示し、△印は補間値を示している。
図4の測定点aの補正回転角度および計測値をθa、Yaとする。図4の測定点bの補正回転角度および計測値をθb、Ybとする。ここで補間点の補正回転角度をθcとすると、補間値Ycは式(1)を用いて以下のように算出される。
Yc=Ya+(Yb−Ya)/(θb−θa) …(1)
その結果、計測点の数が少なくても、回転テーブル11aの所望の補正回転角度に対応する被溶接物3の三次元開先位置を容易に推定することが可能となる。これにより前記回転装置11の回転速度に拘わらず、回転テーブル11aの所望の補正回転角度に対応する被溶接物の三次元開先位置を得ることが可能となる。以上により被溶接物3の三次元開先位置を迅速にかつ精度良く計測することが可能となる。
図2に示した判定部26は、計測された被溶接物3の三次元開先位置情報が正常であるか否かを判定するように構成されている。以下、図5を用いて詳細に説明する。図5は、計測値(変換された三次元開先位置)と補正回転角度との関係を示すグラフである。
この判定部26は、図5に示される、計測点a、b間、計測点b、c間、計測点c、d間、計測点d、e間、計測点e、f間…の各計測点間のそれぞれの計測点に対応する計測値を順次比較する。すなわち判定部26は、現計測点(例えば、計測点b)と1つ前の計測点(例えばa)との間の計測値を比較する。なお、1つ前の計測点に対応する計測値は、記憶装置20に格納されている。そして判定部26は、これらの計測点間のそれぞれの計測点に対応する計測値の変動値が、記憶装置20に予め記憶される設定変動値を超える場合には当該計測値が異常であると判定する。なお、ここでは判定部26は、計測点b、c間および計測点d、e間のそれぞれの計測点に対応する計測値に異常があると判定する。この判定部26は、全ての計測点a〜fを、それぞれの計測値に応じて、例えば計測点bの計測値に近いグループと、計測点cの計測値に近いグループとに分ける。もちろん計測値に応じて、計測点を2つを超えるグループに分けてもよい。そして判定部26は、各グループに属する計測点の個数を求めて比較する。この場合、計測点bのグループに属する計測点の個数は4個であり、計測点cのグループに属する計測点の個数は2個である。そして判定部26は、この計測点の個数が多いグループに属する計測点の計測値を正常であると判定する。すなわちここでは、判定部26は計測点a、b、e、fに対応する計測値を正常であると判定する。その後上記補間部25が計測点c、dに対応する三次元開先位置の正常値を上述した補間法を用いて算出する。具体的に計測点c、dに対応する計測値は、前記式(1)を用いて、計測点b、eに対応する回転テーブル11aの補正回転角度、および、計測点b、eに対応する計測値に基づいて算出される。これにより、被溶接物3の三次元開先位置を精度良く計測することが可能となる。
図2に示した前記平均・分散算出部27は、複数の同一品種の計測対象物1に対して得られた前記補正回転角度および前記三次元開先位置に基づいて、それぞれの被溶接物3の同一補正回転角度に対応する複数の三次元開先位置の平均値と分散値とを算出するように構成されている。これにより計測対象物1の品質を把握することが可能となる。
前記回転速度変更部28は、入力装置18がユーザによる計測対象物1の品種変更に関する品種変更入力を受け付けたときに、その後に前記平均・分散算出部27によって順次算出される被溶接物3の三次元開先位置の平均値と分散値とに基づいて、前記回転装置11に対して回転速度の変更指令をするように構成されている。具体的には、被溶接物3の三次元開先位置の分散値が小さい場合、すなわち開先計測システム10の計測値のばらつきが小さい場合、前記回転速度変更部28は前記回転装置11の回転速度を増加させる指令を回転装置11に対して出力する。逆に被溶接物3の三次元開先位置の分散値が大きい場合、すなわち開先計測システム10の計測値のばらつきが大きい場合、前記回転速度変更部28は前記回転装置11の回転速度を低下させる指令を回転装置11に対して出力する。ここで、開先計測システム10の計測値のばらつきが大きい場合とは、例えば被溶接物3の品種を変更した直後のような場合をいう。この場合開先計測システム10の計測点数が少ないので、計測値のばらつきが大きい。このような場合には、前記回転装置11を比較的低速で回転する。その後当該計測点数が多くなり開先計測システム10の計測値のばらつきが小さくなったら、回転速度変更部28の指令に基づいて回転装置11の回転速度を徐々に増加させる。以上により、開先計測システム10の計測精度を所定範囲内に維持することが可能となる。さらに開先計測システム10の計測精度を所定範囲内に維持しながら、開先計測システム10の計測時間を短縮することも可能となる。
前記センサ異常検知部29は、開先計測センサ12の取付位置のずれ、およびセンサ自体の異常を検出するように構成されている。このようなセンサ異常検知部29として、キャリブレーションを用いる。このキャリブレーションプレートは、通常、開先計測センサ12を前記位置決め装置13に取り付けるときに、その位置関係を校正するために用いられるが、本実施形態では上記のとおりセンサ自体の異常を検知するためにも用いる。以下、図6を参照して詳細に説明する。図6は、キャリブレーションプレートの正面図である。
図6に示すように、キャリブレーションプレート30は例えば正方形状の板からなる。このキャリブレーションプレート30は、開先計測センサ12の検知範囲内の所定の場所に固定されている。センサ異常検知部29は、固定されたキャリブレーションプレート30上の同じ場所を開先計測センサ12を用いて計測することにより、開先計測センサ12の取付位置のずれ、およびセンサ自体の異常を検出する。
具体的には、開先計測センサ12がキャリブレーションプレート30上にスリット光14を照射し、キャリブレーションプレート30上に投映された光画像31を取得して、この光画像31の位置を計測する。センサ異常検知部29は、この計測結果を、記憶装置20に予め記憶される基準位置と比較する。そして両者にずれがある場合、センサ異常検知部29は開先計測センサ12の取付位置がずれていると判定する。また開先計測センサ12は、光画像31の太さも同時に計測する。センサ異常検知部29は、この計測結果を、記憶装置20に予め記憶される基準光画像幅と比較する。そして両者にずれがある場合、センサ異常検知部29は、照射装置15から照射されるスリット光14の出力低下、または画像取得装置16のレンズ(図示せず)の汚れによる受光感度の低下といったセンサ自体の異常であると判定する。これらの判定結果をユーザに報知する。ユーザはこの判定結果に基づき、開先計測センサ12の取付位置の調整、照射装置15の出力調整および撮影装置16のレンズの清掃などを実施する。これにより、開先計測センサ12を正常な状態に保つことが可能となる。
図2に示した記憶装置20は、公知のROM、RAMなどから構成される。この記憶装置20は、前記演算装置19の演算に必要なデータ、プログラムなどを記憶する。
図2に示した出力装置21は、溶接ロボット(図示せず)など外部の装置のコントローラと通信可能に接続されている。そして出力装置21は、演算装置20によって演算された演算結果(被溶接物3の三次元開先位置情報)を、溶接ロボットなどの外部の装置(図示せず)に出力するように構成されている。
以上の構成される開先計測システム10の処理フローについて図7に基づいて具体的に説明する。
まず開先計測センサ12を所定の計測位置に移動させる(ステップS10)。開先計測センサ12の計測を開始する(ステップS11)。回転装置11によって計測対象物1を回転させる(ステップS12)。または上述したように、前記位置決め装置13のアーム17の先端部に取り付けたセンサ回転装置によって開先計測センサ12を回転させてもよい。その後前記入力装置18が、開先計測センサ12からの被溶接物3の三次元開先位置情報、および、前記回転角度計測装置11cまたは前記センサ回転角度計測装置からの回転角度情報を受け付ける(ステップS13)。これらの回転角度情報を一旦バッファ22に保存し、位相遅れ補正部23によって位相補正をして、演算装置19に送る(ステップS14)。判定部26が、計測された被溶接物3の三次元開先位置情報のなかに異常値が含まれるか否かを検知する(ステップS15)。計測対象物1の回転が終了したか否かを判定する(ステップS16)。具体的には、回転角度計測装置11cまたはセンサ回転角度計測装置によって、計測対象物1がその軸心線まわりに360度回転したか否かを判定する。ステップS16において計測対象物1の回転が終了していないと判定された場合、ステップS13に戻り、ステップS14およびS15の順に処理を繰り返す。
ステップS16において計測対象物1の回転が終了したと判定された場合、開先計測センサ12の計測を停止する(ステップS17)。そのあと判定部26が、計測された被溶接物3の三次元開先位置情報のうちから、正常な被溶接物3の三次元開先位置情報を抽出する。異常値が多く含まれる場合は、ステップS11に戻って再計測を行う(ステップS18a)。再計測のときは回転速度を下げる方が好ましい。再計測しない場合は、補間部25がこの正常な被溶接物3の三次元開先位置情報に基づいて、前記回転テーブル11aの所望の補正回転角度間で被溶接物3の三次元開先位置情報の補間処理を行う。変換部24が、これらの処理によって得られた被溶接物3の三次元開先位置を、前記位置決め装置13の座標系から被溶接物3の軸心線を基軸とする座標系に変換する(ステップS18)。そのあと出力部21が、前記変換された被溶接物3の三次元開先位置情報を溶接ロボットなど外部の装置に出力する(ステップS19)。そのあと位置決め装置13は、開先計測センサ12を計測対象物1の外側の退避位置まで移動する(ステップS20)。これらの処理は、順次送られてくる計測対象物1に対して同様に実施される。
上述した開先計測センサ12について図8ないし図14を用いてさらに詳細に説明する。以下に説明する開先計測センサ12に係る実施例は、ほんの一例である。従ってこれに限定されるものではない。なお、上述した開先計測センサ12の構成部品と同等の部品については、同一の符号を付し、詳細な説明は省略する。
図8は、開先計測センサと計測対象物との位置関係の一例を示す概略斜視図である。図8に示すように、開先計測センサ12の照射装置15は、重ね隅肉溶接される状態に形成された2つの中空円筒体2、3(計測対象物1)の各内面に向かってスリット光14を照射したときに、開先4(開先面4a)を横切るスリット光画像14aが両中空円筒体2、3に亘って形成されるように配置されている。また開先計測センサ12の画像取得装置16は、前記スリット光画像14aを撮影することが可能な位置に配置されている。これらの照射装置15および画像取得装置16は一体または別体に形成される。さらにこれらの装置15、16は、上述した位置決め装置13によって計測対象物1の開先面4aに対して傾動または移動されるように構成されている。これにより、所望のスリット光画像14aを得ることが可能となる。なお、説明の便宜上、外側(大径)の中空円筒体2の内面側をR側と称し、内側(小径)の中空円筒体(以下、被溶接物という)3の内面側をD側と称する。被溶接物3の内面の開先面4a側の角部を符号5で示す。
図9は、画像取得装置16で取得した2次元画像の一例を示している。図9に示すように、この2次元画像の一例では、計測対象物1のR側面上に投映されるスリット光画像(以下、R側スリット光画像という)100と、計測対象物1のD側面上に投映されるスリット光画像(以下、D側スリット光画像)101とが、所定の距離を隔てて略平行に配置されており、R側スリット光画像100の開先4側の端点の位置が、開先4の位置を超えている。これは、主に計測対象物1の開先ギャップ幅が大きい場合に起こりうる現象を模式的に示している。またこの2次元画像の一例では、D側スリット光画像100の角部5側の位置が、真の角部5の位置を超えている。これは、主に被溶接物3の角部5にバリ等が存在する場合に起こりうる現象を模式的に示している。またこの2次元画像の一例では、破線で示すスリット光画像102が撮影されている。これは、例えば計測対象物1の内面から2次反射の影響により起こりうる現象を示している。本発明に係る実施形態の開先計測センサ(開先計測装置)12は、これらの現象に対応することができるように構成されている。以下、詳細に述べる。
図10は、本発明の実施形態に係る開先計測装置12の演算処理装置50の構成を示すブロック図である。なおこの演算処理装置50は、上述した演算処理装置COMと一体であっても良いし、また別体であっても構わない。
図10に示すように、演算処理装置50は、入力装置51、演算装置52、記憶装置53および出力装置54を備える。各装置は互いに通信可能に接続されている。
入力装置51は、画像取得装置16と通信可能に接続されており、画像取得装置16が取得したスリット光画像14aを二次元画像情報として受け付けるように構成されている。また入力装置51は、ユーザ入力を受け付け可能に構成されている。詳細は後述する。
前記演算装置52は公知のCPUなどから構成される。この演算装置52は、三次元変換部55、算出部56および切り換え部57を備える。
前記三次元変換部55は、前記画像取得装置16から得た前記二次元画像情報を、予め設定された三次元変換パラメータを用いて三次元画像情報に変換するように構成されている。以下、図11を用いて詳細に説明する。
図11に示すように、例えば垂直投光型であれば、スリット光投光面をX=0として、次式(2)〜(4)を用いて二次元画像情報を三次元変換することができる。
Figure 0004269322


ここに、
Figure 0004269322


Figure 0004269322


ここで、式(3)、(4)中のXc、Ycは画像取得装置16(例えば、CCD素子)の座標系を示している。またCijは三次元変換パラメータ、いわゆるカメラパラメータを示している。このカメラパラメータCijは、照射装置15と画像取得装置16との相対位置関係に応じて設定される。より具体的にはカメラパラメータCijは、これらの装置15、16を用いて図11に示したX−Y−Z座標系の複数の既知の位置を計測することにより算出される。そしてこのカメラパラメータCijは記憶装置53に格納される。
図10に示した算出部56は、前記変換された三次元画像情報と、前記計測対象物1の形状および配置から決まる三次元画像間の相対位置関係に関する相対位置関係情報とに基づいて、前記被溶接物3の開先位置を算出するように構成されている。詳細は後述する。ここで三次元画像間の相対位置関係とは、例えば計測対象物1の開先面4aが計測対象物1のR側面およびD側面とそれぞれ略直角または所定角度をなして形成される場合、図9に示したR側スリット光画像100およびD側スリット光画像101またはその延長線と、計測対象物1の開先面4a上に投映されるスリット光画像またはその延長線とが、直交または所定角度で交差するような関係などをいう。
図10に示した切り換え部57は、種々の計測対象物1に対して予め設定された開先計測方法から適切な開先計測方法を選択して切り換えるものである。この開先計測方法は、種々の計測対象物1の形状および配置から決まる三次元画像間の相対位置関係に関連付けて、計測対象物1の開先位置を算出する開先計測プログラム1〜3として記憶装置53に格納されている。この開先計測プログラム1〜3の詳細は後述する。なお、ここでは、開先計測プログラムは3つであるが、これに限定するものではない。
具体的には切り換え部57は、入力装置51によって受け付けたユーザによる入力に基づいて、前記複数の開先計測プログラム1〜3のうちから前記相対位置関係に対応する開先計測プログラムを選択して切り換える。ここでユーザ入力は、切り換え部57に対して、複数の開先計測プログラム1〜3のうちから前記相対位置関係に対応する開先計測プログラムを選択して切り換えさせるための入力信号である。具体的には、例えば、開先計測プログラム1〜3にそれぞれ対応した数字の1、2、3などが入力装置51から入力されるが、これに限定するものではない。
記憶装置53は公知のRAM、ROMなどから構成される。この記憶装置53には、上記のとおり、開先計測プログラム1〜3などが記憶されている。
出力装置54は、演算装置52で演算した演算結果(計測対象物1の三次元開先位置情報)を、上述した開先計測システム10の演算処理装置17などに出力するように構成されている。また出力装置54は上述した位置決め装置13と通信可能に接続されている。出力装置54は、切り換え部57によって切り換えられた開先計測プログラムに基づいて、照射装置15および画像取得装置16を計測対象物1の開先面4aに対して傾動させるための情報を、前記位置決め装置13に送る。当該情報に基づいて、位置決め装置13が照射装置15および画像取得装置16を計測対象物1の開先面4aに対して傾動させる。
次に前記相対位置関係情報に対応した開先計測方法(開先計測プログラム1〜3)について図12ないし図14に基づいて詳述する。
図12は、開先計測プログラム1の処理フローを説明するための説明図であり、(a)は処理フロー図を示し、(b)は画像取得装置で取得した2次元画像の一例を示している。
この開先計測プログラム1は、計測対象物1の開先面4aが計測対象物1のR側面およびD側面とそれぞれ略直角に形成される場合に適用される。特に被溶接物3の内面の開先面4a側の角部5の位置と、後述のD側スリット光画像105の端点の位置とが略一致している場合に適用される。従って、以下においては、この端点に前記角部5と同一の符号を付す。またこの場合、前記照射装置15は、スリット光14を計測対象物1の開先面4aと略同じ高さから開先面と略平行に照射するようになっている。
図12(a)、(b)に示すように、前記画像取得装置16は、計測対象物1のR側面上に投映されるR側スリット光画像104と、計測対象物1のD側面上に投映されるD側スリット光画像105とが同一表示画面上で互いに所定距離を隔てて略平行に配置されるように、R側スリット光画像104とD側スリット光画像105とを撮影して、これら両画像を二次元画像情報として取得する(ステップS60)。
次に前記三次元変換部55を用いて、前記二次元画像情報を三次元画像情報に変換する(ステップS61)。
前記算出部56が、前記D側スリット光画像105に対応する三次元画像情報に基づいてD側スリット光画像105を直線近似したD側近似直線106のD側近似直線式を算出する。また算出部56は、前記R側スリット光画像104に対応する三次元画像情報に基づいてR側スリット光画像104を直線近似したR側近似直線107のR側近似直線式を算出する。前記D側近似直線式に基づいてD側近似直線106の開先側の端点5に対応する端点位置を算出する(ステップS62)。
前記算出部56が、前記D側近似直線106と略垂直で前記端点5の端点位置を通る垂直近似直線109の垂直近似直線式を算出する(ステップS63)。
前記R側近似直線式および前記垂直近似直線式に基づいて前記R側近似直線107と垂直近似直線109との交点4の位置を計測対象物1の開先位置として算出する(ステップS64)。
ここで、R、D側スリット光画像104、105にそれぞれ対応する三次元画像情報の細線化データからR、D側近似直線式および垂直近似直線式をそれぞれ算出する方法について概説する。これらの近似直線式を算出するとき、公知のハフ変換法などの手法を用いることができる。このハフ変換法は投票法であり、このハフ変換法を用いることにより少数のノイズの影響を排除した近似直線を求めることができる。具体的には、仮想空間ρθ上で点の集中している場所(ρ、θ)を求めることにより図11に示したYZ空間上の近似直線を検出する。その近似直線は式(5)で表される。
ρ=Y・cosθ+Z・sinθ …(5)
式(5)を用いて、R、D側スリット光画像104、105にそれぞれ対応する三次元画像情報の細線化データから算出された近似直線式を
a・Y+b・Z=c …(6)
とすると、この近似直線に垂直な近似直線の式は、式(7)で与えられる。
b・Y−a・Z=d …(7)
なお、ここでは、式(6)で表される直線に垂直な直線を算出する例を示しているが、これに限定されることなく、式(6)で表される直線に任意の角度で交差しうる直線の式も算出することができる。
図13は、開先計測プログラム2の処理フローを説明するための説明図であり、(a)は開先計測センサと計測対象物との位置関係の一例を示し、(b)は処理フロー図を示し、(c)は画像取得装置で取得した2次元画像の一例を示している。
この開先計測プログラム2は、計測対象物1の開先面4aが計測対象物1のR側面およびD側面とそれぞれ略直角に形成される場合に適用される。特に上述した計測対象物1の開先ギャップ幅または被溶接物3の開先面4a側の角部5のバリ、だれ等の影響を受けて、被溶接物3の内面の開先面4a側の角部5に位置と、後述のD側スリット光画像105の端点の位置とが略一致しない場合に適用される。もちろん両位置が一致する場合に適用しても構わない。またこの場合図13(a)に示すように、前記照射装置15は、スリット光14を計測対象物1の開先面4aに対して斜め上方から照射するようになっている。
図13(b)、(c)に示すように、前記画像取得手段16が、計測対象物1のD側面上に投映されるD側スリット光画像110と計測対象物1のR側面上にに投映されるRスリット光画像111とが同一表示画面上で互いに所定距離を隔てて略平行に配置されるように、かつ計測対象物1の開先面4a上に投映される開先面上スリット光画像112が前記表示画面上で前記両画像110、111間に亘って配置されるように、D側スリット光画像110、R側スリット光画像111および開先面上スリット光画像112を撮影して、これらの画像を二次元画像情報として取得する(ステップS70)。
次に前記三次元変換部55を用いて、前記二次元画像情報を三次元画像情報に変換する(ステップS71)。
前記算出部56が、前記D側スリット光画像110に対応する三次元画像情報に基づいてD側スリット光画像110を直線近似したD側近似直線113のD側近似直線式を算出する。また算出部56は、前記R側スリット光画像111に対応する三次元画像情報に基づいてR側スリット光画像111を直線近似したR側近似直線114のR側近似直線式を算出する。前記開先面上スリット光画像112に対応する三次元画像情報に基づいて、開先面上スリット光画像112上の予め設定された設定点115の設定点位置を算出する(ステップS72)。なおこの設定点は、上述した計測対象物1の開先ギャップ幅または被溶接物3の開先面4a側の角部5のバリ、だれ等の影響を排除することが可能な位置に設定される。具体的には、設定点として、被溶接物3の開先面4a上の板厚方向の中間の任意の位置に設定されうる。もちろんこれに限定するものではない。例えば、設定点は任意の一点または複数点の重心位置であってもよい。
前記算出部56は、前記D側近似直線113に略垂直で前記設定点115の設定点位置を通る開先面上近似直線116の開先面上近似直線式を算出する(ステップS73)。
前記R側近似直線式および前記開先面上近似直線式に基づいて、前記R側近似直線114またはその延長線と前記開先面上近似直線116との交点4の交点位置を計測対象物1の開先位置として算出する(ステップS74)。
図14は、開先計測プログラム3の処理フローを説明するための説明図であり、(a)は処理フロー図を示し、(c)は画像取得装置で取得した2次元画像の一例を示している。
この開先計測プログラム3は、計測対象物1の開先面4aが計測対象物1のR側面およびD側面とそれぞれ所定角度をなしている場合に適用される。この場合図14(a)に示すように、前記照射装置15は、スリット光14を計測対象物1の開先面4a側に向かって照射するようになっている。
図14(a)、(b)に示すように、前記画像取得装置16は、計測対象物1のD側面上に投映されるD側スリット光画像117と、計測対象物1のR側面上に投映されるR側スリット光画像118とが同一表示画面上で互いに所定距離を隔てて略平行に配置されるように、かつ計測対象物1の開先面4a上に投映される開先面上スリット光画像119が前記表示画面上において前記両画像117、118間に亘って配置されるように、D側スリット光画像117、R側スリット光画像118および開先面上スリット光画像119を撮影して、これらの画像を二次元画像情報として取得する(ステップS80)。
次に前記三次元変換部55を用いて、前記二次元画像情報を三次元画像情報に変換する(ステップS81)。
前記算出部56が、前記D側スリット光画像117に対応する三次元画像情報に基づいてD側スリット光画像117を直線近似したD側近似直線120のD側近似直線式を算出する。また算出部56は、前記R側スリット光画像118に対応する三次元画像情報に基づいてR側スリット光画像118を直線近似したR側近似直線121のR側近似直線式を算出する。前記D側近似直線式に基づいてD側近似直線117の開先側の第一端点5に対応する第一端点位置を算出する(ステップS82)。
前記R側近似直線式に基づいてR側近似直線118の開先側の第二端点4’に対応する第二端点位置を算出する(ステップS83)。
前記開先面上スリット光画像119に対応する三次元画像情報に基づいて、前記第一端点5と第二端点4’との間の開先面上スリット光画像119を直線近似した開先面上近似直線122の開先面上近似直線式を算出する(ステップS84)。
前記D側近似直線式および前記開先面上近似直線式に基づいて、前記D側近似直線120またはその延長線と開先面上近似直線122との交点4の位置を計測対象物1の開先位置として算出する(ステップS85)。
なお、上述した実施形態は一例であり、本発明の要旨を損なわない範囲での種々の変更は可能であり、本発明は上述した実施形態に限定されるものではない。
本発明の実施の形態に係る開先計測システムの概略構成を示す構成図である。 本発明に係る開先計測システムの演算処理装置の機能を示すブロック図である。 位相遅れ時間について説明する説明図である。 計測値(変換された三次元開先位置)と補正回転角度との関係を示すグラフである。 計測値(変換された三次元開先位置)と補正回転角度との関係を示すグラフである。 キャリブレーションプレートの正面図である。 本発明に係る開先計測システムの処理フロー図である。 開先計測センサと計測対象物との位置関係の一例を示す概略斜視図である。 画像取得装置で取得した2次元画像の一例を示している。 本発明の実施形態に係る開先計測装置の演算処理装置の構成を示すブロック図である。 三次元変換を説明する説明図である。 開先計測プログラム1の処理フローを説明するための説明図であり、(a)は処理フロー図を示し、(b)は画像取得装置で取得した2次元画像の一例を示している。 開先計測プログラム2の処理フローを説明するための説明図であり、(a)は開先計測センサと計測対象物との位置関係の一例を示し、(b)は処理フロー図を示し、(c)は画像取得装置で取得した2次元画像の一例を示している。 開先計測プログラム3の処理フローを説明するための説明図であり、(a)は処理フロー図を示し、(c)は画像取得装置で取得した2次元画像の一例を示している。
1…計測対象物
2…中空円筒体
3…中空円筒体(被溶接物)
4…開先
4a…開先面
5…被溶接物の内面の開先面側の角部
10…開先計測システム
11…回転装置
11a…回転テーブル
11b…駆動装置
11c…回転角度計測装置
12…開先計測センサ(開先計測装置)
13…位置決め装置
14…スリット光
14a…スリット光画像
15…照射装置
16…画像取得装置
17…アーム
COM…演算処理装置
18…入力装置
19…演算装置
20…記憶装置
21…出力装置
22…バッファ
23…位相遅れ補正部
24…変換部
25…補間部
26…判定部
27…平均・分散算出部
28…回転速度変更部
29…センサ異常検出部
30…キャリブレーションプレート
31…光画像
50…演算処理装置
51…入力装置
52…演算装置
53…記憶装置
54…出力装置
55…三次元変換部
56…算出部
57…切り換え部

Claims (6)

  1. 一の板状体に重ね隅肉溶接される状態に配置された他の板状体の開先位置を計測する開先計測方法であって、
    他の板状体の開先面を横切るように両板状体に亘ってスリット光を照射する照射工程と、
    各板状体上に投映されるスリット光画像を識別可能に撮影して二次元画像情報として取得する二次元画像取得工程と、
    当該二次元画像情報を予め設定された三次元変換パラメータを用いて三次元画像情報に変換する三次元変換工程と、
    前記スリット光画像に対応する三次元画像情報と、前記両板状体の少なくとも形状および配置から決まる三次元画像間の相対位置関係に関する相対位置関係情報とに基づいて、前記他の板状体の開先位置を算出する算出工程とを有し、
    前記他の板状体の開先面が前記各板状体のスリット光照射側の面とそれぞれ略直角に形成される場合において、
    前記照射工程が、前記スリット光を前記他の板状体の開先面に対して斜め上方から照射する工程を有し、
    前記二次元画像取得工程が、前記一の板状体のスリット光照射側の面上に投映される第一スリット光画像と前記他の板状体のスリット光照射側の面上に投映される第二スリット光画像とが同一表示画面上で互いに所定距離を隔てて略平行に配置されるように、かつ前記他の板状体の開先面上に投映される第三スリット光画像が前記表示画面上で前記第一スリット光画像および第二スリット光画像の間に亘って配置されるように、第一スリット光画像、第二スリット光画像および第三スリット光画像を撮影して、これらの画像を二次元画像情報として取得する工程を有し、
    前記相対位置関係情報に基づいた前記算出工程が、
    前記第一スリット光画像に対応する三次元画像情報に基づいて第一スリット光画像を直線近似した第一近似直線の第一近似直線式を算出する工程と、
    前記第二スリット光画像に対応する三次元画像情報に基づいて第二スリット光画像を直線近似した第二近似直線の第二近似直線式を算出する工程と、
    前記第三スリット光画像に対応する三次元画像情報に基づいて、第三スリット光画像上の予め設定された設定点の設定点位置を算出する工程と、
    前記第二近似直線に略垂直で設定点位置を通る第四近似直線の第四近似直線式を算出する工程と、
    前記第一近似直線式および前記第四近似直線式に基づいて、前記第一近似直線と前記第四近似直線との交点位置を前記他の板状体の開先位置として算出する工程とを有する、開先計測方法。
  2. 一の板状体に重ね隅肉溶接される状態に配置された他の板状体の開先位置を計測する開先計測方法であって、
    他の板状体の開先面を横切るように両板状体に亘ってスリット光を照射する照射工程と、
    各板状体上に投映されるスリット光画像を識別可能に撮影して二次元画像情報として取得する二次元画像取得工程と、
    当該二次元画像情報を予め設定された三次元変換パラメータを用いて三次元画像情報に変換する三次元変換工程と、
    前記スリット光画像に対応する三次元画像情報と、前記両板状体の少なくとも形状および配置から決まる三次元画像間の相対位置関係に関する相対位置関係情報とに基づいて、前記他の板状体の開先位置を算出する算出工程とを有し、
    前記他の板状体の開先面が他の板状体のスリット光照射側の面と所定角度をなしている場合において、
    前記二次元画像取得工程が、前記一の板状体のスリット光照射側の面上に投映される第一スリット光画像と、前記他の板状体のスリット光照射側の面上に投映される第二スリット光画像とが同一表示画面上で互いに所定距離を隔てて略平行に配置されるように、かつ前記他の板状体の開先面上に投映される第三スリット光画像が前記表示画面上において前記第一スリット光画像および第二スリット光画像の間に亘って配置されるように、第一スリット光画像、第二スリット光画像および第三スリット光画像を撮影して、これらの画像を二次元画像情報として取得する工程を有し、
    前記相対位置関係情報に基づいた前記算出工程が、
    前記第一スリット光画像に対応する三次元画像情報に基づいて第一スリット光画像を直線近似した第一近似直線の第一近似直線式を算出する工程と、
    前記第二スリット光画像に対応する三次元画像情報に基づいて第二スリット光画像を直線近似した第二近似直線の第二近似直線式を算出する工程と、
    前記第一近似直線式に基づいて前記第一近似直線の開先側の第一端点に対応する第一端点位置を算出する工程と、
    前記第二近似直線式に基づいて前記第二近似直線の開先側の第二端点に対応する第二端点位置を算出する工程と、
    前記第三スリット光画像に対応する三次元画像情報に基づいて前記第一端点位置と第二端点位置との間の第三スリット光画像を直線近似した第五近似直線の第五近似直線式を算出する工程と、
    前記第一近似直線式および前記第五近似直線式に基づいて前記第一近似直線と第五近似直線との交点位置を前記他の板状体の開先位置として算出する工程とを有する、開先計測方法。
  3. 一の板状体に重ね隅肉溶接される状態に配置された他の板状体の開先位置を計測する開先計測装置であって、
    他の板状体の開先面を横切るように両板状体に亘ってスリット光を照射する照射手段と、
    各板状体上に投映されるスリット光画像を識別可能に撮影して二次元画像情報として取得する二次元画像取得手段と、
    当該二次元画像情報を予め設定された三次元変換パラメータを用いて三次元画像情報に変換する三次元変換手段と、
    前記各スリット光画像に対応する三次元画像情報と、前記両板状体の少なくとも形状および配置から決まる三次元画像間の相対位置関係に関する相対位置関係情報とに基づいて前記他の板状体の開先位置を算出する算出手段とを有し、
    前記他の板状体の開先面が前記各板状体のスリット光照射側の面とそれぞれ略直角に形成される場合において、
    前記照射手段が、前記スリット光を前記他の板状体の開先面に対して斜め上方から照射するように構成されており、
    前記二次元画像取得手段が、前記一の板状体のスリット光照射側の面上に投映される第一スリット光画像と前記他の板状体のスリット光照射側の面上に投映される第二スリット光画像とが同一表示画面上で互いに所定距離を隔てて略平行に配置されるように、かつ前記他の板状体の開先面上に投映される第三スリット光画像が前記表示画面上で前記第一スリット光画像および第二スリット光画像の間に亘って配置されるように、第一スリット光画像、第二スリット光画像および第三スリット光画像を撮影して、これらの画像を二次元画像情報として取得するように構成されており、
    前記相対位置関係情報に基づいた前記算出手段が、
    前記第一スリット光画像に対応する三次元画像情報に基づいて第一スリット光画像を直線近似した第一近似直線の第一近似直線式を算出する手段と、
    前記第二スリット光画像に対応する三次元画像情報に基づいて第二スリット光画像を直線近似した第二近似直線の第二近似直線式を算出する手段と、
    前記第三スリット光画像に対応する三次元画像情報に基づいて、第三スリット光画像上の予め設定された設定点の設定点位置を算出する手段と、
    前記第二近似直線に略垂直で設定点位置を通る第四近似直線の第四近似直線式を算出する手段と、
    前記第一近似直線式および前記第四近似直線式に基づいて、前記第一近似直線と前記第四近似直線との交点位置を前記他の板状体の開先位置として算出する手段とを備えてなる、開先計測装置。
  4. 一の板状体に重ね隅肉溶接される状態に配置された他の板状体の開先位置を計測する開先計測装置であって、
    他の板状体の開先面を横切るように両板状体に亘ってスリット光を照射する照射手段と、
    各板状体上に投映されるスリット光画像を識別可能に撮影して二次元画像情報として取得する二次元画像取得手段と、
    当該二次元画像情報を予め設定された三次元変換パラメータを用いて三次元画像情報に変換する三次元変換手段と、
    前記各スリット光画像に対応する三次元画像情報と、前記両板状体の少なくとも形状および配置から決まる三次元画像間の相対位置関係に関する相対位置関係情報とに基づいて前記他の板状体の開先位置を算出する算出手段とを有し、
    前記他の板状体の開先面が前記他の板状体のスリット光照射側の面と所定角度をなしている場合において、
    前記二次元画像取得手段が、前記一の板状体のスリット光照射側の面上に投映される第一スリット光画像と、前記他の板状体のスリット光照射側の面上に投映される第二スリット光画像とが同一表示画面上で互いに所定距離を隔てて略平行に配置されるように、かつ前記他の板状体の開先面上に投映される第三スリット光画像が前記表示画面上において前記第一スリット光画像および第二スリット光画像の間に亘って配置されるように、第一スリット光画像、第二スリット光画像および第三スリット光画像を撮影して、これらの画像を二次元画像情報として取得するように構成されており、
    前記相対位置関係情報に基づいた前記算出手段が、
    前記第一スリット光画像に対応する三次元画像情報に基づいて第一スリット光画像を直線近似した第一近似直線の第一近似直線式を算出する手段と、
    前記第二スリット光画像に対応する三次元画像情報に基づいて第二スリット光画像を直線近似した第二近似直線の第二近似直線式を算出する手段と、
    前記第一近似直線式に基づいて前記第一近似直線の開先側の第一端点に対応する第一端点位置を算出するとともに、前記第二近似直線式に基づいて前記第二近似直線の開先側の第二端点に対応する第二端点位置を算出する手段と、
    前記第三スリット光画像に対応する三次元画像情報に基づいて、前記第一端点位置と第二端点位置との間の第三スリット光画像を直線近似した第五近似直線の第五近似直線式を算出する手段と、
    前記第一近似直線式および前記第五近似直線式に基づいて前記第一近似直線と第五近似直線との交点位置を前記他の板状体の開先位置として算出する手段とを備えてなる、開先計測装置。
  5. 少なくとも請求項3および請求項4に記載の開先計測装置を備えており、
    当該複数の開先計測装置のうちから、計測対象の板状体に対応した開先計測装置を選択して切り換えるためのユーザによる入力を受け付ける受付手段と、
    当該入力に基づいた開先計測装置を選択して切り換えるための切り換え手段とを備えてなる、開先計測装置。
  6. 前記複数の開先計測装置が一体にまたは別体に形成されてなる、請求項5記載の開先計測装置。
JP2005009767A 2005-01-18 2005-01-18 開先計測方法および開先計測装置 Expired - Fee Related JP4269322B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2005009767A JP4269322B2 (ja) 2005-01-18 2005-01-18 開先計測方法および開先計測装置
US11/335,173 US7657082B2 (en) 2005-01-18 2006-01-18 Method, apparatus and system for measuring a welding-groove position
EP06250248A EP1681125A3 (en) 2005-01-18 2006-01-18 A method, apparatus and system for measuring a welding-groove position
EP09006440A EP2080577A1 (en) 2005-01-18 2006-01-18 A method, apparatus and system for measuring a welding-groove position

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005009767A JP4269322B2 (ja) 2005-01-18 2005-01-18 開先計測方法および開先計測装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2009004957A Division JP4783834B2 (ja) 2009-01-13 2009-01-13 開先計測システム

Publications (2)

Publication Number Publication Date
JP2006200899A JP2006200899A (ja) 2006-08-03
JP4269322B2 true JP4269322B2 (ja) 2009-05-27

Family

ID=36190538

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005009767A Expired - Fee Related JP4269322B2 (ja) 2005-01-18 2005-01-18 開先計測方法および開先計測装置

Country Status (3)

Country Link
US (1) US7657082B2 (ja)
EP (2) EP1681125A3 (ja)
JP (1) JP4269322B2 (ja)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7783100B2 (en) * 2007-03-21 2010-08-24 Topy America, Inc. Method and apparatus for inspecting and analyzing welded structures
JP4899099B2 (ja) * 2007-03-30 2012-03-21 株式会社小松製作所 作業ロボットの位置計測装置
FR2923295B1 (fr) * 2007-11-06 2009-12-11 Areva Np Procede et dispositif de visualisation et de controle du profil d'un cordon de soudure a l'interieur d'un chanfrein menage entre deux pieces metalliques
DE102008032509A1 (de) * 2008-07-10 2010-01-14 Epcos Ag Heizungsvorrichtung und Verfahren zur Herstellung der Heizungsvorrichtung
US20130119040A1 (en) * 2011-11-11 2013-05-16 Lincoln Global, Inc. System and method for adaptive fill welding using image capture
CN102384920B (zh) * 2011-11-11 2013-01-09 江南大学 焊缝射线探伤检测数据分析及像片识别系统
DE102013208629A1 (de) * 2013-05-10 2014-11-13 Dr. Johannes Heidenhain Gmbh Positionsmesseinrichtung
US9821415B2 (en) 2014-03-28 2017-11-21 Crc-Evans Pipeline International, Inc. Internal pipeline cooler
US10040141B2 (en) 2013-05-23 2018-08-07 Crc-Evans Pipeline International, Inc. Laser controlled internal welding machine for a pipeline
US11767934B2 (en) 2013-05-23 2023-09-26 Crc-Evans Pipeline International, Inc. Internally welded pipes
US10480862B2 (en) 2013-05-23 2019-11-19 Crc-Evans Pipeline International, Inc. Systems and methods for use in welding pipe segments of a pipeline
US10589371B2 (en) 2013-05-23 2020-03-17 Crc-Evans Pipeline International, Inc. Rotating welding system and methods
US10695876B2 (en) 2013-05-23 2020-06-30 Crc-Evans Pipeline International, Inc. Self-powered welding systems and methods
US20150197061A1 (en) * 2014-01-15 2015-07-16 Caterpillar Inc. Customized laser metal powder 3d printed consumable weld inserts
CN115302042A (zh) 2014-08-29 2022-11-08 克里凯文斯管线国际有限公司 用于焊接的方法和系统
US11458571B2 (en) 2016-07-01 2022-10-04 Crc-Evans Pipeline International, Inc. Systems and methods for use in welding pipe segments of a pipeline
JP6410861B2 (ja) * 2017-03-09 2018-10-24 キヤノン株式会社 計測装置、処理装置および物品製造方法
CN108687056B (zh) * 2017-04-05 2021-08-17 大族激光科技产业集团股份有限公司 一种激光清洗设备及方法
CN107577643A (zh) * 2017-07-28 2018-01-12 山东大学 基于二面框架的相贯局部特征描述方法、服务器及系统
DE102017117413B4 (de) * 2017-08-01 2019-11-28 Precitec Gmbh & Co. Kg Verfahren zur optischen Messung der Einschweißtiefe
CN107822507A (zh) * 2017-10-19 2018-03-23 林广华 一种成分分配装置
JP6991566B2 (ja) * 2017-12-20 2022-01-12 株式会社フコク東海 抵抗溶接用の電極チップの先端径測定装置
US10906080B2 (en) 2018-04-16 2021-02-02 Ford Motor Company System and methods to radially orient extruded tubing for vehicle body component
DE102019201033A1 (de) * 2019-01-28 2020-07-30 Trumpf Laser- Und Systemtechnik Gmbh Verfahren zum automatisierten Ermitteln des Einflusses eines Schneidparameters beim Laserschneiden sowie Laserbearbeitungsmaschine und Computerprogrammprodukt
CN110154034A (zh) * 2019-06-21 2019-08-23 成都钧诺威视智能科技有限公司 一种基于激光三维建模的机器人管板焊接方法
CN110443260B (zh) * 2019-08-05 2022-02-22 广东博智林机器人有限公司 一种建筑墙板间凹槽定位方法
CN110364096B (zh) * 2019-08-12 2024-04-05 张枫 一种体三维显示装置
CN110579160B (zh) * 2019-10-12 2024-07-02 安徽理工大学 一种拉张裂隙深宽测量装置及其应用
CN111580467B (zh) * 2020-04-03 2023-05-02 中国航发哈尔滨东安发动机有限公司 复杂空间孔系编程的点位计算方法
CN112161575B (zh) * 2020-09-30 2022-01-07 广州得尔塔影像技术有限公司 测量治具、测量设备及测量方法
JP7509709B2 (ja) * 2021-03-10 2024-07-02 中央精機株式会社 車両用ホイールの不良品判定方法、車両用ホイールの不良品判定プログラムおよび車両用ホイールの不良品判定装置
CN113129270B (zh) * 2021-03-25 2023-07-14 武汉锐科光纤激光技术股份有限公司 一种确定焊缝线的方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4380696A (en) * 1980-11-12 1983-04-19 Unimation, Inc. Method and apparatus for manipulator welding apparatus with vision correction for workpiece sensing
JPS60128304A (ja) * 1983-12-15 1985-07-09 Nippon Tsushin Gijutsu Kk 溶接機計測ヘツド
US4683493A (en) * 1986-06-20 1987-07-28 Westinghouse Electric Corp. Compact optical apparatus for tracking a path of movement of a tool along a line of travel on a workpiece
JP2716052B2 (ja) * 1987-01-13 1998-02-18 株式会社日立製作所 加工方法及び装置並びに加工品質管理方法
JPS6437605U (ja) 1987-08-28 1989-03-07
JP3228777B2 (ja) 1992-02-21 2001-11-12 株式会社アマダ 溶接継ぎ目位置の認識方法
JP2000346637A (ja) 1999-06-07 2000-12-15 Hitachi Plant Eng & Constr Co Ltd 配管用開先形状計測装置及びその方法
US6542249B1 (en) * 1999-07-20 2003-04-01 The University Of Western Ontario Three-dimensional measurement method and apparatus
EP1314510B1 (en) 2001-11-26 2008-03-19 Mitsubishi Heavy Industries, Ltd. Method of welding three-dimensional structure and apparatus for use in such method
JP2003220471A (ja) * 2002-01-29 2003-08-05 Hitachi Ltd 溶接位置自動倣い制御装置

Also Published As

Publication number Publication date
JP2006200899A (ja) 2006-08-03
US7657082B2 (en) 2010-02-02
EP1681125A3 (en) 2007-06-06
EP2080577A1 (en) 2009-07-22
EP1681125A2 (en) 2006-07-19
US20060159331A1 (en) 2006-07-20

Similar Documents

Publication Publication Date Title
JP4269322B2 (ja) 開先計測方法および開先計測装置
JP6913102B2 (ja) ビーム加工機械の軸較正
JP6464213B2 (ja) レーザ加工ヘッドおよび撮影装置を備えるレーザ加工システム
JP5290324B2 (ja) 空間内において少なくとも1つのオブジェクトを最終姿勢に高精度で位置決めするための方法およびシステム
EP1887315B1 (en) Multi-range non-contact probe
US10088301B2 (en) Image measurement device
JP4783834B2 (ja) 開先計測システム
JP3678915B2 (ja) 非接触三次元測定装置
JP6869159B2 (ja) ロボットシステム
JP2004138462A (ja) 3次元視覚センサ
JP2000317660A (ja) レーザ光を利用したバリ取り方法及びバリ取り装置
JP2018001186A (ja) レーザ溶接焦点距離測定装置
US11922616B2 (en) Alignment device
JP6797638B2 (ja) 画像測定装置
JP2004114203A (ja) ワーク形状測定装置及び該装置を用いた形状測定システム
JPWO2017130412A1 (ja) 加工装置の補正方法および加工装置
JP3937814B2 (ja) 自動溶接装置
JP2004163346A (ja) 非接触式三次元形状計測装置
JP3397311B2 (ja) 管体断面中心位置計測方法および管体加工案内装置
JP2007232629A (ja) レンズ形状測定装置
JPH0771931A (ja) 物体位置検出方法
JP2010048709A (ja) レーザ照射装置および方法
JPS5991308A (ja) 平面の検出方法
JP2000193429A (ja) 形状測定装置
JPH05337785A (ja) 研削ロボットの研削経路修正装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080402

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081111

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090210

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090213

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120306

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4269322

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120306

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120306

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120306

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120306

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130306

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130306

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140306

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150306

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees