JP3046530B2 - 鋼管の溶接ビード検出方法およびその装置 - Google Patents
鋼管の溶接ビード検出方法およびその装置Info
- Publication number
- JP3046530B2 JP3046530B2 JP7250239A JP25023995A JP3046530B2 JP 3046530 B2 JP3046530 B2 JP 3046530B2 JP 7250239 A JP7250239 A JP 7250239A JP 25023995 A JP25023995 A JP 25023995A JP 3046530 B2 JP3046530 B2 JP 3046530B2
- Authority
- JP
- Japan
- Prior art keywords
- bead
- steel pipe
- image
- data
- arc
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
【０００１】
【発明の属する技術分野】この発明は、主として鋼管の
溶接部を画像処理法により検出する方法に係り、より詳
しくは溶接部（母材上に溶接ビードが存在する部分）の
品質検査、あるいはその部分の手直し作業のために、溶
接ビード部を特定の方向に位置決めする作業を自動化す
るために必要な溶接ビード検出技術に関する。
溶接部を画像処理法により検出する方法に係り、より詳
しくは溶接部（母材上に溶接ビードが存在する部分）の
品質検査、あるいはその部分の手直し作業のために、溶
接ビード部を特定の方向に位置決めする作業を自動化す
るために必要な溶接ビード検出技術に関する。
【０００２】
【従来の技術】鋼管の溶接ビード部検出方法としては、
光学的特徴抽出方式と変位測定方式の二つに大別され、
このうち光学的特徴抽出方式は非接触式に、変位測定式
は接触式と非接触式に分類され、さらに光学的特徴抽出
方式の非接触式には、パイプ表面の明るさを検出し、ビ
ード部固有の輝度変化を抽出してビードと認識する輝度
変化検出法（特開平５−１８９０４号、特開昭５９−２
３２０３号公報等参照）と、パイプ表面にレーザースリ
ット光を照射し、表面形状変化より傾き変化を検出し、
変化が大きい部分をビードと認識する傾き画像検出法が
ある。一方、変位測定式の接触式には、タッチローラと
渦流式距離センサーとを併用し、パイプ形状変化に追従
してビード部を検出する方法や、走行するパイプの外面
溶接部の振れを接触ローラで検知し、振れを無くする制
御に使用される接触ローラ式（特公昭５９−２５９３号
公報参照）があり、同じく非接触式には、渦流式距離セ
ンサーを用い、励磁コイルと検出コイルを複数配置し、
検出波形よりビード部を認識する方法（特開平５−１３
３９４０号公報参照）等がある。
光学的特徴抽出方式と変位測定方式の二つに大別され、
このうち光学的特徴抽出方式は非接触式に、変位測定式
は接触式と非接触式に分類され、さらに光学的特徴抽出
方式の非接触式には、パイプ表面の明るさを検出し、ビ
ード部固有の輝度変化を抽出してビードと認識する輝度
変化検出法（特開平５−１８９０４号、特開昭５９−２
３２０３号公報等参照）と、パイプ表面にレーザースリ
ット光を照射し、表面形状変化より傾き変化を検出し、
変化が大きい部分をビードと認識する傾き画像検出法が
ある。一方、変位測定式の接触式には、タッチローラと
渦流式距離センサーとを併用し、パイプ形状変化に追従
してビード部を検出する方法や、走行するパイプの外面
溶接部の振れを接触ローラで検知し、振れを無くする制
御に使用される接触ローラ式（特公昭５９−２５９３号
公報参照）があり、同じく非接触式には、渦流式距離セ
ンサーを用い、励磁コイルと検出コイルを複数配置し、
検出波形よりビード部を認識する方法（特開平５−１３
３９４０号公報参照）等がある。
【０００３】
【発明が解決しようとする課題】しかしながら、輝度変
化検出法は、ビード部と他の部分の明るさを分別する方
法が主体であるため、ビード部と他部分の性状によって
は区別が困難な場合がある。例えば、ビード部分が錆び
て母材部分と同様の性状を示す場合には、溶接ビードを
特定して検出することは不可能である。また、傾き画像
検出法は、レーザースリット光をビードに対して斜めに
照射できるため、低いビードでも高い変化に増幅され、
他の方法に比べて検出率は高い。しかし、滑らかな形状
のビードは原理上から精度よく検出することができない
という欠点がある。
化検出法は、ビード部と他の部分の明るさを分別する方
法が主体であるため、ビード部と他部分の性状によって
は区別が困難な場合がある。例えば、ビード部分が錆び
て母材部分と同様の性状を示す場合には、溶接ビードを
特定して検出することは不可能である。また、傾き画像
検出法は、レーザースリット光をビードに対して斜めに
照射できるため、低いビードでも高い変化に増幅され、
他の方法に比べて検出率は高い。しかし、滑らかな形状
のビードは原理上から精度よく検出することができない
という欠点がある。
【０００４】一方、タッチローラと渦流式距離センサー
とを併用した接触式の場合は、溶接特性（温度、材質
等）およびパイプ寸法（特に板厚）の違いによる透磁率
変化によって距離検出特性が大幅に異なり、高い検出率
を達成することは極めて難しいという欠点がある。また
同じ接触式で、溶接点センサーと呼ばれるものもあり、
これは溶接部の透磁率変化をとらえてビード部と認識す
るものであるが、パイプ径や表面凹凸の距離変化によっ
ても検出特性が大幅に異なるため、高検出率が要求され
る用途に供することはできない。さらに、接触ローラ式
は、ビードが非常に滑らかで低い場合や、ビード形状に
ばらつきがある場合は安定した検出が困難であり、また
ランダムに回転するパイプのビード検出には適さない。
励磁コイルと検出コイルを複数配置し、検出波形よりビ
ード部を認識する方法の場合は、非検出物の表面の微妙
な凹凸によっても動作し易く、誤検出を避けることが困
難であるため、径が変化してランダムに回転するパイプ
のビード検出には適さない。
とを併用した接触式の場合は、溶接特性（温度、材質
等）およびパイプ寸法（特に板厚）の違いによる透磁率
変化によって距離検出特性が大幅に異なり、高い検出率
を達成することは極めて難しいという欠点がある。また
同じ接触式で、溶接点センサーと呼ばれるものもあり、
これは溶接部の透磁率変化をとらえてビード部と認識す
るものであるが、パイプ径や表面凹凸の距離変化によっ
ても検出特性が大幅に異なるため、高検出率が要求され
る用途に供することはできない。さらに、接触ローラ式
は、ビードが非常に滑らかで低い場合や、ビード形状に
ばらつきがある場合は安定した検出が困難であり、また
ランダムに回転するパイプのビード検出には適さない。
励磁コイルと検出コイルを複数配置し、検出波形よりビ
ード部を認識する方法の場合は、非検出物の表面の微妙
な凹凸によっても動作し易く、誤検出を避けることが困
難であるため、径が変化してランダムに回転するパイプ
のビード検出には適さない。
【０００５】さらに、これらの検出方法の他に、接触式
あるいは光学式センサーによって鋼管表面のプロフィー
ルを測定し、そのプロフィールデータを処理することに
よってビード位置を検出する方法がある。しかし、この
方法では製品が大型で真円度が低い鋼管の溶接ビードの
凸部を検出することは困難であった。また、プロフィー
ルデータを処理する場合においては、ビード形状は母材
の滑らかな円弧形状からかなり急激な勾配の変化がある
ものと期待して処理方法が設定されるが、近年の溶接技
術の進歩により、ビードの端部（母材とビードとの境
界）は、プロフィールとしても滑らかに変化しており、
他の母材部分に比較して特段の勾配の急変は認められな
くなってきた。したがって、このような状況下では、ビ
ードと母材との区別が困難でビードの範囲を特定するこ
とができず、これまでのプロフィールを処理する従来の
センサでは、ビード検出に適用できなくなってきた。
あるいは光学式センサーによって鋼管表面のプロフィー
ルを測定し、そのプロフィールデータを処理することに
よってビード位置を検出する方法がある。しかし、この
方法では製品が大型で真円度が低い鋼管の溶接ビードの
凸部を検出することは困難であった。また、プロフィー
ルデータを処理する場合においては、ビード形状は母材
の滑らかな円弧形状からかなり急激な勾配の変化がある
ものと期待して処理方法が設定されるが、近年の溶接技
術の進歩により、ビードの端部（母材とビードとの境
界）は、プロフィールとしても滑らかに変化しており、
他の母材部分に比較して特段の勾配の急変は認められな
くなってきた。したがって、このような状況下では、ビ
ードと母材との区別が困難でビードの範囲を特定するこ
とができず、これまでのプロフィールを処理する従来の
センサでは、ビード検出に適用できなくなってきた。
【０００６】また、従来技術の別の方法として、鋼管表
面に扇状光を照射または光点を鋼管表面上で走査し、鋼
管表面に照射された扇状光の帯状光線または走査される
光点を検出する光切断法を利用して、鋼管表面のプロフ
ィールを測定する方式も試みられている。この方法は、
映像情報としてとらえられたプロフィールから、前記の
方法と同様に、ビード部が母材の滑らかな円弧形状から
かなり急激な勾配の変化があるものと期待して処理する
方法であるが、前記の方法と同様、ビードの端部が極め
て滑らかなプロフィールを描くような場面においては適
用が困難である。
面に扇状光を照射または光点を鋼管表面上で走査し、鋼
管表面に照射された扇状光の帯状光線または走査される
光点を検出する光切断法を利用して、鋼管表面のプロフ
ィールを測定する方式も試みられている。この方法は、
映像情報としてとらえられたプロフィールから、前記の
方法と同様に、ビード部が母材の滑らかな円弧形状から
かなり急激な勾配の変化があるものと期待して処理する
方法であるが、前記の方法と同様、ビードの端部が極め
て滑らかなプロフィールを描くような場面においては適
用が困難である。
【０００７】この発明は、従来技術のこのような問題点
に鑑みなされたもので、近年の溶接技術の進歩によりビ
ードの端部が極めて滑らかなプロフィールを描くような
場面においても適用可能でかつ精度よくビード検出が可
能な鋼管の溶接ビード検出方法および溶接ビード検出装
置を提案しようとするものである。
に鑑みなされたもので、近年の溶接技術の進歩によりビ
ードの端部が極めて滑らかなプロフィールを描くような
場面においても適用可能でかつ精度よくビード検出が可
能な鋼管の溶接ビード検出方法および溶接ビード検出装
置を提案しようとするものである。
【０００８】
【課題を解決するための手段】この発明に係る鋼管の溶
接ビード検出方法は、鋼管表面に扇状光を照射または光
点を鋼管表面上で走査し、鋼管表面に照射された扇状光
の帯状光線または走査される光点を検出する光切断法を
利用して得られた画像データに円弧あてはめ方法を適用
して、鋼管表面上の溶接ビードの位置を検出する方法で
あり、その要旨は、鋼管を周方向に回転させながら当該
鋼管表面に扇状光を照射または光点を鋼管表面上で走査
し、鋼管表面に照射された扇状光の帯状光線または走査
される光点を画像信号として検出し、検出された画像信
号のノイズ除去処理、欠落部分の修復、傾き修正の画像
処理を行った後、該画像処理データと該データに予め検
出した当該鋼管外周円の円弧を当てはめて得られた円弧
データとの差分を求め、該差分データが予め設定したビ
ード検出用しきい値を超えた場合に溶接ビードに相当す
る凸部有りと判断するとともに、さらに前記しきい値を
超えた範囲の幅を計算し、この幅が予め設定した許容範
囲を含むビード幅に合致する場合に該凸部を溶接ビード
と判断し、その凸部の位置を溶接ビード位置として算出
することを特徴とするものである。
接ビード検出方法は、鋼管表面に扇状光を照射または光
点を鋼管表面上で走査し、鋼管表面に照射された扇状光
の帯状光線または走査される光点を検出する光切断法を
利用して得られた画像データに円弧あてはめ方法を適用
して、鋼管表面上の溶接ビードの位置を検出する方法で
あり、その要旨は、鋼管を周方向に回転させながら当該
鋼管表面に扇状光を照射または光点を鋼管表面上で走査
し、鋼管表面に照射された扇状光の帯状光線または走査
される光点を画像信号として検出し、検出された画像信
号のノイズ除去処理、欠落部分の修復、傾き修正の画像
処理を行った後、該画像処理データと該データに予め検
出した当該鋼管外周円の円弧を当てはめて得られた円弧
データとの差分を求め、該差分データが予め設定したビ
ード検出用しきい値を超えた場合に溶接ビードに相当す
る凸部有りと判断するとともに、さらに前記しきい値を
超えた範囲の幅を計算し、この幅が予め設定した許容範
囲を含むビード幅に合致する場合に該凸部を溶接ビード
と判断し、その凸部の位置を溶接ビード位置として算出
することを特徴とするものである。
【０００９】すなわち、この発明方法は、鋼管表面の低
くて滑らかな溶接ビードでも精度よく検出できるように
するため、光切断法を利用して得られた画像データをそ
のまま使用するのではなく、この画像データに対してノ
イズの除去や欠落部分の修復等の画像データの前処理を
行う。その理由は、生産現場で取込んだ画像は、通常鋼
管表面の不均一性からそのプロフィールデータには、デ
ータの欠落部分が発生していたり、ノイズ成分を含んだ
情報が入っている場合が多いため、誤検出の原因となり
ビードの存在の有無および位置を正確に知ることができ
ないからである。データの欠落部分については、欠落デ
ータを挟む両端２個のデータの座標を連結する線分を算
出し、この線分に沿って欠落部分にデータを埋めていく
ことによって修復する。また、鋼管の真円度は十分でな
いので、このような鋼管を周方向に回転させると、時々
刻々と検出されるプロフィールは傾いたプロフィールと
なることが多く、修正を必要とする。このプロフィール
修正方法としては計算式にて容易に行うことができる。
くて滑らかな溶接ビードでも精度よく検出できるように
するため、光切断法を利用して得られた画像データをそ
のまま使用するのではなく、この画像データに対してノ
イズの除去や欠落部分の修復等の画像データの前処理を
行う。その理由は、生産現場で取込んだ画像は、通常鋼
管表面の不均一性からそのプロフィールデータには、デ
ータの欠落部分が発生していたり、ノイズ成分を含んだ
情報が入っている場合が多いため、誤検出の原因となり
ビードの存在の有無および位置を正確に知ることができ
ないからである。データの欠落部分については、欠落デ
ータを挟む両端２個のデータの座標を連結する線分を算
出し、この線分に沿って欠落部分にデータを埋めていく
ことによって修復する。また、鋼管の真円度は十分でな
いので、このような鋼管を周方向に回転させると、時々
刻々と検出されるプロフィールは傾いたプロフィールと
なることが多く、修正を必要とする。このプロフィール
修正方法としては計算式にて容易に行うことができる。
【００１０】次に、このようにして得られた正確な画像
処理データに対して、円弧当てはめ法により予め検出し
た当該鋼管外周円の円弧を当てはめた場合に、鋼管外周
円の円弧データに対して画像処理データ（実画像）がは
み出る部分が生じると、当該部分の差分を求める。この
差分データから溶接ビートに相当する凸部であるか否か
を判定する。この溶接ビードに相当する凸部であるか否
かの判断は、予め設定したしきい値（許容値）と比較
し、差分データが前記しきい値を超えた場合に溶接ビー
ドに相当する凸部有りと判定し、設定値以下の場合には
溶接ビードに相当する凸部なしと判定することによって
行う。そして、判定の結果、溶接ビードに相当する凸部
の存在が確認された場合には、その凸部の幅を計算して
求め、この幅値が予め設定したビードの幅に合致する場
合にビードが存在していると判断し、さらに設定値を超
えている部分の範囲の中央部の座標をもって当該ビード
位置とする。
処理データに対して、円弧当てはめ法により予め検出し
た当該鋼管外周円の円弧を当てはめた場合に、鋼管外周
円の円弧データに対して画像処理データ（実画像）がは
み出る部分が生じると、当該部分の差分を求める。この
差分データから溶接ビートに相当する凸部であるか否か
を判定する。この溶接ビードに相当する凸部であるか否
かの判断は、予め設定したしきい値（許容値）と比較
し、差分データが前記しきい値を超えた場合に溶接ビー
ドに相当する凸部有りと判定し、設定値以下の場合には
溶接ビードに相当する凸部なしと判定することによって
行う。そして、判定の結果、溶接ビードに相当する凸部
の存在が確認された場合には、その凸部の幅を計算して
求め、この幅値が予め設定したビードの幅に合致する場
合にビードが存在していると判断し、さらに設定値を超
えている部分の範囲の中央部の座標をもって当該ビード
位置とする。
【００１１】また、この方法を実施するためのビード検
出装置は、周方向に回転する鋼管の表面に扇状光を照射
する光源、または光点を鋼管表面上で走査させる光走査
器と、鋼管表面に照射された前記扇状光の帯状光線また
は鋼管表面上を走査される光点を画像信号として検出す
る画像検出器と、該検出器にて検出された画像信号に基
づいて溶接ビードを検出する画像処理演算検出装置とか
ら構成され、前記画像処理演算検出装置は、前記画像検
出器にて検出された画像信号を取込む画像データ取込部
と、該装置に取込まれた画像データのノイズ除去処理、
欠落部分の修復、傾き修正の画像処理を行う画像データ
前処理部と、該装置にて前処理された画像データに予め
検出した当該鋼管外周円の円弧を当てはめる円弧当ては
め部と、前記前処理画像データと円弧を当てはめて得ら
れた円弧データとの差分を求める差分演算部と、該装置
にて求められた差分データが予め設定したビード検出用
しきい値を超えた場合に溶接ビードに相当する凸部有り
と判断するとともに、さらに前記しきい値を超えた範囲
の幅を計算し、この幅が予め設定した許容範囲を含むビ
ード幅に合致する場合に該凸部を溶接ビードと判断し、
その凸部の位置を溶接ビード位置として算出するビード
位置演算部とから構成されていることを特徴とするもの
である。
出装置は、周方向に回転する鋼管の表面に扇状光を照射
する光源、または光点を鋼管表面上で走査させる光走査
器と、鋼管表面に照射された前記扇状光の帯状光線また
は鋼管表面上を走査される光点を画像信号として検出す
る画像検出器と、該検出器にて検出された画像信号に基
づいて溶接ビードを検出する画像処理演算検出装置とか
ら構成され、前記画像処理演算検出装置は、前記画像検
出器にて検出された画像信号を取込む画像データ取込部
と、該装置に取込まれた画像データのノイズ除去処理、
欠落部分の修復、傾き修正の画像処理を行う画像データ
前処理部と、該装置にて前処理された画像データに予め
検出した当該鋼管外周円の円弧を当てはめる円弧当ては
め部と、前記前処理画像データと円弧を当てはめて得ら
れた円弧データとの差分を求める差分演算部と、該装置
にて求められた差分データが予め設定したビード検出用
しきい値を超えた場合に溶接ビードに相当する凸部有り
と判断するとともに、さらに前記しきい値を超えた範囲
の幅を計算し、この幅が予め設定した許容範囲を含むビ
ード幅に合致する場合に該凸部を溶接ビードと判断し、
その凸部の位置を溶接ビード位置として算出するビード
位置演算部とから構成されていることを特徴とするもの
である。
【００１２】画像検出器としては、ＩＴＶカメラやＰＳ
Ｄ等を用いることができる。画像処理演算検出装置の画
像データ取込部では、ＩＴＶカメラ等の画像検出器が得
た画像データに対して画像データ前処理部にて取込まれ
た画像データのノイズ除去処理、欠落部分の修復、傾き
修正等の前処理を行う。次に、円弧当てはめ部により前
記前処理画像データに対し円弧を当てはめて差分データ
を算出する。円弧当てはめ部の機能としては、実画像の
円弧の平均半径と平均中心座標を求めて円弧の座標を計
算し、その値に基づいて差分演算部により画像データと
円弧データの差分を計算する。
Ｄ等を用いることができる。画像処理演算検出装置の画
像データ取込部では、ＩＴＶカメラ等の画像検出器が得
た画像データに対して画像データ前処理部にて取込まれ
た画像データのノイズ除去処理、欠落部分の修復、傾き
修正等の前処理を行う。次に、円弧当てはめ部により前
記前処理画像データに対し円弧を当てはめて差分データ
を算出する。円弧当てはめ部の機能としては、実画像の
円弧の平均半径と平均中心座標を求めて円弧の座標を計
算し、その値に基づいて差分演算部により画像データと
円弧データの差分を計算する。
【００１３】ビード位置演算部では、上記差分データが
ビード検出用のしきい値を超えた場合に画面内にビード
が存在する可能性ありと判断し、さらに設定値を超えた
範囲の幅を計算し、この幅が予め設定したビードの幅
（許容値を含む）に合致する場合にこの画像にはビード
が含まれていると判断し、さらに設定値を超えている部
分の範囲の中央部の座標をもって当該ビード位置とし出
力する。
ビード検出用のしきい値を超えた場合に画面内にビード
が存在する可能性ありと判断し、さらに設定値を超えた
範囲の幅を計算し、この幅が予め設定したビードの幅
（許容値を含む）に合致する場合にこの画像にはビード
が含まれていると判断し、さらに設定値を超えている部
分の範囲の中央部の座標をもって当該ビード位置とし出
力する。
【００１４】
【発明の実施の形態】図１はこの発明に係る鋼管の溶接
ビード検出装置の装置構成例を示す概略図、図２は同上
の溶接ビード検出装置における画像処理演算検出装置の
構成を示すブロック図、図３は同上の画像処理演算検出
装置の画像データ取込部が取込んだ画像の一例を示す
図、図４は左右上下に変動した画像の一例を示す図、図
５は同上画像の傾き修正画像を示す図、図６は同上の画
像処理演算検出装置の円弧当てはめ部の演算説明図、図
７は同じく円弧当てはめ部における実画像に円弧画像を
当てはめた状態の一例を示す図、図８は実画像データと
円弧データの差分とビード位置の求め方の一例を示す説
明図で、１は被検出鋼管、１−２は溶接ビード、２は光
源または光走査器、３はＩＴＶカメラ、４は画像処理演
算検出装置、４−１は画像データ取込部、４−２は画像
データ前処理部、４−３は円弧当てはめ部、４−４は差
分演算部、４−５はビード位置演算部、５はモニターで
ある。
ビード検出装置の装置構成例を示す概略図、図２は同上
の溶接ビード検出装置における画像処理演算検出装置の
構成を示すブロック図、図３は同上の画像処理演算検出
装置の画像データ取込部が取込んだ画像の一例を示す
図、図４は左右上下に変動した画像の一例を示す図、図
５は同上画像の傾き修正画像を示す図、図６は同上の画
像処理演算検出装置の円弧当てはめ部の演算説明図、図
７は同じく円弧当てはめ部における実画像に円弧画像を
当てはめた状態の一例を示す図、図８は実画像データと
円弧データの差分とビード位置の求め方の一例を示す説
明図で、１は被検出鋼管、１−２は溶接ビード、２は光
源または光走査器、３はＩＴＶカメラ、４は画像処理演
算検出装置、４−１は画像データ取込部、４−２は画像
データ前処理部、４−３は円弧当てはめ部、４−４は差
分演算部、４−５はビード位置演算部、５はモニターで
ある。
【００１５】光切断法を利用したビード検出の方法を図
１に基づいて説明すると、被検出鋼管１に対し光源また
は光走査器２より扇状光を照射、または光点を被検出鋼
管表面上で走査し、被検出鋼管１上に照射された帯城の
光線または走査される光点をＩＴＶカメラ３でとらえ、
その画像信号を画像処理演算検出装置４に送信してビー
ドを検出する方法である。
１に基づいて説明すると、被検出鋼管１に対し光源また
は光走査器２より扇状光を照射、または光点を被検出鋼
管表面上で走査し、被検出鋼管１上に照射された帯城の
光線または走査される光点をＩＴＶカメラ３でとらえ、
その画像信号を画像処理演算検出装置４に送信してビー
ドを検出する方法である。
【００１６】画像処理演算検出装置４では、図２に示す
ごとく、まずＩＴＶカメラ３でとらえた画像データが、
当該装置内の記憶装置に取込むための画像データ取込部
４−１に入力され、この取込まれた画像データに対し
て、画像データ前処理部４−２にてノイズの除去や欠落
部分の修復等の画像データの前処理が行われる。
ごとく、まずＩＴＶカメラ３でとらえた画像データが、
当該装置内の記憶装置に取込むための画像データ取込部
４−１に入力され、この取込まれた画像データに対し
て、画像データ前処理部４−２にてノイズの除去や欠落
部分の修復等の画像データの前処理が行われる。
【００１７】図３は画像データ取込部４−１に入力され
た画像の一例で、縦軸（Ｙ軸）および横軸（Ｘ軸）は、
それぞれＩＴＶカメラ３の縦軸と横軸と同等であり、パ
イプを示す円弧状のプロフィールが取込まれている。し
かるに、生産現場で取込んだ画像は、通常鋼管表面の不
均一性からそのプロフィールデータには、データの欠落
部分が発生していたり、ノイズ成分を含んだ情報が入っ
ている場合が多いため、このような場合には当該データ
を解析対象から除去する。このことによって、取込んだ
データにはますます欠落部分が多くなるため、画像デー
タ前処理部４−２では、そのデータの欠落部分に対し
て、欠落データを挟む両端２個のデータの座標を連結す
る線分を算出し、この線分に沿って欠落部分にデータを
埋めていくことによって画像を修復する。
た画像の一例で、縦軸（Ｙ軸）および横軸（Ｘ軸）は、
それぞれＩＴＶカメラ３の縦軸と横軸と同等であり、パ
イプを示す円弧状のプロフィールが取込まれている。し
かるに、生産現場で取込んだ画像は、通常鋼管表面の不
均一性からそのプロフィールデータには、データの欠落
部分が発生していたり、ノイズ成分を含んだ情報が入っ
ている場合が多いため、このような場合には当該データ
を解析対象から除去する。このことによって、取込んだ
データにはますます欠落部分が多くなるため、画像デー
タ前処理部４−２では、そのデータの欠落部分に対し
て、欠落データを挟む両端２個のデータの座標を連結す
る線分を算出し、この線分に沿って欠落部分にデータを
埋めていくことによって画像を修復する。
【００１８】また、画像データ前処理部４−２では、取
込まれた円弧状のプロフィールの傾き修正も行われる。
すなわち、被検出鋼管１の真円度は十分でない場合があ
り、このような鋼管を長手方向を軸として周方向に回転
させると、時々刻々と検出されるプロフィールは、左右
上下に大きく変動する。したがって、通常得られるプロ
フィールは、図４に示すように傾いたプロフィールとな
る。そこで、この傾いたプロフィールを修正することが
必要となる。以下にその修正方法を示す。
込まれた円弧状のプロフィールの傾き修正も行われる。
すなわち、被検出鋼管１の真円度は十分でない場合があ
り、このような鋼管を長手方向を軸として周方向に回転
させると、時々刻々と検出されるプロフィールは、左右
上下に大きく変動する。したがって、通常得られるプロ
フィールは、図４に示すように傾いたプロフィールとな
る。そこで、この傾いたプロフィールを修正することが
必要となる。以下にその修正方法を示す。
【００１９】まず、傾き係数αを下記（１）式により計
算する。 α＝（Ｙ２ーＹ１）／（Ｘ２ーＸ１） …（１）式
算する。 α＝（Ｙ２ーＹ１）／（Ｘ２ーＸ１） …（１）式
【００２０】次に、この傾き係数αを用いて、下記
（２）式によりプロフィールデータを修正する。図５は
傾き修正前と傾き修正後のプロフィールを示している。
（２）式によりプロフィールデータを修正する。図５は
傾き修正前と傾き修正後のプロフィールを示している。
【００２１】 ＰＲＯＦ´（ｉ）＝ＰＲＯＦ（ｉ）＋α（Ｘ２ーｉ） …（２）式 ＰＲＯＦ´：傾き修正後のプロフィール ＰＲＯＦ ：傾き修正前のプロフィール ｉ：Ｘ１からＸ２までの値
【００２２】次に、円弧当てはめ部４−３の機能を図６
に基づいて説明する。図６は被検出鋼管１の円弧当ては
め演算の説明図で、まず半径計算ポイント１の座標を下
記（３）式、（４）式により求める。
に基づいて説明する。図６は被検出鋼管１の円弧当ては
め演算の説明図で、まず半径計算ポイント１の座標を下
記（３）式、（４）式により求める。
【００２３】 Ｘｐ１＝Ｘ１＋（Ｘ２ーＸ１）／４ …（３）式 Ｘｐ１＝ＰＲＯＦ´（Ｘｐ１） …（４）式
【００２４】同様に、半径計算ポイント２の座標を下記
（５）式、（６）式により求める。
（５）式、（６）式により求める。
【００２５】 Ｙｐ２＝Ｘ２ー（Ｘ２ーＸ１）／４ …（５）式 Ｙｐ２＝ＰＲＯＦ´（Ｘｐ２） …（６）式
【００２６】続いて、円の中心が｛（Ｘ１＋Ｘ２）／
２、Ｙｃ１｝にあって、データの左端（Ｘ１、Ｙ１）と
計算ポイント１（Ｘｐ１、Ｙｐ１）を通る円の方程式を
下記式（７）式により求める。
２、Ｙｃ１｝にあって、データの左端（Ｘ１、Ｙ１）と
計算ポイント１（Ｘｐ１、Ｙｐ１）を通る円の方程式を
下記式（７）式により求める。
【００２７】 ｒ１ ２＝｛（Ｘ２ーＸ１）／４｝２＋（Ｙｐ１ーＹｃ１）２ ＝｛（Ｘ２ーＸ１）／２｝２＋（Ｙ１ーＹｃ１）２ …（７）式
【００２８】同様に、円の中心が｛（Ｘ１＋Ｘ２）／
２、Ｙｃ ２｝にあって、データの右端（Ｘ２、Ｙ２）と
計算ポイント２（Ｘｐ２、Ｙｐ２）を通る円の方程式を
求める。
２、Ｙｃ ２｝にあって、データの右端（Ｘ２、Ｙ２）と
計算ポイント２（Ｘｐ２、Ｙｐ２）を通る円の方程式を
求める。
【００２９】 ｒ２ ２＝｛（Ｘ２ーＸ１）／４｝２＋（Ｙｐ ２ーＹｃ２）２ ＝｛（Ｘ２ーＸ１）／２｝２＋（Ｙ２ーＹｃ２）２ …（８）式
【００３０】以上の計算式により求めた２個の円の平均
半径と、平均中心座標を下記（９）式〜（１１）式によ
り求める。
半径と、平均中心座標を下記（９）式〜（１１）式によ
り求める。
【００３１】 ｒ０＝（ｒ１＋ｒ２）／２ …（９）式 Ｘ０＝（Ｘ１＋Ｘ２）／２ …（１０）式 Ｙ０＝（Ｙｃ１＋Ｙｃ２）／２ …（１１）式
【００３２】上記（９）式〜（１１）式により求めた各
値より、円弧の座標を下記（１２）式で求める。図７は
円弧当てはめ図で、画像データＰＲＯＦ´（ｉ）と、円
弧データＣ（ｉ）とを併せて示している。
値より、円弧の座標を下記（１２）式で求める。図７は
円弧当てはめ図で、画像データＰＲＯＦ´（ｉ）と、円
弧データＣ（ｉ）とを併せて示している。
【００３３】 Ｃ（ｉ）＝Ｙ０＋ＳＱＲＴ｛ｒ０２ー（ｉーＸ０）２｝ …（１２）式 ここで、ＳＱＲＴは平方演算を示している。
【００３４】次に、差分演算部４−４にて画像データと
円弧データの差分ＳＡ（ｉ）を下記（１３）式により算
出する。
円弧データの差分ＳＡ（ｉ）を下記（１３）式により算
出する。
【００３５】 ＳＡ（ｉ）＝ＰＲＯＦ´（ｉ）ーＣ（ｉ） …（１３）式
【００３６】図８は図７の点円部分を拡大したもので、
差分データＳＡ（ｉ）の計算結果を示している。この差
分データが、あらかじめ設定したビート検出用のしきい
値を超えた場合に、画面内にビードが存在する可能性あ
りと第一次的に判断し、さらに前記しきい値を超えた範
囲（図中の斜線部分）の幅Ｗを計算し、この幅が予め設
定したビードの幅（許容値を含む）に合致する場合に、
この画像にはビードが含まれていると最終判断する。例
えば、３０ｍｍ幅のビード仕様の時、一例として２０ｍ
ｍ＜検出幅＜４０ｍｍの条件を満たした時に正式なビー
ドと判断する。その理由は、溶接スパッタ等の異物をビ
ードと誤認しないよう、許容範囲を設定する必要がある
からである。
差分データＳＡ（ｉ）の計算結果を示している。この差
分データが、あらかじめ設定したビート検出用のしきい
値を超えた場合に、画面内にビードが存在する可能性あ
りと第一次的に判断し、さらに前記しきい値を超えた範
囲（図中の斜線部分）の幅Ｗを計算し、この幅が予め設
定したビードの幅（許容値を含む）に合致する場合に、
この画像にはビードが含まれていると最終判断する。例
えば、３０ｍｍ幅のビード仕様の時、一例として２０ｍ
ｍ＜検出幅＜４０ｍｍの条件を満たした時に正式なビー
ドと判断する。その理由は、溶接スパッタ等の異物をビ
ードと誤認しないよう、許容範囲を設定する必要がある
からである。
【００３７】図８において、縦軸（Ｙ軸）の高さ検出分
解能を約０．１ｍｍ／１ビットとすると、ビード高さは
約２ｍｍ（２０ビット）となる。一方、ビード部以外で
も５ビット程度の変化が見られる。したがって、６ビッ
ト以上の変化部分をビードとしないと、正しい位置が検
出できない。図８の例では、安全を考慮して１０ビット
以上の変化部分をビードと見るよう設定している。実用
的には、６〜７ビット以上の変化部分をビード（第一
次）と判断（しきい値設定）してよい。
解能を約０．１ｍｍ／１ビットとすると、ビード高さは
約２ｍｍ（２０ビット）となる。一方、ビード部以外で
も５ビット程度の変化が見られる。したがって、６ビッ
ト以上の変化部分をビードとしないと、正しい位置が検
出できない。図８の例では、安全を考慮して１０ビット
以上の変化部分をビードと見るよう設定している。実用
的には、６〜７ビット以上の変化部分をビード（第一
次）と判断（しきい値設定）してよい。
【００３８】そして最終的に、ビード位置演算部４−５
にて、しきい値を超えている部分（図中の斜線部分）の
範囲の中央部の座標を求めてビード位置とし、当該デー
タを出力する。
にて、しきい値を超えている部分（図中の斜線部分）の
範囲の中央部の座標を求めてビード位置とし、当該デー
タを出力する。
【００３９】
【発明の効果】以上説明したごとく、この発明は、光切
断法を利用して得られた画像データをそのまま使用する
のではなく、この画像データに対してノイズの除去や欠
落部分の修復等の画像データの前処理を行って正確な画
像に修正し、この画像に基づいて円弧当てはめ手法によ
り溶接ビードの有無を判断する方法であるから、溶接ビ
ード部が滑らかなプロフィールを描くような場面におい
ても、光沢に左右されることなく精度よくビード検出が
可能である。したがって、この発明は、明るさ、輝度を
ベースにしたパターン変化によってビードの有無を判定
する従来の画像処理による特徴抽出方式等に比べ、ビー
ドの検出率が極めて高く、溶接部の品質検査、あるいは
その部分の手直し作業のために溶接ビード部を特定の方
向に位置決めする作業の自動化に大きく寄与する。
断法を利用して得られた画像データをそのまま使用する
のではなく、この画像データに対してノイズの除去や欠
落部分の修復等の画像データの前処理を行って正確な画
像に修正し、この画像に基づいて円弧当てはめ手法によ
り溶接ビードの有無を判断する方法であるから、溶接ビ
ード部が滑らかなプロフィールを描くような場面におい
ても、光沢に左右されることなく精度よくビード検出が
可能である。したがって、この発明は、明るさ、輝度を
ベースにしたパターン変化によってビードの有無を判定
する従来の画像処理による特徴抽出方式等に比べ、ビー
ドの検出率が極めて高く、溶接部の品質検査、あるいは
その部分の手直し作業のために溶接ビード部を特定の方
向に位置決めする作業の自動化に大きく寄与する。
【図１】この発明に係る鋼管の溶接ビード検出装置の装
置構成例を示す概略図である。
置構成例を示す概略図である。
【図２】同上の溶接ビード検出装置における画像処理演
算検出装置の構成を示すブロック図である。
算検出装置の構成を示すブロック図である。
【図３】同上の画像処理演算検出装置の画像データ取込
部が取込んだ画像の一例を示す図である。
部が取込んだ画像の一例を示す図である。
【図４】同上の画像処理演算検出装置の画像データ前処
理部における左右上下に変動した画像の一例を示す図で
ある。
理部における左右上下に変動した画像の一例を示す図で
ある。
【図５】同じく画像データ前処理部における傾き修正前
と傾き修正後の画像プロフィールを示す図である。
と傾き修正後の画像プロフィールを示す図である。
【図６】同上の画像処理演算検出装置の円弧当てはめ部
における演算説明図である。
における演算説明図である。
【図７】同じく円弧当てはめ部における実画像に円弧画
像を当てはめた状態の一例を示す図である。
像を当てはめた状態の一例を示す図である。
【図８】同上の画像処理演算検出装置の差分演算部にお
ける実画像データと円弧データの差分とビード位置の求
め方の一例を示す説明図である。
ける実画像データと円弧データの差分とビード位置の求
め方の一例を示す説明図である。
１ 被検出鋼管 １−２ 溶接ビード ２ 光源または光走査器 ３ ＩＴＶカメラ ４ 画像処理演算検出装置 ４−１ 画像データ取込部 ４−２ 画像データ前処理部 ４−３ 円弧当てはめ部 ４−４ 差分演算部 ４−５ ビード位置演算部 ５ モニター
───────────────────────────────────────────────────── フロントページの続き (72)発明者 原崎 直人 茨城県鹿嶋市大字光３番地 住友金属工 業株式会社 鹿島製鉄所内 (72)発明者 河原 守 大阪府大阪市港区福崎３丁目１番176号 株式会社関西テック内 (72)発明者 利川 信義 大阪府大阪市港区福崎３丁目１番176号 株式会社関西テック内 (56)参考文献 特開 平２−158881（ＪＰ，Ａ) 特開 平２−158880（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) G01N 21/952 B21C 51/00 G01B 11/00 G01B 11/02 G01B 11/30
Claims (2)
- 【請求項１】 鋼管を周方向に回転させながら当該鋼管
表面に扇状光を照射または光点を鋼管表面上で走査し、
鋼管表面に照射された扇状光の帯状光線または走査され
る光点を画像信号として検出し、検出された画像信号の
ノイズ除去処理、欠落部分の修復、傾き修正の画像処理
を行った後、該画像処理データと該データに予め検出し
た当該鋼管外周円の円弧を当てはめて得られた円弧デー
タとの差分を求め、該差分データが予め設定したビード
検出用しきい値を超えた場合に溶接ビードに相当する凸
部有りと判断するとともに、さらに前記しきい値を超え
た範囲の幅を計算し、この幅が予め設定した許容範囲を
含むビード幅に合致する場合に該凸部を溶接ビードと判
断し、その凸部の位置を溶接ビード位置として算出する
ことを特徴とする鋼管の溶接ビード検出方法。 - 【請求項２】 周方向に回転する鋼管の表面に扇状光を
照射する光源、または光点を鋼管表面上で走査させる光
走査器と、鋼管表面に照射された前記扇状光の帯状光線
または鋼管表面上を走査される光点を画像信号として検
出する画像検出器と、該検出器にて検出された画像信号
に基づいて溶接ビードを検出する画像処理演算検出装置
とから構成され、前記画像処理演算検出装置は、前記画
像検出器にて検出された画像信号を取込む画像データ取
込部と、該装置に取込まれた画像データのノイズ除去処
理、欠落部分の修復、傾き修正の画像処理を行う画像デ
ータ前処理部と、該装置にて前処理された画像データに
予め検出した当該鋼管外周円の円弧を当てはめる円弧当
てはめ部と、前記前処理画像データと円弧を当てはめて
得られた円弧データとの差分を求める差分演算部と、該
装置にて求められた差分データが予め設定したビード検
出用しきい値を超えた場合に溶接ビードに相当する凸部
有りと判断するとともに、さらに前記しきい値を超えた
範囲の幅を計算し、この幅が予め設定した許容範囲を含
むビード幅に合致する場合に該凸部を溶接ビードと判断
し、その凸部の位置を溶接ビード位置として算出するビ
ード位置演算部とから構成されていることを特徴とする
鋼管の溶接ビード検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7250239A JP3046530B2 (ja) | 1995-09-04 | 1995-09-04 | 鋼管の溶接ビード検出方法およびその装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7250239A JP3046530B2 (ja) | 1995-09-04 | 1995-09-04 | 鋼管の溶接ビード検出方法およびその装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0972851A JPH0972851A (ja) | 1997-03-18 |
| JP3046530B2 true JP3046530B2 (ja) | 2000-05-29 |
Family
ID=17204912
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP7250239A Expired - Fee Related JP3046530B2 (ja) | 1995-09-04 | 1995-09-04 | 鋼管の溶接ビード検出方法およびその装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3046530B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6279062B1 (ja) * | 2016-12-20 | 2018-02-14 | 日新製鋼株式会社 | 溶接鋼管の突合わせ部の形状検出方法及びそれを用いた溶接鋼管の品質管理方法並びにその装置 |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007101565A (ja) * | 2007-01-25 | 2007-04-19 | Juki Corp | 高さデータ処理方法 |
| JP2012037488A (ja) * | 2010-08-11 | 2012-02-23 | Koatec Kk | 形状検査装置及び形状検査方法 |
| CN104029206B (zh) * | 2014-06-19 | 2015-12-02 | 昆山华恒焊接股份有限公司 | 封头自动开孔的切割方法 |
| CN104785958B (zh) * | 2015-03-25 | 2017-08-01 | 天津智通机器人有限公司 | 一种低温罐外件机器人焊接工作站 |
| CN107664643B (zh) * | 2016-07-29 | 2020-06-23 | 宝山钢铁股份有限公司 | 一种分体式钢管表面检测装置 |
| CN106705906B (zh) * | 2017-03-22 | 2023-01-31 | 镇江市恒源汽车零部件有限公司 | 一种焊缝检测装置 |
| CN117760343B (zh) * | 2023-12-22 | 2024-06-07 | 哈尔滨电机厂(镇江)有限责任公司 | 一种焊后清理的平整度检查方法 |
-
1995
- 1995-09-04 JP JP7250239A patent/JP3046530B2/ja not_active Expired - Fee Related
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6279062B1 (ja) * | 2016-12-20 | 2018-02-14 | 日新製鋼株式会社 | 溶接鋼管の突合わせ部の形状検出方法及びそれを用いた溶接鋼管の品質管理方法並びにその装置 |
| WO2018116510A1 (ja) | 2016-12-20 | 2018-06-28 | 日新製鋼株式会社 | 溶接鋼管の突合わせ部の形状検出方法及びそれを用いた溶接鋼管の品質管理方法並びにその装置 |
| KR20190090045A (ko) | 2016-12-20 | 2019-07-31 | 닛테츠 닛신 세이코 가부시키가이샤 | 용접 강관의 맞대기부의 형상 검출 방법 및 그것을 사용한 용접 강관의 품질 관리 방법 및 그 장치 |
| CN110140022A (zh) * | 2016-12-20 | 2019-08-16 | 日铁日新制钢株式会社 | 焊接钢管的对接部的形状检测方法及使用该方法的焊接钢管的品质管理方法及其装置 |
| CN110140022B (zh) * | 2016-12-20 | 2020-06-12 | 日铁日新制钢株式会社 | 焊接钢管的对接部的形状检测方法及焊接钢管的品质管理方法及其装置 |
| US10704897B2 (en) | 2016-12-20 | 2020-07-07 | Nippon Steel Nisshin Co., Ltd. | Method for detecting shape of butt joint of welded steel pipe, and quality control method and apparatus for welded steel pipes using the shape detecting method |
| TWI713763B (zh) * | 2016-12-20 | 2020-12-21 | 日商日新製鋼股份有限公司 | 焊接鋼管的對接部的形狀檢測方法及使用其之焊接鋼管的品質管理方法以及裝置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0972851A (ja) | 1997-03-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chu et al. | A vision-based system for post-welding quality measurement and defect detection | |
| US7257996B2 (en) | Device and method for a quality test of a body | |
| CN107200042B (zh) | 一种列车车轮直径与圆度磨耗高精度在线检测方法及其检测装置 | |
| EP0214046B1 (en) | Method and system for locating and inspecting seam weld in metal seam-welded pipe | |
| JPH0571932A (ja) | 溶接ビードの品質検査装置 | |
| JP6753553B1 (ja) | 表面欠陥検出方法、表面欠陥検出装置、鋼材の製造方法、鋼材の品質管理方法、鋼材の製造設備、表面欠陥判定モデルの生成方法、及び表面欠陥判定モデル | |
| JP5974787B2 (ja) | 鋼帯コイルのエッジ欠陥検出方法およびエッジ欠陥検出装置 | |
| WO2021251064A1 (ja) | 情報処理装置、判定方法、および情報処理プログラム | |
| JP3046530B2 (ja) | 鋼管の溶接ビード検出方法およびその装置 | |
| JP2004117053A (ja) | 電縫溶接管のビード形状検出方法および検出装置 | |
| EP1329709B1 (en) | Method to detect defects in the shape of a rolled product and relative device | |
| JP3159063B2 (ja) | 表面欠陥検査装置 | |
| JPH11211674A (ja) | 表面疵検査方法および装置 | |
| JP3151790B2 (ja) | 溶接開先・ビードの中心位置検出方法及び装置 | |
| JP4023295B2 (ja) | 表面検査方法及び表面検査装置 | |
| JPH1123479A (ja) | 鋼管の溶接部表面疵検査方法 | |
| JPH11132743A (ja) | 画像信号処理による欠陥検査装置 | |
| JP2955618B2 (ja) | Ｕｏ鋼管の溶接部表面疵検査方法 | |
| JPH0914933A (ja) | コイル巻取形状測定方法及びその測定装置並びにコイル巻取形状監視装置 | |
| JP2789169B2 (ja) | Ｕｏ鋼管の溶接部表面疵検査方法 | |
| JPH08114425A (ja) | 光学式圧延板形状検出方法 | |
| JPH09101124A (ja) | 穴の面取り量検査方法 | |
| JPH10156576A (ja) | 金属部材の両面突合せ溶接部のオフシーム量計測方法及び装置 | |
| JPH08220001A (ja) | 表面疵検査方法 | |
| JPH04160304A (ja) | 板幅方向反り検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080317 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090317 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100317 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100317 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110317 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120317 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130317 Year of fee payment: 13 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313115 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130317 Year of fee payment: 13 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313115 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130317 Year of fee payment: 13 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130317 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140317 Year of fee payment: 14 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |