JP7292344B2 - Welding system, welding method and program - Google Patents
Welding system, welding method and program Download PDFInfo
- Publication number
- JP7292344B2 JP7292344B2 JP2021165961A JP2021165961A JP7292344B2 JP 7292344 B2 JP7292344 B2 JP 7292344B2 JP 2021165961 A JP2021165961 A JP 2021165961A JP 2021165961 A JP2021165961 A JP 2021165961A JP 7292344 B2 JP7292344 B2 JP 7292344B2
- Authority
- JP
- Japan
- Prior art keywords
- tip
- welding
- image
- photographing
- welding wire
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Manipulator (AREA)
Description
本発明は、溶接システム、溶接方法及びプログラムに関する。 The present invention relates to a welding system, welding method and program.
被溶接部材間の溶接を行う技術がある。溶接は、レール上を自走し自動で溶接を行う機械である自走式自動溶接ロボットによって行われる場合がある。 There are techniques for welding between members to be welded. Welding may be performed by a self-propelled automatic welding robot, which is a machine that travels on rails and performs welding automatically.
このような自走式自動溶接ロボットによる溶接では、溶接トーチと被溶接部材間の距離が重要である。しかしながら、溶接ワイヤはリールに巻かれた状態で供給されるため、ワイヤの先端の位置決めが難しい場合があった。その結果、溶接の品質が低下する場合があった。 In welding by such a self-propelled automatic welding robot, the distance between the welding torch and the member to be welded is important. However, since the welding wire is supplied wound on a reel, positioning the tip of the wire is sometimes difficult. As a result, the quality of welding may deteriorate.
上記事情に鑑み、本発明は、溶接の品質の低下を抑制する技術を提供することを目的としている。 SUMMARY OF THE INVENTION In view of the above circumstances, an object of the present invention is to provide a technique for suppressing deterioration of welding quality.
本発明の一態様は、溶接トーチ及び溶接ワイヤを撮像することができる撮影部と、前記撮影部による撮影により得られた画像データであって開先に対する前記溶接ワイヤの先端の位置が第１の位置である第１画像の画像データと、前記撮影部による撮影により得られた画像データであって開先に対する前記溶接ワイヤの先端の位置が第２の位置である第２画像の画像データと、に基づき、前記溶接ワイヤの先端の画像である先端抽出画像の画像データを生成する先端抽出画像生成部と、を備え、前記第１の位置は、前記第２の位置よりも、開先に遠い位置である、溶接システムである。 One aspect of the present invention is an imaging unit capable of imaging a welding torch and a welding wire; image data of a first image that is the position, and image data of a second image that is image data obtained by photographing by the photographing unit and in which the position of the tip of the welding wire with respect to the groove is the second position; and a tip extraction image generation unit that generates image data of a tip extraction image that is an image of the tip of the welding wire based on, wherein the first position is farther from the groove than the second position position, welding system.
本発明により、溶接の品質の低下を抑制することが可能となる。 ADVANTAGE OF THE INVENTION By this invention, it becomes possible to suppress the deterioration of the quality of welding.
（実施形態）
図１は、実施形態の溶接システム１００の概要を説明する説明図である。溶接システム１００は、溶接装置１、制御装置２及びワイヤ送給装置３を備える。溶接装置１は、溶接対象９の溶接を行う。溶接対象９には、一対の辺縁に溝状の開先９０１が形成されている。開先９０１は、溶接対象９の部位のうち溶接装置１によって溶接される部位である。溶接システム１００は、走行レール１１を備える。走行レール１１は、開先９０１に沿って設置されている。溶接装置１は走行レール１１に取り付けられている。溶接装置１は、走行レール１１に沿って移動可能である。
(embodiment)
FIG. 1 is an explanatory diagram illustrating an outline of a
溶接装置１は、走行レール１１に沿って移動するサドル１２を備える。サドル１２は矩形箱状のケース１３を支持する。ケース１３の内部には図示しない移動機構が設置されている。移動機構の動作によりケース１３は走行レール１１に対して近接離隔する方向（以下「Ｚ軸方向」という。）と開先９０１を横断する方向（以下「Ｘ軸方向」という。）とのそれぞれへ移動可能である。Ｚ軸方向は、より具体的には、溶接対象９の表面との交差方向である。Ｘ軸方向は、より具体的には、Ｚ軸方向とＹ軸方向とに直交する方向である。Ｙ軸方向は、開先９０１及び走行レール１１の延伸方向である。
The
ケース１３の開先９０１に臨む側にはブラケット１４が設置され、ブラケット１４の先端にはホルダ１５が支持され、ホルダ１５には溶接トーチ１６が保持されている。溶接トーチ１６の先端には溶接ワイヤ１６１が支持されている。ホルダ１５は、ブラケット１４に回動可能である。またホルダ１５は、回動軸Ｓまわりの任意の角度位置で固定可能である。ホルダ１５の角度により溶接トーチ１６のねらい角Ａｔは調整される。
A
溶接ワイヤ１６１は、ワイヤ送給装置３に接続される。ワイヤ送給装置３は、溶接ワイヤ１６１を送給する。ワイヤ送給装置３が溶接ワイヤ１６１を送給することによって溶接ワイヤ１６１の位置は移動する。したがって、ワイヤ送給装置３は溶接ワイヤ１６１を送給することによって溶接ワイヤ１６１の位置を移動させる装置である。
A
溶接装置１は、照明装置４１及び撮影装置４２を備える。照明装置４１は、ラインレーザ照射装置である。照明装置４１は、開先９０１の横断方向（すなわちＸ軸方向）に拡がるレーザ光束を開先９０１の測定部位９１１に照射することで、測定部位９１１を開先９０１の横断方向へ連続して線状に照明する。測定部位９１１は、溶接対象９の部位のうち撮影装置４２によって測定される部位である。照明装置４１による測定部位９１１へのレーザ光束の照明により、断面形状９１２は周囲よりも明るく浮かび上がる。
The
撮影装置４２は、溶接トーチ１６を挟んで両側に設置される。なお、撮影装置４２は、必ずしも複数存在する必要は無く、１つだけであってもよい。撮影装置４２は、照明装置４１によって線状に照明された断面形状９１２を含む測定部位９１１を撮影する。照明装置４１が撮影により得た画像データは制御装置２に出力される。
The
撮影装置４２は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの固体撮像素子を含んで構成される。撮影装置４２は、支持パネル４２１及び支持アーム４２２を介して、ケース１３の側面に設置された支持レール４２３に支持されている。撮影装置４２は、支持パネル４２１に対して向きの調整が可能に設置されている。
The
撮影装置４２は、支持レール４２３に沿ってＸ軸方向へ移動可能にも設置されている。したがって、撮影装置４２の位置、向き又は傾きはユーザ又は制御装置２が変更可能である。そのため、ユーザ又は制御装置２は、撮影する際に視野の調整を行うことができる。視野は、具体的には、測定部位９１１を含む溶接対象９上の撮影される空間（以下「撮影領域４２０」という。）である。
The photographing
溶接装置１は、制御部１０１を備える。制御部１０１は、バスで接続されたＣＰＵ（Central Processing Unit）等のプロセッサとメモリとを備え、プログラムを実行する。プログラムの実行により制御部１０１は、溶接装置１の動作を制御する。制御部１０１は、制御装置２と通信可能に接続されており、制御装置２による制御を受けて溶接装置１の動作を制御する。制御の内容は、例えば溶接装置１の移動の制御である。
The
制御装置２は、溶接システム１００の動作を制御する。制御装置２は、具体的には、溶接装置１及びワイヤ送給装置３の動作を制御する。
制御装置２は、先端抽出画像生成処理を実行する。先端抽出画像生成処理は、第１画像の画像データと第２画像の画像データとに基づき、溶接ワイヤ１６１の先端の画像（以下「先端抽出画像」という。）の画像データを生成する処理（以下「主抽出処理」という。）を含む。第１画像は、開先９０１に対する溶接ワイヤ１６１の先端の位置が第１の位置である画像である。第２画像は、開先９０１に対する溶接ワイヤ１６１の先端の位置が第２の位置である画像である。第１画像及び第２画像は、撮影装置４２による撮影により得られた画像データである。
The
第１の位置は、第２の位置よりも開先９０１に遠い位置である。例えば第１画像は溶接ワイヤ１６１の先端が溶接トーチ１６に引っ込んだ状態にある画像であり、この場合、第２画像は、例えば、溶接ワイヤ１６１の先端が溶接トーチ１６から突き出た状態にある画像である。すなわち、第１の位置における溶接ワイヤ１６１の先端は例えば溶接トーチ１６に引っ込んだ状態にあり、第２の位置における溶接ワイヤ１６１の先端は例えば溶接トーチ１６の先端から突き出た状態にある。
The first position is a position farther from the
先端抽出画像生成処理は、溶接トーチ１６の先端を撮影するように溶接装置１又はワイヤ送給装置３の動作を制御する処理（以下「撮影制御処理」という。）も含む。撮影制御処理の実行により、第１画像と第２画像とが得られる。したがって主抽出処理は、撮影制御処理の実行後に実行される。
The tip extraction image generation process also includes a process of controlling the operation of the
図２は、実施形態における第１画像の一例を示す図である。図２の第１画像には溶接トーチ１６の先端の近傍Ａ１に溶接ワイヤ１６１が存在しない。
FIG. 2 is a diagram showing an example of a first image in the embodiment; The
図３は、実施形態における第２画像の一例を示す図である。図３の第２画像には溶接トーチ１６の先端の近傍Ａ１に溶接ワイヤ１６１が存在する。
FIG. 3 is a diagram showing an example of a second image in the embodiment. The
図４は、実施形態における先端抽出画像の一例を示す図である。図４の先端抽出画像には、領域Ａ２に図２の第１画像と図３の第２画像との差分が写っている。差分が、溶接ワイヤ１６１の像である。したがって先端抽出画像は、溶接ワイヤ１６１の先端の画像である。このように、先端抽出画像は、例えば、第１画像と第２画像との背景差分により得られた画像である。なお、画像の時系列が動画であるので、先端抽出画像は、例えばフレーム間差分により得られた画像であってもよい。
FIG. 4 is a diagram showing an example of a tip extraction image according to the embodiment. In the tip extraction image of FIG. 4, the difference between the first image of FIG. 2 and the second image of FIG. 3 is shown in area A2. The difference is the image of
制御装置２は、先端抽出画像生成処理の実行前に、断面形状測定処理を実行する。断面形状測定処理は、開先９０１の断面形状９１２を測定する処理である。断面形状測定処理の具体例は後述する。
The
図５は、実施形態における断面形状測定処理の結果の一例を示す図である。より具体的には、図５は、断面形状９１２を写す画像である。線Ａ３が断面形状９１２の一例である。
FIG. 5 is a diagram showing an example of a result of cross-sectional shape measurement processing in the embodiment. More specifically, FIG. 5 is an image showing
制御装置２は、断面形状測定処理及び先端抽出画像生成処理の実行後に、キャリブレーション処理を行う。キャリブレーション処理は、先端抽出画像の画像データと断面形状測定処理の実行により得た断面形状の測定結果とに基づき、予め定められた所定の規則にしたがい溶接装置１のキャリブレーションを行う処理である。キャリブレーションは具体的には、溶接ワイヤ１６１の先端の位置と開先９０１の位置との関係が予め定められた所定の条件を満たす関係であるように溶接ワイヤ１６１の位置を制御する処理である。
The
図６は、実施形態における制御装置２のハードウェア構成の一例を示す図である。制御装置２は、バスで接続されたＣＰＵ（Central Processing Unit）等のプロセッサ９１とメモリ９２とを備える制御部２１を備え、プログラムを実行する。制御装置２は、プログラムの実行によって制御部２１、通信部２２、入力部２３、記憶部２４及び表示部２５を備える装置として機能する。
FIG. 6 is a diagram showing an example of the hardware configuration of the
より具体的には、制御装置２は、プロセッサ９１が記憶部２４に記憶されているプログラムを読み出し、読み出したプログラムをメモリ９２に記憶させる。プロセッサ９１が、メモリ９２に記憶させたプログラムを実行することによって、制御装置２は、制御部２１、通信部２２、入力部２３、記憶部２４及び表示部２５を備える装置として機能する。
More specifically, the
制御部２１は、制御装置２が備える各種機能部の動作を制御する。また、制御部２１は、溶接装置１及びワイヤ送給装置３の動作を制御する。制御部２１による溶接装置１の動作の制御とは具体的には、制御部２１が制御部１０１の動作を制御し、制御部１０１が制御部２１の制御にしたがい溶接装置１の動作を制御することである。制御部２１によるワイヤ送給装置３の動作の制御の１つは具体的には、ワイヤの送給の制御である。なおワイヤ送給装置３は溶接装置１による溶接の実行中も制御部２１の制御対象である。なお、撮影装置４２に対する制御は、ＰＣ（Personal Computer）等の所定のコンピュータによってＰＬＣ（programmable logic controller）である制御部２１を介して行われても良い。
The
通信部２２は、制御装置２を外部装置に接続するための通信インタフェースを含んで構成される。通信部２２は、有線又は無線を介して外部装置と通信する。外部装置は、例えば溶接装置１である。通信部２２は、例えば溶接装置１に制御の指示を示す信号を送信する。
The
外部装置は、例えばワイヤ送給装置３である。外部装置がワイヤ送給装置３である場合、通信部２２はより具体的には、ＰＬＣを介してワイヤ送給装置３の動作と通信を行う。通信部２２は、ワイヤ送給装置３との通信によって、例えば、ワイヤ送給を実行したことを示す信号をワイヤ送給装置３から受信することもある。通信部２２は、ワイヤ送給装置３との通信によって、例えばワイヤ送給装置３にワイヤの送給の開始の指示を示す信号をワイヤ送給装置３に送信する。通信部２２は、ワイヤ送給装置３との通信によって、例えばワイヤ送給装置３にワイヤの送給の停止の指示を示す信号をワイヤ送給装置３に送信する。
The external device is the
入力部２３は、マウスやキーボード、タッチパネル等の入力装置を含んで構成される。入力部２３は、これらの入力装置を制御装置２に接続するインタフェースとして構成されてもよい。入力部２３は、制御装置２に対する各種情報の入力を受け付ける。入力部２３には、例えば溶接の開始の指示が入力される。
The
記憶部２４は、磁気ハードディスク装置や半導体記憶装置などのコンピュータ読み出し可能な記憶媒体装置を用いて構成される。記憶部２４は、制御装置２自体を含む溶接システム１００に関する各種情報を記憶する。記憶部２４は、例えば通信部２２又は入力部２３を介して入力された情報を記憶する。
The
記憶部２４は、例えば制御部２１による処理の実行により生じた各種情報を記憶する。制御部２１による処理の実行により生じた各種情報は、例えば第１画像及び第２画像である。記憶部２４は、例えばキャリブレーション処理の結果を記憶する。
The
表示部２５は、各種情報を表示する。表示部２５は、例えばＣＲＴ（Cathode Ray Tube）ディスプレイや液晶ディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイ等の表示装置を含んで構成される。表示部２５は、これらの表示装置を制御装置２に接続するインタフェースとして構成されてもよい。表示部２５は、例えば入力部２３に入力された情報を出力する。表示部２５は、例えば制御部２１による処理の実行の結果を表示してもよい。表示部２５は、例えば先端抽出画像処理によって生成された画像データの示す画像を表示してもよい。
The
図７は、実施形態における制御部２１の機能構成の一例を示す図である。制御部２１は、先端抽出画像生成部２１０、断面形状測定部２２０、キャリブレーション部２３０、溶接制御部２４０、入力制御部２５０、記憶制御部２６０、通信制御部２７０及び表示制御部２８０を備える。
FIG. 7 is a diagram showing an example of the functional configuration of the
先端抽出画像生成部２１０は、先端抽出画像生成処理を実行する。断面形状測定部２２０は、断面形状測定処理を実行する。キャリブレーション部２３０は、キャリブレーション処理を実行する。溶接制御部２４０は、溶接装置１及びワイヤ送給装置３の動作を制御することで溶接装置１による溶接を制御する。より具体的には、溶接制御部２４０は、溶接装置１及びワイヤ送給装置３の動作を制御することで溶接トーチ１６による溶接を制御する。
The tip extraction
入力制御部２５０は、入力部２３の動作を制御する。入力制御部２５０は、入力部２３の動作を制御することで入力部２３に入力された情報を取得する。記憶制御部２６０は、各種情報を記憶部２４に記録する。記憶制御部２６０は、例えば制御部２１の動作によって生じた各種情報を記憶部２４に記録する。通信制御部２７０は、通信部２２の動作を制御する。通信制御部２７０は、通信部２２の動作を制御することで、通信部２２が受信した情報を取得する。通信制御部２７０は、通信部２２の動作を制御することで、制御部２１で生じた情報を通信部２２の通信先に送信させる。表示制御部２８０は、表示部２５の動作を制御する。
The
図８は、実施形態における制御装置２が実行する処理の流れの一例を示すフローチャートである。断面形状測定部２２０が断面形状測定処理を実行する（ステップＳ１０１）。次に、先端抽出画像生成部２１０が先端抽出画像生成処理を実行する（ステップＳ１０２）。ステップＳ１０２の処理により、先端抽出画像の画像データが生成される。次に、キャリブレーション部２３０がキャリブレーション処理を実行する（ステップＳ１０３）。次に、溶接制御部２４０が溶接装置１及びワイヤ送給装置３の動作を制御して溶接トーチ１６に溶接を実行させる（ステップＳ１０４）。
FIG. 8 is a flow chart showing an example of the flow of processing executed by the
このように構成された実施形態における溶接システム１００は、先端抽出画像の画像データに基づき溶接ワイヤ１６１の先端の位置をキャリブレーションした後、溶接を実行する。そのため、制御装置２は、溶接の品質の低下を抑制することができる。
The
（変形例） (Modification)
先端抽出画像生成処理は、先端位置判定処理を含んでもよい。先端位置判定処理は、溶接ワイヤ１６１の先端の位置が第１の位置と第２の位置とのいずれであるのかを判定する処理である。このような場合、撮影制御処理は、先端位置判定処理の判定の結果に基づき溶接トーチ１６の先端を撮影するように撮影装置４２の動作を制御する処理であってもよい。撮影装置４２は溶接トーチ及び溶接ワイヤを撮像することができる撮像部の一例である。
The tip extraction image generation processing may include tip position determination processing. The tip position determination process is a process of determining whether the position of the tip of the
入力部２３には、例えば溶接ワイヤ１６１の先端の位置の移動の指示（以下「先端移動指示」という。）が入力されてもよい。すなわち、入力部２３は、先端移動指示の入力を受け付けてもよい。先端抽出画像生成処理は、先端移動指示に基づいて、溶接ワイヤ１６１の先端の位置が第１の位置と第２の位置とのいずれであるのかを判定する処理を含んでもよい。
For example, an instruction to move the position of the tip of the welding wire 161 (hereinafter referred to as “tip movement instruction”) may be input to the
なお、ワイヤ送給装置３は、位置変更部の一例である。位置変更部は、溶接ワイヤ１６１の先端の位置を移動させる機能部である。したがって、ワイヤ送給装置３は溶接ワイヤ１６１を送給することによって溶接ワイヤ１６１の位置を移動させるので、ワイヤ送給装置３は位置変更部の一例である。そのため、このような場合に先端位置判定処理は、ワイヤ送給装置３の動作を示す情報に基づき、溶接ワイヤ１６１の先端の位置が第１の位置と第２の位置とのいずれであるのかを判定してもよい。ワイヤ送給装置３の動作を示す情報は、位置変更部動作情報の一例である。ワイヤ送給装置３の動作を示す情報は、例えばワイヤ送給装置３から送信され、通信部２２を介して制御部２１が取得する。ワイヤ送給装置３の動作を示す情報は、例えば溶接制御部２４０による溶接の制御に際して生成する。
Note that the
なお、ホルダ１５は、位置変更部の一例である。上述したようにホルダ１５は、ブラケット１４に対して回動可能である。そしてホルダ１５の角度により溶接トーチ１６のねらい角Ａｔが調整される。すなわち、ホルダ１５は、溶接トーチ１６を移動させることにより、溶接ワイヤ１６１の先端の位置を移動させる。したがって、ホルダ１５は、位置変更部の一例である。そのため、このような場合に先端位置判定処理は、ホルダ１５の動作を示す情報に基づき、溶接ワイヤ１６１の先端の位置が第１の位置と第２の位置とのいずれであるのかを判定してもよい。ホルダ１５の動作を示す情報は、位置変更部動作情報の一例である。ホルダ１５の動作を示す情報は、例えば溶接装置１から送信され、通信部２２を介して制御部２１が取得する。ホルダ１５の動作を示す情報は、例えば溶接制御部２４０が溶接の制御に際して生成する。
Note that the
先端抽出画像生成処理は、制限処理を含んでもよい。制限処理は、撮影装置４２が第１画像の撮影を開始してから第２画像を撮影し終えるまでの間、溶接ワイヤ１６１による溶接を禁止する制御を少なくとも実行する処理である。制限処理は、撮影装置４２が第１画像の撮影を開始してから第２画像を撮影し終えるまでの間、溶接トーチの移動と、ケース１３の移動と、撮影装置４２の位置、向き又は傾きと、を抑制する制御もさらに実行する処理であってもよい。制限処理が、撮影装置４２が第１画像の撮影を開始してから第２画像を撮影し終えるまでの間、このような抑制する制御もさらに実行する処理である場合、溶接ワイヤ１６１の先端の位置は、溶接ワイヤ１６１が送給されることで移動する。
The tip extraction image generation processing may include restriction processing. The restriction process is a process of executing at least control to prohibit welding with the
先端抽出画像生成処理は、強調表示画像生成処理を含んでもよい。指示画像生成処理は、第１画像の画像データと第２画像の画像データとに基づき、第２の位置に位置する溶接ワイヤ１６１の先端の位置を示す画像である強調表示画像の画像データを生成する。表示部２５は、強調表示画像を先端抽出画像とともに表示してもよい。強調表示画像の一例を以下の図９を用いて示す。
The leading end extraction image generation process may include a highlighted display image generation process. The instruction image generation process generates image data of a highlighted display image, which is an image indicating the position of the tip of the
図９は、変形例における表示部２５が表示する画像の一例を示す図である。図９は、撮影装置４２による撮影中の画像Ｍ１を示す。撮影装置４２は、例えば所定の周期で繰り返し撮影を行う。すなわち、撮影装置４２は画像の時系列を生成する。画像の時系列は動画であるので、撮影装置４２は動画を撮影する。画像Ｍ１は、動画を構成する画像の一枚である。画像Ｍ１には、画像Ｍ２が重畳されている。画像Ｍ２は、強調表示画像の一例である。図９の例では、強調表示画像は、溶接ワイヤ１６１の先端を囲う円形の画像である。
FIG. 9 is a diagram showing an example of an image displayed by the
図９は、“成功or失敗”という文字の画像Ｍ３が表示部２５に表示されることを示す。画像Ｍ３は、溶接ワイヤ１６１の先端と開先９０１との距離が所定の範囲内であれば成功を示す情報を入力部２３に入力し、溶接ワイヤ１６１の先端と開先９０１との距離が所定の範囲外であれば失敗を示す情報を入力部２３に入力することを促す画像である。促す対象は、表示部２５の閲覧者である。したがって、画像Ｍ３は、溶接ワイヤ１６１の先端と開先９０１との距離が所定の範囲内か否かを示す情報の所定の入力先への入力を促す画像の一例である。所定の入力先は、例えば入力部２３である。
FIG. 9 shows that an image M3 of characters "success or failure" is displayed on the
図９において、“カメラ映像確認”は、撮影装置４２の撮影中の動画を表示部２５に表示させることを促す画像である。
In FIG. 9 , “camera video confirmation” is an image prompting the
表示部２５は、制限処理の実行中であることを示す画像を表示してもよい。制限処理の最中は、溶接装置１もワイヤ送給装置３も動作しない場合もあるため、ユーザは溶接装置１又はワイヤ送給装置３の故障なのか、正常な動作が行われていないのかを判定することができない場合がある。表示部２５が、制限処理の実行中であることを示す画像を表示する場合、溶接装置１又はワイヤ送給装置３の動作が正常なのか故障なのかのユーザによる判定の精度が高まる。
The
なお、先端位置判定処理は、溶接ワイヤ１６１の先端の位置が撮影制御処理の実行により第１の位置に位置したと先に判定し、次に、溶接ワイヤ１６１の先端の位置が撮影制御処理により第２の位置に移動したと判定する処理（以下「特異先端位置判定処理」という。）であってもよい。
In the tip position determination process, it is first determined that the position of the tip of
先端抽出画像生成処理では、撮影制御処理の実行により、先端位置判定処理の判定の結果を用い、第１撮影制御がまず実行され、次に第２撮影制御が実行される。第１撮影制御は、溶接ワイヤ１６１の先端が第１の位置に位置する場合の溶接トーチ１６の先端を先に撮影するよう撮影装置４２の動作を制御する処理である。第２撮影制御は、溶接ワイヤ１６１の先端が第２の位置に位置する場合の溶接トーチ１６の先端を撮影するよう撮影装置４２の動作を制御する処理である。
In the tip extraction image generation process, by executing the imaging control process, the first imaging control is first performed using the determination result of the tip position determination process, and then the second imaging control is performed. The first imaging control is processing for controlling the operation of the
＜断面形状測定処理について＞
断面形状測定処理の具体例を説明する。断面形状測定処理は、例えば以下の参考文献１に記載の開先形状測定作業を実行する処理である。
<About cross-sectional shape measurement processing>
A specific example of the cross-sectional shape measurement process will be described. The cross-sectional shape measurement process is, for example, a process of performing the groove shape measurement work described in
参考文献１：特願２０２０－１２１０３５号公報 Reference 1: Japanese Patent Application No. 2020-121035
念のため、開先形状測定作業について図１及び図１０～図１６を用いて説明する。すなわち、図１０～図１６それぞれは、断面形状測定処理の一例を説明する説明図である。 Just to make sure, the groove shape measuring operation will be described with reference to FIGS. 1 and 10 to 16. FIG. 10 to 16 are explanatory diagrams for explaining an example of the cross-sectional shape measurement process.
図１０は、開先形状測定作業の処理の流れの一例を示すフローチャートである。なお、図１０において、溶接ロボットは、溶接装置１を意味し、カメラは撮影装置４２を意味し、トーチは溶接トーチ１６を意味する。
FIG. 10 is a flowchart showing an example of the processing flow of the groove shape measurement work. 10, the welding robot means the
開先形状測定作業は、準備工程Ｓ１、撮影工程Ｓ２、測定工程Ｓ３を含む。準備工程Ｓ１は、撮影装置４２が撮影した画像データを溶接装置１のロボット座標系に対応させるための準備データを、撮影装置４２の位置に応じて準備する。すなわち、準備工程Ｓ１においては、照明装置４１および撮影装置４２を有する溶接装置１を設置し（処理Ｓ１１）、撮影装置４２を開先９０１に向けて撮影領域を調整する（処理Ｓ１２）。ロボット座標系とは、制御部１０１が溶接装置１の位置の制御に使用する座標系であって、座標軸の方向及び単位が予め定められた座標系である。
The groove shape measurement work includes a preparation step S1, an imaging step S2, and a measurement step S3. In the preparation step S<b>1 , preparation data for making the image data captured by the
そして、撮影装置４２で開先９０１を撮影して制御装置２で画像処理を行い、撮影装置４２からの画像データを溶接装置１のロボット座標系に対応させる校正関数を準備データとして準備し、画像データを処理する制御装置２にロボット座標系に対応したカメラ座標系を設定するために、カメラ校正処理（処理Ｓ１３）、移動軸校正処理（処理Ｓ１４）、原点校正処理（処理Ｓ１５）を行う。これらのカメラ校正処理（処理Ｓ１３）、移動軸校正処理（処理Ｓ１４）、原点校正処理（処理Ｓ１５）については、のちほど図１２～図１６を用いて詳述する。なおカメラ座標系とは、溶接装置１に取り付けられた撮影装置４２が撮像した測定部位９１１の画像上の位置を座標が示す座標系であって、座標軸の方向及び単位が予め定められた座標系である。
Then, the
撮影工程Ｓ２においては、撮影装置４２で開先９０１を撮影し、画像データとする。すなわち、図１に示す状態で、開先９０１の測定部位９１１に溶接装置１を移動させ（処理Ｓ２）、照明装置４１により測定部位９１１を横断方向へ線状に照明し、撮影装置４２により測定部位９１１の画像を撮影する（処理Ｓ２２）。測定工程Ｓ３においては、準備工程Ｓ１で準備された準備データを用い、撮影工程Ｓ２で撮影された開先９０１の画像データから、開先９０１の断面形状情報を検出する。
In the photographing step S2, the
すなわち、撮影装置４２で撮影された画像データから測定部位９１１の断面形状９１２の情報を検出し（処理Ｓ３１）、検出された断面形状９１２の情報を、測定部位９１１と断面形状９１２の情報とを対にして制御装置２の記憶領域（すなわち記憶部２４）に記憶する（処理Ｓ３２）。これらの撮影工程Ｓ２および測定工程Ｓ３は、開先９０１の測定部位９１１を変更しつつ、開先９０１の全長あるいは一部区間にわたって、複数回繰り返すことができる。これにより開先９０１の連続方向に沿った断面形状９１２を得ること（センシング）ができる。
That is, the information of the
前述の通り、準備工程Ｓ１においては、準備データを準備するために、カメラ校正処理（処理Ｓ１３）、移動軸校正処理（処理Ｓ１４）、原点校正処理（処理Ｓ１５）を行う。これらのカメラ校正処理（処理Ｓ１３）、移動軸校正処理（処理Ｓ１４）、原点校正処理（処理Ｓ１５）は、以下の処理を含む。 As described above, in the preparation step S1, camera calibration processing (processing S13), movement axis calibration processing (processing S14), and origin calibration processing (processing S15) are performed in order to prepare preparation data. These camera calibration processing (processing S13), movement axis calibration processing (processing S14), and origin calibration processing (processing S15) include the following processing.
カメラ校正処理（処理Ｓ１３）では、パネル５を図１１の状態としてゲージ５１０を撮影装置４２の撮影領域４２０に配置し、撮影装置４２でゲージ５１０を撮影する（処理Ｓ１３１）。パネル５の表面には、直交配置された２本の矢印５１２、５１３による二次元のゲージ５１０が描かれている。ゲージ５１０の形状情報、具体的にはパネル５における矢印５１２、５１３の基端位置、長さ、先端位置の情報は、予め制御装置２に記憶されている。
In the camera calibration process (process S13), the
パネル５は、アーム５１１を介してブラケット１４に支持され、少なくとも下半分が開先９０１内に入り込むように配置され、パネル５の表面が開先９０１の連続方向と交差する状態とされている。アーム５１１は、ブラケット１４に対して回動自在に接続され、パネル５は開先９０１に入り込んだ状態から撮影装置４２の視野外まで退避可能である。パネル５を撮影装置４２の視野外へ退避させるために、アーム５１１およびパネル５をブラケット１４から取り外し可能としてもよい。
The
処理Ｓ１３１の次に、撮影したゲージ５１０の形状から、撮影装置４２で撮影された画像におけるカメラ座標系を設定する（処理Ｓ１３２）。計算にあたっては、制御装置２により、予め記憶しておいたゲージ５１０の形状情報と、撮影したゲージ５１０の形状とを比較演算を行う。
After processing S131, the camera coordinate system in the image captured by the
図１２には、カメラ校正処理（処理Ｓ１３）の具体的な動作が示されている。ゲージ５１０の基準点５１４（例えば矢印５１２，５１３の交差する基点）に対して、撮影装置４２の向きを調整し、撮影装置４２の光軸Ａを基準点５１４に向けて固定しておく。溶接装置１により支持された撮影装置４２の位置は通常開先９０１からそれた位置にあり、パネル５の正面（開先９０１の連続方向であるＹ軸方向）から見ると、撮影装置４２がＸ軸方向に変位Ｄｘ、Ｚ軸方向に変位Ｄｚで配置されている。さらに、撮影装置４２の傾きがあり、光軸Ａまわりの撮影装置４２の傾き角Ｒとする。
FIG. 12 shows specific operations of the camera calibration process (process S13). The orientation of the photographing
処理Ｓ１３１により撮影された画像４２Ｃでは、前述した撮影装置４２の変位Ｄｘ、Ｄｚおよび傾き角Ｒにより、パネル５Ｃの表面のゲージ５１０Ｃの形状（矢印５１２Ｃ，５１３Ｃの長さおよび角度）が元の形状に対して変形して表れる。処理Ｓ１３２においては、制御装置２に記憶されている形状情報のゲージ５１０Ｒ（矢印５１２Ｒ，５１３Ｒの長さおよび角度）を参照し、画像４２Ｃに表れたゲージ５１０Ｃとの比較演算を行うことで、撮影装置４２の変位Ｄｘ、Ｄｚおよび傾き角Ｒを計算することができる。
In the
そして、得られた撮影装置４２の変位Ｄｘ、Ｄｚおよび傾き角Ｒに対して、例えばホモグラフィ変換などの演算処理により、準備データとして開先９０１の断面形状を正面つまり開先９０１の連続方向から見た状態に校正する情報（準備データとしての校正関数）が得られる。このようなカメラ校正処理により、カメラで撮影された被写体の画像上に、ロボット座標系に対応したカメラ座標系を設定することができる。
Then, with respect to the obtained displacements Dx and Dz and the tilt angle R of the
図１０に戻って、カメラ校正処理（処理Ｓ１３）が済んだら、パネル５を退避させて図１の状態に戻し、移動軸校正処理（処理Ｓ１４）を実行する。移動軸校正処理（処理Ｓ１４）では、照明装置４１で開先９０１の測定部位９１１を照明し、照明された開先９０１の測定部位９１１を撮影装置４２で撮影し、測定部位９１１の断面形状９１２における校正ポイントの検出（１回目）を行う（処理Ｓ１４１）。
Returning to FIG. 10, after the camera calibration processing (processing S13) is completed, the
なお、カメラとパネル５とがロボットｘ軸又はｚ軸上を独立して移動可能な機器構成である場合には、処理Ｓ１３の実行後であって処理Ｓ１５の実行開始前に、移動軌跡計算処理が実行されてもよい。移動軌跡計算処理は、カメラを固定した状態で構成ゲージを溶接ロボットが移動させ、基準点５１４の移動軌跡を制御部２１が計算する処理である。なお、ロボットｘ軸の定義は図１のｘ軸であり、ロボットｚ軸の定義は、図１のｙ軸である。
If the camera and the
次に、溶接装置１を開先９０１と交差方向（例えばＺ軸方向）へ移動し（処理Ｓ１４２）、再び撮影装置４２で開先９０１を撮影し、測定部位９１１の断面形状９１２における校正ポイントの検出（２回目）を行う（処理Ｓ１４３）。続いて、断面形状９１２の同じ位置について、１回目の検出における校正ポイントと２回目の検出における校正ポイントとを結ぶ移動軌跡を計算し、得られた校正ポイントの移動軌跡からロボット座標系に合わせてカメラ座標系を校正する（処理Ｓ１４４）。
Next, the
図１３、図１４、図１５には、移動軸校正処理（処理Ｓ１４）の具体的な動作が示されている。図１３において、処理Ｓ１４１では、照明装置４１で開先９０１の測定部位９１１を照明し、開先９０１の測定部位９１１を撮影装置４２で撮影することで、撮影された画像４２Ｃには測定部位９１１の断面形状９１２が捉えられる。断面形状９１２においては、その折曲点が照明装置４１のラインレーザにより高輝度で表れ、校正ポイントＰ１１、Ｐ２１、Ｐ３１、Ｐ４１として検出される（１回目の検出）。
13, 14, and 15 show specific operations of the movement axis calibration process (process S14). In FIG. 13, in step S141, the
図１４において、処理Ｓ１４２では、溶接装置１のケース１３を、開先９０１と交差方向であるＺ軸方向へ移動させる。この移動に伴って、照明装置４１および撮影装置４２もＺ軸方向へ並進移動する。処理Ｓ１４３では、照明装置４１で開先９０１の測定部位９１１を照明し、開先９０１の測定部位９１１を撮影装置４２で撮影することで、撮影された画像４２Ｃには測定部位９１１の断面形状９１２が捉えられる。断面形状９１２においては、その折曲点が照明装置４１のラインレーザにより高輝度で表れ、校正ポイントＰ１２，Ｐ２２、Ｐ３２、Ｐ４２として検出される（２回目の検出）。
In FIG. 14 , in step S<b>142 , the
処理Ｓ１４２、Ｓ１４３で得られた１回目の検出における校正ポイントＰ１１～Ｐ４１の位置情報、および２回目の検出における校正ポイントＰ１２～Ｐ４２の位置情報は、それぞれ制御装置２で演算処理される。
The positional information of the calibration points P11 to P41 in the first detection and the positional information of the calibration points P12 to P42 in the second detection obtained in the processes S142 and S143 are arithmetically processed by the
図１５において、処理Ｓ１４４では、断面形状９１２の同じ位置について、各ポイントを結ぶ移動軌跡Ｔ１、Ｔ２、Ｔ３、Ｔ４を計算する。例えば、１回目の校正ポイントＰ１１から２回目の校正ポイントＰ１２に至る移動軌跡Ｔ１を計算し、１回目の校正ポイントＰ２１から２回目の校正ポイントＰ２２に至る移動軌跡Ｔ２を計算する。
In FIG. 15, in step S144, movement trajectories T1, T2, T3, and T4 connecting points are calculated for the same position of the
計算された移動軌跡Ｔ１、Ｔ２、Ｔ３、Ｔ４は、それぞれ溶接装置１のＺ軸方向（ロボット座標系）の移動方向Ｚｒを示し、これを画像４２Ｃ（カメラ座標系）において検出することで、カメラ座標系（処理Ｓ１３で設定されたカメラ座標系および準備データの校正関数）を校正し、実際のロボット座標系に合わせることができる。
The calculated movement trajectories T1, T2, T3, and T4 each indicate the movement direction Zr of the
図１０に戻って、移動軸校正処理（処理Ｓ１４）が済んだら、原点校正処理（処理Ｓ１５）を実行する。 Returning to FIG. 10, after the movement axis calibration process (process S14) is completed, the origin calibration process (process S15) is executed.
原点校正処理（処理Ｓ１５）では、溶接装置１の溶接トーチ１６を開先９０１のトーチねらい位置に配置し（処理Ｓ１５１）、撮影装置４２で撮影された画像４２Ｃ上のトーチねらい位置をカメラ座標系の原点に設定する（処理Ｓ１５２）。
In the origin calibration process (process S15), the
図１６において、処理Ｓ１５１では、断面形状９１２の任意位置（例えば図１３の校正ポイントＰ１１に用いた開先９０１の折曲点）をトーチねらい位置として選択しておき、溶接装置１をＸ軸方向およびＺ軸方向に移動させ、溶接トーチ１６から延びる溶接ワイヤ１６１の先端をトーチねらい位置（Ｐ１１）に接触させる。制御装置２においては、その時点のロボット座標系での現在位置からトーチねらい位置が検出される。
16, in step S151, an arbitrary position of the cross-sectional shape 912 (for example, the bending point of the
処理Ｓ１５１では、撮影装置４２で撮影された画像４２Ｃで検出されるトーチねらい位置（Ｐ１１）をカメラ座標系の原点に設定する。トーチねらい位置（Ｐ１１）は、ロボット座標系での現在位置として検出されているので、カメラ座標系での原点位置をロボット座標系に変換することができる。
In step S151, the torch aim position (P11) detected in the
以上のカメラ校正処理（処理Ｓ１３）、移動軸校正処理（処理Ｓ１４）、原点校正処理（処理Ｓ１５）により、撮影装置４２で撮影された画像４２Ｃにおいて検出されるカメラ座標系の位置と、溶接装置１に固有のロボット座標系の位置との関係が得られ、その関係を示す関数の逆関数として校正関数が得られる。これにより、準備工程Ｓ１において、カメラ座標系で検出された位置をロボット座標系に変換する校正関数を準備データとして準備することができる。
By the above-described camera calibration processing (processing S13), movement axis calibration processing (processing S14), and origin calibration processing (processing S15), the position of the camera coordinate system detected in the
ここで特異先端位置判定処理と先端抽出画像生成処理との奏する効果について説明する。溶接ワイヤ１６１は、ワイヤ送給装置３に格納されている場合にはリールに巻かれた状態であり、曲がっている。溶接トーチ１６から溶接ワイヤ１６１が突き出る場合、溶接ワイヤ１６１はこのような曲がった状態から直線状に矯正されて溶接トーチ１６から突き出る。しかしながら、曲がった状態から矯正されたとしても溶接トーチ１６から突き出た溶接ワイヤ１６１の形状は完全な直線状ではなく、多少の曲率を有した形状である。
Here, the effects of the peculiar tip position determination process and the tip extraction image generation process will be described. When the
ところで、溶接の開始と溶接トーチ１６の先端との関係を考えると、以下のことが言える。すなわち、溶接ワイヤ１６１の先端が第２の位置に位置する場合の溶接トーチ１６の先端を先に撮影し、溶接ワイヤ１６１の先端が第１の位置に位置する場合の溶接トーチ１６の先端を次に撮影すると、溶接を開始するためには、再度、溶接ワイヤ１６１の先端を第２の位置に位置させる必要がある、ということである。
Considering the relationship between the start of welding and the tip of the
以下説明の簡単のため、溶接ワイヤ１６１の先端が第２の位置に位置する場合の溶接トーチ１６の先端を先に撮影する処理を、第１処理という。以下説明の簡単のため、溶接ワイヤ１６１の先端が第１の位置に位置する場合の溶接トーチ１６の先端を撮影する処理を第２処理という。以下説明の簡単のため、溶接ワイヤ１６１の先端を第２の位置に位置させる処理を第３処理という。
For the sake of simplification of explanation, the process of first imaging the tip of the
しかし、第１処理の実行時に、溶接ワイヤ１６１は直線状に矯正される。そして、第３処理の実行時に、溶接ワイヤ１６１はさらに直線状に矯正される。その結果、第１処理及び第２処理の実行により得られた溶接ワイヤ１６１の先端の位置と、第３処理の実行により得られた溶接ワイヤ１６１の先端の位置とはズレてしまう。以下、このズレを、先端ズレという。
However, the
そこで、先に、溶接ワイヤ１６１の先端を第１の位置に位置させた状態で溶接トーチ１６の先端を撮影し、次に、溶接ワイヤ１６１の先端を第２の位置に位置させた状態で溶接トーチ１６の先端を撮影することを考える。このような場合、溶接ワイヤ１６１の位置を変更させることなく、そのまま溶接ワイヤ１６１の先端を第２の位置に位置させた状態で、溶接の開始が可能である。
Therefore, first, the tip of the
したがって、先に、溶接ワイヤ１６１の先端を第１の位置に位置させた状態で溶接トーチ１６の先端を撮影し、次に、溶接ワイヤ１６１の先端を第２の位置に位置させた状態で溶接トーチ１６の先端を撮影することで、上述の先端ズレを抑制することができる。
Therefore, first, the tip of the
特異先端位置判定処理と先端抽出画像生成処理とはどちらもこのような、先に、溶接ワイヤ１６１の先端を第１の位置に位置させた状態で溶接トーチ１６の先端を撮影し、次に、溶接ワイヤ１６１の先端を第２の位置に位置させた状態で溶接トーチ１６の先端を撮影する処理である。したがって、特異先端位置判定処理と先端抽出画像生成処理とはどちらも上述の先端ズレを抑制することができる。
Both the peculiar tip position determination process and the tip extraction image generation process first capture the tip of the
なお、制御装置２は、ネットワークを介して通信可能に接続された複数台の情報処理装置を用いて実装されてもよい。この場合、制御装置２が備える各機能部は、複数の情報処理装置に分散して実装されてもよい。
Note that the
なお撮影装置４２は撮影部の一例である。
Note that the
なお、溶接システム１００及び制御装置２それぞれの各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。プログラムは、電気通信回線を介して送信されてもよい。
All or part of each function of the
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。 Although the embodiment of the present invention has been described in detail with reference to the drawings, the specific configuration is not limited to this embodiment, and design and the like are included within the scope of the gist of the present invention.
１００…溶接システム、 １…溶接装置、 ２…制御装置、 ３…ワイヤ送給装置、 ２１…制御部、 ２２…通信部、 ２３…入力部、 ２４…記憶部、 ２５…表示部、 ２１０…先端抽出画像生成部、 ２２０…断面形状測定部、 ２３０…キャリブレーション部、 ２４０…溶接制御部、 ２５０…入力制御部、 ２６０…記憶制御部、 ２７０…通信制御部、 ２８０…表示制御部、 ９１…プロセッサ、 ９２…メモリ、 １１…走行レール、 １２…サドル、 １３…ケース、 １４…ブラケット、 １５…ホルダ、 １６…溶接トーチ、 １６１…溶接ワイヤ、 ４１…照明装置、 ４２…撮影装置、 ４２０…撮影領域、 ４２１…支持パネル、 ４２２…支持アーム、 ４２３…支持レール、 １０１…制御部、 ９…溶接対象、 ９０１…開先、 ９１１…測定部位、 ９１２…断面形状、 ５…パネル、 ５１０…ゲージ、 ５１１…アーム
DESCRIPTION OF
Claims (20)
前記撮影部による撮影により得られた画像データであって開先に対する前記溶接ワイヤの先端の位置が第１の位置である第１画像の画像データと、前記撮影部による撮影により得られた画像データであって開先に対する前記溶接ワイヤの先端の位置が第２の位置である第２画像の画像データと、に基づき、前記溶接ワイヤの先端の画像である先端抽出画像の画像データを生成する先端抽出画像生成部を含む制御装置と、
を備え、
前記第１の位置は、前記第２の位置よりも、開先に遠い位置であり、
前記先端抽出画像生成部は、背景差分又はフレーム間差分により、前記先端抽出画像の画像データを生成する、
溶接システム。 an imaging unit capable of imaging the welding torch and the welding wire supported by the tip of the welding torch and wound on a reel ;
image data obtained by photographing by the photographing unit, image data of a first image in which the position of the tip of the welding wire with respect to the groove is a first position; and image data obtained by photographing by the photographing unit. and the image data of the second image in which the position of the tip of the welding wire with respect to the groove is the second position, and the image data of the tip extraction image that is the image of the tip of the welding wire. a control device including an extracted image generator;
with
The first position is a position farther from the groove than the second position,
The tip extraction image generation unit generates image data of the tip extraction image based on a background difference or an inter-frame difference.
Welding system.
前記溶接トーチ及び前記溶接ワイヤを撮像することができる撮影部と、
前記撮影部による撮影により得られた画像データであって開先に対する前記溶接ワイヤの先端の位置が第１の位置である第１画像の画像データと、前記撮影部による撮影により得られた画像データであって開先に対する前記溶接ワイヤの先端の位置が第２の位置である第２画像の画像データと、に基づき、前記溶接ワイヤの先端の画像である先端抽出画像の画像データを生成する先端抽出画像生成部を含む制御装置と、
を備え、
前記撮影部は、さらに、ラインレーザによって照明された前記開先の測定部位を撮像し、
前記制御装置は、前記撮影部の座標系であるカメラ座標系を、前記溶接装置の座標系であるロボット座標系に対応するように、前記測定部位の撮像の結果を用いて校正し、
前記第１の位置は、前記第２の位置よりも、前記開先に遠い位置である、
溶接システム。 a welding device comprising a welding torch and a welding wire supported by the tip of the welding torch and wound on a reel;
an imaging unit capable of imaging the welding torch and the welding wire;
image data obtained by photographing by the photographing unit, image data of a first image in which the position of the tip of the welding wire with respect to the groove is a first position; and image data obtained by photographing by the photographing unit. and the image data of the second image in which the position of the tip of the welding wire with respect to the groove is the second position, and the image data of the tip extraction image that is the image of the tip of the welding wire. a control device including an extracted image generator;
with
The imaging unit further captures an image of the measurement site of the groove illuminated by the line laser,
The control device calibrates the camera coordinate system, which is the coordinate system of the imaging unit, so as to correspond to the robot coordinate system, which is the coordinate system of the welding device, using the result of imaging the measurement site,
The first position is a position farther from the groove than the second position,
Welding system.
前記撮影部による撮影により得られた画像データであって開先に対する前記溶接ワイヤの先端の位置が第１の位置である第１画像の画像データと、前記撮影部による撮影により得られた画像データであって開先に対する前記溶接ワイヤの先端の位置が第２の位置である第２画像の画像データと、に基づき、前記溶接ワイヤの先端の画像である先端抽出画像の画像データを生成する先端抽出画像生成部と、
を備え、
前記第１の位置は、前記第２の位置よりも、開先に遠い位置であり、
前記先端抽出画像生成部は、前記撮影部が前記第１画像の撮影を開始してから前記第２画像を撮影し終えるまでの間、前記溶接トーチの移動を抑制する制御を実行する、
溶接システム。 an imaging unit capable of imaging the welding torch and the welding wire supported by the tip of the welding torch and wound on a reel ;
image data obtained by photographing by the photographing unit, image data of a first image in which the position of the tip of the welding wire with respect to the groove is the first position, and image data obtained by photographing by the photographing unit and image data of a second image in which the position of the tip of the welding wire with respect to the groove is the second position, and image data of a tip extracted image that is an image of the tip of the welding wire is generated based on an extracted image generation unit;
with
The first position is a position farther from the groove than the second position,
The tip extraction image generation unit performs control to suppress movement of the welding torch from when the imaging unit starts capturing the first image until it finishes capturing the second image.
Welding system.
請求項２又は３に記載の溶接システム。 The tip extraction image generation unit generates image data of the tip extraction image based on a background difference or an inter-frame difference.
Welding system according to claim 2 or 3 .
請求項１から４のいずれか一項に記載の溶接システム。 The tip extracted image generation unit performs a tip position determination process for determining whether the position of the tip of the welding wire is the first position or the second position, and a determination of the tip position determination process. a photographing control process for controlling the operation of the photographing unit so as to photograph the tip of the welding torch based on the result;
Welding system according to any one of claims 1 to 4 .
を備え、
前記先端位置判定処理は、前記指示に基づいて、前記溶接ワイヤの先端の位置が前記第１の位置と前記第２の位置とのいずれであるのかを判定する、
請求項５に記載の溶接システム。 an input unit that acquires an instruction to move the position of the tip of the welding wire;
with
The tip position determination process determines whether the position of the tip of the welding wire is the first position or the second position based on the instruction.
Welding system according to claim 5 .
を備え、
前記先端位置判定処理は、前記位置変更部の動作を示す位置変更部動作情報に基づき、前記溶接ワイヤの先端の位置が前記第１の位置と前記第２の位置とのいずれであるのかを判定する、
請求項５に記載の溶接システム。 a position changing unit that moves the position of the tip of the welding wire;
with
The tip position determination process determines whether the position of the tip of the welding wire is the first position or the second position, based on position changing unit operation information indicating the operation of the position changing unit. do,
Welding system according to claim 5 .
請求項７に記載の溶接システム。 The position changing unit moves the position of the tip of the welding wire by feeding the welding wire.
The welding system according to claim 7 .
請求項１から８のいずれか一項に記載の溶接システム。 The tip extracted image generation unit performs control to prohibit welding with the welding wire from when the imaging unit starts capturing the first image until it finishes capturing the second image.
Welding system according to any one of claims 1 to 8 .
請求項１から９のいずれか一項に記載の溶接システム。 The tip of the welding wire at the first position is recessed into the welding torch, and the tip of the welding wire at the second position is protruded from the tip of the welding torch.
Welding system according to any one of claims 1 to 9 .
を備える請求項１から１０のいずれか一項に記載の溶接システム。 a display unit for displaying an image represented by the image data generated by the tip extraction image generation unit;
Welding system according to any one of claims 1 to 10 , comprising:
請求項１１に記載の溶接システム。 The display unit displays an image prompting an input to a predetermined input destination of information indicating whether the distance between the tip of the welding wire and the groove is within a predetermined range.
Welding system according to claim 11 .
請求項１１又は１２に記載の溶接システム。 The display unit displays information indicating that the tip extraction image generation unit is executing control for prohibiting welding by the welding wire and control for suppressing movement of the welding torch.
Welding system according to claim 11 or 12 .
前記溶接トーチによる溶接を制御する溶接制御部と、
を備え、
前記先端抽出画像生成部は前記断面形状測定部による測定の後に前記先端抽出画像の画像データを生成し、前記溶接制御部は前記断面形状測定部の測定の結果と前記先端抽出画像の画像データとに基づき前記溶接トーチに溶接を実行させる、
請求項１から１３のいずれか一項に記載の溶接システム。 a cross-sectional shape measuring unit for measuring the cross-sectional shape of the groove;
a welding control unit that controls welding by the welding torch;
with
The tip extraction image generation unit creates image data of the tip extraction image after measurement by the cross-sectional shape measurement unit, and the welding control unit generates the measurement result of the cross-sectional shape measurement unit and the image data of the tip extraction image. causing the welding torch to perform welding based on
Welding system according to any one of claims 1 to 13 .
請求項５に記載の溶接システム。 In the tip position determination process, it is first determined that the position of the tip of the welding wire is positioned at the first position by executing the imaging control process, and then the position of the tip of the welding wire is determined by the imaging control process. It is determined that the process has moved to the second position,
Welding system according to claim 5 .
請求項５又は１５に記載の溶接システム。 By executing the photographing control process, the tip extracted image generation unit uses the determination result of the tip position determination process to determine the tip of the welding torch when the tip of the welding wire is positioned at the first position. controlling the operation of the photographing unit so as to photograph first and then photograph the tip of the welding torch when the tip of the welding wire is positioned at the second position;
Welding system according to claim 5 or 15 .
前記撮影ステップによる撮影により得られた画像データであって開先に対する前記溶接ワイヤの先端の位置が第１の位置である第１画像の画像データと、前記撮影ステップによる撮影により得られた画像データであって開先に対する前記溶接ワイヤの先端の位置が第２の位置である第２画像の画像データと、に基づき、前記溶接ワイヤの先端の画像である先端抽出画像の画像データを生成する先端抽出画像生成ステップと、
を有し、
前記第１の位置は、前記第２の位置よりも、開先に遠い位置であり、
前記先端抽出画像生成ステップは、背景差分又はフレーム間差分により、前記先端抽出画像の画像データを生成する、
溶接方法。 a photographing step capable of photographing the welding torch and the welding wire supported by the tip of the welding torch and wound on a reel ;
Image data obtained by photographing in the photographing step and image data of a first image in which the position of the tip of the welding wire with respect to the groove is the first position, and image data obtained by photographing in the photographing step. and the image data of the second image in which the position of the tip of the welding wire with respect to the groove is the second position, and the image data of the tip extraction image that is the image of the tip of the welding wire. an extracted image generating step;
has
The first position is a position farther from the groove than the second position,
The tip extraction image generation step generates image data of the tip extraction image by a background difference or an inter-frame difference.
Welding method.
前記撮影ステップによる撮影により得られた画像データであって開先に対する前記溶接ワイヤの先端の位置が第１の位置である第１画像の画像データと、前記撮影ステップによる撮影により得られた画像データであって開先に対する前記溶接ワイヤの先端の位置が第２の位置である第２画像の画像データと、に基づき、前記溶接ワイヤの先端の画像である先端抽出画像の画像データを生成する先端抽出画像生成ステップと、
ラインレーザによって照明された前記開先の測定部位を撮像する第２の撮影ステップと、
前記第１の撮影ステップ及び前記第２の撮影ステップで撮像を行う撮影部の座標系であるカメラ座標系を、前記溶接トーチ及び前記溶接ワイヤを備える溶接装置の座標系であるロボット座標系に対応するように、前記測定部位の撮像の結果を用いて校正する校正ステップと、
を有し、
前記第１の位置は、前記第２の位置よりも、前記開先に遠い位置である、
溶接方法。 a first photographing step capable of photographing the welding torch and the welding wire supported by the tip of the welding torch and wound on the reel ;
Image data obtained by photographing in the photographing step and image data of a first image in which the position of the tip of the welding wire with respect to the groove is the first position, and image data obtained by photographing in the photographing step. and the image data of the second image in which the position of the tip of the welding wire with respect to the groove is the second position, and the image data of the tip extraction image that is the image of the tip of the welding wire. an extracted image generation step;
a second imaging step of imaging the measurement site of the groove illuminated by the line laser;
The camera coordinate system, which is the coordinate system of the imaging unit that performs imaging in the first imaging step and the second imaging step, corresponds to the robot coordinate system, which is the coordinate system of the welding device including the welding torch and the welding wire. A calibration step of calibrating using the imaging result of the measurement site so as to
has
The first position is a position farther from the groove than the second position,
Welding method.
前記撮影ステップによる撮影により得られた画像データであって開先に対する前記溶接ワイヤの先端の位置が第１の位置である第１画像の画像データと、前記撮影ステップによる撮影により得られた画像データであって開先に対する前記溶接ワイヤの先端の位置が第２の位置である第２画像の画像データと、に基づき、前記溶接ワイヤの先端の画像である先端抽出画像の画像データを生成する先端抽出画像生成ステップと、
を有し、
前記第１の位置は、前記第２の位置よりも、開先に遠い位置であり、
前記先端抽出画像生成ステップでは、前記第１画像の撮影開始から、前記第２画像の撮影終了までの間、前記溶接トーチの移動を抑制する制御が実行される、
溶接方法。 a photographing step capable of photographing the welding torch and the welding wire supported by the tip of the welding torch and wound on a reel ;
Image data obtained by photographing in the photographing step and image data of a first image in which the position of the tip of the welding wire with respect to the groove is the first position, and image data obtained by photographing in the photographing step. and the image data of the second image in which the position of the tip of the welding wire with respect to the groove is the second position, and the image data of the tip extraction image that is the image of the tip of the welding wire. an extracted image generating step;
has
The first position is a position farther from the groove than the second position,
In the tip extraction image generation step, control is performed to suppress movement of the welding torch from the start of capturing the first image to the end of capturing the second image.
Welding method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021165961A JP7292344B2 (en) | 2021-10-08 | 2021-10-08 | Welding system, welding method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021165961A JP7292344B2 (en) | 2021-10-08 | 2021-10-08 | Welding system, welding method and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2023056637A JP2023056637A (en) | 2023-04-20 |
| JP7292344B2 true JP7292344B2 (en) | 2023-06-16 |
Family
ID=86004903
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021165961A Active JP7292344B2 (en) | 2021-10-08 | 2021-10-08 | Welding system, welding method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7292344B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7490126B1 (en) | 2023-09-05 | 2024-05-24 | 日鉄エンジニアリング株式会社 | Welding Systems |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007181871A (en) | 2006-01-10 | 2007-07-19 | Kawasaki Heavy Ind Ltd | Automatic arc welding system and method |
| JP2014182442A (en) | 2013-03-18 | 2014-09-29 | Stanley Electric Co Ltd | Image processing apparatus and image processing method |
| JP2020182963A (en) | 2019-05-08 | 2020-11-12 | 三菱重工業株式会社 | Welding control device, welding control method and welding control program |
| JP2021157108A (en) | 2020-03-27 | 2021-10-07 | テルモ株式会社 | Training system, image processing device, image processing method and image processing program |
-
2021
- 2021-10-08 JP JP2021165961A patent/JP7292344B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007181871A (en) | 2006-01-10 | 2007-07-19 | Kawasaki Heavy Ind Ltd | Automatic arc welding system and method |
| JP2014182442A (en) | 2013-03-18 | 2014-09-29 | Stanley Electric Co Ltd | Image processing apparatus and image processing method |
| JP2020182963A (en) | 2019-05-08 | 2020-11-12 | 三菱重工業株式会社 | Welding control device, welding control method and welding control program |
| JP2021157108A (en) | 2020-03-27 | 2021-10-07 | テルモ株式会社 | Training system, image processing device, image processing method and image processing program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2023056637A (en) | 2023-04-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3946716B2 (en) | Method and apparatus for recalibrating a three-dimensional visual sensor in a robot system | |
| JP4844453B2 (en) | Robot teaching apparatus and teaching method | |
| CN109421048B (en) | Robot system | |
| JP7439073B2 (en) | System and method for welding path generation | |
| US10191470B2 (en) | Welding machine and control method therefor | |
| JP6457469B2 (en) | Mobile robot interference area setting device | |
| JP6768985B1 (en) | Groove shape measurement method, automatic welding method, and automatic welding equipment | |
| JP5388921B2 (en) | Three-dimensional distance measuring apparatus and method | |
| JP7292344B2 (en) | Welding system, welding method and program | |
| JP2009269134A (en) | Simulation device in visual inspection apparatus | |
| JP2012040156A (en) | X-ray image diagnostic device | |
| KR101535801B1 (en) | Process inspection device, method and system for assembling process in product manufacturing using depth map sensors | |
| JP6031368B2 (en) | Correlation positioning method with workpiece | |
| JP2007071835A (en) | Device, method, and program for generating part program for image measuring device | |
| JP5573537B2 (en) | Robot teaching system | |
| JP2007033087A (en) | Calibration device and method | |
| JP7176148B1 (en) | Weld line detection system | |
| JP6676023B2 (en) | Inspection position specifying method and inspection device | |
| JP2007010419A (en) | Three-dimensional shape of object verifying system | |
| JP7349542B1 (en) | Welding robot system, welding method and program | |
| CN114543697A (en) | Measuring apparatus, control apparatus, and control method | |
| JP7183372B1 (en) | Marker detection device and robot teaching system | |
| JP2005078441A (en) | Comparative verifier | |
| TWI822314B (en) | Welding line detection system | |
| JP2011112579A (en) | Shape-measuring device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211018 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20211018 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211207 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220201 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220405 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220517 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220707 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220909 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221206 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230202 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230404 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230509 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230606 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7292344 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |