JP2024508564A - 自律型溶接ロボット - Google Patents

Abstract

いくつかの例において、自律型ロボット溶接システムは、継ぎ目を有する部品を含む作業スペースと、作業スペース内の複数の画像を取り込むように構成されているセンサと、継ぎ目に沿って溶接を施すように構成されているロボットと、コントローラとを含む。コントローラは、複数の画像に基づいて作業スペース内の部品上の継ぎ目を識別し、継ぎ目を溶接するときにロボットがたどるべき経路を計画し、経路がロボットの複数の異なる構成を含み、計画された経路に従って継ぎ目を溶接するようロボットに命令するように、構成されている。TIFF2024508564000003.tif157129

Description

関連出願の相互参照
本出願は、「SYSTEMS AND METHODS FOR OPERATING AND CONTROLLING A WELDING ROBOT」という名称の、2021年2月24日に出願された米国仮特許出願第63/153,109号、および「SYSTEMS AND METHODS FOR OPERATING AND CONTROLLING A WELDING ROBOT」という名称の、2021年11月24日に出願された米国仮特許出願第63/282,827号の恩典を主張し、各出願の内容全体は、あらゆる目的で参照により本明細書に組み入れられる。

背景
ロボット製造は、製造プロセスの1つまたは複数の局面を行うロボットの使用を伴う。ロボット溶接は、ロボット製造分野における1つの用途である。ロボット溶接では、ロボットは、1つまたは複数の継ぎ目に沿って2つ以上の構成要素を互いに溶接する。そのようなロボットは、通常は人間によって、または人間によって直接制御される機械によって行われるはずのプロセスを自動化するので、生産時間、信頼性、効率、およびコストにおいて大きな利点を提供する。

概要
様々な例における、溶接ロボットのための命令を生成するコンピュータ実装方法。コンピュータ実装方法は、溶接されるべき部品上の候補継ぎ目の、予想される位置および予想される向きを部品のコンピュータ支援設計（CAD）モデルに基づいて識別する工程、部品の表現を生成するために部品を含む作業スペースをスキャンする工程、部品の表現と候補継ぎ目の予想される位置および予想される向きとに基づいて部品上の候補継ぎ目を識別する工程、候補継ぎ目の実際の位置および実際の向きを決定する工程、ならびに候補継ぎ目の実際の位置および実際の向きに少なくとも部分的に基づいて溶接ロボットのための溶接命令を生成する工程を含む。

例における、溶接ロボットのための溶接命令を生成するコンピュータ実装方法。方法は、センサを介して、溶接されるべき部品を含む作業スペースの画像データを取得する工程、画像データに基づいて溶接されるべき部品上の複数の点を識別する工程、複数の点から、溶接されるべき部品上の候補継ぎ目を識別する工程、および候補継ぎ目の識別に少なくとも部分的に基づいて溶接ロボットのための溶接命令を生成する工程を含む。

様々な例による、自律型ロボット溶接システムのブロック図である。 様々な例による、自律型ロボット溶接システムの概略図である。 様々な例による、自律型ロボット溶接システムの概略図である。 様々な例による、溶接可能な継ぎ目を有する部品の例示的な点群である。 様々な例による、溶接可能な継ぎ目を有する部品の例示的な点群である。 様々な例による、位置合わせプロセスフローを例示するブロック図である。 様々な例による、ロボットのための経路計画を決定し得るグラフ探索技術の概略図である。 様々な例による、ロボットアームの数学モデルである。 様々な例による、自律型溶接を行うための方法の流れ図である。 様々な例による、自律型溶接を行うための方法の流れ図である。 様々な例による、自律型溶接を行うための方法の流れ図である。

詳細な説明
従来の溶接技術は、面倒で労働集約的で非効率的である。従来の溶接技術はまた、製造プロセス中に一般に遭遇する不規則性に十分に柔軟に対応せず、望ましくないダウンタイムおよび非効率性につながる。例えば、従来の溶接技術では、溶接ロボットが溶接作業を行うための命令を、熟練したプログラマが生成しなければならない。これらの命令は、特定の溶接作業を行うために使用されなければならない動き、経路、軌道、および溶接パラメータに関して溶接ロボットに命令する。命令は、同じ溶接作業が何度も繰り返される大量の作業が行われることを想定して書かれている。よって、溶接プロセス中に遭遇するあらゆる逸脱（例えば、異なる部品）が、誤って配置された溶接部をもたらす可能性がある。誤って配置された溶接部は、非効率性、コスト、および大量生産の他の負の局面を増加させる。

ある場合には、溶接作業を容易にするために、部品のコンピュータ支援設計（CAD）モデルが溶接ロボットに有用であり得る。例えば、溶接されるべき部品のCADモデルが溶接ロボットに提供されてもよく、溶接ロボットはCADモデルを使用して、溶接されるべき継ぎ目の位置など、その移動を案内し得る。溶接されるべき（1つまたは複数の）継ぎ目は、CADモデルおよび溶接ロボットにおいて注釈を付けられ（例えば、ユーザが選択したエッジを含む注釈、各エッジが継ぎ目を表す）、センサを使用して継ぎ目を位置特定した後、注釈に従って溶接を施す。そのような手法は、熟練したプログラマまたは製造エンジニアの必要性を低減または排除し得るが、それらには限界がある。例えば、溶接作業は非常に精密な作業である。一般に、許容できる溶接部を作成するためには、溶接チップは、継ぎ目と関連付けられた目標位置から1mm以内に位置することが望ましい。CADモデルに基づいて溶接ロボットを案内する場合には、部品がCADモデルにぴったり適合する場合でも、実際の継ぎ目はモデル化された位置から1mmを超える場合があり、これにより、溶接チップが正確に位置決めされて許容できる溶接部を作成することが困難または不可能になる可能性がある。CADモデルが実際の部品の単純化である場合（これは少量生産では一般的である）、継ぎ目は、モデル化された位置から1センチメートル以上移動される場合がある。したがって、公知の技術を使用して、CADモデルに基づいて継ぎ目を精密に位置特定することは困難であり得る。したがって、溶接ロボットは許容できない溶接部を作成し、それによって欠陥部品を生じる可能性がある。

さらに、溶接ロボットを制御するための先行する解決策は、溶接ロボット（より具体的には、ロボットアーム）が継ぎ目などの第1の点から第2の点までの経路に沿って製造作業スペース内を移動するときに、他の構成要素（例えば、部品、センサ、クランプなど）との衝突を回避するために、熟練したオペレータが溶接ロボットに特定の命令を提供することを必要とする。障害物および衝突がない経路（例えば、ロボットが継ぎ目を溶接するためにたどり得る経路）を識別することを、本明細書では経路計画と呼ぶ。熟練したオペレータがロボットアームの数十または数百でさえもの潜在的な経路の経路計画を行うことを必要とすることは、非効率的であり、面倒であり、費用がかかる。さらに、従来の溶接ロボットは、多くの場合、同じ経路、同じ動き、および同じ軌道を繰り返したどるようにプログラムされる。この繰り返し行われるプロセスは、製造プロセスが高度に成熟している大量製造の状況では許容され得るが、少量または中量の状況では、構成要素が溶接ロボットに対して予想外の位置に位置決めされる可能性があり、これは、衝突、位置ずれ部品、不十分な許容差、および他の問題につながる可能性がある。したがって、特定の状況では、溶接を容易にするために熟練したオペレータが必要とされる場合がある。

本明細書に記載の溶接技術は、継ぎ目を正確かつ精密に識別して溶接するために溶接ロボットにとって有用な命令を自動的かつ動的に生成することができるので、先行する溶接ロボットおよび溶接技術よりも優れている。先行するシステムおよび技術とは異なり、本明細書に記載の溶接技術は、溶接されるべき部品のCADモデルを必ずしも必要とせず（ただし、いくつかの例では、後述するように、CADモデルが有用な場合もある）、部品または製造作業スペースに関する他の事前情報も必ずしも必要としない。むしろ、本明細書に記載の溶接技術は、可動式センサを使用して3次元（3D）空間において製造作業スペース（特に、部品および継ぎ目）をマップし、そのようなマップを使用して高度の正確度および精度で継ぎ目を位置特定して溶接する。本明細書に記載の溶接技術は、中でも特に、溶接用の複数の候補継ぎ目を識別する能力、溶接用の候補継ぎ目を選択するためにユーザと対話する能力、および溶接パラメータを動的に変更し、溶接作業に関するフィードバックを提供する能力など、この技術を先行する劣った解決策からさらに際立たせる様々なさらなる特徴を含む。さらに、本明細書に記載の溶接技術は、センサによって取得されたデータを使用して経路計画を自動的かつ動的に行うように、すなわち、ロボットアームが他の構成要素との衝突なしに移動し得る製造作業スペース内の1つまたは複数の経路を、事前情報なしに自動的かつ動的に識別するように構成されている。本明細書に記載の溶接技術はまた、センサによって取得されたデータと事前情報（例えば、注釈付きCADモデル）との組み合わせを使用して、経路計画および溶接を動的に行うようにも構成されている。次に、これらおよびその他の例を、以下で図面を参照して説明する。

図1は、様々な例による、自律型ロボット溶接システム100のブロック図である。システム100は、製造作業スペース101と、ユーザインターフェース106と、コントローラ108と、データベース112を記憶している記憶装置109とを含む。システム100は、本明細書に明示的に記載されていない他の構成要素またはサブシステムを含んでもよい。製造作業スペース101は、その中で（1つまたは複数の）ロボットアームが、1つまたは複数のセンサによって受信された情報によって支援されながら、台または位置決め装置の上に位置決めされるか、それに結合されるか、またはそれによって他のやり方で支持される1つまたは複数の部品に対して作業する領域または囲いである。例において、作業スペース101は、溶接のための適切な安全対策を考慮して設計された任意の適切な溶接領域であり得る。例えば、作業スペース101は、作業場、ジョブショップ、製造プラント、組立工場などに位置する溶接領域であり得る。例において、製造作業スペース101（または、より一般的には、作業スペース101）は、センサ102と、溶接、ろう付け、接合などの溶接タイプのプロセスを行うように構成されているロボット110と、溶接されるべき部品114（例えば、継ぎ目を有する部品）と、固定具116とを含んでもよい。固定具116は、部品114を保持、位置決め、および/または操作してもよく、例えば、クランプ、台、位置決め装置、または他のタイプの固定具であってもよい。固定具116は、部品114をしっかりと保持するように構成され得る。例において、固定具116は、ユーザによって手動で、またはモータによって自動的に調整可能である。例えば、固定具116は、溶接プロセスの前または溶接プロセス中にその位置、向き、または他の物理的構成を動的に調整してもよい。いくつかの例では、ロボット110は、1つまたは複数のセンサ102を含んでもよい。例えば、1つまたは複数のセンサ102は、ロボット110のアーム上（例えば、アームに取り付けられた溶接ヘッド上）に位置決めされていてもよい。別の例では、1つまたは複数のセンサ102は、（ロボット110とは異なり得る）可動式の非溶接ロボットアーム上に位置決めされていてもよい。さらに別の例では、1つまたは複数のセンサ102のうちの1つは、ロボット110のアーム上に位置決めされていてもよく、1つまたは複数のセンサ102のうちの別の1つは、作業スペース内の可動機器上に位置決めされていてもよい。さらに別の例では、1つまたは複数のセンサ102のうちの1つは、ロボット110のアーム上に位置決めされていてもよく、1つまたは複数のセンサ102のうちの別の1つは、可動式の非溶接ロボットアーム上に位置決めされていてもよい。

センサ102は、作業スペース101に関する情報を取り込むように構成されている。例において、センサ102は、作業スペース101に関する視覚情報（例えば、2次元（2D）画像）を取り込むように構成されている画像センサである。例えば、センサ102は、カメラ（例えば、レーザ内蔵カメラ）、スキャナ（例えば、レーザスキャナ）などを含んでもよい。センサ102は、光検出および測距（LiDAR）センサなどのセンサを含んでもよい。代替的または追加的に、センサ102は、音響航法および測距（SONAR）デバイスなどの、音響を放出し、かつ/または取り込むように構成されている音響センサであってもよい。代替的または追加的に、センサ102は、無線検出および測距（RADAR）デバイスなどの、電磁（EM）波を放射し、かつ/または取り込むように構成されている電磁センサであってもよい。視覚、音響、電磁、および/または他の感知技術を介して、センサ102は、作業スペース101内の物理的構造体に関する情報を収集し得る。例において、センサ102は静的情報（例えば、作業スペース101内の固定構造体）を収集し、他の例では、センサ102は動的情報（例えば、作業スペース101内の移動構造体）を収集し、さらに他の例では、センサ102は静的情報と動的情報の組み合わせを収集する。センサ102は、作業スペース101内の物理的構造体に関するありとあらゆるそのような情報の任意の適切な組み合わせを収集してもよく、作業スペース101内の物理的構造体の3D表現を生成するために、そのような情報を他の構成要素（例えば、コントローラ108）に提供してもよい。上述したように、センサ102は、様々な情報タイプのいずれかを取り込んで伝達し得るが、この説明は、センサ102が主に作業スペース101の視覚情報（例えば、2D画像）を取り込み、それが続いて後述するように作業スペース101の3D表現を生成するためにまとめて使用されることを想定している。

作業スペース101の3D表現を生成するために、センサ102は、作業スペース101内の物理的構造体の2D画像を様々な角度から取り込む。例えば、固定具116または部品114の単一の2D画像は、その構成要素の3D表現を生成するのに不適切であり、同様に、単一の角度、視野、または平面からの固定具116または部品114の複数の2D画像のセットも、その構成要素の3D表現を生成するのに不適切であり得るが、作業スペース101内の様々な位置で複数の角度から取り込まれた複数の2D画像は、固定具116または部品114などの構成要素の3D表現を生成するのに十分であり得る。これは、複数の向きで2D画像を取り込むと、構成要素の正面図、側面図、および上面図を含むその構成要素の計画図面が、その構成要素の3D表現を生成するのに必要なすべての情報を提供するやり方と概念的に同様に、3つの次元の構成要素に関する空間情報が提供されるからである。したがって、例において、センサ102は、作業スペース101内の構造体の3D表現を生成するのに十分な情報を取り込むように作業スペース101の周りを移動するように構成されている。例において、センサは静止しているが、前述の3D表現を生成するために十分な情報がセンサ102によって取り込まれるように、作業スペース101の周りに十分な数で十分に多様な位置に存在する。センサ102が可動式である例では、作業スペース101の周りのそのような移動を容易にするために、任意の適切な構造体が有用であり得る。例えば、1つまたは複数のセンサ102は、電動トラックシステム上に位置決めされていてもよい。センサ102がトラックシステム上の作業スペース101の周りを移動するように構成されているが、トラックシステム自体は静止していてもよい。しかしながら、いくつかの例では、センサ102はトラックシステム上で移動可能であり、トラックシステム自体は作業スペース101の周りで移動可能である。さらに他の例では、1つまたは複数のミラーが、センサ102が第1の構成にあるときは初期の視点からの2D画像を取り込み、第2の構成にあるときはミラーを使用して他の視点からの2D画像を取り込むように、点を中心にかつ/または軸に沿って枢動、旋回、回転、または並進し得るセンサ102と共に作業スペース101内に配列される。さらに他の例では、センサ102は、点を中心にかつ/または軸に沿って枢動、旋回、回転、または並進するように構成され得るアーム上に取り付けられてもよく、センサ102は、これらのアームがそれらの動きの全範囲にわたって延伸するときに様々な視点から2D画像を取り込むように構成されていてもよい。

追加的または代替的に、1つまたは複数のセンサ102は、ロボット110上に（例えば、ロボット110の溶接ヘッド上に）位置決めされていてもよく、ロボット110が作業スペース101の周りを移動するときに画像データを収集するように構成されていてもよい。ロボット110は複数の自由度で、したがって多次元で移動可能であるので、ロボット110上に位置決めされているセンサ102は、様々な視点から2D画像を取り込み得る。さらに他の例では、撮像される物理的構造体が作業スペース101の周りまたは作業スペース101内を移動する間、1つまたは複数のセンサ102は静止していてもよい。例えば、撮像されるべき部品114は、位置決め装置などの固定具116上に位置決めされていてもよく、位置決め装置および/または部品114は、作業スペース101内で回転、並進（例えば、x方向、y方向、および/もしくはz方向に）、またはそれ以外に移動してもよいが、固定センサ102（例えば、ロボット110に結合されたセンサまたはロボット110から切り離されたセンサのいずれか）は、部品114の様々なファセットの複数の2D画像を取り込む。

いくつかの例では、前述のセンサ102構成の一部または全部が実装される。他のセンサ102構成も企図されており、本開示の範囲に含まれる。

図1をさらに参照すると、ロボット110（例えば、ロボット110の溶接ヘッド）は、後述するように、コントローラ108から受信した経路計画に従って作業スペース101内を移動するように構成されている。ロボット110は、コントローラ108から受信した命令に従って、部品114に対して1つまたは複数の適切な製造プロセス（例えば、溶接作業）を行うようにさらに構成されている。いくつかの例では、ロボット110は、溶接アームを有する6軸ロボットであり得る。ロボット110は、YASKAWA（登録商標）ロボットアーム、ABB（登録商標）IRBロボット、KUKA（登録商標）ロボットなどの任意の適切なロボット溶接機器であり得る。ロボット110は、アーク溶接、抵抗溶接、スポット溶接、タングステン不活性ガス（TIG）溶接、金属活性ガス（MAG）溶接、金属不活性ガス（MIG）溶接、レーザ溶接、プラズマ溶接、それらの組み合わせなどを行うように構成することができる。

図1をさらに参照すると、作業スペース101、具体的には作業スペース101内の（1つまたは複数の）センサ102およびロボット110は、コントローラ108に結合されている。コントローラ108は、ここではコントローラ108、またはより一般的にはシステム100に起因する動作を行うように明確かつ特別に構成されている（例えば、プログラムされている）任意の適切な機械である。いくつかの例では、コントローラ108は汎用コンピュータではなく、代わりに、ここではコントローラ108、またはより一般的にはシステム100に起因する動作を行うように特別にプログラムされ、かつ/またはハードウェア構成されている。いくつかの例では、コントローラ108は、ここではコントローラ108、またはより一般的にはシステム100に起因する動作を行うように構成されている特定用途向け集積回路（ASIC）であるか、またはそのようなASICを含む。いくつかの例では、コントローラ108は、中央処理装置（CPU）などのプロセッサを含むか、またはプロセッサである。いくつかの例では、コントローラ108は、フィールドプログラマブルゲートアレイ（FPGA）である。例において、コントローラ108は、コントローラ108によって実行されると、ここではコントローラ108、またはより一般的にはシステム100に起因する動作のうちの1つまたは複数をコントローラ108に行わせる実行可能コードを記憶しているメモリを含む。コントローラ108は、本明細書に記載の具体例に限定されない。

コントローラ108は、作業スペース101内の（1つまたは複数の）センサ102およびロボット110を制御する。いくつかの例では、コントローラ108は、作業スペース101内の（1つまたは複数の）固定具116を制御する。例えば、コントローラ108は、（1つまたは複数の）センサ102を、上述のように作業スペース101内を移動するように、かつ/または上述のように2D画像、音響データ、および/またはEMデータを取り込むように制御してもよい。例えば、コントローラ108は、本明細書で説明するようなロボット110を、後述するような経路計画技術に従って溶接作業を行い、作業スペース101内を移動するように制御してもよい。例えば、コントローラ108は、位置決め装置（例えば、台、クランプなど）などの（1つまたは複数の）固定具116を、作業スペース101内の1つまたは複数の部品を回転、並進、または他の方法で移動するように操作してもよい。コントローラ108はまた、システム100の他の局面を制御してもよい。例えば、コントローラ108は、ユーザインターフェース（UI）106上にグラフィカルインターフェースを提供することによってユーザインターフェース（UI）106とさらに対話してもよく、グラフィカルインターフェースによって、ユーザがシステム100と対話しかつシステム100に入力を提供してもよく、かつグラフィカルインターフェースによって、コントローラ108が、例えば、様々なタイプの情報（例えば、溶接の候補である識別された継ぎ目、経路計画中の可能な経路、溶接パラメータオプションまたは選択など）をユーザに提供し、かつ/またはそれらの情報をユーザから受け取ることによってユーザと対話してもよい。UI106は、タッチスクリーンインターフェース、音声起動インターフェース、キーパッドインターフェース、それらの組み合わせなどを含む任意のタイプのインターフェースであってもよい。

さらに、コントローラ108は、例えば、データベース112にデータを記憶すること、および/またはデータベース112からデータを取り出すことによってデータベース112と対話してもよい。データベース112は、より一般的には、ありとあらゆるタイプの情報を記憶するように構成された任意の適切なタイプの記憶装置109に記憶され得る。いくつかの例では、データベース112を、ランダムアクセスメモリ（RAM）、メモリバッファ、ハードドライブ、消去可能プログラマブル読み出し専用メモリ（EPROM）、電気的消去可能プログラマブル読み出し専用メモリ（EEPROM）、読み出し専用メモリ（ROM）、フラッシュメモリなどといった記憶装置109に記憶することができる。いくつかの例では、データベース112はクラウドベースのプラットフォームに記憶されてもよい。データベース112は、溶接作業を行う際にシステム100に有用な任意の情報を記憶し得る。例えば、データベース112は、部品114のCADモデルを記憶してもよい。別の例として、データベース112は、部品114のCADモデルの注釈付きバージョンを記憶してもよい。データベース112はまた、CADモデルを使用して生成された部品114の点群（本明細書ではCADモデル点群とも呼ぶ）を記憶してもよい。同様に、部品114の3D表現および/または部品114に関して提供されたユーザ入力（例えば、部品114のどの継ぎ目を溶接するか、溶接パラメータなどに関する）に基づいて生成された、部品114のための溶接命令が、データベース112に記憶されてもよい。例において、記憶装置109は、実行されると、ここではコントローラ108、またはより一般的にはシステム100に起因する1つまたは複数の動作をコントローラ108に行わせる実行可能コード111を記憶する。例において、実行可能コード111は、単一の自己完結型プログラムであり、他の例では、実行可能コードは、記憶装置109または他の場所に記憶されている可能性のある他の実行可能コードに対する1つまたは複数の関数呼び出しを有するプログラムである。いくつかの例では、実行可能コード111の実行に起因する1つまたは複数の関数が、ハードウェアによって実装され得る。例えば、実行可能コード111の1つまたは複数の個別のタスクを行うのに複数のプロセッサが有用な場合がある。

図2は、様々な例による、例示の自律型ロボット溶接システム200の概略図である。システム200は、図1のシステム100の一例であり、同様の符号は同様の構成要素を指す。例えば、システム200は、作業スペース201を含む。作業スペース201は、さらに、任意で、可動式センサ202と、ロボット210（（可動式センサ202以外の）1つまたは複数のセンサ202が取り付けられていてもよい）と、固定具216とを含む。ロボット210は、ロボット210が任意の適切な数の自由度で動くことを可能にする複数の関節および部材（例えば、ショルダ、アーム、エルボなど）を含む。ロボット210は、部品、例えば固定具216（例えば、クランプ）によって支持され得る部品に対して溶接作業を行う溶接ヘッド210Aを含む。システム200は、作業スペース201に結合されたUI206をさらに含む。動作中、センサ202は、作業スペース201の2D画像を収集し、2D画像をコントローラ（図2には明示せず）に提供する。コントローラは、固定具216、固定具216によって支持される部品、および/または作業スペース201内の他の構造体などの作業スペース201の3D表現（例えば、点群）を生成する。コントローラは、3D表現を使用して、本明細書で説明するように、継ぎ目（例えば、固定具216によって支持された部品）を識別し、ロボット210が作業スペース201内で構造体と衝突することなく継ぎ目を溶接するための経路を計画し、継ぎ目を溶接するようにロボット210を制御する。

図3は、様々な例による、自律型ロボット溶接システム300の概略図である。システム300は、図1のシステム100および図2のシステム200の一例であり、同様の符号は同様の構成要素を指す。例えば、システム300は、作業スペース301を含む。作業スペース301は、さらに、任意で、可動式センサ302と、ロボット310（1つまたは複数のセンサ302が取り付けられていてもよい）と、固定具316（例えば、台または位置決め装置）とを含む。ロボット310は、ロボット310が任意の適切な数の自由度で動くことを可能にする複数の関節および部材（例えば、ショルダ、アーム、エルボなど）を含む。ロボット310は、部品、例えば固定具316によって支持され得る部品に対して溶接作業を行う溶接ヘッド310Aを含む。システム300は、作業スペース301に結合されたUI306をさらに含む。動作中、センサ302は、作業スペース301の2D画像を収集し、2D画像をコントローラ（図3には明示せず）に提供する。コントローラは、固定具316、固定具316によって支持される部品、および/または作業スペース301内の他の構造体などの作業スペース301の3D表現（例えば、点群）を生成する。コントローラは、3D表現を使用して、本明細書で説明するように、継ぎ目（例えば、固定具316によって支持された部品）を識別し、ロボット310が作業スペース301内で構造体と衝突することなく継ぎ目を溶接するための経路を計画し、継ぎ目を溶接するようにロボット310を制御する。

再び図1を参照すると、上述したように、コントローラ108は、センサ102から2D画像（および、おそらくは、音響データまたはEMデータなどの他のデータ）を受信し、2D画像に描写された構造体の3D表現を生成するように構成されている。3D表現は、点群と呼ばれる場合もある。点群は、各々が部品114および/または固定具116の表面上の点の3D空間内の位置を表す点集合であり得る。いくつかの例では、1つまたは複数の2D画像（例えば、部品114に対して特定の向きで（1つまたは複数の）センサ102によって取り込まれた画像データ）が、作業スペース101の3D画像データを再構成および生成するために、コントローラ108によって重ね合わされ、かつ/または互いにつなぎ合わされ得る。3D画像データを照合して、点群のうちの少なくともいくつかの点についての関連付けられた画像データを有する点群を生成することができる。

例において、3D画像データは、データから生成された点群が6自由度を有することができるように、コントローラ108によって照合することができる。例えば、点群のうちの各点は、3D空間内の無限に小さい位置を表し得る。上述したように、（1つまたは複数の）センサ102は、様々な角度から点の複数の2D画像を取り込むことができる。これらの複数の2D画像は、各点の平均画像ピクセルを決定するためにコントローラ108によって照合することができる。平均化画像ピクセルを点に付属させることができる。例えば、（1つまたは複数の）センサ102が赤、緑、および青のチャネルを有するカラーカメラである場合には、6自由度は｛x位置、y位置、z位置、赤色強度、緑色強度、および青色強度｝であり得る。例えば、（1つまたは複数の）センサ102が、白黒チャネルを有する白黒カメラである場合には、4自由度が生成され得る。

図4は、様々な例による、溶接可能な継ぎ目を有する部品の例示的な点群400である。より具体的には、点群400は、継ぎ目406に沿って互いに溶接されるべき部品402および部品404を表している。図5は、様々な例による、溶接可能な継ぎ目を有する部品の例示的な点群500である。より具体的には、点群500は、継ぎ目506に沿って互いに溶接されるべき部品502および部品504を表している。コントローラ108（図1）は、上述したように、センサ102によって取り込まれた2D画像に基づいて3D点群400、500を生成するように構成されている。次いで、コントローラ108は、点群400、500（または、いくつかの例では、点群400、500を生成するのに有用な画像データ）を使用して、継ぎ目406、506などの継ぎ目を識別して位置特定し、継ぎ目406、506に沿った溶接経路を計画し、経路計画に従って、ロボット110（図1）を使用して、継ぎ目406、506に沿って溶接を施し得る。次に、コントローラ108が実行可能コード111（図1）を実行して、継ぎ目識別および経路計画を含むそのような動作を行うやり方を詳細に説明する。

コントローラ108は、実行可能コード111を実行すると、ニューラルネットワークを使用して（例えば、センサ102によって取り込まれた画像を使用するか、もしくはセンサ102によって取り込まれた画像に基づいて）ピクセルごとの分類および/または（例えば、1つもしくは複数の点群を使用して）点ごとの分類を行って、作業スペース101内の構造体を識別して分類する。例えば、コントローラ108は、ピクセルごとおよび/または点ごとの分類を行って、作業スペース101内の撮像された各構造体を、例えば、部品114として、部品114上または複数の部品114間の界面の継ぎ目（本明細書では候補継ぎ目と呼ぶ）として、固定具116として、ロボット110として識別し得る。コントローラ108は、例では、適切な訓練データを使用して訓練されたニューラルネットワーク（例えば、U-netモデル）に基づいてピクセルおよび/または点を識別および分類し得る。ニューラルネットワークは、画像データ、点群データ、空間情報データ、またはそれらの組み合わせについて訓練することができる。点群および/または画像データは、作業スペース101内の様々な視点から取り込まれた情報を含むので、ニューラルネットワークは、複数の角度および/または視点から（1つまたは複数の）部品114上の固定具116または候補継ぎ目を分類するように動作することができる。いくつかの例では、ニューラルネットワークは、例えば動的グラフ畳み込みニューラルネットワークなど、点集合で直接動作するように訓練することができ、ニューラルネットワークは、点群上の未編成の点を解析するために実装されてもよい。いくつかの例では、第1のニューラルネットワークを、点ごとの分類を行うように点群データで訓練することができ、第2のニューラルネットワークを、ピクセルごとの分類を行うように画像データで訓練することができる。第1のニューラルネットワークおよび第2のニューラルネットワークは、候補継ぎ目を個別に識別し、候補継ぎ目を位置特定することができる。第1のニューラルネットワークおよび第2のニューラルネットワークからの出力を最終出力として組み合わせて、部品114上の1つまたは複数の候補継ぎ目の位置および向きを決定することができる。

いくつかの例では、ピクセルごとの分類が行われる場合、結果を3D点群データおよび/または点群データのメッシュ化バージョン上に投影することができ、それによって作業スペース101内の固定具116の位置に関する情報を提供する。入力データが画像データ（例えば、カラー画像）である場合、ピクセルごとのセグメント化を行うために、深度情報などの空間情報が色データと共に含められてもよい。いくつかの例では、さらに後述するように、ピクセルごとの分類を行って、候補継ぎ目を識別し、候補継ぎ目を部品114に対して位置特定することができる。

上述したように、コントローラ108は、ピクセルおよび/または点を、固定具116、部品114、部品114上の候補継ぎ目などといった作業スペース101内の特定の構造体として識別および分類し得る。固定具116などの非部品および非候補継ぎ目構造体として分類された画像および/または点群データの部分は、データからセグメント化して分離され（例えば、削除されるか、それ以外に除去され）てもよく、それによって部品114および/または部品114上の（1つもしくは複数の）候補継ぎ目に対応すると識別および分類されたデータを分離する。いくつかの例では、候補継ぎ目を識別し、上述のように非部品114および非候補継ぎ目データをセグメント化した後（または任意で、そのようなセグメント化の前に）、ニューラルネットワークを、各候補継ぎ目を解析して継ぎ目タイプを決定するように構成することができる。例えば、ニューラルネットワークは、候補継ぎ目が、突き合わせ継ぎ、角継ぎ、縁継ぎ、重ね継ぎ、T継ぎなどのいずれであるかを決定するように構成することができる。モデル（例えば、U-netモデル）は、作業スペース101内の複数の視点から取り込まれたデータに基づいて継ぎ目タイプを分類し得る。

画像データを使用してピクセルごとの分類が行われる場合、コントローラ108は、部品114および部品114上の候補継ぎ目を表す3D点集合を生成するために、関心対象のピクセル（例えば、部品114および部品114上の候補継ぎ目を表すピクセル）を3D空間上に投影し得る。あるいは、点群データを使用して点ごとの分類が行われる場合、関心対象の点は、点群のうちの3D空間にすでに存在し得る。どちらの場合も、コントローラ108にとって、3D点は順序付けられていない点集合であり、3D点の少なくとも一部が互いに凝集している場合もある。そのようなノイズを排除し、連続した切れ目のない点のサブセットを生成して候補継ぎ目を表すために、マニホールドぼかしおよび平均シフト（Manifold Blurring and Mean Shift（MBMS））技術または同様の技術が適用されてもよい。そのような技術は、点を密集させ、ノイズを排除し得る。続いて、コントローラ108は、クラスタリング法を適用して、候補継ぎ目を個々の候補継ぎ目に分解し得る。別の言い方をすれば、複数の継ぎ目を表すいくつかの点のサブセットを有する代わりに、クラスタリングは、各点のサブセットを個々の継ぎ目に分解することができる。クラスタリングに続いて、コントローラ108は、各個々の点のサブセットにスプラインを適合させ得る。したがって、各個々の点のサブセットは個々の候補継ぎ目であり得る。

要約すると、限定するものではないが、上述した技術を使用して、コントローラ108は、作業スペース101内の様々な位置および視点からセンサ102によって取り込まれた画像データを受信する。コントローラ108は、ニューラルネットワークを使用してピクセルごとおよび/または点ごとの分類技術を行って、各ピクセルおよび/または点を、部品114、部品114上または複数の部品114間の界面の候補継ぎ目、固定具116などとして分類および識別する。非部品114構造体および非候補継ぎ目構造体であると識別された構造体はセグメント化して分離され、コントローラ108は、（例えば、ノイズを緩和するために）残りの点に対して追加の処理を行い得る。これらの動作を行うことによって、コントローラ108は、これらの継ぎ目の位置および向きを指示する、部品114上の候補継ぎ目のセットを生成し得る。次に説明するように、コントローラ108は、次いで、候補継ぎ目が実際に継ぎ目であるかどうかを決定してもよく、任意で、部品および継ぎ目のCADモデルなどの事前情報を使用して追加の処理を行ってもよい。結果として得られるデータは、やはり後述するように、識別された継ぎ目に沿って溶接を施すための経路を計画するためにコントローラ108が使用するのに適する。

ある場合には、識別された候補継ぎ目は、継ぎ目ではない可能性がある（すなわち、識別された候補継ぎ目は偽陽性であり得る）。識別された候補継ぎ目が実際に継ぎ目であるかどうかを決定するために、コントローラ108は、作業スペース101内の様々な視点からセンサ102によって取り込まれた画像を使用して信頼値を決定する。信頼値は、対応する視点から決定された候補継ぎ目が実際の継ぎ目であるかどうかの尤度を表す。次いで、コントローラ108は、異なる視点についての信頼値を比較し、実際の継ぎ目である可能性が低い候補継ぎ目を排除し得る。例えば、コントローラ108は、特定の候補継ぎ目と関連付けられた候補値の平均値、中央値、最大値、または任意の他の適切な要約統計量を決定してもよい。一般に、実際の継ぎ目に対応する候補継ぎ目は、その候補継ぎ目を取り込むために使用された様々な視点にわたって一貫して高い（例えば、閾値を超える）信頼値を有する。候補継ぎ目についての信頼値の要約統計量が閾値を上回る場合、コントローラ108は、候補継ぎ目を実際の継ぎ目として指定することができる。逆に、候補継ぎ目についての信頼値の要約統計量が閾値を下回る場合、候補継ぎ目を溶接に適格ではない偽陽性として指定することができる。

上述したように、実際の継ぎ目である候補継ぎ目を識別した後、コントローラ108は、CADモデル（またはCADモデルの点群バージョン）などの事前情報を使用して、本明細書で位置合わせと呼ぶ追加の処理を行ってもよい。より具体的には、ある場合には、部品上の継ぎ目寸法とCADモデル内の継ぎ目寸法との間に差が存在する可能性があり、CADモデルは本明細書で説明するような経路計画を行うために後で使用され得るため、そのような差があればそれを考慮してCADモデルを変形する（例えば、更新する）必要がある。したがって、コントローラ108は、第1の継ぎ目（例えば、実際の継ぎ目として検証された部品114上の候補継ぎ目）を第2の継ぎ目（例えば、第1の継ぎ目に対応するCADモデル上の（例えば、オペレータ/ユーザによって）注釈を付けられた継ぎ目）と比較して、第1の継ぎ目と第2の継ぎ目との差を決定する。CADモデル上の継ぎ目は、上述のように注釈を付けられ得る。第1の継ぎ目と第2の継ぎ目とは、CADモデルおよび/またはコントローラ108が候補継ぎ目の位置を正確に予測する場合には、ほぼ同じ位置にあることができる。あるいは、第1の継ぎ目と第2の継ぎ目とは、CADモデルおよび/またはコントローラ108が部分的に正確である場合には、部分的に重なり合うことができる。コントローラ108は、第1の継ぎ目と第2の継ぎ目との比較を行い得る。第1の継ぎ目と第2の継ぎ目とのこの比較は、両方の継ぎ目の形状および空間内の相対位置に部分的に基づくものであり得る。第1の継ぎ目と第2の継ぎ目との形状が比較的類似しており、互いに近位にある場合には、第2の継ぎ目を第1の継ぎ目と同じであると識別することができる。このようにして、コントローラ108は、CADモデルに正確に表されていない部品上の表面のトポグラフィを考慮することができる。このようにして、コントローラ108は、候補継ぎ目を識別することができ、部品のCADモデルを使用して部品に対して候補継ぎ目をサブ選択するか、または精密化するか、または更新することができる。各候補継ぎ目は、部品に対する候補継ぎ目の位置および向きを表す更新された点集合であり得る。

図6は、様々な例による、位置合わせプロセスフロー600を示すブロック図である。位置合わせプロセスフロー600の一部または全部の工程は、コントローラ108（図1）によって行われる。コントローラ108は、まず、CADモデルの点群604と、センサ102によって取り込まれた画像を使用して形成されたスキャン点群606とを使用して、粗い位置合わせ602を行い得る。CADモデル点群604およびスキャン点群606は、それらの点が均一またはほぼ均一な分散を有するように、かつそれらの点が両方とも等しいかまたはほぼ等しい点密度を有するようにサンプリングされ得る。例において、コントローラ108は、点群604、606をダウンサンプリングして、群内の点をランダムに均一に選択して保持し、残りの選択されない点を破棄する。例えば、いくつかの例では、ポアソンディスクサンプリング（PDS）ダウンサンプリングアルゴリズムが実装されてもよい。コントローラ108は、PDSアルゴリズムへの入力として、点群604、606の境界、サンプル間の最小距離、およびそれらが拒絶される前に選択すべきサンプルの限界を提供し得る。いくつかの例では、粗い位置合わせ602中においてあるモデルを別のモデルに変形するのにデルタネットワークが有用であり得る。デルタネットワークは、ソースモデルおよびターゲットモデルをとり、それらを潜在ベクトルにエンコードするシャムネットワークであってもよい。コントローラ108は、潜在ベクトルを使用して、あるモデルを別のモデルに変形または更新する、点ごとの変形を予測し得る。デルタネットワークは、訓練データセットを必要としない場合がある。CADモデルおよびスキャン点群604、606が与えられると、デルタネットワークの文脈におけるコントローラ108は、1つまたは複数のエポックを2つ点群間の非類似度または類似度の学習に費やす。これらのエポックの間、デルタネットワークは、後で位置合わせに有用な意味のある特徴を学習する。デルタネットワークは、変形を学習するためにスキップ接続を使用し得るが、いくつかの例では、スキップ接続は使用されなくてもよい。場合によっては、CADモデルは、取り込まれた画像（例えば、スキャン）を使用して生成された3D点群に存在しない表面を含む。そのような場合、デルタネットワークは、欠落した表面に対応するすべての点をCADモデル点群604からスキャン点群606内のいくつかの点に移動させる（かつスキャン点群606を更新する）。したがって、位置合わせ中、コントローラ108（例えば、デルタネットワーク）は、学習した特徴を使用して元のCADモデルを変換（または更新）してもよいし、学習した特徴を使用して変形されたCADモデルを変換してもよい。例において、デルタネットワークは、動的グラフ畳み込みニューラルネットワーク（DGCNN）などのエンコーダネットワークを含んでもよい。点群が特徴にエンコードされた後、CADとスキャンの両方の埋め込みからなる連結ベクトルが形成され得る。プーリング演算（例えば、最大プーリング）を実施した後、結果として得られたベクトルにデコーダが適用され得る。いくつかの例では、デコーダは、特定のフィルタ（例えば、256、256、512、1024、Nx3フィルタ）を有する5つの畳み込み層を含んでもよい。結果として得られた出力は、CADモデルおよびスキャン埋め込みと連結され、最大プールされ、続いてもう一度デコーダに提供され得る。最終結果は、点ごとの変換を含み得る。

無関係なデータおよびデータ内のノイズ（例えば、粗い位置合わせ602の出力は）は、部品114の位置合わせに影響を与える可能性がある。少なくともこの理由から、無関係なデータおよびノイズを可能な限り多く除去することが望ましい。バウンディングボックス608は、位置合わせが行われる領域を制限するために、この無関係なデータおよびノイズ（例えば、固定具116）を除去するのに有用である。別の言い方をすれば、バウンディングボックス内のデータは保持されるが、バウンディングボックスの外側からのすべてのデータは、3Dであれそれ以外であれ、破棄される。前述のバウンディングボックスは、CADモデル自体を（例えば、部分的に、または完全に）囲むか、またはカプセル化することができる任意の形状であってもよい。例えば、バウンディングボックスは、CADモデルの膨張バージョンまたは拡大バージョンであってもよい。バウンディングボックスの外側のデータは、最終位置合わせから除去されてもよいし、引き続き含まれるが、その影響を軽減するために重み付けされてもよい。

図6をさらに参照すると、精密な位置合わせ610中に、コントローラ108は、オートエンコーダとして訓練されたニューラルネットワーク内の畳み込み層のセットを介して、バウンディングボックス608の出力をパッチとして渡す。より具体的には、データは、オートエンコーダのエンコーダセクションを介して渡されてもよく、オートエンコーダのデコーダセクションは使用されなくてもよい。入力データは、形状内のパッチの点のXYZ位置、例えば、（128、3）であってもよい。出力は、例えば、長さ1024のベクトルであってもよく、このベクトルは、点ごとの特徴に有用である。

CAD点群モデルとスキャン点群モデルとの間の剛体変換を最もよくサポートする対応点集合が、位置合わせ中に決定されるべきである。対応する候補は、各要素が2点間の一致の信頼度または確率を記憶する行列:

として（例えば、データベース112に）記憶され得る。

この行列から対応する点、例えば、hard対応、soft対応、プロダクトマニホールドフィルタ、グラフクリーク、共分散などを見つけるために様々な方法が有用である。精密な位置合わせ610の完了後、次いで、位置合わせプロセスが完了する（612）。

上述したように、ある場合には、部品114上の継ぎ目の実際の位置は、（例えば、スキャン点群を使用して）センサ撮像を使用してコントローラ108によって決定される、かつ/または（例えば、CADモデル点群を使用して）CADモデルによって決定される継ぎ目位置とは異なり得る。そのような場合、部品114上の実際の継ぎ目位置により精密に一致させるために決定された継ぎ目位置を補正するのに、スキャン手順（本明細書ではプレスキャンと呼ぶこともある）が有用である。スキャン手順では、ロボット110上に位置決めされているセンサ102（本明細書では搭載センサと呼ぶ）が継ぎ目のスキャンを行う。ある場合には、このスキャンは、CADモデル、スキャン、またはそれらの組み合わせを使用してコントローラ108によって生成された初期動きおよび/または経路計画を使用して行われ得る。例えば、センサ102は、作業スペース101のいずれかまたはすべての領域をスキャンしてもよい。この初期動きおよび/または経路計画の実行中に、センサ102は、観察画像および/またはデータを取り込んでもよい。観察画像および/またはデータは、コントローラ108によって継ぎ目点群データを生成するように処理され得る。コントローラ108は、（1つまたは複数の）点群604および/または606を処理するときに継ぎ目点群データを使用して継ぎ目位置を補正し得る。コントローラ108はまた、経路および動きの計画を補正する際にも継ぎ目点群データを使用し得る。

いくつかの例では、上述の位置合わせ技術は、搭載センサ102以外のセンサ102を使用して決定された継ぎ目を、搭載センサ102によって識別された継ぎ目と比較して照合するのに有用であり得る。このようにして継ぎ目を照合することにより、ロボット110（より具体的には、ロボット110のヘッド）は、必要に応じて実際の継ぎ目に対して位置決めされる。

いくつかの例では、ロボット110のプレスキャン軌道は、継ぎ目に沿って溶接するために計画された軌道と同一である。いくつかのそのような例では、プレスキャン中にロボット110に対してとられる動きは、衝突の確率を制限するか、または衝突の事例を削減するために、継ぎ目または重要なジオメトリを搭載センサ102でより良好に視覚化するために、あるいは問題の継ぎ目の周りのジオメトリをスキャンするために、別々に生成されてもよい。

いくつかの例では、プレスキャン技術は、特定の1つまたは複数の継ぎ目以上のスキャンを含んでもよく、むしろ（1つまたは複数の）部品114の他のジオメトリのスキャンも含み得る。スキャンデータは、継ぎ目を見つけ、位置特定し、検出し、ロボット110のヘッドが必要に応じて継ぎ目に沿って配置され移動されることを確実にするために、本明細書に記載の技術のいずれかまたはすべて（例えば、位置合わせ技術）のより正確な適用に有用であり得る。

いくつかの例では、スキャン技術（例えば、溶接アーム/溶接ヘッドに取り付けられたセンサ/カメラを使用して実際の継ぎ目をスキャンする）は、継ぎ目に関する位置および向きの情報ではなく、継ぎ目に関する間隙変動性情報を識別するのに有用であり得る。例えば、スキャン手順中にロボット110上の（1つまたは複数の）センサ102によって取り込まれたスキャン画像は、間隙の変動性を識別し、そのような間隙を考慮するように溶接軌道または経路計画を調整するのに有用であり得る。例えば、3D点において、2D画像ピクセル、またはそれらの組み合わせは、溶接されるべき部品114間の可変間隙を位置特定するのに有用であり得る。いくつかの例では、可変間隙発見が有用であり、可変間隙発見では、3D点、2D画像ピクセル、またはそれらの組み合わせが、互いに溶接されるべき部品114間の複数の間隙の可変サイズを位置特定し、識別し、測定するのに有用である。仮付け溶接発見または一般的な溶接発見では、溶接されるべき部品114間の間隙内の以前の溶接または材料堆積物が、3D点および/または2D画像ピクセルを使用して識別され得る。そのような技術のいずれかまたはすべてが、経路計画を含む溶接を最適化するのに有用であり得る。ある場合には、間隙の変動性は、センサ102によって取り込まれた画像を使用して生成された3D点群内で識別され得る。さらに他の場合には、間隙の変動性は、タスクに対して溶接作業を行っている間に行われるスキャン技術（例えば、溶接アーム/溶接ヘッドに取り付けられたセンサ/カメラを使用して実際の継ぎ目をスキャンする）によって識別され得る。いずれか1つの場合においても、コントローラ108は、間隙の決定された位置およびサイズに基づいて溶接命令（例えば、溶接電圧）を動的に適合させるように構成され得る。例えば、溶接ロボットのための溶接命令を動的に調整することにより、可変間隙における継ぎ目の精密な溶接を得ることができる。溶接命令を調整することは、溶接機電圧、溶接機電流、電気パルスの持続時間、電気パルスの形状、および材料供給速度のうちの1つまたは複数を調整することを含んでもよい。

例において、ユーザインターフェース106は、ユーザに候補継ぎ目を表示させるオプションを提供することができる。例えば、ユーザインターフェース106は、部品114および/または部品114上の候補継ぎ目のグラフィカル表現を提供してもよい。追加的または代替的に、ユーザインターフェース106は、継ぎ目タイプに基づいて候補継ぎ目をグループ化してもよい。上述したように、コントローラ108は、継ぎ目タイプを識別することができる。例えば、重ね継ぎとして識別された候補継ぎ目を、ラベル「重ね継ぎ」の下にグループ化することができ、ラベル「重ね継ぎ」の下でユーザインターフェース106を介してユーザに提示することができる。同様に、縁継ぎとして識別された候補継ぎ目は、ラベル「縁継ぎ」の下にグループ化することができ、ラベル「縁継ぎ」の下でユーザインターフェース106を介してユーザに提示することができる。

ユーザインターフェース106は、ユーザに、ロボット110によって溶接されるべき候補継ぎ目を選択するオプションをさらに提供することができる。例えば、部品114上の各候補継ぎ目は、ユーザインターフェース106上の押しボタンとして提示することができる。ユーザが特定の候補継ぎ目を押すと、選択をコントローラ108に送信することができる。コントローラ108は、ロボット110がその特定の候補継ぎ目に対して溶接作業を行うための命令を生成することができる。

いくつかの例では、ユーザに溶接パラメータを更新するオプションを提供することができる。例えば、ユーザインターフェース106は、ユーザに異なる溶接パラメータのリストを提供することができる。ユーザは、更新されるべき特定のパラメータを選択することができる。選択されたパラメータへの変更は、例えば、ドロップダウンメニューを使用して、テキスト入力によって行うことができる。この更新は、コントローラ108がロボット110のための命令を更新できるように、コントローラ108に送信することができる。

システム100に部品114の事前情報（例えば、CADモデル）が提供されない例では、（1つまたは複数の）センサ102は部品114をスキャンすることができる。部品114の表現は、ユーザインターフェース106を介してユーザに提示することができる。部品114のこの表現は、（1つまたは複数の）センサ102から取得された部品114のスキャン画像の投影された3Dデータを含む、点群および/または点群のメッシュであり得る。ユーザは、ユーザインターフェース106を介して表現内で溶接されるべき継ぎ目に注釈を付けることができる。あるいは、コントローラ108は、部品114の表現において候補継ぎ目を識別することができる。候補継ぎ目は、ユーザインターフェース106を介してユーザに提示することができる。ユーザは、候補継ぎ目の中から溶接されるべき継ぎ目を選択することができる。ユーザインターフェース106は、ユーザの選択に基づいて表現に注釈を付けることができる。いくつかの例では、注釈付き表現をデータベース112に保存することができる。

上述の技術を使用して（または他の適切な技術を使用して）（1つまたは複数の）部品114上の1つまたは複数の継ぎ目が識別され、かつ可能な程度まで補正された後、コントローラ108は、後続の溶接プロセス中のロボット110の経路を計画する。いくつかの例では、グラフマッチング技術および/またはグラフ探索技術が、ロボット110の経路を計画するのに有用であり得る。上述のように識別された特定の継ぎ目は複数の点を含む場合があり、経路計画技術は、所与の継ぎ目に沿ったそのような各点についてロボット110の異なる状態を決定することを伴う。ロボット110の状態は、例えば、作業スペース101内のロボット110の位置、および適用され得る任意の数の自由度におけるロボット110のアームの特定の構成を含んでもよい。例えば、6自由度を有するアームを有するロボット110の場合、ロボット110の状態は、作業スペース101内のロボット110の位置（例えば、3次元x-y-z空間におけるロボット110の溶接ヘッドの位置）を含むだけでなく、ロボットアームの6自由度の各々に対する特定のサブ状態も含むことになる。さらに、ロボット110が第1の状態から第2の状態に遷移するとき、ロボット110は作業スペース101内のその位置を変更する場合があり、そのような場合、ロボット110は必然的に（例えば、溶接されている継ぎ目に沿って）作業スペース101内の特定の経路を横切ることになる。よって、ロボット110の一連の状態を指定することは、ロボット110が作業スペース101内を移動する経路を指定することを必然的に伴う。コントローラ108は、経路計画が完了した後にプレスキャン技術またはその変形を行ってもよく、コントローラ108は、プレスキャン技術中に取り込まれた情報を使用して、様々な適切な調整（例えば、継ぎ目に沿って実際の溶接を行うために使用されるX-Y-Z軸または座標系の調整）のいずれかを行ってもよい。

図7は、（例えば、コントローラ108によって）ロボット110の経路計画を決定するためのグラフ探索技術の概略図700である。図700の各円は、ロボット110の異なる状態（例えば、作業スペース101内のロボット110の特定の位置（例えば、3D空間におけるロボット110の溶接ヘッドの位置）、およびロボット110のアームの異なる構成、ならびに位置決め装置、クランプなどの部品を支持する固定具の位置および/または構成）を表している。各列702、706、および710は、溶接されるべき継ぎ目に沿った異なる点を表している。よって、列702に対応する継ぎ目点の場合、ロボット110は、状態704A～704Dのいずれか1つにあり得る。同様に、列706に対応する継ぎ目点の場合、ロボット110は、状態708A～708Dのいずれか1つにあり得る。同様に、列710に対応する継ぎ目点の場合、ロボット110は、状態712A～712Dのいずれかにあり得る。例えば、ロボット110が列702に対応する継ぎ目点にあるときに状態704Aにある場合、ロボット110は、次いで、列706に対応する次の継ぎ目点についての状態708A～708Dのいずれかに遷移してもよい。同様に、状態708A～708Dに入ると、ロボット110は、続いて、列710に対応する次の継ぎ目点についての状態712A～712Dのいずれかに遷移してもよく、以下同様である。いくつかの例では、特定の状態に入ることは、他の状態に入ることを排除し得る。例えば、状態704Aに入ることは、続いて状態708A～708Cに入る可能性を許容し得るが、708Dに入る可能性は許容せず、他方、状態704Bに入ることは、続いて状態708Cおよび708Dに入る可能性を許容し得るが、状態708A～708Bに入る可能性は許容しない。本開示の範囲は、任意の特定の数の継ぎ目点にも任意の特定の数のロボット110状態にも限定されない。

いくつかの例では、（例えば、図700に示す技術に従って）グラフ探索技術を使用してロボット110の経路計画を決定するために、コントローラ108は、状態704A～704Dから継ぎ目点Nに対応する状態（例えば、状態712A～712D）への最短経路を決定し得る。各状態および状態間の各遷移にコストを割り当てることにより、コントローラ108によって目的関数を設計することができる。コントローラ108は、目的関数の最小限のコスト値をもたらす経路を見つける。選択すべき複数の始点および終点を有する自由のために、ダイクストラのアルゴリズムまたはA＊のようなグラフ検索法が実装され得る。いくつかの例では、適切な経路計画を決定するのに総当たり法が有用であり得る。総当たり技術は、コントローラ108が（例えば、図700を通る）すべての可能な経路を計算し、最短経路を選択することを伴う。

コントローラ108は、各継ぎ目点における状態が実現可能であるかどうかを決定してもよく、これは少なくとも部分的には、コントローラ108が、継ぎ目の一連の継ぎ目点に沿った状態の連鎖を実施することが、作業スペース101内でのロボット110と構造体との間、またはロボット110自体の部品とさえもの衝突を引き起こすかどうかを決定し得ることを意味する。この目的のために、継ぎ目の異なる点で異なる状態を実現するという概念は、代替的に、複数のウェイポイントを有する継ぎ目の文脈で表現されてもよい。まず、コントローラ108は、識別された継ぎ目を一連のウェイポイントに離散化し得る。ウェイポイントは、3（空間/並進）自由度でロボット120に接続された溶接ヘッドの向きを制約し得る。典型的には、ロボット120の溶接ヘッドの向きの制約が、何らかの品質の何らかの所望の溶接を生成する目的で、各ウェイポイントを中心とした1または2回転自由度において提供され、制約は、典型的には、ウェイポイントおよび溶接継ぎ目の経路から発する表面法線ベクトルに対するものである。例えば、溶接ヘッドの位置は、x軸、y軸、およびz軸において、ならびに溶接機の溶接ワイヤまたはチップの軸に垂直な約1つまたは2つの回転軸を中心として、すべてウェイポイントおよびウェイポイントに付属する何らかの公称座標系に対して制約することができる。いくつかの例におけるこれらの制約は、角度の限界または許容範囲であり得る。当業者は、理想的なまたは所望の溶接角度が、部品または継ぎ目のジオメトリ、継ぎ目に対する重力の方向、および他の要因に基づいて変化し得ることを認識するであろう。いくつかの例では、コントローラ108は、1つまたは複数の理由で（例えば、最適化の目的で溶接と経路計画との間のバランスを見つけるために）継ぎ目が重力に垂直であることを確実にするために1Fまたは2Fの溶接位置に制約し得る。したがって、溶接ヘッドの位置は、継ぎ目に対して任意の適切な向きで各ウェイポイントによって保持（制約）することができる。典型的には、溶接ヘッドは、溶接ヘッドの軸と同軸の回転軸（θ）を中心としては制約されない。例えば、各ウェイポイントは、溶接ロボット120の溶接ヘッドの位置を、各ウェイポイントにおいて溶接ヘッドが溶接継ぎ目に対して固定された位置および向きにあるように定義することができる。いくつかの実装形態では、ウェイポイントは、溶接ヘッドの移動を実質的に連続的にするのに十分に細かく離散化される。

コントローラ108は、各ウェイポイントを複数のノードに分割し得る。各ノードは、そのウェイポイントにおける溶接ヘッドの可能な向きを表すことができる。非限定的な例として、溶接ヘッドが各ウェイポイントで回転軸θに沿って（例えば、360度）回転することができるように、溶接ヘッドを溶接ヘッドの軸と同軸の回転軸を中心としては制約しないことができる。各ウェイポイントの各ノードが18度の回転増分で溶接ヘッドを表すように、各ウェイポイントを20個のノードに分割することができる。例えば、第1のウェイポイント・ノード対は0度の溶接ヘッドの回転を表すことができ、第2のウェイポイント・ノード対は18度からの溶接ヘッドの回転を表すことができ、第3のウェイポイント・ノード対は36度の溶接ヘッドの回転を表すことができるなどである。各ウェイポイントを、2、10、20、60、120、360、または任意の適切な数のノードに分割することができる。ノードの細分は、1自由度を超える向きの分割を表すことができる。例えば、ウェイポイントの周りの溶接機チップの向きは、3つの角度によって定義することができる。溶接経路は、各ウェイポイント・ノード対をつなぐことによって定義することができる。よって、ウェイポイント間の距離および隣接するウェイポイント・ノード間のオフセットは、溶接ヘッドがノード・ウェイポイント対間を移動するときの溶接ヘッドの並進および回転の量を表すことができる。

コントローラ108は、溶接の実現可能性について各ウェイポイント・ノード対を評価することができる。例えば、ウェイポイントを20個のノードに分割する非限定的な例を考える。コントローラ108は、0度に保持された溶接ヘッドを表す第1のウェイポイント・ノード対が実現可能であるかどうかを評価することができる。言い換えれば、コントローラ108は、そのウェイポイント・ノード対によって定義された位置および向きに配置された場合に、ロボット110が部品、固定具、または溶接ロボット自体に衝突または干渉するかどうかを評価することができる。同様に、コントローラ108は、第2のウェイポイント・ノード対、第3のウェイポイント・ノード対などが実現可能であるかどうかを評価することができる。コントローラ108は、各ウェイポイントを同様に評価することができる。このようにして、すべてのウェイポイントのすべての実現可能なノードを決定することができる。

いくつかの例では、本明細書で説明するような衝突解析が、作業スペース101の3Dモデルとロボット110の3Dモデルとを比較して、2つのモデルが重なり合うかどうか、および任意で、三角形の一部または全部が重なり合うかどうかを決定することによって行われ得る。2つのモデルが重なり合う場合、コントローラ108は、衝突の可能性があると決定し得る。2つのモデルが重なり合わない場合、コントローラ108は、衝突の可能性が低いと決定し得る。より具体的には、いくつかの例では、コントローラ108は、ウェイポイント・ノード対（上述したウェイポイント・ノード対など）のセットの各々についてモデルを比較し、ウェイポイント・ノード対のサブセットまたは場合によってはすべてについて2つのモデルが重なり合うと決定し得る。モデル交差が識別されるウェイポイント・ノード対のサブセットについて、コントローラ108は、そのサブセット内のウェイポイント・ノード対を計画された経路から省いてもよく、それらのウェイポイント・ノード対の代替対を識別し得る。コントローラ108は、衝突のない経路が計画されるまで、必要に応じてこのプロセスを繰り返してもよい。コントローラ108は、柔軟な衝突ライブラリ（flexible collision library（FCL））を使用してもよく、FCLは、衝突回避解析のツールとして、効率的な衝突検出および近接計算のための様々な技術を含む。FCLは、異なるモデル表現に対して複数の近接クエリを行うのに有用であり、点群間の確率的衝突識別を行うために使用され得る。追加または代替のリソースが、FCLと共に、またはFCLの代わりに使用されてもよい。

コントローラ108は、物理的に実現可能であれば、1つまたは複数の実現可能なシミュレート（または評価、本明細書では両方の用語を互換的に使用する）溶接経路を生成することができる。溶接経路は、溶接ロボットが候補継ぎ目を溶接するためにとる経路であり得る。いくつかの例では、溶接経路は、継ぎ目のすべてのウェイポイントを含み得る。いくつかの例では、溶接経路は、候補継ぎ目の全部ではないが一部のウェイポイントを含み得る。溶接経路は、溶接ヘッドが各ウェイポイント・ノード対間を移動するときのロボットおよび溶接ヘッドの動きを含むことができる。ノード・ウェイポイント対間の実現可能な経路が識別されると、次の連続するウェイポイントの実現可能なノード・ウェイポイント対が存在する場合にそれを識別することができる。当業者は、実現可能なノード・ウェイポイント対の空間を評価するために多くの探索木または他の戦略が採用され得ることを認識するであろう。本明細書でさらに詳細に論じるように、各ノード・ウェイポイント対から後続のノード・ウェイポイント対への移動についてコストパラメータを割り当てるか、または計算することができる。コストパラメータは、移動時間、ノード・ウェイポイント対間の移動量（例えば、回転を含む）、および/または移動中に溶接ヘッドによって生成されるシミュレート/予想される溶接品質と関連付けることができる。

1つもしくは複数のウェイポイントの溶接についてノードが実現可能ではなく、かつ/または前のウェイポイント・ノード対と特定のウェイポイントのウェイポイント・ノード対のいずれかとの間を移動するために実現可能な経路が存在しない場合には、コントローラ108は、少なくともいくつかの追加のウェイポイント・ノード対が溶接について実現可能になるように代替の溶接パラメータを決定することができる。例えば、コントローラ108が、第1のウェイポイントのウェイポイント・ノード対のいずれも実現可能ではないと決定し、それによって第1のウェイポイントが溶接不可能になった場合、コントローラ108は、第1のウェイポイントについての少なくともいくつかのウェイポイント・ノード対が溶接可能になるように、代替の溶接角度などの代替の溶接パラメータを決定することができる。例えば、コントローラ108は、x軸および/またはy軸を中心とした回転に対する制約を除去または緩和することができる。同様に言うと、コントローラ108は、溶接角度が1つまたは2つ追加の回転（角度）寸法で変化することを可能にすることができる。例えば、コントローラ108は、溶接不可能なウェイポイントを2次元ノードまたは3次元ノードに分割することができる。次いで、各ノードを、様々な溶接角度および回転状態に保持された、溶接ロボットおよび溶接部の溶接実現可能性について評価することができる。x軸および/もしくはy軸を中心とした追加の回転または他の自由度は、溶接ヘッドがいかなる衝突にも遭遇しないように、ウェイポイントを溶接ヘッドからアクセス可能にし得る。いくつかの実装形態では、1つもしくは複数のウェイポイントの溶接についてノードが実現可能ではなく、かつ/または前のウェイポイント・ノード対と特定のウェイポイントのウェイポイント・ノード対のいずれかとの間を移動するために実現可能な経路が存在しない場合には、前のウェイポイント・ノード対と特定のウェイポイントのウェイポイント・ノード対のいずれかとの間の実現可能な経路を決定する際に位置決め装置システムによって提供される自由度を、コントローラ108は使用することができる。

生成された溶接経路に基づいて、コントローラ108は、溶接のための溶接経路を最適化することができる。（最適なおよび最適化するとは、本明細書で使用される場合、絶対的な最良の溶接経路を決定することを指すのではなく、一般に、効率の低い溶接経路に対して溶接時間を短縮し、かつ/または溶接品質を改善することができる技術を指す。）例えば、コントローラ108は、ロボット110の動きの極小値および/または最小値を求めるコスト関数を決定することができる。典型的には、溶接ヘッドの回転は継ぎ目を溶接する時間を増加させ、かつ/または溶接品質を低下させる可能性があるため、最適な溶接経路は溶接ヘッドの回転を最小限に抑える。したがって、溶接経路を最適化することは、最小回転量で最大数のウェイポイントを通る溶接経路を決定することを含むことができる。

分割されたノードまたはノード・ウェイポイント対の各々における溶接の実現可能性を評価する際に、コントローラ108は、複数の計算を行い得る。いくつかの例では、複数の計算の各々は互いに相互排他的であり得る。いくつかの例では、第1の計算は、運動学的実現可能性計算を含んでもよく、この計算は、採用されている溶接ロボットのロボット110のアームがノードまたはノード・ウェイポイント対によって定義された状態に機械的に到達する（または存在する）ことができるかどうかを計算する。いくつかの例では、第1の計算に加えて、第1の計算と相互に排他的であり得る第2の計算もコントローラ108によって行われ得る。第2の計算は、継ぎ目の部分（例えば、問題のノードまたはノード・ウェイポイント対）にアクセスするときにロボット110のアームが衝突に遭遇する（例えば、作業スペース101または作業スペース101内の構造体と衝突する）かどうかを決定することを含み得る。

コントローラ108は、第2の計算を行う前に第1の計算を行ってもよい。いくつかの例では、第2の計算は、第1の計算の結果が肯定的である場合（例えば、ロボット110のアームがノードまたはノード・ウェイポイント対によって定義された状態に機械的に到達する（または存在する）ことができると決定された場合）にのみ行われ得る。いくつかの例では、第1の計算の結果が否定的である場合（例えば、ロボット110のアームがノードまたはノード・ウェイポイント対によって定義された状態に機械的に到達する（または存在する）ことができないと決定された場合）、第2の計算は行われない可能性がある。

運動学的実現可能性は、採用されたロボットアームのタイプと相関し得る。この説明のために、溶接ロボット110は、球面手首を有する6軸ロボット溶接アームを含むと仮定する。6軸ロボットアームは、6自由度、すなわち、X、Y、Zデカルト座標における3自由度、およびロボット110の手首状の性質のために追加の3自由度を有することができる。例えば、ロボット110の手首状の性質は、手首の上下方向の第4の自由度（例えば、手首が＋yと-yの方向に動く）、手首の側面方向の第5の自由度（例えば、手首が-xと＋xの方向に動く）、および回転の第6の自由度をもたらす。いくつかの例では、溶接トーチは、ロボット110の手首部分に取り付けられる。

採用されているロボット110のアームが、ノードまたはノード・ウェイポイント対によって定義された状態に機械的に到達する（または存在する）ことができるかどうかを決定するために、すなわち、第1の計算を行うために、ロボット110は、図8の例示的なモデル800に示すように数学的にモデル化され得る。いくつかの例では、コントローラ108は、手首位置に基づいて最初の3つの関節変数を解き、手首の向きに基づいて他の3つの関節変数を解き得る。トーチは手首にしっかりと取り付けられていることに留意されたい。したがって、トーチチップと手首との間の変換は固定されていると仮定される。最初の3つの関節変数（例えば、それぞれ802、804、806における変数S、L、U）を見つけるために、幾何学的手法（例えば、コサインの法則）が採用されてもよい。

最初の3つの関節変数（すなわち、S、L、U）がうまく計算された後、コントローラ108は次いで、例えば、手首の向きをZ-Y-Zオイラー角とみなすことによって、最後の3つの関節変数（すなわち、それぞれ808、810、812におけるR、B、T）について解き得る。コントローラ108は、ロボット110内のいくつかのオフセットを考慮し得る。これらのオフセットは、統一されたロボット記述フォーマット（URDF）ファイルにおける不一致のために考慮され、説明される必要がある場合がある。例えば、いくつかの例では、関節（例えば、ロボット110の実際の関節）の位置の値（例えば、関節のX軸）は、そのURDFファイルに記載されている値と一致しない場合がある。そのようなオフセット値は、テーブルでコントローラ108に提供され得る。コントローラ108は、いくつかの例では、ロボット110を数学的にモデル化しながら、これらのオフセット値を考慮し得る。いくつかの例では、ロボット110が数学的にモデル化された後、コントローラ108は、ロボット110のアームがノードまたはノード・ウェイポイント対によって定義された状態に機械的に到達する（または存在する）ことができるかどうかを決定し得る。

上記のように、コントローラ108は、ウェイポイント・ノード対によって定義された位置および向きに配置された場合に、ロボット110が、部品114、固定具116、またはロボット110自体を含む作業スペース101内の他のものと衝突または干渉するかどうかを評価することができる。ロボットアームが存在できる状態をコントローラ108が決定すると、コントローラ108は、第2の計算を使用して前述の評価（例えば、ロボットがその環境内で何かに衝突するかどうかに関して）を行ってもよい。

図9は、様々な例による、自律型溶接を行うための方法900の流れ図である。より具体的には、図9は、いくつかの例による、溶接ロボット（例えば、図1のロボット110）を動作させ、制御するための方法900のフローチャートである。工程902において、方法900は、1つまたは複数のセンサ（例えば、図1の（1つまたは複数の）センサ102）を使用して作業スペース（例えば、図1の作業スペース101）の画像データを取得することを含む。画像データは、作業スペースの2D画像および/または3D画像を含むことができる。上述したように、溶接されるべき1つまたは複数の部品、部品を安全に保持することができる固定具および/またはクランプを作業スペースにおいて位置特定することができる。いくつかの例では、画像データから点群を生成することができる。例えば、画像を互いに重ね合わせて3次元画像データを再構成して生成することができる。3次元画像データを互いに照合して点群を生成することができる。

工程904において、方法900は、画像であり得るセンサデータに基づいて溶接されるべき部品上の点集合を識別することを含む。点集合は、溶接されるべき継ぎ目の可能性を表すことができる。いくつかの例では、ニューラルネットワークは、画像データに対してピクセルごとのセグメント化を行って、点集合を識別することができる。画像データ内の固定具およびクランプは、画像分類に基づいてニューラルネットワークによって分類することができる。固定具および/またはクランプと関連付けられた画像データの部分は、画像データのそれらの部分が点集合を識別するために使用されないようにセグメント化して分離することができ、これにより、探索空間を減少させることによって溶接されるべき点集合を識別するために必要な計算リソースを削減することができる。そのような例では、その点集合を、画像データの他の部分（例えば、画像データのセグメント化して分離されていない部分）から識別することができる。

工程906において、方法900は、点集合から候補継ぎ目を識別することを含む。例えば、点集合内の点のサブセットを候補継ぎ目として識別することができる。ニューラルネットワークは、画像分類および/または深度分類を行って候補継ぎ目を識別することができる。いくつかの例では、候補継ぎ目を部品に対して位置特定することができる。例えば、候補継ぎ目を位置特定するために、部品に対して候補継ぎ目の位置および向きを決定することができる。

さらに、方法900は、候補継ぎ目が実際の継ぎ目であるかどうかを検証する工程をさらに含む。上述したように、（1つまたは複数の）センサは、複数の角度から画像データを収集することができる。異なる角度から取り込まれた各画像について、その角度から決定された候補継ぎ目が実際の継ぎ目であるかどうかを表す信頼値を決定することができる。信頼値が複数の角度からとられた視野に基づく閾値を上回る場合、候補継ぎ目を実際の継ぎ目として検証することができる。いくつかの態様では、方法900はまた、候補継ぎ目をある継ぎ目タイプとして分類する工程も含む。例えば、ニューラルネットワークは、候補継ぎ目が突き合わせ継ぎ、角継ぎ、縁継ぎ、重ね継ぎ、T継ぎなどであるかどうかを決定することができる。

いくつかの例では、候補継ぎ目が識別されて検証された後、点のサブセットを一緒にクラスタ化して、切れ目のない連続した継ぎ目を形成することができる。工程908において、方法900は、候補継ぎ目に基づいて溶接ロボットのための溶接命令を生成することを含む。例えば、溶接命令は、点のサブセットの一端から点のサブセットの他端までの経路をトレースすることによって生成することができる。これにより、継ぎ目のための経路を生成することができる。言い換えれば、溶接ヘッドでこの経路をトレースすることによって溶接を行うことができる。さらに、識別され位置特定された候補継ぎ目に基づいて経路計画を行うことができる。例えば、経路計画は、点のサブセットのクラスタ化により生成することができる継ぎ目の経路に基づいて行うことができる。

いくつかの例では、溶接命令は、継ぎ目タイプ（例えば、突き合わせ継ぎ、角継ぎ、縁継ぎ、重ね継ぎ、T継ぎなど）に基づくものであり得る。いくつかの例では、溶接命令は、ユーザインターフェース（例えば、図1のユーザインターフェース106）を介したユーザからの入力に基づいて更新することができる。ユーザは、ユーザインターフェースを介してすべての利用可能な候補継ぎ目から溶接されるべき候補継ぎ目を選択することができる。選択された候補継ぎ目に対して経路計画を行うことができ、選択された候補継ぎ目のために溶接命令を生成することができる。いくつかの例では、ユーザは、ユーザインターフェースを介して溶接パラメータを更新することができる。溶接命令は、更新された溶接パラメータに基づいて更新することができる。

このようにして、溶接ロボットを、溶接されるべき部品の事前情報（例えば、CADモデル）なしで方法900を実施することによって動作させ、制御することができる。溶接命令を生成するために部品がスキャンされるので、部品のスキャン画像の表現に、（例えば、ユーザインターフェースを介して）1つまたは複数の候補継ぎ目で注釈を付けることができる。注釈付き表現は、部品の3Dモデルを定義するために使用することができる。部品の3Dモデルは、部品の追加事例のその後の溶接のためにデータベースに保存することができる。

図10は、様々な例による、自律型溶接を行うための方法1000の流れ図である。より具体的には、図10は、いくつかの例による、溶接ロボット（例えば、図1のロボット110）を動作させ、制御するための方法1000のフローチャートである。工程1002において、方法1000は、溶接されるべき部品上の候補継ぎ目の予想される向きおよび予想される位置を部品のCADモデルに基づいて識別することを含む。予想される向きおよび予想される位置は、ユーザ/オペレータによってCADモデルに提供された注釈を使用して決定されてもよい。追加的または代替的に、コントローラ（例えば、図1のコントローラ108）は、モデルジオメトリに基づいて候補継ぎ目を識別するように動作することもできる。オブジェクトマッチングを行って、部品上の構成要素をCADモデル内の構成要素と照合することができる。言い換えれば、候補継ぎ目の予想される位置および向きを、オブジェクトマッチングに基づいて識別することができる。

工程1004において、方法1000は、1つまたは複数のセンサ（例えば、図1の（1つまたは複数の）センサ102）を使用して作業スペース（例えば、図1の作業スペース101）の画像データを取得することを含む。画像データは、作業スペースの2D画像および/または3D画像を含むことができる。上述したように、作業スペースは、溶接されるべき1つまたは複数の部品と、部品を安全に保持することができる固定具および/またはクランプとを含むことができる。いくつかの例では、画像データから点群を生成することができる。例えば、画像を互いに重ね合わせて、3D画像データを再構成して生成することができる。3D画像データを互いに照合して点群を生成することができる。

いくつかの例では、溶接命令を生成する処理時間を短縮するために、センサは部分スキャンを行うように構成されている。言い換えれば、画像データは、あらゆる角度から作業スペースをスキャンする代わりに、少数の角度（例えば、候補継ぎ目が視認できると予想される角度）から収集される。そのような例では、画像データから生成された点群は、部分点群である。例えば、溶接されるべき継ぎ目を含まないことをモデルが指示する部品の部分を含まない部分点群を生成することにより、スキャン時間および/または処理時間を短縮することができる。

工程1006において、方法1000は、画像データ、点群、および/または部分点群に基づいて候補継ぎ目を識別することを含む。例えば、コントローラ108（図1）は、上述した技術を使用して候補継ぎ目を識別することができる。

工程1008において、方法1000は、候補継ぎ目の実際の位置および実際の向きを識別することを含む。例えば、工程1002において、第1の点のサブセットをモデル化された継ぎ目として識別することができる。工程1006において、第2の点のサブセットを候補継ぎ目として識別することができる。いくつかの例では、第1の点のサブセットと第2の点のサブセットとを（例えば、図6に関して上述した位置合わせ技術を使用して）比較することができる。第1の点のサブセットを変形させて、候補継ぎ目の実際の位置および向きを決定することができる。いくつかの例では、第1の点のサブセットと第2の点のサブセットとの比較は、第1の点のサブセットの許容差（例えば、候補継ぎ目の予想される位置および予想される向き）を決定するのを助けることができる。そのような例では、第1の点のサブセットを、候補継ぎ目の実際の位置および向きを決定するために許容差に基づいて変形させることができる。言い換えれば、候補継ぎ目の予想される位置および予想される向きを（いくつかの例では、許容差に基づいて）精密化して、候補継ぎ目の実際の位置および実際の向きを決定することができる。この変形/精密化技術は、CADモデルにおいて（例えば、工程1002におけるCADモデルにおいて）正確に表されていない部品上の表面のトポグラフィを考慮することができる。

工程1010において、方法1000は、候補継ぎ目の実際の位置および実際の向きに基づいて溶接ロボットのための溶接命令を生成することを含む。例えば、経路計画を、候補継ぎ目の実際の位置および実際の向きに基づいて行うことができる。

図9の方法900と同様に、候補継ぎ目の実際の位置および実際の向きが識別されると、方法1000は、上述の技術を使用して候補継ぎ目を検証する工程を含むことができる。しかしながら、方法900とは対照的に、方法1000のユーザ対話は必要ではない場合がある。これは、溶接されるべき1つまたは複数の継ぎ目がCADモデルにおいてすでに注釈を付けられている可能性があるからである。したがって、ある場合には、ユーザ対話なしで方法1000を実施することによって溶接ロボットを動作させ、制御することができる。

方法1000に関して上述した工程に加えて、またはそれらの工程の代わりに、溶接ロボット（例えば、図1のロボット110）は、以下のように自律型溶接を行うために溶接ロボットを動作させ、制御してもよい。ロボット110、特にロボット11のコントローラ108は、部品を含む作業スペースをスキャンして、作業スペース内の部品の位置（例えば、位置決め装置上の部品の位置）を決定し、部品の表現（例えば、点群表現）を生成し得る。コントローラ108には、部品の注釈付きCADモデルを提供され得る。次いで、コントローラ108は、部品のコンピュータ支援設計（CAD）モデルおよび部品の表現に従って（または基づいて）、部品上の候補継ぎ目の予想される位置および予想される向きを決定し得る。例えば、コントローラ108は、モデルジオメトリに基づいて候補継ぎ目を識別するように動作することができ、--オブジェクトマッチングを行って、部品の表現上の構成要素または特徴（例えば、トポグラフィ特徴）をCADモデル内の構成要素または特徴と照合することができ）、コントローラ108は、部品上の候補継ぎ目の予想される位置および予想される向きを決定する際にこのオブジェクトマッチングを使用するように動作し得る。予想される位置および向きが決定されると、コントローラ108は、次いで、部品の表現に少なくとも部分的に基づいて、候補継ぎ目の実際の位置および実際の向きを決定し得る。実際の位置および向きは、工程1008に記載の変形/精密化技術を使用して決定され得る。

図11は、様々な例による、自律型溶接を行うための方法1100の流れ図である。より具体的には、図11には、ロボット製造環境における製造ロボット110（図1）の動作の例示的な方法1100が示されている。製造タスク（例えば、溶接）が行われることになる対象の1つまたは複数の部品114が、固定具116を使用して、製造作業スペース101内の別の固定具116（例えば、位置決め装置）上に位置決めされ、かつ/または固定されていると仮定する。1つまたは複数の部品114の配置に続いて、方法1100が開始し得る。最初の工程として、方法1100は、1つまたは複数の部品をスキャンする工程（例えば、ブロック1110）を含む。スキャンは、1つまたは複数のセンサ102（例えば、ロボット110に結合されていないスキャナ）によって行われてもよく、コントローラ108は、製造作業スペース101内の部品の位置を決定し、センサから取得された画像データおよび/または画像もしくはセンサデータから導出された点群を使用して部品上の1つまたは複数の継ぎ目を識別する（ブロック1112および1114）ように構成され得る。部品および継ぎ目は、図1に関して説明した技術のうちの1つに基づいて位置特定され、識別され得る。部品および継ぎ目の位置が決定されると、コントローラ108は、識別された継ぎ目に沿った製造ロボット110のための経路をプロットする（ブロック1116）。プロットされた経路は、製造作業スペース101内で製造ロボット110自体または他のものと衝突することなく溶接を完了するための製造ロボット110の最適化された動きパラメータを含んでもよい。溶接を完了するための製造ロボット110の最適化された動きパラメータを生成する際に人間の入力は必要とされない。経路/軌道は、上述した経路計画技術のうちの1つに基づいて計画され得る。

「位置」および「向き」という用語は、上記の開示においては別々のエンティティとして記載されている。しかしながら、「位置」という用語は、部品の文脈で使用される場合、「部品が配置または配列される特定の方法」を意味する。「位置」という用語は、継ぎ目の文脈で使用される場合、「部品上の継ぎ目が位置決めされるか、または方向づけられる特定の方法」を意味する。よって、部品/継ぎ目の位置は、本質的に部品/継ぎ目の向きを考慮し得る。よって、「位置」は「向き」を含むことができる。例えば、位置は、部品または候補継ぎ目の相対的な物理的位置または方向（例えば、角度）を含むことができる。

特に明記しない限り、値の前の「約（about）」、「ほぼ（approximately）」、または「実質的に（substantially）」は、記載された値の＋/-10パーセント意味する。特に明記しない限り、「平行」であると記載された2つの物体は並んでおり、それらの間に、一定であるか、または10パーセント以下だけ変化する距離を有する。特に明記しない限り、垂直であると記載された2つの物体は、80度～100度の範囲の角度で交差する。記載の例では修正が可能であり、特許請求の範囲内で他の例も可能である。

Claims (26)

1. 継ぎ目を有する部品を含む、作業スペースと、
   前記作業スペース内の複数の画像を取り込むように構成されているセンサと、
   前記継ぎ目に沿って溶接を施すように構成されているロボットと、
   前記複数の画像に基づいて、前記作業スペース内の前記部品上の前記継ぎ目を識別し、
   前記継ぎ目を溶接するときに前記ロボットがたどるべき経路を計画し、前記経路が前記ロボットの複数の異なる構成を含み、かつ
   前記ロボットに、前記計画された経路に従って前記継ぎ目を溶接するよう命令する
   ように構成されている、コントローラと
   を含む、自律型ロボット溶接システム。
2. 前記ロボットの前記複数の異なる構成の各々が、前記ロボットのアームが保持される異なる角度を含む、請求項1記載のシステム。
3. 前記コントローラが、前記ロボットが前記作業スペース内で構造体と衝突するかどうかを決定するように構成されている、請求項1記載のシステム。
4. 前記コントローラが、前記決定に基づいて前記経路を計画するように構成されている、請求項3記載のシステム。
5. 前記センサが、前記作業スペース内の複数の視点から前記複数の画像を取り込むように構成されている、請求項1記載のシステム。
6. 前記コントローラが、前記複数の視点からの前記複数の画像に基づいて、前記識別された継ぎ目が実際に継ぎ目である信頼値を決定するように構成されている、請求項5記載のシステム。
7. 前記コントローラが、前記継ぎ目を溶接するときに前記作業スペース内の固定具を特定の構成に制約するように構成されている、請求項1記載のシステム。
8. 前記コントローラが、前記固定具を1Fまたは2F溶接位置に制約するように構成されている、請求項7記載のシステム。
9. 製造作業スペース内の部品に対して製造プロセスを行うための製造ツールと、
   複数の自由度を有し、かつ前記製造ツールを動かすように構成されている、ロボットアームと、
   前記製造作業スペースにおいて位置決めされている前記部品に関連する画像データを取り込むように構成されている、1つまたは複数のセンサと、
   前記画像データを使用して前記製造作業スペース内の前記部品の位置を決定すること、
   前記製造プロセスが行われるべき前記部品上の1つまたは複数の部位を識別すること、および
   前記製造プロセスを行うための前記ロボットアームについての動きパラメータを生成すること
   のうちの1つまたは複数を行うように構成されている、ロボットコントローラと
   を含む、製造ロボットシステム。
10. 前記1つまたは複数のセンサが、前記製造作業スペース内の他の要素に関連する画像データを取り込むように構成されており、前記他の要素が位置決め装置および固定具を含む、請求項9記載の製造ロボットシステム。
11. 前記製造作業スペース内の位置決め装置をさらに含み、
    前記部品が前記位置決め装置上に位置決めされており、前記ロボットコントローラが、前記位置決め装置についての追加の動きパラメータを生成するように構成されており、かつ前記追加の動きパラメータが、前記ロボットアームと前記位置決め装置との間の協調した動きを容易にする、
    請求項9記載の製造ロボットシステム。
12. 前記ロボットコントローラが、前記1つまたは複数のセンサを使用して、前記ロボットアームが前記製造作業スペース内で1つまたは複数の物体と衝突するかどうかを決定するように構成されている、請求項9記載の製造ロボットシステム。
13. 前記製造作業スペースが、前記製造ツール、前記ロボットアーム、位置決め装置、および前記位置決め装置上に位置決めされている前記部品を含む、請求項9記載の製造ロボットシステム。
14. 自律型ロボット溶接を行うためのコンピュータ実装方法であって、
    作業スペース内の部品の複数の画像を取り込むために、複数のセンサを使用する工程;
    前記複数の画像を使用して点群を生成する工程;
    前記点群を使用して前記部品上の継ぎ目を識別する工程;
    前記作業スペース内でのロボットと構造体との間の衝突が発生するかどうかを決定する工程;
    前記識別された継ぎ目に沿っておりかつ前記衝突決定に基づく、前記ロボットの一連の位置および構成を決定することによって、前記識別された継ぎ目を溶接するときに前記ロボットがたどるべき経路を計画する工程;ならびに
    前記計画された経路に基づいて前記識別された継ぎ目を溶接する工程
    を含む、コンピュータ実装方法。
15. 前記位置が、3D空間における前記ロボットの溶接ヘッドの位置を含む、請求項14記載の方法。
16. 前記経路を計画する工程が、前記ロボットに対する制約を緩和することを含む、請求項14記載の方法。
17. 自律型ロボット溶接を行うためのコンピュータ実装方法であって、
    ロボット溶接作業スペースの複数の画像を取り込む工程;
    前記複数の画像を使用して3次元点群を生成する工程;および
    前記3次元点群に基づいて、前記ロボット溶接作業スペース内の部品の継ぎ目を溶接する工程
    を含む、前記コンピュータ実装方法。
18. 前記作業スペース内のロボットの溶接ヘッドに結合されているセンサを使用して前記ロボット溶接作業スペースのスキャンを行う工程、および前記スキャンに基づいて、前記継ぎ目を溶接するときに使用される経路を補正する工程をさらに含む、請求項17記載の方法。
19. 前記スキャンが、前記継ぎ目に関する可変間隙データを含む、請求項18記載の方法。
20. 前記複数の画像を使用してピクセルごとの分類を行う工程をさらに含む、請求項17記載の方法。
21. 前記点群を使用して点ごとの分類を行う工程をさらに含む、請求項17記載の方法。
22. 前記点ごとの分類を使用して、前記部品に対応するものまたは前記作業スペース内の固定具に対応するものとして、前記点群のうちの点を分類する工程をさらに含む、請求項21記載の方法。
23. ニューラルネットワークを使用して、前記点ごとの分類を行う工程をさらに含む、請求項21記載の方法。
24. 前記作業スペース内の固定具に関連する、前記点群のうちの点をセグメント化して分離する工程をさらに含む、請求項17記載の方法。
25. 前記複数の画像を取り込む工程が、前記ロボット溶接作業スペース内の複数の視点から複数の画像を取り込むことを含む、請求項17記載の方法。
26. 前記複数の取り込まれた画像を使用して、前記部品上の候補継ぎ目が実際に継ぎ目である信頼値を決定する工程をさらに含む、請求項17記載の方法。

Images