JP2023530209A - 多関節システムによって保持されたツールを用いて対象物に対する操作を自動で行うための方法 - Google Patents
多関節システムによって保持されたツールを用いて対象物に対する操作を自動で行うための方法 Download PDFInfo
- Publication number
- JP2023530209A JP2023530209A JP2022555706A JP2022555706A JP2023530209A JP 2023530209 A JP2023530209 A JP 2023530209A JP 2022555706 A JP2022555706 A JP 2022555706A JP 2022555706 A JP2022555706 A JP 2022555706A JP 2023530209 A JP2023530209 A JP 2023530209A
- Authority
- JP
- Japan
- Prior art keywords
- tool
- articulated system
- image
- sensor
- articulated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000033001 locomotion Effects 0.000 claims abstract description 42
- 238000004088 simulation Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 10
- 238000009434 installation Methods 0.000 claims description 7
- 238000005259 measurement Methods 0.000 claims description 6
- 238000013459 approach Methods 0.000 claims description 4
- 238000005520 cutting process Methods 0.000 description 11
- 238000003466 welding Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000010422 painting Methods 0.000 description 2
- 230000002285 radioactive effect Effects 0.000 description 2
- 238000004381 surface treatment Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 231100001261 hazardous Toxicity 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
- B25J9/1666—Avoiding collision or forbidden zones
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/0096—Programme-controlled manipulators co-operating with a working support, e.g. work-table
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/1605—Simulation of manipulator lay-out, design, modelling of manipulator
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40442—Voxel map, 3-D grid map
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40475—In presence of moving obstacles, dynamic environment
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E30/00—Energy generation of nuclear origin
- Y02E30/30—Nuclear fission reactors
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Numerical Control (AREA)
- Manipulator (AREA)
- Processing Or Creating Images (AREA)
Abstract
本発明は、対象物(2)および作業環境(3)が可変的であるか、または操作を行うには不十分にしか定義されていない状況下で、作業環境(3)内で動作可能な多関節システム(5)によって保持されたツール(4)を用いて対象物(2)に対する操作を自動的に行うための方法および装置に関する。本発明によれば、その方法は、- 少なくとも1つの3Dセンサ(6)を用いて対象物(2)および作業環境(3)の画像を散布図の形でキャプチャし、その画像を多関節システムのCADモデルおよび環境の可能なCADモデルとマージしてワーク画像とし、衝突防止パラメータを定義するステップAと、- 対象物(2)を表すワーク画像の部位にツール(4)の経路を定義し、作業画像で多関節システム(5)およびツールの対応する動作のシミュレーションを行って操作が実行可能であることを担保するステップBと、- ステップBで操作が実行可能であるとされたならば、対象物(2)に対する操作を行うために定義された経路(10)に従ってツール(4)を保持する多関節システム(5)の動作を実際に行うステップCとを少なくとも含む。
Description
本発明は、対象物およびその作業環境の位置および幾何学形状が変化する可能性があり、かつ/または対象物に対する操作を行うにはそれらの定義が不十分な状況下で、作業環境内にある対象物に対して切削、溶接、マーキング、はがし、塗装、表面処理、センサその他あらゆるタイプの分析ツール等の位置決めなどの操作を行う技術分野に関する。
たとえば、本発明は、放射能関連のリスクを有する可能性のある対象物の計測、切削、把持の操作が行われる解体技術部門に適用されるが、それに限定されるものではない。
本発明は、より詳細には、対象物および作業環境の位置および幾何学形状が変化しつつあり、かつ/または自動モードでその操作を行うにはそれらの定義が不十分な状況下で、多関節システムによって保持されて作業環境内で可動なツールを用いて対象物に対する操作を自動で行うための方法および設備に関する。操作は、いかなるタイプの環境のもとで、いかなるタイプのツールを用いて、いかなるタイプの対象物に対して行われるあらゆる種類のものであってもよい。
本発明は、たとえば、作業者がアクセスできないか、またはその中では身体を自由に動かすことのできない、危険で閉鎖された環境の中で対象物に対して何らかの操作を行う場合などに有利に適用することができる。
本発明の分野、たとえば放射性の対象物の解体分野では、解体操作は閉鎖された環境の中で作業者により手動で行われることができる。
解体操作には、対象物の計測、切削および把持の操作が含まれる。とりわけ、切削操作の目的は、より小さな要素を生成することによって、それを収める廃棄物コンテナの充填などを最適化することにある。したがって、こうしたより小さな部品はシステムによって扱われてコンテナに収められる必要がある。
こうしたそれぞれの操作は、たとえばアングルグラインダや、関係する操作の実施を可能にするあらゆるタイプのツールのほか、特に作業を行う現場の放射線環境および実施する操作の性質を考慮した抑制的な防護装備(通気つなぎ服、安全手袋など)を備えた作業者によって行われる。
そのため、こうした操作の実施は、作業者の安全という意味においても、その難度および所要時間という意味においても、最適なものではない。
それ以外の場合、操作は作業者が接触状態で行うことはできず、(計測、切削、把持のための)ツールはその操作を行う多関節システムによって保持されることになる。作業者は、制御ホーン(control horn)を用いて、カメラおよびスクリーンによる間接画像を見ながら遠隔でシステムを駆動する。そうしたシステムの欠点として、高価であることのほか、速度、作用力および位置決めに関してその制御の精度が低く、完了までの時間が長いこと、ツールの消耗品(刃、ディスク)の損耗が早いことが挙げられる。
本発明は、作業環境内における対象物に対する操作実施の方法および設備を提供することで、安全性、正確性および速度に関する最適条件を担保できるようにして、従来技術の欠点を補うことを目的とする。
この目的のため、作業環境内において可動な多関節システムによって保持されたツールを用いて対象物に対する操作を自動的に行うための方法が開発された。
本発明によれば、その方法は
○ 対象物および作業環境のすべてまたは一部の画像を少なくとも1つの3Dセンサを用いて全体点群(overall point cloud)の形でキャプチャし、
○ その画像を多関節システムの既存のCADモデルおよび出来形の環境のすべてまたは一部の可能な既存のCADモデルとマージし、それによってワーク画像がもたらされ、
○ 衝突防止パラメータを定義する
ステップAと、
- 対象物を表すワーク画像の部分に対してツールの軌道を(好ましくは作業者が)定義し、それに対応する多関節システムおよびツールの動作のシミュレーションをワーク画像で行って操作が実行可能であることを担保するステップBと、
- ステップBで操作が実行可能であるとされたならば、対象物に対する操作を行うために定義された軌道に従ってツールを保持する多関節システムの動作を実際に行うステップCと
を少なくとも含む。
○ 対象物および作業環境のすべてまたは一部の画像を少なくとも1つの3Dセンサを用いて全体点群(overall point cloud)の形でキャプチャし、
○ その画像を多関節システムの既存のCADモデルおよび出来形の環境のすべてまたは一部の可能な既存のCADモデルとマージし、それによってワーク画像がもたらされ、
○ 衝突防止パラメータを定義する
ステップAと、
- 対象物を表すワーク画像の部分に対してツールの軌道を(好ましくは作業者が)定義し、それに対応する多関節システムおよびツールの動作のシミュレーションをワーク画像で行って操作が実行可能であることを担保するステップBと、
- ステップBで操作が実行可能であるとされたならば、対象物に対する操作を行うために定義された軌道に従ってツールを保持する多関節システムの動作を実際に行うステップCと
を少なくとも含む。
本発明において、3Dセンサとは、対象物または対象物の一部を三次元画像の形にデジタル化するあらゆる手段を意味し、これには、とりわけ3Dカメラ、レーザースキャナ、ビデオ手段、ウェブカメラなどが含まれる。
衝突防止パラメータとしては、たとえば、それを過ぎると、多関節システムおよびツールの一切の運動の全面停止または動作の減速などの安全機能が自動的に働くという閾値距離があり、たとえばそれによって衝突防止パラメータとなる閾値速度までである。
このようにすることで、本発明は、当初は不確実もしくは未知またはアクセス不能な環境にあった各種操作を、それが正しく実行されることを保証しつつ、遠隔から自動モードで行うことを可能にする。
本発明は、多関節システムの一切の動作に先立って作業環境が全体点群の形でデジタル化されるという点で有利である。そうすることで、多関節システムの動作に対する様々な障害物の位置が、すなわち作業環境内にある各種要素およびこれから行われる操作の対象物の位置がわかる。そのため、多関節システムまたはそのツールと環境内の各種要素との衝突は衝突防止パラメータによって回避することができる。
このことは、実施される方法を制御する作業者が作業環境を直接見ることができない場合には特に有利である。作業者は、作業環境および対象物をディスプレイ上に点群として可視化し、所望の操作、たとえば切削操作を行うためのツールの動作軌道を定義する。
本発明は、その方法をとることによって多関節システムおよびそのツールの対応する動作のシミュレーション、特にCADでのシミュレーションを行うことが可能になり、衝突を起こすことなく、動作を行えるようにするという点でも有利である。
そのため、シミュレーションによって動作の実行可能性が確認されれば、ツールを保持する多関節システムの動作を実際に行って対象物に対してそのとおりの操作を実施することができる。
この方法は少なくとも3つのステップで実施することができる。すなわち、
- 全体点群の形でデジタル化することによって環境および対象物を確定するステップA、
- 軌道を定義し、シミュレーションするステップB、および
- 実行するステップC。
- 全体点群の形でデジタル化することによって環境および対象物を確定するステップA、
- 軌道を定義し、シミュレーションするステップB、および
- 実行するステップC。
好ましくは、この方法は、多関節システムによって保持された3Dセンサを用いて対象物のゾーンの詳細画像を全体点群よりも高密度で、より高精度の点群の形でキャプチャするように多関節システムの動作を制御し、対象物の対応するゾーンのそのキャプチャ画像を全体点群による対応部分の代わりにワーク画像に組み込むステップA’をステップAとステップBの間にさらに含む。
この追加のステップは、実施する操作の様々な軌道を定義するための一段と高精度の改良されたワーク画像を提供する。さらに、この追加のステップは、ステップAで使用したセンサでは視認できないゾーンの画像のキャプチャを多関節システムの動作によって可能にするもので、それによってワーク画像を完全なものにする。
多関節システムによって保持される3Dセンサは、多関節システムに常時取り付けられたままであることも、その近傍に保管されることもできる。後者の構成では、方法は、多関節システムを自動で動作させて、近傍に保管された3Dセンサを把持し、3Dセンサに接続するステップA’’をステップAとステップA’の間に含む。
ある具体的な実施形態によれば、方法は、多関節システムを自動で動作させて、任意に3Dセンサを取り外して降ろし、近傍に保管されたツールに接続するステップC’をステップBとステップCの間に含む。
この特徴は、多関節システムに接続できるように複数のツールを近傍に保管しておくことを可能にする。
幾つかの異なるツールが利用可能とされる場合、方法は、操作を行うためのツールをステップBのシミュレーションで、またシミュレーションのためにツールデータベースの中から選ぶステップB’をステップBの前にさらに含む。
有利には、またツールの損傷を防ぐため、方法は、ステップCで対象物に直接接するツールを保持する多関節システムの動作速度を、ツールにかかる力の直接的または間接的な計測に基づいて必要に応じてリアルタイムで調節できるという点でも優れている。
ステップA’で3Dセンサを保持する多関節システムの動作を安全なものとするため、3Dセンサまたは多関節システムの一部が対象物または作業環境の要素に接近すると多関節システムの動作が自動的に減速し、3Dセンサまたは多関節システムの一部が対象物または作業環境の要素に対してステップAで定義された衝突防止パラメータによる安全距離まで来たところで動作は自動的に停止する。
ステップBによる対象物を表すワーク画像の部分に対するツールの軌道の定義は、少なくとも1つの始点-終点ペアか、またはあらかじめ定義された少なくとも1つの幾何学形であって、少なくとも1つの線、平面、マスクなどからなるライブラリの中から選ばれた幾何学形のいずれかをワーク画像内に位置決めすることからなる。
本発明は、上に説明した方法を実装するための設備において、多関節システムと、コンピュータ処理システムおよびディスプレイに接続された少なくとも1つの3Dセンサであって、
- 少なくとも1つの3Dセンサでキャプチャした画像をもとに、対象物および作業環境のすべてまたは一部の全体点群をディスプレイ上に表し、
- 全体点群、多関節システムの既存のCADモデル、および出来形の環境のすべてまたは一部の可能な既存のCADモデルをマージして得られるワーク画像を表すように
設計された3Dセンサとを備える設備にも関し、
そのコンピュータ処理システムはまた、対象物を表すワーク画像の部分に対するツールの軌道の定義を可能にし、ワーク画像で多関節システムおよびツールの対応する動作のシミュレーションを行って操作が実行可能であることを担保し、操作が実行可能であるとされたならば、対象物に対してその操作を行うために定義された軌道に従ってツールを保持する多関節システムを実際に動作させるように構成される。
- 少なくとも1つの3Dセンサでキャプチャした画像をもとに、対象物および作業環境のすべてまたは一部の全体点群をディスプレイ上に表し、
- 全体点群、多関節システムの既存のCADモデル、および出来形の環境のすべてまたは一部の可能な既存のCADモデルをマージして得られるワーク画像を表すように
設計された3Dセンサとを備える設備にも関し、
そのコンピュータ処理システムはまた、対象物を表すワーク画像の部分に対するツールの軌道の定義を可能にし、ワーク画像で多関節システムおよびツールの対応する動作のシミュレーションを行って操作が実行可能であることを担保し、操作が実行可能であるとされたならば、対象物に対してその操作を行うために定義された軌道に従ってツールを保持する多関節システムを実際に動作させるように構成される。
有利には、設備は、ステップCで対象物に直接接するツールを保持する多関節システムの動作速度を、ツールにかかる力の直接的または間接的な計測に基づいてリアルタイムで調節する手段を備える。
本発明のその他の特徴や利点については、限定的な意図なく、表明として、添付の図面を参照しながら行う以下の説明によってより明らかとなろう。
本発明は、作業環境(3)内に置かれた対象物(2)に対する操作を自動で行う方法および設備(1)に関する。
本発明は何らかの1つの操作に限られるものではなく、計測、切削、把持、溶接、書込み、マーキング、はがし、塗装、表面処理、センサその他あらゆるタイプの分析ツール等の位置決めなどの操作に関係したものであることができる。そうした操作は、作業環境(3)内で可動な多関節システム(5)によって保持されたツール(4)によって行われる。
本発明の方法による操作が行われる対象物(2)は、放射能を有する物体やそれ以外のあらゆる解体の対象物、または修理や溶接などのあらゆる種類のものであることができる。
対象物(2)に関係する作業環境(3)は、たとえば危険で閉鎖された作業環境や、放射性環境、高所作業のように、作業者がアクセスできない、作業者が自由に動くことができないといった環境など、あらゆる種類のものであってよい。
図1を見ると、設備(1)は、多関節システム(5)を、とりわけ作業環境(3)内で全方向に可動なロボットアームの形で備える。設備(1)は、対象物(2)および作業環境(3)のすべてまたは一部の画像をキャプチャしてデジタル化し、既知のコンピュータ処理システムとディスプレイによって対象物(2)および作業環境(3)のすべてまたは一部の全体点群(7)の三次元表現を描き出すために、少なくとも1つの3Dセンサ、たとえば3Dカメラ(6A、6B、6C)を備える。
図示された例では、設備(1)は、多関節システム(5)の周りからその上を取り囲むアーチ(8)に配置されて固定された3つの3Dカメラ(6A、6B、6C)を備える。
図3に沿って説明すると、対象物(2)に対する操作を安全に行うため、設備(1)は、対象物(2)および作業環境(3)のすべてまたは一部の画像をアーチ(8)に取り付けられた3Dカメラ(6A、6B、6C)を用いて全体点群(7)の形でキャプチャし、その全体点群(7)を、多関節システム(5)の既存のCADモデルおよび、アーチ(8)のCADモデルなどのような出来形の環境の既存のCADモデルとマージして、それによって得られるワーク画像(17)をディスプレイ(図3のアセンブリ)に表示する少なくとも1つのステップAを含む方法を実装する。
それにより、作業環境(3)で障害となり得るものを特定し、多関節システム(5)の動作を安全なものにすることができる。アーチ(8)、3Dカメラ(6A、6B、6C)のほか、多関節システム(5)それ自体やそのツール(4)など、作業環境(3)の標準要素のすべてまたは一部が既知で、CAD内にすでにモデル化されている可能性もあることは留意されてよい。
このように、多関節システム(5)およびそのツール(4)の動作を作業環境(3)の各種要素と関連づけて知ることができ、あらかじめ定義された衝突防止パラメータによって自動的に衝突を回避することができる。
対象物(2)に対する所望の操作を行うため、設備(1)は、様々なタイプの複数のツール(4)や、3Dカメラ(16)のような3Dセンサを専用の収納箱内に入れるなどして、近傍に保管する形で備えることが好ましい。
この3Dカメラ(16)は3Dカメラ(6A、6B、6C)と同タイプであることも、それとは異なるものであることもできるが、後者の場合、有利には3Dカメラ(6A、6B、6C)よりも精度の高いものとされる。
そのため、本発明による方法は、多関節システム(5)を自動で、したがって安全に、動作させて、近傍に保管された3Dカメラ(16)のもとに送り、3Dカメラ(16)を把持してそれに接続するステップA”をステップAの後に含むことが有利である。
多関節システム(5)が3Dカメラ(16)を把持した後、方法は、多関節システム(5)の動作を制御して、3Dカメラ(6A、6B、6C)よりも高精度の3Dカメラ(16)を用いて対象物(2)の様々なゾーンの詳細画像を、全体点群(7)よりも高密度かつ高精度の点群の形でキャプチャし、対象物(2)の対応ゾーンのそのキャプチャ画像(9)を全体点群(7)の対応部分の代わりにワーク画像(17)(図4参照)内に組み込むステップA’(図2参照)を含む。
様々な画像をキャプチャする多関節システム(5)の動作は、自動的に制御されるか、または作業環境(3)の遠隔から作業者によって、たとえば制御レバーで制御されることによって、アクセス不能なゾーンの画像のキャプチャを可能とするか、またはたとえば全体点群(7)から特定のゾーンが直接選択され、その選択によって多関節システムの自動的な動作が引き起こされることで制御される。この構成では、実際の作業者は自分が対象物のモデル化の精度を上げたいと望むゾーンを選択する。すると、最善の視点から画像をキャプチャするために必要とされる多関節システム(5)の位置をソフトウェアが計算する。ここで留意されるべきは、多関節システム(5)の動作は、CADによって、または全体点群(7)を通して、または細部の画像(9)を通して、ワーク画像(17)ですべてがモデル化されているために、多関節システム(5)、3Dカメラ(16)、対象物(2)および作業環境(3)の各種要素の間で衝突を起こさずに行われるという点である。
また、設備(1)の操作安全性を高めるため、ステップA’では、CADモデル化の結果が既知のツール(4)または多関節システム(5)の一部が対象物(2)または作業環境(3)の要素に接近すると、多関節システム(5)の動作が自動的に減速し、ツール(4)または多関節システム(5)の一部が障害物に対して安全距離まで来たところで動作は停止する。
上記により、多関節システム(5)の動作、とりわけ保持された3Dカメラ(16)の動作を制御する作業者は、自ら操作を行おうとする対象ゾーンの細部の画像(9)をキャプチャする。対象物(2)のその詳細画像(9)は自動的にワーク画像(17)に組み込まれ、それによって部分的により高い精度で対象物(2)を再構成し、操作が行われる場所におけるその幾何学形状の詳細を知ることができる。
幾つかの異なるタイプのツール(4)が利用可能であるという前提に立つ場合、方法は、操作を行うためのツール(4)をシミュレーションで、またシミュレーションのためにツールデータベースの中から選ぶステップB’を含む。
その場合、図5を参照すると、方法は、対象物(2)を表すワーク画像(17)の部分に対してツール(4)の軌道(10)を定義し、それに対応する多関節システム(5)およびツール(4)の動作をワーク画像(17)でシミュレーションして、方向、アクセス可能性、衝突のないことなどに関して操作が実行可能であることを担保するステップBを含む(図6参照)。
作業者は、対象物(2)の詳細の画像(9)をキャプチャして、それをワーク画像(17)に組み込むことにより、ツール(4)の軌道(10)の定義および位置決めに関してより高い精度の支援を得ることができる。
作業者は、軌道(10)を定義するため、ディスプレイ上に表示されたワーク画像(17)に始点-終点ペアまたは線、平面、マスク等々からなるライブラリから選んだ幾何学形を位置決めすることができ、コンピュータ処理システムは対象物(2)上に軌道(10)を自動的に計算するように設計される。必要な場合には、処理システムは軌道(10)の手動調整を行うことが可能であり、または対象物(2)の表現の上に作業者が軌道(10)の線を直接引くことができる。
たとえば、図5を見ると、切削を行う対象物(2)の表面の表現に対して平面(11)が位置決めされており、コンピュータ処理システムは平面(11)とその表面の交点によって軌道(10)を定義している。この手法は、平面(11)の位置決めを見てとることができる図7にも示されているほか、図8でも、軌道(10)が計算され、平面(11)と対象物(2)の表現の交点によってプロットされている様子がわかる。
軌道(10)が計算されると、コンピュータ処理システムはそれに対応する多関節システム(5)およびツール(4)の動作をワーク画像(17)内でシミュレーションできるようにして、操作が可能となるようにするが、それがテストされた軌道(10)、ツール(4)および多関節システム(5)の動作可能性に応じたものであることは言うまでもない。動作テストのステップはたとえば図6および図9に示されている。シミュレーションの結果、動作が可能であること、すなわち、方向およびアクセスの面で可能であり、さらに動作によって設備(1)および作業環境(3)の各種要素間の衝突が起こらないことが示されれば、実際に動作を行うことができる。ステップBは実施可能な動作を得るために必要な限り何度でも実施される。
この場合、方法は、3Dカメラ(16)を取り外して専用の収納箱などに収め、あらかじめ選ばれて同じく近傍に保管されていたツール(4)に接続するように多関節システム(5)を自動で動作させるステップC’を含むことが有利である。
ツール(4)の接続後、方法は、操作が実行可能であることがシミュレーションによって示されたならば、定義され、その妥当性が確認された軌道に従ってツール(4)を保持する多関節システム(5)を実際に動作させて、対象物(2)に対してその操作を行うステップCを含む。
好ましくは、設備は、ステップCでは、ツール(4)の破損を防ぐため、ステップCで対象物(2)に直接接するツール(4)を保持する多関節システム(5)の動作速度を、ツールにかかる力の直接的または間接的な計測に基づいてリアルタイムで調節する手段を備える。たとえば、この計測は、多関節システム(5)を動かすためにツール(4)またはモータによって消費される電流を計測することによって得るか、または多関節システム(5)とツール(4)の間に配設された力センサによって得ることができる。
簡単に理解できるように、図10に方法のステップの順序を簡易フローチャートの形で示す。
有利には、複数の切削操作など、対象物(2)に対して複数の操作を連続的に行う必要がある場合、後続の切削軌道(10)は前の切削操作の間にマスク時間に定義されるか、または複数の軌道(10)が、作業者による変更が可能な順序で逐次行われるようにシミュレーションされ、記録される。
本発明はまた、たとえば対象物(2)の切削に関連するケースで、対象物が追加されたり、スペースが空いたりすることによる新たな要素または潜在的な障害物のために変化する環境のもとでは特に有利であり、その場合、本発明の方法のステップAからCまでを繰り返すことにより、対象物(2)に対する操作を継続するための最新の画像およびシミュレーションを容易に衝突のリスクもなく得ることができる。
ディスプレイは、設備(1)、対象物(2)および環境の各種要素をCADモードで表示する。好ましくは、多関節システム(5)はインタラクティブな色で表される。すなわち、多関節システム(5)はたとえば緑で表され、その1つの部分が障害物に接近していくと、多関節システム(5)および/またはツール(4)が衝突管理パラメータで定義された衝突リスクゾーンに入ったときにその部分の色がオレンジに変わり、さらに多関節システム(5)および/またはツール(4)が衝突管理パラメータで定義された閾値距離に到達して動作が停止すると赤へと順次変化する。
以上のことから、本発明は、対象物(2)および作業環境の位置や幾何学形状が変化し、かつ/または操作を行うには十分に定義されていない作業環境(3)内にある対象物(2)に対して自動的かつ安全に操作を行うための方法および設備(1)を提供するものであることは明瞭である。
この方法は、対象物(2)のいかなるタイプの幾何学形状または性質に対しても適合させることができる。環境および対象物(2)をデジタル化によって全体点群の形で確定する第1のステップは3Dカメラによって行われ、それによって対象物(2)および環境の各種要素のあらゆるタイプの位置および幾何学形状に対する適合化も可能となる。処理時間は短く、1秒間に500,000個の計測ポイントをこなす。環境から得られる詳細は重要で、情報は連続的である。そのため、リアルなレンダリングおよびモデリングをリアルタイムで行うことができ、作業者は点群(7)で再構成されたものが正しいかどうかを視覚的に容易にチェックすることができる。
1 設備
2 対象物
3 作業環境
4 ツール
5 多関節システム
6 3Dカメラ、3Dセンサ
7 点群
8 アーチ
9 画像
10 軌道
11 平面
16 3Dカメラ、3Dセンサ
17 ワーク画像
2 対象物
3 作業環境
4 ツール
5 多関節システム
6 3Dカメラ、3Dセンサ
7 点群
8 アーチ
9 画像
10 軌道
11 平面
16 3Dカメラ、3Dセンサ
17 ワーク画像
Claims (10)
- 作業環境(3)内で可動な多関節システム(5)によって保持されたツール(4)を用いて対象物(2)に対する操作を自動で行うための方法において、
- 前記対象物(2)および前記作業環境(3)のすべてまたは一部の画像を少なくとも1つの3Dセンサ(6A、6B、6C)を用いて全体点群(7)の形でキャプチャし、前記画像(7)を前記多関節システム(5)の既存のCADモデルおよび出来形の前記作業環境(3)のすべてまたは一部の可能な既存のCADモデルとマージし、このマージによってワーク画像(17)がもたらされ、さらに衝突防止パラメータを定義するステップAと、
- 前記対象物(2)を表す前記ワーク画像の部分に対して前記ツール(4)の軌道を定義し、前記ワーク画像(17)で前記多関節システム(5)および前記ツールの対応する動作のシミュレーションを行って前記操作が実行可能であることを担保するステップBと、
- ステップBで前記操作が実行可能であるとされたならば、前記対象物(2)に対する前記操作を行うために定義された前記軌道(10)に従って前記ツール(4)を保持する前記多関節システム(5)の動作を実際に行うステップCと
を少なくとも含むことを特徴とする方法。 - 前記多関節システム(5)によって保持された3Dセンサ(16)を用いて前記対象物(2)のゾーンの詳細画像(9)を前記全体点群よりも高密度で、より高精度の点群の形でキャプチャするように前記多関節システム(5)の動作を制御し、前記対象物(2)の対応するゾーンの前記キャプチャ画像(9)を前記全体点群(7)による対応部分の代わりに前記ワーク画像(17)に組み込むステップA’をステップAとステップBの間に含むことを特徴とする、請求項1に記載の方法。
- 前記多関節システム(5)を自動で動作させて、近傍に保管された前記3Dセンサ(16)を把持して接続するステップA”をステップAとステップA’の間に含むことを特徴とする、請求項2に記載の方法。
- 前記多関節システム(5)を自動で動作させて、任意に3Dセンサ(16)を取り外して降ろし、近傍に保管された前記ツール(4)に接続するステップC’をステップBとステップCの間に含むことを特徴とする、請求項1から3のいずれか一項に記載の方法。
- 前記操作を行うためのツール(4)をステップBのシミュレーションで、またシミュレーションのためにツールデータベースの中から選ぶステップB’をステップBの前に含むことを特徴とする、請求項1に記載の方法。
- ステップCで、前記対象物(2)に直接接する前記ツール(4)を保持する前記多関節システム(5)の動作速度が、前記ツール(4)にかかる力の直接的または間接的な計測に基づいてリアルタイムで調節されることを特徴とする、請求項1に記載の方法。
- ステップA’で、前記3Dセンサ(16)または前記多関節システム(5)の一部が前記対象物(2)または前記作業環境(3)の要素に接近すると前記多関節システムの動作が自動的に減速し、前記3Dセンサ(16)または前記多関節システム(5)の一部が対象物(2)または前記作業環境(3)の要素に対してステップAで定義された衝突防止パラメータによる安全距離まで来たところで動作は自動的に停止することを特徴とする、請求項1に記載の方法。
- ステップBにおける前記対象物(2)を表す前記ワーク画像の部分に対する前記ツール(4)の軌道が、少なくとも1つの始点-終点ペアか、またはあらかじめ定義された少なくとも1つの幾何学形、とりわけ平面(11)、少なくとも1つの線、もしくはマスクのいずれかを前記ワーク画像(17)内に位置決めすることによって定義されることを特徴とする、請求項1に記載の方法。
- 請求項1に記載の方法を実装するための設備(1)において、多関節システム(5)と、コンピュータ処理システムおよびディスプレイに接続された少なくとも1つの3Dセンサ(6、16)とを備え、前記コンピュータ処理システムが、
- 少なくとも1つの3Dセンサ(6、16)によってキャプチャした画像をもとに、前記対象物(2)および前記作業環境(3)のすべてまたは一部の全体点群(7)をディスプレイ上に表し、
- 前記多関節システム(5)の既存のCADモデル、および前記作業環境(3)のすべてまたは一部の可能な既存のCADモデルの前記全体点群(7)をマージして得られるワーク画像(17)を表し、
- 前記対象物(2)を表す前記ワーク画像(17)の部分に対する前記ツール(4)の軌道(10)の定義を可能にし、
- 前記ワーク画像(17)で前記多関節システム(5)および前記ツール(4)の対応する動作のシミュレーションを行って前記操作が実行可能であることを担保し、
- 前記操作が実行可能であるとされたならば、前記対象物(2)に対して前記操作を行うために定義された前記軌道(10)に従って前記ツール(4)を保持する前記多関節システム(5)を実際に動作させるように設計されることを特徴とする設備。 - ステップCで前記対象物(2)に直接接する前記ツール(4)を保持する前記多関節システム(5)の動作速度を、前記ツール(4)にかかる力の直接的または間接的な計測に基づいてリアルタイムで調節する手段を備えることを特徴とする、請求項9に記載の設備。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR2002515 | 2020-03-13 | ||
FR2002515A FR3108183B1 (fr) | 2020-03-13 | 2020-03-13 | Procédé de réalisation automatique d’une opération sur un objet avec un outil porté par un système polyarticulé |
PCT/FR2021/050380 WO2021181035A1 (fr) | 2020-03-13 | 2021-03-05 | Procédé de réalisation automatique d'une opération sur un objet avec un outil porté par un système polyarticulé |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023530209A true JP2023530209A (ja) | 2023-07-14 |
Family
ID=72266362
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022555706A Pending JP2023530209A (ja) | 2020-03-13 | 2021-03-05 | 多関節システムによって保持されたツールを用いて対象物に対する操作を自動で行うための方法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US20230106854A1 (ja) |
EP (1) | EP4117867A1 (ja) |
JP (1) | JP2023530209A (ja) |
KR (1) | KR20220154716A (ja) |
CN (1) | CN115916476A (ja) |
FR (1) | FR3108183B1 (ja) |
WO (1) | WO2021181035A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113848803B (zh) * | 2021-10-14 | 2023-09-12 | 成都永峰科技有限公司 | 一种深腔曲面加工刀路生成方法 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3817530B2 (ja) * | 2003-06-30 | 2006-09-06 | 本田技研工業株式会社 | 3次元形状測定方法及びその測定装置 |
FR2896441B1 (fr) * | 2006-01-23 | 2009-07-03 | Jerome Grosbois | Procede et systeme permettant la prehension automatisee de piece(s) |
DE102006005958A1 (de) * | 2006-02-08 | 2007-08-16 | Kuka Roboter Gmbh | Verfahren zum Erzeugen eines Umgebungsbildes |
US8271132B2 (en) * | 2008-03-13 | 2012-09-18 | Battelle Energy Alliance, Llc | System and method for seamless task-directed autonomy for robots |
JP5259286B2 (ja) * | 2008-07-16 | 2013-08-07 | 株式会社日立製作所 | 3次元物体認識システム及びそれを用いた棚卸システム |
JP6140204B2 (ja) * | 2015-02-06 | 2017-05-31 | ファナック株式会社 | 3次元センサを備えた搬送ロボットシステム |
JP6328599B2 (ja) * | 2015-11-20 | 2018-05-23 | ファナック株式会社 | ロボットの動作可能範囲を算出するロボットの手動送り装置 |
US9694494B1 (en) * | 2015-12-11 | 2017-07-04 | Amazon Technologies, Inc. | Feature identification and extrapolation for robotic item grasping |
US10766140B2 (en) * | 2017-04-13 | 2020-09-08 | Battelle Memorial Institute | Teach mode collision avoidance system and method for industrial robotic manipulators |
JP7166767B2 (ja) * | 2017-05-25 | 2022-11-08 | キヤノン株式会社 | 機器、製造方法、およびシステム |
GB2571528A (en) * | 2018-02-28 | 2019-09-04 | Rolls Royce Plc | Controlling a robot in an environment |
EP3744482B1 (de) * | 2019-05-27 | 2021-12-29 | Sick Ag | Absichern eines beweglichen maschinenteils |
FI20195670A1 (en) * | 2019-08-12 | 2021-02-13 | 3R Cycle Oy | Method and device for disassembly of electronics |
US20230158679A1 (en) * | 2020-04-06 | 2023-05-25 | Siemens Aktiengesellschaft | Task-oriented 3d reconstruction for autonomous robotic operations |
CN112091971B (zh) * | 2020-08-21 | 2021-10-12 | 季华实验室 | 机器人手眼标定方法、装置、电子设备和系统 |
US20240042605A1 (en) * | 2022-08-05 | 2024-02-08 | Mingfeng ZHANG | Apparatus and a Method for Automatically Programming a Robot to Follow Contours of Objects |
-
2020
- 2020-03-13 FR FR2002515A patent/FR3108183B1/fr active Active
-
2021
- 2021-03-05 US US17/906,142 patent/US20230106854A1/en active Pending
- 2021-03-05 EP EP21714659.6A patent/EP4117867A1/fr active Pending
- 2021-03-05 CN CN202180029322.7A patent/CN115916476A/zh active Pending
- 2021-03-05 KR KR1020227034950A patent/KR20220154716A/ko active Search and Examination
- 2021-03-05 JP JP2022555706A patent/JP2023530209A/ja active Pending
- 2021-03-05 WO PCT/FR2021/050380 patent/WO2021181035A1/fr active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2021181035A1 (fr) | 2021-09-16 |
FR3108183B1 (fr) | 2022-02-25 |
US20230106854A1 (en) | 2023-04-06 |
CN115916476A (zh) | 2023-04-04 |
KR20220154716A (ko) | 2022-11-22 |
EP4117867A1 (fr) | 2023-01-18 |
FR3108183A1 (fr) | 2021-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10737396B2 (en) | Method and apparatus for robot path teaching | |
JP4817603B2 (ja) | 工業ロボットをプログラミングするための方法およびシステム | |
EP1447770B1 (de) | Verfahren und Vorrichtung zur Visualisierung rechnergestützter Informationen | |
Chong et al. | Robot programming using augmented reality: An interactive method for planning collision-free paths | |
US7236854B2 (en) | Method and a system for programming an industrial robot | |
US6587752B1 (en) | Robot operation teaching method and apparatus | |
EP1842631B1 (en) | Apparatus and method for automatic path generation for an industrial robot | |
CN114728413B (zh) | 用于控制远程机器人的图形用户界面的方法和系统 | |
EP2954987A1 (en) | Teaching system, robot system, and teaching method | |
JP5113666B2 (ja) | ロボット教示システム及びロボットの動作のシミュレーション結果の表示方法 | |
KR102001214B1 (ko) | 가상 현실 기반 양팔로봇 교시 장치 및 방법 | |
WO2011039542A1 (en) | Method and system of programming a robot | |
US20110046783A1 (en) | Method for training a robot or the like, and device for implementing said method | |
JP2001060108A (ja) | ロボット動作教示装置および動作教示方法 | |
JP7335998B2 (ja) | 双腕ロボット組立システム | |
JP7555726B2 (ja) | 静止マーカに対する機械の位置を較正する方法、arアルゴリズムを使用して拡張現実マーカに対するロボットの位置を較正する方法、および静止マーカに対する機械の位置を較正するシステム | |
JP2023530209A (ja) | 多関節システムによって保持されたツールを用いて対象物に対する操作を自動で行うための方法 | |
Pachidis et al. | Vision-based path generation method for a robot-based arc welding system | |
Makita et al. | Offline direct teaching for a robotic manipulator in the computational space | |
DE102022202563B3 (de) | Planen einer Bahn eines Roboters | |
Solvang et al. | Robot programming in machining operations | |
Hamel et al. | Elements of telerobotics necessary for waste clean up automation | |
Solvang et al. | SAPIR: Supervised and adaptive programming of industrial robots | |
KR20220110546A (ko) | 로봇을 프로그래밍하기 위한 방법 및 시스템 | |
Zarco et al. | Determining and Evaluating Trajectories of a Modular Machine End-Effector in a Manufacturing Environment using a Game Engine |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221115 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240305 |