JP2024019095A - 拡張現実及び他の位置基準の技術によるロボットアプリケーションの協働安全認識 - Google Patents
拡張現実及び他の位置基準の技術によるロボットアプリケーションの協働安全認識 Download PDFInfo
- Publication number
- JP2024019095A JP2024019095A JP2023121657A JP2023121657A JP2024019095A JP 2024019095 A JP2024019095 A JP 2024019095A JP 2023121657 A JP2023121657 A JP 2023121657A JP 2023121657 A JP2023121657 A JP 2023121657A JP 2024019095 A JP2024019095 A JP 2024019095A
- Authority
- JP
- Japan
- Prior art keywords
- machine
- operator
- robot
- dynamic safety
- orientation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 17
- 238000005516 engineering process Methods 0.000 title description 4
- 230000000007 visual effect Effects 0.000 claims abstract description 17
- 238000004891 communication Methods 0.000 claims abstract description 13
- 238000000034 method Methods 0.000 claims description 39
- 230000006399 behavior Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000013024 troubleshooting Methods 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 claims description 3
- 239000003550 marker Substances 0.000 description 24
- 230000006870 function Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 4
- 230000003466 anti-cipated effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 239000000872 buffer Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000003466 welding Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000010420 art technique Methods 0.000 description 1
- 239000011324 bead Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
- B25J9/1676—Avoiding collision or forbidden zones
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/06—Control stands, e.g. consoles, switchboards
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/06—Safety devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/32—Operator till task planning
- G05B2219/32014—Augmented reality assists operator in maintenance, repair, programming, assembly, use of head mounted display with 2-D 3-D display and voice feedback, voice and gesture command
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40202—Human robot coexistence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Manipulator (AREA)
Abstract
【課題】拡張現実(AR)により実現されるロボットアプリケーションの協働安全認識システムの提供。【解決手段】作業セル内の1つ以上のロボットが、作業セル内のオペレータに装着されたAR装置で実行されるアプリケーションと通信する。AR装置は、ヘッドセット装置、タブレット又は教示操作盤であり得る。オペレータの周囲に動的安全領域が生成され、動的安全領域の位置は、ARアプリケーションにより提供されるAR装置の位置に基づいて、ロボット制御装置により継続的に更新される。AR装置の位置は、慣性センサ及び視覚的オドメトリを用いて決定される。ロボット制御装置は、ロボットが動的安全領域内に入る動作を禁止し、ロボットと動的安全領域との干渉条件を回避するために、必要に応じてロボットの減速又は経路変更を行う。【選択図】図4
Description
(関連出願の相互参照)
本出願は、2022年7月27日に提出された、タイトルを「COLLABORATIVE SAFETY AWARENESS FOR ROBOTIC APPLICATIONS ENABLED BY AUGMENTED REALITY AND OTHER LOCATION-BASED TECHNOLOGIES」とする米国仮出願第63/369569号の優先日の利益を主張するものある。
本出願は、2022年7月27日に提出された、タイトルを「COLLABORATIVE SAFETY AWARENESS FOR ROBOTIC APPLICATIONS ENABLED BY AUGMENTED REALITY AND OTHER LOCATION-BASED TECHNOLOGIES」とする米国仮出願第63/369569号の優先日の利益を主張するものある。
本発明は、ロボットの動作安全領域の確立の分野に関し、特には、ユーザが着用又は保持する拡張現実(AR)装置を使用して、ユーザの周囲に、ユーザ安全領域への進入が禁止されているロボットの動作安全領域を確立して継続的に更新するシステムに関する。
産業用ロボットは、様々な機能を正確かつ確実に実行できる複雑な機械である。状況によっては、作業ロボットのすぐ近くの作業セル内に人間のオペレータが配置される必要がある。ロボットの設置/用途に精通している人には、ロボットの空間的移動の許可又は禁止を定義する動作領域を定義することが知られている。動作領域は、ロボットの動作を禁止する安全領域や、人間のオペレータの存在等の一定の条件下でロボットの動作を禁止する条件付き安全領域等を含む様々な用途に使用される。しかし動作安全領域は、伝統的に手動で定義される静的なものである。つまり、安全領域が確立されると、その領域はロボット作業セル内の固定スペースを具体化し、ロボット作業セル内の全ての人は安全領域内に留まる責任がある。
一部の既存のロボット安全システムは複数の安全領域を含んでおり、センサが特定の安全領域の予め定めた境界内の物体の存在を検出すると、個々の動作安全領域がアクティブとしてトリガされる。これらのシステムは、ユーザの存在に対してある程度適応できるという利点があるが、そのようなシステムは人と他の物体とを区別できず、速度に基づいてユーザの将来の位置を予測することができないため、予め定めた静的安全領域の確立が依然として必要であるとともに、各安全領域内の物体検出のためにセンサを備える必要がある。
上記の状況に照らして、安全領域が画定され、その位置がロボット作業セル内のオペレータの位置に基づいて継続的に更新される、産業用ロボット用の協働安全認識システムを提供することが望まれる。
本開示の教示に従って、拡張現実によって実現されるロボットアプリケーションのための協働安全認識システムが開示される。作業セル内の1つ又は複数のロボットは、作業セル内のオペレータが所有する拡張現実(AR)装置上で実行されているアプリケーションとリアルタイムで通信する。AR装置は、オペレータが装着するヘッドセット装置であってもよいし、オペレータが保持するタブレットやティーチペンダント装置であってもよい。動的安全領域がオペレータの周囲に作成され、動的安全領域の位置は、ARアプリケーションによって提供されるAR装置の位置に基づいて、ロボット制御装置によって継続的に更新される。AR装置の位置は、内部慣性センサ及び視覚的なオドメトリを使用するARアプリケーションから既知である。ロボット制御装置は、動的安全領域内へのロボットの動作を禁止し、必要に応じてロボットの速度を下げるか、ロボットと動的安全領域との間の干渉状態を防ぐためにロボットの経路を変更する。
開示された装置及び方法の追加の特徴は、添付の図面と併せて、以下の説明及び特許請求の範囲から明らかになるであろう。
拡張現実によって可能になるロボットアプリケーションのための協働安全認識システムを対象とした本開示の実施形態の以下の説明は、本質的に単に例示であり、開示された装置及び技術、又はそれらのアプリケーション若しくは使用を制限することを意図するものではない。
産業用ロボットのユーザコミュニティでは、ロボットの進入を禁止する領域等、ロボットの動作に関連する安全領域や他のタイプの空間的領域を画定することが周知である。これらの安全領域及び他のタイプの領域は、まとめて動作領域と称されることもある。
動作領域は一般的に、産業用ロボットや他の種類の機械の動作の境界を確立するために使用される。以下の説明及び対応する図面を通じて、動作領域は産業用ロボットの文脈で説明され図示される。しかしながら、開示されたシステム及び方法は、ロボットだけでなく、干渉、衝突、及びオペレータの安全が懸念される空間エンベロープを通って移動する任意の他の種類の機械にも適用可能である。
許可又は禁止された動作空間を画定する3次元(3D)ボリューム、ロボットアームや他のアイテムの周囲に空間バッファを確立する干渉チェック領域、及びロボットの関節位置を監視する関節位置チェック領域等を含む、様々な種類の動作領域が確立可能である。動作領域は伝統的に、ロボットがその作業セル内で生産作業を行う前に確立され、次にロボットの速度及び位置が、これらの領域に対して継続的にチェックされ、それにより、ロボットが常に画定された領域の境界を遵守しているかが確認される。本開示の技術に関する以下の説明は、人間のオペレータを保護するための動作安全領域に関する。
図1は、当技術分野で周知のような、産業用ロボット100、人間のオペレータ102、及び、オペレータ102を保護するための安全領域として確立された動作領域110を示す。テーブル104は、ロボット100による作業のためにワークを載置できるスタンド又はプラットフォームとして機能する。図1に示す動作領域110は正六面体の形状を有するが、動作領域110は、非対称、非平面、円筒形状又は球形状のボリューム等を含む任意の形状を有し得る。図1に示す動作領域110は、テーブル104の真上にロボット100の禁止空間を画定する安全領域である。さらに、領域110は条件付き安全領域であり、このことは、オペレータ102がテーブル104の近くに存在するとき(フロアパッド(オペレータ102がその上に立っているときに重量を検出する)又はセンサ(光線の遮断を検出する赤外線センサや光学センサ等)によって表示可能)にのみ、領域110へのロボットの侵入が禁止されることを意味する。
図1の動作領域110は、一種の適応型安全領域を示しており、オペレータ102がテーブル104の近くにいないときはロボット100が領域110に入ることが許可され、テーブル104の近くにオペレータ102がいるときはロボット100がゾーン110に入ることが禁止される。このタイプの安全領域は有用であるが、オペレータ102の実際の位置に基づいて適応的に再配置することはできず、動作領域110の限界を理解するのはオペレータ102の責任である。例えば、落下した部品を回収するためにオペレータ102がテーブル104の反対側を歩き回る場合は、領域110は、ロボット100との接触からオペレータ102を保護するのに全く効果がない。
他の周知のロボット安全システムは、複数の安全領域を画定し、全ての領域内のオペレータ又は他の物体の存在を判断するためにセンサを使用する。これらのシステムは、必要なセンサの個数によって高価になる可能性があり、複数の領域を予め画定する必要があるためにその構築が困難で時間がかかり、場当たり的なオペレータの動きに適応する柔軟性も備えていない。
各超現実(AR)システムを産業用ロボットと関連付けて使用することも周知である。例えば、人間による動作境界領域の画定を補助するARシステムが、2019年6月26日に出願され、タイトルを「拡張現実を使用した動作境界領域の視覚化及び修正(VISUALIZATION AND MODIFICATION OF OPERATIONAL BOUNDING ZONES USING AUGMENTED REALITY)」とする米国特許出願第16/453,811号に記載されており、その全体は本参照により本明細書に組み込まれるものとする。さらに、人間によるロボットのピックアンドプレースパラメータの規定を補助するARシステムが、2019年6月26日に出願され、タイトルを「ロボットピッキングシステムの拡張現実視覚化(AUGMENTED REALITY VISUALIZATION FOR ROBOTIC PICKING SYSTEM)」とする米国特許出願第16/453,838号に記載されており、その全体は本参照により本明細書に組み込まれるものとする。
上述のARシステムは、AR装置(典型的にはヘッドセット装置又はタブレットコンピュータデバイスのいずれか)を使用して、コンピュータで生成された仮想要素(領域境界、仮想パーツ等)を、現実世界のロボットや作業セル内の他の物体等の画像に重ね表示する。仮想要素をロボットや他の物体に対して適切に表示するために、AR装置及びARアプリケーションソフトウェアは、作業セル内でのAR装置の位置及び向きを常に認識している必要がある。
図2は、当技術分野で周知のような、ロボット作業セル内のAR装置の位置を記録し追跡するための技術を示す図である。ロボット210は、作業セルに取り付けられており、ロボットベース基準フレーム(座標系)212を定義する。ロボット210は、各ロボットアームに1つの座標系等、他の多くの基準フレームを定義することができ、他の基準フレームの各々の位置及び向きは、当業者には周知のように、基本基準フレーム212に関して直接的又は間接的に定義可能である。しかし、ロボット210に対するAR装置の位置を規定する目的では、ベース基準フレーム212のみが重要である。
視覚的マーカ220は、作業セル内の固定位置に配置される。マーカ基準フレーム222は、マーカ220に関して定義された原点及び向きを有する。例えば、マーカ基準フレーム222はマーカ220の一隅に原点を有することができ、そのX軸及びY軸はマーカ220の2つのエッジに沿って延びる。ロボットベース基準フレーム212に対するマーカ基準フレーム222の位置及び向き(ステップ1として示す)は、当技術分野で周知の測定及び校正プロセスによって定められる。このプロセスは、マーカ220の位置及び向きの正確な測定を行うことを含み得る。
AR装置230は、自らに定義されたAR装置基準フレーム232を有する。AR装置230は、ユーザ234が着用可能なヘッドセット装置であることが好ましく、ヘッドセットは、プロセッサ、慣性センサ、カメラ及びゴーグルを有し、ゴーグルは、現実世界の物体を含むユーザの視界の上に、コンピュータが生成した3D画像を重ね表示する。AR装置230は、モバイルフォン、タブレット装置又はロボットティーチペンダント等の携帯式装置であってもよく、その場合でも装置230は、必要な通信システムに加え、プロセッサ、慣性センサ、カメラ及び表示画面をさらに含む。AR装置230は、そのプロセッサ上でARアプリケーションを実行する。
ロボットベース基準フレーム212へのAR装置230の登録は、AR装置230がマーカ220の複数の画像を取得できるようにAR装置230のカメラを視覚的マーカ220に向けること(ステップ2として示す)によって実行される。このとは実際には、AR装置230のカメラをマーカ220に向けて、マーカ220がAR装置230のディスプレイに表示されるようにすることで達成される。AR装置230の自然な動き(人が保持又は着用していることによる)により、マーカ220(そのパターン及び位置はロボット制御装置及びARアプリケーションには既知である)の画像が、僅かに異なる複数の視点から提供される。これによりARアプリケーションは、マーカ基準フレーム222に対するAR装置基準フレーム232の位置及び向きを求めることができる。ロボットベース基準フレーム212に対するマーカ基準フレーム222の位置及び向きはステップ1から既知であるので、ARアプリケーションは、ロボットベース基準フレーム212に対するAR装置基準フレーム232の位置及び向きを計算することができる(ステップ3として示す)。当業者には明らかなように、AR装置230をロボットベース基準フレーム212に登録する他の方法を使用してもよい。
AR装置230の位置及び向きがロボットベース基準フレーム212に登録された後、ARアプリケーションは慣性及び視覚オドメトリを使用して、ロボットベース基準フレーム212に対するAR装置230の位置及び向きを継続的に追跡する。この技術(ステップ4として示す)では、AR装置230のプロセッサは、装置230に搭載された加速度計及びジャイロから信号を受信し、加速度信号及びヨーレート(yaw rate)信号の積分に基づいて、装置230の更新された位置及び向きを継続的に計算する。位置及び向きは、マーカ220又は既知の場所に存在する他の認識可能なアイテムの画像等、装置230のカメラからの画像に基づいてチェックされ修正される。
当業者に理解されるように、ロボットベース基準フレーム212は、実際にロボットベース上にある必要はなく、むしろ任意の作業セル座標フレームであってもよく、作業セル座標フレームとは、ロボットが動作する作業セル内の単なる固定座標系である。任意の固定作業セル座標系におけるロボットアームの位置、マーカ220の位置、及びAR装置230の動的位置は、単純な変換を使用して計算することができる。
図2に示して上述した技術により、AR装置上で実行されるARアプリケーションソフトウェアは、ロボット及びその作業セルに対するAR装置の位置及び向きを継続的に定めることができ、このことは、AR装置が、ARディスプレイで現実世界の物体に仮想要素を正確に重ねて表示するために必要な機能である。今やAR装置は、ロボット作業セルのオペレータによって一般的に使用されているので、このAR装置の位置追跡機能は、以下の説明に従い、オペレータの動的な安全領域の機能を提供するために利用可能である。
さらに、上述した視覚的マーカ並びに慣性及び視覚的オドメトリを使用する代わりに、又はそれらに加え、他の任意の位置追跡技術を使用することもできる。例えば、システムは、複数のトランシーバからの信号を三角測量することでAR装置の位置を追跡でき、AR装置の向きは、ヨーレートセンサ又はAR装置からの画像データを使用することで提供可能である。複数の技術の任意の適切な組み合わせを使用して、ロボット及びその作業セルに対するAR装置の位置及び向きを提供することができ、これは後述する動的安全領域の規定に使用される。
図3は、本開示の一実施形態に係る、ロボット作業セル内のAR装置のオペレータに動的安全領域を提供する技術を示す図である。ロボット310は、作業セル320内で動作する。ベース基準フレーム322は、ロボット制御装置がベース基準フレーム322(これは、必ずしもロボットベース上にある必要はなく、任意の固定作業セル座標フレームであり得る)に対する全てのロボットアーム及びツールの位置を常に知ることができるように、作業セル320内の固定位置に定義される。
AR装置332を装着したオペレータ330も、作業セル320内に位置する。ロボットのセットアップ及び検証中、並びに実際の生産ロボットの動作中の双方において、ロボットの動作中に作業セル内にオペレータが存在することはますます一般的になっている。上述したように、作業セル内でのオペレータの多くの異なる活動は、ARアプリケーションによって促進され得るので、オペレータ330はAR装置332を着用する必要がある。これも上述したように、AR装置332(好適な実施形態であるヘッドセットとして示されている)は、ヘッドセット装置ではなく、タブレットコンピューティングデバイス又はロボットティーチペンダントであってもよい。
ベース基準フレーム322に対するAR装置332の位置は、図2の説明において詳細に説明したように、図3のステップ1で決定される。動的安全領域340(ステップ2に示す)は、AR装置332の位置に基づいて、オペレータ330の周囲に画定される。動的安全領域340は、当然のことながら、3次元の空間ボリュームである。動的安全領域340は、AR装置のアプリケーションソフトウェアによって追跡されるAR装置332の位置に従って、オペレータ330とともに移動する。オペレータ330が作業セル320の周囲を移動する(ステップ3として様々な場所に図示)と、動的安全領域340もそれに応じて自動的に移動し、オペレータ330を、ロボット310の立ち入りが禁止されている領域内に常に維持する。以下でさらに述べるように、AR装置のアプリケーションソフトウェアは、AR装置332の位置をロボット制御装置に継続的に送信し、ロボット制御装置は、ロボットの動きを制御して、ロボット310のいかなる部分も動的安全領域340に入ることを防止する。
動的安全領域340は、特定の用途に適した多くの異なるパラメータを用いて構成可能である。例えば、動的安全領域340は、オペレータ330の周りに水平(又は放射状)バッファ342及び垂直バッファ344を有するように構成可能である。或いは、動的安全領域340は、(オプションの半球状上端部を備えた)特定の半径及び高さを有する垂直円筒として画定可能であり、半径及び高さは、デフォルト値を有してもよいし、ユーザが指定してもよい。動的安全領域340は円筒形である必要はなく、特定の用途に適した他の形状も画定可能である。動的安全領域340の構成(後述する挙動の種類、及びサイズ/形状)は、AR装置のアプリケーションソフトウェアを使用して実行可能であり、次にロボット制御装置に送信されてもよいし、又は、ロボット制御装置上で直接実行されてもよい。
AR装置332が(タブレット又はティーチペンダント等の)携帯式装置である場合、AR装置のアプリケーションソフトウェアは、オペレータ330の重心からの装置位置の僅かなオフセットを補償するように構成することができる。例えば、装置332は通常、オペレータ330の前方約1フィートに保持されるので、それに応じて動的安全領域340の中心を調整することができ、その場合、装置332に対するオペレータ330の位置が装置の向きから分かる。これと同様のオフセットの補償は、かなり小さいが、ヘッドセット装置の場合にも適用可能である。
AR装置332の速度に基づいて、動的安全領域340の移動も予測可能であり、かつ/又は、動的安全領域340のサイズが補償可能である。例えば、将来の時点での動的安全領域340の位置は、AR装置332の速度に基づいて予測可能である。代わりに、又はこれに加え、動的安全領域340のサイズは、予測される将来のオペレータ330の位置をカバーするために、動作方向に増大(水平方向に延伸)され得る。これらの速度基準の調整は、AR装置のアプリケーションソフトウェアによって実行されてロボット制御装置に送信されてもよいし、ロボット制御装置自体によって実行されてもよい。いずれの場合でも、動的安全領域340の境界を厳密に尊重しながらロボットの動作を最終的に計算し制御するのは、ロボット制御装置である。速度はAR装置によって直接決定されてもよいし、又は、以前の位置及び向きのデータに基づいて計算されてもよい。
ロボット310のいかなる部分も動的安全領域340に入るのを防ぐことに加えて、ロボット制御装置は、動的安全領域340及びAR装置のアプリケーションソフトウェアからの情報に基づいて、ロボットの動作に対して他の調整を行うことができる。これらの調整には、ロボット310を減速させること、又は、ツールをある位置から別の位置に移動させる際に異なる経路を辿るようにロボット310に命令することが含まれ得る。例えば、多くの場合、ロボット310は、部品のピックアンドプレースや、所定の経路に沿った一連の溶接作業の実行等、ツールの動作を定義するプログラムを実行している。将来のロボット位置の計算が、ロボット310のいずれかの部分(ツール又はアーム)が動的安全領域340に侵入するか、又はその将来の時点で動的安全領域340が存在する位置に侵入することを示した場合、制御装置は、ロボット310の速度をプログラムで規定された速度未満に下げることができる。もちろん、ロボットの速度を低下させた後でも安全領域への侵入が差し迫っている場合には、制御装置はロボット310の動作を完全に停止させる。
協働及び適応の別の例では、ロボットツールが現在の位置から次のプログラムされた位置に移動するときに、動的安全領域340がロボットツール又はアームが侵入するような位置にある場合、制御装置は侵入を回避するためにロボットツールの経路を変更することができる。経路の変更には、上昇して動的安全領域340の上方を移動すること、又は動的安全領域340の周囲を移動すること、又は、動的安全領域340を回避しながらロボット310が次のプログラムされた位置に到達することを可能にするアーム動作の他の組み合わせが含まれ得る。
図4は、本開示の一実施形態に係る、ロボット作業セル内のAR装置のオペレータに動的安全領域を提供するシステム400の図である。ロボット又は他の機械410は、作業セル420内に配置され、その中で動作する。ロボット410は、従来の産業用多関節ロボットとして示されているが、干渉、衝突、及びオペレータの安全が懸念される空間エンベロープを通って移動するロボット又は他のタイプの機械であってもよい。ロボットは、部品/材料の移動、溶接、塗装又は他の用途向けに構成された産業用ロボットが含むが、これらに限定されない。
ロボット410は、通常はケーブル414を介して制御装置412と通信するが、場合によっては無線でも通信する。当技術分野で周知のように、制御装置412は、プログラムに従ってロボット410を動作させるための命令を含むメモリ及びプロセッサを有し、ここでは制御装置412は、ロボット410上の関節エンコーダから位置情報を受信し、関節を規定する命令をロボット410に送信する。1つのロボット410のみが図示されているが、システム400は、作業セル420内で動作する多数のロボット410を含み得る。システム400に複数のロボット410が含まれる場合、各ロボット410は独自の制御装置412を有することができ、複数の制御装置412は相互に通信し、動的な安全領域の情報や他のデータを共有する。
オペレータ430は、ロボット410の動作中に作業セル420内に存在する。オペレータ430は、AR装置432を使用して、拡張現実アプリケーションプログラムを実行する。上述したように、AR装置432は、オペレータ430が着用するヘッドセット装置、又はオペレータ430が保持する携帯式装置(例えばタブレット又はティーチペンダント)であってもよい。AR装置432がヘッドセットである場合、ヘッドセットは、プロセッサ、慣性センサ、カメラ及びゴーグルを有し、ゴーグルは、現実世界の物体を含むユーザの視界又はカメラ画像の上に、コンピュータが生成した3D画像を重ね表示する。AR装置432は、モバイルフォン、タブレット装置又はロボットティーチペンダント等の携帯式装置であってもよく、その場合でも、装置432は、必要な通信システムに加え、プロセッサ、慣性センサ、カメラ及び表示画面をさらに含む。ARアプリケーションプログラムは、ロボットの構成に使用される拡張現実の特徴及び機能をオペレータ430に提供し、この特徴及び機能とは例えば、ロボット410のオペレータの視界に重ね表示されるロボットの経路、プログラム、境界及び/又は出力(例えばコーキングビーズ)や、作業セル420内に配置された他の要素の仮想表示である。
AR装置432は、ARアプリケーションプログラム及びロボット制御プログラムが双方向のデータ交換を維持できるように、制御装置412と無線で通信する。少なくとも、ARアプリケーションプログラムは、AR装置432の位置及び向きを制御装置412に提供し、それにより、制御装置412上で実行されるロボット制御プログラムは、図3に関して説明したように、オペレータ430の周囲に動的安全領域を形成することができる。AR装置432と制御装置412との間の無線通信は、無線ローカルエリアネットワーク(WiFi)、ブルートゥース(登録商標)、セルラー通信、又は他の適切な無線技術を介する物であり得る。
システム400はまた、作業セル420内に、固定された位置及び向きの視覚的マーカ440を含む。マーカ440の位置及び向きは、そのサイズ、形状及び視覚的デザインの詳細とともに、作業セル420の事前のセットアップ及び構成から、制御装置412に知られている。AR装置432は、ロボット410及び他のアイテムの画像をARアプリケーションプログラムに提供するために使用される少なくとも1つのカメラを含む。上述したように、作業セル420内のAR装置432の位置を校正するために、オペレータ430がカメラをマーカ440に向けたときにマーカ440のデジタル画像が取得される。AR装置432のプロセッサは、画像を分析し、マーカ440に対するAR装置432の位置及び向きを求める。その後、AR装置432は、マーカ440に対するその位置及び向きを、慣性センサ及び視覚オドメトリを使用して継続的に計算し、その結果は制御装置412に送信されるとともに、常にオペレータ430の周囲に位置する動的安全領域を確立するために制御装置412に使用される。上述したように、AR装置の速度や種類等に基づいて、動的安全領域の調整を行うことができる。
作業セル420が複数のロボット410を含む場合、AR装置432は、制御装置412のうちの1つ(マスタとして指定される)のみと無線通信することが好ましく、動的安全領域はマスタによって1回計算され、(有線または無線の)ローカルエリアネットワークを介して通信する全ての制御装置412と共有される。
動的安全領域の挙動としては、様々な構成オプションが可能である。構成は、制御装置412上で実行されるロボット制御プログラム及び/又はAR装置432上で実行されるARアプリケーションプログラム内で生成されてもよい。例えば、動的安全領域は、ARアプリケーションプログラム内の、オペレータ430によって起動される形状であってもよい。或いは、動的安全領域は、AR装置432が作業セル420内にあって電源がオンになっているときは、常にアクティブであると定義することができる。動的安全領域のサイズ、速度感度、及び挙動を記述する他のパラメータは、ARアプリケーションプログラムにおいてオペレータ430によって構成されることが好ましい。最終的に、ロボット410の任意の部分による安全領域への侵入を防止し、必要に応じてロボットの速度及び経路を調整することによって動的安全領域を遵守するのは、制御装置412上で実行されるロボット制御プログラムである。。
安全領域をロボット動作命令に組み込むためのいくつかの周知技術が、本開示の動的に配置された安全領域とともに使用可能である。例えば、アームとともに移動するパッド付きの動作領域(長方形の「バブル」)が各ロボットアームの周囲に画定可能であり、任意のパッド付きアーム動作領域と動的安全領域との間の差し迫った干渉により、制御装置412はロボット410を完全に停止させることができる。このようにして、ロボットアーム周りの動作領域へのパッド(自由空間)の付与と、オペレータ430周りの動的安全領域へのパッドの付与とは、オペレータ430に対するロボットの実際の接触を防止するための追加の安全マージンを提供する。
上述したように、予想される干渉状態を防ぐべくロボット410の速度を下げるか経路を変更するために、周知技術を使用することもできる。動的安全領域の機能が作動しているときは、AR装置432とロボット制御装置412との間の通信途絶が、コントローラ412によって検出可能であるとともに、制御装置412によるロボット410の完全停止を招き得る。この場合、好ましくはAR装置432上にオペレータ430に対する警告が表示され、オペレータ430に対して通信途絶及びロボット停止の理由を通知する。
各々が自身のAR装置432を有する複数のオペレータ430は、容易に理解可能な方法でサポートされ得る。すなわち、AR装置432の各々は、自らに関連付けられ、常に一緒に移動する動的安全領域を有し、動的安全領域の全てがロボット制御装置412によって重視される。同様に、複数のロボット410及び複数のオペレータ430は作業セル420内に存在する場合があり、その場合、各オペレータ430について動的安全領域が定義されて継続的に更新され、そして全てのロボット制御装置412は、全ての動的安全領域をロボット動作制御計算に組み込む。複数のロボット410の場合、ロボット動作制御計算には、ロボット間の衝突を防止するように設計された計算も含まれ得る。
本開示の他の実施形態では、AR装置432は、ロボット動作のための「有効化装置(enabling device)」である。有効化装置の概念は、産業用ロボットの構成及びセットアップにおける当業者には既知であり、有効化装置は一種のオペレータプレゼンススイッチとして機能し、このスイッチは、オペレータが存在しかつロボットの動作を認識していることを示す。従来のロボット構成システムでは、ロボットの教示操作盤が有効化装置として一般的に使用される。本開示の技術では、AR装置432及び自動配置された動的安全領域により、ロボットの教示操作盤、又は有効化装置として機能する他の装置の必要性を排除することができる。
AR装置432は、ロボットのセットアップ、構成、動作、トラブルシューティング、又は他の機能におけるプログラムの有益な機能のために、オペレータ430によって使用されているARアプリケーションプログラムを実行していることを理解されたい。本開示の技術に従ってAR装置432の位置により画定される動的安全領域は、追加のセンサ又は他の構成要素を必要としない追加の有益な特徴である。
動的安全領域自体は、AR装置の画面に表示されるため、オペレータはロボットの作業セル内での作業中に、安全領域及びそのステータスを見ることができる。システム構成で定義されているように、他の様々な表示オプションを実装することができる。例えば、ロボットアームの周囲の動作ゾーンは、オペレータがいる動的安全領域への近さに基づいて色分けすることができる。さらに、AR装置の画面に安全領域のステータスウィンドウを設けることもでき、これには、動的安全領域への侵入を避けるためにロボットが減速したり、経路変更したりするとき等の情報が表示される。
前述の議論を通じて、オペレータの安全領域の位置を確立(establish)し、自動的に更新するためのAR装置の使用が開示された。一部のアプリケーションでは、拡張現実の使用は不要であり、AR装置以外の位置検出装置をオペレータの位置の決定に使用することができる。例えば、オペレータはスマートフォンを自らのポケットに入れたり、身につけたりすることができ、そのスマートフォンは、オペレータの位置を決定して送信するのに適したWiFi、Bluetooth(登録商標)又は他の通信機能、並びに、慣性及び/又は他の位置追跡機能を含む。当業者には理解されるように、オペレータの位置を決定し通信するために他のタイプの装置を使用することもできる。
図5は、本開示の一実施形態に係る、図4のシステム400を使用して、ロボット作業セル内のAR装置のオペレータに動的安全領域を提供する方法のフローチャート図500である。ボックス502において、オペレータ430は、AR装置432上でARソフトウェアアプリケーション(アプリ)を開始し、AR装置432は、上述したように、無線通信チャネルを介してロボット制御装置412との通信を確立する。ボックス504において、AR装置432の位置及び向きが、ロボット410が動作する作業セル420内の固定座標系に対して校正される。作業セルの座標系は、ロボット制御装置412に既知であり、作業セルの座標系内のロボット関節位置及びツール先端点位置は、ロボット410の全ての位置的構成について計算することができる。AR装置432を作業セルの座標系に対して校正することは、上述したように、既知の位置及び向きを有する視覚的マーカ440にAR装置432内のカメラを向けることによって実行可能である。当業者には明らかなように、視覚的マーカ440の画像化以外に、AR装置432を作業セル座標系に対して校正する他の方法も使用可能である。
まだボックス504において、AR装置432の位置及び向きが作業セル座標系に対して校正された後、ARアプリケーションソフトウェアによって慣性及び視覚オドメトリが使用され、作業セル座標系に対するAR装置432の位置及び向きが継続的に追跡される。この技術では、AR装置432のプロセッサは、AR装置432に搭載された加速度計及びジャイロから信号を受信し、加速度信号及びヨーレート信号の統合に基づいてAR装置432の更新された位置及び向きを継続的に計算する。位置及び向きは、マーカ440、ロボットベース、又は既知の場所に存在する他の認識可能なアイテムの画像等、AR装置432上のカメラからの画像に基づいてチェックされ修正される。
ボックス506において、AR装置432は、該装置の位置及び向きをロボット制御装置412に通信する。同時にオペレータ430は、AR装置432上で動作するARアプリケーションソフトウェアを、その意図された目的のために使用する。上述したように、ARアプリケーションソフトウェアは、ロボットのセットアップ、構成、動作監視、トラブルシューティング、又はその他の機能に使用可能である。ボックス508において、ロボット制御装置412は、AR装置の位置に基づいて動的安全領域を画定する。動的安全領域は、オペレータ430が安全領域内に存在し、ロボット410から常に保護されるように画定され移動する。上述したように、安全領域は、AR装置の位置を中心としてもよいし、オペレータの重心に対するAR装置の位置を補償するために僅かにオフセットされてもよい。安全領域は、多くの異なるサイズ及び形状のオプションや、AR装置の速度に基づく任意の延伸又は移動等を用いて構成可能である。オプションの挙動パラメータに関係なく、ロボット制御装置412は常に、最後に受信したAR装置の位置データに基づいて動的安全領域を移動させ、オペレータ430の保護を維持する。
ボックス510において、ロボット制御装置412は、動的安全領域をロボット動作制御計算に組み込む。これには、少なくとも、ロボット410のいずれかの部分が動的安全領域に侵入するのを防ぐために、必要に応じてロボット410を停止させることが含まれる。ロボットの動作制御において動的安全領域を使用するには、動的安全領域との衝突の可能性が予想される場合にロボットアームを減速したり経路を変更したりする等、他のいくつかのオプションが利用可能である。また、パッド付きの動作領域(バブル)を各ロボットアームの周囲に画定してもよく、ロボットアームの動作領域とオペレータの動的安全領域との交差を使用して、ロボット410を完全に停止させることができる。その場合、パッド付きのロボットアームの動作領域及びオペレータの動的安全領域における自由空間は、ロボットアーム又はツールとオペレータ430との間の実際の接触を防止する安全マージンを提供する。
またボックス510では、AR装置は動的安全領域に関連する情報を表示することができ、この情報は、安全領域の幾何学的描写、安全領域の色分けされたステータス、及び、動的安全ゾーンの境界を重視するために、全てのステータスを列挙してロボット制御装置が実行した動作を識別する情報ウィンドウ等である。
ボックス510の後、フローチャート図500のプロセスはボックス506に戻り、そこでAR装置432の新たな現在位置及び向きが制御装置412に送信され、それに応じて動的安全領域が再配置される。プロセスは、AR装置432の電源がオンであり、AR装置432が作業セル420内に位置している限り、リアルタイムで継続的にループする。複数のオペレータ及び/又は複数のロボットが同様の方法で含まれてもよく、その場合全てのロボットは、全てのオペレータのAR装置から位置情報を受信し、対応する全ての動的安全領域は、ロボットの侵入から保護される。
これまでの説明を通じて、ロボットの動作及びタスクの制御や、AR装置の操作のための様々な制御装置が説明、暗示されている。これらの制御装置のソフトウェアアプリケーション及びモジュールは、プロセッサ及びメモリモジュール(不揮発性メモリ内に構築されたアルゴリズムを含む)を備えた1つ又は複数の計算機で実行されることを理解されたい。特に、これには、上述した図4のロボット制御装置412及びAR装置432内のプロセッサが含まれる。ロボット、その制御装置及びAR装置間の通信は、有線ネットワーク経由で行われてもよいし、携帯電話/データネットワーク、Wi-Fi、Bluetooth(登録商標)、ブロードバンドインターネット等の適切な無線技術を使用して行われてもよい。
上で概説したように、拡張現実によって可能になるロボットアプリケーションの協働安全認識のための開示された技術は、従来技術に比べていくつかの利点を提供する。AR装置及びそのARアプリケーション固有の位置追跡機能を使用して、AR装置の位置に基づいてオペレータの安全領域を自動的に移動させる機能は、静的な安全領域を手動で定義する従来技術よりもはるかに優れている。
拡張現実によって可能になるロボットアプリケーションの協働安全認識について複数の例示的な態様及び実施形態が説明されたが、当業者は、それらの修正、並べ替え、追加及びサブコンビネーションを認識するであろう。従って、添付の特許請求の範囲及び請求項は、それらの真の精神及び範囲内にあるそのような修正、並べ替え、追加及びサブコンビネーションの全てを含むと解釈すべきである。
Claims (20)
- 機械作業セル内のオペレータのための動的安全領域を提供するシステムであって、
作業セル内で動作可能な機械と、
前記機械と通信するとともに、プロセッサ及びメモリを備え、機械操作制御ソフトウェアを備えて構成された機械制御装置と、
前記機械制御装置と通信し、1つ又は複数のカメラ、位置追跡センサ及びディスプレイを備え、ARアプリケーションを実行するように構成されたプロセッサ及びメモリをさらに備えた拡張現実装置(AR装置)と、を有し、
前記ARアプリケーションは、作業セル座標系に対する前記AR装置の位置及び向きを確立して継続的に追跡し、前記AR装置の位置及び向きを前記機械制御装置に継続的に送信し、
前記機械制御装置は、前記AR装置の位置及び向きに基づいて、前記オペレータを囲繞する動的安全領域を画定して移動させ、前記動的安全領域を機械の動作制御計算に組み込み、前記機械のいかなる部分も前記動的安全領域内に入ることを防止する、システム。 - 前記AR装置は、前記オペレータが装着するヘッドセット装置である、請求項1に記載のシステム。
- 前記AR装置は、前記オペレータが携帯するスマートフォン、タブレット計算機又はロボット教示操作盤である、請求項1に記載のシステム。
- 前記ARアプリケーションは、前記作業セル座標系に対する前記AR装置の位置及び向きを、既知の構成を有しかつ前記作業セル座標系内の既知の場所に配置された視覚マーカの画像を解析することによって確立する、請求項1に記載のシステム。
- 前記位置追跡センサは、1つ又は複数のジャイロスコープ及び1つ又は複数の加速度計を備え、前記位置追跡センサは前記AR装置の前記プロセッサに信号を提供し、前記AR装置の位置及び向きの変化を継続的に計算することを可能にする、請求項1に記載のシステム。
- 前記動的安全領域は、前記ARアプリケーション又は前記機械操作制御ソフトウェアにおいて前記オペレータによって定義可能なサイズ及び挙動パラメータを有し、前記挙動パラメータは、前記AR装置の向きに基づく前記AR装置の位置からの前記動的安全領域の中心のオフセットと、前記AR装置の速度ベクトルに基づく前記動的安全領域の位置又はサイズの調整とを含む、請求項1に記載のシステム。
- 前記機械制御装置は、前記機械と前記動的安全領域との未来の干渉を防止するために、前記機械の減速又は動作経路の変更を行う、請求項1に記載のシステム。
- 前記ARアプリケーションは、前記機械制御装置が前記AR装置の位置及び向きに基づいて前記動的安全領域を確立して移動させている間、前記オペレータによって使用される、請求項7に記載のシステム。
- 前記ARアプリケーションは、現実世界の物体のカメラ画像に重ね表示される視覚的画面要素を提供し、前記ARアプリケーションは、機械のセットアップ、構成、動作監視又はトラブルシューティングのために前記オペレータに使用される、請求項8に記載のシステム。
- 前記機械は産業用ロボットである、請求項1に記載のシステム。
- 前記作業セル内の1つ以上の追加の機械、又は、各々が前記作業セル内でAR装置を具備する1人以上の追加のオペレータ、又は、前記追加の機械及び前記追加のオペレータの双方を含み、前記オペレータの各々に対して動的安全領域が画定され、前記動的安全領域の全てが、いかなる機械のいかなる部分も前記動的安全領域内に入ることを防止するために、前記機械の全てについての動作制御計算に組み込まれる、請求項1に記載のシステム。
- 機械制御装置と通信する少なくとも1つの機械を含む機械作業セル内のオペレータのための動的安全領域を提供する方法であって、
拡張現実装置(AR装置)と前記機械制御装置との間での通信を確立し、前記AR装置上でARアプリケーションを開始することと、
前記ARアプリケーションにより、作業セル座標系に対する前記AR装置の位置及び向きを確立し、前記AR装置が移動したときにその位置及び向きを継続的に追跡することと、
前記AR装置の位置及び向きを前記機械制御装置に継続的に送信することと、
前記AR装置の位置及び向きに基づいて、前記オペレータを囲繞する動的安全領域を生成して移動させることと、
前記動的安全領域を機械の動作制御計算に組み込み、前記機械のいかなる部分も前記動的安全領域内に入ることを防止することと、
を含む方法。 - 前記AR装置は、前記オペレータが装着するヘッドセット装置であるか、又は、前記オペレータが携帯するスマートフォン、タブレット計算機若しくはロボット教示操作盤である、請求項12に記載の方法。
- 前記作業セル座標系に対する前記AR装置の位置及び向きを確立することは、前記AR装置のカメラからの、既知の構成を有しかつ前記作業セル座標系内の既知の場所に配置された視覚マーカの画像を解析することを含み、前記AR装置の位置及び向きを継続的に追跡することは、前記AR装置の位置追跡センサからの信号を解析することを含む、請求項12に記載の方法。
- 前記動的安全領域は、前記ARアプリケーション又は前記機械制御装置において前記オペレータによって定義可能なサイズ及び挙動パラメータを有し、前記挙動パラメータは、前記AR装置の向きに基づく前記AR装置の位置からの前記動的安全領域の中心のオフセットと、前記AR装置の速度ベクトルに基づく前記動的安全領域の位置又はサイズの調整とを含む、請求項12に記載の方法。
- 前記機械制御装置は、前記機械と前記動的安全領域との未来の干渉を防止するために、前記機械の減速又は動作経路の変更を行う、請求項12に記載の方法。
- 前記ARアプリケーションは、前記機械制御装置が前記AR装置の位置及び向きに基づいて前記動的安全領域を確立して移動させている間、前記オペレータによって使用される、請求項12に記載の方法。
- 前記ARアプリケーションは、現実世界の物体のカメラ画像に重ね表示される視覚的画面要素を提供し、前記ARアプリケーションは、機械のセットアップ、構成、動作監視又はトラブルシューティングのために前記オペレータに使用される、請求項12に記載の方法。
- 前記少なくとも1つの機械は産業用ロボットである、請求項12に記載の方法。
- 機械作業セル内のオペレータのための動的安全領域を提供する方法であって、
前記オペレータによって位置追跡装置を携行することと、
前記位置追跡装置の位置を機械制御装置に無線で通信することと、
前記位置追跡装置の位置に基づいて、前記オペレータを囲繞する動的安全領域を画定することと、
前記機械制御装置によって前記動的安全領域を機械の動作制御計算に組み込み、前記機械のいかなる部分も前記動的安全領域内に入ることを防止することと、
を含む方法。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202263369569P | 2022-07-27 | 2022-07-27 | |
US63/369,569 | 2022-07-27 | ||
US18/352,547 US20240033923A1 (en) | 2022-07-27 | 2023-07-14 | Collaborative safety awareness for robotic applications enabled by augmented reality and other location-based technologies |
US18/352,547 | 2023-07-14 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024019095A true JP2024019095A (ja) | 2024-02-08 |
Family
ID=89508621
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023121657A Pending JP2024019095A (ja) | 2022-07-27 | 2023-07-26 | 拡張現実及び他の位置基準の技術によるロボットアプリケーションの協働安全認識 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20240033923A1 (ja) |
JP (1) | JP2024019095A (ja) |
DE (1) | DE102023118908A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3730250A1 (de) * | 2019-04-24 | 2020-10-28 | Adolf Würth GmbH & Co. KG | Verfahren zur gefahrenabschaltung von handgeführten werkzeugen und handgeführtes werkzeug |
-
2023
- 2023-07-14 US US18/352,547 patent/US20240033923A1/en active Pending
- 2023-07-18 DE DE102023118908.5A patent/DE102023118908A1/de active Pending
- 2023-07-26 JP JP2023121657A patent/JP2024019095A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
DE102023118908A1 (de) | 2024-02-01 |
US20240033923A1 (en) | 2024-02-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11850755B2 (en) | Visualization and modification of operational bounding zones using augmented reality | |
CN112672860B (zh) | 用于ar和数字孪生的机器人校准 | |
EP2952301B1 (en) | Humanoid robot with collision avoidance and trajectory recovery capabilities | |
US11565427B2 (en) | Robot system | |
EP3055744B1 (en) | A method and a device for verifying one or more safety volumes for a movable mechanical unit | |
US20190007659A1 (en) | Sensor for securing a machine | |
US11459215B2 (en) | Safety system for a machine | |
JP2024019095A (ja) | 拡張現実及び他の位置基準の技術によるロボットアプリケーションの協働安全認識 | |
CN109179228A (zh) | 一种建筑施工塔吊机防碰系统 | |
JP6746902B2 (ja) | 作業者用頭部装着型ディスプレイの情報表示システム | |
KR101132713B1 (ko) | 이동로봇의 이동 제어장치, 이를 구비하는 이동로봇 시스템 및 이동로봇의 이동 제어방법 | |
JP7035411B2 (ja) | クレーン操縦支援装置 | |
JP6368503B2 (ja) | 障害物監視システム及びプログラム | |
CN117464662A (zh) | 为机器工作单元中的操作者提供动态安全区的系统和方法 | |
KR20150042040A (ko) | 정찰 로봇의 제어 방법 | |
JP2020042667A (ja) | 投影システム、投影方法及びプログラム | |
KR101194073B1 (ko) | Igps를 이용한 비젼 트래킹 시스템 및 방법 | |
US20220362933A1 (en) | Area setting device, rack, control system, area setting method, and non-transitory computer readable medium storing program | |
KR20180039202A (ko) | 3차원 원격 제어 시스템 및 방법, 그 제어 장치 | |
KR101892135B1 (ko) | 시선 방향에 따른 가림 물체 투명 표시 장치, 방법 및 시스템 | |
KR20190074466A (ko) | 3차원 원격 제어 장치 및 방법 |