JP7450297B2 - センサーの配置を含むロボット操作環境の構成 - Google Patents
センサーの配置を含むロボット操作環境の構成 Download PDFInfo
- Publication number
- JP7450297B2 JP7450297B2 JP2022562247A JP2022562247A JP7450297B2 JP 7450297 B2 JP7450297 B2 JP 7450297B2 JP 2022562247 A JP2022562247 A JP 2022562247A JP 2022562247 A JP2022562247 A JP 2022562247A JP 7450297 B2 JP7450297 B2 JP 7450297B2
- Authority
- JP
- Japan
- Prior art keywords
- robot
- poses
- occlusion
- sensor
- processor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011156 evaluation Methods 0.000 claims description 130
- 238000000034 method Methods 0.000 claims description 130
- 230000000694 effects Effects 0.000 claims description 45
- 230000007704 transition Effects 0.000 claims description 19
- 230000004931 aggregating effect Effects 0.000 claims description 10
- 238000005457 optimization Methods 0.000 description 35
- 230000015654 memory Effects 0.000 description 28
- 230000001953 sensory effect Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 12
- 238000003860 storage Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 11
- 238000001514 detection method Methods 0.000 description 11
- 230000003068 static effect Effects 0.000 description 10
- 230000008859 change Effects 0.000 description 9
- 230000007613 environmental effect Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000009467 reduction Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 230000036461 convulsion Effects 0.000 description 4
- 239000012636 effector Substances 0.000 description 4
- 238000005265 energy consumption Methods 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000002085 persistent effect Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000005055 memory storage Effects 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000012530 fluid Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- APTZNLHMIGJTEW-UHFFFAOYSA-N pyraflufen-ethyl Chemical compound C1=C(Cl)C(OCC(=O)OCC)=CC(C=2C(=C(OC(F)F)N(C)N=2)Cl)=C1F APTZNLHMIGJTEW-UHFFFAOYSA-N 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 240000001436 Antirrhinum majus Species 0.000 description 1
- 241000879777 Lynx rufus Species 0.000 description 1
- 235000014676 Phragmites communis Nutrition 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000009987 spinning Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1682—Dual arm manipulator; Coordination of several manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/37—Measurements
- G05B2219/37266—Infrared
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40596—Encoder in each joint
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40607—Fixed camera to observe workspace, object, workpiece, global
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Manipulator (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Description
様々な用途が、ロボット操作環境において1つ又は複数のロボットを使用する。ロボット操作環境は単一のロボットを含むことができ、又は共有作業空間又は共通操作環境の形態をとることができる。例えば、2つ又はそれ以上のロボットは共通の操作環境例えば、ロボットが可動域で重なり合うシャーシにボルトをねじ込む環境、において、1つ又は複数のオブジェクト(又は、物体)又はワークピースについて、又はそれと共に、タスクを実行する際に使用されてもよい。
動作計画を実行するとき、ロボット(複数可)が実行するのに効率的な動作プランを生成することが望ましい。効率は1つ又は複数のタスクを実行又は完了するための時間、1つ又は複数のタスクを完了するために必要とされる動きの総数、1つ又は複数のタスクを完了するためのエネルギーの総消費、及び/又は、例えば、別のロボットが共有の領域又は作業空間をクリアする(又は、離れる)のを待つ等、ロボットがアイドル状態にある総回数又は総時間量に関して測定され得る。動作計画を実行するとき、ロバストな動作プラン(例えば、1つ又は複数のタスクを、例えば衝突なしで首尾よく完了するために完全に実行されることが、保証されるか又は非常にありそうである動作プラン)を生成することが望ましい。動作計画を実行するとき、動作プランを迅速に生成することが望ましく、システムが操作環境の変化に迅速に適応することを可能にし、例えば、リアルタイムの変化に適応することを可能にする。動作計画を実行するとき、動作計画において使用される計算リソース(例えば、ハードウェア、計算サイクル、エネルギー使用量)を低減し、計算効率の良い方法で動作プランを生成することが望ましい。
以下の説明では、種々の開示の実施態様が正しく理解されるように、一定の具体的な詳細を以下に説明する。但し、当業者ならば、これら具体的な細部の1つ又は複数を欠いても、又は他の方法、他の構成部材、他の材料でも実施が可能であることは容易に理解するところであろう。他の例では、実施形態の説明を不必要に曖昧にすることを避けるために、コンピュータシステム、アクチュエータシステム、及び/又は通信ネットワークに関連する周知の構造は詳細には図示されておらず、又は説明されていない。他の例では、実施形態の説明を不必要に曖昧にすることを避けるために、知覚データ及び1つ又は複数のオブジェクト等のボリュメトリック(又は、体積的)表現を生成するための周知のコンピュータビジョン方法及び技法は詳細に説明されていない。
本明細書に記載される構造及びアルゴリズムは、少なくともいくつかの実装形態において、カメラ又は他の知覚センサーなしで動作してもよい。例えば、方法300(図1)の第1の反復は、任意のセンサーが環境100(図1)内に配置され及び/又は向きづけされる前に実行することができる。少なくともいくつかの実装形態では、ロボット間の協調がロボットの幾何学的モデル、ロボットがそれぞれの動作プランを通信する能力、及び共有作業空間の幾何学的モデルに依存する。他の実装形態では、例えば、共有作業空間の一部に入ったり占めたりする可能性がある人間又は他の動的障害物を回避するために、視覚又は他の知覚を任意選択で使用することができる。
実施例1. ロボット操作を容易にするためのプロセッサベースのシステムの動作方法であって、
複数の候補センサーポーズの各々について、第1のロボットが前記第1のロボットの複数のロボットポーズの各々を通って移動するときに、前記操作環境における少なくとも第1のロボットのオクルージョン効果を説明する(又は、考慮する/account for)オクルージョン評価を実行するステップと、
前記オクルージョン評価に少なくとも部分的に基づいて、第1のセンサーにポーズをとらせるために候補センサーポーズのうちの1つを選択するステップ(又は、前記オクルージョン評価に少なくとも部分的に基づいて、候補センサーポーズのうちの1つを選択して第1のセンサーにポーズをとらせるステップ)
を有する、方法。
前記作業空間内の少なくとも他のボクセルに対するそれぞれのオクルージョン値を決定するステップであって、前記オクルージョン値は、前記外部反復ループの現在の反復のボクセルが前記オクルージョン値が決定されている前記それぞれのボクセルを少なくとも部分的に占有するように配置されたオブジェクトによって1つ又は複数のセンサーからオクルージョンされるかどうかを表すものである、該ステップと、
前記候補センサーポーズについてのコストを集約するステップ
をさらに含む、実施例請求項1に記載の方法。
各候補センサーポーズに対して、前記候補センサーポーズのそれぞれのコスト値を初期化するステップと、
前記外部反復ループにおいて、作業空間内のすべての前記ボクセルについて、前記ボクセルの前記それぞれのオクルージョン値を初期化するステップ
さらに含む、実施例9に記載の方法。
内部反復ループにおいて、前記外部反復ループの現在の反復のボクセルが、すでに位置決めされた任意のセンサーに基づいてオクルージョンされているかどうかを決定するステップと、
前記内部反復ループにおいて、前記外部反復ループの現在の反復の前記ボクセルがオクルージョンされている場合、それぞれのロボットポーズにおいて前記外部反復ループの現在の反復の前記ボクセルをオクルージョンしているロボットポーズのうちの1つにおける、ロボットの形態でオブジェクトによって占有される任意のボクセルのそれぞれのオクルージョン値をインクリメントするステップ
を含む、実施例9に記載の方法。
各候補センサーポーズについて、前記センサーと、ボクセルオクルージョンが評価されている前記外部反復ループの現在の反復の前記ボクセルとの間の各ボクセルについて前記オクルージョン値を合計するステップと、
その合計を、それぞれの候補センサーポーズについてのコストの累積された合計に加算するステップ
を含む、実施例9に記載の方法。
複数の候補センサーポーズの各々について、前記操作環境における少なくとも第1のロボットの、少なくとも前記第1のロボットが前記第1のロボットの複数のロボットポーズの各々を通って移動するときの、オクルージョン効果を考慮するオクルージョン評価を実行するステップと、
前記オクルージョン評価に少なくとも部分的に基づいて、第2のセンサーにポーズをとらせる候補センサーポーズのうちの1つを選択するステップ
をさらに含む、実施例1に記載の方法。
前記第1のセンサーのために選択されたセンサーポーズに対応する第1のポーズでカメラのうちの第1のそれによって収集されたセンサー情報を受信するステップと、前記第2のセンサーのために選択されたセンサーポーズに対応する第2のポーズで前記カメラのうちの第2のそれから収集されたセンサー情報を受信するステップと、受信されたセンサー情報に基づいて、少なくとも前記第1のロボットのための動作計画を実行するステップ
をさらに含む、実施例15に記載の方法。
終了条件が達成されるまで、複数の候補センサーポーズの各々について、/前記操作環境における少なくとも第1のロボットの、少なくとも第1のロボットが前記第1のロボットの複数のロボットポーズの各々を通って移動するときの、オクルージョン効果を考慮するオクルージョン評価を実行することを繰り返すステップと、
前記オクルージョン評価に少なくとも部分的に基づいて、追加のセンサーにポーズをとらせるために候補センサーポーズのうちの1つを選択するステップ
をさらに含む、実施例15に記載の方法。
少なくとも1つのプロセッサと、
前記少なくとも1つのプロセッサに通信可能に結合され、前記少なくとも1つのプロセッサによって実行されると、前記少なくとも1つのプロセッサに、 複数の候補センサーポーズの各々について、第1のロボットが前記第1のロボットの複数のロボットポーズの各々を通って移動するときに、前記操作環境における少なくとも第1のロボットのオクルージョン効果を考慮するオクルージョン評価を実行させ、
前記オクルージョン評価に少なくとも部分的に基づいて、第1のセンサーにポーズをとらせるために候補センサーポーズのうちの1つを選択させる
プロセッサ実行可能命令を記憶する少なくとも1つの非一時的プロセッサ可読媒体
を備える、システム。
前記候補センサーポーズの各々について、前記候補センサーポーズのそれぞれのコスト値を決定させ、前記それぞれのコスト値はオクルージョンを表す、実施例19に記載のシステム。
作業空間内の各ボクセルに対して実行される外部反復ループにおいて、前記作業空間内の少なくとも他のボクセルについてそれぞれのオクルージョン値を決定させ、ここで、前記オクルージョン値は、前記外部反復ループの現在の反復のボクセルが前記オクルージョン値が決定されているそれぞれのボクセルを少なくとも部分的に占有するように位置決めされたオブジェクトによって1つ又は複数のセンサーからオクルージョンされるかどうかを表し、前記候補センサーポーズのコストを集約させる、
実施例19に記載のシステム。
前記ボクセルについてのそれぞれのオクルージョン値が決定される前に、各候補センサーポーズについて、前記候補センサーポーズのそれぞれのコスト値を初期化させ、
前記外部反復ループにおいて、前記作業空間内のすべての前記ボクセルについて、前記ボクセルの前記それぞれのオクルージョン値を初期化させる、実施例27に記載のシステム。
内部反復ループにおいて、前記外部反復ループの現在の反復のボクセルが、すでに位置決めされた任意のセンサーに基づいてオクルージョンされているかどうかを決定させ、
前記内部反復ループにおいて、前記外部反復ループの現在の反復の前記ボクセルがオクルージョンされている場合、それぞれのロボットポーズにおいて前記外部反復ループの現在の反復の前記ボクセルをオクルージョンしているロボットポーズの1つにおける、ロボットの形態でオブジェクトによって占有される任意のボクセルのそれぞれのオクルージョン値をインクリメントさせる、
実施例28に記載のシステム。
各候補センサーポーズについて、前記センサーと、前記外部反復ループの現在の反復においてオクルージョンが評価されている前記外部反復ループの現在の反復の前記ボクセルとの間の各ボクセルについて前記オクルージョン値を合計させ、
その合計を、それぞれの候補センサーポーズについてのコストの累積された合計に加算させる、
実施例27に記載のシステム。
前記オクルージョン評価に少なくとも部分的に基づいて第1のセンサーにポーズをとらせるための前記候補センサーポーズのうちの1つの選択後に、
複数の候補センサーポーズの各々について、候補センサーポーズのうちの1つを選択し、前記操作環境における少なくとも第1のロボットの、第1のロボットが第1のロボットの複数のロボットポーズの各々を通って移動するときの、オクルージョン効果を考慮するオクルージョン評価を実行させ、
前記オクルージョン評価に少なくとも部分的に基づいて第2のセンサーにポーズをとらせるために候補センサーポーズのうちの1つを選択させる、
実施例19に記載のシステム。
前記第1のセンサーについて前記候補センサーポーズのうちの前記選択された1つによって指定されるように、位置決めされ向きづけられた前記第1のセンサーも考慮して前記オクルージョン評価を実行させる、
実施例33に記載のシステム。
前記第1のセンサーのために選択されたセンサーポーズに対応する第1のポーズで前記カメラのうちの第1のそれによって収集されたセンサー情報を受信させ、前記第2のセンサーのために選択されたセンサーポーズに対応する第2のポーズで前記カメラのうちの第2のそれから収集されたセンサー情報を受信させ、
受信されたセンサー情報に基づいて、少なくとも前記第1のロボットについて動作計画を実行させる、
実施例33に記載のシステム。
上記の詳細説明においては、ブロック図、模式図及び実施例を用いて、多様な装置及び/又は方法の実施形態について記載している。これらのブロック図、概略図及び実施例は1つ又は複数の機能及び/又は動作を含んでいるが、当業者には明らかなように、これらのブロック図、流れ図及び実施例におけるそれぞれの機能及び/又は動作は個々に及び/又は一括して、多様なハードウェア、ソフトウェア、ファームウェア、又は事実上任意のこれらの組み合わせによって実装することができる。一実施形態では、本主題がブール回路、特定用途向け集積回路(ASIC)及び/又はFPGAを介して実装され得る。しかしながら、本明細書に開示された実施形態は全体的に又は部分的に、標準的な集積回路における様々な異なる実装形態において、1つ又は複数のコンピュータ上で実行される1つ又は複数のコンピュータプログラムとして(例えば、1つ又は複数のコンピュータシステム上で実行される1つ又は複数のプログラムとして)、1つ又は複数のプロセッサ(例えば、マイクロプロセッサ)上で実行される1つ又は複数のプログラムとして、ファームウェアとして、又はそれらの実質的に任意の組合せとして、実装されることができ、回路を設計すること及び/又は、ソフトウェア及び/又はファームウェアのためのコードを書くことは、本開示に照らして、十分に当業者の技術の範囲内であることを認識されたい。
下記は、本願の出願当初に記載の発明である。
<請求項1>
ロボット操作を容易にするためのプロセッサベースのシステムの動作方法であって、
複数の候補センサーポーズの各々について、第1のロボットが前記第1のロボットの複数のロボットポーズの各々を通って移動するときに、前記操作環境における少なくとも第1のロボットのオクルージョン効果を説明するオクルージョン評価を実行するステップと、
前記オクルージョン評価に少なくとも部分的に基づいて、第1のセンサーにポーズをとらせるために前記候補センサーポーズのうちの1つを選択するステップ
を有する、方法。
<請求項2>
前記センサーがカメラであり、前記カメラが前記候補センサーポーズの各々について操作環境のそれぞれの視野を有し、前記オクルージョン評価に少なくとも部分的に基づいて、第1のセンサーにポーズをとらせるために前記候補センサーポーズのうちの1つを選択するステップが、前記オクルージョン評価に少なくとも部分的に基づいて、第1のカメラにポーズをとらせるために前記候補センサーポーズのうちの1つを選択するステップを含む、請求項1に記載の方法。
<請求項3>
前記第1のロボットが前記第1のロボットの複数のロボットポーズの各々を通って移動するときに、前記操作環境における少なくとも第1のロボットのオクルージョン効果を説明するオクルージョン評価を実行するステップは、前記第1のロボットによって実現可能なポーズのC空間ロードマップからのいくつかのロボットポーズの各々についてオクルージョン評価を実行するステップを含む、請求項1に記載の方法。
<請求項4>
前記第1のロボットが前記第1のロボットの複数のロボットポーズの各々を通って移動するときに、前記操作環境における少なくとも第1のロボットのオクルージョン効果を説明するオクルージョン評価を実行するステップは、前記第1のロボットによって実行されるべきタスクに少なくとも部分的に基づいて、前記第1のロボットによって実現可能なポーズのC空間ロードマップから選択されるいくつかのロボットポーズの各々についてオクルージョン評価を実行するステップを含む、請求項1に記載の方法。
<請求項5>
前記第1のロボットが前記第1のロボットの複数のロボットポーズの各々を通って移動するときに、前記操作環境における少なくとも第1のロボットのオクルージョン効果を説明するオクルージョン評価を実行するステップは、前記第1のロボットによって実現可能なポーズのロードマップからサンプリングされたいくつかのロボットポーズの各々についてオクルージョン評価を実行するステップを含み、前記ロードマップは前記ロボットのC空間内のそれぞれのロボットポーズを表すノードの組と、前記ノードのペアを結合する複数のエッジであって、それぞれの前記エッジが結合する前記ノードによって表される前記それぞれのロボットポーズ間の遷移を表す、該複数のエッジを備えるグラフの形態である、請求項1に記載の方法。
<請求項6>
前記第1のロボットが前記第1のロボットの複数のロボットポーズの各々を通って移動するときに、前記操作環境における少なくとも第1のロボットのオクルージョン効果を説明するオクルージョン評価を実行するステップは、前記操作環境における前記第1のロボット及び少なくとも第2のロボットのオクルージョン効果を説明するオクルージョン評価を、前記第1及び前記第2のロボットが前記第1及び前記第2のロボットのそれぞれの複数のロボットポーズの各々を通って移動するときに実行するステップを含む、請求項1に記載の方法。
<請求項7>
前記操作環境における前記第1のロボット及び少なくとも第2のロボットのオクルージョン効果を説明するオクルージョン評価を、前記第1及び前記第2のロボットが前記第1及び前記第2のロボットのそれぞれの複数のロボットポーズの各々を通って移動するときに実行するステップは、前記第1のロボットのいくつかのロボットポーズ及び前記第2のロボットのいくつかのロボットポーズを表すロボットポーズの組に基づいて前記オクルージョン評価を実行するステップを含む、請求項6に記載の方法。
<請求項8>
前記候補センサーポーズの各々について、前記候補センサーポーズのそれぞれのコスト値を決定するステップをさらに含み、前記それぞれのコスト値はオクルージョンを表す、請求項1に記載の方法。
<請求項9>
作業空間内の各ボクセルに対して実行される外部反復ループにおいて、
前記作業空間内の他のボクセルの各々についてそれぞれのオクルージョン値を決定するステップであって、前記オクルージョン値は、前記外部反復ループの現在の反復のボクセルが前記オクルージョン値が決定されているそれぞれの前記ボクセルを少なくとも部分的に占有するように配置されたオブジェクトによって1つ又は複数のセンサーからオクルージョンされるかどうかを表すものである、該ステップと、
前記候補センサーポーズについてのコストを集約するステップ
をさらに含む、請求項1に記載の方法。
<請求項10>
前記ボクセルについてそれぞれのオクルージョン値を決定する前に、
各候補センサーポーズについて、前記候補センサーポーズのそれぞれのコスト値を初期化するステップと、
前記外部反復ループにおいて、前記作業空間内のすべての前記ボクセルについて、前記ボクセルの前記それぞれのオクルージョン値を初期化するステップ
をさらに含む、請求項9記載の方法。
<請求項11>
前記外部反復ループの現在の反復の前記ボクセルについてそれぞれのオクルージョン値を決定するステップは、
内部反復ループにおいて、前記外部反復ループの現在の反復のボクセルが、すでに位置決めされた任意のセンサーに基づいてオクルージョンされているかどうかを決定するステップと、
前記内部反復ループにおいて、前記外部反復ループの現在の反復の前記ボクセルがオクルージョンされている場合、それぞれの前記ロボットポーズにおいて前記外部反復ループの現在の反復の前記ボクセルをオクルージョンしているロボットポーズのうちの1つにあるロボットの形態のオブジェクトによって占有される任意のボクセルのそれぞれのオクルージョン値をインクリメントするステップ
を含む、請求項9に記載の方法。
<請求項12>
前記候補センサーポーズのコストを集約するステップは、
各候補センサーポーズについて、ボクセルのオクルージョンが評価されている前記外部反復ループの現在の反復の前記ボクセルと前記センサーの間の各ボクセルについて前記オクルージョン値を合計するステップと、
その合計を、それぞれの前記候補センサーポーズについてのコストの累算された合計に加算するステップ
を含む、請求項9に記載の方法。
<請求項13>
前記オクルージョン評価に少なくとも部分的に基づいて、第1のセンサーにポーズをとらせるために前記候補センサーポーズのうちの1つを選択するステップは、前記候補センサーポーズのうちの他のセンサーポーズの関連コストに対する前記候補センサーポーズの関連コストに基づいて、前記候補センサーポーズを選択するステップを含む、請求項1~12のいずれか1項に記載の方法。
<請求項14>
前記オクルージョン評価に少なくとも部分的に基づいて、第1のセンサーにポーズをとらせるために前記候補センサーポーズのうちの1つを選択するステップは、前記候補センサーポーズのうちの他のセンサーポーズの関連コストに対して、前記候補センサーポーズの最も低い関連コストを有する前記候補センサーポーズを選択するステップを含む、請求項1~12のいずれか1項に記載の方法。
<請求項15>
前記オクルージョン評価に少なくとも部分的に基づいて、第1のセンサーにポーズをとらせるために前記候補センサーポーズのうちの1つを選択するステップの後に、
複数の候補センサーポーズの各々について、前記操作環境における少なくとも第1のロボットの、前記少なくとも第1のロボットが前記第1のロボットの複数のロボットポーズの各々を通って移動するときの、オクルージョン効果を説明するオクルージョン評価を実行するステップと、
前記オクルージョン評価に少なくとも部分的に基づいて、第2のセンサーにポーズをとらせるために候補センサーポーズのうちの1つを選択するステップ
をさらに含む、請求項1に記載の方法。
<請求項16>
前記第1のロボットが前記第1のロボットの複数のロボットポーズの各々を通って移動するときに、前記操作環境における少なくとも第1のロボットのオクルージョン効果を説明するオクルージョン評価を実行するステップは、前記第1のセンサーのための前記候補センサーポーズのうちの前記選択された1つによって指定されるように、位置決められ、向きづけられた前記第1のセンサーも説明するオクルージョン評価を実行するステップを含む、請求項15に記載の方法。
<請求項17>
前記センサーはカメラであり、
前記第1のセンサーのために選択されたセンサーポーズに対応する第1のポーズの前記カメラのうちの第1のものによって収集されたセンサー情報を受信するステップと、前記第2のセンサーのために選択されたセンサーポーズに対応する第2のポーズの前記カメラのうちの第2のものから収集されたセンサー情報を受信するステップと、受信されたセンサー情報に基づいて、少なくとも前記第1のロボットのための動作計画を実行するステップ
をさらに含む、請求項15に記載の方法。
<請求項18>
前記オクルージョン評価に少なくとも部分的に基づいて、第2のセンサーにポーズをとらせるために前記候補センサーポーズのうちの1つを選択するステップの後に、
終了条件が達成されるまで、複数の候補センサーポーズの各々について、前記操作環境における少なくとも第1のロボットの、少なくとも前記第1のロボットが前記第1のロボットの複数のロボットポーズの各々を通って移動するときの、オクルージョン効果を説明するオクルージョン評価を実行することを繰り返すステップと、
前記オクルージョン評価に少なくとも部分的に基づいて、追加のセンサーにポーズをとらせるために候補センサーポーズのうちの1つを選択するステップ
をさらに含む、請求項15に記載の方法。
<請求項19>
ロボット操作を容易にするためのプロセッサベースのシステムの動作システムであって、
少なくとも1つのプロセッサと、
前記少なくとも1つのプロセッサに通信可能に結合され、前記少なくとも1つのプロセッサによって実行されると、前記少なくとも1つのプロセッサに、
複数の候補センサーポーズの各々について、第1のロボットが前記第1のロボットの複数のロボットポーズの各々を通って移動するときに、前記操作環境における少なくとも第1のロボットのオクルージョン効果を説明するオクルージョン評価を実行させ、
前記オクルージョン評価に少なくとも部分的に基づいて、第1のセンサーにポーズをとらせるために前記候補センサーポーズのうちの1つを選択させる
プロセッサ実行可能命令を記憶する少なくとも1つの非一時的プロセッサ可読媒体
を備える、システム。
<請求項20>
前記センサーはカメラであり、前記カメラは、前記候補センサーポーズの各々について操作環境のそれぞれの視野を有する、請求項19に記載のシステム。
<請求項21>
オクルージョン評価を実行するために、実行されると、前記命令は前記少なくとも1つのプロセッサに、前記第1のロボットによって実現可能なポーズのC空間ロードマップからのいくつかのロボットポーズの各々についてオクルージョン評価を実行させる、請求項19に記載のシステム。
<請求項22>
オクルージョン評価を実行するために、実行されると、前記命令は前記少なくとも1つのプロセッサに、前記第1のロボットによって実行されるべきタスクに少なくとも部分的に基づいて、前記第1のロボットによって実現可能なポーズのC空間ロードマップから選択されるいくつかのロボットポーズの各々についてオクルージョン評価を実行させる、請求項19に記載のシステム。
<請求項23>
オクルージョン評価を実行するために、実行されると、前記命令は前記少なくとも1つのプロセッサに、前記第1のロボットによって実現可能なポーズのロードマップからサンプリングされたいくつかのロボットポーズの各々についてオクルージョン評価を実行させ、前記ロードマップは前記ロボットのC空間内のそれぞれのロボットポーズを表すノードの組と、前記ノードのペアを結合する複数のエッジであって、それぞれの前記エッジが結合する前記ノードによって表される前記それぞれのロボットポーズ間の遷移を表す、該複数のエッジを備えるグラフの形態である、請求項19に記載のシステム。
<請求項24>
オクルージョン評価を実行するために、実行されると、前記命令は前記少なくとも1つのプロセッサに、前記操作環境における前記第1のロボット及び少なくとも第2のロボットのオクルージョン効果を説明するオクルージョン評価を、前記第1及び前記第2のロボットが前記第1及び前記第2のロボットのそれぞれの複数のロボットポーズの各々を通って移動するときに実行させる、請求項19に記載のシステム。
<請求項25>
オクルージョン評価を実行するために、実行されると、前記命令は前記少なくとも1つのプロセッサに、前記第1のロボットのいくつかのロボットポーズ及び前記第2のロボットのいくつかのロボットポーズを表すロボットポーズの組に基づいて前記オクルージョン評価を実行させる、請求項24に記載のシステム。
<請求項26>
実行されると、前記プロセッサ実行可能命令は前記少なくとも1つのプロセッサにさらに、
前記候補センサーポーズの各々について、前記候補センサーポーズのそれぞれのコスト値を決定させ、前記それぞれのコスト値はオクルージョンを表す、請求項19に記載のシステム。
<請求項27>
実行されると、前記プロセッサ実行可能命令は前記少なくとも1つのプロセッサにさらに、
作業空間内の各ボクセルについて実行される外部反復ループにおいて、
前記作業空間内の少なくとも他のボクセルについてそれぞれのオクルージョン値を決定させ、前記オクルージョン値は、前記外部反復ループの現在の反復のボクセルが前記オクルージョン値が決定されているそれぞれの前記ボクセルを少なくとも部分的に占有するように配置されたオブジェクトによって1つ又は複数のセンサーからオクルージョンされるかどうかを表し、
さらに、前記候補センサーポーズのコストを集約させる、請求項19に記載のシステム。
<請求項28>
実行されると、前記プロセッサ実行可能命令は前記少なくとも1つのプロセッサにさらに、
前記ボクセルについてのそれぞれのオクルージョン値が決定される前に、
各候補センサーポーズについて、前記候補センサーポーズのそれぞれのコスト値を初期化させ、
前記外部反復ループにおいて、前記作業空間内のすべての前記ボクセルについて、前記ボクセルの前記それぞれのオクルージョン値を初期化させる、請求項27に記載のシステム。
<請求項29>
前記外部反復ループの現在の反復の前記ボクセルについてそれぞれのオクルージョン値を決定するために、実行されると、前記プロセッサ実行可能命令は前記少なくとも1つのプロセッサに
内部反復ループにおいて、前記外部反復ループの現在の反復のボクセルが、すでに位置決めされた任意のセンサーに基づいてオクルージョンされているかどうかを決定させ、
前記内部反復ループにおいて、前記外部反復ループの現在の反復の前記ボクセルがオクルージョンされている場合、それぞれの前記ロボットポーズにおいて前記外部反復ループの現在の反復の前記ボクセルをオクルージョンしているロボットポーズのうちの1つにあるロボットの形態のオブジェクトによって占有される任意のボクセルのそれぞれのオクルージョン値をインクリメントさせる、請求項28に記載のシステム。
<請求項30>
前記候補センサーポーズについてのコストを集約するために、実行されると、前記プロセッサ実行可能命令は前記少なくとも1つのプロセッサに
各候補センサーポーズについて、前記外部反復ループの現在の反復においてオクルージョンが評価されている前記外部反復ループの現在の反復の前記ボクセルと前記センサーの間の各ボクセルについて前記オクルージョン値を合計させ、
その合計を、それぞれの候補センサーポーズについてのコストの累算された合計に加算させる、
請求項27に記載のシステム。
<請求項31>
前記オクルージョン評価に少なくとも部分的に基づいて、前記候補センサーポーズのうちの1つを選択して第1のセンサーにポーズをとらせるために、実行されると、前記プロセッサ実行可能命令は前記少なくとも1つのプロセッサに、
前記候補センサーポーズのうちの他のセンサーポーズの関連コストに対する前記候補センサーポーズの関連コストに基づいて、前記候補センサーポーズを選択させる、請求項19から30のいずれか1項に記載のシステム。
<請求項32>
前記オクルージョン評価に少なくとも部分的に基づいて、第1のセンサーにポーズをとらせるために前記候補センサーポーズのうちの1つを選択するために、実行されると、前記プロセッサ実行可能命令は前記少なくとも1つのプロセッサに、
前記候補センサーポーズのうちの他のセンサーポーズの関連コストに対して、前記候補センサーポーズの最も低い関連コストを有する前記候補センサーポーズを選択させる、請求項19から30のいずれか1項に記載のシステム。
<請求項33>
実行されると、前記プロセッサ実行可能命令は、前記少なくとも1つのプロセッサにさらに
前記オクルージョン評価に少なくとも部分的に基づいて第1のセンサーにポーズをとらせるための前記候補センサーポーズのうちの1つの選択後に、
複数の候補センサーポーズの各々について、前記操作環境における少なくとも第1のロボットの、前記第1のロボットが前記第1のロボットの複数のロボットポーズの各々を通って移動するときの、オクルージョン効果を説明するオクルージョン評価を実行させ、
前記オクルージョン評価に少なくとも部分的に基づいて第2のセンサーにポーズをとらせるために前記候補センサーポーズのうちの1つを選択させる、
請求項19に記載のシステム。
<請求項34>
オクルージョン評価を実行するために、実行されると、前記プロセッサ実行可能命令は前記少なくとも1つのプロセッサに、さらに、
前記第1のセンサーについて前記候補センサーポーズのうちの前記選択された1つによって指定されるように、位置決めされ、向きづけられた前記第1のセンサーも説明する前記オクルージョン評価を実行させる、請求項33に記載のシステム。
<請求項35>
前記センサーはカメラであり、実行されると、前記プロセッサ実行可能命令は、前記少なくとも1つのプロセッサにさらに
前記第1のセンサーのために選択されたセンサーポーズに対応する第1のポーズの前記カメラのうちの第1のものによって収集されたセンサー情報を受信させ、前記第2のセンサーのために選択されたセンサーポーズに対応する第2のポーズの前記カメラのうちの第2のものから収集されたセンサー情報を受信させ、
受信されたセンサー情報に基づいて、少なくとも前記第1のロボットについて動作計画を実行させる、
請求項33に記載のシステム。
Claims (31)
- ロボット操作を容易にするためのプロセッサベースのシステムの動作方法であって、
複数の候補センサーポーズの各々について、第1のロボットが前記第1のロボットの複数のロボットポーズの各々を通って移動するときに、操作環境における少なくとも第1のロボットのオクルージョン効果を説明するオクルージョン評価を実行するステップと、
前記オクルージョン評価に少なくとも部分的に基づいて、第1のセンサーにポーズをとらせるために前記候補センサーポーズのうちの1つを選択するステップ
を有し、
前記方法は、さらに、
作業空間内の各ボクセルに対して実行される外部反復ループにおいて、
前記作業空間内の他のボクセルの各々についてそれぞれのオクルージョン値を決定するステップであって、前記オクルージョン値は、前記外部反復ループの現在の反復のボクセルが前記オクルージョン値が決定されているそれぞれの前記ボクセルを少なくとも部分的に占有するように配置されたオブジェクトによって1つ又は複数のセンサーからオクルージョンされるかどうかを表すものである、該ステップと、
前記候補センサーポーズについてのコストを集約するステップを有し、
前記外部反復ループの現在の反復の前記ボクセルについてそれぞれのオクルージョン値を決定するステップは、
内部反復ループにおいて、前記外部反復ループの現在の反復のボクセルが、すでに位置決めされた任意のセンサーに基づいてオクルージョンされているかどうかを決定するステップと、
前記内部反復ループにおいて、前記外部反復ループの現在の反復の前記ボクセルがオクルージョンされている場合、それぞれの前記ロボットポーズにおいて前記外部反復ループの現在の反復の前記ボクセルをオクルージョンしているロボットポーズのうちの1つにあるロボットの形態のオブジェクトによって占有される任意のボクセルのそれぞれのオクルージョン値をインクリメントするステップを含む、方法。 - 前記センサーがカメラであり、前記カメラが前記候補センサーポーズの各々について操作環境のそれぞれの視野を有し、前記オクルージョン評価に少なくとも部分的に基づいて、第1のセンサーにポーズをとらせるために前記候補センサーポーズのうちの1つを選択するステップが、前記オクルージョン評価に少なくとも部分的に基づいて、第1のカメラにポーズをとらせるために前記候補センサーポーズのうちの1つを選択するステップを含む、請求項1に記載の方法。
- 前記第1のロボットが前記第1のロボットの複数のロボットポーズの各々を通って移動するときに、前記操作環境における少なくとも第1のロボットのオクルージョン効果を説明するオクルージョン評価を実行するステップは、前記第1のロボットによって実現可能なポーズのC空間ロードマップからのいくつかのロボットポーズの各々についてオクルージョン評価を実行するステップを含む、請求項1に記載の方法。
- 前記第1のロボットが前記第1のロボットの複数のロボットポーズの各々を通って移動するときに、前記操作環境における少なくとも第1のロボットのオクルージョン効果を説明するオクルージョン評価を実行するステップは、前記第1のロボットによって実行されるべきタスクに少なくとも部分的に基づいて、前記第1のロボットによって実現可能なポーズのC空間ロードマップから選択されるいくつかのロボットポーズの各々についてオクルージョン評価を実行するステップを含む、請求項1に記載の方法。
- 前記第1のロボットが前記第1のロボットの複数のロボットポーズの各々を通って移動するときに、前記操作環境における少なくとも第1のロボットのオクルージョン効果を説明するオクルージョン評価を実行するステップは、前記第1のロボットによって実現可能なポーズのロードマップからサンプリングされたいくつかのロボットポーズの各々についてオクルージョン評価を実行するステップを含み、前記ロードマップは前記ロボットのC空間内のそれぞれのロボットポーズを表すノードの組と、前記ノードのペアを結合する複数のエッジであって、それぞれの前記エッジが結合する前記ノードによって表される前記それぞれのロボットポーズ間の遷移を表す、該複数のエッジを備えるグラフの形態である、請求項1に記載の方法。
- 前記第1のロボットが前記第1のロボットの複数のロボットポーズの各々を通って移動するときに、前記操作環境における少なくとも第1のロボットのオクルージョン効果を説明するオクルージョン評価を実行するステップは、前記操作環境における前記第1のロボット及び少なくとも第2のロボットのオクルージョン効果を説明するオクルージョン評価を、前記第1及び前記第2のロボットが前記第1及び前記第2のロボットのそれぞれの複数のロボットポーズの各々を通って移動するときに実行するステップを含む、請求項1に記載の方法。
- 前記操作環境における前記第1のロボット及び少なくとも第2のロボットのオクルージョン効果を説明するオクルージョン評価を、前記第1及び前記第2のロボットが前記第1及び前記第2のロボットのそれぞれの複数のロボットポーズの各々を通って移動するときに実行するステップは、前記第1のロボットのいくつかのロボットポーズ及び前記第2のロボットのいくつかのロボットポーズを表すロボットポーズの組に基づいて前記オクルージョン評価を実行するステップを含む、請求項6に記載の方法。
- 前記候補センサーポーズの各々について、前記候補センサーポーズのそれぞれのコスト値を決定するステップをさらに含み、前記それぞれのコスト値はオクルージョンを表す、請求項1に記載の方法。
- 前記ボクセルについてそれぞれのオクルージョン値を決定する前に、
各候補センサーポーズについて、前記候補センサーポーズのそれぞれのコスト値を初期化するステップと、
前記外部反復ループにおいて、前記作業空間内のすべての前記ボクセルについて、前記ボクセルの前記それぞれのオクルージョン値を初期化するステップ
をさらに含む、請求項1記載の方法。 - 前記候補センサーポーズのコストを集約するステップは、
各候補センサーポーズについて、ボクセルのオクルージョンが評価されている前記外部反復ループの現在の反復の前記ボクセルと前記センサーの間の各ボクセルについて前記オクルージョン値を合計するステップと、
その合計を、それぞれの前記候補センサーポーズについてのコストの累算された合計に加算するステップ
を含む、請求項1に記載の方法。 - 前記オクルージョン評価に少なくとも部分的に基づいて、第1のセンサーにポーズをとらせるために前記候補センサーポーズのうちの1つを選択するステップは、前記候補センサーポーズのうちの他のセンサーポーズの関連コストに対する前記候補センサーポーズの関連コストに基づいて、前記候補センサーポーズを選択するステップを含む、請求項1~10のいずれか1項に記載の方法。
- 前記オクルージョン評価に少なくとも部分的に基づいて、第1のセンサーにポーズをとらせるために前記候補センサーポーズのうちの1つを選択するステップは、前記候補センサーポーズのうちの他のセンサーポーズの関連コストに対して、前記候補センサーポーズの最も低い関連コストを有する前記候補センサーポーズを選択するステップを含む、請求項1~10のいずれか1項に記載の方法。
- 前記オクルージョン評価に少なくとも部分的に基づいて、第1のセンサーにポーズをとらせるために前記候補センサーポーズのうちの1つを選択するステップの後に、
複数の候補センサーポーズの各々について、前記操作環境における少なくとも第1のロボットの、前記少なくとも第1のロボットが前記第1のロボットの複数のロボットポーズの各々を通って移動するときの、オクルージョン効果を説明するオクルージョン評価を実行するステップと、
前記オクルージョン評価に少なくとも部分的に基づいて、第2のセンサーにポーズをとらせるために候補センサーポーズのうちの1つを選択するステップ
をさらに含む、請求項1に記載の方法。 - 前記第1のロボットが前記第1のロボットの複数のロボットポーズの各々を通って移動するときに、前記操作環境における少なくとも第1のロボットのオクルージョン効果を説明するオクルージョン評価を実行するステップは、前記第1のセンサーのための前記候補センサーポーズのうちの前記選択された1つによって指定されるように、位置決められ、向きづけられた前記第1のセンサーも説明するオクルージョン評価を実行するステップを含む、請求項13に記載の方法。
- 前記センサーはカメラであり、
前記第1のセンサーのために選択されたセンサーポーズに対応する第1のポーズの前記カメラのうちの第1のものによって収集されたセンサー情報を受信するステップと、前記第2のセンサーのために選択されたセンサーポーズに対応する第2のポーズの前記カメラのうちの第2のものから収集されたセンサー情報を受信するステップと、受信されたセンサー情報に基づいて、少なくとも前記第1のロボットのための動作計画を実行するステップ
をさらに含む、請求項13に記載の方法。 - 前記オクルージョン評価に少なくとも部分的に基づいて、第2のセンサーにポーズをとらせるために前記候補センサーポーズのうちの1つを選択するステップの後に、
終了条件が達成されるまで、複数の候補センサーポーズの各々について、前記操作環境における少なくとも第1のロボットの、少なくとも前記第1のロボットが前記第1のロボットの複数のロボットポーズの各々を通って移動するときの、オクルージョン効果を説明するオクルージョン評価を実行することを繰り返すステップと、
前記オクルージョン評価に少なくとも部分的に基づいて、追加のセンサーにポーズをとらせるために候補センサーポーズのうちの1つを選択するステップ
をさらに含む、請求項13に記載の方法。 - ロボット操作を容易にするためのプロセッサベースのシステムの動作システムであって、
少なくとも1つのプロセッサと、
前記少なくとも1つのプロセッサに通信可能に結合され、前記少なくとも1つのプロセッサによって実行されると、前記少なくとも1つのプロセッサに、
複数の候補センサーポーズの各々について、第1のロボットが前記第1のロボットの複数のロボットポーズの各々を通って移動するときに、操作環境における少なくとも第1のロボットのオクルージョン効果を説明するオクルージョン評価を実行させ、
前記オクルージョン評価に少なくとも部分的に基づいて、第1のセンサーにポーズをとらせるために前記候補センサーポーズのうちの1つを選択させる
プロセッサ実行可能命令を記憶する少なくとも1つの非一時的プロセッサ可読媒体
を備え、
実行されると、前記プロセッサ実行可能命令は、前記少なくとも1つのプロセッサにさらに、
作業空間内の各ボクセルに対して実行される外部反復ループにおいて、
前記作業空間内の他のボクセルの各々についてそれぞれのオクルージョン値を決定するステップであって、前記オクルージョン値は、前記外部反復ループの現在の反復のボクセルが前記オクルージョン値が決定されているそれぞれの前記ボクセルを少なくとも部分的に占有するように配置されたオブジェクトによって1つ又は複数のセンサーからオクルージョンされるかどうかを表すものである、該ステップと、
前記候補センサーポーズについてのコストを集約するステップを実行させ、
前記外部反復ループの現在の反復の前記ボクセルについてそれぞれのオクルージョン値を決定するステップは、
内部反復ループにおいて、前記外部反復ループの現在の反復のボクセルが、すでに位置決めされた任意のセンサーに基づいてオクルージョンされているかどうかを決定するステップと、
前記内部反復ループにおいて、前記外部反復ループの現在の反復の前記ボクセルがオクルージョンされている場合、それぞれの前記ロボットポーズにおいて前記外部反復ループの現在の反復の前記ボクセルをオクルージョンしているロボットポーズのうちの1つにあるロボットの形態のオブジェクトによって占有される任意のボクセルのそれぞれのオクルージョン値をインクリメントするステップを含む、システム。 - 前記センサーはカメラであり、前記カメラは、前記候補センサーポーズの各々について操作環境のそれぞれの視野を有する、請求項17に記載のシステム。
- オクルージョン評価を実行するために、実行されると、前記命令は前記少なくとも1つのプロセッサに、前記第1のロボットによって実現可能なポーズのC空間ロードマップからのいくつかのロボットポーズの各々についてオクルージョン評価を実行させる、請求項17に記載のシステム。
- オクルージョン評価を実行するために、実行されると、前記命令は前記少なくとも1つのプロセッサに、前記第1のロボットによって実行されるべきタスクに少なくとも部分的に基づいて、前記第1のロボットによって実現可能なポーズのC空間ロードマップから選択されるいくつかのロボットポーズの各々についてオクルージョン評価を実行させる、請求項17に記載のシステム。
- オクルージョン評価を実行するために、実行されると、前記命令は前記少なくとも1つのプロセッサに、前記第1のロボットによって実現可能なポーズのロードマップからサンプリングされたいくつかのロボットポーズの各々についてオクルージョン評価を実行させ、前記ロードマップは前記ロボットのC空間内のそれぞれのロボットポーズを表すノードの組と、前記ノードのペアを結合する複数のエッジであって、それぞれの前記エッジが結合する前記ノードによって表される前記それぞれのロボットポーズ間の遷移を表す、該複数のエッジを備えるグラフの形態である、請求項17に記載のシステム。
- オクルージョン評価を実行するために、実行されると、前記命令は前記少なくとも1つのプロセッサに、前記操作環境における前記第1のロボット及び少なくとも第2のロボットのオクルージョン効果を説明するオクルージョン評価を、前記第1及び前記第2のロボットが前記第1及び前記第2のロボットのそれぞれの複数のロボットポーズの各々を通って移動するときに実行させる、請求項17に記載のシステム。
- オクルージョン評価を実行するために、実行されると、前記命令は前記少なくとも1つのプロセッサに、前記第1のロボットのいくつかのロボットポーズ及び前記第2のロボットのいくつかのロボットポーズを表すロボットポーズの組に基づいて前記オクルージョン評価を実行させる、請求項22に記載のシステム。
- 実行されると、前記プロセッサ実行可能命令は前記少なくとも1つのプロセッサにさらに、
前記候補センサーポーズの各々について、前記候補センサーポーズのそれぞれのコスト値を決定させ、前記それぞれのコスト値はオクルージョンを表す、請求項17に記載のシステム。 - 実行されると、前記プロセッサ実行可能命令は前記少なくとも1つのプロセッサにさらに、
前記ボクセルについてのそれぞれのオクルージョン値が決定される前に、
各候補センサーポーズについて、前記候補センサーポーズのそれぞれのコスト値を初期化させ、
前記外部反復ループにおいて、前記作業空間内のすべての前記ボクセルについて、前記ボクセルの前記それぞれのオクルージョン値を初期化させる、請求項17に記載のシステム。 - 前記候補センサーポーズについてのコストを集約するために、実行されると、前記プロセッサ実行可能命令は前記少なくとも1つのプロセッサに
各候補センサーポーズについて、前記外部反復ループの現在の反復においてオクルージョンが評価されている前記外部反復ループの現在の反復の前記ボクセルと前記センサーの間の各ボクセルについて前記オクルージョン値を合計させ、
その合計を、それぞれの候補センサーポーズについてのコストの累算された合計に加算させる、
請求項17に記載のシステム。 - 前記オクルージョン評価に少なくとも部分的に基づいて、前記候補センサーポーズのうちの1つを選択して第1のセンサーにポーズをとらせるために、実行されると、前記プロセッサ実行可能命令は前記少なくとも1つのプロセッサに、
前記候補センサーポーズのうちの他のセンサーポーズの関連コストに対する前記候補センサーポーズの関連コストに基づいて、前記候補センサーポーズを選択させる、請求項17から26のいずれか1項に記載のシステム。 - 前記オクルージョン評価に少なくとも部分的に基づいて、第1のセンサーにポーズをとらせるために前記候補センサーポーズのうちの1つを選択するために、実行されると、前記プロセッサ実行可能命令は前記少なくとも1つのプロセッサに、
前記候補センサーポーズのうちの他のセンサーポーズの関連コストに対して、前記候補センサーポーズの最も低い関連コストを有する前記候補センサーポーズを選択させる、請求項17から26のいずれか1項に記載のシステム。 - 実行されると、前記プロセッサ実行可能命令は、前記少なくとも1つのプロセッサにさらに
前記オクルージョン評価に少なくとも部分的に基づいて第1のセンサーにポーズをとらせるための前記候補センサーポーズのうちの1つの選択後に、
複数の候補センサーポーズの各々について、前記操作環境における少なくとも第1のロボットの、前記第1のロボットが前記第1のロボットの複数のロボットポーズの各々を通って移動するときの、オクルージョン効果を説明するオクルージョン評価を実行させ、
前記オクルージョン評価に少なくとも部分的に基づいて第2のセンサーにポーズをとらせるために前記候補センサーポーズのうちの1つを選択させる、
請求項17に記載のシステム。 - オクルージョン評価を実行するために、実行されると、前記プロセッサ実行可能命令は前記少なくとも1つのプロセッサに、さらに、
前記第1のセンサーについて前記候補センサーポーズのうちの前記選択された1つによって指定されるように、位置決めされ、向きづけられた前記第1のセンサーも説明する前記オクルージョン評価を実行させる、請求項29に記載のシステム。 - 前記センサーはカメラであり、実行されると、前記プロセッサ実行可能命令は、前記少なくとも1つのプロセッサにさらに
前記第1のセンサーのために選択されたセンサーポーズに対応する第1のポーズの前記カメラのうちの第1のものによって収集されたセンサー情報を受信させ、前記第2のセンサーのために選択されたセンサーポーズに対応する第2のポーズの前記カメラのうちの第2のものから収集されたセンサー情報を受信させ、
受信されたセンサー情報に基づいて、少なくとも前記第1のロボットについて動作計画を実行させる、
請求項29に記載のシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063009583P | 2020-04-14 | 2020-04-14 | |
US63/009,583 | 2020-04-14 | ||
PCT/US2021/026818 WO2021211420A1 (en) | 2020-04-14 | 2021-04-12 | Configuration of robot operational environment including layout of sensors |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023522179A JP2023522179A (ja) | 2023-05-29 |
JP7450297B2 true JP7450297B2 (ja) | 2024-03-15 |
Family
ID=78083725
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022562247A Active JP7450297B2 (ja) | 2020-04-14 | 2021-04-12 | センサーの配置を含むロボット操作環境の構成 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230342967A1 (ja) |
EP (1) | EP4135940A4 (ja) |
JP (1) | JP7450297B2 (ja) |
CN (1) | CN115397628A (ja) |
WO (1) | WO2021211420A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102022202152A1 (de) * | 2022-03-03 | 2023-09-07 | Robert Bosch Gesellschaft mit beschränkter Haftung | Automatisierungssystem und Verfahren zum Ermitteln einer Pose einer Sensorvorrichtung eines Automatisierungssystems |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010201592A (ja) | 2009-03-05 | 2010-09-16 | Kobe Steel Ltd | ロボットの動作経路生成方法 |
JP2016099257A (ja) | 2014-11-21 | 2016-05-30 | キヤノン株式会社 | 情報処理装置及び情報処理方法 |
JP2017136677A (ja) | 2015-07-29 | 2017-08-10 | キヤノン株式会社 | 情報処理装置、情報処理方法、ロボット制御装置及びロボットシステム |
JP2018505788A (ja) | 2015-01-26 | 2018-03-01 | デューク・ユニバーシティDuke University | 専用ロボットの動作を計画するハードウェアならびにその作製方法および使用方法 |
WO2018043525A1 (ja) | 2016-09-02 | 2018-03-08 | 倉敷紡績株式会社 | ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法 |
JP2018144158A (ja) | 2017-03-03 | 2018-09-20 | 株式会社キーエンス | ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
US20210303745A1 (en) | 2020-03-25 | 2021-09-30 | Ford Global Technologies, Llc | Method and system for determining sensor placement for a workspace |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9880561B2 (en) * | 2016-06-09 | 2018-01-30 | X Development Llc | Sensor trajectory planning for a vehicle |
ES2903532T3 (es) * | 2016-06-10 | 2022-04-04 | Univ Duke | Planificación de movimiento para vehículos autónomos y procesadores reconfigurables de planificación de movimiento |
KR101937269B1 (ko) * | 2017-05-15 | 2019-01-14 | 한국생산기술연구원 | 로봇 모션 경로 계획방법 |
WO2019183141A1 (en) * | 2018-03-21 | 2019-09-26 | Realtime Robotics, Inc. | Motion planning of a robot for various environments and tasks and improved operation of same |
EP3820656A4 (en) * | 2018-08-23 | 2021-08-25 | Realtime Robotics, Inc. | COLLISION DETECTION FOR MOTION PLANNING OF ROBOTS |
-
2021
- 2021-04-12 JP JP2022562247A patent/JP7450297B2/ja active Active
- 2021-04-12 EP EP21789270.2A patent/EP4135940A4/en active Pending
- 2021-04-12 US US17/918,627 patent/US20230342967A1/en active Pending
- 2021-04-12 CN CN202180028405.4A patent/CN115397628A/zh active Pending
- 2021-04-12 WO PCT/US2021/026818 patent/WO2021211420A1/en unknown
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010201592A (ja) | 2009-03-05 | 2010-09-16 | Kobe Steel Ltd | ロボットの動作経路生成方法 |
JP2016099257A (ja) | 2014-11-21 | 2016-05-30 | キヤノン株式会社 | 情報処理装置及び情報処理方法 |
JP2018505788A (ja) | 2015-01-26 | 2018-03-01 | デューク・ユニバーシティDuke University | 専用ロボットの動作を計画するハードウェアならびにその作製方法および使用方法 |
JP2017136677A (ja) | 2015-07-29 | 2017-08-10 | キヤノン株式会社 | 情報処理装置、情報処理方法、ロボット制御装置及びロボットシステム |
WO2018043525A1 (ja) | 2016-09-02 | 2018-03-08 | 倉敷紡績株式会社 | ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法 |
JP2018144158A (ja) | 2017-03-03 | 2018-09-20 | 株式会社キーエンス | ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
US20210303745A1 (en) | 2020-03-25 | 2021-09-30 | Ford Global Technologies, Llc | Method and system for determining sensor placement for a workspace |
Also Published As
Publication number | Publication date |
---|---|
WO2021211420A1 (en) | 2021-10-21 |
EP4135940A1 (en) | 2023-02-22 |
EP4135940A4 (en) | 2023-10-04 |
US20230342967A1 (en) | 2023-10-26 |
JP2023522179A (ja) | 2023-05-29 |
CN115397628A (zh) | 2022-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7141665B2 (ja) | ロボットの動作計画に役立つ衝突検出 | |
JP7489727B2 (ja) | マルチロボット運用環境におけるロボットの構成 | |
JP7394853B2 (ja) | 動的物体を有する環境における運動計画を促進する装置、方法及び物品 | |
JP7332199B2 (ja) | 共用ワークスペースにおける複数のロボットの動作計画 | |
JP3604005B2 (ja) | アセンブリワークセルをレイアウトするための最適化ツール | |
Cohen et al. | A generic infrastructure for benchmarking motion planners | |
Frank et al. | Learning object deformation models for robot motion planning | |
JP7450297B2 (ja) | センサーの配置を含むロボット操作環境の構成 | |
Finean et al. | Simultaneous scene reconstruction and whole-body motion planning for safe operation in dynamic environments | |
US20240009845A1 (en) | Systems, methods, and user interfaces employing clearance determinations in robot motion planning and control | |
JP2023518071A (ja) | ロボットの動作計画に有用なロボット操作環境のデジタル表現 | |
JP2021169149A (ja) | 分解ベースのアセンブリ計画 | |
Ananthanarayanan et al. | A fast converging optimal technique applied to path planning of hyper-redundant manipulators | |
JP2023084115A (ja) | 点集合の干渉チェック | |
Tudico et al. | Improving and benchmarking motion planning for a mobile manipulator operating in unstructured environments | |
US20230286156A1 (en) | Motion planning and control for robots in shared workspace employing staging poses | |
TW202415506A (zh) | 穩健運動規劃及/或用於多機器人環境之控制 | |
WO2023196240A1 (en) | Motion planning and control for robots in shared workspace employing look ahead planning | |
JPH06238581A (ja) | 対象物のモデル化方法、対象物間の干渉判別方法およびこれらの装置 | |
WO2024011062A1 (en) | Robust motion planning and/or control for multi-robot environments | |
Herbst et al. | Active object segmentation for mobile robots | |
Szabó et al. | GPU Accelerated Collision Detection for Robotic Manipulators | |
WO2024073245A1 (en) | Automated configuration of robots in multi-robot operational environment optimizing for wear and other parameters |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221129 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230517 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230526 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231003 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231214 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240213 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240227 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7450297 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |