JP2023539403A - 重なり処理機構を備えたロボットシステム及びその操作方法 - Google Patents
重なり処理機構を備えたロボットシステム及びその操作方法 Download PDFInfo
- Publication number
- JP2023539403A JP2023539403A JP2022575865A JP2022575865A JP2023539403A JP 2023539403 A JP2023539403 A JP 2023539403A JP 2022575865 A JP2022575865 A JP 2022575865A JP 2022575865 A JP2022575865 A JP 2022575865A JP 2023539403 A JP2023539403 A JP 2023539403A
- Authority
- JP
- Japan
- Prior art keywords
- detection result
- occlusion
- information
- detection
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title description 17
- 230000007246 mechanism Effects 0.000 title description 2
- 238000011017 operating method Methods 0.000 title 1
- 238000000034 method Methods 0.000 claims abstract description 69
- 238000001514 detection method Methods 0.000 claims description 187
- 239000012636 effector Substances 0.000 claims description 15
- 230000002123 temporal effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 abstract description 8
- 238000005516 engineering process Methods 0.000 description 30
- 230000008569 process Effects 0.000 description 26
- 230000002860 competitive effect Effects 0.000 description 24
- 238000003384 imaging method Methods 0.000 description 22
- 238000012546 transfer Methods 0.000 description 22
- 230000032258 transport Effects 0.000 description 22
- 238000004891 communication Methods 0.000 description 12
- 238000003860 storage Methods 0.000 description 11
- 230000009471 action Effects 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 7
- 230000004044 response Effects 0.000 description 6
- 238000005259 measurement Methods 0.000 description 5
- 230000026676 system process Effects 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 238000004806 packaging method and process Methods 0.000 description 3
- 230000000704 physical effect Effects 0.000 description 3
- 230000036544 posture Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 229920001746 electroactive polymer Polymers 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 238000012856 packing Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000004033 plastic Substances 0.000 description 2
- 229920003023 plastic Polymers 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000003466 welding Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 238000003854 Surface Print Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000005022 packaging material Substances 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 239000002985 plastic film Substances 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000003746 surface roughness Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013024 troubleshooting Methods 0.000 description 1
- 125000000391 vinyl group Chemical group [H]C([*])=C([H])[H] 0.000 description 1
- 229920002554 vinyl polymer Polymers 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
- B65G1/02—Storage devices
- B65G1/04—Storage devices mechanical
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G37/00—Combinations of mechanical conveyors of the same kind, or of different kinds, of interest apart from their application in particular machines or use in particular manufacturing processes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G43/00—Control devices, e.g. for safety, warning or fault-correcting
- B65G43/10—Sequence control of conveyors operating in combination
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
- B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
- B65G47/90—Devices for picking-up and depositing articles or materials
- B65G47/91—Devices for picking-up and depositing articles or materials incorporating pneumatic, e.g. suction, grippers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G67/00—Loading or unloading vehicles
- B65G67/02—Loading or unloading land vehicles
- B65G67/24—Unloading land vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/54—Extraction of image or video features relating to texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
- B65G2203/02—Control or detection
- B65G2203/0208—Control or detection relating to the transported articles
- B65G2203/0233—Position of the article
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39469—Grip flexible, deformable plate, object and manipulate it
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Robotics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Aviation & Aerospace Engineering (AREA)
- Manipulator (AREA)
- Image Analysis (AREA)
- De-Stacking Of Articles (AREA)
Abstract
Description
本出願は、2021年9月1日に出願された米国仮特許出願第63/239,795号の利益を主張するものであり、この米国仮特許出願の全体を参照により本明細書に援用する。
本技術は、一般に、ロボットシステムを対象とし、より詳細には、オブジェクト更新機構を備えたロボットシステムを対象とする。
図1は、本技術の1つ以上の実施形態によるロボットシステム100がオブジェクトを運搬する例示的な環境の図である。ロボットシステム100は、1つ以上のタスクを実行するように構成される1つ以上のユニット(例えば、ロボット)を含み得、及び/又はそのユニットと通信し得る。オブジェクトの検出/更新の態様は、様々なユニットによって実践又は実施することができる。
図2は、本技術の1つ以上の実施形態によるロボットシステム100の構成要素を例示するブロック図である。いくつかの実施形態では、例えば、ロボットシステム100(例えば、上記のユニット又はアセンブリ及び/又はロボットの1つ以上におけるロボットシステム100)は、1つ以上のプロセッサ202、1つ以上のストレージデバイス204、1つ以上の通信デバイス206、1つ以上の入力出力デバイス208、1つ以上の作動デバイス212、1つ以上の運搬用モータ214、1つ以上のセンサ216、又はそれらの組み合わせなどの電子/電気デバイスを含み得る。様々なデバイスは、有線接続及び/又は無線接続を介して互いと結合することができる。例えば、ロボットシステム100用の1つ以上のユニット/構成要素、及び/又はロボットユニットの1つ以上は、システムバス、ペリフェラルコンポーネントインターコネクト(PCI)バス又はPCI-Expressバス、ハイパートランスポート又は業界標準アーキテクチャ(ISA)バス、小型コンピュータシステムインターフェース(SCSI)バス、ユニバーサルシリアルバス(USB)、IIC(I2C)バス、又は電気電子技術者協会(IEEE)標準1394バス(「ファイアワイヤ」とも呼ばれる)等のバスを含み得る。また、例えば、ロボットシステム100は、デバイス間の有線接続を提供するための、ブリッジ、アダプタ、コントローラ、又は他の信号関連デバイスを含み得る、及び/又はそれらと通信し得る。無線接続は、例えば、セルラ通信プロトコル(例えば、3G、4G、LTE、5Gなど)、無線ローカルエリアネットワーク(LAN)プロトコル(例えば、ワイヤレスフィデリティ(WIFI))、ピアツーピア又はデバイス間通信プロトコル(例えば、Bluetooth、近距離無線通信(NFC)など)、モノのインターネット(IoT)プロトコル(例えば、NB-IoT、Zigbee、Z-wave、LTE-Mなど)、及び/又は他の無線通信プロトコルに準拠し得る。
図3は、本技術の1つ以上の実施形態によるロボット移送構成を示す。本ロボット移送構成は、ソース容器306(例えば、低い及び/又は透明な壁を有するビン)からオブジェクトを選び取り、それらを送り先地点へ移送するように構成されたエンドエフェクタ304(例えば、グリッパ)を有するロボットアームアセンブリ302を含むことができる。ロボットアームアセンブリ302は、運動連鎖として機能する構造部材及びジョイントを有し得る。エンドエフェクタ304は、運動連鎖の遠位端に結合された真空ベースのグリッパであって、空気を吸い込み、把持インターフェース(例えば、エンドエフェクタ304の底部)とオブジェクトの表面との間に真空を作り出してオブジェクトを把握するように構成された真空ベースのグリッパを含み得る。
画像処理を説明するために、図4A及び図4Bは、本技術の1つ以上の実施形態による開始地点におけるオブジェクトの図例を示す。図4Aは、開始地点におけるオブジェクトの上面図400-1の例を示す。上面図400-1は、図3の下向き撮像デバイス320-1からの2次元画像及び/又は3次元画像のうちの1つ以上に対応し得る。上面図400-1は、ソース容器306の内側部分及び/又はその中の1つ以上のオブジェクト(例えば、柔軟な/変形可能なオブジェクト)を描写し得る。図4Bは、開始地点におけるオブジェクトの側面図400-2の例を示す。
画像処理を説明するために、図5は、本技術の1つ以上の実施形態によるロボットシステムを操作するための例示的な方法500のフロー図である。方法500は、取得画像を処理し、柔軟オブジェクトにかかわるタスクを計画/実行するために、図1のロボットシステム100によって(例えば、コントローラ及び/又は図2のプロセッサ202を介して)実施され得る。以下、図4A及び図4Bに示された例を用いて、方法500を説明する。
本技術は、例えば、下記の様々な態様に従って説明される。本技術の態様の様々な実施例は、便宜上、番号付けされた実施例(1、2、3など)として記載されている。これらは実施例として提供されており、本技術を限定するものではない。従属する実施例のいずれも、任意の適切な方法で組み合わせることができ、それぞれの独立した実施例の中に配置することができることに留意されたい。他の実施例も同様に提示することができる。
開始地点における1つ以上の柔軟オブジェクトを表す画像データに基づいて検出特徴を生成することと、
前記検出特徴に基づいて、前記1つ以上の柔軟オブジェクトに対応する検出結果を生成することと、
前記検出結果が、前記1つ以上の柔軟オブジェクトのインスタンスと前記1つ以上の柔軟オブジェクトのさらなるインスタンスとの間の重なりを表すオクルージョン領域を示すかどうかを判定することと、
前記検出結果に対して、ポジティブ識別情報を含む検出マスク情報を生成することと、
前記ターゲットオブジェクトについての動作計画を導出することと、を含み、
前記動作計画は、
前記検出マスク情報に基づいて前記1つ以上の柔軟オブジェクトから選択されたターゲットオブジェクトと、
前記検出マスク情報に基づいた、ロボットアームのエンドエフェクタのための、前記ターゲットオブジェクト上の把持部位と、
前記ターゲットオブジェクトを前記開始地点から送り先地点まで移送するための、前記ロボットアームについての1つ以上の軌道と、
を含む、方法。
(1)前記オクルージョン領域で、前記隣接検出結果が前記ターゲット検出結果を下回っていることを表す隣接オクルージョン状態、
(2)前記オクルージョン領域で、前記ターゲット検出結果が前記隣接検出結果を下回っていることを表すターゲットオクルージョン状態、又は
(3)前記ターゲット検出結果と前記隣接検出結果との間の前記重なりが不確定である場合の不確定オクルージョン状態、
のうちの1つである、例1~4のいずれか1つ以上の方法、及び/又はその1つ以上の部分の組み合わせ。
当該方法は、前記エッジ情報、前記キーポイント情報、高さ寸法情報、又はそれらの組み合わせの場合に、前記画像データ内の領域の前記ポジティブ識別情報を生成することをさらに含み、
前記検出結果を生成することは、前記エッジ情報、前記キーポイント情報、前記高さ寸法情報、又はそれらの組み合わせに基づいて前記検出結果を生成することを含む、例1~6のいずれか1つ以上の方法、及び/又はその1つ以上の部分の組み合わせ。
開始地点における少なくとも第1のオブジェクトと第2のオブジェクトとを表す画像データを取得することと、
前記画像データに基づいて、前記第1のオブジェクトと前記第2のオブジェクトとが互いに重なっていると判定することと、
前記判定に応答して、前記画像データに基づいて、重なっている領域を識別することであって、前記重なっている領域が、前記第1のオブジェクトの少なくとも一部が前記第2のオブジェクトの少なくとも一部と重なるエリアを表すことと、
動作計画のため、1つ以上の描写された特性に基づいて前記重なっている領域を分類することと、
を含む、方法。
前記第1の検出結果及び前記第2の検出結果は、それぞれ、前記画像データに描写された前記第1のオブジェクト及び前記第2のオブジェクトを識別し、
前記第1の検出結果及び前記第2の検出結果を生成することは、
登録されたオブジェクトの物理的属性を記述するマスターデータを使用して、前記第1の検出結果及び前記第2の検出結果に対応する前記第1のオブジェクト及び前記第2のオブジェクトの形状を識別することを含み、
前記第1のオブジェクトと前記第2のオブジェクトとが重なっていると判定することは、
前記第1のオブジェクト及び前記第2のオブジェクトの前記形状を前記画像データと比較することと、
前記第1のオブジェクト及び前記第2のオブジェクトの両方の前記形状に対応する前記画像データの一部に対応する前記重なっている領域を識別することと
を含む、例1~8のいずれか1つ以上の方法、及び/又はその1つ以上の部分の組み合わせ。
前記第1の検出結果は前記第1のオブジェクトとその場所とを識別し、
前記第1の検出結果を生成することは、
登録されたオブジェクトの物理的属性を記述するマスターデータに従って、前記第1の検出結果に対応する少なくとも第1の形状を識別することと、
前記第1のオブジェクトに対応する前記画像データの部分における予期せぬ線又はエッジを、前記部分と前記マスターデータ内の前記第1のオブジェクトの予想される表面特性との比較に基づいて、識別することに基づいて、前記第1のオブジェクトと第2のオブジェクトとが重なっていると判定することと、をさらに含み、
前記予期せぬ線又はエッジは、(1)前記第1のオブジェクトに及ぶ前記第2のオブジェクトのエッジ、又は(2)前記マスターデータに従って前記第1のオブジェクトが柔軟オブジェクトとして識別された場合に、前記第1のオブジェクトが前記第2のオブジェクトに部分的に重なることに基づいて前記第1のオブジェクトに形成される表面の変形に対応する、例1~9のいずれか1つ以上の方法、及び/又はその1つ以上の部分の組み合わせ。
前記重なっている領域で前記第1のオブジェクトが前記第2のオブジェクトの下にあることを識別することと、
前記画像データに基づいて第2の検出結果を生成することと、を含み、
前記第2の検出結果は、前記第2のオブジェクトとその場所とを識別し、前記第2のオブジェクトが前記重なっている領域で前記第1のオブジェクトの下にあることをさらに示す、例1~11のいずれか1つ以上の方法、及び/又はその1つ以上の部分の組み合わせ。
(1)前記第1のオブジェクトの前記マスターデータ内の予想される表面画像の対応する部分と一致する、ポジティブに識別されたエリア、
(2)前記重なっている領域、又は
(3)不確定領域、
として識別することをさらに含み、
当該方法は、
前記第1のオブジェクトを送り先に移送する際にグリッパで前記第1のオブジェクトを把握するための把持部位を導出することをさらに含み、
前記把持部位は、(1)グリッパのフットプリントと前記ポジティブに識別されたエリアとの間の重なりを最大化することと、(2)前記グリッパのフットプリントを前記重なっている領域の外側に保つこととに基づいて導出される、例1~12のいずれか1つ以上の方法、及び/又はその1つ以上の部分の組み合わせ。
実行されると、前記少なくとも1つのプロセッサに、例1~13のいずれか1つ以上の方法、及び/又はその1つ以上の部分の組み合わせを行わせるプロセッサ命令を含む少なくとも1つのメモリと、
を含む、ロボットシステム。
開示された技術の例の上記の発明を実施するための形態は、網羅的であること、又は開示された技術を上記に開示した正確な形態に限定することを意図するものではない。開示された技術の特定の例が例示の目的のために上記で説明されるが、当業者が認識するように、開示された技術の範囲内で様々な同等の修正が可能である。例えば、プロセス又はブロックが所与の順序で提示されているが、代替の実施態様は、異なる順序で、ステップを有するルーチンを行い得、又はブロックを有するシステムを使用し得、いくつかのプロセス又はブロックは、代替又は部分的な組み合わせを提供するために、削除、移動、追加、細分化、結合、及び/又は修正され得る。これらのプロセス又はブロックのそれぞれは、様々な方法で実施されてもよい。また、プロセス又はブロックは、時には直列に実行されるように示されているが、これらのプロセス又はブロックは、代わりに並列に実行又は実施されてもよく、又は異なる時間に実行されてもよい。さらにまた、本明細書に記載されている任意の特定の数は単なる実施例であり、代替的な実施態様では、異なる値又は範囲を使用してもよい。
Claims (20)
- ロボットシステムを操作する方法であって、
開始地点における1つ以上の柔軟オブジェクトを表す画像データに基づいて検出特徴を生成することと、
前記検出特徴に基づいて、前記1つ以上の柔軟オブジェクトに対応する検出結果を生成することと、
前記検出結果が、前記1つ以上の柔軟オブジェクトのインスタンスと前記1つ以上の柔軟オブジェクトのさらなるインスタンスとの間の重なりを表すオクルージョン領域を示すかどうかを判定することと、
前記検出結果に対して、ポジティブ識別情報を含む検出マスク情報を生成することと、
前記ターゲットオブジェクトについての動作計画を導出することと、を含み、
前記動作計画は、
前記検出マスク情報に基づいて前記1つ以上の柔軟オブジェクトから選択されたターゲットオブジェクトと、
前記検出マスク情報に基づいた、ロボットアームのエンドエフェクタのための、前記ターゲットオブジェクト上の把持部位と、
前記ターゲットオブジェクトを前記開始地点から送り先地点まで移送するための、前記ロボットアームについての1つ以上の軌道と、
を含む、方法。 - 前記ポジティブ識別情報に対応する前記ターゲットオブジェクトの表面上のエリア内の前記把持部位を決定することをさらに含む、請求項1に記載の方法。
- 前記検出結果が前記オクルージョン領域を含む場合、オクルージョン情報に対応する前記ターゲットオブジェクトの表面上のエリアを避けるように前記把持部位を決定することをさらに含む、請求項1に記載の方法。
- 前記オクルージョン領域は、前記1つ以上の柔軟オブジェクトの前記インスタンスに対応するターゲット検出結果と、前記1つ以上の柔軟オブジェクトの前記さらなるインスタンスに対応する隣接検出結果との間の重なりである、請求項1に記載の方法。
- 前記オクルージョン領域についてのオクルージョン状態を判定することをさらに含み、
前記オクルージョン状態は、
(1)前記オクルージョン領域で、前記隣接検出結果が前記ターゲット検出結果を下回っていることを表す隣接オクルージョン状態、
(2)前記オクルージョン領域で、前記ターゲット検出結果が前記隣接検出結果を下回っていることを表すターゲットオクルージョン状態、又は
(3)前記ターゲット検出結果と前記隣接検出結果との間の前記重なりが不確定である場合の不確定オクルージョン状態、
のうちの1つである、請求項4に記載の方法。 - 前記オクルージョン領域における前記ターゲット検出結果に対応する前記検出特徴、及び/又は、
前記隣接検出結果に対応する前記検出特徴
に基づいて、前記オクルージョン領域についてのオクルージョン状態を判定することをさらに含む、請求項4に記載の方法。 - 前記検出特徴は、エッジ特徴、キーポイント、深度値、又はそれらの組み合わせを含み、
当該方法は、
前記エッジ情報、前記キーポイント情報、高さ寸法情報、又はそれらの組み合わせの場合に、前記画像データ内の領域について前記ポジティブ識別情報を生成することをさらに含み、
前記検出結果を生成することは、前記エッジ情報、前記キーポイント情報、前記高さ寸法情報、又はそれらの組み合わせに基づいて前記検出結果を生成することを含む、請求項1に記載の方法。 - 少なくとも1つのプロセッサと、
プロセッサ命令を含む少なくとも1つのメモリと、を備え、
前記プロセッサ命令は、実行されると、前記少なくとも1つのプロセッサに、
開始地点における1つ以上の柔軟オブジェクトを表す画像データに基づいて検出特徴を生成することと、
前記検出特徴に基づいて、前記1つ以上の柔軟オブジェクトに対応する検出結果を生成することと、
前記検出結果が、前記1つ以上の柔軟オブジェクトのインスタンスと前記1つ以上の柔軟オブジェクトのさらなるインスタンスとの間の重なりを表すオクルージョン領域を示すかどうかを判定することと、
前記検出結果に対して、ポジティブ識別情報を含む検出マスク情報を生成することと、
前記ターゲットオブジェクトについての動作計画を導出することと、
を実行させることを含み、
前記動作計画は、
前記検出マスク情報に基づいて前記1つ以上の柔軟オブジェクトから選択されたターゲットオブジェクトと、
前記検出マスク情報に基づいた、ロボットアームのエンドエフェクタのための、前記ターゲットオブジェクト上の把持部位と、
前記ターゲットオブジェクトを前記開始地点から送り先地点まで移送するための、前記ロボットアームについての1つ以上の軌道と、
を含む、ロボットシステム。 - 前記プロセッサ命令は、前記ポジティブ識別情報に対応する前記ターゲットオブジェクトの表面上のエリア内の前記把持部位を決定することを、前記少なくとも1つのプロセッサにさらに実行させる、請求項8に記載のシステム。
- 前記プロセッサ命令は、前記検出結果が前記オクルージョン領域を含む場合、オクルージョン情報に対応する前記ターゲットオブジェクトの表面上のエリアを避けるように前記把持部位を決定することを、前記少なくとも1つのプロセッサにさらに実行させる、請求項8に記載のシステム。
- 前記オクルージョン領域は、前記1つ以上の柔軟オブジェクトの前記インスタンスに対応するターゲット検出結果と、前記1つ以上の柔軟オブジェクトの前記さらなるインスタンスに対応する隣接検出結果との間の重なりである、請求項8に記載のシステム。
- 前記プロセッサ命令はが、前記オクルージョン領域についてのオクルージョン状態を判定することを、前記少なくとも1つのプロセッサにさらに実行させ、
前記オクルージョン状態は、
(1)前記オクルージョン領域で、前記隣接検出結果が前記ターゲット検出結果を下回っていることを表す隣接オクルージョン状態、
(2)前記オクルージョン領域で、前記ターゲット検出結果が前記隣接検出結果を下回っていることを表すターゲットオクルージョン状態、又は
(3)前記ターゲット検出結果と前記隣接検出結果との間の前記重なりが不確定である場合の不確定オクルージョン状態、
のうちの1つである、請求項11に記載のシステム。 - 前記プロセッサ命令は、前記オクルージョン領域における前記ターゲット検出結果に対応する前記検出特徴及び/又は前記隣接検出結果に対応する前記検出特徴に基づいて、前記オクルージョン領域についてのオクルージョン状態を判定することを、前記少なくとも1つのプロセッサにさらに実行させる、請求項11に記載のシステム。
- 前記検出特徴は、エッジ特徴、キーポイント、深度値、又はそれらの組み合わせを含み、
前記プロセッサ命令は、さらに、前記少なくとも1つのプロセッサに、
前記エッジ情報、前記キーポイント情報、高さ寸法情報、又はそれらの組み合わせの場合に、前記画像データ内の領域について前記ポジティブ識別情報を生成することと、
前記エッジ情報、前記キーポイント情報、前記高さ寸法情報、又はそれらの組み合わせに基づいて前記検出結果を生成することと、
を行わせる、請求項8に記載のシステム。 - プロセッサ命令を含む非一時的コンピュータ可読媒体であって、
前記プロセッサ命令は、1つ以上のプロセッサによって実行されると、前記1つ以上のプロセッサに、
開始地点における1つ以上の柔軟オブジェクトを表す画像データに基づいて検出特徴を生成することと、
前記検出特徴に基づいて、前記1つ以上の柔軟オブジェクトに対応する検出結果を生成することと、
前記検出結果が、前記1つ以上の柔軟オブジェクトのインスタンスと前記1つ以上の柔軟オブジェクトのさらなるインスタンスとの間の重なりを表すオクルージョン領域を示すかどうかを判定することと、
前記検出結果に対して、ポジティブ識別情報を含む検出マスク情報を生成することと、
前記ターゲットオブジェクトについての動作計画を導出することと、
を実行させることを含み、
前記動作計画は、
前記検出マスク情報に基づいて前記1つ以上の柔軟オブジェクトから選択されたターゲットオブジェクトと、
前記検出マスク情報に基づいた、ロボットアームのエンドエフェクタのための、前記ターゲットオブジェクト上の把持部位と、
前記ターゲットオブジェクトを前記開始地点から送り先地点まで移送するための、前記ロボットアームについての1つ以上の軌道と、
を含む、非一時的コンピュータ可読媒体。 - 前記プロセッサ命令は、前記ポジティブ識別情報に対応する前記ターゲットオブジェクトの表面上のエリア内の前記把持部位を決定することを、前記1つ以上のプロセッサにさらに実行させる、請求項15に記載の非一時的コンピュータ可読媒体。
- 前記オクルージョン領域は、前記1つ以上の柔軟オブジェクトの前記インスタンスに対応するターゲット検出結果と、前記1つ以上の柔軟オブジェクトの前記さらなるインスタンスに対応する隣接検出結果との間の重なりである、請求項15に記載の非一時的コンピュータ可読媒体。
- 前記プロセッサ命令は、前記オクルージョン領域についてのオクルージョン状態を判定することを、前記1つ以上のプロセッサにさらに実行させ、
前記オクルージョン状態は、
(1)前記オクルージョン領域で、前記隣接検出結果が前記ターゲット検出結果を下回っていることを表す隣接オクルージョン状態、
(2)前記オクルージョン領域で、前記ターゲット検出結果が前記隣接検出結果を下回っていることを表すターゲットオクルージョン状態、又は
(3)前記ターゲット検出結果と前記隣接検出結果との間の前記重なりが不確定である場合の不確定オクルージョン状態、
のうちの1つである、請求項17に記載の非一時的コンピュータ可読媒体。 - 前記プロセッサ命令は、前記オクルージョン領域における前記ターゲット検出結果に対応する前記検出特徴及び/又は前記隣接検出結果に対応する前記検出特徴に基づいて、前記オクルージョン領域についてのオクルージョン状態を判定することを、前記1つ以上のプロセッサにさらに実行させる、請求項17に記載の非一時的コンピュータ可読媒体。
- 前記検出特徴は、エッジ特徴、キーポイント、深度値、又はそれらの組み合わせを含み、
前記プロセッサ命令は、さらに、前記1つ以上のプロセッサに、
前記エッジ情報、前記キーポイント情報、高さ寸法情報、又はそれらの組み合わせの場合に、前記画像データ内の領域の前記ポジティブ識別情報を生成することと、
前記エッジ情報、前記キーポイント情報、前記高さ寸法情報、又はそれらの組み合わせに基づいて前記検出結果を生成することと、
を行わせる、請求項15に記載の非一時的コンピュータ可読媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023199732A JP2024020532A (ja) | 2021-09-01 | 2023-11-27 | 重なり処理機構を備えたロボットシステム及びその操作方法 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202163239795P | 2021-09-01 | 2021-09-01 | |
US63/239,795 | 2021-09-01 | ||
PCT/US2022/042387 WO2023034533A1 (en) | 2021-09-01 | 2022-09-01 | Robotic system with overlap processing mechanism and methods for operating the same |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023199732A Division JP2024020532A (ja) | 2021-09-01 | 2023-11-27 | 重なり処理機構を備えたロボットシステム及びその操作方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023539403A true JP2023539403A (ja) | 2023-09-14 |
JP7398763B2 JP7398763B2 (ja) | 2023-12-15 |
Family
ID=85386627
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022575865A Active JP7398763B2 (ja) | 2021-09-01 | 2022-09-01 | 重なり処理機構を備えたロボットシステム及びその操作方法 |
JP2023199732A Pending JP2024020532A (ja) | 2021-09-01 | 2023-11-27 | 重なり処理機構を備えたロボットシステム及びその操作方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023199732A Pending JP2024020532A (ja) | 2021-09-01 | 2023-11-27 | 重なり処理機構を備えたロボットシステム及びその操作方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230071488A1 (ja) |
EP (1) | EP4395965A1 (ja) |
JP (2) | JP7398763B2 (ja) |
CN (2) | CN116638509A (ja) |
WO (1) | WO2023034533A1 (ja) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014050936A (ja) * | 2012-09-10 | 2014-03-20 | Applied Vision Systems Corp | ハンドリングシステム、ハンドリング方法及びプログラム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4199264B2 (ja) * | 2006-05-29 | 2008-12-17 | ファナック株式会社 | ワーク取り出し装置及び方法 |
FI20106387A (fi) * | 2010-12-30 | 2012-07-01 | Zenrobotics Oy | Menetelmä, tietokoneohjelma ja laite tartuntakohdan määrittämiseksi |
CA3004711C (en) * | 2015-11-13 | 2022-01-11 | Berkshire Grey, Inc. | Sortation systems and methods for providing sortation of a variety of objects |
JP7062406B2 (ja) * | 2017-10-30 | 2022-05-16 | 株式会社東芝 | 情報処理装置及びロボットアーム制御システム |
US10759054B1 (en) * | 2020-02-26 | 2020-09-01 | Grey Orange Pte. Ltd. | Method and system for handling deformable objects |
-
2022
- 2022-09-01 US US17/901,739 patent/US20230071488A1/en active Pending
- 2022-09-01 CN CN202310549157.9A patent/CN116638509A/zh active Pending
- 2022-09-01 EP EP22865576.7A patent/EP4395965A1/en active Pending
- 2022-09-01 JP JP2022575865A patent/JP7398763B2/ja active Active
- 2022-09-01 WO PCT/US2022/042387 patent/WO2023034533A1/en active Application Filing
- 2022-09-01 CN CN202280004989.6A patent/CN116194256A/zh active Pending
-
2023
- 2023-11-27 JP JP2023199732A patent/JP2024020532A/ja active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014050936A (ja) * | 2012-09-10 | 2014-03-20 | Applied Vision Systems Corp | ハンドリングシステム、ハンドリング方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
CN116194256A (zh) | 2023-05-30 |
EP4395965A1 (en) | 2024-07-10 |
JP7398763B2 (ja) | 2023-12-15 |
US20230071488A1 (en) | 2023-03-09 |
JP2024020532A (ja) | 2024-02-14 |
CN116638509A (zh) | 2023-08-25 |
WO2023034533A1 (en) | 2023-03-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111633633B (zh) | 具有自动化物体检测机构的机器人系统及其操作方法 | |
JP7284953B2 (ja) | 高度化したスキャンメカニズムを有するロボットシステム | |
JP7349094B2 (ja) | ピースロス管理メカニズムを有するロボットシステム | |
US20210154839A1 (en) | Robotic system control method and controller | |
JP7175487B1 (ja) | 画像ベースのサイジングメカニズムを備えたロボットシステム及びロボットシステムを操作するための方法 | |
JP7398662B2 (ja) | ロボット多面グリッパアセンブリ及びその操作方法 | |
JP7126667B1 (ja) | 深さベースの処理メカニズムを伴うロボットシステム及びロボットシステムを操作するための方法 | |
JP7398763B2 (ja) | 重なり処理機構を備えたロボットシステム及びその操作方法 | |
JP7218881B1 (ja) | 物体更新機構を備えたロボットシステム及びロボットシステムを操作するための方法 | |
JP7264387B2 (ja) | 開閉式物体用のロボットグリッパアセンブリ及び物体をピッキングするための方法 | |
CN115609569A (zh) | 具有基于图像的尺寸确定机制的机器人系统及其操作方法 | |
CN115258510A (zh) | 具有物体更新机制的机器人系统和用于操作所述机器人系统的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230112 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20230112 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230823 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230919 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230929 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20231018 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231127 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7398763 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |